A tájképi kertet a mai kastély 18. századi elődje körül ifj. Brunszvik Antal létesítette. Ő volt az, aki lányai, Teréz, Josefin és Charlotte (valószínűleg Beethoven „halhatatlan kedvese”), valamint fia, Ferenc taníttatására Martonvásárra hívta a nagy zeneszerzőt, aki itt komponálta az Appassionatát.
Az 1830 táján emeletessé alakított kastélyt 1875 körül kibővítve, angol gótikus stílusban átépítették. A főhomlokzatot szabályosan váltakozó rizalitok és hátraugró oldalszárnyak egymásutánja alkotja, amelyet a főpárkányon végigfutó mérműves ballusztrád, összekapcsolt, csúcsíves hármasablakok, gótikus földszinti nyílások, szemöldökdíszek, Tudor-tornyocskák gazdagítanak.
A szeszélyesebb, zsúfoltabb jellegű hátsó homlokzat párkányán tömör pártázat fut végig. A képtárhoz vezető, mérműves korlátú lépcső barokkosan ívelt, szeszélyes vonalvezetése festői együttesbe simul bele. Angolkertje, melynek pázsitjáról, hársfáiról Brunszvik Teréz (a magyarországi óvodaügy és nőnevelés úttörője) is megemlékezik naplójában, az egyik legszebb a maga műfajában.
Tervezője talán Henry Nebbien kertépítő volt, aki a család egy másik birtokán tervezett angolparkot. A 18. századi eredetű épület az ötletes tömegalakításának és a gazdagon képzett, ugyanakkor mértéktartó részleteinek köszönhetően az angol gótikus stílusban épített magyarországi kastélyok közül az egyik legszebb.
Az összhatást az angolkert taván tükröződő kastély képe és a barokk templomtorony is fokozza.