A korábbi kastély helyén álló, Fellner Jakab által tervezett épületet, amely a kerti homlokzaton lévő felirat szerint 1781-re készült el, Eszterházy János építtette.
Az emeletes főszárnyból és két földszintes szárnyból állónak tervezett kastély építése közben tervváltozás történt, ugyanis a színházkedvelő gróf a főszárny megépítése után a mellékszárnyak befejezése helyett 1794-ben egy színházat építtetett. Így jobb szárnyát csak 1798-ban húzták fel.
A kastélyt ezt követően a 19. század első évtizedében építették át. Terveit a családi kapcsolatoknak köszönhetően Le Febre d’Archambault belga hadmérnök készítette. Az 1804-6 között zajló munkálatok során elkészült a bal szárnyhoz csatlakozó pavilon és az udvari homlokzat portikusza, majd 1808/9-ben a nagy istálló. Az 1816 és 1823 közötti átépítés tervei Charles Moreautól származnak.
Ennek eredményeként jött létre a nagyvonalú elrendezés és vált hangsúlyossá a franciás jelleg. Az U alaprajzú épület díszudvarát északról és délről földszintes oldalszárnyak fogják közre. Az emeletes
főszárny háromtengelyes középrésze előtt kocsifelhajtós, dór oszlopos portikusz áll, alatta az 1823-as építési emléktáblával, valamint Eszterházy Miklós és felesége klasszicista stílusú medallionportréjával.
A kerti homlokzatot a főpárkány feletti ballusztrád és a ballusztrádos, Eszterházy-Pálffy-címeres portikusz oszlopai könnyedebb hatásúvá teszik. A főépülethez két oldalról kápolna – melynek bizonyos részletei a Moreau által átépített kismartoni kastélyon is feltűnnek – és színház csatlakozik.
Kertjének építése 1779-ben kezdődött, Isidore Canevale tervei szerint. A jelenleg 80,6 hektáros angolpark területén a Szentháromság-emlék, a gömb-napóra, a műbarlang, a vadászkápolna és a „svejcerej” ma is megvan. Gótikus csarnokát a vértesszentkereszti apátságból származó építészeti faragványok felhasználásával építették.
A napóleoni háborúk után gazdaságilag megerősödő főúri réteg tipikus kastélya. Tartózkodó nagyvonalúságán áttűnő barokk örökséggel és a franciás jelleggel különleges színfoltja klasszicista kastélyépítészetünknek. A díszítés visszafogott használata és a zárt, súlyos tömeg a kápolnaszárnyat a nálunk alig képviselt francia forradalmi építészet felfogásával rokonítja.