A kastélyt Szepessy Sámuel építtette a cseh származású Povolny János egri építőmesterrel. Az 1778-ig tartó munkálatok azonban, amelyre Szepessy 60 ezer forintot költött, meghaladta anyagi erejét, és mivel befejezni sem tudta az épületet, 1782-ben eladta Vécsey Annának, Antoine de la Motte császári ezredes későbbi feleségének. Az új tulajdonosok XVI. Lajos-stílusban fejezték be az épületet.
A kiegyensúlyozott, letisztult összhatású, U alakú kastély a főbejárati oldalon emeletes, a másikon, a mögötte lévő domb miatt földszintes. Az épülettömeg elosztása és a részletformák a késő barokk klasszicizáló irányzatát képviselik.
A helyiségek némelyikében falfestés látható. A franciakertből a sala terrenába lépő újabb kertbe került: a falakra lécrácsos filagóriát festettek, buja növényzettel. A lépcsőház boltozatán lévő, Apollót négylovas kocsin ábrázoló freskót, az Egerben letelepedett bécsi mester, Kracker János Lukács Guido Reni alapján festett művét, veje, Zach József fejezte be 1779-ban.
Szintén Zach műve díszíti az emeleti előcsarnok falát: a festett szoborfülkékben hat antik isten geometrikus formákból összeállított, a parmai Alexandre Petitot metszetei alapján készült gúnyfigurája látható. A díszterem boltozatán a bor élvezetére vonatkozó mitológiai és bibliai jeleneteket Szikora György festette, az innen nyíló ún. római szoba mitológiai alakjai, grisaille császárportréi és az ún. madaras szoba díszítése az egri Lieb Antal művei.
A kastélyhoz 5 hektáros angolkert tartozik, déli végében pálmaházzal. A kastély a jómódú középnemesi építészet gyöngyszeme, amely harmonikus megjelenésével, gazdag enteriőrjeivel érzékletesen közvetíti e társadalmi réteg életterének hangulatát.