A kastély az 1750-es években épülhetett. A munkálatokat irányító mester személyeként az itáliai származású, Gyöngyösön letelepedett, majd Keglevich Gábor gróf szolgálatába állt Quadri Kristóf neve merült fel, az ő személyéhez kötik a pétervásárai római katolikus templom barokk kori épületének tervezését is.
Az U-alaprajzú kastély utca felé tekintő főhomlokzatának tengelyében manzárdtetős középrizalit áll, armirozott földszinti részén két szalagkeretes ablaktól közrefogott kőkeretes, kosáríves kapu nyílik. Az emeleti részt három, íves szemöldökpárkányú, zárókődíszes félköríves záradékú ablak tagolja.
Az udvart közrefogó oldalszárnyak földszinti részén pillérekre támaszkodó kosáríves tornác fut körbe. Az épület egytraktusos, csehsüvegboltozatos oldalfolyosóval.
A szerény architektonikus díszű kastély különlegessége a középrizalitban elhelyezett díszterem falképdísze, mely rokokó világi témájú falfestészetünk egyik kiemelkedő alkotása. Olymposi istenek és a Keglevich család tagjai tekintenek le a teknőboltozatos tér könnyed festésű, illuzionisztikus erkélyeiről.
Az oldalfalakon és az ajtók felett idilli jeleneteket ábrázoló, rakoncátlan vonalvezetésű kartusok, supraportok teszik mozgalmassá, színessé az enteriőrt. Rokokó arabeszkek, elhúzott drapériák mögött messze a végtelen tájra siklik a tekintet. Szerencsés módon a művész személye is ismert, a falképek egyik sarkában Beller Jakab szignatúrája is ránk maradt.
A falképegyüttesen túl számos a kastély építésének korából származó belsőépítészeti részlet, eredeti nyílászárók, finom mívű vasalatok, mázas cserépkályhák, mesteri kovácsoltvas munkák (Fazola Henrik) méltók még említésre. Kovácsoltvas kapurácsa jelenleg az Iparművészeti Múzeumban van.
A 20. század első harmadában részben átalakították az épületet. A 20. század 60-as éveiben ismét átalakításokat végeztek, több melléképületet átépítettek, másokat lebontottak.