A kastélyt Festetics Kristóf kezdte építeni 1745-ben. Ehhez az épülethez már könyvesház is tartozott, melynek állományát a hitbizomány részévé tette. A kastélyt az udvari szolgálatban kitűnt, Keszthelyen gimnáziumot alapító, 1772-ben grófi rangra emelt Festetics Pál bővíttette ki 1769-70-ben.
A vagyonban és rangban egyre emelkedő család kastélyának következő átépítésére, a Georgikont, Európa első mezőgazdasági főiskoláját megalapító Festetics György megbízásából került sor 1792 és 1800 között. A korának legkiválóbb költői számára irodalmi találkozókat szervező gróf könyvtárát, melynek befogadására új oldalszárnyat építtetett, a közönség szolgálatába állította. Klasszicista stílusú polcai és állványzata a magyar klasszicista enteriőrművészet kimagasló alkotása.
A kastély utolsó, nagy, 1883 és 1887 közötti átépítésére az után került sor, hogy a később hercegi rangra emelt Festetics II. Tasziló 1880-ban feleségül vette Hamilton Mária Viktória hercegnőt.
Ennek során a kor eklektikus építészeti stílusát követve szinte lemásolták egyik-másik híres, barokk kastély (Drezda; Zwinger, Bécs; Belvedere) részleteit. A berendezést is a család reprezentációs igényeihez igazították. Festetics Tasziló felesége révén Európa legfelsőbb köreivel került rokonságba. Ennek köszönhetően vendégeskedett a kastélyban pl. VII. Edward angol király, Albrecht szász uralkodó és Ferenc Ferdinánd főherceg, trónörökös.
A nagymúltú épület Festetics György, a felvilágosodás, a Georgikon és a Helikon-ünnepségek szellemiségének emlékműve. Reprezentatív kialakítású, eklektikus terei, részben megmaradt bútorzata egyúttal az arisztokrata életforma keretéül szolgáló 19. század végi lakáskultúrába engednek bepillantást.