A Várhegy oldalába simuló sümegi püspöki palota épületegyüttese a Balaton-felvidék egyik kiemelkedő műemlékegyüttese, amelyet 1675-ben említenek először. A négysaroktornyos, zártudvaros kastélyt korábbi épület helyén Padányi Bíró Márton veszprémi püspök emeltette 1745-tõl.
Építtetője ifj. Sennyei István veszprémi püspök volt. A korábbi, kisebb kúriát is felhasználva, Padányi Bíró Márton veszprémi püspök, a XVIII. századi magyar katolikus egyház egyik vezéralakja emeltette 1749-től a jelenlegi, barokk épület elődjét.
Az 1770-es évek közepén a kastély nyugati homlokzatának középrizalitját copf jellegűre, 1830 körül klasszicista stílusban átépítették. Ekkor készültek kályhái, ajtói, intarziás lambériái, táblás parkettái is.
A XIX. század elején átalakították a falakkal határolt, teraszos kialakítású kertet is. A mai faállomány néhány példánya valószínűleg a XIX. századi kertből való. A XIX. század elejétől a veszprémi püspökség már csak nyaralópalotának használta az épületet.
A négysaroktornyos, zártudvaros épület a domborzati viszonyokat követve részben földszintes, részben emeletes. A főkapu felett lévő áttört mellvédű erkélyt Atlasz-figurák tartják.
A szobordíszes főpárkány alatt az építtető püspök címere látható. Helyiségeinek jelentős része boltozott. A kastély legszebb tere a Szent Mártonnak szentelt kápolna.
A tituláris szent kupolán lévő képét és a korona felajánlását ábrázoló, 1750-ben elkészült oltárképet a váci Vogel Gergely, a Zichyek óbudai kastélyát is kifestő mester festette. Stukkóit a pesti Antonio Orsatti készítette. A kápolna mellett kialakított könyvtárszoba mennyezetén magának az építtetőnek az alakja jelenik meg csillagászati műszerekkel és egyéb eszközökkel együtt.
Az együttes képét 1758-ban Maulbertsch is megörökítette a plébániatemplom orgonakarzatának falán. A sümegi püspöki kastély a magyarországi vidékies barokk építészet megkapóan szép emléke, melyen a provinciális vonások nagyvonalú megoldásokkal ötvöződnek. Belső kialakításának, díszítésének megmaradt részletei kiemelkedő értékűek.