A Várhegy végében emelkedő egykori királyi palota építése egészen a 13. századig nyúlik vissza. A várhegyen Zsigmond király uralkodása alatt épült ki a nagyméretű gótikus stílusú királyi palota. A palota jelentős sérüléseket szenvedett, mikor a keresztény csapatok visszafoglalták a török seregektől 1686-ban. A romokat lebontották és 1714-23 között egy kisebb méretű palotát építettek az előző helyén.
Mária Terézia alatt egy nagyobb, 203 helyiséges palota épült. 1890-ben kibővítik Ybl Miklós tervei alapján, halálát követően Hauszmann Alajos fejezi be az építéseket 1903-ban. Az 1945-ben teljesen kiégett épületegyüttest az 50-es években hozzák rendbe.
Jelenleg részben múzeumoknak – Magyar Nemzeti Galéria, Budapesti Történeti Múzeum – és az Országos Széchenyi Könyvtárnak ad otthont. Ezen kívül a palota területe több budapesti kulturális fesztivál, program helyszínéül szolgál.