A mai együttes egy észak-déli irányú, feltehetően 15. századi hosszanti épület – a hagyomány szerint Mátyás király vadászkastélya – folyamatos bővítése során jött létre.
A birtokot 1538-ban adományozta I. Ferdinánd király Sibrik Gergely országbírónak, testvérének és unokatestvérének. Építkezésére a bejárati kapu feletti, 1614-es kettőscímer utal, amely alapján ennek megrendelői Sibrik Osváth és felesége, Gersei Pethő Éva voltak.
Feltehetően ekkor emelték a főépület nyugati oldalán a két, előreugró szárnyat. Talán ekkor épült az udvart három oldalról körülvevő körítőfal is, keleti oldalán két, ötszögű toronnyal.
Az udvar déli oldalán lévő, egytraktusos szárny emelete és az előtte lévő tornác, valamint a homlokzatok meszelt sávok közötti höbörcsös felületű vakolata a 18. század végén készült. A körülötte lévő, természetvédelmi területként besorolt 7,6 hektáros parkerdő észrevétlenül olvad a tájba, egybefonódva a Kőszegi-hegység erdőségeivel és szelídgesztenye-ligeteiről nevezetes, lágyan hajló domboldalaival.
A bozsoki kastélyt elsősorban hangulati értéke, sajátosan magyar jellege, a népi építészet eszköztárának elemeit a korábbi művészettörténeti korszakok vonásaival összeolvasztó egyénisége sorolja a jelentős műemlékek sorába. Az átépítések miatt kissé esetleges tömeg- és téralakítása adja meg szépségét. Az épület jelenleg kastélyszállóként működik.