Az 1560-as évek elején, korábbi épület helyén emelt kastély eredetileg négysaroktornyos volt. Fele részét házasság révén a 16-17. század fordulóján élt katonaköltő, Vathay Ferenc szerezte meg.
1704-ben és 1709-ben a császáriak feldúlták a várat. Nyugati részét a Rába-parti homlokzaton lévő feliratos kőtábla alapján Niczky György hozatta rendbe 1712-ben. Ennek dokumentuma a hátsó szárny emeletén lévő nagyterem bibliai idézettel díszített, faragott mestergerendáján látható 1712-es évszám is.
Ugyanekkor kerülhetett sor a Rátky család tulajdonában lévő, független keleti rész felújítására is. Ekkor készült az árkádíves udvari folyosó és a Niczky-féle szárny toszkán oszlopos árkádsora. A 18. század közepi átalakítás során bontották le a keleti oldal két saroktornyát és hozták létre a mai homlokzat szimmetrikus, középrizalitos formáját. Az udvari hátsó sarokban lépcsőházat építettek, mellette emeletes árkáddal. Ekkor, a Niczky Lázárhoz köthető átépítés során készült el a park is. Miután 1860 körül Dőry Miklós megvette, a két vízi bástyát meghagyva a kastélyt angol gótikus stílusban átépíttette.
Ennek eredményeként a négyzetes alaprajzú kastély emeletes főépületének egytengelyes középrizalitját Tudor-tornyocskákkal közrefogott lépcsőzetes oromzat zárja, a homlokzatán háromosztatú, kiemelt középrészű neogótikus ablakkal. Az épület 1970-es évekbeli helyreállítása a keleti homlokzatot leszámítva a késő középkori és a barokk megjelenés érvényre juttatását célozta.
Kertje védett, benne még felismerhető a 19. századi angolkert jellege. A Mihályi-kastély a későbbi átalakítások ellenére is megőrizte a 16. századi várkastélyok építészeti arculatát. A műemléki helyreállítás e jegyek feltárásával az egymást követő századok hozzátételének harmonikus együttesét eredményezte.