A legkorábbi, kétmenetes, nyugati részében alápincézett kőépületet a bejárata fölül kibontott kőtábla szövege szerint 1581-ben építtette Mágóchy Gáspár és András. A kőkeretes nyílásokkal áttört homlokzatok meghatározó eleme volt a kék és vörös kváderekből festett, íves motívumokban végződő sarokarmírozás.
A helyiségeket, amelyeknek csak egy része volt boltozott, kandallókkal és kályhákkal fűtötték. A gazdagon tagozott, reneszánsz ajtókeretek egyike üdvözlő szöveggel fogadta a belépőt.
Miután az erősség módjára épített kőház 1591-ben Alaghy Ferenc birtokába került, a hamarosan megkezdődő reprezentációs célú presztízsépítkezés során a déli homlokzat két szélére egy-egy hatszög alaprajzú, szepesi-sárosi stílusú pártázatos, törpeárkádos lezárással, timpanonos ablakokkal, a földszinten kulcslyuk alakú lőrésekkel áttört falú, sgrafittódíszes tornyot építettek, az egészet pedig három kerek és egy, farkasvermes, felvonóhidas, belsőaknás négyzetes toronnyal ellátott külső fallal vették körül.
A pácini Mágóchy-kastély építészeti sajátosságait tekintve kettős: tömegformálásában, elrendezésében a középkori kastélyok jellegét hordozza, ugyanakkor a nemesi reprezentációt már reneszánsz építészeti elemekkel juttatja érvényre. A felvidéki építészet egyedülálló hazai emléke.