A vár alapjaiban római építések nyomait találták meg. A legrégebbi része a toronyvár alsó fele, a XIV. századból származó úgynevezett menekülő folyosó, valamint az ahhoz kapcsolódó keresztboltozatos helyiség. A vártorony keleti sarkához illesztett, Dóczy Orbán püspök által 1481-86-ban gótikus stílusban építtetett kápolna, az emeletes várkápolnák egy ritka példánya.
A mohácsi vész után (1526) a vár a várkapitányok kezébe került. A fenyegető török veszély miatt folyamatosan megerősítéseket végeztek rajta. A legnagyobb átalakítás 1561-1575 között az itáliai Pietro Ferrabosco tervei alapján történt. Ennek ellenére a várat a törökök 1594. szeptember 29-én elfoglalták. Négy év múlva, 1598. március 28-án azonban ismét magyar kézre került, de a püspökök csak a XVIII. század közepén költözhettek vissza székhelyükre. Zichy Ferenc püspök (1743-1783) restauráltatta és a mai formájára bővítette az épületet. A vár és a palota utolsó felújítása 1984-ben fejeződött be. A felújítás során a torony falán előkerültek a középkori toronyhomlokzat részletei, amelyeket szintén restauráltak.
2004 júniusában állandó kiállítás nyílt Apor Vilmos püspökről, akit a vár alatti pincehelyiségben lőttek le orosz katonák 1945-ben.
A kiállítás Apor Vilmos vértanúságának állít emléket: bemutatja életét, tevékenységét, megidézi áldozatát és vértanúhalálát. A püspök naplórészletei mellett tárgyi emlékek, dokumentumok, zene, fényhatások és különböző audiovizuális eszközök segítségével elevenítik fel Apor püspök vértanúságig menő életáldozatát.
A csoportok minden egész órában indulnak vezetéssel.