In den Grundmauern der Burg fand man Spuren römischer Baukunst. Der älteste Teil der Burg ist die untere Hälfte der Turmburg, der aus dem 14. Jahrhundert stammende sogenannte Flucht-gang und der Kreuzgewölberaum. Die an die östliche Ecke des Burgturmes angefügte Kapelle, die Bischof Orbán Dóczy in der Zeit 1481-86 im gotischen Stil errichten ließ, ist ein seltenes Beispiel einer mehrstöckigen Burg-kapelle. Nach der Schlacht von Mohács (1526) fiel die Burg in die Hände der Burgkommandeure. Die Burg wurde kontinuierlich verstärkt. Der größte Umbau geschah in der Zeit zwischen 1561 und 1575 aufgrund von Plänen des Italieners Pietro Ferrabosco. Trotzdem wurde die Burg am 29. September 1594 von den Türken eingenommen. Nach vier Jahren gelangte sie aber am 28. März 1598 wieder in ungarische Hand. Der Bischof Ferenc Zichy (1743-1783) ließ das Gebäude restaurieren und in seiner heutigen Form ausbauen.
Im Juni 2004 wurde eine ständige Ausstellung über den Bischof Vilmos Apor eröffnet, der 1945 von russischen Soldaten in dem Kellerraum unter der Burg niedergeschossen wurde. Die Ausstellung setzt ein Denkmal dem Martyrium von Vilmos Apor: sie zeigt sein Leben, seine Tätigkeit, beschwört sein Opfer und seinen Märtyrertod. Neben den Tagebuchausschnitten wird das Lebensopfer des Bischofs Apor bis zum Martyrium mit Hilfe von gegenständlichen Erinnerungen, Dokumenten, Musik, Licht-effekten und separaten audiovisuellen Mitteln aufgefrischt.
Die Gruppenführungen beginnen in jeder vollen Stunde.