Zamek arcyksiążęcy stoi na placu Jerzego naprzeciw pałacu Sándora. Na jego miejscu znajdował się niegdyś osiemnastowieczny pałac Telekich w stylu zopf. W latach 90. XIX wieku został przebudowany przez austriackich architektów, Giergla i Korba dla arcyksięcia Józefa. Podczas oblężenia Budapesztu otoczenie pałacu zostało zniszczone, a sam budynek uległ uszkodzeniom w trakcie walk. W latach 60. budynek w zrujnowanym stanie był widoczny z Kristinaváros. W trakcie prac renowacyjnych Pałacu Królewskiego w 1969 został zlikwidowany wraz z królewskimi stajniami i budynkiem straży konnej. Na jego miejscu pozostawiono pole ze średniowiecznymi ruinami, oraz otwarto dla zwiedzających muzeum na wolnym powietrzu.