Budynek w czasie oblężenia Budapesztu uległ prawie całkowitemu zniszczeniu, południowa jego część się zawaliła, grzebiąc pod sobą wiele niepowtarzalnych dzieł sztuki. To, co pozostało i miało jakąkolwiek wartość, szybko padło łupem rabusiów. Po wojnie dokonano tylko podstawowej rekonstrukcji, mającej na celu zachowanie substancji budynku. Zamiast przywrócenia pierwotnego stanu kierowano się podczas restauracji czy przebudowy praktycznymi celami. Z tego powodu pałac otrzymał całkiem nową konstrukcję dachową, a od strony Dunaju zburzono taras. W budynku, według planów z 1959, miały znaleźć miejsce ekspozycje utworzonego w 1957 Muzeum Historii Najnowszej ("Legújabbkori Történeti Múzeum"), ale tak się nie stało i pałac służył tylko za magazyn muzealny. Później, między 1978 i drugą połową lat 80. XX wieku, miało się tu sprowadzić Muzeum Budownictwa ("Építészeti Múzeum"), co jednak również nie nastąpiło.