El nuevo gobierno comunista consideró edificios como el Castillo de Buda símbolos del régimen anterior y, durante la década de 1950, el palacio fue destruido y los interiores fueron destruidos.