I 1943 og 1944 ble paléet sterkt skadet ved bombeangrep. Selv om en vesentlig del av byggsubstansen overlevet krigen og en gjenoppbyggelse hadde vært mulig, ble paléet revet i 1951 for å gi plass til en annen bygning.