Anlässlich des „Anschlusses“ Österreichs an das nationalsozialistische Deutschland im Jahr 1938 wurde die reiche Sammlung beschlagnahmt und nach dem Krieg an verschiedene Museen verkauft. Das Palais selbst erlitt 1944 bei mehreren Luftangriffen durch Bomben starke Schäden, allerdings blieb ein guter Teil der Substanz erhalten. Obwohl ein Wiederaufbau möglich gewesen wäre, wurde der Bau nach dem Krieg abgerissen.