Po przyłączeniu Austrii do III Rzeszy 1938 i wybuchu II wojny światowej pałac wraz z kolekcją dzieł sztuki został przez władze hitlerowskie skonfiskowany jako własność obywateli polskich. W roku 1944 pałac został uszkodzony wskutek bombardowania, w roku 1945 podpalony przez włamywaczy.