纳粹德国合并，该建筑的主人埃弗吕西父子被盖世太保逮捕，威胁要送进达豪集中营。78岁的维克托·埃弗吕西签字放弃对建筑及所有内部艺术品和珍稀古版书的所有权后获释。家族成员被关押在两个房间，在同意放弃剩余的财产，包括埃弗吕西银行后，才获准离开奥地利。第二次世界大战期间，宫殿遭到严重损坏。1950年，经过长时间的诉讼，分布在世界各地的幸存的埃弗吕西家族成员收回建筑物以及许多书籍和艺术品的合法所有权，但有没有回到给他们带来痛苦和创伤记忆的维也纳，而是将其以5万美元的低价出售（由于其受损状况，以及维也纳的低迷经济形