După ruperea relațiilor diplomatice dintre Germania și Marea Britanie la izbucnirea Primului Război Mondial, clădirea a rămas pustie. Supraviețuind unui incendiu care a avut loc în timpul Revoluției Germane din 1919, palatul a fost reocupat în 1920, când Edgar Vincent d'Abernon a devenit ambasador. La începutul celui de-al Doilea Război Mondial relațiile dintre cele două țări au fost întrerupte din nou. Clădirea a fost grav avariată de bombardamentele aliaților în timpul războiului și a fost demolată în 1950. Terenul pe care s-a aflat clădirea a rămas totuși în posesia statului britanic.