Zoon Edouard van der Noot ging in het familiepaleis wonen tot 1930. In dat jaar werd het voor de derde keer een Amerikaanse ambassade. In de Tweede Wereldoorlog ging de Duitse gouverneur-generaal Alexander von Falkenhausen er wonen. Hij had als vriendin en 'public relations' de blonde schoonheid Elisabeth Ruspoli, geboren van der Noot d'Assche. Ze werd in 1943 opgepakt en naar Ravensbrück gevoerd. Omdat hij te dicht stond bij het mislukte complot tegen Hitler onderging Von Falkenhausen hetzelfde lot, met opsluiting in Dachau.