Toisen maailmansodan lopulla Suomi katkaisi syyskuussa 1944 välirauhansopimuksen velvoittamana suhteet Unkariin, ja suurlähettiläs Aarne Wuorimaa perheineen poistui maasta. Budapestin piirityksen lopussa puna-armeijan joukot tunkeutuivat rakennukseen, ja se ryöstettiin ja hävitettiin, ja lopulta se tuhoutui pommituksessa, jossa selviytyivät hengissä pommisuojaan menneet, mutta taloon jäänyt vahtimestari Ferenc Tömör kuoli.