Under aksjonen mot de norske jødene høsten 1942 ble Elsas far Meyer og brødrene Herman, Sigurd og Rolle arrestert og overført til Berg fangeleir utenfor Tønsberg. Kun Rolle, som var gift med en ikke-jødisk kvinne, ble værende på Berg etter deportasjonen med Donau den 26. november 1942. Meyer, Herman og Sigurd gikk alle til grunne i Auschwitz. Elsa flyktet til Sverige med falskt grenseboerbevis i desember 1942. Her la hun press på svenske myndigheter for å få broren Rolle løslatt fra Berg og overført til Sverige (deres mor hadde vært svensk statsborger). Det lyktes hun med, og i januar 1944 kom også Rolle over grensen til Sverige.