Quan Alemanya va annexar Àustria el 1938, Alma i el seu pare van aconseguir escapar cap a Londres (la seva mare havia mort un any abans), però va tornar al continent per tocar als Països Baixos. Altres membres de la seva família van tenir sort diversa: el seu germà Alfred (1902-1975) va poder volar fins a Canadà, però el seu oncle Eduard Rosé (1859-1943) va ser arrestat i deportat al camp de concentració de Theresienstadt, on va ser assassinat.