Em 1938, com a anexação da Áustria pela Alemanha Nazista, Alma e Franz foram obrigados a deixar o país por serem judeus e fugiram para a França. Eles se estabeleceram na Riviera Francesa entre 1939 e 1940. Com a ocupação da França pela Alemanha nazista, na Segunda Guerra Mundial e a deportação de judeus e adversário políticos para campos de concentração nazistas, o casal não estava mais a salvo na França e assim foram obrigados a buscar abrigo nos Estados Unidos. Em Marselha, eles entrara em contato com um jornalista norte-americano, Varian Fry, também emissário de uma organização norte-americana que ajudava refugiados artísticos e intelectuais na época.