L'invasione nazista dell'Austria (1938) costrinse Bermann Fischer a lasciare precipitosamente Vienna per rifugiarsi in Svizzera. A Zurigo, dietro suggerimento di Franz Werfel, Bermann Fischer prese contatto con la casa editrice svedese Bonnier la quale acquistò il 51% della "Bermann-Fischer Verlag" in cambio del permesso si soggiorno in Svezia ai Berman Fischer. Bermann Fischer si stabilì a Stoccolma per gestire la "Bermann Fischer Verlag". Ma lo scoppio della seconda guerra mondiale segnò l'inizio di difficoltà anche in Svezia a causa delle simpatie del governo svedese per la Germania nazista. Alla fine del 1939 Berman Fischer e i suoi familiari vennero internati e ciò li spinse a tentare la fuga verso gli Stati Uniti d'America, paese che raggiunsero nel giugno 1940 dopo un lungo viaggio attraverso l'Unione Sovietica, il Giappone e le isole Hawaii.