Nel 1936, Fritz conobbe una giovane donna, Charlotte Kaletta (1910-1985), nata a Ilmenau, in Turingia, nella Germania centrale. Era divorziata dal suo primo marito, Ludwig Löwenstein (nato il 31 maggio 1892 a Wiesbaden), e con questo aveva il figlio Gustav (nato il 3 agosto 1928 a Berlino-Tempelhof). Entrambi furono deportati insieme il 26 settembre 1942 da Berlino-Charlottenburg a Raasiku (Estonia) e successivamente assassinati nell'Olocausto con una data sconosciuta. Cercò di sposare Charlotte Kaletta, ma non poté farlo a causa delle leggi razziali che proibivano i matrimoni tra ebrei e non ebrei. La Kristallnacht consolidò la sua decisione di lasciare Berlino con la compagna e trasferirsi ad Amsterdam nel dicembre del 1938. Vissero lì per due anni prima dell'invasione tedesca, e le successive leggi anti-ebraiche che non permettevano la convivenza di ebrei e non ebrei li costrinsero a separarsi. Dopo aver stabilito uno studio dentistico ad Amsterdam "Rivierenbuurt", conobbe le famiglie Van Pels e Frank.