Etter at NSDAP tok makten i 1933 ble han etterlyst. Han flyktet fra Tyskland til Sovjetunionen via Sveits og Tsjekkoslovakia. Inntil 1945 brukte han aliaset «Heinz Roth», som er grunnen til at han begynte å bruke Heinz som fornavn i stedet for sitt døpenavn Karl. I Sovjetunionen gikk han på den internasjonale Leninskolen i Moskva.