Da nasjonalsosialistene overtok makten i 1933, flyktet han først til Paris, og deretter til Moskva i 1935. Her arbeidet han i ulike oppgaver innen Komintern. Han var blant stifterne av den sovjetisk kontrollerte gruppen Fritt Tyskland. I 1945 vendte han tilbake til Tyskland sammen med Den røde armé.