Mellom 1926 og 1928 satt han fengslet i Berlin-Moabit. Hans livsledsagerske Olga Benario ledet så en gruppe som befridde ham, og han flyktet straks til Moskva der han i 1928-29 var medlem av Den proletariske vernedivisjon. Han studerte samtidig ved militærakademiet i Frunze til 1932.