Han ble medlem av SPDs styre 29. april 1933. Da nasjonalsosialistene kort etter grep makten og begynte å forfølge politiske motstandere, bestemte partiledelsen at utsatte personer skulle emigrere. Ollenhauer reiste sammen med bl.a. Otto Wels og Hans Vogel til Praha, hvor det ble bygget opp en eksilorganisasjon. Han ble fratatt det tyske statsborgerskap i 1935. I 1937 flyttet eksilorganisasjonen til Paris. Ollenhauer meldte seg ut av den, og flyktet over Polen og Danmark til Frankrike.