Under begynnelsen av annen verdenskrig ble Ollenhauer arrestert av franskmennene, men løslatt takket være Léon Blum. Han reiste senere til den ubesatte delen av Frankrike (Vichy-Frankrike), før han flyktet til Lisboa via Spania. Ett år senere klarte han å dra til London, hvor SPDs eksilorganisasjon hadde innrettet seg for de siste krigsårene. Han ble her nærmeste medarbeider av partiets formann Hans Vogel. Bare takket være støtte fra det britiske arbeiderpartiet var det mulig for Ollenhauer å hindre emigrantenes frafall, forberede gjenoppbyggelsen av SPD og opprettholde kontakt til britiske politikere.