Under Hitlers styre måtte Ulbricht i eksil, og han bodde i Praha og Paris frem til 1938 da han dro til Moskva. Etter at krigen mellom Tyskland og Sovjetunionen begynte i 1941, reiste Ulbricht ofte til fronten eller besøkte tyske krigsfanger for å drive propagandavirksomhet for Sovjetunionens sak. I samme hensikt knyttet han seg i 1943 til Nationalkomitee Freies Deutschland, en anti-nazistisk aksjonsgruppe bestående av omvendte tyske krigsfanger i Sovjetunionen.