Када је Националсоцијалистичка партија Немачке дошла на власт јануара 1933, Улбрихт је отишао у илегалу. Власти су га тражиле тако да је емигрирао у Париз. У свом чланку из 1940. писао је да се Енглеска у рату не бори против терора и снага реакције у Немачкој, већ у корист енглеског империјализма. Подржао је Совјетско-немачки уговор о ненападању, јер је сматрао да је снага Црвене армије натерала Немачку да склопи мир, за разлику од антисовјетског британско-француског блока.