После прихода к власти Гитлера работал в подполье, в конце 1933 года эмигрировал и вскоре переехал в Москву. В Германии Ульбрихт был объявлен в розыск за призывы к генеральной стачке, преследовавшие «насильственное изменение конституции», и за подстрекательство к терроризму по делу об убийстве полицейских на Бюловплац. С 1935 года член Политбюро, с 1938 года вновь занимает пост представителя КПГ при Исполкоме Коминтерна. Одновременно работает в германской редакции Московского радио. Находился в Испании во время Гражданской войны, после поражения республиканцев выехал во Францию, после оккупации Франции в 1940 году бежал в Москву. С началом Великой Отечественной войны занимался агитацией среди военнопленных, во время Сталинградской битвы через громкоговорители агитировал солдат к сдаче. В 1943 году участвовал в создании среди военнопленных Национального комитета «Свободная Германия».