Po začiatku Operácie Barbarossa bol Ulbricht vedúcou osobnosťou v zoskupení nemeckých komunistov, ktorí pod prísnym dohľadom NKVD bojovali proti Hitlerovi. Ich práca spočívala v konzultáciách, špionáži, propagácii a prípadnom výsluchu zajatcov.