Na de Duitse inval in de Sovjet-Unie werd Ulbricht lid van het Nationaal Comité voor een vrij Duitsland (NKFD), een door de Sovjet-Unie in het leven geroepen en door de communisten gedomineerde antifascistische organisatie. Op 30 april 1945 keerde hij terug naar Duitsland als aanvoerder van de Groep Ulbricht: een groep voormalige functionarissen van de KPD die terugkeerden uit ballingschap in de Sovjet-Unie om het Rode Leger bij te staan bij de wederopbouw van het bestuur van Berlijn en om de oprichting van politieke partij en organisaties voor te bereiden. "Es muss demokratisch aussehen, aber wir müssen alles in der Hand haben" ("Het moet er democratisch uitzien, maar wij moeten wel alles in de hand hebben") was een uitspraak van Ulbricht bij de uitvoering van die opdracht, waaraan hij zich nauwgezet hield.