Foreldrene til Ulbricht var aktive i SPD, det sosialdemokratiske partiet. Ulbricht ble også selv med der i 1912. Fra 1915 til 1917 tjenestegjorde han som soldat i Galicia og Balkan under første verdenskrig, men deserterte siden han hadde vært mot krigen fra starten av. I 1919 var han med på å grunnlegge Kommunistische Partei Deutschlands (KPD). I mellomkrigstiden satt han i Sachsens parlament fra 1926, og fra 1928 til Hitlers maktovertagelse i 1933 satt han i Weimarrepublikkens parlament, Riksdagen.