Grotewohl ble medlem av SPD i 1912. Fra 1918 tilhørte han Tysklands uavhengige sosialdemokratiske parti (USPD), idet han motsatte seg SPD-ledelsens regjeringstro holdning under første verdenskrig, den såkalte borgfredspolitikken. I november 1921 ble han utnevt til folkeutdanningsminister i regjeringen til ministerpresident Sepp Oerter (USPD). Da de to sosialdemokratiske partiene slo seg sammen også i Braunschweig i oktober 1922, ble han sammen med en SPD-mann formann av fellesfraksjonen. Han var parlamentariker og minister i Fristaten Braunschweig 1920–25 samt fristatens SPD-leder og riksdagsmann 1925–33.