Ebanista de profesión, se afilió al Partido Socialdemócrata de Alemania (SPD) en 1895. Al estallar la Primera Guerra Mundial, se encuadró en el ala izquierda del Partido, opuesto al apoyo al conflicto y partidario de la Revolución. Como miembro de la "Liga Espartaquista" de Karl Liebknecht y Rosa Luxemburgo fue uno de los fundadores del Partido Comunista de Alemania (KPD) en 1918. En enero de 1919, tras el fracaso del Levantamiento Espartaquista, Liebknecht y Luxemburgo fueron detenidos por una unidad de los Freikorps y ejecutados extrajudicialmente mientras Pieck logró huir a Italia.