Pieck vokste opp i Guben som sønn av en kortevarerhandler. Etter at han gikk ut av folkeskolen i 1890, gikk han i lære som møbelsnekker. Han fikk etter hvert kontakt med arbeiderbevegelsen. Han ble fagorganisert i 1894 og meldte seg året etter inn i Sozialdemokratische Partei Deutschlands. Fra 1896 arbeidet han som møbelsnekker i Bremen og ble i 1905 valgt inn i Bremens parlament hvor han satt fram til 1910. Han engasjerte seg i opplæringsvirksomheten innen partiet, og fra 1910 arbeidet han i den sentrale opplæringsenheten i Berlin. Gjennom dette virket ble han blant andre kjent med, og influert av Rosa Luxemburg.