Pracował jako robotnik portowy i marynarz. Od 1903 członek Socjaldemokratycznej Partii Niemiec (niem. "Sozialdemokratische Partei Deutschlands", SPD). Podczas I wojny światowej przeszedł do Niezależnej Socjaldemokratycznej Partii Niemiec (niem. "Unabhängige Sozialdemokratische Partei Deutschlands", USPD), w ramach której prowadził agitację rewolucyjną wśród żołnierzy. Od 1920 członek Komunistycznej Partii Niemiec (niem. "Kommunistische Partei Deutschlands", KPD). W październiku 1923 dowodził zorganizowanym przez siebie powstaniem robotniczym w Hamburgu. W 1924 został dowódcą Związku Bojowego Czerwonego Frontu (niem. "Roter Frontkämpferbund", RFB). W 1925 został przewodniczącym Komitetu Centralnego KPD. Jako wysunięty przez Stalina przywódca partii usunął z jej kierownictwa Ruth Fischer i Arkadija Masłowa, związanych ideowo z Lewicową Opozycją i przeprowadził czystkę członków KPD. W latach 1928–1943 był członkiem Komitetu Wykonawczego Międzynarodówki Komunistycznej.