I 1919 ble han medlem i KPD (det tyske kommunistiske parti) og deltok i («marskampene i Midt-Tyskland») i 1921. Wollweber steg fort i gradene i partiorganisasjonen, og i 1921 ble han medlem av Sentralkomitéen og politisk sekretær for KPD-distriktet Hessen-Waldeck. To år etter ble han en av lederne for de militante avdelinger av KPD i Hessen-Waldeck, Thüringen og Schlesien. Wollwebers virksomhet førte til at han ble arrestert i 1924, og deretter anklaget for høyforræderi. Han ble løslatt i 1926, og i 1928 ble han valgt til representant i det prøyssiske delstatsparlament, og innehadde den posten til 1932. I 1929 ble han valgt til delstatsparlamentet for Niederschlesien, og fra 1932 til 1933 var han medlem av den tyske Reichstag.