Under Karl Levis ledelse ble partiet for første gang et masseparti på 1920-tallet. Lederskapet var imidlertid ustabilt og Levi ble ekskludert fra Komintern. Flere lederskifter fulgte i første del av 20-tallet, inntil etter 1923, da Ernst Thälmann og en ledelse som var vennlig innstilt til stalinistene i Russland kom til makten. Disse mente at sosialdemokratene var en større trussel enn konservative og nasjonalsosialister og omtalte dem som «sosialfascister». Kommunistpartiet konsentrerte sine angrep mot SPD, på ordre fra Moskva, og håpet at nasjonalsosialistene skulle komme til makten. Denne holdningen førte blant annet til at medlemmer av NSDAP og KPD streiket sammen i 1932. KPD regnet med at en nasjonalsosialistisk regjering fort ville kollapse, noe som kunne bane vei for et sosialistisk diktatur. Kommunistpartiet fikk hele 100 mandater i Riksdagen i Weimarrepublikkens siste år. I presidentvalget i 1932 fikk Thälmann 13,2 %.