Partiet ble grunnlagt i kjølvannet av det mislykkede revolusjonsforsøket i Tyskland i januar 1920. Kretsen rundt Levi mente at KPD hadde vist seg ute av stand til å lede revolusjonen i riktig retning, og da partiet ble stiftet hadde det opp mot 80 000 medlemmer. Partiet nøt også godt av avskallinger fra KPD. I 1922 tok partiet initiativ til dannelsen av , en internasjonal samling av rådskommunistiske partier og organisasjoner fra Storbritannia, Belgia, Nederland og Bulgaria i tillegg til KAPD. På dette tidspunktet var imidlertid partiet allerede spaltet mellom en fraksjon med hovedsete i Berlin og en med hovedsete i Essen, og Berlin-fraksjonen mente det var for tidlig å danne en ny internasjonale. Denne skulle for øvrig gå i oppløsning i 1925.