Bandito e perseguitato dal regime nazista di Adolf Hitler, che assassinò in carcere il suo segretario generale Ernst Thälmann, il KPD mantenne un'organizzazione clandestina e dovette subire pesanti perdite. Il partito rinacque nella Germania post-bellica e conquistò pochi seggi (15) col 5,7% dei suffragi alla prima elezione al Bundestag del 1949; i suoi sostenitori comunque subirono un grande calo a causa dell'instaurazione di uno Stato socialista nella Zona di occupazione sovietica in Germania. Un altro fatto che lasciò margini molto stretti alla diffusione del comunismo nella Germania occidentale fu l'esperienza di milioni di soldati tedeschi che durante la campagna di Russia avevano constatato le condizioni di vita del popolo sovietico. Nelle elezioni federali del 14 agosto 1949 il KPD. ottenne il 5,7% dei suffragi con 1.361.706 voti e 15 deputati al Bundestag. Nelle successive elezioni federali del 6 settembre 1953 il KPD. ottenne il 2,2% dei suffragi con 611.317 voti. Tra le cause della debacle del KPD tra le due elezioni (perdita di 750.389 voti e della rappresentanza parlamentare) non furono estranei i Moti operai del 1953 nella Germania Est contro il regime filosovietico nel giugno-luglio 1953 ed il relativo soffocamento con energia dell'insurrezione da parte delle truppe sovietiche (arresti in massa, corte marziale, fucilazioni e fughe nella Germania occidentale). Il partito fu bandito nella Germania Ovest nel 1956 (il KPD venne sciolto dalla Corte Costituzionale Federale tedesca di Karlsruhe il 17 agosto 1956 in applicazione dell'articolo 21, 2°comma, della Legge Fondamentale della Repubblica Federale Tedesca ed il successivo ricorso alla Commissione Europea dei Diritti dell'uomo avverso tale decisione venne dichiarato irricevibile in data 20 luglio 1957), ma nel 1968 fu fondato un nuovo partito comunista, il Partito Comunista Tedesco (DKP).