KPD ble effektivt undertrykket av nasjonalsosialistene. Tusenvis av kommunister ble sperret inne i konsentrasjonsleirene. Av lederne var det Wilhelm Pieck og Walter Ulbricht som klarte å komme seg til eksil i Sovjetunionen. KPD opprettholdt en undergrunnsorganisasjon i hele den nasjonalsosialistiske perioden, men tapet av kjernemedlemmer svekket partiets infrastruktur.