Allerede før Hitlers magtovertagelse blev KPD forbudt efter Rigsdagsbranden. De medlemmer af partiet, der ikke nåede at flygte, blev sat i de nye koncentrationslejre. Resten gik i skjul, i eksil eller tog til Sovjetunionen. Mange af KPD´s flygtede politikere arbejdede under krigen for Sovjetunionen i kampen Nazi-Tyskland. Bl.a. den senere leder af Sozialistische Einheitspartei Deutschlands (forkortet SED) Walter Ulbricht.