Het niet-aanvalsverdrag tussen de Sovjet-Unie en Nazi-Duitsland leidde tot een grote controverse binnen de gehele communistische wereldbeweging en daarmee ook de KPB. In de beginfase van de Tweede Wereldoorlog hield de KPB zich overeenkomstig het beleid van Moskou gedeisd. Door de Belgische autoriteiten werd ze als een binnenlandse vijand gezien, tot de verbreking van het niet-aanvalspact door Hitler de Sovjetunie in juni 1941 in het geallieerde kamp bracht. De nazi's in België hadden deze ommekeer voorbereid en brachten onmiddellijk de KPB een zware slag toe met Operatie Sonnenwende. Desondanks stortte de partij zich vanaf dan volop in het Belgisch verzet. De KPB was bijvoorbeeld de drijvende kracht achter het Belgisch leger der partizanen, onderdeel van het Onafhankelijkheidsfront. Tijdens de oorlog werden verschillende leiders van van de KPB vastgezet en vervolgd, zoals Julien Lahaut, Jean Terfve et Fernand Jacquemotte.