Ovenpå den russiske oktoberrevolution i 1917 blev der stiftet en lang række af kommunistiske partier rundt om i Europa. KKE blev stiftet den 4. november 1918 under navnet "Grækenlands Socialistiske Arbejderparti", partiet skiftede navn flere gange, og i starten af dets historie var der blandt andet diskussioner om man skulle tilgå Komintern. I november 1924 skiftede partiet navn til sit nuværende og skiftede samtidigt fuldstændigt over til principperne af Marxisme-leninisme. Pandelis Pouliopoulos blev valgt som generalsekretær. Siden dengang har partiet fungeret på basis af demokratisk centralisme.