Toen hij terug in Griekenland aankwam, werd hij opnieuw secretaris-generaal van zijn partij. Tijdens de Griekse Burgeroorlog kwam hij in conflict met zijn aartsrivaal Markos Vafiadis. Op 7 februari 1949 volgde Zachariadis hem op als leider van de "Voorlopige Democratische Regering" en behield dit mandaat tot 3 april van datzelfde jaar.