Vid 1964 års partikongress efterträddes Hagberg som partiordförande av C.-H. Hermansson. Han drog sig efter detta tillbaka till en pensionärstillvaro i Malexander. Där skrev han bland annat boken "Röd bok om en svart tid", som behandlar SKP:s historia under andra världskriget. Han lämnade dock inte politiken helt. Sedan SKP (då under namnet "Vänsterpartiet kommunisterna", "VPK") fördömt Warszawapaktens invasion av Tjeckoslovakien 1968 och gått tillbaka stort i valet samma år, krävde Hagberg Hermanssons avgång som partiordförande. Hagberg ansåg att partiet skulle återgå till den Moskvatrogna, marxist–leninistiska linjen.