Longosta tuli sodan jälkeen PCI:n apulaispääsihteeri. Hän edusti puoluettaan Kominformin perustavassa kokouksessa vuonna 1947. Pääsihteeri Palmiro Togliattin kuoltua vuonna 1964 Longo valittiin hänen seuraajakseen. Longo oli aiemmin tunnettu uskollisuudestaan Neuvostoliitolle, mutta pääsihteerinä hän jatkoi Togliattin aloittamaa linjaa korostamalla PCI:n aatteellista itsenäisyyttä ja ”italialaista tietä sosialismiin”. Longon kaudella PCI muun muassa tuomitsi Neuvostoliiton vuoden 1968 Tšekkoslovakian miehityksen. Vetäydyttyään pääsihteerin tehtävästä vuonna 1972 Longo jatkoi kunniatehtävässä puolueen puheenjohtajana. Hän kannatti edelleen ajatusta vaihtoehtoisista teistä sosialismiin, mutta arvosteli seuraajansa Enrico Berlinguerin omaksumaa ”historiallisen kompromissin” politiikkaa.