En 1961, il succède à Marcel Servin au poste stratégique de secrétaire à l'organisation. Dans cette fonction, le principal objectif de Georges Marchais est de faire repartir à la hausse les effectifs. Il bénéficie, pour ce faire, de la politique de la main tendue dirigée vers les autres forces de gauche, que conduit le nouveau secrétaire général, Waldeck Rochet, qu'il soutient. Responsable encore peu connu à l'extérieur du parti, il se fait remarquer pendant Mai 1968 par un article paru dans "L'Humanité". Il y attaque Daniel Cohn-Bendit, qu'il qualifie d', formule qui vise pour le PCF à contester la légitimité de la révolte étudiante en s'en prenant au « parti de l'étranger ». Il critique les du Mouvement du 22 Mars, dont l', selon ses termes, . Cependant, face à la répression policière, Georges Marchais et le PCF soutiennent le mouvement étudiant et ses revendications. Ils appellent à l'union des étudiants et des ouvriers, et à la création d'une « université moderne et démocratique qui doit remplacer l'université de classe actuelle ». Georges Marchais garde le silence en public lors du Printemps de Prague. En interne, il soutient le secrétaire général et le communiqué de la direction du PCF marquant sa vis-à-vis de l'intervention soviétique.