Marchais ble medlem av kommunistpartiet i 1947. I 1956 ble han utnevnt til medlem av den utvidede sentralkomité i partiet, og i 1959 ble han fullt medlem av denne og medlem av Politbyrået i samme slengen. Fra 1961 var han sekretær med ansvar for hele organisasjonen, deretter ble han utnevnt til junior generalsekretær i 1970.