Han var i 1921 med på stiftelsen av det italienske kommunistiske parti (PCI). Fra 1922 var Togliatti med i partiets sentralkomite. Frem til 1926 offentliggjorde han under pseudonymet antifascistisk propaganda, ble i 1923 og i 1925 arrestert av Benito Mussolinis fascistiske regime, emigrerte i 1926 til Tyskland, og senere til Sovjetunionen. Der fikk han en ledende rolle i Komintern, ble ved dens VII kongress i 1935 forkjemper for Josef Stalins folkefrontpolitikk og tilhørte fra 1937 til 1939 Garibaldi-bataljonen og kjempet med denne i den spanske borgerkrig. Etter at generalsekretær Gramsci ble arrestert, rykket han opp og var frem til sin død lederskikkelsen i PCI, fra 1947 som generalsekretær.