Pollitt oli lähtöisin työläisperheestä; hänen isänsä oli tehdastyöläinen ja hänen äitinsä kutoja. Hän joutui keskeyttämään koulunkäyntinsä 13-vuotiaana työskennelläkseen kutomossa. Myöhemmin hän toimi levyseppänä ja levyseppien ammattiliiton johtajana. Hän oli mukana sodanvastaisessa toiminnassa ensimmäisen maailmansodan ja Neuvosto-Venäjää vastaan suunnatun kansainvälisen intervention aikana. Pollitt oli mukana perustamassa Ison-Britannian kommunistista puoluetta vuonna 1920 ja osallistui 1921 puolueen edustajana Kominternin kolmanteen kongressiin Moskovassa. Kotimaassaan hän eteni vuoteen 1929 mennessä puolueensa pääsihteeriksi. Yhdessä Rajani Palme Duttin kanssa hän pyrki kehittämään puolueesta keskitetysti johdettua vahvaa organisaatiota. Pollitt tuomittiin vuonna 1925 kansankiihotuksesta vuodeksi vankeuteen. Vuonna 1934 häntä syytettiin jälleen kiihotuksesta, mutta tällä kertaa hänet vapautettiin syytteistä.