Han hamnade åter i motvind 1956 när han hyllade Stalin, då hade den hemliga Tjugonde partikongressen i Moskva fördömt den dåvarande sovjetiske ledaren. Pollitt avsattes återigen och den här gången fick han den lägre posten som styrelseordförande för partiet.