Pollit se enfrentó a otra crisis en 1956, cuando Nikita Jruschov atacó el legado de Stalin. La represión de la Revolución húngara de 1956 agravó la crisis del partido, y la mayoría de sus intelectuales (incluyendo a Doris Lessing y E. P. Thompson) y muchos afiliados de base lo abandonaron. Otros, como el historiador Eric Hobsbawm, optaron por permanecer en él, para intentar reformarlo. Pollitt, deprimido tanto físicamente (sufría de ceguera temporal) como por su creciente aislamiento político, dimitió de la secretaría general y fue nombrado presidente del Partido.