Gerő fu costretto dal Politburo sovietico a dimettersi il 25 ottobre 1956, durante la seconda giornata della rivoluzione ungherese, con l'accusa di non aver saputo gestire la rivolta. Dopo essere stato sostituito da János Kádár, Gerő fuggì nell'Unione Sovietica rimanendovi fino al 1961, quando tornò a Budapest dove lavorò come traduttore occasionale fino alla sua morte.