En , Nikita Khrouchtchev prononce son discours secret qui devait devenir célèbre, au congrès du Parti communiste d'Union soviétique. Il y dénonce le culte stalinien de la personnalité dans les autres pays du bloc soviétique. Cinq mois plus tard, Rákosi est contraint de quitter son poste et le doit rédiger son autocritique, dans laquelle il demande à être démis de ses fonctions (pour raisons de santé) et qui est publiée dans les journaux hongrois. Il est brièvement remplacé par Ernő Gerő en tant que secrétaire général du Parti communiste et, alors que la révolution hongroise bat son plein, préfère une nouvelle fois s'enfuir en Union soviétique où il vivra encore quinze ans. Il est toutefois exclu du Parti communiste en 1962. Il réside pour le reste de sa vie en République socialiste soviétique kirghize avant de mourir en 1971. Il est enterré au cimetière de Farkasrét.