El 25 de febrer de 1956, durant el XX Congrés del PCUS, Nikita Khrusxov pronuncià el Discurs Secret, oficialment «Sobre el culte a la personalitat i les seves conseqüències», on denuncià els crims de Stalin, amb la qual cosa, el PCUS trencava amb l'estalinisme en nom del retorn al leninisme inicial. Per això, sota pressió soviètica, el juny de 1956, Rákosi deixà el càrrec de secretari general del partit que passà a Ernő Gerő. Per tal d'eliminar-lo de l'escena política hongaresa, Rákosi fou enviat a l'URSS, oficialment per rebre-hi tractament mèdic, i va passar-se la resta de la seva vida al Kirguizistan. Poc abans de la seva mort, se li va oferir la possibilitat de tornar a Hongria amb la condició de prometre no dedicar-s'hi a activitats polítiques; Rákosi va rebutjar el tracte i va quedar-se a l'URSS fins que va morir a Gorky el 1971. Després de la seva mort, el seu cos fou retornat a Hongria i enterrat a Budapest.