Vid Ungernrevolten 1956 flydde han till Sovjetunionen. När János Kádár tog över makten i Ungern efter Ungernrevolten träffade han en överenskommelse med Kremlledningen att Rákosi inte skulle återvända till landet, då han sågs som en för stor belastning för det kommunistiska partiet och Kádár fruktade att denne skulle återigen börja intrigera för att ta över makten.