Z vězení byl propuštěn teprve 30. října 1956 během maďarského povstání (důstojník, který jej z internace přivezl do Budapešti, byl později za Kádárova režimu popraven). Ve veřejném rozhlasovém projevu vyzval k odporu proti komunistickému režimu, ale vyslovil se i proti jeho dědicům (míněna vláda Imreho Nagye, zčásti složená z reformních komunistů). Po porážce povstání se kardinál uchýlil na americké velvyslanectví v Budapešti, kde nuceně strávil v politickém azylu následujících 15 let. Teprve v roce 1971 mu bylo komunistickým režimem po dlouhém vyjednávání umožněno vycestovat do zahraničí.