זמן קצר לפני נפילת ממשלת ראקושי, ביוני 1953, הוא גונה על ידי מפלגה בשל השלטון היחיד שהפעיל בתחום התרבותי ולכן הורחק מהוועדה הפוליטית ומההנהגה המרכזית ואיבד גם את תיק השר בממשלה. הוא זכה לפיצוי כסגן חסר השפעה במועצה הנשיאות של הרפובליקה העממית, ומונה לעורך הראשי של כתב עת מפלגתי תאורטי. ביולי 1956, אחרי גינוי הסטליניזם על ידי חרושצ'וב הוא ביקר בחריפות את ראקושי והפך שוב לחבר בוועדה הפוליטית, יחד עם יאנוש קאדאר. במהלך מהפכת 1956 הורחק שוב מתפקידיו. ב-25 באוקטובר נמלט לברית המועצות בעזרת שגרירות ברית המועצות בבודפשט וחזר להונגריה רק באפריל 1957. לאחר המרד ודיכויו, צידד רוואי בנקמה אכזרית ביותר כלפי המורדים. לאחר שעמדתו נדחתה על ידי הרוב שעמד מאחורי יאנש קאדאר, הוא קיבל את עמדת הרוב. הוא נפטר ממחלת לב בשנת 1959 ממנה סבל במשך שנים.