60年1月15日，在主席团会议中被免去国务部长的职务。1月28日至30日在国民议会会议中当选人民共和国主席团委员。1962年10月，在匈牙利社会主义工人党中央委员会在10月扩大会议上被解除中央政治局委员和书记处书记的职务，并被开除出中央委员会，被强制退休。这是因为他开始反对卡达尔的个人崇拜政策，认为匈牙利又回到了“斯大林时代”。
晚年.1965年，他退出匈牙利社会主义工人党，此后主要从事文学写作，撰写回忆录。1972年重新入党。1980年代初期，他重新出现在公众视野中，偶尔接受