1959年12月，在匈牙利社会主义工人党第七次代表大会中连任中央政治局委员，中央书记处书记（排名第二）。1960年1月15日，在主席团会议中被免去国务部长的职务。1月28日至30日在国民议会会议中当选人民共和国主席团委员。1962年10月，在匈牙利社会主义工人党中央委员会在10月扩大会议上被解除中央政治局委员和书记处书记的职务，并被开除出中央委员会，被强制退休。这是因为他开始反对卡达尔的个人崇拜政策，认为匈牙利又回到了“斯大林时代”。
晚年.1965年，他退出匈牙利社会主义工人