止了中联部内部的反右派斗争，没有扩大化。1958年11月，他认为人民公社办的过早了。1959年整顿人民公社时，毛泽东还特意要求将文件给王稼祥过目。1954年、1959年、1965年相继当选为政协第二、三、四届全国委员会常委。1962年七千人大会后，大跃进造成的饥荒问题暴露。王稼祥和刘宁一、伍修权联名给周恩来、邓小平、陈毅写信，建议中共中央对外援助“实事求是，量力而行”，被毛泽东点名批评，被称作“三和一少”。王稼祥被撤除销了中联部部长的职务，遭到政治审查，他每日只是在家读书。1966年3月，离任中联部部长