公社办的过早了。1959年整顿人民公社时，毛泽东还特意要求将文件给王稼祥过目。1954年、1959年、1965年相继当选为政协第二、三、四届全国委员会常委。1962年七千人大会后，大跃进造成的饥荒问题暴露。王稼祥和刘宁一、伍修权联名给周恩来、邓小平、陈毅写信，建议中共中央对外援助“实事求是，量力而行”，被毛泽东点名批评，被称作“三和一少”。王稼祥被撤除销了中联部部长的职务，遭到政治审查，他每日只是在家读书。1966年3月，离任中联部部长，担任中央外事小组副组长。1966年6月9日，中央文革小组成员王