他每日只是在家读书。1966年3月，离任中联部部长，担任中央外事小组副组长。1966年6月9日，中央文革小组成员王力首先向王稼祥发难，贴出了一张《这是一场什么性质的斗争》大字报。6月21日，康生带着王力到中联部看大字报，并在干部会上作报告，喊出“打倒刘邓王”的口号。1967年5月起，康生称批判“三和一少”还不够，要批判“三降一灭”。王稼祥此后屡遭批斗，在肉体和精神上的折磨下病危，在周恩来保护下才得以活了下来。1968年4月，被宣布隔离审查。1969年10月，林彪发布《林副主席指示第一号令》，据此王稼祥被