随后，被调离军事工作领导岗位。1966年3月，京西宾馆会议上，罗瑞卿被挂上“篡军反党”、“反对毛主席”、“反对毛泽东思想”而受到批判。3月18日，罗瑞卿从三楼跳下导致双脚跟骨受伤，被送入北京医院治疗。同年5月，中共中央政治局扩大会议召开，刘少奇主持批判“彭真、罗瑞卿、陆定一、杨尚昆的‘反党错误’”，并决定停止和撤销该四人全部职务。罗瑞卿因此被停止中央书记处书记、国务院副总理等职务。同年10月，罗瑞卿逐渐康复；但12月，被红卫兵劫出医院，押到海淀区罗道庄的北京卫戍区部队驻地。1967年4月3日，因伤口长期未癒