此日益担心，后来甚至怀疑中直机关党委包庇了一批坏人。1965年9月，经中央同意，中共中央直属机关委员会被撤销。不久，“文化大革命”爆发，原中直机关党委的干部绝大多数被编入中共中央办公厅的“学习班”参加“斗批改”，揭批杨尚昆，后又下放到中共中央办公厅五七干校劳动改造。中共十一届三中全会后，中央决定恢复中直机关党委。1979年8月17日，《中共中央办公厅关于中央直属机关领导体制问题的通知》发出，内称“中共中央办公厅和中共中央组织部关于中央直属机关建立部务会议和部长办公会议制度，实行集体领导，不再成立部党委