旗事件”以后，杨尚昆虽不再兼任中直机关党委书记，但作为中共中央书记处候补书记仍指导中直机关党委和中央国家机关党委的工作。毛泽东对此日益担心，后来甚至怀疑中直机关党委包庇了一批坏人。1965年9月，经中央同意，中共中央直属机关委员会被撤销。不久，“文化大革命”爆发，原中直机关党委的干部绝大多数被编入中共中央办公厅的“学习班”参加“斗批改”，揭批杨尚昆，后又下放到中共中央办公厅五七干校劳动改造。中共十一届三中全会后，中央决定恢复中直机关党委。1979年8月17日，《中共中央办公厅关于中央直属机关领导体制问