译组迁至甲楼办公，“后楼”其他各组迁至丙楼办公，但习惯上仍称“后楼”。1965年11月，失去毛泽东信任的杨尚昆被免去中央办公厅主任职务，当时汪东兴和中办几位副主任都在基层蹲点开展“四清”，仅留李质忠一人在机关主持日常工作，“后楼”暂由彭真代管。“文化大革命”爆发，“后楼”随即撤销。“文化大革命”前，中办的机构设置是：机要室、秘书室、直属各组、特别会计室、警卫局、机要局、机要交通局、人事处、国家档案局、中直管理局、中央档案馆。
文革时期.1966年5月，中共中央政治局扩大会议