在湖北沙洋设立五七干校，大部分人员被下放到五七干校劳动，法律室、民族室、人民接待室、秘书室、外事室随之停止工作，全国人大常委会机关在北京成立留守处, 在军代表李启煌领导下处理日常工作。1973年3月军管组撤离。1975年1月13日至17日，第四届全国人民代表大会第一次会议在北京召开。同年2月，全国人大常委会机关在人民大会堂恢复办公，常委会下设民族政策研究组、宗教政策研究组、办公厅，办公厅下设秘书组、外事组、政法组、总务组。1980年，全国人大办公厅下设各组改名为室，总务组划归秘书室，调整为四个室：秘