1954年，第一届全国人民代表大会第一次会议召开，大会通过的《中华人民共和国宪法》将全国人民代表大会确定为最高国家权力机关，闭会期间由全国人民代表大会常务委员会（简称“全国人大常委会”）行使全国人民代表大会的大部分权力。1955年4月，经中共中共批准，中共中央直属机关委员会更名为中共中央国家机关工作委员会。1956年1月，中国共产党全国人民代表大会常务委员会机关党组（简称“中共全国人大常委会机关党组”）成立，全国人大常委会副秘书长兼办公厅主任张苏任党组书记。1956年9月，中共八大通过的《中国共产党章程》规定，在国家机关和人民团体的领导机关中，凡是有担任负责工作的党员三人以上的，应当成立党组；党组必须在一切问题上服从相当的党的委员会的领导。但中共八大以后，由于党的一元化领导以及党委的权力集中日趋严重，在实践中未能坚持中共八大关于党组的规定。1957年下半年以后，在将近10年内，全国人大和全国人大常委会会议均没有按时召开，全国人大工作“徒有虚名，而无其实”。全国人大常委会机关的工作机构及人员不断减少，1957年前工作人员365人，1959年仅余100人。“文化大革命”爆发后，各级党组织纷纷瘫痪。1966年7月7月，第三届全国人大常委会第二十三次会议举行，这也是第三届人大常委会举行的最后一次会议。此后8年零6个月内，全国人大及其常委会未举行过任何会议。1969年4月中共九大、1973年8月中共十大通过的《中国共产党章程》都删除了有关党组的规定。1975年1月，第四届全国人民代表大会第一次会议召开，通过了《中华人民共和国宪法》，规定“全国人民代表大会是在中国共产党领导下的最高权力机关”。全国人大常委会开始恢复工作。