所设置的国家主席刘少奇处于囚禁状态，不能正常工作。1968年刘少奇被罢免后，国家主席长期空置，原有宪法体制已无法继续，修宪迫在眉睫。1970年，中共中央主席毛泽东提议废除国家主席职务，遭到中共众多领导反对，爆发广泛争议，修宪陷入僵局。1971年，林彪叛逃苏联失败后，废除国家主席已成定局，修宪工作终于有所进展。故于1975年1月17日在第四届全国人民代表大会第一次会议上，第二部宪法正式通过，宪法中不再设立国家主席和副主席的职务。这部宪法的合法性后来受到了质疑。因为通过该法律的第四届全国人民代表大会并非依照