病而少了上朝会，御史中丞侯史光和司隶校尉李熹表奏应罢免他们的官职，但司马炎都拒绝。后郑沖多次要求退休又不获准许。泰始九年（273年），郑沖再次上表辞官，司马炎于是让他留在府第，保留如同太傅的地位，又不用上朝，每有大事才派人谘询。除大加赏赐外又任命郑沖世子郑徽为散骑常侍。次年闰正月癸酉日（274年3月5日）郑沖逝世，司马炎在朝堂发哀，追赠太傅，又赐棺材、朝服、钱帛等。谥成公。