调任刑部尚书。同治六年，奉旨赴山西查办疏防捻军事件，将山西巡抚赵长龄、布政使陈湜免职，“铁面无私”。八年，授兵部尚书。九年，调刑部尚书。十年，驰赴江宁，查办刺马案，时正值隆冬季节，途中多人冻伤，由于大雪阻隔，车马不能行，郑即与二官员刑部郎中颜士璋、伊勒通阿徒步踏雪而行，除夕之日抵江宁。初二日开审，张汶祥口供不变，郑敦谨一筹莫展，十四天后仅称：“将来只好仍照魁（魁玉）、张（张之万）二公原奏之法奏结。”翌年，以病乞休。光绪十一年，卒，谥恪慎。