平时与李德裕交好，曾共同处理黠戛斯、回鹘等问题。
唐武宗年间.五年（840年）文宗崩，弟唐武宗继位，念故太子李永无罪，将当初陷害李永的人尽行杀害。朝议称郑肃忠正有大臣之节，武宗召回郑肃，拜太常卿。累迁为户部、兵部尚书。又迁山南东道节度使。会昌五年（845年）七月，为检校尚书右仆射、同平章事。加中书、门下二侍郎，监修国史。
唐宣宗年间.六年（846年）三月，武宗崩，叔唐宣宗继位。宣宗不悦时为首相的李德裕专权，四月，罢李德裕宰相职，将其遣出长安。九月，郑肃因与