。宋孝宗巡视其地，对他另眼相看，淳熙六年（1179年），转任枢密院编修官，论对时所奏五事切合孝宗之意。淳熙八年（1181年），因敢言而擢升为宗正丞出守舒州。陛辞，以“鲠直敢言”升任监察御史，转任起居舍人。后以礼部侍郎兼吏部。淳熙十四年（1187年），知隆兴府。淳熙十五年（1188年），召为礼部尚书，宋孝宗命他荐选刚正之监司，他推荐潘时、郑侨等八人。淳熙十六年（1189年）升参知政事。宋光宗即位，有人建议立皇后家庙，他力争不可。上书八事，言无所隐。绍熙元年（1190年）擢升为知枢密院事兼参知政事，拜枢密使。嫉