十四年（1187年），知隆兴府。淳熙十五年（1188年），召为礼部尚书，宋孝宗命他荐选刚正之监司，他推荐潘时、郑侨等八人。淳熙十六年（1189年）升参知政事。宋光宗即位，有人建议立皇后家庙，他力争不可。上书八事，言无所隐。绍熙元年（1190年）擢升为知枢密院事兼参知政事，拜枢密使。嫉恶如仇，耿直敢谏，所论时政得失，都能切中要害。很多官员忌惮他，被御史中丞何澹弹劾罢职。宋宁宗即位，改任资政殿大学士、知潭州、湖南安抚使。韩侂胄当权后，因得罪权贵被劾罢官归里，任奉祠。七年后去世。