，于是自请贬官出知严州。两年后，改任敷文阁待制知婺州，严州父老相送。淳熙八年（1171年），召回临安府，历任吏部右选侍郎、国子祭酒、枢密都承旨，权刑部尚书、兼权吏部尚书。淳熙十五年（1178年）为参知政事、权知枢密院事。宋孝宗赐给他御书《二十八将传》。宋光宗即位，他上疏六事而奏，绍熙四年（1193年），去世。谥号正肃。