。闰八月，进呈高宗皇帝实录，转任太中大夫。九月，他反对韩侂胄对金朝用武，以资正殿大学士出知绍兴府、浙东路安抚使。之后辞职，提举临安府洞霄宫，回家居住。开禧二年（1206年）九月，进封豫章郡开国公，致仕特进勋阶上柱国，赐紫金鱼袋。开禧三年（1207年）十一月廿四日，去世。享年七十三岁。宋宁宗辍朝一日。嘉定二年（1209年）二月廿五日葬在新建县，赠太师，谥文穆。《全宋词》收录“贺新郎”词一首。有遗稿《默轩词》二十余卷。
家庭.
妻.黄氏，封齐安郡夫人。