泰二年（1202年）五月，改知潭州、兼荆湖南路安抚使。十一月，转任中奉大夫。十二月，进封丰城县开国伯。嘉泰四年（1204年）二月，授为端明殿学士、提举隆兴府玉隆万寿宫。十二月，到达行在临安府，再授吏部尚书、中奉大夫。开禧元年（1205年）二月，兼侍读。四月初一，授端明殿学士、签书枢密院事，成为宰执。五月，进封豫章郡开国侯。闰八月，进呈高宗皇帝实录，转任太中大夫。九月，他反对韩侂胄对金朝用武，以资正殿大学士出知绍兴府、浙东路安抚使。之后辞职，提举临安府洞霄宫，回家居住。开禧二年（1206年）九月，进封豫章郡开