月，辞免右丞相兼枢密使，除观文殿大学士、醴泉观使兼侍读、奉朝请。十一月，授特进、观文殿大学士、判潭州事、荆湖南路安抚大使。宝祐二年（1254年）八月，上奏乞居溧阳，以便咨访，准奏。五年（1257年）正月，为少保、宁远军节度使、京湖宣抚大使、判江陵府事兼夔州路策应大使、进封卫国公，又兼总领湖广、江西、京西路财赋、湖北京西军马钱粮、专一报发御前军马文字。六年（1258年）四月，授醴泉观使兼侍读。开庆元年（1259年）八月，判庆元府事、沿海制置大使。十月，为少保，沿江、江南东路宣抚大使，置司建康府，进封益国公。十