他，还是破格提拔为太尉，主管殿前司公事。再被御史弹劾，罢太尉，居住婺州，夺庆远节度使。干道初年，听其自便，回到湖州；诏命恢复他的节度使，都统镇江诸军。干道九年（1173年），请奉词，致仕，在平江府建园宅。淳熙元年（1174年）卒，时年八十一岁。赠开府仪同三司。有子十一人。