祐四年（1256年），升任礼部侍郎，兼直学士院，兼侍读，兼国子祭酒。拜为端明殿学士、同签书枢密院事，封信安郡侯。宝祐五年（1257年），被殿中侍御史朱熠、右正言戴庆炣、监察御史吴衍翁应弼等人弹劾罢职，依旧职提举洞霄宫。景定元年（1260年），知衢州，被兵部侍郎章鉴弹劾罢职。有旨，依旧职予祠。起知福州、福建安抚使，以职事修举，升任大学士。改知平江府。又改知庆元府兼沿海制置使，提举洞霄宫。夺职罢免祠奉。咸淳三年（1267年），追夺执政的待遇，送到信州居住。咸淳四年（1268年），下令随便居住，解除编管，后在家中