朱熠、右正言戴庆炣、监察御史吴衍翁应弼等人弹劾罢职，依旧职提举洞霄宫。景定元年（1260年），知衢州，被兵部侍郎章鉴弹劾罢职。有旨，依旧职予祠。起知福州、福建安抚使，以职事修举，升任大学士。改知平江府。又改知庆元府兼沿海制置使，提举洞霄宫。夺职罢免祠奉。咸淳三年（1267年），追夺执政的待遇，送到信州居住。咸淳四年（1268年），下令随便居住，解除编管，后在家中去世。