，再次罢官。后来任德安府通判，知泉州。在观看秦桧的着作《家庙记》时，曾脱口说出“君子之泽，五世而斩。”之语，正好被秦桧兄婿汪召锡听见，便诬陷他谤讪朝政。御史徐嚞又诬陷他和赵鼎之子赵汾有密谋，宋高宗遂将其下狱，令南外宗正司拘拿。秦桧病死，他才得以出狱复爵。绍兴二十六年（1156年）授明州观察使，寻加庆远军承宣使、绍兴二十八年（1158年）去世，赠开府仪同三司。