庙记》时，曾脱口说出“君子之泽，五世而斩。”之语，正好被秦桧兄婿汪召锡听见，便诬陷他谤讪朝政。御史徐嚞又诬陷他和赵鼎之子赵汾有密谋，宋高宗遂将其下狱，令南外宗正司拘拿。秦桧病死，他才得以出狱复爵。绍兴二十六年（1156年）授明州观察使，寻加庆远军承宣使、绍兴二十八年（1158年）去世，赠开府仪同三司。