陈述排斥攻击，都是出于公议，朕都记下了。”因故最后被责斥。竟以司马光党羽的元祐党人罪名贬至知鄂州，作《荐士录》。绍圣三年(1096)，再贬为少府监，分掌南京。第二年，三贬雷州别驾，在化州安置。当年去世，终年六十四岁。谥曰笃廉。他的儿子迁移于昭州居住。宋徽宗即位，才得以返归。