又曾任户部侍郎、翰林学士、吏部尚书、御史中丞、尚书右丞、大中大夫守门下侍郎。此期间所上奏议今存一百五十余篇；反对文彦博等的回河之论，主张“因其旧而修其未完”，主张归还神宗所占西夏领土，斥责边臣生事邀功。元祐八年（1093年）高太皇太后薨逝，哲宗亲政。绍圣元年（1094年）三月落知汝州（今河南临汝），六月降三官知袁州(今江西宜春)，九月降授朝议大夫、分司南京、筠州居住。绍圣四年（1097年）谪化州（今广东化县）别驾，雷州（今广东海康）安置，次年移居循州（今广东龙川）。元符三年（1100年），宋徽宗赵佶