后便罢相，贬雷州司户，再贬舒州团练副使，死于任上。《宋史》以他：「尽复熙丰旧法，黜逐元祐朝臣；肆开边隙，诋诬宣仁后。」列入〈奸臣传〉。后世学者对他恢复王安石之法、加强辽夏边境军备以及被列入奸臣多有不同看法。死后被追封为昭化军节度副使。南宋淳熙年间，赐谥号忠敏。