舍人作诏书谴责吕大防时指名宣仁皇后为“老奸”，略无忌惮；又说苏辙试贤良对策时已有异志；之前文彦博子集贤殿修撰、提举明道宫文及甫攻击刘挚也是林希造成的；如今却罪大责轻，望重行降黜，任以闲散官职，以申公宪。徽宗下诏，罢免端明殿学士，依旧为太中大夫、知扬州。建中靖国元年（1101年）二月，因右司谏陈祐再论其迎合章惇、谢罪表章慢上不敬等罪，认为对其责罚过轻，请重行降黜，徙知舒州。不久以通议大夫卒，卒年六十七。十二月，追赠资政殿学士、金紫光禄大夫，谥文节。另有一女婿张元礼。