张耒在颍州举哀行服,痛悼一代文豪和恩师。未想竟触怒了上方,于崇宁元年(1102年)被贬为房州(今湖北房县)别驾,安置于黄州,这是他在短短六七年内第三次被贬到那里,他在黄州先后共住了七八年,作为逐臣,他不得住官舍和佛寺,只能在柯山旁租屋而居。荒树枯木,蓬蒿满眼,自然令人惆怅莫名,但“江上鱼肥春水生,江南秀色碧云鬟”,倒也给他不少安慰。特别值得一提的是在柯山脚下,张耒与苏轼弟子潘大临结为紧邻,两人彼此安慰,相濡以沫,共守大节。据载,当时的郡守瞿汝文怜其家贫,欲为其购买一份公田,以种植豆粟蔬菜等,贴补家用,张耒敬谢不取。正是此地的哀和乐使他难以忘怀,故他自号为“柯山”。
崇宁四年(1105年),秦观的儿子自藤州(今广西藤县)奉父柩归葬扬州,路过黄州时张耒临江祭奠,他为好友的“窜身瘴海,卒仆荒陋”而痛哭失声。泪水未干,黄庭坚又相继去世。崇宁五年,宋徽宗诏除一切党禁,张耒才得任便居住。这年冬天,他自黄州经颍州,回到故乡淮安,大约住了一年多时间。大观年间,移居陈州,监南岳庙,主管崇福宫。由于晚年长期赋闲,他贫病交加,《岁暮即事寄子由先生》云,“肉似闻韵客,斋如持律徒。女寒愁粉黛,男窘补衣裾。已病药三暴,辞贫饭一盂。长瓶卧墙角,短褐倒天吴。宵寐衾铺铁,晨饮火数珠。”可以想见他当时已衣食不继,三月不知肉味了。
尽管政治环境是如此恶劣,生活是如此困穷,但诗人并没有向腐朽的蔡京集团屈服。以闻道苏轼自负,终生恪守不移,即使遭受打击也不后悔,且引为人生最大的志趣。诗人就这样坚持着,继苏辙和晁补之谢世之后,也在寂寞和痛苦中死去,据乾隆《山阳县志》载,葬于故土淮安“治北七里”。
据陆游《老学庵笔记》云:“文潜三子:秬、秸、和,皆中进士第。秬、秸在陈死于兵。和为陕西教官,归葬二兄复遇盗见杀。文潜遂无后,可哀也。”