第二年即从美国闯关返回中国大陆，结果回国第二天即被警察带走，再次被判劳教三年。2005年，张林因进京参加前中共领导人赵紫阳追悼会，被冠以“煽动颠覆罪”入狱。2007年，张林因其30万字的自传体作品《悲怆的灵魂》，被独立中文作家笔会授予“狱中作家奖”。诗人王一梁对该书高度评价，表示单凭这本书就可使张林入文学最高殿堂。 2009年3月，澳洲的《自由圣火》网站把2009年年度的自由文化奖之人权奖授予给尚在狱中的张林。同年8月，张林获释出狱。2012年7月，张林在湖南会友途中，曾突然失踪，后被证实是国保强制