获罪至安徽淮上。后因金兵攻陷徐州、遂至湖州避难，与沈琯相识。绍兴元年辞官。绍兴八年（公元1139年）李纲反对向金议和被免职，罢居福建长乐。张元干同情李纲，于绍兴九年（公元1139年）创作了《贺新郎．寄李伯纪丞相》以表达对李纲的支持及抗金之志。同年，枢密院编修官胡铨亦上书，上书请斩主和派秦桧、王伦、孙近，遭秦桧迫害流放。绍兴十年，李纲去世，张元干作《挽少师相国公李公五首诗》悼念。绍兴十二年（1142年），胡铨流放新州（今广东新兴县）任编管，胡铨因得罪秦桧而朝中无人与立谈，「士大夫畏罪箝舌之苦，莫敢与立