因患目疾，自称“草色遥看近却无”，孟郊称他为“穷瞎张太祝”。元和十一年（816年），转任国子监助教，目疾稍愈。迁秘书郎。藩镇李师道仰慕张籍的学识，想网罗入幕，张籍婉拒，写了一首《节妇吟》寄给了李司徒。长庆元年（821年），韩愈荐为国子博士，历任水部员外郎、主客郎中，终国子司业。时称“张水部”或“张司业”。因其出身贫寒，官职低微，能较多地接触社会底层的民众，故其所作乐府诗多批判社会，同情百姓的遭遇，颇为白居易等人所推崇，白居易称赞为“尤工乐府诗，举代少其伦”。与王建齐名，号称“张王乐府”。《彦周诗话》论道