因党锢之祸，被迫逃亡，人甚重之，众多门阀名士因收留他而获罪被杀，包含孔融之兄长孔褒。
生平.赵王张耳的后代，父张成，任江夏郡太守（约今日湖北省武汉一带）。张俭最初被荐举为茂才，因荐举他的刺史操守不良，称病不就。延熹八年，太守翟超任他为东部督邮。张俭因宦官侯览作恶多端，弹劾侯览及其母亲，请诛侯览。侯览心思报复。汉灵帝建宁二年（169年），张俭家赶走了一个仆人朱并。侯览利用朱并，诬告张俭跟同乡二十四个人结党，诽谤朝廷，企图造反。侯览“刊章讨捕”，发出通缉令，张俭不得不被迫逃亡。