46年六月，唐太宗任命李道宗、左卫大将军阿史那社尔为瀚海安抚大使，并命令右领卫大将军执失思力率突厥兵、右骁卫大将军契苾何力率凉州及胡兵、代州都督薛万彻、张俭各率所部兵分道并进，以攻击刚被回纥击败的薛延陀，太宗也亲自到灵州为大唐军队声援。薛延陀因此大败，多弥可汗逃走被回纥攻杀。战争胜利后，把东夷校尉改成东夷都护，并任命张俭担任此职务。
过世.唐高宗永徽初年，加封为金紫光禄大夫。永徽四年，在其任内去世，享寿六十岁，谥密。女儿张氏年幼时，张俭夫妇生病，女儿服侍父母亲，一步也不离开，昼