岁丧母，哀慕过礼。他父亲的朋友博士刘轨思见到他，每次都掩泣。对他父亲说：“昔伯饶号‘张曾子’，亦岂能远过！吾闻君子不亲教，当为成就之。”长大了，张轨思教给他《毛诗》、《周礼》，又跟着熊安生及刘焯学习《礼记》，都精究大义。此后遍讲《五经》，尤攻《三礼》。在隋朝为余杭县令，后以年老归乡里。大业末年战争兴起，诸儒废学。唐朝建立，张士衡在乡里教学。贞观年间，幽州都督、燕王李灵夔准备玄纁束帛之礼，聘到家中，拜为师。李承干在东宫，听说后，聘来京城。张士衡到洛阳宫谒见唐太宗，太宗在殿上赐他进餐，擢授朝散大夫、