吾闻君子不亲教，当为成就之。”长大了，张轨思教给他《毛诗》、《周礼》，又跟着熊安生及刘焯学习《礼记》，都精究大义。此后遍讲《五经》，尤攻《三礼》。在隋朝为余杭县令，后以年老归乡里。大业末年战争兴起，诸儒废学。唐朝建立，张士衡在乡里教学。贞观年间，幽州都督、燕王李灵夔准备玄纁束帛之礼，聘到家中，拜为师。李承干在东宫，听说后，聘来京城。张士衡到洛阳宫谒见唐太宗，太宗在殿上赐他进餐，擢授朝散大夫、崇贤馆学士。李承干问北齐灭亡的原因，张士衡回答：“北齐后主悖虐无度，昵近小人。至如高阿那肱、穆