子左元帅李建成的副手，为第一军总管先锋，向东征讨。后召回京城，拜为通州刺史(今四川达县)。武德元年(618年)五月，薛举入侵泾州，秦王李世民为西讨元帅，张士贵以先登之功，赏赐奴婢八十人，绢彩千余段，金一百三十挺，授上柱国。后负责运粮草至渑池时，大破王世充属下将领郭士衡的偷袭。武德二年(619年)，奉命剿灭土匪苏径，进击陆浑，授马军总管，经略熊州(今河南宜阳县)，抵御王世充。赐爵为新野县开国公。刘武周与突厥联军攻破榆次、介州，进围太原。齐王李元吉弃城而逃，关中震动。唐高祖诏秦王李世民督兵进讨，驻军