土匪苏径，进击陆浑，授马军总管，经略熊州(今河南宜阳县)，抵御王世充。赐爵为新野县开国公。刘武周与突厥联军攻破榆次、介州，进围太原。齐王李元吉弃城而逃，关中震动。唐高祖诏秦王李世民督兵进讨，驻军柏壁。命张士贵攻打虞州(今山西运城东北安邑镇)的何小董。武德三年(620年)4月，在雀鼠谷之战和洺州之战中，唐军大破宋金刚、刘武周。7月，李世民率军继续征讨洛阳的王世充，张士贵负责督运粮草。以功特派遣殷开山、杜如晦带金银四百余挺赏赐张士贵等诸将。平定洛阳后，累计战功，授虢州刺史。随后继续参与讨伐刘黑闼、徐圆朗