武德三年(620年)4月，在雀鼠谷之战和洺州之战中，唐军大破宋金刚、刘武周。7月，李世民率军继续征讨洛阳的王世充，张士贵负责督运粮草。以功特派遣殷开山、杜如晦带金银四百余挺赏赐张士贵等诸将。平定洛阳后，累计战功，授虢州刺史。随后继续参与讨伐刘黑闼、徐圆朗，成为李世民秦王府的右库真、骠骑将军。武德九年六月初四（626年）玄武门之变时张士贵也参与其中，李世民成为太子后，任太子内率。与刘师立募兵万余，拜为右骁卫将军。之后镇守玄武门，不久转为右屯卫将军。贞观六年（632年）8月，除右武候将军，贞观七年（