大夫、横野将军。祖父张和任北齐开府车骑将军。父张国仕隋朝历任陕县主簿，硖州录事参军，历阳县令，后以军功授大都督，定居虢州卢氏县。隋朝大业末年，张士贵是农民起义军首领之一，自称大总管、怀义公，人称「忽峍贼」。李渊招降张士贵，授右光禄大夫，受相国府司马刘文静节度，大败伪熊州(今河南宜阳县)刺史郑仲达。义宁二年（618年），作为唐王世子左元帅李建成的副手，为第一军总管先锋，向东征讨。后召回京城，拜为通州刺史(今四川达县)。武德元年(618年)五月，薛举入侵泾州，秦王李世民为西讨元帅，张士贵以先登之功，赏赐