曹操重用，张郃跟随太祖（曹操）到渭南，击溃了马超、韩遂，保卫了安定城，也令马超的部将杨秋投降。后张郃、夏侯渊一起征讨盘踞在鄜城的贼寇梁兴和武都一代的氐族叛军，再次击败了马超的部队，平定了宋建统治的地区。张郃在对马超和韩遂的讨伐有功，更先后与张辽、徐晃及夏侯渊搭挡。215年汉中之战曹操亲率大军进攻汉中，从散关入，派张郃率五千步兵在前开道，一直到阳平。张鲁投降，在曹操平定汉中亦立下不少战功。曹操回军，留张郃与夏侯渊、徐晃等守汉中，以拒刘备。同年，张郃率五千步兵南下进攻巴西郡，欲迁徙当地百姓到汉中。刘备派征虏