逐犯境元军，一直追击到鸦寒山，调燕山左护卫。洪武二十六年（1393年），随从燕王朱棣出塞漠北，征黑松林。因作战骁勇及擅长出谋画策而为朱棣所亲信。
靖难之役.建文元年（1399年）七月，燕王朱棣以靖难为题，起兵造反，张玉率兵夺取燕京九门，三天内控制北平城。燕军南下时，朱棣又采用张玉的计策，命朱能东攻蓟州，杀死守将马宣，又迫降遵化。后来，张玉夺取永平、密云，将所获精锐充实军中，升任都指挥佥事。八月，担任燕军前锋，领兵于半夜袭击雄县，时值中秋节，南军部队因过节而城防松懈，遂破雄县城。张玉