出塞漠北，征黑松林。因作战骁勇及擅长出谋画策而为朱棣所亲信。
靖难之役.建文元年（1399年）七月，燕王朱棣以靖难为题，起兵造反，张玉率兵夺取燕京九门，三天内控制北平城。燕军南下时，朱棣又采用张玉的计策，命朱能东攻蓟州，杀死守将马宣，又迫降遵化。后来，张玉夺取永平、密云，将所获精锐充实军中，升任都指挥佥事。八月，担任燕军前锋，领兵于半夜袭击雄县，时值中秋节，南军部队因过节而城防松懈，遂破雄县城。张玉又在月漾桥设伏，生擒前来援救的潘忠、杨松，夺取鄚州。不久，张玉亲率轻骑窥探耿炳文