年入读苏州市体校，4年后进江苏省体工队，后来在1996年进入选国家队。张军善于后场攻击，他于1997年，即入选国家队的次年就取得了中国公开赛的男子双打项目亚军。1年后，赢得了瑞士公开赛的男双赛冠军，并获得了亚洲锦标赛的男双项目亚军、曼谷亚运的男团项目银牌。1999年，又夺得了羽毛球赛的其中一个重要锦标—苏迪曼杯的冠军。1年后，由于长期拍挡张尉在悉尼奥运前受伤，因此张军被改为打混双赛。2000年悉尼奥运，张军与高崚合作无间，最终赢得了羽毛球混双项目的金牌，该面金牌是中国奥运史上的首面混双项目的金牌。