退回省队。之后，国家队为了准备悉尼奥运而第四次召唤他入队，再之后，杨文军再也没有离开过国家队。在2002年釜山亚运会上杨文军赢得了男子C2-500米与C2-1000米项目的金牌，1年后于世锦赛的C1-1000米项目名列第7。2004年，杨文军与孟关良搭档，以1分40秒278的成绩，夺得了雅典奥运会C2-500米项目的金牌，这也是中国奥运史上的首面皮划艇金牌。在雅典奥运会之后，个人能力明显提升的杨文军，开始专攻单人艇。2005年，杨文军于十运会赢得C1-100米以及C1-500项目为江西队赢得两面