子少傅，杨荣因此辞去大学士俸禄。宣德九年，再次跟随宣宗北巡边界，抵达洗马林后班师。自明成祖攻佔交阯（现越南）并设置交阯布政使司后，该地区屡次叛变。明朝屡次发兵征讨均战败。交阯黎利派人伪请立陈氏后人。宣宗也厌恶兵战，预备答应其请求。英国公张辅、户部尚书蹇义等大臣以下数人都称，赐其无名，反而只会示弱于天下。宣宗于是召见杨士奇、杨荣商议，两人力言称：“陛下体恤百姓，不是无名之举；汉朝放弃珠崖郡，史书都以此为美谈，不是示弱。请许其方便。”于是宣宗下令命选择使者出使交阯。从此，明朝放弃交阯并罢兵，每年省出军费上亿