使司后，该地区屡次叛变。明朝屡次发兵征讨均战败。交阯黎利派人伪请立陈氏后人。宣宗也厌恶兵战，预备答应其请求。英国公张辅、户部尚书蹇义等大臣以下数人都称，赐其无名，反而只会示弱于天下。宣宗于是召见杨士奇、杨荣商议，两人力言称：“陛下体恤百姓，不是无名之举；汉朝放弃珠崖郡，史书都以此为美谈，不是示弱。请许其方便。”于是宣宗下令命选择使者出使交阯。从此，明朝放弃交阯并罢兵，每年省出军费上亿两。
正统年间.明英宗即位后，明廷仍然倚重杨荣如故。正统三年，其与杨士奇共进少师。两年后，乞求归展墓