永乐十四年，其与金幼孜俱进翰林学士，仍兼庶子，跟从返回京师。明年，再次跟随朱棣亲征。永乐十六年，胡广去世，朱棣下命杨荣掌管翰林院事，朝中大臣多有嫉妒杨荣，并欲疏远他，共同举荐其担任国子监祭酒。朱棣则表示不可，诸位大臣不再敢言。两年后，他晋升为文渊阁大学士，仍然兼任翰林学士。次年，跟随朱棣迁都北京。永乐二十年，再次跟随北征出塞，还师后，朱棣劳赏将士，分四等赐宴，杨荣、金幼孜列前席、受上赏。不久，再次征讨阿鲁台，有人请调用建文时江西所集民兵，朱棣谘询杨荣，他对答到：“陛下许诺百姓复业刚二十年，一旦再征用，恐