进入内阁。永乐五年，晋升翰林学士，兼左春坊大学士。此后明成祖北征，其与杨荣、金幼孜跟从，每次召入帐殿时，有时会谈至深夜。其善于书法，每次勒石刻碑时，均命胡广书写。永乐十二年，他再次跟随朱棣北征，当时皇孙朱瞻基亦跟随，朱棣命他与杨荣、金幼孜在军中给朱瞻基讲经学史学。永乐十四年，进入文渊阁大学士。当时朱棣做法会祈福，胡广献上《圣孝瑞应颂》，朱棣作佛曲命宫中歌舞和之。而礼部郎中周讷请封禅，胡广进言劝阻，于是朱棣下令禁止。胡广并呈上《却封禅颂》，得到朱棣的喜爱。明成祖曾在筵席时，提到解缙与胡广是同乡、同学兼同事