至深夜。其善于书法，每次勒石刻碑时，均命胡广书写。永乐十二年，他再次跟随朱棣北征，当时皇孙朱瞻基亦跟随，朱棣命他与杨荣、金幼孜在军中给朱瞻基讲经学史学。永乐十四年，进入文渊阁大学士。当时朱棣做法会祈福，胡广献上《圣孝瑞应颂》，朱棣作佛曲命宫中歌舞和之。而礼部郎中周讷请封禅，胡广进言劝阻，于是朱棣下令禁止。胡广并呈上《却封禅颂》，得到朱棣的喜爱。明成祖曾在筵席时，提到解缙与胡广是同乡、同学兼同事，关系很密切，要求胡广把未出世的女儿嫁给解缙之子解祯亮。但解缙死后解祯亮被流放到辽东，胡广就想解除婚约，女儿大怒