跟随，朱棣命他与杨荣、金幼孜在军中给朱瞻基讲经学史学。永乐十四年，进入文渊阁大学士。当时朱棣做法会祈福，胡广献上《圣孝瑞应颂》，朱棣作佛曲命宫中歌舞和之。而礼部郎中周讷请封禅，胡广进言劝阻，于是朱棣下令禁止。胡广并呈上《却封禅颂》，得到朱棣的喜爱。明成祖曾在筵席时，提到解缙与胡广是同乡、同学兼同事，关系很密切，要求胡广把未出世的女儿嫁给解缙之子解祯亮。但解缙死后解祯亮被流放到辽东，胡广就想解除婚约，女儿大怒，割耳朵发誓道：「薄命的我这婚事，是皇上主婚的，是父亲大人当面答应的。毁约的话我只有死，也没有第二