授桐城知县。凿桐陂水，灌溉田地为民造福。建文四年，副都御史练子宁向朝廷举荐胡俨，而他到达南京时，朱棣已经渡江。明成祖即位后，得到解缙的推荐，授翰林检讨，与解缙等俱直入文渊阁，迁侍讲，进左庶子，加入内阁。之后父丧回省，后再次起用。永乐二年九月，拜为国子监祭酒，不再参与机务。当时用法严峻，国子监生托事告归者均得连坐戍边，胡俨到任后请奏去除该法。永乐七年，明成祖北巡到北京，召胡俨一同赴行。第二年朱棣北征，任命胡俨为祭酒兼侍讲，掌翰林院事，辅皇太孙朱瞻基留守北京。永乐十九年，改北京国子监祭酒。俨馆阁宿儒，朝