弘称他为「五经库」，韦世康推荐他为太学博士。随郑译修正乐章。他的母亲去世，因守丧辞职。数年后，受位殄寇将军，再任太常博士。被提拔为国子博士。文帝命令通一经的国子生都要被推荐选拔任用。测试结束后，博士不能及时判定好坏。国子祭酒元善问其中原因，房晖远说「江南、河北对经书的解释不同，博士不能两方面都精通方。学生都抓住对方的短处，称扬自己的优点。博士意见不能一致，所以迟迟未决」。元善于是让房晖远判定。四五千人数日测试完毕，儒者都佩服房晖远对经书解释博学通达。文帝问群臣「古代以来天子有女乐吗？」杨素以下大臣不