，恒山郡真定县（今河北省正定县）人。房晖远世代家传儒学。幼时开始学习三礼、春秋三传、《诗经》、《书经》、《周易》，同时精通图纬。教授儒学，弟子有一千多人。北齐南阳王高绰担任定州刺史，召他为博士。北周武帝灭北齐，召他为小学下士。隋朝建立，担任太常博士。牛弘称他为「五经库」，韦世康推荐他为太学博士。随郑译修正乐章。他的母亲去世，因守丧辞职。数年后，受位殄寇将军，再任太常博士。被提拔为国子博士。文帝命令通一经的国子生都要被推荐选拔任用。测试结束后，博士不能及时判定好坏。国子祭酒元善问其中原因，房晖远说「江