担任太尉掾，随着慕容德南迁青州。高祖房法寿，曾担任魏青、冀二州刺史。祖房翼，庄武伯、镇远将军、宋安太守。父房伯熊，清河内史。兄房彦诩，释褐仪同开府行参军，寻除殿中侍御史，改授青州法曹参军，行益都县事，寻除千乘县令。房彦谦行六，在十八岁时被广宁王高孝珩聘为主簿，清简守法，州境肃然。齐亡后，称病“归于家”，当时北朝政教严切，人士不敢隐退。开皇七年（587年），由刺史韦艺坚持推荐入朝廷，吏部尚书卢恺很看重他，授承奉郎，不久再迁监察御史。大业九年（613年），随隋炀帝至辽东，担任扶余道（今东北地区）监军，后因得罪权