仪同开府行参军，寻除殿中侍御史，改授青州法曹参军，行益都县事，寻除千乘县令。房彦谦行六，在十八岁时被广宁王高孝珩聘为主簿，清简守法，州境肃然。齐亡后，称病“归于家”，当时北朝政教严切，人士不敢隐退。开皇七年（587年），由刺史韦艺坚持推荐入朝廷，吏部尚书卢恺很看重他，授承奉郎，不久再迁监察御史。大业九年（613年），随隋炀帝至辽东，担任扶余道（今东北地区）监军，后因得罪权贵，迁为泾阳县令，卒于任上。房彦谦工书法，楷法瘦劲宽博。有子房玄龄，他曾经和玄龄说过：“人皆因禄富，我独以官贫，所遗子孙，在于清白耳。