士不敢隐退。开皇七年（587年），由刺史韦艺坚持推荐入朝廷，吏部尚书卢恺很看重他，授承奉郎，不久再迁监察御史。大业九年（613年），随隋炀帝至辽东，担任扶余道（今东北地区）监军，后因得罪权贵，迁为泾阳县令，卒于任上。房彦谦工书法，楷法瘦劲宽博。有子房玄龄，他曾经和玄龄说过：“人皆因禄富，我独以官贫，所遗子孙，在于清白耳。”今山东省济南市历城区彩石镇西彩石村东北有房彦谦墓。
唐故徐州都督房公碑.立于唐贞观五年三月二日(公元631年)，李百药撰文，欧阳询隶书。碑首和碑身为一整块巨石