，不久再迁监察御史。大业九年（613年），随隋炀帝至辽东，担任扶余道（今东北地区）监军，后因得罪权贵，迁为泾阳县令，卒于任上。房彦谦工书法，楷法瘦劲宽博。有子房玄龄，他曾经和玄龄说过：“人皆因禄富，我独以官贫，所遗子孙，在于清白耳。”今山东省济南市历城区彩石镇西彩石村东北有房彦谦墓。
唐故徐州都督房公碑.立于唐贞观五年三月二日(公元631年)，李百药撰文，欧阳询隶书。碑首和碑身为一整块巨石，高约4米，宽约1.4米，厚0.4米。碑首凸雕螭龙。碑额篆书“唐故徐州都督房公碑”9个大字