娶当时最受太宗宠爱的女儿第十七女高阳公主（后改封合浦公主）为妻。成婚后，房遗爱被任命为右卫将军。房玄龄死后，其嫡长子房遗直本当承继为银青光禄大夫，因高阳公主的缘故，要让给弟弟遗爱，唐太宗不许，高阳公主因此很失望。唐高宗时，房遗爱被任命为房州刺史。永徽四年（653年），房因谋反事件被杀，高阳公主亦被赐死。房遗爱有曾孙房绛，生房晦、房勋。房晦生房凝，字玄俭，郢州刺史；房勋生房克让，房克让生房邺、房复。房邺字正封。房遗爱的孙子房沼后为监察御史。