书说“罪细，不宜免大臣。”干元元年六月被贬为邠州（今陕西彬县）刺史，颇着政声。干元二年六月拜太子宾客、上元元年（760年）四月，改礼部尚书。不久，出京为晋州（今山西临汾市）刺史，八月，改为汉州（今四川广汉市）刺史。代宗即位，拜为特进、刑部尚书。广德元年（宝应二年七月改元广德）八月四日于赴任途中卒于阆州（今四川阆中）僧舍，葬于阆州城外，年六十七，追封为太尉。房琯有三子：房宗偃，御史中丞；房乘，祕书郎；房孺复，容州刺史。房乘子房启，容管经略使；房启子房越。