被授金紫光禄大夫，封清河郡公。晚年喜听门客董廷兰弹琴，董廷兰依仗房琯的权势，招纳贿赂，被御史弹劾，至德二年五月贬房琯为太子少师。好友左拾遗杜甫曾为他打抱不平，上书说“罪细，不宜免大臣。”干元元年六月被贬为邠州（今陕西彬县）刺史，颇着政声。干元二年六月拜太子宾客、上元元年（760年）四月，改礼部尚书。不久，出京为晋州（今山西临汾市）刺史，八月，改为汉州（今四川广汉市）刺史。代宗即位，拜为特进、刑部尚书。广德元年（宝应二年七月改元广德）八月四日于赴任途中卒于阆州（今四川阆中）僧舍，葬于阆州城外，年六十七，追封为