见到裴遵庆之后，抱着他的脚大哭，诉说冤屈，裴遵庆劝他入朝。永泰元年（765年），罢为集贤院待制，后又改任吏部尚书。晚年以尚书右仆射复知选事。大历十年（775年）去世，年九十余。有子裴向，历任太子司议郎、京兆府户曹、京兆少尹、吏部尚书等，娶博陵崔氏、范阳卢氏，生扬州大都督府右司马护军、河东县开国男、食邑三百户裴寰。