肃宗时，历官吏部侍郎，清正介直，为宰相萧华所称赞，得拜黄门侍郎、同中书门下平章事。至代宗时，胡将仆固怀恩拒命于汾州，代宗派遣裴遵庆慰问，仆固怀恩见到裴遵庆之后，抱着他的脚大哭，诉说冤屈，裴遵庆劝他入朝。永泰元年（765年），罢为集贤院待制，后又改任吏部尚书。晚年以尚书右仆射复知选事。大历十年（775年）去世，年九十余。有子裴向，历任太子司议郎、京兆府户曹、京兆少尹、吏部尚书等，娶博陵崔氏、范阳卢氏，生扬州大都督府右司马护军、河东县开国男、食邑三百户裴寰。