自幼好学不倦，博览群经，不涉当世之务。遵庆以父荫担任兴宁陵丞，又调整为大理丞，擢拔为吏部员外郎，判南曹。遵庆任官以精核文簿见称，时称吏事第一，因而广为知名。惟时值天宝年间，杨国忠当政，凡不顺从杨国忠者例必被贬官，裴遵庆也因不服杨国忠，被派在外任郡守。肃宗时，历官吏部侍郎，清正介直，为宰相萧华所称赞，得拜黄门侍郎、同中书门下平章事。至代宗时，胡将仆固怀恩拒命于汾州，代宗派遣裴遵庆慰问，仆固怀恩见到裴遵庆之后，抱着他的脚大哭，诉说冤屈，裴遵庆劝他入朝。永泰元年（765年），罢为集贤院待制，后又改任吏部尚书。