中，迁司列少常伯（吏部侍郎），与李敬玄、马载同掌选事十余年，甚有能名，时称“裴、李”、“裴、马”。当时承平日久，取得各种资格上吏部候选为官的人剧增，行俭和李敬玄委任员外郎张仁祎创立一些法规，使选任官职有一定的条例可循，为后来所承用。行俭少时从大将军苏定方学习兵法，后来领兵出征，善于料敌决胜。他诚恳待人，获得士兵爱戴，故战多取胜。调露元年（679）西突厥十姓可汗阿史那匐延都支与李遮匐反叛，侵逼安西（今新疆库车）。当时行俭受命册送波斯王子泥涅师归国，途经西州时，募得万骑，便假为畋猎，以计俘都支，将吏于碎叶城