长史。麟德二年（665）拜安西大都护，在西域时，诸部多慕义归附。干封初，召为司文（鸿胪）少卿。总章中，迁司列少常伯（吏部侍郎），与李敬玄、马载同掌选事十余年，甚有能名，时称“裴、李”、“裴、马”。当时承平日久，取得各种资格上吏部候选为官的人剧增，行俭和李敬玄委任员外郎张仁祎创立一些法规，使选任官职有一定的条例可循，为后来所承用。行俭少时从大将军苏定方学习兵法，后来领兵出征，善于料敌决胜。他诚恳待人，获得士兵爱戴，故战多取胜。调露元年（679）西突厥十姓可汗阿史那匐延都支与李遮匐反叛，侵逼安西（今新疆库车