使选任官职有一定的条例可循，为后来所承用。行俭少时从大将军苏定方学习兵法，后来领兵出征，善于料敌决胜。他诚恳待人，获得士兵爱戴，故战多取胜。调露元年（679）西突厥十姓可汗阿史那匐延都支与李遮匐反叛，侵逼安西（今新疆库车）。当时行俭受命册送波斯王子泥涅师归国，途经西州时，募得万骑，便假为畋猎，以计俘都支，将吏于碎叶城为他立碑纪功。由于他“文武兼资”，高宗特授礼部尚书，兼检校右卫大将军。同年，东突厥阿史德温傅、阿史那伏念反叛，行俭以定襄道行军大总管统兵三十万出击。开耀元年（681），以反间计逼伏念执温傅来