斯王子泥涅师归国，途经西州时，募得万骑，便假为畋猎，以计俘都支，将吏于碎叶城为他立碑纪功。由于他“文武兼资”，高宗特授礼部尚书，兼检校右卫大将军。同年，东突厥阿史德温傅、阿史那伏念反叛，行俭以定襄道行军大总管统兵三十万出击。开耀元年（681），以反间计逼伏念执温傅来降，余众悉平。永淳元年（682）四月，行俭病卒，年六十四岁。追赠幽州都督，谥号宪。少子裴光庭，开元年间为侍中，玄宗追赠裴行俭为太尉。行俭善于识拔人才，张知运、薛讷、阎敬容、甘元柬、裴思谅、王智方、吕休璟、刘玄意等人都曾在他帐下为裨将，在军中提