那伏念反叛，行俭以定襄道行军大总管统兵三十万出击。开耀元年（681），以反间计逼伏念执温傅来降，余众悉平。永淳元年（682）四月，行俭病卒，年六十四岁。追赠幽州都督，谥号宪。少子裴光庭，开元年间为侍中，玄宗追赠裴行俭为太尉。行俭善于识拔人才，张知运、薛讷、阎敬容、甘元柬、裴思谅、王智方、吕休璟、刘玄意等人都曾在他帐下为裨将，在军中提拔的将领如程务挺、张虔勖、王方翼、崔智辩、党金毗、郭待封、刘敬同、李多祚、黑齿常之等，都成为一代名将。他在任吏部侍郎期间，见到初唐四杰：骆宾王、卢照邻、王勃、杨炯，评介说