为太尉。行俭善于识拔人才，张知运、薛讷、阎敬容、甘元柬、裴思谅、王智方、吕休璟、刘玄意等人都曾在他帐下为裨将，在军中提拔的将领如程务挺、张虔勖、王方翼、崔智辩、党金毗、郭待封、刘敬同、李多祚、黑齿常之等，都成为一代名将。他在任吏部侍郎期间，见到初唐四杰：骆宾王、卢照邻、王勃、杨炯，评介说：「炯虽有才名，不过令长，其馀华而不实，鲜克令终。」见到苏味道、王剧，赞叹道：「十数年后，当居衡石（宰相）。」他所着的军营行阵、部众、料敌等四十六诀兵书，被武则天秘藏为宝。有文集二十卷、《选谱》十卷、造草字数千文。