裴，曾祖父裴伯凤，北周骠骑大将军、汾州刺史、琅琊郡公。祖父裴定高，冯翊郡太守、袭封琅琊公。父裴仁基，隋左光禄大夫，唐武德年间赠原州都督，谥号忠。兄裴行俨，隋末勐将。后来裴仁基、裴行俨被王世充所杀，其后裴行俭才出生。裴行俭幼年时以门荫补弘文生。贞观中举明经，拜左屯卫仓曹参军。名将苏定方看重裴行俭，教授他用兵奇术。显庆二年为长安令。高宗废王皇后，立武昭仪（武则天），行俭私下和长孙无忌、褚遂良议论，被谮，贬为西州长史。麟德二年（665）拜安西大都护，在西域时，诸部多慕义归附。干封初，召为司文（鸿胪）少卿。总章