幼年时以门荫补弘文生。贞观中举明经，拜左屯卫仓曹参军。名将苏定方看重裴行俭，教授他用兵奇术。显庆二年为长安令。高宗废王皇后，立武昭仪（武则天），行俭私下和长孙无忌、褚遂良议论，被谮，贬为西州长史。麟德二年（665）拜安西大都护，在西域时，诸部多慕义归附。干封初，召为司文（鸿胪）少卿。总章中，迁司列少常伯（吏部侍郎），与李敬玄、马载同掌选事十余年，甚有能名，时称“裴、李”、“裴、马”。当时承平日久，取得各种资格上吏部候选为官的人剧增，行俭和李敬玄委任员外郎张仁祎创立一些法规，使选任官职有一定的条例可循，为后来