以功授乐游府骠骑将军，进封武安郡公，食邑二千户。在讨伐王世充时，冲锋陷阵深入敌阵，马匹倒毙，被敌军所擒。敌军两骑夹持其发髻，在要渡洛水时，段志玄突然纵身，将二人拉坠马下，夺得马匹驰归回营，敌军数百骑在后追赶，但是迫于其勇不敢逼近。在李世民与太子李建成、齐王李元吉的权力斗争中，段志玄对李世民忠心耿耿，没有接受两人的金银财帛诱惑，并在武德九年（626年）玄武门之变中，与尉迟敬德等一起讨杀李建成和李元吉。太宗即位，累迁左骁卫大将军，梁州都督，进封樊国公，食实封九百户。又以本官检校原州都督，统承风道行军