吉的权力斗争中，段志玄对李世民忠心耿耿，没有接受两人的金银财帛诱惑，并在武德九年（626年）玄武门之变中，与尉迟敬德等一起讨杀李建成和李元吉。太宗即位，累迁左骁卫大将军，梁州都督，进封樊国公，食实封九百户。又以本官检校原州都督，统承风道行军总管征讨吐谷浑。不久父亲段偃师去世离职。但很快就起复为原来的官职。长孙皇后去世时，段志玄和宇文士及分别统率送葬的文武官员出肃章门。贞观十一年（637年），太宗定世封之制，被授金州刺史，改封为褒国公。贞观十二年（638年），检校武候大将军，不久迁任右卫大将军