累官迁兰州总管，改封龙岗县公。突厥入侵边塞，段文振以行军总管击破之，逐北至居延塞而还。开皇九年，隋朝大举讨伐陈朝，以文振为元帅秦王司马，别领行军总管。平定江南后，授扬州总管司马。不久转并州总管司马，以母忧去职。历云州总管、太仆卿。开皇十九年，破突厥达头可汗于沃野，平定越巂蛮叛乱，在征讨嘉州獠作乱时，先败后胜，被蜀王杨秀和右仆射苏威诬陷中伤，被除名。杨秀因罪被废黜后，文振上表申冤，隋文帝授其大将军。拜灵州总管。隋炀帝即位，官任兵部尚书。后征吐谷浑，兵屯雪山（今祁连山），连营八十里，东接杨义臣，西连张寿