，突厥寇边，朝廷以吐万绪有威略，徙任为朔州总管，到任后甚为北夷所忌惮。其后隋文帝准备南征陈朝，吐万绪转徐州总管，令他修缮战具。开皇八年（588年），隋军八路大军伐陈，大举渡过长江，以吐万绪领行军总管，与西河公纥豆陵洪景屯兵江北。次年正月陈朝被灭亡，拜夏州总管。晋王杨广对吐万绪很亲遇，开皇二十年（600年），杨广被立为皇太子，吐万绪为东宫左虞候率。604年，隋炀帝继位，汉王杨谅当时镇守并州，炀帝恐其起兵叛变，拜吐万绪为晋、绛二州刺史，让他快马去上任。吐万绪还未出关中，杨谅已派兵据守蒲坂，毁断黄河桥梁，