588年），隋军八路大军伐陈，大举渡过长江，以吐万绪领行军总管，与西河公纥豆陵洪景屯兵江北。次年正月陈朝被灭亡，拜夏州总管。晋王杨广对吐万绪很亲遇，开皇二十年（600年），杨广被立为皇太子，吐万绪为东宫左虞候率。604年，隋炀帝继位，汉王杨谅当时镇守并州，炀帝恐其起兵叛变，拜吐万绪为晋、绛二州刺史，让他快马去上任。吐万绪还未出关中，杨谅已派兵据守蒲坂，毁断黄河桥梁，吐万绪道路被阻。炀帝下诏令吐万绪率兵随杨素征讨杨谅，以功拜左武候将军。大业初年（605年），转光禄卿。大业三年（607年），贺若弼遇谗言