拜襄州总管，进封谷城郡公，食邑二千五百户。不久转青州总管，颇有治名。一年多后，突厥寇边，朝廷以吐万绪有威略，徙任为朔州总管，到任后甚为北夷所忌惮。其后隋文帝准备南征陈朝，吐万绪转徐州总管，令他修缮战具。开皇八年（588年），隋军八路大军伐陈，大举渡过长江，以吐万绪领行军总管，与西河公纥豆陵洪景屯兵江北。次年正月陈朝被灭亡，拜夏州总管。晋王杨广对吐万绪很亲遇，开皇二十年（600年），杨广被立为皇太子，吐万绪为东宫左虞候率。604年，隋炀帝继位，汉王杨谅当时镇守并州，炀帝恐其起兵叛变，拜吐万绪为晋、绛二