二十年（600年），杨广被立为皇太子，吐万绪为东宫左虞候率。604年，隋炀帝继位，汉王杨谅当时镇守并州，炀帝恐其起兵叛变，拜吐万绪为晋、绛二州刺史，让他快马去上任。吐万绪还未出关中，杨谅已派兵据守蒲坂，毁断黄河桥梁，吐万绪道路被阻。炀帝下诏令吐万绪率兵随杨素征讨杨谅，以功拜左武候将军。大业初年（605年），转光禄卿。大业三年（607年），贺若弼遇谗言，让吐万绪作证，吐万绪证明其无罪，被炀帝免官。一年后，任东平太守。大业六年（610年），炀帝驾幸江都（扬州），路过东平郡，吐万绪在路边迎驾。炀帝叫他登上龙舟