万绪道路被阻。炀帝下诏令吐万绪率兵随杨素征讨杨谅，以功拜左武候将军。大业初年（605年），转光禄卿。大业三年（607年），贺若弼遇谗言，让吐万绪作证，吐万绪证明其无罪，被炀帝免官。一年后，任东平太守。大业六年（610年），炀帝驾幸江都（扬州），路过东平郡，吐万绪在路边迎驾。炀帝叫他登上龙舟，吐万绪乘此跪地讲述往事。炀帝大悦，拜金紫光禄大夫，太守如故。大业八年（612年），炀帝发动第一次辽东之役，吐万绪请为先锋，炀帝嘉奖，拜左屯卫大将军，让他率马步数万从盖马道进军。同年七月隋军班师，留吐万绪镇守怀远，