李渊在 隋炀帝即位之初先后做了 荥阳(今河南荥阳)、 楼烦(今山西静乐县)两个郡的 太守,后来又被任命为殿内少监、卫尉少卿。大业九年(613年)春,隋炀帝征伐 高句丽时,李渊在 怀远镇督运粮草。同年农历六月, 杨玄感利用民愤举兵反隋,李渊奉隋炀帝之命镇守 弘化郡(今甘肃庆阳县),兼知关右诸军事。在此期间,李渊广交天下豪杰,遭到隋炀帝的猜疑。恰好有诏书命李渊去隋炀帝巡行所到之地,李渊因病没有去。当时李渊的外甥女王氏在后宫,隋炀帝问王氏:“你的舅舅怎么迟迟不来?”王氏回答说李渊病了,隋炀帝又问:“病的要死了吗?”李渊知道以后日益恐惧,因此无节制地饮酒、收受贿络自污以自保。大业十一年(615年),李渊调任山西河东慰抚大使,到达龙门时,遇上了 母端儿农民起义,李渊领兵击败了起义军,收编万余人,实力大增。又击绛州贼柴保昌,降其众数万人。第二年(616年),他升为右骁卫将军。突厥侵犯边塞,隋炀帝便让他和马邑郡守 王仁恭一同北击突厥。但他们的兵马很少。李渊便选出擅长骑射的两千骑兵,吃住骑射仿效突厥兵,给突厥看他们闲暇时的射猎驰骋。李渊有另外挑选善于射箭的士兵作为埋伏。等和 突厥兵遭遇时李渊便下令埋伏攻击,结果打败突厥。大业十三年(617年),李渊正式任太原留守、晋阳宫监,成为这一地区最高军政长官。李渊奉命率兵征讨历山飞贼 甄翟儿,与甄翟儿遭遇在 河西郡(今山西 汾阳)的 雀鼠谷,李渊大获全胜。 在镇压农民起义的过程中,李渊招降纳叛,不断扩充自己的实力。