朝廷的衆多大事，他也趁此机会招纳人才，引起炀帝猜忌，李渊惧而以酗酒、受贿等行爲“自污”。大业十一年（615年）李渊任山西河东郡慰抚大使。大业十二年（616年）升为右骁卫将军。大业十三年（617年）正月迁太原郡留守，7月杀郡丞王威、武牙郎将高君雅，打着勤王定乱，迎回隋天子的旗号正式开始于晋阳县起兵。晋阳起兵即得到李氏宗族及姻亲的响应。他一边招降叛军、流寇，一边派亲族迅速进兵，并且借助突厥始毕可汗的500骑兵进攻隋大兴城，于12月攻克。他拥代王杨侑做傀儡皇帝，遥尊隋炀帝为太上皇，受假黄钺、使持节、大都督