大业十二年（616年）升为右骁卫将军。大业十三年（617年）正月迁太原郡留守，7月杀郡丞王威、武牙郎将高君雅，打着勤王定乱，迎回隋天子的旗号正式开始于晋阳县起兵。晋阳起兵即得到李氏宗族及姻亲的响应。他一边招降叛军、流寇，一边派亲族迅速进兵，并且借助突厥始毕可汗的500骑兵进攻隋大兴城，于12月攻克。他拥代王杨侑做傀儡皇帝，遥尊隋炀帝为太上皇，受假黄钺、使持节、大都督内外诸军事、大丞相，进封唐王，不久进位相国，加九钖。
建立唐朝.义宁二年（公元618年6月18日），隋炀帝在四月被