视他的郡丞王威、武牙郎将高君雅，接着打着“勤王定乱，迎回隋天子”的旗号，正式开始于晋阳县起兵，并且得到李氏宗族、姻亲的响应，是为晋阳起兵。李渊以李世民为敦煌郡公、右领军都督、统右三军。李渊派刘文静出使东突厥得到了始毕可汗的支持，派李建成、李世民夺取西河郡。六月，正式起兵。李渊自为大将军，以长子李建成、次子李世民为左右大都督，以四子李元吉留守太原，进兵大兴城（长安）。七月，李世民随李渊出征，李渊在山西霍邑与隋将宋老生二万精兵相持于霍邑。恰值久雨粮尽，李渊与长史裴寂议论，不如暂且回太原，以后再图谋举事。