Kaisar Tang Gaozu

Selama masa pemerintahan Kaisar Wen, Li Yuan menjabat sebagai gubernur sebanyak tiga kali masa jabatan. Pada awal pemerintahan Kaisar Yang (putra Kaisar Wen) ia menjadi gubernur pos militer karena Kaisar Yang mengubah provinsi menjadi pos-pos militer. Belakangan ia diberi jabatan sebagai menteri junior dalam kabinet Kaisar Yang. Tahun 613. ketika kaisar sedang melakukan kampanye militer kedua melawan Kerajaan Goguryeo, Korea, Li diberi tanggung jawab untuk mengurus urusan logistik. Memanfaatkan absennya kaisar yang sedang memimpin serangan ke Liaodong, Jenderal Yang Xuan'gan melakukan pemberontakan di dekat ibukota timur Luoyang. Kaisar Yang menugasi Li Yuan untuk menjaga bagian barat Terusan Tong, namun pada akhirnya pemberontakan Yang tidak pernah mencapai wilayah itu. Kesempatan itu dimanfaatkan olehnya untuk merekrut orang-orang berbakat. Pada akhir tahun itu, ketika kaisar memanggilnya, Li tidak memenuhi panggilan itu dengan alasan sakit. Kaisar Yang tidak mempercayai alasan itu dan mulai menaruh curiga padanya, maka ia bertanya pada Selir Wang, yang adalah sepupu Li, “Apakah ia akan mati ?” Untuk mengurangi kecurigaan kaisar, Li melewati hari-harinya dengan minum-minum hingga mabuk dan menerima sogokan yang diberikan padanya, dengan demikian Kaisar Yang berpikir bahwa ia bukanlah seorang yang ambisius dan patut diawasi. Tahun 615, kaisar menugasinya untuk menumpas pemberontakan petani di Hedong (sekarang Yuncheng, Shanxi), namun ia dipanggil pulang tahun 616 dan akhir tahun itu kaisar memberinya tanggung jawab menjaga kota Taiyuan, Shanxi, yang mempunyai nilai strategis.