Kaisar Gaozu dari Tang
Pemberontakan melawan Kaisar Yang

Kaisar Yang tidak puas atas kinerja Li dan Wang Rengong, gubernur pos militer Mayi (sekarang Shuozhou, Shanxi) karena ketidakmampuan keduanya mengatasi gangguan di perbatasan oleh suku Tujue Timur (suku Turki) dan pemberontakan petani yang semakin merajarela, terutama setelah kekalahan dari Liu Wuzhou, Dingyang Khan, seorang pemberontak petani yang didukung oleh Tujue Timur, Liu berhasil membunuh Wang dan mencaplok istana kekaisaran kedua di dekat Taiyuan. Mendengar sebuah isu ramalan yang mengatakan bahwa kelak akan ada seorang kaisar bermarga Li, Kaisar Yang membunuh seorang pejabatnya yang bernama Li Hun beserta seluruh keluarganya. Hal ini mulai membuat Li Yuan takut dan mulai berjaga-jaga terhadap kemungkinan terburuk yang berisiko menimpanya.
Pada saat yang sama, putra keduanya, Li Shimin yang juga sedang bersamanya di Taiyuan, diam-diam berencana untuk memberontak tanpa sepengetahuan ayahnya, ia menjalin hubungan dengan Pei Ji, kepala pengurus istana kekaisaran kedua, dan Liu Wenjing, pejabat kabupaten Jinyang. Li Shimin membujuk Pei untuk mengatur sedemikian rupa agar ayahnya terlibat affair dengan dayang-dayang di istana kedua sehingga Li Yuan tidak punya pilihan lain selain memberontak. Li lalu mulai mengumpulkan pasukan dari wilayahnya dengan alasan untuk dipakai mempertahankan diri dari serbuan Tujue, tetapi dua orang deputinya, Wang Wei dan Gao Junya mulai mencurigai aktivitasnya. Li pun mengambil tindakan antisipasi sebelum keduanya menyerangnya, ia memanfaatkan sebuah serbuan Tujue sebagai dasar untuk menuduh Wang dan Gao telah bersekongkol dengan kepala suku Tujue, Shibi Khan (Ashina Duojishi) dan menjatuhkan hukuman mati pada mereka sambil mempersiapkan pernyataan resmi tentang pemberontakannya. Kemudian ia mengirim pesan rahasia untuk memanggil putra-putranya di Hedong yaitu Li Jiancheng, Li Yuanji (keduanya dari almarhum Nyonya Dou) dan Li Zhiyun (putranya dari Selir Wan) diperintahkan tinggal di Hedong untuk mengawasi kediaman mereka, ia juga memanggil putrinya (yang kemudian menjadi Putri Pingyang) dan suaminya Chai Shao di ibu kota Chang’an. Li Jiancheng dan Li Zhiyun bertemu dengan Chai di perjalanan lalu mereka bersama menuju Taiyuan, sementara putri Li yang saat itu merasa kesulitan untuk ikut suaminya, memilih untuk bersembunyi.
Begitu ketiganya tiba di Taiyuan, Li Yuan pun mendeklarasikan pemberontakannya dengan mengangkat cucu Kaisar Yang, Yang You, Pangeran Dai, sebagai kaisar dan menjadikan Kaisar Yang sebagai mantan kaisar (Taishanghuang). Ia menghubungi Ashina Duojishi, menawarkan hadiah dan sebagai balasannya ia menerima bantuan logistik dari Tujue Timur. Ia mengangkat Li Shimin dan Li Jiancheng sebagai komandan pasukannya dan Li Yuanji diserahi tanggung jawab menjaga Taiyuan. Bersama kedua putranya, Li Yuan memimpin pasukannya ke selatan. Mendengar pemberontakannya, para pejabat Sui di Hedong menahan putranya yang masih di Hedong, Li Zhiyun dan mengirimnya ke Chang’an untuk dihukum mati.
Li Yuan menulis surat pada seorang pemimpin pemberontak lainnya bernama Li Mi, Adipati Wei yang berkuasa di sekitar Luoyang, dalam suratnya ia ingin melihat apakah Li Mi berniat untuk bekerjasama dengannya. Namun Li Mi, yang terlalu percaya pada kekuatannya sendiri, menyuruh sekretarisnya, Zu Junyan membalas surat Li Yuan, ia menulis, “Walaupun saya dan anda, kakak, bukan satu keluarga, tetapi kita sama-sama bermarga Li. Saya sadar bahwa saya tidak punya cukup kekuatan, tetapi karena rasa cinta dari rakyat, saya telah diangkat sebagai pemimpin dan saya harap anda juga akan mendukung dan membantu saya. Mari kita menangkap Ziying di Xianyang dan membunuh Raja Zhou Xin dari Shang di Muye, bukankah hal seperti itu adalah prestasi besar?”
Li Yuan walau tersinggung dengan surat balasan itu, membalasnya dengan rendah hati karena tidak ingin menciptakan musuh baru, apalagi Li Mi adalah pemimpin pemberontak yang cukup berpengaruh pada saat itu. Ia menulis, “Walaupun saya hanya orang biasa dan bodoh, tetapi berkat kemurahan hati para leluhurku, saya masih beroleh kesempatan untuk menjadi pembawa pesan kekaisaran ketika meninggalkan ibu kota dan kepala pengawal di ibu kota. Bila negara ini jatuh dan saya tidak bisa berbuat apapun untuk menolongnya, bahkan orang bijak yang paling pengertian pun akan mengutukku. Karenanya lah saya menghimpun pasukan atas nama kebenaran dan melakukan berdamai dengan suku-suku barbar di utara (misalnya Tujue) demi ketenangan negara dan melindungi Sui. Bagaimanapun, manusia di dunia ini membutuhkan seorang pemimpin dan siapa lagi yang pantas untuk itu selain anda? Saya sudah terlalu tua, sudah lima puluh tahun lebih, tetapi saya sudah senang dengan mendukungmu, adikku.Saya berharap suatu hari nanti dapat memanjat sisik naga dan berpegang pada sayap phoenix, dan saya harap andalah, adikku, yang akan menggenapi ramalan itu, yang akan menaklukkan dunia ini. Anda adalah pemimpin marga Li dan saya berharap anda akan senang dan menerima saya serta memberikan kembali wilayah Tang pada saya, hal itu sudah cukup bagi saya. Saya tidak memiliki niat lebih jauh seperti membunuh Zhou Xin di Muye ataupun menangkap Ziying di Xianyang. Selain itu juga wilayah Fen dan Jin memerlukan kedamaian sekarang ini sehingga saya belum punya waktu untuk mengatur pertemuan di Mengjin (sekarang Zhengzhou, Henan, di mana Raja Wu dari Zhou pada masa lampau berkumpul dengan para pendukungnya sebelum menyerang sang tiran, Raja Zhou Xin).
Li Mi sangat terkesan dengan surat Li Yuan ini, ia berpikir bahwa Li Yuan tulus mendukungnya sehingga sejak itu keduanya sering bertukar pesan. Li Mi pun tidak menentang kampanye militer Li Yuan menyerang Chang’an. Ketika Li Yuan dan pasukannya tiba di dekat Hedong, mereka terhalang cuaca buruk dan mulai kehabisan makanan, tersiar sebuah isu yang mengatakan bahwa Tujue Timur dan Liu Wuzhou akan menyerang Taiyuan. Awalnya, Li Yuan berencana untuk menarik mundur pasukan, tetapi atas desakan dari Li Jiancheng dan Li Shimin, ia terus maju. Setelah mengalahkan pasukan Sui di Huoyi (sekarang wilayah Yuncheng), ia memutuskan untuk meninggalkan sebuah kontingen kecil untuk menjaga Hedong sementara ia dan yang lainnya terus maju menyeberangi Sungai Kuning menuju ke Guanzhong (wilayah sekitar Chang’an). Begitu tiba di sana ia memasuki Chang’an sambil memerintahkan Li Jiancheng mencaplok wilayah sekitar Terusan Tong untuk mencegah pasukan Sui di Luoyang mengirim bala bantuan ke Chang’an dan Li Shimin diperintahkan mencaplok wilayah utara Sungai Wei. Di tempat lain putrinya yang telah keluar dari persembunyian juga turut mendukung pemberontakan ayahnya, ia berhasil menghimpun sejumlah pasukan dan mencaplok beberapa kota. Ia lalu bergabung dengan kakaknya, Li Shimin dan suaminya, Chai Shao. Tak lama kemudian Li Yuan telah mengkonsolidasi pasukannya dan mengepung kota Chang’an. Musim dingin 617, ia berhasil menduduki kota itu dan disanalah ia mengukuhkan Yang You sebagai kaisar dengan gelar Kaisar Gong, ia juga mengankat dirinya sebagai wali atas Yang You dengan gelar perdana menteri agung serta mendapat gelar kebangsawanan Pangeran Tang. Namun sebagian besar wilayah Sui tidak mengakui Yang You sebagai kaisar dan mereka masih menganggap Kaisar Yang adalah penguasa yang sah. Li Yuan lalu mengirim keponakannya, Li Xiaogong, ke selatan untuk membujuk beberapa kota untuk menyerah. Li Xiaogong melakukan tugasnya dengan baik, beberapa kota yang sekarang dikenal sebagai wilayah selatan Shaanxi, Sichuan, dan Chongqing menyatakan menyerah pada Tang.