Kaisar Tang Gaozu
bersama. Dengan marah, Gaozu memanggil Li Jiancheng ke Istana Renzhi (di Tongchuan, Shaanxi). Li Jiancheng tidak menuruti perintah itu, namun belakangan ia melapor ke Istana Renzhi untuk meminta maaf dan Gaozu menjatuhkan hukuman tahanan padanya. Ketika Yang mendengar kabar ini, ia memberontak. Gaozu memerintahkan Li Shimin menumpas pemberontakan itu dengan janji akan diangkat
sebagai putra mahkota bila ia berhasil dan status Li Jiancheng akan diturunkan sebagai Pangeran Shu serta akan dikirim ke Sichuan. Namun begitu Li Shimin berangkat, para selir kaisar dan perdana menteri Feng Deyi angkat suara membela sang putra mahkota. Di bawah bujukan selir-selir kesayangannya, hati Gaozu luluh, ia membebaskan Li Jiancheng dan mengizinkannya kembali ke Chang'an
serta menjamin statusnya tetap sebagai putra mahkota. Sebagai gantinya, ia menimpakan kesalahan pada para staff Li Jiancheng, Wang Gui dan Wei Ting, juga staff Li Shimin, Du Yan. Merekalah yang dipersalahkan sebagai pemicu konflik di antara putra-putranya sehingga harus diasingkan. Pemberontakan Yang Wen'gan akhirnya berhasil ditumpas dan Yang dibunuh dalam pelarian oleh anak buahnya.
Gaozu juga masih menghadapi masalah lain mengenai gangguan perbatasan oleh suku Tujue. Ia mempertimbangkan untuk membumihanguskan kota Chang'an lalu memindahkan ibukota ke Fancheng (sekarang Xiangfan, Hubei). Rencana ini juga mendapat dukungan dari Li Jiancheng, Li Yuanji, dan Pei Ji. Namun Li Shimin menentang keras rencana ini sehingga Gaozu pun membatalkannya. Sementara itu, Li Shimin mengirim
kaki tangannya ke Luoyang untuk membangun kekuatannya disana. Gaozu berencana untuk mengirim Li Shimin untuk ditempatkan di Luoyang menjaga kota itu untuk mencegah konflik lebih jauh setelah sebuah insiden keracunan makanan yang menimpa Li Shimin dalam suatu jamuan di kediaman Li Jiancheng yang dianggap sebagai usaha pembunuhan. Namun Li Jiancheng dan Li Yuanji menentang pemindahan ini karena mereka
takut saudaranya itu akan memakai kesempatan untuk membangun kekuatan bagi dirinya sendiri sehingga Gaozu pun akhirnya membatalkan rencana itu.
Hingga tahun 626, situasi makin memanas, Li Shimin makin gelisah karena saudara-saudaranya terus mencari gara-gara, para bawahannya seperti Du Ruhui, Fang Xuanling, dan Zhangsun Wuji mendesaknya agar bertindak secepat mungkin sebelum diserang saudara-saudaranya, di lain pihak Li Jiancheng juga terus dibujuk oleh bawahannya, Wei Zheng untuk menyerang Li Shimin. Li Jiancheng membujuk ayahnya
untuk menyingkirkan Du, Fang, Yuchi Jingde, dan Cheng Zhijie dari jajaran staff Li Shimin. Hanya Zhangsun, pejabat penting dan adik ipar Li Shimin yang masih tersisa disampingnya, dan ia terus membujuk Li agar secepatnya bertindak.
Musim panas 626, Tujue Timur menyerbu perbatasan. Gaozu tadinya hendak mengirim Li Shimin untuk memimpin pasukan namun atas bujukan Li Jiancheng ia menggantinya menjadi Li Yuanji. Li Yuanji pun diberi komando atas pasukan Li Shimin, hal ini tentu saja membuat Li Shimin semakin tidak tenang karena dengan demikian ia tidak akan mampu mempertahankan diri jika kedua saudaranya
menyerangnya. Li Shimin memerintahkan Yuchi Jingde memanggil kembali Du dan Fang ke kediamannya secara rahasia dan kemudian pada suatu malam ia menemui ayahnya untuk melaporkan bahwa Li Jiancheng dan Li Yuanji telah berzinah dengan selir-selir ayahnya. Gaozu pun memerintahkan kedua pangeran itu untuk menghadapnya keesokan paginya, ia mengumpulkan para
pejabat seniornya seperti Chen Shuda, Xiao Yu, dan Pei Ji untuk mendiskusikan masalah ini. Begitu Li Jiancheng dan Li Yuanji tiba di Gerbang Xuanwu yang menuju ke istana kekaisaran, mereka disergap oleh Li Shimin dan pasukannya. Li Shimin memanah kakaknya hingga tewas dan Li Yuanji dibunuh oleh Yuchi ketika bertarung dengan Li Shimin. Setelah itu ia memasuki istana dengan
pasukan dan senjata lengkap. Di bawah intimidasi, Gaozu pun mengangkat Li Shimin sebagai putra mahkota. Ia juga tidak mampu mencegah Li Shimin membantai putra-putra Li Jiancheng dan Li Yuanji. Dua bulan kemudian ia turun tahta dan menyerahkan mahkota pada Li Shimin.
Tidak banyak catatan sejarah yang mencatat aktivitas Kaisar Gaozu setelah turun tahta, tampaknya ia pun tidak terlalu mencampuri urusan pemerintahan yang kini telah dipimpin putranya yang telah naik tahta sebagai Kaisar Tang Taizong. Kaisar Taizong membatalkan beberapa kebijakannya, misalnya pada akhir tahun 626, ia menurunkan gelar beberapa pangeran
menjadi adipati dan pada tahun 628, ia memulangkan 3000 wanita istana, walau pada tahun-tahun akhir pemerintahannya, Taizong pun mengumpulkan banyak wanita di istana belakangnya.
Tahun 629, Gaozu pindah dari istana utama, Istana Taiji, ke Istana Hongyi (yang kemudian diganti namanya menjadi Istana Da'an)
Tahun 630, ia mendengar berita gembira bahwa Jenderal Li Jing telah berhasil mengalahkan Tujue Timur dan menangkap kepala sukunya, Jiali Khan (Ashina Duobi). Hal ini merupakan titik balik yang luar biasa karena selama masa pemerintahannya ia selalu mengirim upeti pada Tujue. Ia berkata, "Pada masa lampau, Kaisar Han Gaozu pernah terjebak di Baideng (sekarang Datong, Shanxi) oleh pasukan
Xiongnu dan ia tidak pernah bisa membalaskan dendamnya. Namun kini, putraku telah berhasil mengalahkan Tujue. Saya telah mempercayakan kekaisaran ini pada orang yang benar, apa lagi yang harus kukhawatirkan?" Ia lalu memanggil sejumlah pangeran, putri, dan pejabat tinggi kekaisaran untuk merayakan kemenangan ini. Dalam pesta ia memainkan pipa (alat musik tradisional Tiongkok) dan mengajak tamu-tamunya menari.
Karena cuaca di kota Chang'an sangat panas ketika musim panas, ia sering diundang oleh putranya ke Istana Jiucheng (bekas Istana Renshou pada masa Dinasti Sui) di Baoji, Shanxi untuk menghindari cuaca yang menyengat itu. Namun karena Kaisar Wen dari Sui wafat di sana, ia pun tidak mau mengunjungi istana itu. Maka pada tahun 634, Kaisar Taizong pun memulai pembangunan Istana Daming yang
diperuntukan sebagai istana musim panas bagi ayahnya. Namun sayangnya, Gaozu tidak pernah berkesempatan menempati istana itu. Ia mangkat pada musim semi 635 sebelum pembangunan istana itu usai.
Buku Tua Tang, vol. 1. Sejarah Baru Dinasti Tang, vol. 1. Zizhi Tongjian, vols. 175, 182, 183, 184, 185, 186, 187, 188, 189, 190, 191, 192, 193, 194.