Jabarkan Kudeta terhadap Kaisar Yang dari Yuwen Huaji

Kaisar Yang yang merasa aman di bawah kawalan pasukan elit Xiaoguo, enggan untuk kembali ke wilayah utara yang bergolak. Ia berencana untuk memindahkan ibu kota ke Danyang (sekarang Nanjing, Jiangsu). Sementara di lain pihak, sebagian besar anggota pasukan Xiaoguo berasal dari Guanzhong (sekitar Chang’an), wilayah utara dan mereka mengkhawatirkan keluarga mereka disana. Mengetahui bahwa kaisar tidak berniat untuk merebut kembali ibu kota, mereka memutuskan untuk kabur. Beberapa perwira Xiaoguo yang dikepalai oleh Sima Dekan, Pei Qiantong, dan Yuan Li menyusun rencana untuk melarikan diri. Zhao Xinshu, teman Yuwen Zhiji dan Yang Shilan, keponakan Yuwen mendiskusikan rencana ini dengan Yuwen Zhiji. Yuwen Zhiji berpendapat, bila mereka kabur pasti akan diburu dan menghadapi hukuman mati, maka lebih baik melakukan kudeta untuk menggulingkan kaisar tiran itu. Atas saran Zhao dan Xue Shiliang, mereka memutuskan untuk mengangkat Yuwen Huaji sebagai pemimpin mereka. Yuwen yang pada dasarnya pengecut itu semula panik ketika diminta memimpin mereka, tetapi akhirnya ia menerima juga.

Pada akhir musim semi 618, para perwira Xiaoguo menjalankan rencana kudeta mereka. Karena mereka adalah pejabat yang dipercaya, maka dengan mudah mereka memperoleh akses untuk masuk ke istana menghadap kaisar. Dengan cepat mereka memasuki istana, awalnya mereka hanya membujuk kaisar untuk kembali ke ibu kota Chang’an, tetapi belakangan mereka mengumumkan dosa-dosa sang kaisar dan menuntutnya turun tahta, Pei Qiantong membunuh putra bungsu kaisar, Yang Gao, Pangeran Zhao dihadapannya. Kaisar Yang menawarkan agar ia bunuh diri dengan racun, tetapi saat itu racun tidak dapat ditemukan dengan segera, maka salah satu perwira bernama Linghu Xingda mencekiknya dengan syal sesuai permintaannya.

Setelah kudeta, Yuwen Huaji sempat berencana untuk mengangkat Yang Xiu, Pangeran Shu, yang adalah adik Kaisar Yang sebagai kaisar, tetapi ide ini ditentang oleh para pemimpin kudeta. Mereka menghukum mati Yang Xiu beserta keluarganya, juga Yang Jian, Pangeran Qi (putra kaisar), Yang Tan, Pangeran Yan (cucu kaisar), dan beberapa anggota keluarga kekaisaran. Sejumlah pejabat tinggi Sui juga tidak luput dari pembantaian itu seperti perdana menteri Yu Shiji, Pei Yun, Lai Hu’er, Yuan Chong, Yuwen Xie, Yuwen Jiong, dan Xiao Ju, adipati Liang (keponakan Permaisuri Xiao). Yang Hao, keponakan kaisar, luput dari hukuman berkat perlindungan Yuwen Zhiji yang adalah temannya. Yuwen Huaji juga mengampuni dua pejabat Sui lainnya yaitu Pei Ju (karena telah mengurus pasukan Xiaoguo dengan baik) dan Su Wei (karena ia sering diabaikan oleh kaisar pada tahun-tahun terakhir pemerintahannya).