Zhangsun Wuji
Di bawah pemerintahan Kaisar Tang Gaozong

Setelah Kaisar Gaozong bertahta, ia mengubah gelar kehormatan Zhangsun menjadi Taiwei (太尉 yang juga salah satu dari tiga gelar tertinggi) serta tetap mempercayai Zhangsun mengepalai tiga biro walaupun Zhangsun sendiri hendak melepaskan tanggung jawabnya atas biro eksekutif. Gaozong juga memberi Zhangsun jabatan Tong Zhongshu Menxia Sanpin （同中书门下三品） sebuah jabatan yang secara de facto sejajar perdana menteri. Zhangsun dan Chu menjadi orang paling berkuasa setelah kaisar pada awal pemerintahan Gaozong walaupun sebenarnya masih ada pejabat lain yang secara resmi memiliki jabatan lebih tinggi. Raja Tufan (Tibet), Songtsan Gampo, pernah menulis surat pada Zhangsun yang berisi, “Sang Putra Surga baru saja menduduki tahta, bila ada di antara hamba-hambanya yang tak setia, saya akan memimpin pasukan ke ibu kota untuk menghancurkan mereka.” Kaisar tetap memberi kepercayaan besar terhadap Zhangsun dan Chu, pada tahun 650, ketika seorang rakyat biasa bernama Li Hongtai menuduh Zhangsun dengan tuduhan makar, kaisar langsung menghukum mati Li.
Tahun 651, Zhangsun merampungkan revisi undang-undang dan disahkan oleh kaisar tahun itu juga. Tahun 652, perdana menteri Liu Shi, paman dari Permaisuri Wang yang tidak punya anak laki-laki, mengusulkan agar sang permaisuri membujuk kaisar agar mengangkat Li Zhong, putra sulung Gaozong dari Selir Liu yang adalah selir kelas bawah, sebagai putra mahkota sehingga dengan demikian Li Zhong akan sangat berterimakasih padanya. Liu Shi melobi Zhangsun turut membujuk permaisuri. Kaisar Gaozong menyetujuinya dan mengangkat Li Zhong sebagai putra mahkota pada musim gugur tahun itu.
Pada akhir 652, terjadi pertengkaran besar antara putra-putra Fang Xuanling dimana Fang Yi’ai menuduh kakaknya, Fang Yizhi melecehkan istrinya, Putri Gaoyang, yang adalah salah satu anak perempuan Kaisar Taizong, sementara Fang Yizhi juga balik menuduh Fang Yi’ai dan istrinya terlibat rencana makar. Kaisar menugaskan Zhangsun untuk menyelidiki kasus ini. Hasil penyelidikan membuktikan bahwa Fang Yi’ai, istrinya, Jenderal Xue Wanche, dan Chai Lingwu (saudara ipar kaisar) terlibat upaya menggulingkan kaisar dan berencana menggantikannya dengan pamannya, Li Yuanjing, Pangeran Jing. Fang Yi’ai, yang mengetahui bahwa Zhangsun sudah lama ingin menghabisi Li Ke yang dipandang berbahaya bagi tahta Gaozong, membuat tuduhan palsu yang menyatakan bahwa Li juga terlibat dalam konspirasi itu dengan harapan Zhangsun akan melepaskannya, tetapi Zhangsun malah memakai kesempatan ini untuk menghabisi keduanya sekaligus. Pada musim semi 653, Zhangsun mendesak kaisar agar mengeluarkan titah untuk mengeksekusi Fang Yi’ai, Xue dan Chai serta memaksa Li Yuanjing, Li Ke, Putri Gaoyang dan Putri Baling (istri Chai) melakukan bunuh diri. Setelahnya ia juga memakai kesempatan ini untuk menyingkirkan lawan-lawan politik lainnya seperti Yuwen Jie (sahabat Fang), Li Daozong (yang sering bertentangan dengannya dan Chu), Jenderal Zhishi Sili, Xue Wanbei (adik Xue), Selir Yang (ibu Li Ke), dan putranya, Li Yin, mereka semua diturunkan statusnya menjadi rakyat biasa dan dibuang ke pengasingan. Tindakannya ini dikritik keras oleh Liu Xu, sejarawan yang memimpin penyuntingan Kitab Tang, yang mengatakan kejatuhan Zhangsun akibat fitnah merupakan karma atas segala perbuatannya. Sebelum kematiannya Li Ke juga sempat mengutuk Zhangsun, katanya, “Zhangsun Wuji telah mencuri kuasa kekaisaran dan menfitnah mereka yang setia, arwah para leluhur kekaisaran mengawasinya, cepat atau lambat keluargamu juga akan dibantai!”
Kaisar Gaozong sangat tergila-gila pada Selir Wu, sekalipun hal itu melanggar norma-norma Konfusius yang menganggapnya sebagai hubungan incest karena ia adalah mantan selir ayahnya, Kaisar Taizong. Ironisnya, Selir Wu adalah wanita yang direkomendasikan Permaisuri Wang yang cemburu pada Selir Xiao yang sebelumnya juga menjadi favorit kaisar. Permaisuri Wang berharap dengan kehadiran Selir Wu, kaisar tidak akan terlalu menyanyangi Selir Xiao secara berlebihan. Namun setelah perhatian kaisar terpusat pada Selir Wu, Permaisuri Wang dan Selir Xiao bersekongkol untuk menjatuhkannya yang berakhir dengan kegagalan. Tahun 654, Selir Wu sengaja membunuh putrinya sendiri dan menuduh Permaisuri Wang yang melakukannya, kaisar pun mempertimbangkan untuk mendepak Permaisuri Wang dan menggantikannya dengan Selir Wu, tetapi hal ini mendapat tentangan dari para pejabat tinggi. Maka bersama Selir Wu, ia mengunjungi Zhangsun di kediamannya dengan membawa hadiah mewah serta memberikan jabatan pejabat tingkat menengah pada ketiga putranya. Dalam kesempatan ini kaisar juga mengungkit masalah pergantian permaisuri ini pada Zhangsun untuk meminta pendapatnya. Zhangsun bersikap pura-pura tidak mengerti dan tidak memutuskan apapun apakah mendudung ataupun menentang Selir Wu, ia tetap pada pendiriannya walau belakangan dilobi oleh Nyonya Yang (ibu Selir Wu) dan rekan perdana menterinya, Xu Jingzong. Tak lama kemudian Xu, Li Yifu (yang menjadi perdana menteri karena mendukung Selir Wu), serta pejabat penting seperti Cui Yixuan dan Yuan Gongyu membentuk aliansi mendukung Selir Wu.
Musim gugur 654, dalam rapat kekaisaran, kaisar memanggil Zhangsun, Li Ji (Li Shiji yang telah mengganti namanya demi menghindari tabu nama yang mirip dengan kaisar Taizong, Li Shimin), Chu, dan Yu Zhining ke istana. Dugaan Chu bahwa kaisar memanggil mereka untuk meminta persetujuan mengganti Permaisuri Wang dengan Selir Wu terbukti benar. Zhangsun, Chu dan Yu datang menghadap sementara Li menolak menghadiri rapat. Dalam rapat ini, Chu terang-terangan menentang, Zhangsun dan Yu diam namun tampak mereka juga menentang, penentangan juga datang dari perdana menteri Han Yuan dan Lai Ji. Belakangan kaisar meminta pendapat Li Ji, tetapi ia bersikap netral dan menjawab, “Ini adalah masalah keluarga anda, Yang Mulia, mengapa harus bertanya pada orang lain?” Kaisar tetap pada keputusannya, ia memutasikan Chu ke Tanzhou (sekarang Changsha, Hunan) lalu menurunkan status Permaisuri Wang dan Selir Xiao menjadi rakyat biasa, serta mengangkat Selir Wu sebagai permaisurinya. Tak lama kemudian Permaisuri Wu memerintahkan agar mantan Permaisuri Wang dan Selir Xiao disiksa hingga mati.
Tahun 659, Permaisuri Wu telah mengukuhkan posisinya, ia menyimpan dendam pada Zhangsun dan Yu yang tidak menyetujui pengangkatan dirinya sebagai permaisuri. Hal yang sama juga dirasakan Xu Jingzong yang sering dimarahi Zhangsun karena masalah ini. Belakangan Xu ketika menyelidiki kasus konflik antar faksi yang melibatkan pejabat tingkat rendah Wei Jifang dan Li Chao membuat bukti palsu yang bahwa Zhangsun juga terlibat upaya makar bersama mereka. Kaisar Gaozong hendak menginterogasi Zhangsun secara pribadi terkait dengan kasus ini, tetapi Xu mencegahnya, ia menandaskan bahwa Zhangsun sangat mahir bereaksi cepat karena pengalaman politiknya selama puluhan tahun. Musim panas tahun itu, kaisar secara tiba-tiba mencabut semua jabatan Zhangsun dan menyita tanah kekuasaannya. Secara resmi kaisar menganugerahi Zhangsun gelar komandan Yangzhou, tetapi pada kenyataannya ia diasingkan ke Qianzhou (sekarang wilayah tenggara Chongqing) dan disana ia dijadikan tahanan rumah. Putra-putranya juga tidak luput dari hukuman. Pada musim gugur tahun itu, kaisar berencana membuka kembali kasus ini dan mengadakan peninjauan kembali, untuk itu ia menugaskan Xu, Li Ji, Xin Maojiang, Ren Yaxiang, dan Lu Chengqing. Xu memanfaatkan kesempatan ini dengan mengutus Yuan Gongyu ke Qianzhou dengan misi memaksa Zhangsun melakukan bunuh diri. Ia menggantung diri dengan penuh kesedihan setelah menulis puisi terakhirnya. Seluruh harta bendanya disita pemerintah. Mantan perdana menteri Liu Shi juga dihukum mati di tempat pengasingannya. Anggota keluarga Zhangsun, Liu, dan Han Yuan dihukum kerja paksa sementara beberapa lainnya dihukum mati. Tahun 674, pada tahun-tahun terakhir pemerintahan Kaisar Gaozong, ia memulihkan gelar Zhangsun secara anumerta. Salah seorang cicit Zhangsun bernama Zhangsun Yi diperbolehkan menyandang gelar Adipati Zhao, ia membawa pulang peti mati kakek buyutnya ke Chang’an untuk dimakamkan di dekat makam Kaisar Taizong.