Jabarkan Pemecatan dan kematian dari Huo Chengjun

Pada tahun 68 SM, Huo Guang meninggal. Kaisar Xuan dan Janda Permaisuri Agung Shangguan bertindak yang hampir tidak pernah terjadi, secara pribadi menghadiri upacara pemakaman Huo dan membangun makam yang mengesankan untuk Huo. Setelah kematian Huo, Kaisar Xuan mengasumsikan jauh lebih banyak kekuatan pribadi daripada yang dia miliki selama hidup Huo. Namun saudara permaisuri Huo, Huo Yu (霍禹), keponakan-keponakan Huo Yun (霍雲) dan Huo Shan (霍山), dan saudara-saudara iparnya, Fan Mingyou (范明友) dan Deng Guanghan (鄧廣漢) tetap di posisi kunci.

Pada tahun 67 SM, Kaisar Xuan dijadikan Pangeran Shi—putra mendiang Permaisuri Xu—putra mahkota, dan menjadikan ayahanda Permaisuri Xu, Xu Guanghan (許廣漢) Markis Ping'en—sebuah tindakan yang ditentang Huo Guang. Lady Xian kaget dan tidak senang, karena jika putrinya akan memiliki seorang putra nantinya, anak itu hanya bisa menjadi pangeran dan bukan kaisar masa depan. Dia menginstruksikan Permaisuri Huo untuk membunuh putra mahkota. Diduga, Permaisuri Huo memang melakukan beberapa upaya untuk melakukannya, tetapi gagal setiap kali. Sekitar waktu ini, kaisar juga mendengar desas-desus bahwa wangsa Huo telah membunuh Permaisuri Xu, yang menyebabkan dia mulai melucuti kekuasaan wangsa Huo, sementara memberi mereka gelar-gelar yang mengesankan.

Pada tahun 66 SM, setelah ada desas-desus publik yang meningkat bahwa wangsa Huo telah membunuh Permaisuri Xu, Lady Xian akhirnya mengungkapkan kepada putra dan cucu lelakinya bahwa dia telah membunuh Permaisuri Xu. Karena takut apa yang mungkin dilakukan kaisar jika dia memiliki bukti nyata, Lady Xian, putranya, cucu laki-lakinya, dan menantunya berkonspirasi untuk menggulingkan kaisar. Konspirasi itu ditemukan, dan seluruh wangsa Huo dieksekusi oleh Kaisar Xuan.

Kaisar Xuan kemudian mengeluarkan dekrit pemecatan Permaisuri Huo, di mana dia tidak mengacu pada apa yang keluarganya duga, tetapi menuduhnya mencoba meracuni Putra Mahkota Shi. Dia ditahan di istana yang tidak digunakan. Pada tahun 54 SM, dia diatur untuk diasingkan ke istana lain yang lebih jauh, dan dia bunuh diri.