大将軍霍光が生きている間は趙広漢は霍光に仕えたが、霍光が死ぬと、宣帝の本心を知り、長安の吏を動員して霍光の子の霍禹の屋敷を酒の密売容疑で門を斧で破壊して強制捜査した。