光遗孀显犹嫌不够气派，将霍光生前自己安排的坟墓规格扩大。汉宣帝同霍光子侄关系逐步恶化，显毒杀许皇后的消息也开始流传。宣帝听到后并未开始调查，而是先采取措施提拔自己的外戚与霍氏的政敌担任要职，架空霍家子弟的兵权，汉宣帝先改霍光女婿大将军范明友为光禄勋，羽林监任胜为安定郡太守，又把霍光的姐夫张朔由给事中光禄大夫改为蜀郡太守，孙婿王汉为武威郡太守，长乐宫衞尉邓广汉为少府，这样夺取了他们的在首都的军权，扫清了霍家的外围势力。接着开始对霍家动手，改霍禹为大司马，无印绶，架空兵权，霍光的另一女婿赵平的兵权也被夺，霍