李显和霍禹、霍山、霍云眼看霍家的权势日益被削弱，多次聚在一起痛哭流涕，自怨自艾。霍山说他听闻民间纷纷传言“霍氏毒死许皇后”，李显便将实情告诉霍禹、霍山、霍云。霍禹、霍山、霍云大惊，于是有反叛朝廷的阴谋，计划让霍太夫人向上官太后进言，先将丞相魏相和平恩侯许广汉杀死，废掉当今皇帝，改立霍禹为帝，全由皇太后决定。七月，霍氏的政变阴谋被发觉。霍山、霍云、范明友自杀。李显、霍禹、邓广汉等被逮捕，霍禹被腰斩，李显及霍氏兄弟姐妹全部被当众处死，八月初一，霍皇后被废。