。一些宦官就记恨他，后来他又弹劾司礼监滕祥、孟沖挥霍，穆宗不悦。滕祥又陷害李芳，明穆宗将李芳免职闲住。隆庆二年（1568年）十一月，李芳被杖八十，下刑部监禁待决。隆庆四年（1570年）李芳被宽释，充南京凈军。
影视形象.《大明王朝1566》中的吕芳即是以李芳为原型，由徐光明饰演。