。明穆宗刚刚即位，他以能秉持正见获得宠信。徐杲在明世宗嘉靖年间任工部尚书，修卢沟桥，贪污以万计。下属冒太仆少卿、苑马卿以下职衔的以百计。隆庆元年（1567年）二月，他弹劾徐杲，徐杲被削官下狱，他任用的冒官冗员都被淘汰。一些宦官就记恨他，后来他又弹劾司礼监滕祥、孟沖挥霍，穆宗不悦。滕祥又陷害李芳，明穆宗将李芳免职闲住。隆庆二年（1568年）十一月，李芳被杖八十，下刑部监禁待决。隆庆四年（1570年）李芳被宽释，充南京凈军。
影视形象.《大明王朝1566》中的吕芳即是以李芳为原型，