禀告贾似道才去实行。但李芾不向贾似道禀报，还因福王府逼死人的案件，与贾似道家人垄断火攻战具两件事上得罪了贾似道。被贾似道指使谏官黄万石以贪赃罪诬告李芾，罢免了他的府尹之职。事实上，李芾平生为官清廉，家无余财。
抵抗元军.元军攻取鄂州时，李芾才被重新起用，担任做湖南提刑。此时的湖南各县正受盗寇骚扰，百姓多数四散奔逃，李芾征调百姓武装起来自卫，另召民兵聚集在衡阳一带做防守准备。又因贾似道兵败芜湖，朝廷恢复李芾官职，让李芾掌握潭州兼任湖南安抚使，但这时湖北州郡都已被元军占领，李芾不顾朋友