了盗寇蒋时选的巢穴，将蒋时选父子活捉，余党便自行退散。李芾随后担任湘潭县知县，湘潭县的豪门大户曾掣肘前任县令的管理，但李芾不惧豪门大户，清查户籍摊派赋税时，都不躲避权势，这才使赋税劳役很公平。
得罪贾似道.咸淳元年，李芾被调回临安府做府尹。当时的南宋朝廷由权相贾似道主政，上一任的临安府府尹事无巨细都要先禀告贾似道才去实行。但李芾不向贾似道禀报，还因福王府逼死人的案件，与贾似道家人垄断火攻战具两件事上得罪了贾似道。被贾似道指使谏官黄万石以贪赃罪诬告李芾，罢免了他的府尹之职。事实上，李