济灾荒而有了好名声。李芾代理祁阳县知县，因治理祁阳县有功，李芾又被征召做了湖南安抚司幕官。在湖南安抚司幕官任上，李芾成功处理了永州当地长期未能招降的盗寇。李芾跟参议邓炯领了一千三百人攻破了盗寇蒋时选的巢穴，将蒋时选父子活捉，余党便自行退散。李芾随后担任湘潭县知县，湘潭县的豪门大户曾掣肘前任县令的管理，但李芾不惧豪门大户，清查户籍摊派赋税时，都不躲避权势，这才使赋税劳役很公平。
得罪贾似道.咸淳元年，李芾被调回临安府做府尹。当时的南宋朝廷由权相贾似道主政，上一任的临安府府尹事无巨细都