事精明机敏，奸猾的人骗不了他。李芾早年靠先人的业绩补缺做南安司户，后被征召做了祁阳尉，因救济灾荒而有了好名声。李芾代理祁阳县知县，因治理祁阳县有功，李芾又被征召做了湖南安抚司幕官。在湖南安抚司幕官任上，李芾成功处理了永州当地长期未能招降的盗寇。李芾跟参议邓炯领了一千三百人攻破了盗寇蒋时选的巢穴，将蒋时选父子活捉，余党便自行退散。李芾随后担任湘潭县知县，湘潭县的豪门大户曾掣肘前任县令的管理，但李芾不惧豪门大户，清查户籍摊派赋税时，都不躲避权势，这才使赋税劳役很公平。
得罪贾似道.