人带鎗剑闯入公馆挑衅，遂被朝廷指为「案拟发兵」、「有亏国体」，将之免职收押。李文馥遂再一次失势。 
晚年及去世.1848年（嗣德元年），朝廷再三起用李文馥，任郎中，办理礼部事务。1849年（嗣德二年），升任为光禄寺。其后，据《大南实录》记载他在此不久后去世，朝廷追授他为「礼部右侍郎」，后世一般按照史文，以1849年为其卒年。学者陈庆浩对此提出质疑，认为李文馥在其着作《掇拾杂记》中所写的序，是在1850年（嗣德三年），因此应该卒于该年之后。
李文馥的「华夷之辨