嘉永6年（1853年）の黒船来航以来日本も長州藩も揺れ動くが、農民の身分ながら若き吉富も親戚の林勇蔵など尊王攘夷派の影響を受け国事に関心を持ったという。元治元年（1864年）3月には長州藩の攘夷に対する外国の報復（下関戦争）が予想されていたため馬関攘夷費として藩札85貫目を長州藩に献じて士籍に編入されている。しかし、文久3年（1863年）11月に密航してイギリスを見てきた伊藤博文と井上馨は日本の国力では攘夷は無理だと悟って倒幕開国派に転じ、元治元年6月に下関戦争を防ぐために長州に帰還、井上から国際情勢を聞いた吉富も倒幕開国派に転じている。