幕末の庄内地方。海坂藩の御蔵役を務める井口清兵衛は、夕刻の終業の太鼓の音を聞くと同僚の酒の誘いも断り真っ直ぐ自宅に帰り、家事と内職にいそしんでいた。認知症を抱える老母と幼い2人の娘の世話、そして労咳で死んだ妻の薬代や葬儀などで嵩んだ借金を返済するためだ。日々の暮らしに追われ、着の身着のままの貧乏生活で身なりが薄汚れていく清兵衛。同僚の中には、そんな彼を陰で「たそがれ清兵衛」と呼んで小馬鹿にする者もいた。
春、清兵衛は親友の飯沼倫之丞と再会する。倫之丞は妹の朋江が酒乱の夫・甲田豊太郎に度々暴力を振るわれるため、離縁させたことを清兵衛にうちあける。
朋江は清兵衛の家へ通い、家事や娘の世話を続けていた。穏やかな日々が続いていた。そんなある日、海坂藩の藩主が若くして没した。ほどなく後継者争いが勃発。藩内に暗雲が立ち込める。命の危険を感じた倫之丞は、朋江を親友である清兵衛の下へ嫁がせたいと申し出た。しかし、清兵衛は自らの身分の低さと貧しさを理由にその申し出を断る。
世継ぎが決まり、旧体制を率いてきた藩士は後継者争いに敗れたため彼等の粛清がはじまった。粛清されるべき人物の中に、一刀流の使い手・余吾善右衛門がいた。余吾は切腹を命じられながらもそれを拒絶したばかりか、討手の服部某を斬殺。自らの屋敷にたてこもっていた。新たな討手を求めていた海坂藩は、若かりし頃に道場の師範代を務め、般若寺裏の決闘で甲田を倒した清兵衛の剣を見込み、その任務を命じる。清兵衛は断ったが、家老はそれを許さなかった。翌朝、清兵衛は朋江を自宅に呼び、身支度の手伝いを頼んだ。決闘を前に、清兵衛は秘めていた想いをついに打ち明ける。「果し合いに打ち勝ったら井口家に嫁に来てほしい」と。しかし朋江は清兵衛に縁談を断られた後、会津の有力な家中との縁談を受けてしまっていた。