之战，却因为脚伤而脱离战线，并经由田岛而来到若松城，并与斋藤等人会合。斋藤等人的新选组在会津藩的指挥下，于闰年4月5日时，参与。8月21日也参加。败战后，他撤退到若松城下。与土方会合这件事，则是在这次撤退的最后，猪苗代。之后，土方等人前往庄内藩，并与大鸟圭介等人率领的幕军部队转战仙台，但却只有斋藤留在会津，并与会津藩士一起持续抵抗城外的新政府军。9月22日时，就算会津藩已经投降，斋藤也依然持续反抗，直到容保派人劝降后，他才投降。投降后，他与成为俘虏的会津藩士一起被送到最初是旧会津藩领地的，之后则被送到越后