参与。8月21日也参加。败战后，他撤退到若松城下。与土方会合这件事，则是在这次撤退的最后，猪苗代。之后，土方等人前往庄内藩，并与大鸟圭介等人率领的幕军部队转战仙台，但却只有斋藤留在会津，并与会津藩士一起持续抵抗城外的新政府军。9月22日时，就算会津藩已经投降，斋藤也依然持续反抗，直到容保派人劝降后，他才投降。投降后，他与成为俘虏的会津藩士一起被送到最初是旧会津藩领地的，之后则被送到越后高田软禁。
斗南藩.会津藩投降后，遭到改易，会津松平家的家名虽然因此断绝，但在明治2年（1869年