被送到最初是旧会津藩领地的，之后则被送到越后高田软禁。
斗南藩.会津藩投降后，遭到改易，会津松平家的家名虽然因此断绝，但在明治2年（1869年）11月3日被允许再次复兴。知行高则在陆奥国内并领有3万石，藩地则可以选择猪苗代或下北半岛。但由于在东京成为俘虏的等旧藩干部，都一起被送到越后高田软禁，所以在没有过问这些藩士的情况下而选择下北半岛。藩名则被命名为斗南藩，斋藤也以斗南藩士的身分前往下北半岛。斋藤移居到斗南藩领的五户，并与篠田やそ结婚。篠田家是能从《诸士系谱》中确认的名门，