都一起被送到越后高田软禁，所以在没有过问这些藩士的情况下而选择下北半岛。藩名则被命名为斗南藩，斋藤也以斗南藩士的身分前往下北半岛。斋藤移居到斗南藩领的五户，并与篠田やそ结婚。篠田家是能从《诸士系谱》中确认的名门，为会津藩士并属于大身的身分，并与隶属白虎队第二队，然后在自杀的篠田仪三郎有远亲关系。后年的明治7年（1874年）3月17日，与前会津藩大目付高木小十郎之女时尾再婚，由松平容保与前会津藩家老、山川浩及仓泽平治右卫门等担任媒人。此时，他的名字也改为藤田五郎。他与妻子时尾之间，育有长男勉、次男刚及三男