也以斗南藩士的身分前往下北半岛。斋藤移居到斗南藩领的五户，并与篠田やそ结婚。篠田家是能从《诸士系谱》中确认的名门，为会津藩士并属于大身的身分，并与隶属白虎队第二队，然后在自杀的篠田仪三郎有远亲关系。后年的明治7年（1874年）3月17日，与前会津藩大目付高木小十郎之女时尾再婚，由松平容保与前会津藩家老、山川浩及仓泽平治右卫门等担任媒人。此时，他的名字也改为藤田五郎。他与妻子时尾之间，育有长男勉、次男刚及三男龙雄等3名孩子。另外，由于其户籍没有再婚的记载，所以也有他和时尾的婚姻是他本人第一个婚姻的说法。