生下课时，也负责管制人力车的交通状况。明治42年（1909年）退职。并与山川浩及高岭秀夫等人一直保持着友谊。大正4年（1915年）9月28日，因为胃溃疡而在东京府东京市本乡区真砂町过世。享年72。据传他是在凹间以跏趺坐的姿势过世。之后下葬于福岛县会津若松市。过去的战友永仓新八也在同年1月过世。
剑术.
流派.斋藤的剑术流派，目前仍然不明。根据其子孙所述，乃为一刀流 。斋藤之父山口祐助在会津藩士家担任时，因为与藩士亲近，所以在同藩江户藩邸学习一刀流。会津藩的