父指导学生。明治32年（1899年）离职，之后在东京女子高等师范学校担任庶务挂兼会计挂。在学生下课时，也负责管制人力车的交通状况。明治42年（1909年）退职。并与山川浩及高岭秀夫等人一直保持着友谊。大正4年（1915年）9月28日，因为胃溃疡而在东京府东京市本乡区真砂町过世。享年72。据传他是在凹间以跏趺坐的姿势过世。之后下葬于福岛县会津若松市。过去的战友永仓新八也在同年1月过世。
剑术.
流派.斋藤的剑术流派，目前仍然不明。根据其子孙所述，乃为一刀流