斋藤获得政府颁发勋七等青色桐叶章与赏金100圆。明治14年（1881年）警视局遭到废止，让他一度加入陆军省，之后政府再设置警视厅，他则于11月成为巡査部长。明治18年以后（1885年）担任警部补，明治21年（1888年）在担任诘外勤警部，明治25年（1892年）12月离职。
晩年.从警视厅离职时，受到东京高等师范学校校长（前会津藩士）等人的推荐，于是从明治27年（1894年）4月起，在东京高等师范学校附属东京教育博物馆（现国立科学博物馆）担任守卫长，直到明治31年（1898年）。同