也有人据此认为斋藤的姓与山口一刀流有关。
新选组.与沖田总司、永仓新八并称新选组最强剑士。永仓曾向弟子说，「沖田是勐者之剑，斋藤则为无敌之剑」。他与沖田、永仓等人担任过新选组撃剑师傅。在大坂力士乱斗、组内的肃清、天满屋事件以及戊辰战争等事件中，是真正挥舞着刀并历经许多实战的队员。这样以刀参战的经验，让他在晚年表示「真正的以剑相搏是如果敌人砍过来，就将其扫开，不但让你能够拔刀战斗，还会沉浸于此」。
警视厅.他在警视厅担任称为的剑术指导工作，但斋藤却未留下担任