一方面，研究斋藤的作家则否认他是一刀流，并认为他是。至于子孙所说的一刀流，源自于无外流的。斋藤是在播磨国学习无外流（山口一刀流），并且也学习， 。斋藤一姓山口，所以也有人据此认为斋藤的姓与山口一刀流有关。
新选组.与沖田总司、永仓新八并称新选组最强剑士。永仓曾向弟子说，「沖田是勐者之剑，斋藤则为无敌之剑」。他与沖田、永仓等人担任过新选组撃剑师傅。在大坂力士乱斗、组内的肃清、天满屋事件以及戊辰战争等事件中，是真正挥舞着刀并历经许多实战的队员。这样以刀参战的经验，让他在晚年表示「真正的