0岁之姿被拔擢为副长助勤。之后组织重新编制时，他成为第三队组长，并且也担任撃剑师父。元治元年（1864年）6月5日(旧历)的池田屋事件中，隶属土方岁三队，事后受幕府与会津藩，赏赐金子10两，别段金7两。他多次负责新选组内部的肃清工作，同时也参与长州藩间谍御仓伊势武、、武田观柳斋及谷三十郎等人的暗杀工作。庆应3年（1867年）3月，伊东甲子太郎创立御陵卫士并离开新选组，斋藤也跟着加入御陵卫士，但他实际上却是以间谍的身分加入。之后他回到新选组时，还顺便偷走御陵卫士的活动资金。这是为了营造出他疑似为钱