年（1864年）6月5日(旧历)的池田屋事件中，隶属土方岁三队，事后受幕府与会津藩，赏赐金子10两，别段金7两。他多次负责新选组内部的肃清工作，同时也参与长州藩间谍御仓伊势武、、武田观柳斋及谷三十郎等人的暗杀工作。庆应3年（1867年）3月，伊东甲子太郎创立御陵卫士并离开新选组，斋藤也跟着加入御陵卫士，但他实际上却是以间谍的身分加入。之后他回到新选组时，还顺便偷走御陵卫士的活动资金。这是为了营造出他疑似为钱所困而侵占公款逃亡的假象。根据的回忆，斋藤回到新选组后，向大家公开说「副长助勤斋藤一氏，因公出