立新选组前身的壬生浪士组（精忠浪士组）。同日，包括斋藤等11人一起入队，并一同隶属于京都守护职的会津藩主松平容保的麾下。新选组选出干部时，斋藤竟破格以20岁之姿被拔擢为副长助勤。之后组织重新编制时，他成为第三队组长，并且也担任撃剑师父。元治元年（1864年）6月5日(旧历)的池田屋事件中，隶属土方岁三队，事后受幕府与会津藩，赏赐金子10两，别段金7两。他多次负责新选组内部的肃清工作，同时也参与长州藩间谍御仓伊势武、、武田观柳斋及谷三十郎等人的暗杀工作。庆应3年（1867年）3月，伊东甲子太郎创立