旬来到道场邀请伊东大藏入队。这个道场的主人伊东大藏（之后的甲子太郎）也因此在入队后与藤堂有亲密的往来。
御陵卫士.此时，藤堂的命运迎来了重大的转折。庆应元年的2月。发生了从新选组创设时代就在的同志，兼北辰一刀流的同门、总长山南敬助的脱逃・切腹事件（也有一说是山南根本就没有想脱逃的意思）。不清楚此事是否对于他的人生产生重大影响，庆应3年3月他和伊东甲子太郎一同脱离新选组并且组成御陵卫士（高台寺党）。庆应2年时，他做了什么事没有留下任何明确的资料，脱离新选组的当天，藤堂就开始前