了重大的转折。庆应元年的2月。发生了从新选组创设时代就在的同志，兼北辰一刀流的同门、总长山南敬助的脱逃・切腹事件（也有一说是山南根本就没有想脱逃的意思）。不清楚此事是否对于他的人生产生重大影响，庆应3年3月他和伊东甲子太郎一同脱离新选组并且组成御陵卫士（高台寺党）。庆应2年时，他做了什么事没有留下任何明确的资料，脱离新选组的当天，藤堂就开始前往美浓国出差。从那之后为了能够利用那边民兵的力量，于是藤堂在美浓国尽力与一位叫做水野弥太郎的侠客往来，还与这些御陵卫士的同志们一起随行，率领他们以步行的方式从美