名字完全地从新选组的活动纪录中消失。元治元年（1864年）6月发生着名的池田屋事件，但山南也没有参加该次行动。（有一说是山南因为生病，而在基地留守。）元治元年（1864年）11月，伊东甲子太郎入队。伊东和山南都属于同门的北辰一刀流，而且伊东是热烈的尊王攘夷论者、学问也相当高。所以他因此受到特别的待遇，升上比山南地位还高的参谋位置。
脱逃.加入新选组后的第4年，元治2年（1865年）2月时，山南突然留下「前往江户」的纸条，并且就这样脱离新选组。由于新选组的队规（局内法度）严格规定