安政3年（1856年），剑道已堪精妙的铁太郎接任讲武所世话役（相当于教官），翌年，铁太郎结识了挚友清河八郎，并与笠井伊藏、、、樋渡八兵卫、神田桥直助、、安积五郎、、中村贞太郎、西川练造、美玉三平、村上俊五郎及等13名尊攘志士共组「虎尾会」。文久2年（1862年），清河以攘夷为名召集天下浪士，组织浪士组，铁太郎与友被任命为取缔役。文久3年（1863年），清河带领浪士组以护卫将军上洛为名目，先抵京都，但旋即被幕府命令返还，原来幕府早已警戒，不久清河即被刺客佐佐木只三郎、等暗杀，铁太郎亦遭禁闭处分。此时，铁太郎遇