流而得到「小太刀日本第一」的称号，据说他也在幕府讲武所内担任剑术师父。之后跟着担任京都守护职的会津藩主松平容保部下的表哥‧胜任一起参与清河八郎的计画，文久2年（1862年）组成浪士组一同前往京都。但只三郎与清河决裂后而开始反抗他、并和决定留在京都的近藤勇等人一同处理如何成为京都守护职旗下组织的事情。文久3年（1863年）他回到江户，并在麻布这里，与洼田泉太郎等人一起暗杀浪士组的清河八郎。元治元年（1864年）率领京都见廻组，并与新撰组一同被尊攘派志士所恐惧、在禁门之变中也有出动。根据原见廻组队士今井