木只三郎为陆奥国会津藩（今 福岛县会津地区）领内藩士佐佐木源八的三男。之后成为亲戚佐佐木矢太夫的养子。学习神道精武流而得到「小太刀日本第一」的称号，据说他也在幕府讲武所内担任剑术师父。之后跟着担任京都守护职的会津藩主松平容保部下的表哥‧胜任一起参与清河八郎的计画，文久2年（1862年）组成浪士组一同前往京都。但只三郎与清河决裂后而开始反抗他、并和决定留在京都的近藤勇等人一同处理如何成为京都守护职旗下组织的事情。文久3年（1863年）他回到江户，并在麻布这里，与洼田泉太郎等人一起暗杀浪士组的清河八郎。