了父亲的步兵身分。以藏师事武市半平太并向他学习小野派一刀流。在进入武市门下前，虽然他的剑术是自学但是实力却相当不错。之后跟随武市一起到江户并且进入桃井春藏的道场・士学馆学习镜心明智流剑术。万延元年、跟随武市到中国、九州地区进行武术修行。途中在丰后冈藩学习直指流剑术。之后加入了武市组成的土佐勤王党，但是后来不知为何却被从名单上剔除掉，但不明白这是不是因为武市的意思而将他从名单上删除，以藏都会遵从武市的指示前往暗杀的地点进行暗杀。所以有说法是武市只是把没受教育的以藏当做自己的暗杀工具。以藏第一次暗杀