于是他的父亲义平以步兵的身份受到藩的征召并且在海边进行海防工作，于是全家就这样搬到了城下的七轩町，之后以藏自己也继承了父亲的步兵身分。以藏师事武市半平太并向他学习小野派一刀流。在进入武市门下前，虽然他的剑术是自学但是实力却相当不错。之后跟随武市一起到江户并且进入桃井春藏的道场・士学馆学习镜心明智流剑术。万延元年、跟随武市到中国、九州地区进行武术修行。途中在丰后冈藩学习直指流剑术。之后加入了武市组成的土佐勤王党，但是后来不知为何却被从名单上剔除掉，但不明白这是不是因为武市的意思而将他从名单上删除，以藏