户藩邸工作的时候，他跟着前往江户，在金子隐居以后，跟随杉山某某，以后进入深川佐贺町北辰一刀流剑术的伊东道场学习。后来受道场主人伊东精一认可，于是收养并招赘他，他因此改姓氏为伊东而被称为伊东大藏。由于他的努力让位于深川的道场相当兴盛，门徒也急速增加。另依据元治元年8月当时水户藩的随从的纪录、他的妻子叫做满，两人间生下叫做饭、英的女儿。
新选组.元治元年（1864年）10月，经由同门的藤堂平助的介绍而进入了新选组。同年十一月，和弟弟铃木三树三郎，朋友、、服部武雄、门人、中西昇前往京都。