大藏。生于常陆。是东大桥现（石冈市）私塾「俊塾」校长、铃木忠明的长男。在念完父亲的私塾后，前往水户并进入金子健四郎的道场。由于在里面学习神道无念流剑术和水户学，因此思想倾向勤王。
道场.之后，金子到江户藩邸工作的时候，他跟着前往江户，在金子隐居以后，跟随杉山某某，以后进入深川佐贺町北辰一刀流剑术的伊东道场学习。后来受道场主人伊东精一认可，于是收养并招赘他，他因此改姓氏为伊东而被称为伊东大藏。由于他的努力让位于深川的道场相当兴盛，门徒也急速增加。另依据元治元年8月当时水户藩的随从的纪