幕府周防国熊毛郡束荷村字野尻（今日本山口县光市束荷字野尻），为山村贫农林十藏的嫡子，母亲是秋山长左卫门的长女・琴子。本姓林氏。林氏是太祖出于日本第7代君主孝灵天皇之苗裔，姓之支流。他的父亲被长州藩水井武兵衞收为养子，改名为「水井十蔵」，而水井武兵衞又成长州藩足轻伊藤弥右卫门养子，改名为「伊藤直右卫门」，因此「水井十藏」亦改姓「伊藤」，继承此家。1853年，寄宿于寺院，后又在藩士福原等家作侍童，平时做杂役，闲时习文识字。1856年，往相州服役，守卫边防。1857年，返回长州，他先是投奔，后入松下村