Itō fue un hijo adoptado de Hayashi Juzo, un samurái de clase baja proveniente de la localidad de Hagi, en el feudo de Chōshū (hoy ciudad de Hikari, en la prefectura de Yamaguchi).