Hans slektsnavn var opprinnelig Hayashi, hans personnavn Risuke som barn, Shunsuke som fullvoksen. Han ble opptatt sammen sin far, hvis eneste sønn han var, ved adopsjon i ætten Ito. Sin første oppdragelse fikk han i en skole som ble grunnlagt og ledet av Yoshida Shoin, en av den japanske reformbevegelsens tidlige ledere. Ved 16 års alder trådte han inn i tjeneste hos en av fyrstedømmets mest innflytelserike stormenn, Kuruhara, som likesom sin frende Kido Takayoshi vesentlig bestemte dets politikk ved den avgjørende krisens utbrudd.