Yamamoto ble født Isoroku Takano i Nagaoka i prefekturet Niigata. Hans far var en samurai av lavere rang. Isoroku begynte på den japanske sjøkrigsskolen i Hiroshima i 1901 og ble uteksaminert i 1904. Under den russisk-japanske krig i 1905 deltok han som fenrik ombord på krysseren «Nisshin» i slaget ved Tsushima mot den russiske østersjøflåten. Han mistet to fingre på venstre hånd under slaget. Etter slaget hadde han flere beordringer til sjøs.