Han ble født inn i en -familie i Edo i 1843, og ble fort en lærd mann. Han lærte engelsk av James Curtis Hepburn i Yokohama, og dro senere til Nagasaki for å studere vestlig militærvitenskap.