Siendo niño fue adoptado por Hayashi Dokai, un doctor que servía al shogunato Tokugawa, del cual recibió el apellido "Hayashi", aunque a veces era mencionado como Satō Tosaburo.