Se casó con una estadounidense pero el matrimonio no funcionó y en 1873 dejó a su mujer y a sus dos hijos y se marchó a Japón.