Se casó con Setsuko Koizumi, perteneciente a una buena familia japonesa de samuráis; juntos tuvieron cuatro hijos y junto a ella consiguió la estabilidad que había estado buscando en sus viajes.