I 1906 foreslo Yone at Léonie bosatte seg sammen med deres sønn– som ikke hadde fått noe navn ennå– i Tokyo, der han selv hadde slått seg ned. Hun avslo først, men ombestemte seg til slutt, ikke minst på grunn av den økende antijapanske rasismen som kom i kjølvannet av Den russisk-japanske krigen. Mor og barn reiste med båt fra San Francisco til Yokohama i mars 1907. Først da valgte Yone og Léonie et navn til barnet, nemlig . Før Léonie og Isamu kom til Japan, hadde Yone giftet seg med en japanerinne, og bidro derfor ikke noe særlig til Isamus oppdragelse. Léonie og Isamu flyttet flere flere ganger før de til slutt bosatte seg i Chigasaki.