両親とも広島出身で、父・島太郎と家族は1890年、数万人の広島県人とともにハワイ王国へ移住。（1893年にハワイ共和国、1898年にハワイ併合によりアメリカ合衆国ハワイ準州（）となる。ハワイにおける日本人移民も合わせて参照）。一家はマウイ島パイアにある農場に雇われた。両親は劣悪の環境のさとうきび畑で働く。ジミーは8人兄弟の7番目としてマウイ島で生まれる。1910年、ジミーは兄とともに3歳で帰国し9歳まで広島市牛田（現在の東区）の父親の実家で育つ。マウイ島に戻り、野球に夢中になる。1920年代のハワイは非常に野球が盛んであったが、ラジオがあまり普及しておらず、アメリカ本土の試合は滅多に放送されることはなく、まわりにメジャーリーグに関心を持つ者はいなかった。しかしジミーは抜きん出て背が高くて特別野球がうまく、少年時代から目標はアメリカで「日系人プロ野球選手第一号となる」ことであった。マウイ高校中退。