1928年、堀尾一家はプランテーション労働に見切りをつけて広島に引き揚げ、以降広島で暮らすが、ジミーはプロ選手になる夢を叶えるため、単身でアメリカ本土に渡る。ロスアンゼルスでトラック運転手などをしながら日系人野球チームで野球を続ける。グランドセントラル・マーケットのアマチュアチームでしばらくプレー。この時代には高橋吉雄や松浦一義らとも同チームでプレーした。1930年、地区最強の日系二世のセミプロチーム、ロサンゼルス・ニッポンズ（LA日本）に入団。1931年春、大阪毎日新聞記者・小野三千麿らの尽力によりロサンゼルス・ニッポンズの一員として帰国。若林忠志らのいた法政大学など日本の大学野球部やアマチュアクラブチームと対戦し圧勝。ジミーも強肩、強打と守備で日本人に鮮烈な印象を与えた。また、日本語が話せたので日本の選手と仲良くなる。日本から帰国して更に三年、ニッポンズに在籍したが、メジャーのスカウトから声はかからなかった。1934年、27歳になったこともあり、ロサンゼルスをあきらめ、ネブラスカ・ステート・リーグ（Dクラス）に所属するサウスダコタ州スーフォールズ市のマイナーリーグ「カナリーズ」に入団。ここでジミーはずば抜けた守備力の外野手としての評価を勝ち得た。ジミーは"黄渦"（イエロー・ペリル）と仇名された。ネブラスカ・ステート・リーグ唯一の日本人だったジミーに対する野次は酷く、相手チームや観客の格好の餌食となった。しつこい野次を繰り返す観客に対して、グラウンドに降りてこいと凄んだこともある。同年秋、全米（MLB）選抜チームが日本に遠征するという話を耳にする。同時に読売新聞社がその相手となる全日本チームを編成するという話を耳にする。1931年のロサンゼルス・ニッポンズ遠征時には、自身は日本選手をはるかに凌駕していた。きっと自分は、日本の有名プレイヤーよりうまいに違いない。そう思った瞬間、ジミーの頭に驚くべきアイデアが閃いた。自分が全日本チームに入り、メジャーリーガーの前で有能な選手だと証明できれば、メジャーリーグ契約を獲得できるかもしれない。当時シカゴ・ホワイトソックスに所属していたアル・シモンズを介して日本チーム入りを画策するがシモンズは無関係と分かる。遠征ツアーは一ヶ月後に始まる。読売新聞社に手紙を書いている暇もなければ、日本の友人を介して自分を紹介してもらう時間もない。「カナリーズ」には退団を申し出て、ジミーは妻ヨシを連れて、入団交渉のため横浜行きの船に乗る。
両親とも広島出身で、父・島太郎と家族は1890年、数万人の広島県人とともにハワイ王国へ移住。（1893年にハワイ共和国、1898年にハワイ併合によりアメリカ合衆国ハワイ準州（Territory of Hawaii）となる。ハワイにおける日本人移民も合わせて参照）。一家はマウイ島パイアにある農場に雇われた。両親は劣悪の環境のさとうきび畑で働く。ジミーは8人兄弟の7番目としてマウイ島で生まれる。1910年、ジミーは兄とともに3歳で帰国し9歳まで広島市牛田（現在の東区）の父親の実家で育つ。マウイ島に戻り、野球に夢中になる。1920年代のハワイは非常に野球が盛んであったが、ラジオがあまり普及しておらず、アメリカ本土の試合は滅多に放送されることはなく、まわりにメジャーリーグに関心を持つ者はいなかった。しかしジミーは抜きん出て背が高くて特別野球がうまく、少年時代から目標はアメリカで「日系人プロ野球選手第一号となる」ことであった。マウイ高校中退。
ピューの城郭都市は方形・円形・楕円形の城壁を持ち、城壁の直径は2-3kmほどである。最大の規模を有するタイェーキッタヤーは東西4km・南北5kmの城壁に囲まれている。主な建材はレンガであり、石やラテライトはほとんど使用されていない。レンガの表面には指先や棒で平行する2-3本の直線や曲線、あるいは対角線を描いた指描痕が見られるが、パガン時代以降の遺跡に指描痕が付けられたレンガはほとんど見られない。タイェーキッタヤーではベーベー寺院、パヤータウン寺院など5つの寺院が発見されているが、大半が風化している。城郭都市内の人家は木造の瓦葺きの家屋で、瓦の素材には鉛錫が使用されていた。4世紀以降、ピュー族は仏塔（ストゥーパ）などの仏教建築を多く建立した。都市の中心部には城砦の跡と思われる建築物が位置するほか、城壁の内外に仏塔、僧院の跡が残る。タイェーキッタヤーの城壁外の南西に建つボーボージー（バウバウジー）仏塔は高さ47m・円周80mで、後世に建てられる仏塔と異なり、細やかな装飾は施されていない。ボーボージー仏塔の基部の南東には内部に通じる通路が存在し、裏面に文字が刻まれた多量の磚仏が発見された。建築様式、土台、建材として使われるレンガの大きさ、建築技術にはインド南東部のアーンドラ地方との共通点がある。「ムーンストーンズ」と呼ばれるセイロン島のアヌラーダプラの建築様式がベイッタノーとハリンの建築にも見られ、バウバウジー仏塔はセイロン島のパヤージー・パゴダ、パヤーマー・パゴダと同じ特徴を備えており、ピューとセイロン島の間に交流があったと考えられている。ピュー族が建立した仏塔は、11世紀以降に建立されるパガン王朝のパゴダの原型になったと考えられている。13世紀にパガンで建立されたソーミンジー寺院の構図の大部分は、4世紀にベイッタノーで建立された僧院と共通している。タイェーキッタヤーの仏塔はパガンのシュエズィーゴン・パゴダ、シュエサンドー・パゴダ、ミンガラゼーディ・パゴダの原型となり、ヤンゴンのシュエダゴン・パゴダにも受け継がれている。城郭都市の遺跡からは火葬した人骨を納めた骨壷、旭日銀貨、碑文が出土している。黒地の玉に白地の鋸歯紋や網目紋を書いた飾り玉も出土しており、ビルマ北西部に居住するチン族が同種のビーズを使用しているため、それらの飾り玉はチン・ビーズと呼ばれている。菩薩像やヒンドゥー神の像も出土しており、上座仏教、大乗仏教、ヒンドゥー教がピューの間で信仰されていたと考えられている。タイェーキッタヤーからは弥勒菩薩と観音菩薩を脇侍とする釈迦牟尼像、ガルダに乗ったヴィシュヌ、梵天、シヴァとラクシュミーの。タイェーキッタヤーから出土したブロンズ像は丸みのある顔、高い鼻、つりあがった長い眉、短躯ながらも量感のある全身に特徴がある。また、仏像や神像以外に楽人や舞踏家の像も出土している。サガイン西50kmのミンムー付近、ピョーボェー東8kmのベインナカ一帯、エーヤワディー西岸のミンブーからザグーにかけての地域で、ピューの城郭都市の出土品と同様のものが集中的に発見されている。