Grand Central
1928年、堀尾一家はプランテーション労働に見切りをつけて広島に引き揚げ、以降広島で暮らすが、ジミーはプロ選手になる夢を叶えるため、単身でアメリカ本土に渡る。ロスアンゼルスでトラック運転手などをしながら日系人野球チームで野球を続ける。グランドセントラル・マーケットのアマチュアチームでしばらくプレー。この時代には高橋吉雄や松浦一義らとも同チームでプレーした。1930年、地区最強の日系二世のセミプロチーム、ロサンゼルス・ニッポンズ（LA日本）に入団。1931年春、大阪毎日新聞記者・小野三千麿らの尽力によりロサンゼルス・ニッポンズの一員として帰国。若林忠志らのいた法政大学など日本の大学野球部やアマチュアクラブチームと対戦し圧勝。ジミーも強肩、強打と守備で日本人に鮮烈な印象を与えた。また、日本語が話せたので日本の選手と仲良くなる。日本から帰国して更に三年、ニッポンズに在籍したが、メジャーのスカウトから声はかからなかった。1934年、27歳になったこともあり、ロサンゼルスをあきらめ、ネブラスカ・ステート・リーグ（Dクラス）に所属するサウスダコタ州スーフォールズ市のマイナーリーグ「カナリーズ」に入団。ここでジミーはずば抜けた守備力の外野手としての評価を勝ち得た。ジミーは"黄渦"（イエロー・ペリル）と仇名された。ネブラスカ・ステート・リーグ唯一の日本人だったジミーに対する野次は酷く、相手チームや観客の格好の餌食となった。しつこい野次を繰り返す観客に対して、グラウンドに降りてこいと凄んだこともある。同年秋、全米（MLB）選抜チームが日本に遠征するという話を耳にする。同時に読売新聞社がその相手となる全日本チームを編成するという話を耳にする。1931年のロサンゼルス・ニッポンズ遠征時には、自身は日本選手をはるかに凌駕していた。きっと自分は、日本の有名プレイヤーよりうまいに違いない。そう思った瞬間、ジミーの頭に驚くべきアイデアが閃いた。自分が全日本チームに入り、メジャーリーガーの前で有能な選手だと証明できれば、メジャーリーグ契約を獲得できるかもしれない。当時シカゴ・ホワイトソックスに所属していたアル・シモンズを介して日本チーム入りを画策するがシモンズは無関係と分かる。遠征ツアーは一ヶ月後に始まる。読売新聞社に手紙を書いている暇もなければ、日本の友人を介して自分を紹介してもらう時間もない。「カナリーズ」には退団を申し出て、ジミーは妻ヨシを連れて、入団交渉のため横浜行きの船に乗る。