1954年3月、シドニースタジアムで豪州同級王者のボビー・シンとノンタイトル12回戦で対戦。シンは距離を詰めて腹を狙い、カラザースも打撃戦に応じて2回にダウンを奪ったが、3回にバッティングで目をカット。5回の後半にはカットした目を打たれ、ラウンド間にはドクターが傷を確認し、マコーネルは処置にあたり、レフェリーとマギルはカラザースに傷が悪化したら試合を止めると伝えた。カラザースは2か月弱のうちにタイ人選手との防衛戦を控え、この試合は調整試合のはずで、試合前にシン優位の予想をする者はほとんどいなかった。カラザースは7回に持てる全てのパンチで激しく攻撃し、ラウンド終盤にはシンをグロッギーにさせたが、ダウンは奪えなかった。その後の5つのラウンドでカラザースは距離を保ったが、毎回血を流してマコーネルの応急処置を受け、判定で勝利した。試合後は目の傷を縫合し、数週間完全なトレーニングができなかった。
カラザースの防衛戦をプロモートする警察市民少年クラブ連盟は、ゲート収入の51パーセントを徴収していた。シドニー運動場の32,500人の観衆の前で戦い、ファイトマネーはわずか8,000ポンドだった。カラザースのマネジメントチームのもうひとつの問題は、ゴールトのようなパンチャーとの試合で、規定のサイズより小さいリングで戦わせたことである。リングの一辺は16フィートから24フィートと決められていたが、ゴールトとの試合では15フィートのリングが使われた。カラザースはユナニマスデシジョンで勝利を収めたが、目に深刻な傷を負い、慢性化していた。
パピー・ゴールト戦の後には、サナダムシに冒されていたことが判明した。引退後、カラザースの体内には30フィート（約9メートル）のサナダムシが寄生していた。バンタム級の体重を作るのに役立っていたという見方もあれば、サナダムシによる衰弱で引退したという見方もあり、さらには世界戦で南アフリカに赴いた際にサナダムシを食べさせられたのだとも噂された。
カラザースの次期防衛戦は11月にシドニーで予定されており、プロモートするニューサウスウェールズ警察市民少年クラブ連盟 (Federation of New South Wales Police-Citizens Boys' Clubs) は主なバンタム級選手に対戦を打診していた。1953年8月13日、ニューヨークでは米国人で世界ランク2位のパピー・ゴールトが、条件が折り合わない限りカラザースとはシドニーで対戦することはないと主張していた。翌14日、世界1位にランクされるロベール・コーエンがロンドンにいる代理人ロベール・ディアモンを通じて「いつでもどこでもカラザースと戦う」と発表。ディアモンは、コーエンは巧くパンチの重いボクサーだが、英国のプロモーターであるジャック・ソロモンからはコーエンへのオファーを受けたという報告を聞いていないと語った。コーエンはアルジェリア出身のユダヤ系フランス人で、プロ27戦のうち負けは1試合のみ。この年、ゴールトとの10回戦に判定勝利している。ヘラルド紙のニューヨーク通信員によれば、ゴールトはファイトマネー7,500ドル、ゲート収入の12.5パーセントとシドニーへの旅費を要求していた。ゴールトのマネージャーの言い分では、カラザースのプロモーターから電報で提示された条件はゲート収入の配分と旅費の他にファイトマネー5,000ドルというもので、世界王座は欲しいが、その額ではオーストラリアには行けないとのことだった。カラザースのマネージャーのマギルは、コーエンにもジャック・ソロモンを通じてすでに電報でオファーを送っていたことを説明し、またゴールトの条件は法外であり、彼を選択肢から外すことは簡単だと話した。しかし最終的にゴールトは対戦の意思を示し、1953年11月にカラザース2度目の防衛戦で対戦することになった。カラザースは眉をカットし、判定で防衛を果たした。この試合はシドニー運動場で行われ、オーストラリア記録となる32,500人の観衆を集めた。売上の一部は慈善団体に送られ、カラザースはこれも同国記録となる8,625豪ポンドのファイトマネーを受け取った。
カラザースはオーストラリアに戻るとクリスマスから新年にかけて休養した後、マコーネルの下でタウィールとの立場を入れ替えての再戦に向けて練習を再開した。豪州王座は世界王座獲得後に返上していた。1953年3月21日の再戦には、前戦より多い35,000人ほどの観衆が集まった。カラザースはハンドスピードで上回り、10回KO勝ちで防衛に成功した。
太平洋戦争が日本の降伏で終わってからまだ2週間も経っていない8月28日、ブルックリン・ドジャースの球団事務所でゼネラルマネージャーのブランチ・リッキーは自ら探し当てた一人の才能ある若者と向き合っていた。40年前にセントルイス・ブラウンズ（現在のボルチモア・オリオールズ）に捕手として入団し、やがてニューヨーク・ハイランダース（後のヤンキース）に移ったがパッとせず退団し、ミシガン州立大学野球部コーチを務めていた時にジョージ・シスラーを見出し育成して、やがてその統率力・指導力を買われて元のブラウンズの監督に迎えられ、翌年に教え子のシスラーがブラウンズに入団し4割打者まで成長した。そしてブラウンズのフロント入りして球団経営に携わり、やがて同じ都市のライバルであるカージナルスのオーナーが目をつけてカージナルスのGMに抜擢された。ここでリッキーはファーム組織の確立させてカージナルスを再建した。これで他球団から引く手あまたになって1942年にドジャースに迎えられてドジャースGMとなった。そしリッキーはこの年の春頃から、戦争による選手不足に促されて黒人選手の登用を考えていた。その時に投手と二塁手の2名をテストしたが結局入団の決定はしなかった。当時の時代ではそれがどれほど困難なことであるかはリッキーは分かっていた。しかし全米のニグロリーグの有力な選手を調べていく間にやがて差別に負けず常に冷静に対応するこの26歳の若者にリッキーは注目した。この日の面談は3時間に及んだ。リッキーはこの時ニグロリーグのカンサスシチー・モナークスのショートを守っていたこの若者に「これから困難な闘いを始めなけれなならない。闘いに勝つためには君が優秀なプレーヤーであることと同時に立派な紳士でなければならない」と語り、1936年のベルリン五輪男子100ｍでジェシー・オーエンスの金メダルに続いて銀メダルを獲得したマック・ロビンソンを実兄にもち、常に兄に憧れていたこの若者は、この日ドジャースと契約を交わし、翌1946年にドジャース傘下のインターナショナルリーグのモントリオール・ロイヤルズに加わった。この若者こそジャック・ローズベルト・ロビンソン（ジャッキー・ロビンソン）である。やがてこの日の1枚の契約書とこの若者がメジャーリーグの歴史を変えていった。