ジミー・カラザース
父親のジョン・ウィリアム・カラザースは労働者で、カラザース家はスコットランド系の血を引いている。母親はアグネス・ジェーン。イングランド人の両親と子供たちは北イングランドからオーストラリアへ移住し、シドニーのパディントン地区で暮らすようになった。ジェームズ・ウィリアム・カラザース(ジミー・カラザース)は1929年7月5日、パディントンで、8人兄弟の5人目の子供として生まれた。カラザース兄弟の中では、オーストラリアで生まれた最初の子供だった。
カラザースはパディントンの公立学校に入学。天性のボクシングセンスはウールルームールー(英語版)の警察少年クラブ (Rotary-Police Boy' Club) に通っていた頃から養われていた。警察少年クラブでは往年のボクサーのフランク・ドリーからボクシング指導を受け、小さな体で大柄な若者とスパーリングをして巧みなフットワークとハンドスピードを磨いた。階級はバンタム級で、アマチュア時代は、1946年に17歳でシニアのニューサウスウェールズ王座、1947年に豪州(オーストラリア)王座を獲得した。