ローダーデール郡
ロジャーズが6歳または7歳のときにその母が死んだ。ロジャーズは3人兄弟の末っ子であり、その後数年間は、ミシシッピ州とガイガーに近いアラバマ州南西部にあった何人かの親戚の家で生活していた。ミシシッピ州ローダーデール郡デールビルの1900年国勢調査では、エリザ・ロジャーズ（旧姓ボーズマン）に既に7人の子供が居り、その内4人はこのとき生きていた。このとき、ジミーは下から2番目だった。おそらく7人の子供のうち6番目に生まれたと考えられる。父はアーロン・ロジャーズであり、モービル・アンド・オハイオ鉄道の保線主任であり、新しい妻と共にメリデァインに移ったので、ロジャーズも父と共に家に戻った。