Garner, den yngste av tre barn, ble født som James Scott Bumgarner i Norman i Oklahoma, som sønn av Mildred (født Meek) og Weldon Warren Bumgarner, som var teppelegger. Hans mor, som var halvt Cherokee-indianer, døde da han var fem år gammel. Etter sin mors død, ble Garner og hans brødre sendt for å bo hos slektninger. Garner ble gjenforent med sin familie i 1934, da faren Weldon giftet seg på nytt.