Garner vokste opp med å hate sin stemor, Wilma, som straffet alle tre guttene ved å slå dem, spesielt unge James. Da han var fjorten år, innrømmet Garner at hans stemor straffet ham ved å tvinge ham til å gå med kjole i offentligheten og han havnet ofte i fysiske kamper med henne, banket henne opp og holdt henne og hindret henne fra å drepe ham som hevn. Denne hendelsen endte ekteskapet mellom faren og stemoren.