Erskine Caldwell var eneste barn av pastoren Ira Sylvester Caldwell (Associate Reformed Presbyterian Church) og hans hustru Caroline Preston (født Bell) Caldwell, lærerinne. Farens tjeneste førte til hyppige flyttinger, til Florida, Virginia, Tennessee, South Carolina og North Carolina. Da han var 15 år gammel slo de seg ned i Wrens (Georgia) i Georgia. Hans mor Caroline var fra Virginia. Blant hhennes forfedre var det engelsk adel som hadde ervervet store landeiendommer i det østlige Virginia. Både hennes ekgelske og hennes skotske forfedre kjempet i den amerikanske revolusjon. Også farens forfedre, som var skotsk-irske, hadde vært i Nord-Amerika lenge og hadde også kjempet i revolusjonen.