Erskine Caldwell nació en una casa apartada de la pequeña localidad de White Oak en los bosques cercanos a Moreland, Georgia, hijo de una maestra y un ministro de la Iglesia reformada presbiteriana asociada, y pasó su infancia trasladándose de uno a otro estado del sur de los EE UU, cada vez que su padre encontraba trabajo en un nuevo templo.