Carson McCullers' fødenavn var Lula Carson Smith. Hennes oldefar på morssiden var plantasjeeier og krigshelt fra den amerikanske borgerkrigen, der han kjempet på Sørstatenes side. Hennes far var urmaker og juvelér av fransk (hugenott-) avstamning, i likhet med skikkelsen «Wilbur Kelly» i romanen . Da hun var ti år gammel begynte hun å ta pianotimer, og da hun var femten fikk hun en skrivemaskin i gave fra sin far.