Nelle Harper Lee ble født og vokste opp i den lille byen Monroeville i sørstaten Alabama. Hun var den yngste av fire barn av foreldrene Frances Cunningham (Finch) og Amasa Coleman Lee. Fornavnet Nelle var hennes bestemors navn stavet baklengs, og var det navnet hun selv brukte til daglig. «Harper Lee» brukte hun primært som forfatternavn. Hennes mor var husmor, mens hennes far var en tidligere avisredaktør, advokat og politiker. Han var også folkevalgt i Alabamas parlament fra 1926 til 1938. Som advokat forsvarte han en gang to svarte menn som var anklaget for å ha myrdet en hvit butikkeier. Begge klientene, far og sønn, ble hengt. Harper Lee hadde tre søsken, Alice Finch Lee (1911–2014), Louise Lee Conner (1916–2009) og Edwin Lee (1920–1951).