Da hun ble født i Chicago i 1891 fikk hun navnet Nellallitea – «Nellie» – Walker. Hun vokste opp i et fattig strøk av byen som kaltes . Hennes far Peter Walker var trolig en afrikansk-karibisk immigrant fra Dansk Vestindia, og moren Marie Walker var en dansk immigrant som het Hansen før hun giftet seg. Moren arbeidet som syerske og hushjelp. Faren var sannsynligvis sønn av enten Henry Walker eller George Walker – to hvite menn fra Albany, New York som etablerte seg i Dansk Vestindia rundt 1840 – og en kvinne av afrikansk herkomst. I det særegne samfunnet som dannet seg i Dansk Vestindia skal det ha vært mer flytende grenser mellom folk av ulik etnisk bakgrunn, og det er mulig at Peter Walker aldri definerte seg selv som tilhørende befolkningsgruppen som på den tiden ble kalt «negro.» Uansett forsvant Peter Walker tidlig ut av Nellas og morens liv, og Nella selv sa senere at han var død da hun var ganske liten. På den tiden var det fullt av immigranter i Chicago, men den store tilstrømmingen av tidligere slaver fra Sørstatene hadde ennå ikke begynt. I 1890 utgjorde afrikansk-amerikanere kun 1,3 % av Chicagos befolkning, og i 1910 var fortsatt kun 2 % av byens innbyggere av afrikansk avstamning.