Etter at Peter Walker forsvant ut av bildet giftet Marie seg med Peter Larsen, som i likhet med henne selv hadde innvandret fra Danmark. Marie og Peter Larsen fikk datteren Anna sammen. Nellie tok etternavnet til stefaren, og skrev navnet sitt på litt ulike måter. Hun kalte seg både Nellye Larson og Nellie Larsen, før hun til slutt landet på Nella Larsen. Familien flyttet vestover i byen til et nabolag der de fleste innbyggerne var hvite og hovedsakelig innvandrere fra Tyskland eller Skandinavia. Men familien Larsen var ikke «hel-hvit» og opplevde derfor diskriminering. Da Nella var åtte år gammel flyttet de noen kvartaler østover igjen. Forfatteren og litteraturkritikeren Darryl Pinckney beskrev situasjonen hennes slik: De fleste afrikansk-amerikanere var fra Sørstatene, og Larsen hadde ingen forbindelseslinjer til dem.