Hun vokste opp i en brownstone-bygning på Union Square i New York City-bydelen Manhattan. I huset ved siden av bodde Theodore «Teddy» Roosevelt (1858–1919). Edith var bestevenninne med hans yngre søster Corinne (1861–1933).