Han var født i New Jersey og vokste opp i New York. Han var eldste sønn av fem barn av den tysk-jødiske innvandreren Edward Stieglitz (1833–1909) og hans hustru Hedwig Ann Werner (1845–1922). Faren var løytnant i Union Army og arbeidet som ullhandler.