Diane Arbus ble født som Diane Nemerov 14. mars 1923 i New York City i en velstående jødisk familie. Foreldrene Gertrude og David Nemerov eide butikken Russeks som forhandlet pels og mote på Fifth Avenue. Hennes bror var dikteren Howard Nemerov. Hun vokste opp på Manhattans Park Avenue og ved Central Park. Foreldrene overlot oppdragensen av sine tre barn til ansatte. Familien hadde tre barnepiker, to tjenestejenter, kokk og sjåfør. Arbus' bestefar, Frank Russek, utvandret fra den polske delen av Det russiske keiserriket. Bestefaren Meyer Nemerov hadde utvandret fra Kyiv.