Faren Jacob Israel Avedon var sønn av russisk-jødiske immigranter, og drev moteforretningen "Avedon’s Fifth Avenue" inntil han mistet alt i Børskrakket i 1929. Moren var også svært opptatt av mote og kunst, og som ung gutt leste Richard motemagasinene foreldrene abonnerte på, og dekorerte vegger og tak på rommet sitt med bildene han likte best. Som 9-åring fikk han sitt første kamera, og tok særlig bilder av sin vakre, schizofrene søsteren Louise. Og hans første modell utenfor familien var den russiske komponisten Sergej Rakhmaninov, som bodde i nabolaget.