Era el único hijo de Jacob Israel Avedon, un inmigrante nacido en Rusia que tenía una tienda de ropa en Quinta Avenida, Su madre era Anna, que pertenecía a una familia propietaria de una empresa de manufactura textil.