Rivers ble født i New York som datter av jødiske immigranter fra Russland. Faren var lege. Hun gikk på og studerte deretter ved Barnard College, der hun tok en BA i engelsk og antropologi.