Oppenheimer kom fra en rik (ikke-praktiserende) jødisk familie som blant annet eide en imponerende kunstsamling med verker av Pablo Picasso, Édouard Vuillard og Vincent van Gogh. Hans far, Julius Seligmann Oppenheimer fra Hanau i provinsen Hessen-Nassau i kongedømmet Preussen i keiserdømmet Tyskland, var en tekstilimportør som var innvandret til USA i 1888, og medlem av den jødiske patrisierslekten Oppenheimer. Roberts mor Ella Friedman var kunstlærerinne. Hun hadde maleriutdannelse fra Paris og eide et atelier i New York. Robert hadde en bror, Frank Oppenheimer (1912–1985), som også ble fysiker.