Rockefeller ble født i Richford, New York, som sønn av William Avery Rockefeller (13. november 1810 – 11. mai 1906) og Eliza Davison (12. september 1813 – 28. mars 1889), som det andre av deres seks barn. Slektsforskere mener å kunne spore noen av hans forfedre til franske hugenotter som flyktet til Tyskland på sekstenhundretallet.