Rockefeller ble født den 8. juli 1908 i Bar Harbor i den amerikanske delstaten Maine. Han var andre sønn av finansmannen og filantropen John Davison Rockefeller jr. og filantropen og sosietetskvinnen Abigail Greene «Abby» Aldrich. Han hadde to eldre søsken, Abby og John III, samt de tre yngre brødrene Laurance, Winthrop og David. Deres far John jr. var den eneste sønnen til medgrunnleggeren av Standard Oil John Davison Rockefeller sr. og skolelærerinnen Laura Celestia «Cettie» Spelman. Deres mor Abby var datter av senator Nelson Wilmarth Aldrich og Abigail Pearce Truman «Abby» Chapman. Rockefeller gikk sine første grunnleggende tolv skoleår ved Lincoln School i New York City, en eksperimentell skole administrert av Teachers College ved Columbia University. I 1930 ble han uteksaminert med en A.B. grad i samfunnsøkonomi fra Dartmouth College, hvor han var medlem av Casque and Gauntlet (et eldre samfunn), Phi Beta Kappa og Zeta avdelingen av Psi Upsilon.