John var eldste sønn av John D. Rockefeller jr. og hans kone Abby Aldrich Rockefeller og barnebarn av John D. Rockefeller. Hans yngre søsken var Abby, Nelson, Laurance, Winthrop og David. Rockefeller uttalte at han følte seg forutbestemt til å administrere familiens bestrebelser som den eldste ætling av hans søsken. Hans karriere før 1960-tallet ble tildels skjemmet av en bitter kamp mot broren, Nelson, angående kontroll over kontor- og forretningsbygget Rockefeller Center og mot hans far over politikk.