David Rockefeller ble født i New York City og vokste opp i et herskapshus på 10 West 54th Street, som hadde ni etasjer og var den største private residensen i New York. Hjemmet inneholdt mange sjeldne antikviteter fra middelalderen og renessansen som ble samlet av hans far. I 1936 ble Rockefellet uteksaminert fra Harvard University, før han studerte i ett år ved London School of Economics. Det var i London at han for første gang møtte USAs fremtidige president John F. Kennedy.