小约翰·洛克菲勒是约翰·洛克菲勒(1839–1937)和妻子劳拉·C·斯皮尔曼(1839–1915)的第五个、也是最年幼的孩子。他住在西54街4号父亲的公寓中,从1889年到1893年就读于布朗宁学校,这所学校位于西55街一幢褐色砂石建筑中,专为他和家族中其他孩子而设立。最初他已经被耶鲁大学录取,但是芝加哥大学校长威廉哈珀和其他人鼓动他进入浸礼会背景的布朗大学。他在校期间,攻读了将近一打的社会科学课程,其中包括卡尔·马克思的《资本论》。1897年,他毕业时获得文学士学位。小约翰·洛克菲勒大学毕业以后,1897年10月1日,进入他父亲的公司。1950年,联合国总部大楼在纽约市完工,使用了来自小约翰·洛克菲勒的850万美元捐款,并于1951年1月9日开始运作。