רוקפלר נולד בריצ'פורד שבניו יורק, בן שני מששת ילדיהם של ויליאם אייברי ("ביל") רוקפלר (1810–1906), סוחר נודד ב"תרופות" ותכשיטים זולים, ואלייזה דיווידסון (1813–1889), בפטיסטית אדוקה. אביו היה ממוצא גרמני ואנגלי בעוד שאמו הייתה ממוצא סקוטי-אירי. בשנת 1853 עבר רוקפלר עם משפחתו להתגורר בבית אחות אביו וגיסו בסטרונויל, פרוור של קליבלנד שבמדינת אוהיו. בצעירותו לא הייתה יציבות כלכלית במשק הבית. בעוד אביו מכר "תרופות" שקריות, על ג'ון היה לעבוד במשק חקלאי בשביל לתרום לפרנסת המשפחה. "ביל" רוקפלר פעל ללמד את בניו שלא לסמוך על איש בחייהם ופעמים רבות העניק להם הבטחות שקריות שנועדו לגרום להם למלא מטלות נוספות במשק הבית. דרך אימו ג'ון רוקפלר נקשר לכנסייה הבפטיסטית ולאורך כל חייו היה ניגש לכנסייה בימי ראשון.
בגיל 12, הוא חסך למעלה מ-50 דולר מעבודה אצל שכנים ומגידול תרנגולי הודו עם אמו. בדרישת אמו, הוא הלווה לחקלאי מקומי 50 דולר בריבית של 7% שיש לשלם בשנה אחת. כאשר החקלאי החזיר לו ריבית בשנה שלאחר מכן רוקפלר התרשם ואמר על כך בשנת 1904: "הרושם הלך ונתפס אצלי שיהיה זה טוב לתת לכסף להיות המשרת שלי ולא להפוך את עצמי לעבד של הכסף…" משנת 1852 למד רוקפלר באקדמיה של אווגו באובגו, ניו יורק, אליה עברה המשפחה בשנת 1851. רוקפלר הצטיין בפתרון בעיות אריתמטיקה בראשו - כישרון שעזר לו מאוד מאוחר יותר לאורך הקריירה העסקית שלו. במקצועות אחרים רוקפלר היה סטודנט ממוצע אך איכות החינוך שקיבל הייתה גבוהה מאוד. בשנת 1853 עברו בני משפחת רוקפלר לקליבלנד, אוהיו, וג'ון למד בתיכון המקומי בשנים 1853 עד 1855. הוא היה טוב מאוד במתמטיקה והיה חבר בצוות מנהלי הדיונים. בית הספר עודד דיונים בפומבי ואף על פי שרוקפלר היה נואם ממוצע בלבד, זאת הייתה מיומנות שתתברר כשימושית עבורו.
בשנת 1855, חודשיים לפני שהשלים את לימודי התיכון שלו, עזב רוקפלר בן ה-15 את לימודיו ועבר ללמוד בבית ספר מקצועי, שם למד הנהלת חשבונות, כתיבה תמה (כישור נדרש בניהול חשבונות), בנקאות ומשפט מסחרי. ב-26 בספטמבר 1855, בגיל 16, קיבל רוקפלר את עבודתו הראשונה כעוזר למנהל חשבונות בחברת היואיט וטאטל. רוקפלר המשיך לחגוג את "יום העבודה" הראשון שלו מדי שנה במהלך חייו. שכרו היה 15 סנט ליום (כ-10 דולר בערכי המטבע של ימינו). עד מהרה הרשים רוקפלר את מעסיקיו ברצינותו ובשקידתו. הוא היה מאוד מדויק וקפדן. הוא היה אדם נעים, מתמיד וסבלני, והוא הסדיר כספים של עבריינים ואסירים (על כל העבודה הזו הוא לא קיבל שכר נאה, אבל כל מה שאכן שולם לו, הוא תמיד נתן לכנסייה ולארגוני צדקה מקומיים).
רוקפלר חסך כל אגורה ושלוש שנים אחר כך כבר גייס די הון כדי להיכנס כשותף בחברת קלארק ורוקפלר. כל איש גייס 2,000 דולר עבור הקמת חברת סוחרי עמלה בדגנים, חציר, בשרים, ומוצרים שונים. עוד באותה השנה נעלם אביו של ג'ון לאחר שערורייה שהיה מעורב בה. ביל רוקפלר ברח מניו יורק והתחזה בשם בדוי, הוא נפטר בשנת 1906 בגיל 95 באילינוי חודשים ספורים לפני שמשלחת עיתונאית גילתה את מקורו. בסוף השנה הראשונה לעסקים, הם הרוויחו 450 אלף דולר, והרוויחו כ-4,400 דולר בשנת 1860 ורווח של 17 אלף דולר בשנת 1861. עסקי סוחרי העמלות היו תחרותיים מאוד והצלחתה של חברת קלארק ורוקפלר נבעה במידה רבה מיכולתו הציבורית של רוקפלר וגישתו לעסקים.
רוקפלר היה מתנגד חריף למוסד העבדות ובמהלך הבחירות לנשיאות בשנת 1860 הצביע בעד אברהם לינקולן מהמפלגה הרפובליקנית החדשה. בפרוץ מלחמת האזרחים האמריקנית התגייס אחיו של ג'ון רוקפלר, פרנק, לצבא האיחוד ונפצע מוקדם בתחילת המלחמה. כאשר ג'ון רוקפלר עצמו נקרא לגיוס הוא שילם לחייל מקצועי שמילא את מקומו בעוד המשיך לעבוד בהנהלת החברה. מאוחר יותר טען כי: במהלך מלחמת האזרחים העסק שלהם התרחב במהירות. מחירי הדגנים עלו וכך גם העמלות שלהם. לנוכח אי היציבות של המחירים רוקפלר לא היה מהמר אלא מתכנן. הוא נמנע מהשערות וסירב לקחת מקדמות או הלוואות.
עם זאת, במהלך שנות ה-60 של המאה ה-19 הבין רוקפלר כי עתידו של עסק סוחרי עמלות בקליבלנד מוגבל. הוא השתכנע כי מסילות הברזל יהפכו לאמצעי התחבורה העיקרי של מצרכים חקלאיים. זה יהיה לחסרון של קליבלנד, כיוון שמעמדה כנמל חשוב בימת אירי היה יתרון התחבורה העיקרי שלה. רוקפלר ראה שתפוקת התבואה העולה של המערב התיכון וצפון מערב של חברת 'ג'יי ג'יי היל' תשנה את אופי העסק לתמיד. רוקפלר שיער כי המייצרות הענקיות על ימת מישיגן וטוחני הקמח של מיניאפוליס יהיו השחקנים הדומיננטיים בעסק. רוקפלר האמין שעתידה של קליבלנד טמון באיסוף ומשלוח חומרי תעשייה גולמיים - לא מצרכים חקלאיים. זה יאפשר לקליבלנד לנצל את היתרונות הגאוגרפיים שלה - באמצע הדרך בין חוף הים המזרחי לשיקגו - הנגישה גם לתחבורה ברכבת וגם במים. הוא ראה את ההזדמנות שלו לעסק חדש בשנת 1863 - נפט.
כניסה לעסקי הנפט.
בשנת 1863 נכנס רוקפלר לעסקי הנפט יחד עם שותפו מוריס קלארק ושותף שלישי, סמואל אנדרוז. רוקפלר היה ידוע לכל בעיירת קליבלנד ודרך קשרים אלו הצליחה החברה להשיג מנייה בת 4,000 דולר עם הקמתה (שווה ערך ל-100,000 דולר בערכי 2019). החברה שהקימו בנתה מזקקת נפט באזור התעשייתי של קליבלנד, אשר פרח באותה העת וכונה "המישור". נפט וזיקוקו היו אז תעשיות צעירות. בשנת 1855, רק שבע שנים לפני כן, הצליח בנג'מין סילימן (Silliman), פרופסור לכימיה באוניברסיטת ייל לזקק נפט גולמי ולהפיק קרוסין, שהתברר כחומר טוב יותר למאור משמן הלווייתנים שהיה מקובל אז. תוצרי לוואי אחרים של הזיקוק היו שמן סיכוך, בנזין ופרפין, שהתאים מאוד לייצור נרות.
הנפט בתקופה ראשונית זו היה, כלשונו של עיתונאי אחד, "חדשות טובות ללווייתנים", אבל חדשות טובות לא פחות ליזמים. חסמי הכניסה לתחום היו נמוכים מאוד: עלות ציוד קידוח הייתה פחות מאלף דולר ומחירי האדמות שבהן היה נפט היו זולים יחסית. בשנת 1852 החלה פריחה של העסק כאשר התגלו מרבצי נפט בפנסילבניה, מה שהוביל ל"הבהלה לנפט בפנסילבניה". הרווחים, במיוחד בשל התנודות החריפות בתקופת מלחמת האזרחים האמריקנית, היו גבוהים מאוד. נפח אחד, לדוגמה, השתמש בציוד קידוח בשווי מאתיים דולר וקדח לעצמו רווח של מאה אלף דולר. אחרים גרפו אפילו יותר. גם הסיכונים היו גבוהים, אך אלו לא מנעו מ"הבהלה לנפט" באזור פנסילבניה להזרים לאזור אלפי קודחים ומזקקים קיקיוניים. בגיל 24 החליט רוקפלר להקדיש את כל זמנו לעסקי הנפט והחל לפעול כדי להביא למצב שינטרל גופים שלישיים ויהפוך את העסק לעצמאי כמה שיותר. במקום לבצע עסקה יקרה עם חברת כורתי עצים, רוקפלר קנה יער שלם וממנו העובדים שלו כרתו עצים לבניית חביות.
סטנדרד אויל.
רוקפלר נרתע מכניסה לעסקי הפקת הנפט והעדיף להתמקד בזיקוקו בלבד. שתי הבעיות העיקריות עמהן התמודד היו הבזבוז העצום בתהליך הזיקוק ומחירי הנפט הגבוהים מדי. באופן רגיל, נהגו הקודחים והמזקקים לזקק את הנפט באופן הגס ביותר, כאשר הם מנצלים רק את הקרוסין שהופק בזיקוק (בערך 60 אחוז מכלל התכולה) ולשפוך את השאר, בנזין, בנזול, נפטא וזפת, אל הנחלים והנהרות בסביבה.
רוקפלר ואנדרוז פיתחו שיטות יעילות יותר לזיקוק, תוך הגדלה של אחוז הקרוסין מכל חבית נפט גולמי, וניצול של החומרים ה'מיותרים' לצרכים אחרים: בנזין שימש כדלק, חלק מהזפת לציפוי ובידוד, נפטא הועבר למפעלים מופעלים בגז, שמן סיכוך, וזלין ופרפין לנרות, וכן הלאה. רוקפלר ושותפיו הצליחו גם להפחית את העלויות בדרכים אחרות כמו בניית חביות הנפט בעצמם במקום בסיוע יצרן חביות, עם קיצוץ העלות מגובה של 2.5 דולר ל-96 סנט לחבית.
יעילותם הרבה יותר של רוקפלר ואנדרוז השתלמה במהירות. בשנת 1865 רכש רוקפלר את חלקו של שותפו קלארק, שילם 72,500 דולר עבור נתח גדול יותר בבית זיקוק נוסף וכונן עם אנדרוז שותפות שהפכה לחברת הזיקוק הגדולה בקליבלנד. בשנת 1867 התרחב העסק שוב עם רכישת בית הזיקוק של אחיו של רוקפלר, ויליאם, ועם הצטרפותו של הנרי מוריסון פלגלר לשותפות. בשנת 1870 צרפו רוקפלר, פלגלר ואנדרוז את סטיבן ו. הרקנס, בעל בית זיקוק נוסף, ועם הון של מיליון דולר הקימו את סטנדרד אויל, כשרוקפלר משמש נשיאה. אותה עת, הייתה זו כבר החברה הגדולה ביותר באוהיו ושלטה ב-10 אחוז מסך כל זיקוק הנפט בארצות הברית.
"סטנדרד אויל" המשיכה להתפתח במהירות, כשהיא מצליחה להפיק 300 מוצרי לוואי מכל חבית נפט ובמקביל להוריד את מחירי הקרוסין, התוצר העיקרי של הזיקוק. נתח השוק של החברה בשוק זיקוק הנפט עלה מ-4 אחוז בשנת 1870 ל-80–85 אחוז בשנת 1880 וקרוב ל-90 אחוז במהלך שנות התשעים של המאה התשע עשרה. מחיר הקרוסין, במקביל, ירד מ-58 ל-26 סנט לגלון קרוסין בין 1865 ל-1870) והמשיך לצנוח ל-8 סנט בשנת 1885 ו-5.91 סנט לגלון בשנת 1897. במטרה להשיג אחריות מלאה על עסקי הנפט, רוקפלר קנה חברות בניית חביות, מייצרי שמנים שונים, חוטבי עצים, מובילים ואף חברות המעורבות בייצור כימיקלים. כל זאת כדי להגיע לשליטה מלאה על כמה שיותר גופים המעורבים ישירות או בעקיפין בייצור הנפט של סטנדרט אויל.