श्वार्ज़नेगर का जन्म आस्ट्रिया के थाल गांव में हुआ था, जो स्टायरिया की राजधानी ग्राज़ की सीमा से सटा है और उनका नाम अर्नोल्ड अलोइस श्वार्ज़नेगर रखा गया। उनके पिता स्थानीय पुलिस प्रमुख गुस्ताव श्वार्ज़नेगर (1907 - 1972) थे और मां औरेलिया जाड्रनी (1922-1998) थीं। उनके पिता द्वितीय विश्व युद्ध में जर्मन थल सेना की ओर से फ्लैगजेंडरमेरिन (Feldgendarmerie) के ह्युप्टफ्लडवेबल (Hauptfeldwebel) के रूप में सेवारत थे और मलेरिया से ग्रस्त होने के बाद 1943 में उन्हें काम से छुट्टी दे दी गयी। उनकी शादी 20 अक्टूबर 1945, तब गुस्ताव 38 के थे और औरेलिया 23 साल की एक विधवा थी, जिसका मेंहार्ड नाम का एक बेटा था। –  श्वार्जनेगर के अनुसार, उसके माता-पिता दोनों बहुत सख्त थे: ऑस्ट्रिया आने से पहले की दुनिया एकदम अलग थी, अगर हम कुछ बुरा करते थे या हमने अपने माता-पिता की बात नहीं मानी, छड़ी हमें नहीं बख्शती थी। वे एक रोमन कैथोलिक परिवार में बड़े हुए, जो हर रविवार को चर्च जाया करता था।गुस्ताव मेंहार्ड को प्राथमिकता देते थे, जो दो बेटों में बड़ा था। उनका पक्षपात "मज़बूत और स्पष्ट" था, "जिससे यह निराधार संदेह उपजता था कि अर्नोल्ड उसका बच्चा नहीं है। श्वार्ज़नेगर ने कहा है कि उनके पिता में "सुनने का धैर्य नहीं था या अपनी समस्याओं को समझने का... वहां एक दीवार थी, एक असली दीवार." श्वार्ज़नेगर का अपनी मां के साथ अच्छा रिश्ता था और उनके साथ मौत के समय तक संपर्क बना रहा।  बाद में जीवन में श्वार्जनेगर विएसेन्थल सायमन सेंटर में अपने पिता के युद्घकालीन रिकार्ड के अनुसंधान के लिए कमीशन किये गये, जिसमें गुस्ताव की नाज़ी पार्टी और SA की सदस्यता के बावजूद उनके अत्याचार का कोई सबूत नहीं मिला।  स्कूल में श्वार्ज़नेगर मध्यम दर्जे का छात्र था, किन्तु ज़ाहिरा तौर पर "हंसमुख, नेकदिल और प्रसन्नचित्त" व्यक्तित्व वाला माना जाता था। घर में पैसे की समस्या थी; श्वार्ज़नेगर ने अपने युवावस्था के दिनों का उल्लेख करते हुए इस पर प्रकाश डाला है, जब उनके परिवार में एक फ्रिज खरीदा गया था।बचपन में अपने पिता से बहुत अधिक प्रभावित होने के कारण श्वार्ज़नेगर ने कई खेल खेले। उन्होंने 1960 में अपनी पहली बारबेल (लोहे का दंड) तब उठायी, जब उनके फुटबॉल कोच उनकी टीम को एक स्थानीय व्यायामशाला में ले गए। चौदह साल की उम्र में श्वार्जनेगर ने फुटबॉल के बदले बॉडीबिल्डिंग को एक कॅरियर के रूप में चुना।  श्वार्ज़नेगर से पूछे गये प्रश्न कि क्या उन्होंने तेरह साल की उम्र में भारोत्तोलन शुरू किया था, के जवाब में उन्होंने कहा: "मैंने वास्तव में वजन उठाने का प्रशिक्षण पंद्रह वर्ष की उम्र में शुरू किया था, लेकिन मैं वर्षों से खेलों में भाग लेता रहा था, जैसे फुटबॉल, तो मुझे लगा कि यद्यपि मैं दुबला-पतला था लेकिन मैं अच्छी तरह से विकसित था, कम से कम इतना तो काफ़ी था कि मैं व्यायामशाला जाना और ओलम्पिक के लिए वजन उठाना शुरू कर सकूं." हालांकि, उनकी आधिकारिक वेबसाइट पर दी गयी जीवनी का दावा है: "14 की उम्र में उन्होंने डैन फार्मर के साथ एक गहन प्रशिक्षण कार्यक्रम शुरू कर दिया था, 15 का होने पर मनोविज्ञान का अध्ययन (शरीर पर मन की शक्ति के बारे में अधिक जानने के लिए) और 17 का होने पर आधिकारिक तौर पर अपना प्रतिस्पर्धी कॅरियर शुरू किया।" 2001 में एक भाषण के दौरान उन्होंने कहा, "मेरी अपनी योजना तब बनी जब मैं 14 साल का था .मेरे पिता मुझे अपने जैसा एक पुलिस अधिकारी बनाना चाहते थे।  मेरी मां मुझे व्यापार स्कूल भेजना चाहती थीं।" श्वार्ज़नेगर ग्राज़ में एक व्यायामशाला का दौरा करने गये थे, जहां एक स्थानीय फिल्म थिएटर में अक्सर रेग पार्क, स्टीव रीव्स और जॉनी वेसिमुलर जैसे बॉडीबिल्डिंग आइडल को बड़े परदे पर देखते हैं। "मैं रेग पार्क और स्टीव रीव्स जैसे व्यक्तियों से प्रेरित हुआ।" जब रीव्स की 2000 में मृत्यु हुई, श्वार्ज़नेगर ने उन्हें बहुत भावुक होकर याद किया: "एक किशोर के रूप में मैं स्टीव रीव्स के साथ बड़ा हुआ। उनकी उल्लेखनीय उपलब्धियों ने मुझे यह महसूस कराया कि क्या संभव है, जब मेरे पास रहने वाले दूसरे लोग हमेशा मेरे सपनों को समझ नहीं पाते थे। ..  स्टीव रीव्स मेरे उस सबके हिस्से हैं जिन्हें मैंने अब तक सौभाग्य से हासिल किया है।" 1961 में श्वार्जनेगर पूर्व मि.आस्ट्रिया कर्ट मर्नुल से मिले, जिन्होंने उन्हें ग्राज़ के जिम में प्रशिक्षण देने के लिए आमंत्रित किया। इसलिए उन्होंने निर्णय लिया कि एक नौजवान के तौर पर वे जानते हैं कि आम तौर पर सप्ताहांत में स्थानीय जिम बंद रहते हैं, इसलिए वे प्रशिक्षण दे सकते हैं। " कसरत छोड़ना मुझे बीमार बना सकता है।.. मैं यह जानता हूं कि मैं खुद को अगली सुबह दर्पण में नहीं देख पाऊंगा, अगर मैंने ऐसा नहीं किया।" जब श्वार्जनेगर से एक लड़के के रूप में उनकी देखी गयी पहली फिल्म के अनुभव के बारे में पूछा गया तो उन्होंने कहा, "मैं बहुत छोटा था, लेकिन मुझे अपने पिता का मुझसे ऑस्ट्रियाई थिएटरों के बारे में बात करना और कुछ न्यूज़रीलें देखना याद है। अपनी देखी पहली असली फिल्म जो मुझे साफ तौर पर याद है वह जॉन वेन की फिल्म थी।"1971 में उनके भाई मेंहर्द की एक कार दुर्घटना में मृत्यु हो गयी। मेंहर्द पीये हुए था और घटनास्थल पर ही उसकी मौत हो गयी और श्वार्ज़नेगर उसके अंतिम संस्कार में शामिल नहीं हो पाये. मेंहर्द ने एरिका क्लैप से शादी थी जिससे उनका एक तीन साल का बेटा पैट्रिक है। श्वार्ज़नेगर पैट्रिक की शिक्षा में आर्थिक मदद की और उसे संयुक्त राज्य अमेरिका में देशांतर में मदद की।  गुस्ताव का उसके अगले वर्ष स्ट्रोक से निधन हो गया। पंपिग आयरन में श्वार्ज़नेगर ने दावा किया है कि वे अपने पिता के अंतिम संस्कार में शामिल नहीं हुए क्योंकि वे एक बॉडीबिल्डिंग प्रतियोगिता के लिए प्रशिक्षण दे रहे थे। बाद में वे और फिल्म के निर्माता ने कहा कि यह कहानी एक अन्य बॉडीबिल्डर के जीवन से ली गयी है जिसका उद्देश्य उस चरम को दिखाना था कि वे अपने खेल के लिए किस हद तक जा सकते हैं और श्वार्जनेगर की छवि को और ठंडा और मशीन जैसा बनाने के लिए किया गया ताकि फिल्म को लेकर उनके प्रशंसकों में विवाद हो।  उनकी पहली गंभीर प्रेमिका बारबरा बेकर ने कहा है कि उन्होंने अपने पिता की मृत्यु के बारे में बिना किसी संवेदना के बताया और उन्होंने अपने भाई की वह कभी बात नहीं की।  अलग-अलग समय में उन्होंने अपने पिता के अंतिम संस्कार में शामिल नहीं होने के तीन अलग-अलग कारण बताये.2004 में फॉर्च्यून पत्रिका के एक इंटरव्यू में श्वार्जनेगर ने बताया कि कैसे वे अपने पिता के हाथों प्रताड़ित हुए जिसे "अब बाल शोषण कहा जा रहा है".