Schwarzenegger sa narodil v malej dedinke Thal v Rakúsku ako Arnold Alois Schwarzenegger Gustavovi Schwarzeneggerovi (17. august 1907 – 13. december 1972) a Aurelii, za slobodna Jadrny (29. júl 1922 – 2. august 1998). Jeho otec bol miestny šéf polície a bojoval v druhej svetovej vojne. V roku 1938 dobrovoľne vstúpil do nacistickej strany NSDAP. V hodnosti vrchný rotmajster pôsobil v jednotke poľného žandárstva nemeckej armády. Bol zranený v bitke o Stalingrad, ale až neskôr v 1943 bol prepustený z armády kvôli malárii. Oženil sa s Schwarzeneggrovou matkou 20. októbra 1945, ako 38-ročný s 23-ročnou. Podľa slov Schwarzeneggra jeho rodičia boli veľmi prísni. Vyrastal v rímskokatolíckej rodine, ktorá každú nedeľu navštevovala omšu.