Schwarzenegger sinh tại Steiermark, Áo (tiếng Đức: Thal bei Graz), một làng nhỏ ngoài rìa thủ phủ Graz vùng Styria và được đặt tên thánh Arnold Alois Schwarzenegger. Cha ông là trưởng cảnh sát khu vực Gustav Schwarzenegger (1907 – 1972), mẹ ông là Aurelia Jadrny (1922 – 1998). Họ cưới nhau ngày 20 tháng 10 năm 1945 –  Gustav khi ấy 38, và Aurelia là một góa phụ 23 tuổi có một con trai tên là Meinhard. Theo Schwarzenegger, cả cha mẹ ông đều rất chặt chẽ: "Khi ấy ở Áo rất nghiêm khác, nếu chúng tôi làm gì không tốt hay không vâng lời cha mẹ, sẽ bị phạt." Ông lớn lên trong một gia đình Cơ đốc giáo La Mã và đến nhà thờ vào mọi ngày chủ nhật.Gustav yêu thích Meinhard, người con lớn hơn. Ông coi cậu cả là "khỏe mạnh và to mồm," có lẽ do sự nghi ngờ không căn cứ rằng Arnold không phải là con mình. Schwarzenegger đã nói rằng "ông đã không có sự kiên nhẫn để lắng nghe các vấn đề hoặc sự hiểu biết của tôi... đã có một bức tường, một bức tường thực sự." Schwarzenegger quyến luyến mẹ, và luôn liên lạc với bà tới khi bà mất. Sau này, Schwarzenegger ủy thác cho Viện Simon Wiesenthal nghiên cứu các ghi chép của cha ông thời chiến tranh, và không thấy bằng chứng về sự tàn ác dù Gustav là thành viên của Đảng Quốc xã và SA. Ở trường, Schwarzenegger học lực chỉ đứng trung bình, nhưng nổi bật về tính cách "vui vẻ, dễ chịu và cởi mở". Nhà ông khá nghèo; Schwarzenegger nhớ lại cột mốc kỷ niệm quan trọng thời trai trẻ là khi gia đình ông mua một chiếc tủ lạnh.Khi còn là một cậu bé, Schwarzenegger chơi nhiều môn thể thao với sự ảnh hưởng mạnh từ người cha. Ông lần đầu tiếp xúc với tạ năm 1960, khi vị huấn luyện viên bóng đá của ông đưa đội tới một phòng tập thể dục địa phương. Ở tuổi 14, Schwarzenegger chọn tập thể hình thay cho bóng đá. Schwarzenegger khi được hỏi có phải ông đã bắt đầu tập tạ khi mới 13 tuổi không đã trả lời rằng: "Trên thực tế tôi bắt đầu tập nặng khi mười lăm tuổi, nhưng tôi đã tham gia các môn thể thao, như bóng đá, trong nhiều năm, vì thế tôi cảm giác rằng dù tôi nhỏ người, tôi đã phát triển tốt, ít nhất đủ để tôi tới phòng tập thể dục và bắt đầu tập nâng tạ." Tuy nhiên, website chính thức về tiểu sử của ông viết rằng: "Ở tuổi 14, ông bắt đầu chương trình tập luyện dày với Dan Farmer, nghiên cứu tâm lý học khi 15 tuổi (để biết nhiều hơn về năng lực của tinh thần với cơ thể) và ở tuổi 17, chính thức bắt đầu tham gia thi đấu." Trong một bài phát biểu năm 2001, ông nói, "Kế hoạch của tôi đã hình thành khi tôi 14 tuổi. Cha tôi muốn tôi trở thành một sĩ quan cảnh sát như ông ấy. Mẹ tôi lại muốn tôi tới trường thương mại." Schwarzenegger thường tới một phòng tập tại Graz và ông cũng thường tới các rạp chiếu phim địa phương để theo dõi các thần tượng thể hình như Reg Park, Steve Reeves và Johnny Weissmuller trên màn ảnh rộng. "Tôi đã được truyền cảm hứng từ các nhân vật như Reg Park và Steve Reeves." Khi Reeves chết năm 2000, Schwarzenegger đã trìu mến nhớ lại: "Khi còn thiếu niên, tôi đã lớn lên với Steve Reeves. Những thành tựu to lớn của ông cho tôi cảm giác về những điều có thể, khi những người khác xung quanh tôi không phải lúc nào cũng hiểu được giấc mơ của tôi... Steve Reeves đã là một phần của mọi thứ tôi may mắn có được." Năm 1961, Schwarzenegger gặp cựu Mr. Austria Kurt Marnul, người đã mời ông tới tập tại một phòng tập ở Graz. Khi còn trẻ ông từng nổi tiếng vì mở cửa vào một phòng tập thể dục vào các buổi cuối tuần, khi nó thường đóng cửa, để tập luyện. "Tôi sẽ ốm vì nhớ buổi tập … tôi biết tôi không thể nhìn mình trong gương vào buổi sáng hôm sau nếu không tập." Khi Schwarzenegger được hỏi về ấn tượng bộ phim đầu tiên khi còn là một cậu bé, ông trả lời, "tôi còn rất nhỏ, nhưng tôi nhớ cha tôi đưa tôi tới các rạp chiếu phim Áo và xem một số phim thời sự. Bộ phim thật sự đầu tiên tôi xem, mà tôi không còn nhớ rõ, là một bộ phim của John Wayne."Năm 1971, anh trai Meinhard của ông mất sau một vụ tai nạn. Meinhard đã uống và bị giết ngay sau đó, và Schwarzenegger đã không tham gia đám tang anh trai. Meinhard đang định cưới Erika Knapp, và cặp đôi này có một đứa con trai ba tuổi tên là Patrick. Schwarzenegger sau đó đã chi tiền học cho Patrick và mang lại cho cậu một cuộc sống ở Hoa Kỳ. Gustav chết năm sau đó sau một vụ đột quỵ. Trong Pumping Iron, Schwarzenegger tuyên bố rằng ông không tham gia đám tang cha bởi đang tập chuẩn bị cho một cuộc thi. Sau này, cả ông và nhà sản xuất phim đều nói rằng câu chuyện này được lấy của một vận động viên thể hình khác với mục đích thể hiện những hy sinh to lớn mà một số vận động viên dành cho môn thể thao của mình, và để tạo ra một hình ảnh Schwarzenegger lạnh và giống người máy hơn cho bộ phim. Barbara Baker, người bạn gái nghiêm túc đầu tiên của ông, đã nói rằng ông đã thông báo cho bà về cái chết của cha mình một cách vô cảm và rằng ông không bao giờ nói về người anh trai. Cùng với thời gian, ông đã đưa ra ít nhất ba phiên bản về lý do ông không tham gia đám tang cha.Trong một cuộc phỏng vấn với tạp chí Fortune năm 2004, Schwarzenegger đã tả lại việc mình đã phải chịu đựng cái "mà ngày nay sẽ gọi là sự lạm dụng trẻ em" trong tay người cha: