ร็อมเมิลเกิดในชตุทท์การ์ท และเข้ารับราชการเป็นลุฟท์วัฟเฟนเฮลเฟร์ (ผู้ช่วยกองทัพอากาศ) เมื่ออายุ 14 ปี โดยทำงานในกองปืนใหญ่ต้านอากาศยาน เขาพิจารณาที่จะเข้าร่วมวัฟเฟิน-เอ็สเอ็ส แต่พ่อของเขาคัดค้าน เมื่อวันที่ 14 ตุลาคม ค.ศ. 1944 เขาอยู่ที่บ้านพ่อแม่ของเขาเมื่อพ่อของเขาถูกนำตัวออกไปและถูกบังคับให้ฆ่าตัวตายเพราะถูกกล่าวหาว่าสมรู้ร่วมคิดในแผนลับ 20 กรกฎาคมเพื่อลอบสังหารอดอล์ฟ ฮิตเลอร์ ซึ่งพรรณาต่อสาธารณชนในฐานะความตายที่เกิดขึ้นจากการทำสงคราม ในเดือนกุมภาพันธ์ปี ค.ศ. 1945 ร็อมเมิลถูกไล่ออกจากงานกองทัพอากาศและในเดือนมีนาคม ค.ศ. 1945 เขาถูกเกณฑ์ทหารสู่ราชการหน่วยทหารไรช์ซาร์ไบท์สไดนสท์ อยู่ในเมืองไรด์ลิงเงินใกล้ ๆ ปลายเดือนเมษายน ทันทีก่อนที่กองทัพบกที่หนึ่งเข้ายึดครอง เขาได้ถูกทอดทิ้ง เขาถูกจับเป็นเชลยศึก โดยได้เปิดเผยความจริงเกี่ยวกับการตายของพ่อของเขา และถูกสอบปากคำโดยนายพลฌ็อง เดอ ลัทร์ เดอ ตาซีญี