Rommel, II. Dünya Savaşı'nda yer alan Mareşal Erwin Rommel ve Lucia Maria Mollin'nin tek oğlu olarak Stuttgart'ta doğmuştur. 14 yaşında "Luftwaffenhelfer" olarak Luftwaffe'da hizmete girdi. Daha sonra Manfred Waffen-SS üyeliğine kabul edildi ama babası karşı çıktı. Babası Adolf Hitler'e düzenlenen 20 Temmuz suikast girişimine karıştığı iddia edildi ve yapılan baskılar sonucu intihar etmek zorunda kaldı. Savaşın sonlarında General Jean de Lattre de Tassigny'nin Fransız Birinci Ordusuna teslim oldu.