Rommel ble født i Heidenheim i delstaten Württemberg. Han var sønn av en protestantisk skolelærer, Erwin Rommel den eldre, og hans kone Helene von Luz. Morfaren Karl von Luz var , det vil si administrativ leder av et av regjeringsdistriktene i Württemberg. Rommel planla å bli flyingeniør, etter påtrykk fra sin far. Han meldte seg i stedet som frivillig til det 124. tyske infanteriregiment som offiserskadett i 1910. Han ble uteksaminert fra krigsskolen i Danzig i november 1911 og utskrevet som løytnant i januar 1912.