Първоначално Ромел е назначен за командващ група армии „Е“ в Гърция, но по-късно е прехвърлен във Франция като командир на група армии „Б“. В същото време той взима участие в заговора срещу Хитлер от 20 юли 1944 г. заедно с генерала от СС Йозеф Дитрих. На 17 юли Ромел е ранен с шрапнел и се оттегля в Херлинген, недалеч от Улм.