Senere ble han kompanikommandant for Württemberg alpejegerbataljon ved den rumenske og deretter ved den italienske fronten. Mens han tjenestegjorde i denne avdelingen, fikk han ry på seg for å kunne fatte raske taktiske beslutninger som skapte forvirring hos fienden. Rommel ble såret tre ganger og mottok Jernkorset av 1. og 2. klasse.