En 1974, Rommel se convirtió en el sucesor de Arnulf Klett como "Oberbürgermeister" (Alcalde) de Stuttgart al ganar el 58,5% de los votos en la segunda vuelta de las elecciones, derrotando a Peter Conradi del DOCUP.