I 1974 ble han valgt til overborgermester i Stuttgart som etterfølger etter Arnulf Klett. Han ble valgt med 58,9 % av stemmene og slo SPDs kandidat Peter Conradi. I 1982 ble han gjenvalgt med 69,8 % og i 1990 med hele 71,7 %. I 1996 ble hans tidligere sekretær Wolfgang Schuster valgt til hans etterfølger.