Vogels politiske karrière begynte i 1958 som byråd i München. I 1960 ble han valgt til overborgermester. Han ble gjenvalgt i 1966 og bidro avgjørende til at München fikk de olympiske sommerleker i 1972.