Han gjorde deretter karrière som embedsmann, og var dessuten jagerpilot og reserveoffiser i Luftwaffe. Han ble innvalgt i det tyske parlamentet i 1965, og var viseformann for den konservative fraksjonen og dessuten formann for forsvarskomitéen. I 1982 ble han utnevnt til forsvarsminister i Helmut Kohls regjering. Han gikk av som forsvarsminister den 18. mai 1988 og ble generalsekretær i NATO den 1. juli samme år.