Han var forsvarsminister i Tyskland fra 1982 til 1988 og generalsekretær i NATO fra 1988 til sin død i 1994. Den kalde krigens avslutning fant sted i hans embedsperiode. Han fikk kreftdiagnosen i perioden som generalsekretær, men han valgte å bli i stillingen til få dager før han døde av sykdommen.