Han begynte sin politiske karrière som borgermester i Glücksburg, og var fra 1954 til 1963 statsminister i Schleswig-Holstein, i denne egenskap også president for Forbundsrådet fra 1955 til 1956, fra 1963 til 1966 tysk forsvarsminister og fra 1966 til 1969 minister for fordrevne, flyktninger og krigsskadede.