I 1955 ble han medlem av CDU. Han var statssekretær i utenriksministeriet fra juli 1960 til desember 1966, og deretter frem til 1968 statssekretær i forsvarsministeriet. Fra 1968 til 1969 var han som statssekretær sjef for kanslerkontoret. Mellom 1972 og 1979 var han medlem av det tyske parlamentet. Fra mai 1973 til oktober 1976 var han formann for CDU/CSU-fraksjonen. Etter de føderale valgene i 1976 ble han valgt til forbundsdagspresident. Ved presidentvalget i 1979 ble han Tysklands president. Av aldersgrunner avsto han fra en andre periode og ble etterfulgt i 1984 av sin partifelle Richard von Weizsäcker.