Etter krigen ble han medlem av Junge Union og CDU, og hørte til grunnleggerne av Union der Heimatvertriebenen in der CDU, som han ble leder for i Nord-Württemberg i 1952. Fra 1947 til 1953 var han medlem av bystyret i Stuttgart, og fra 1953 til 1990 var han medlem av Forbundsdagen, det tyske parlamentet. Han var formann for i CDU/CSU-fraksjonen fra 1980.