Som leder for Junge Union i Vest-Berlin hørte han sammen med Rainer Hildebrandt til grunnleggerne av den antikommunistiske Kampgruppen mot umenneskelighet. Senere ble han medlem av Berlins parlament (1954–57) og det tyske parlamentet (1957–71), føderal statssekretær (1967–68) og deretter innenriksminister (1968–1969) i regjeringen Kiesinger og president for Forfatningsdomstolen (1971–83). I 1984 ble han professor ved universitetet i Freiburg im Breisgau. Han har også vært president for den protestantiske kirkedagen (1993–95).