Han ble medlem av CDU i 1970. I 1973 ble han statssekretær i delstatsregjeringen (ledet av Helmut Kohl) i Rheinland-Pfalz, og var mellom 1978 og 1980 kulturminister i delstaten Baden-Württemberg. Deretter ble han innenriksminister i delstaten, hvor han også var innvalgt i landdagen, mellom 1980 og 1983.