Fra 1979 til 1982 var han president for BND (etterretningstjenesten, Bundesnachrichtendienst). I oktober 1982 ble han under Hans A. Engelhard utnevnt til statssekretær i Tysklands justisdepartement. Etter forbundsdagsvalget i 1990 ble han i januar 1991 justisminister, under forbundskansler Helmut Kohl. Som justisminister arbeidet han for å få hjemsendt fra Chile den tidligere østtyske lederen, Erich Honecker, slik at han kunne stilles for retten. Han engasjerte seg også i forhandlinger med terroristgruppen Rote Armé Fraktion, og lyktes i å få dem til å ta avstand fra voldsbruk.