Nel 1981-1988 fu membro del Senato di Berlino Ovest, responsabile della giustizia e degli affari federali. Nel 1983 è entrato a far parte dell'Unione Cristiana-Democratica, dal 1985 al 1988 è stato deputato alla Abgeordnetenhaus di Berlino. Nel maggio 1988, è entrato a far parte del governo Kohl III come ministro federale della difesa. Ha sostituito Manfred Wörner. Durante il suo mandato si sono verificate diverse catastrofi e incidenti che hanno coinvolto aerei militari (incluso l'incidente aereo a Ramstein), seguito da un conflitto con il segretario permanente nella località Peter Kurt Würzbach, che si è concluso con le dimissioni del vice ministro. Rupert Scholz lasciò il governo durante la ricostruzione dell'aprile 1989.