W latach 1981–1988 był członkiem Senatu Berlina Zachodniego, odpowiadał za sprawiedliwość i sprawy federalnej. W 1983 wstąpił do Unii Chrześcijańsko-Demokratycznej, od 1985 do 1988 sprawował mandat posła do berlińskiej Izby Deputowanych. W maju 1988 dołączył do trzeciego gabinetu Helmuta Kohla jako minister obrony. Zastąpił na tej funkcji Manfreda Wörnera. W okresie jego urzędowanie doszło do kilku katastrof i wypadków z udziałem samolotów wojskowych (w tym do katastrofy lotniczej w Ramstein), a następnie do konfliktu z sekretarzem stanu w resorcie Peterem Kurtem Würzbachem, który zakończył się rezygnacją wiceministra. Rupert Scholz odszedł z rządu podczas rekonstrukcji z kwietnia 1989.