In januari 1989 werd hij minister van Defensie in het kabinet van George H.W. Bush. Samen met stafchef Colin Powell was hij de secondant van de president tijdens de Eerste Golfoorlog (1990-1991).