I 1974 ble han stabssjef i Det hvite hus og året etter USAs yngste forsvarsminister så langt (43 år gammel), under president Gerald Ford. Rumsfeld engasjerte seg sterkt for amerikansk opprustning, og pekte på at Sovjetunionen bedrev en massiv opprustning som måtte holdes i sjakk. Kort tid hans periode som forsvarsminister var over, den 13. januar 1977, forordnet Rumsfeld produksjonen av Mk12A-sprenghoder for landets Minuteman-interkontinentalraketter.