Rumsfeld werd eind 2000 aanbevolen voor de positie van minister van Defensie door de nieuwe vicepresident, de hiervoor al genoemde Dick Cheney; in januari 2001 werd hij door president George W. Bush daadwerkelijk benoemd. Tijdens zijn ambtstermijn was hij een van de sleutelfiguren van de herstructurering van het leger in het begin van de 21ste eeuw. Rumsfeld had een belangrijke rol in de planning van Amerika's antwoord op de aanslagen van 11 september 2001, dat twee interventies inhield: één in Afghanistan en één in Irak. Hij stond bekend om zijn uitgesproken meningen en openhartigheid.