Rumsfeld ble igjen forsvarsminister under George W. Bush i 2001. Han var da USAs så langt eldste forsvarsminister, 74 år gammel da han tiltrådte. Etter få måneder ble landet i september angrepet av al-Qaida med kaprede passasjerfly. I desember 2001 svarte USA og det amerikanske forsvar under Rumsfeld med å gå til krig i Afghanistan. Rumsfeld var kjent som en av de såkalte haukene i den amerikanske administrasjon og var blant annet en proponent for krigen mot Irak i 2003. Rumsfeld gjorde seg kjent for sin harde linje i USAs krig mot terrorismen. Utfordringen med storinnsats på to krigsskueplasser samtidig var ham med på å løse ved tiltak som kunne holde antallet styrker på bakken lavere enn det som ellers ville ha vært forordnet. Grepene ble uformelt kalt Rumsfelddoktrinen.