Den 8. november 2006 ble det kunngjort at han trakk seg som forsvarsminister som følge av det dårlige resultatet for Det republikanske parti ved Kongressvalget. Frustrasjon over forholdene i Irak ble sett på som en medvirkende grunn til den dårlige valgoppslutningen. Han ble etterfulgt av den tidligere CIA-direktøren Robert Gates.