Den 8. november 2006 ble han nominert av president George W. Bush til å etterfølge Donald Rumsfeld som USAs forsvarsminister. Senatet godkjente nominasjonen 6. desember 2006 med stemmetallene 95–2. Gates ble tatt i ed som forsvarsminister den 18. desember 2006. President Barack Obama re-nominerte Gates til forsvarsminister da han tok over presidentvervet etter Bush, til tross for at Gates er medlem av Det republikanske parti.