Han ble tatt i ed som USAs forsvarsminister den 17. februar 2015. Under sin nominasjonshøring i Senatet i forkant av dette sa han at han var sterkt interessert i å øke den amerikanske militærhjelpen til Ukraina. Vedrørende Midt-Østen sa han at USAs militære styrker måtte påføre ISIL i Irak og Syria et avgjørende og varig nederlag. Han var ikke tilhenger av å øke takten i løslatelse av fanger fra Guantanamo Bay. Han mente også at Iran utgjorde en like stor trussel som ISILs styrker. Carter sørget for at kvinner i USAs forsvar kan delta i kamp.