Det påfølgende året møtte han motstand både blant administrasjonen og kongressen i det han aktivt argumenterte for et høyere forsvarsbudsjett, noe som førte til at han ble tvunget til å gå av som forsvarsminister. I perioden etter var han en markant talsmann for nasjonal sikkerhet og forholdet til Sovjetunionen. Da demokraten Jimmy Carter ble valgt til president i januar 1977 ble republikaneren Schlesinger utnevnt til hans rådgiver for energispørsmål, og i oktober samme år ble han utnevnt til landets første energiminister, en stilling han fikk beholde til juli 1979 hvor han ble erstattet av Charles Duncan jr..