I januar 1977 ble Brown utnevnt til landets forsvarsminister av president Jimmy Carter. I Carters kabinett var han talsmann for avspenningspolitikken, noe som gjorde at han stadig kom i konflikt med presidentens sikkerhetsrådgiver Zbigniew Brzezinski. Brown deltok som mekler i det grunnleggende arbeidet for Camp David-avtalen i Midtøsten. Han støttet også ratifiseringen av SALT II–avtalen i 1979, men avtalen gikk ikke igjennom i Senatet på grunn av den afghansk-sovjetiske krigen. I hans tid mislykkes forsøket på å redde ut gislene fra den amerikanske ambassaden i Teheran, det største nederlaget i karrieren ifølge ham selv.