I Carters kabinett var han en förespråkare av avspänningspolitiken. Därför råkade han ofta i konflikt med presidentens säkerhetsrådgivare Zbigniew Brzezinski. Brown deltog som medlare i det grundläggande arbetet för Camp David-avtalen i Mellanöstern. Han stödde ratificeringen av SALT II, men fördraget gick inte igenom i . Brown hade mera framgång med senaten när han förespråkade ratificeringen av avtalen om överlåtandet av Panamakanalzonen till Panama före år 2000. Brown ansåg att avtalen var till nytta för USA och att de dessutom tryggade Panamakanalens säkerhet och framtida bruk.