Etter at utenriksminister Walter Q. Gresham plutselig døde i embetet ble Olney utnevnt til ny utenriksminister i juni 1895. Som minister vedtok han at alle av USAs diplomatiske representasjoner skulle forhøyes til ambassade og ambassadør, slik at USA på den måten skulle bli betraktet diplomatisk likt blant andre nasjoner av betydning. Olney ble også spesielt fremtrendene i striden med Storbritannia om grensetvisten mellom Guyana og Venezuela, og i hans korrespondanse med Lord Salisbury gav han en utvidet tolkning av Monroedoktrinen som gikk atskillig lenger enn tidligere uttalelser om emnet, og som var med på å befeste USAs posisjon på den vestlige halvkule. Dette er også regnet som den største utenrikspolitiske triumfen til Cleveland-administrasjonen.