Da presidentperioden til Grover Cleveland gikk ut i mars 1897 gikk Olney av sammen med resten av Cleveland-administrasjonen. Han dro deretter tilbake til sin advokatpraksis i Boston. I sin periode som utenriksminister var han også votert frem som en potensiell republikansk presidentkandidat av partikongressene både før valget i 1896 og valget i 1904, men Olney valgte å avstå fra videre valg begge gangene. Olney ble for øvrig tilbudt stillingen som ambassadør til Storbritannia av president Woodrow Wilson i 1913, men takket nei på grunnlag av sin alder. Olney døde av alderdom den 8. april 1917 i Boston.