Sherman trakk seg tilbake fra offentligheten etter å ha gått av som utenriksminister, og døde to år senere av en langvarig sykdom den 22. oktober 1900 i Washington, D.C.. Han ble senere gravlagt på Mansfield City Cemetery i Mansfield sammen med sin kone Margaret.