Windom gikk av som finansminister i november 1881 og dro tilbake til senatet hvor han fikk sin tredje periode som senator. Denne perioden sluttet i mars 1883 etter at han ikke lyktes i å bli gjenvalgt, og stillingen gikk dermed til Dwight M. Sabin. Windom flyttet deretter til New York hvor han arbeidet som advokat, før han i 1889 igjen ble utnevnt til finansminister av president Benjamin Harrison. Han hadde denne stillingen frem til sin død den 29. januar 1891.