I mars 1877 ble Sherman utnevnt til finansminister av de nyvalgte presidenten Rutherford B. Hayes, en stilling han beholdt ut Hayes regjeringstid i 1881. Under presidentvalget i USA 1880 ba han om å bli den republikanske nominasjonen for presidentembetet i et forsøk på å bli en kompromissløsning mellom Ulysses S. Grant og James G. Blaine, men tapte denne til fordel for hans kampanjeleder James A. Garfield. Da hans tid som finansminister gikk ut ble Sherman valgt inn i senatet igjen for å fylle setet som James A. Garfield etterlot seg til fordel for presidentembetet.