I sin andre periode i senatet var Sherman komitéordfører i mellom 1881 til 1887, mellom 1884 til 1885 og igjen fra 1891 til 1897, samt komitéordfører på mellom 1885 til 1893 og igjen fra 1895 til 1897. Han var også president pro tempore i perioden 1885 til 1887, og som følge av dødsfallet til visepresidenten Thomas A. Hendricks i 1885 var han neste person i presidentrekken fra desember 1885 til januar 1886. Sherman forsøkte også å stille som presidentkandidat under valget i 1884 og valget i 1888, men tapte også da for henholdsvis James G. Blaine og Benjamin Harrison.