Da Sherman ble valgt som visepresident i 1908 hadde han fått diagnosen gallestein, og fått beskjed om at han hadde problemer med nyrene. Men ved å holde en streng diett klarte han å holde symptomene i sjakk, og inntok stillingen 4. mars 1909. Under valgkampen i 1912 sviktet likevel helsen, mye på grunn av det høye arbeidspresset han påla seg selv, og han døde få dager før valget.