Nacido en Lancaster, Ohio, se mudó a Mansfield donde comenzó la carrera de abogando antes de entrar en política. Inicialmente un Whig, Sherman estaba entre los activistas antiesclavistas que formaron lo que llegó a ser el Partido Republicano. Estuvo tres mandatos en la Cámara de los Representantes. Como miembro de la Cámara, Sherman viajó a Kansas para investigar los disturbios entre los abolicionistas y los anti-abolicionistas. Se erigió como líder del partido y casi fue elegido portavoz en 1859. Fue elegido senador en 1861 y durante su mandato fue líder en los asuntos financieros, ayudando a rediseñar el sistema monetario de los Estados Unidos de modo que pudiese hacer frente a las necesidades de una nación desgarrado por la guerra civil. Después de la guerra, trabajó para producir una legislación que restaurase el crédito de la nación en el extranjero y producir una moneda respaldada por oro estable en casa.