Sherman innledet sin karriere som advokat i Mansfield i 1844. I 1848 giftet han seg med Margaret Sarah Stewart, som var datter av en dommer i Ohio. Han innledet sin politiske karriere i whigpartiet og var delegat til whigpartiets partimøte både i 1848 og i 1852. To år senere gikk han over til det nystartede republikanske partiet og var medlem av representantenes hus fra Ohio i perioden mellom 1855 til 1861. Da Salmon P. Chase avgikk fra USAs senat til fordel for å bli Abraham Lincolns finansminister i 1861 ble Sherman innvalgt som senator i stedet. Sherman var medlem av senatet i perioden mellom 1861 og 1877, og fra 1881 til 1897, hvor han var ordfører for komiteer innenfor landbruk og økonomi.