Sherman urodził się 8 lutego 1820 r. w Lancaster w stanie Ohio. Studiował w akademii wojskowej. Po niczym nie wyróżniającej się karierze wojskowej wystąpił z armii w 1853 r. i został wspólnikiem w firmie finansowej w San Francisco. Był dziekanem college’u wojskowego w Aleksandrii w Luizjanie (obecnie „Louisiana State University”) w latach od 1859 do 1861 r., kiedy to Luizjana wystąpiła z Unii. W chwili wybuchu wojny zgłosił się do armii i objął dowodzeniem ochotniczym regimentem piechoty. Po I bitwie nad Bull Run został gen. brygadierem. Podczas bitwy pod Shiloh 6 kwietnia 1862 r. został nagrodzony za udział w zwycięstwie i awansowany na stopień gen. majora.