Efter at Grant var blevet forfremmet til generalmajor med kommando over Tennessee-hæren, tog Sherman en kort overgang over efter ham som leder af hæren i Cairo. Han fik sit ønske om at tjene under Grant opfyldt, da han den 1. marts 1862 blev tildelt i Tennessee-hæren som kommandør for 5. division. Hans første alvorlige test under Grant var under Slaget ved Shiloh. Det voldsomme angreb om morgenen den 6. april overraskede de fleste unionskommandører. Sherman især havde afvist de efterretningsrapporter, han havde fået fra militsofficerer. Han troede ikke på, at sydstatsgeneralen Albert Sidney Johnston ville forlade sin base i Corinth i Mississippi. Han forberedte sig på ingen måde på et angreb udover at forstærke sine vagtpatruljer. Måske ønskede han at undgå at virke alt for bekymret for at undgå den kritik, han fik i Kentucky. Han havde skrevet til sin kone, at hvis han tog flere forholdsregler, ville de kalde ham tosset igen.