Miután Grant elfoglalta a Donelson-erődöt, teljesítette Sherman kívánságát, és 1862. március 1-jén kinevezte a Tennessee hadseregbe, az 5. hadosztály parancsnokának. Első jelentősebb ütközete ezen a poszton a Shiloh közelében vívott csata volt. A konföderációs erők nagy erejű támadása 1862. április 6-án meglepetésként érte az uniós parancsnokok többségét. Sherman is elutasította a hírszerzési jelentéseket, és nem akart hinni a milícia tisztjeinek, amikor azok arról tájékoztatták, hogy Albert Sidney Johnston tábornok elhagyta Mississippi állambeli bázisát, Corinth közelében. Ennek megfelelően Sherman szinte semmilyen előkészületet nem tett, nem épített mellvédeket, nem erősítette meg állásait, és nem küldött ki felderítőket sem. Shilohnál feltehetően el akarta kerülni, hogy abba a hibába essen, amit Kentuckyban követett el, és, hogy túlzott óvatossággal vádolják. Feleségének is azt írta, hogy ha több előkészületet tett volna, akkor „megint őrültnek hívtak volna”.