Grants hær rykkede i april 1862 sydpå ad Tennesseefloden og gik i land ved Pittsburg Landing. Her blev den overrasket af en stor sydstatshær under generalerne Albert Sidney Johnston and P.G.T. Beauregard ved et lille bedehus, der hed Shiloh. Angrebets ramte nordstatshæren med fuld styrke, men Grant nægtede at trække sig tilbage. Med ubarmhjertig beslutsomhed stabiliserede han fronten, og selv om en hel division blev omringet og taget til fange, holdt fronten. I løbet af den efterfølgende nat ankom der store forstærkninger, og næste dag startede Grant et modangreb, som vendte slaget til en sejr for Unionen.