Johnston lanceerde een verrassingsaanval op 6 april 1862 tijdens de Slag bij Shiloh. Terwijl het zuidelijke leger de kampen van het Unie-leger overrompelden leek het alsof Johnston overal aanwezig was, voortdurend bevelen geven en zijn manschappen aansturend. Omstreeks 14:30 uur werd hij tijdens een charge geraakt aan de rechterknie. Hij dacht niet ernstig gewond te zijn en stuurde zijn persoonlijke arts naar enkele gewonde Unie-soldaten. De kogel had echter de hoofdader doorboord en in een mum van tijd vulde zijn laars zich met bloed. Enkele minuten later werd Johnston door zijn mannen afgevoerd en bloedde ter plaatse dood. De dood van Johnston was een zware slag voor het moreel van het Zuiden want men beschouwde hem als de beste generaal van het zuidelijke leger; dit was twee maanden voor Robert E. Lee op het voorplan trad.