Wziął udział w krwawej bitwie pod Shiloh, będącej w owym czasie pierwszym tak brutalnym starciem obu sił w tej wojnie. Bitwa zaczęła się 6 kwietnia 1862 roku, gdy generał Johnston (pomimo opóźnień spowodowanych przez niesprzyjającą pogodę) zaatakował niespodziewające się niczego siły Unii. Jako głównodowodzący, sam brał udział w szturmach, co stało się powodem jego zguby. Podczas zwycięskiego pierwszego dnia bitwy został ranny w kolano. Zmarł krótko po tym w wyniku silnego krwawienia. Najprawdopodobniej śmiertelny strzał został oddany nie przez wroga, lecz przez któregoś z żołnierzy Konfederacji. Jeśli ta teoria byłaby zgodna z rzeczywistością, Johnston były drugim, obok Thomasa „Stonewalla” Jacksona, wybitnym konfederackim generałem, który poległ od kuli wystrzelonej przez własnego podkomendnego. Generał Johnston był najwyższym oficerem, jaki zginął po obu stronach podczas wojny secesyjnej, a jego śmierć odbiła się znacząco na morale wojsk Konfederacji.