Mit Beginn des Sezessionskrieges wurde Johnson Oberst in der Pioniertruppe der Miliz von Tennessee. Beim Bau der Forts Henry und Donelson war er maßgeblich beteiligt. Im Januar 1862 erfolgte seine Beförderung zum Brigadegeneral. Nach der Kapitulation von Fort Donelson geriet er in Gefangenschaft, konnte aber fliehen. In der Schlacht von Shiloh wurde er schwer verwundet, konnte aber bereits an den Schlachten bei Perryville und am Stones River wieder teilnehmen. In der Schlacht am Chickamauga führte er eine Division. Im Mai 1864 wurde er zum Generalmajor befördert und nahm an der Belagerung von Petersburg teil. Seine Division wurde am 6. April 1865 während der Gefechte am Sailor’s Creek zerschlagen, er selbst entkam aber.