Après le début de la guerre de Sécession, Johnson s'engage le , en tant que colonel des ingénieurs dans la milice du Tennessee, et une semaine plus tard sa commission change pour être affecté dans l'armée des États confédérés. Il approuve les sites de deux nouvelles défenses fluviales, le fort Donelson sur la rive ouest de la rivière Cumberland dans le Tennessee et le fort Henry sur la rive est, inondable et basse, du fleuve Tennessee, juste à () à l'ouest du fort Donelson et aussi situé dans le Tennessee. Johnson est promu brigadier général le . Fort Henry se révélera être un site désastreux sur un terrain marécageux, souvent inondé, et facilement capturé par U.S. Grant. En approuvant le site proposé pour le fort Henry, Johnson écarte vigoureusement les objections contre le site proposé de deux membres de l'équipe d'étude confédérée, Adna Anderson, un ingénieur civil, et le commandant William Foster du Tennessee 1st Infantry. Quelques jours avant la bataille de fort Donelson, il est placé au commandement du fort mais sert seulement brièvement avec l'arrivée du brigadier général Gideon J. Pillox, d'un rang plus élevé, quelques heures après que Johnson ait pris le commandement. Il commande une division de l'armée à Donelson, mais est éclipsé avec efficacité par Pillow politiquement plus astucieux, qui mène un assaut brutal dans une tentative de faire une percée et de s'échapper du fort encerclé. Le fort et son armée se rendent au brigadier général Ulysses S. Grant le , mais deux jours plus tard Johnson est capable de marcher sans entrave dans les lignes de l'armée de l'Union et d'éviter la capture.