Han var visekrigsminister i perioden 1937 til 1940, og ga uttrykk for at han var en tilhenger av militær opprustning. På denne måten kom han også ofte i konflikt med den isolasjonistiske krigsministeren Harry Hines Woodring. Etter Frankrikes fall i 1940 ble både Woodring og Johnson avskjediget av president Franklin D. Roosevelt, mens embetet gikk videre til Henry Stimson.