Johnson ble født 5. desember 1897 i Columbus i Georgia, som sønn av Johnny Pearl «Onnie» (pikenavn Patrick) og James Nunnally «Jim» Johnson. Han hadde en yngre bror, Cecil Patrick Johnson. Hans far var en mekaniker, som arbeidet som blikkenslager og kobbersmed, deretter bestyrer for en rør- og metallplatebutikk for Central of Georgia Railway. Johnson ble uteksaminert fra Columbus High School i 1915. Han var fenrik i feltartilleriets reservekorps da han bodde i 1312 Third Street i Columbus i 1919.