John Sparkman var sønn av husmann Whitten Joseph Sparkman og Julia Mitchell Kent. Han vokste opp i en fireroms hytte sammen med elleve søsken på en gård i Morgan County i det nordlige Alabama. Som barn deltok han i gårdsdrift og plukket bomull. Etter grunnskolen lå Morgan County High School 6,4 kilometers gange unna hjemmet. Sparkman hadde bachelorgrad i rettsvitenskap fra University of Alabama i Tuscaloosa fra 1923 og mastergrad i historie fra samme universitet fra 1924. I studietiden arbeidet han som redaktør i studentavisen og fyrbøter i universitetets kjeller.