Scott vokste opp i Smackover i Arkansas og deltok i friidrett og amerikansk fotball ved University of Arkansas og US Naval Academy. Han er innlemmet i College Football Hall of Fame og Arkansas Sports Hall of Fame. Han konkurrerte for USA i Sommer-OL 1948 i London i 100 meter hekk hvor han vant sølvmedalje.