Mens han var på University of Arkansas ble han med i Xi Chapter av Kappa Sigma Fraternity. Scotts kallenavn mens han gikk på universitetet var "Smackover", oppkalt etter hans hjemby. Han var utpekt til All-SWC tre ganger som RB og DB, og All-American i 1948. Han hjalp Arkansas til seier i Southwest Conference-mesterskapet i 1946, og ledet Razorbacks til sin første seier i ett bowl, da de slo William & Mary 21–19 i Dixie Bowl den 1. januar 1948. Scott utmerket seg også i friidrett ved UA, hvor han konkurrerte i 100-yard dash og 100 meter hekk.