Harris, som var født i Terrell i Texas, ledet skolelaget til Terrell High School til delstatstittelen i 1953. Selv om han først ville spille for hovedtrener Bear Bryant på Texas A&M University klarte hovedtrener Bud Wilkinson å overtale ham til å gå på University of Oklahoma etter at Wilkinson skaffet Harris en jobb i oljefeltene i Oklahoma.