Til tross for at han ikke brukte en tradisjonell løpestil slo han i 1963 rekorden på 100 yards med 9,1 sekunder, en rekord som stod i 11 år før Ivory Crockett senket den til 9,0 i 1974. Samme år satte Hayes en verdensrekord på 200 meter (20,5 sekunder, men tiden ble aldri ble anerkjent) og løp 220 yards på 20,6 sekunder (med motvind på ). Han ble valgt til å representere USA under Sommer-OL 1964 i Tokyo. Hans fotballtrener Jake Gaither var negativt innstilt til å gi Hayes fri til å trene for olympiaden, som førte til at sittende president Lyndon B. Johnson personlig ringte Gaither for å sørge for at Hayes skulle få sjansen til å holde seg i form.