Hayes gikk på Matthew Gilbert High School i Jacksonville, hvor han var en reserve halfback på amerikansk fotballaget. Gliberg High Panthers avsluttet 1958-sesongen 12–0, og vant Florida High School Athletic Associations delstatsmesterksap for "sorte skoler" med en 14–7 seier over Dillard High School fra Fort Lauderdale foran over 11 000 tilskuere. Som et resultat av datidens rasepolitikk skulle laget ikke bli anerkjent som ett av de beste lagene i Florida High School Athletic Association før 50 år senere.