Hayes var nær å bli innlemmet i Pro Football Hall of Fame i 2004, men ble stemt ut i siste runde. Avgjørelsen var merket av kontroverser, da mangle mente at Hall of Fame Senior Selection Committee hadde et vendetta mot medlemmer av Dallas Cowboys og noen andre NFL-lag. Andre mente at det var Hayes' trøbbel med loven og rusmiddelbruk som hadde ført til avgjørelsen. Ikke lenge etter at årets nye medlemmer av Hall of Fame i 2004 ble annonsert sa skribent for Paul Zimmerman opp sin plass i utvelgingskomiteen i protest. Zimmerman skulle eventuelt returnere til komiteen, men er ikke lenger et medlem.