Før 1965-sesongen ble Haynes byttet til Denver Broncos. Haynes mente at byttehandelen var en straff for at han og flere andre fargede spillere boikottet American Football League All-Star Game 1965 som skulle avholdes i New Orleans, ettersom fargede spillere ble behandlet dårlig av hoteller og forretninger i New Orleans. Kampen ble flyttet til Houston etter protesten. Haynes sa selv at han fikk et brev fra Chiefs hvor han ble kritisert for sine handlinger, og ikke lenge etter ble han byttet. I 1965 hadde han tre touchdowns på løp, to fra pasninger og returnerte én punt for en touchdown. Han ledet også ligaen i kick returns (34), kick return yards (901), yards per kick return (26,5) og var nummer fir i ligaen i yards samlet (1 404). Den 17. oktober returnerte han tre spark for 140 yards, og satte en lagrekord med 46,7 yards per spark. I 1966 hadde han 304 yards på løp og 480 fra pasninger, men ledet ligaen med 11 fumbles og ble kuttet fra spillerstallen. I 1967 spilte han for både Miami Dolphins, og New York Jets.