Cannon ble byttet til Oakland Raiders før 1964-sesongen. Raiders’ hovedtrener Al Davis satte pris på Cannons evner, men visste ikke hvordan han ville bruke ham. Han begynte med å flytte Cannon til fullbackposisjonen, hvor han i motsetning til mange andre fullbacks klarte å ta imot pasninger. Etter en svak start fullførte han sesongen med 37 mottakelser for 454 yards og åtte touchdowns. Han hadde også tre touchdowns på løp. Den neste sesongen flyttet Davis ham til tight end, noe Cannon ikke satte pris på; han hadde forventet å bli flyttet til wide receiver, men Raiders hadde både Art Powell og nykommeren Fred Biletnikoff i posisjonen. Han aksepterte senere sin nye rolle og tilpasset seg snarlig, men Raiders brukte sjelden tight ends i sitt angrepssystem. Han tok kun imot syv pasninger i løpet av hele sesongen, og scoret ingen touchdowns. Før 1966-sesongen tok John Rauch over som hovedtrener etter at Al Davis ble AFLs kommissær og Raiders’ general manager. I Rauchs angrepssystem etablerte Cannon seg som en dyp trussel, og tok imot 14 pasninger for 436 yards, et snitt på 31,4 yards per mottakelse.