Powell begynte idrettskarrieren etter å ha blitt draftet av Philadelphia Eagles og hadde en imponerende første sesong i 1959. Han var nummer to i retur av avspark med et snitt på 27 yards og var en reserve defensive back. Han returnerte blant annet et avspark 95 yards for en touchdown mot regjerende conferencemestre New York Giants den 4. oktober da Eagles vant 29–21. Powell nektet å spille i en sesongoppkjøringskamp mot Washington Redskins i Norfolk i Virginia i 1960 da han fant ut at Eagles’ fargede spillere ikke ville få rom på lagets hotell.