Clayton ble draftet av Tampa Bay Buccaneers som #15 i første runde av NFLs draft i 2004. Etter en lovende nykommersesong med Tampa Bay i 2004, hvor han ledet NFLs nykommere, òg Buccaneers, med 80 mottakelser for 1 193 yards, og var lagleder med syv touchdowns, hadde han en relativt skuffende sesong i 2005. Med en kneoperasjon i offseason og en sesong full av småfeil på banen avsluttet han året med kun 32 mottakelser for 372 yards og ingen touchdowns. Han måtte stå over seriespillfinalen mot New Orleans Saints med en fotskade, og satt også på benken i Buccaneers' sluttspillkamp mot Washington Redskins.