In der NCAA spielte Felton von 2002 bis 2005 für die renommierte Mannschaft der University of North Carolina at Chapel Hill, mit der er in seinem Junior-Jahr dort die NCAA Division I Basketball Championship gewann. Im anschließenden NBA-Draft wurde er an 5. Stelle von den Charlotte Bobcats ausgewählt, womit er einer von vier Spielern der "UNC Tar Heels" unter den 14 zuerst ausgewählten Spielern, den sogenannten „Lottery-Picks“, war.