Malgré sa réputation de star universitaire, les doutes sur son adaptation à la NBA sont nombreux, en raison de sa petite taille (). Il est malgré tout sélectionné au premier tour de la draft 2004 en par les Nuggets de Denver, avant d'être immédiatement acquis par le Magic d'Orlando. Lors de sa saison rookie, il est barré à son poste par le multiple All-Star Steve Francis qui vient lui aussi de débarquer à Orlando cet été-là. Mais quelques mois plus tard, l'entraîneur Johnny Davis décide de propulser le rookie Nelson dans le cinq de départ et de décaler Francis au poste d'arrière. C'est à ce moment que Nelson va faire ses preuves. Même si la saison suivante il n'est pas systématiquement titulaire sous les ordres de Brian Hill, le joueur va cependant réaliser une belle saison, inscrivant 14.6 points en moyenne par rencontre, avec une efficacité intéressante (48,3 % aux tirs, 42,4 % à 3 points). Mais les 2 saisons qui vont suivre vont voir le joueur stagner dans sa progression, voire régresser sur le plan statistique, bien que Nelson soit devenu titulaire indiscutable. Le déclic va se produire au cours de la saison 2008-2009 : il réalise un très bon début de saison, qui lui vaut même d'être sélectionné pour le All-Star Game pour la première fois de sa carrière. Mais il ne peut finalement pas prendre part à cet événement à cause d'une blessure à l'épaule face aux Mavericks qui met un terme à sa saison. Cependant, il effectue in extremis son retour pour les finales NBA, et participe à chaque rencontre face aux Lakers, en tant que remplaçant de Rafer Alston.