Nelson wurde als 20. Pick im NBA-Draft 2004 von den Denver Nuggets ausgewählt, die ihn am selben Tag zu den Orlando Magic transferierten. Zunächst war Nelson der Ersatzspieler von Steve Francis, jedoch konnte er sich mit der Zeit als Stammspieler auf der Point-Guard-Position etablieren. Zum Ende der &lt;a href="NBA%202004/05"&gt;Saison 2004/05&lt;/a&gt; wurde Nelson in das NBA All-Rookie Second Team gewählt. Seit dem Trade von Steve Francis im Februar 2006 war Nelson auf der Position des Point Guards gesetzt.