Nelson fue seleccionado en la 20.ª posición del Draft de la NBA de 2004 por Denver Nuggets, siendo inmediatamente traspasado a Orlando Magic a cambio de una primera ronda de 2005. Aunque muchos pronosticaban que Nelson sería un Top 10, cayó hasta el puesto 20, siendo adquirido finalmente por Orlando Magic, ansiosos de un base.