Nelsons NBA-karreiere startet da han ble trukket opp av Denver Nuggets i draftet i 2004, men allerede 24. juni samme året ble han byttet bort til Orlando Magic mot et kommende draftvalg i det neste draftet. 30. juni 2014 ble ikke Nelson tilbudt en ny kontrakt med klubben han hadde spilt for i ti år, men signerte heller med Dallas Mavericks den 24. juli samme år.