Durant l'été 2003, il rejoint les Nuggets, qui ont sélectionné Carmelo Anthony à la dernière draft. Au cours des deux premières saisons, Jeff Bzdelik, puis Michael Cooper ne lui donneront pas beaucoup de temps de jeu (14 minutes en moyenne) et il ne s'affichera qu'à 3,5 pts et 3,7 pts. Pourtant Elson fait forte impression face à Kevin Garnett lors de la campagne de playoffs 2004 les opposant aux Timberwolves et ira même jusqu'à défier le joueur dans les médias en déclarant qu'il est homosexuel, même s'il s'excusera de ses commentaires un peu plus tard. Pour sa troisième saison en NBA, il a la confiance du nouvel entraîneur, George Karl, qui augmente considérablement son temps de jeu et il s'affiche à 4,9 points et 4,7 rebonds.