Diop est drafté dès sa sortie de la Oak Hill Academy de Mouth of Wilson (Virginie) par les Cavaliers de Cleveland à la de la draft 2001. Il joue 193 matchs en 4 saisons pour les « Cavs », presque tous en tant que remplaçant. Il marque en moyenne 1,6 point, capte 2,6 rebonds et place 0,8 contre en 10,8 minutes par match. Ses problèmes de condition physique, de poids et ses nombreuses blessures ne lui permettent jamais de combler les espérances des fans des Cavaliers.