Vuodet 2003–06 eivät tuoneet Serbia ja Montenegrolle menestystä. EM-kisoissa 2003 se oli kuudes ja Ateenan 2004 olympialaisissa yhdestoista, EM-kotikisoissaan 2005 se hävisi neljännesvälierissä Ranskalle 71–74 ja sijoittui jaetulle yhdeksännelle sijalle, ja Japanissa pelatuissa vuoden 2006 MM-kisoissa se hävisi neljännesvälierissä lopulta mestaruuden voittaneelle Espanjalle 75–87 ja sijoittui jaetulle yhdeksännelle sijalle.