В 2004 году югославы дошли до финала Олимпиады в Афинах и Мировой лиги, где уступили вечным конкурентам — венграм. После этого Манойлович оставил пост главного тренера, но помогал работать с командой Петару Поробичу и Деяну Удовичичу.