Los sistemas CBIR también pueden hacer uso de la retroalimentación pertinente, donde el usuario refina progresivamente los resultados de búsqueda mediante el marcado de las imágenes en los resultados como "relevante", "no relevante" o "neutral" a la consulta de búsqueda, luego repetir la búsqueda con la nueva información.