Task: Paper Review
Input (Spanish, English): Review_1: Este trabajo muestra los resultados del desarrollo de un CBIR basado en los índices de distancias métricas, comparándolo con sistemas existentes a través de la precisión de recuperación y comparando los resultados de eficiencia en tiempo para distintos enfoques de indexación como GNAT, NAT, etc. El trabajo aborda un problema importante de los sistemas de recuperación, su estructura es correcta y los resultados aparentan ser fundamentados.  Quizás los criterios de evaluación no son suficientes para poder determinar la superioridad de un enfoque sobre otro, aunque los autores reconocen las principales falencias respecto a este punto y visualizan trabajos futuros en esta dirección. La explicación de la sección 2.3, sobre la precisión, es poco clara en definir como se conoce de ante mano sobre las correctas imágenes más similares a una consulta para poder calcular la precisión. Los gráficos de tiempo de la figura 3, no indican la escala. Review_2: El artículo trata la construcción de sistemas de recuperación de imágenes basada en el contenido (de las imágenes), CBIR. Se introduce el problema del CBIR y se presentan algunos algoritmos que permiten acelerar las búsquedas de vecinos más cercanos a un vector de entrada (correspondiente a una imagen) en el espacio de características elegido para representar las imágenes.  Se utilizan características basadas en el color, la respuesta en frecuencia y globales para cada uno de los cuadros locales en los que se divide una imagen de entrada. De esta forma se introduce información de diferentes tipos al sistema CBIR para representar las imágenes.  - El artículo no delimita claramente sus aportaciones. Parece que se aporta algo en cuanto al espacio de características en el que se representan las imágenes y también parece que aporta algo en los algoritmos y estructuras de datos necesarias para acelerar las búsquedas en espacios métricos.  - En general el artículo emplea poco espacio en explicar la aproximación propuesta a CBIR (se dan dos referencias a tesis de máster). En las conclusiones se presentan resultados experimentales, cuando claramente deberían ir en una sección anterior con los experimentos.  - En cuanto a las características visuales empleadas para representar una imagen:    Se echan en falta experimentos que permitan establecer lo que aporta cada una de las características que se plantea utilizar. Esto es, creo que es importante responder a la pregunta ¿Por qué estas y no otras? y también a la pregunta ¿Es alguna de ellas redundante y se podría dejar de utilizar? Si bien es cierto que se utiliza un procedimiento de selección de características, se echa de menos un experimento estableciendo cuál es el efecto de la selección ¿Cuánto se gana en tasa de acierto sobre la utilización del vector completo?  Parece que el espacio de características después de la selección tiene una dimensión de 3078 (sección 2.4). ¿Es así o las 3078 características se han extraído "manualmente"?  - No se entiende el experimento de comparación de sistemas CBIR (sección 2.3). ¿Qué se hace con las 100 imágenes comunes a las bases de datos? ¿Se hace la misma query en todos los sistemas y se mide la precisión y recall utilizando únicamente las 100 imágenes comunes cuando aparecen o no en la respuesta del sistema? Eso no está explicado en absoluto en el artículo.  - Cuando se da un dato como la sensibilidad y especificidad en las conclusiones, hay que decir sobre qué conjunto de datos se ha probado. Es posible hacer una prueba sobre unos datos y obtener un resultado completamente diferente sobre otros. Por tanto sensibilidad y especificidad sin referencia a los datos de los que se ha obtenido carecen de sentido.  - A este revisor le parece que un artículo sobre CBIR no debería pasar por alto desarrollos en Visión por Computadora basados en características locales (ya clásicos) como:    Sivic, J. and Zisserman, A.   Video Google: A Text Retrieval Approach to Object Matching in Videos   Proceedings of the IEEE International Conference on Computer Vision (2003)    D. Nistér and H. Stewénius,   Scalable recognition with a vocabulary tree   Proceedings of the IEEE International Conference on Computer Vision and Pattern Recognition (2006)    - Algunas de las referencias, como la [10,11,13], están incompletas ¿A qué se refieren? ¿Un artículo? ¿Un sistema de ejemplo funcionando en una URL?    - El sistema funcionando en la URL que refieren los autores da fallos de ejecución cuando se intenta probar con imágenes extraídas de google images. Review_3: La publicación tiene como objetivo mostrar las bondades que tienen las estructuras métricas para la recuperación de imágenes. Este trabajo es la continuación de varios trabajos ya presentados, como por ejemplo. [1] "Estructuras métricas paralelas en la recuperación de imágenes", Peña- Jaramillo, E. (Referenciado en el paper) [2] "Definición de un recuperador de Imágenes basado en Contenidos sobre Espacios Métricos", Eduardo Peña-Jaramillo, et al. (No referenciado). [3] "Estructuras Métricas Paralelas en la Recuperación de Imágenes en la Web", Eduardo Peña-Jaramillo, et al. (No referenciado).  Sobre la referencia número [1] no ha sido posible obtener una copia electrónica, y desde las publicaciones antes citadas [2] y [3], se puede decir que hay un nuevo aporte en los experimentos realizados sobre estructuras GNAT y Spaghetis. Se debe explicar en la publicación que el trabajo no es original desde el punto de vista del autor, y que su extensión se basa en los trabajos [1], [2], [3] u otro que tenga directa relación con el trabajo presentado.  - El texto está bien estructurado y se entiende con facilidad lo que se desea exponer. - Bien en la presentación, no hay problemas graves. Solo mejorar las figuras de las gráficas, sobre todo las tildes, en matlab se puede agregar texto en latex para evitar ese tipo de problemas. La palabra "más" aparece en un par de ocasiones sin tilde.  - En la sección de "Introducción" si bien se presenta el trabajo en forma general creo que sería importante señalar cual es el estado del arte en estas materias. ¿Hay trabajos relacionados?, ¿Hay referencias importantes?, ¿Cuál es el aporte del trabajo sobre el estado del arte?, etc. Falta una revisión bibliográfica más exhaustiva. - En la sección de "Extracción de características" he encontrado algunos detalles como:  - Me ha costado encontrar una definición sobre la técnica de layout ya que solo hay una referencia [1], por lo que intuyo que se ha considerado las características obtenidas de cada sub-imagen como una señal las cuales son mezcladas para obtener el vector que represente a la imagen total, tal como dice en el texto: "La unión de todas las características extraídas nos da como resultado...", donde no queda claro el tipo "unión" que se realiza.  - También sucede lo mismo cuando se referencia el discriminante de Fisher, nuevamente se hace referencia a [1]. Se debería agregar una fuente más relevante para este punto. - No se explica con detalle el tipo de base de datos utilizada. ¿Es de dominio público o privada?. Qué tipo de imágenes o grupos de imágenes contiene. ¿Cuantas hay por clase?, ¿Hay imágenes repetidas?. Calidad de las imágenes. La idea es disponer de un marco de referencia para que cualquier persona que desee comparar sus algoritmos con los suyos los haga en igualdad de condiciones. - Desde las imágenes mostradas en la figura 2, puedo deducir que base de datos (espero estar equivocado) tiene imágenes repetidas lo que puede producir un sesgo a la hora de calcular los valores de precisión, sensibilidad y especificidad de las imágenes recuperadas. Creo que la base de datos ideal para poder medir de forma correcta la calidad de la recuperación debería contar con imágenes distintas aunque sean de la misma apariencia, pero nunca la misma. Ya que al recuperar un conjunto de imágenes sobre una de consulta, si están repetidas, la cantidad de verdaderos positivos será proporcional a las repetidas lo que se traducirá en un sesgo sobre el cálculo de las métricas.  Recomendaciones  - En el texto se menciona (sección de conclusiones) que las soluciones no son del todo satisfactorias. Creo que en la actualidad existen proyectos como [Link] images.googlelabs.com/, [Link] [Link] entre otros; que muestran un gran avance en este campo y sería bueno ser revisados.  - Por otro lado, sobre el conjunto de características utilizados recomiendo revisar otro tipos de características que han demostrado ser invariantes a la escala y la rotación. [4] "Distinctive Image Features from Scale-Invariant Keypoints". David G. Lowe. International Journal of Computer Vision, 2004. como también su mejora [5] "SURF: Speeded Up Robust Features", Computer Vision and Image Understanding (CVIU). Herbert Bay, Andreas Ess, Tinne Tuytelaars, Luc Van Gool. Vol. 110, No. 3, pp. 346--359, 2008. 
Output (English): accept