TASK DEFINITION: In this task, you are given a set of paper reviews in English and Spanish language. Based on given reviews, your job is to generate decision, i.e., "accept" or "reject" for the given paper. Note that URLs in the text have been replaced with [Link].
PROBLEM: Review_1: Un buen aporte y mirada al futuro. La redacción presenta algunas dificultades, revisar. Falta dar un ejemplo para algún tipo de dispositivo, habría sido ideal. 

SOLUTION: accept

PROBLEM: Review_1: El artículo presenta un experimento que compara distintas arquitecturas de navegación para un robot móvil. Se describen las arquitecturas (algoritmos, enfoques) utilizados, así como las métricas definidas para evaluar la performance en la navegación. Los resultados son analizados estadísticamente utilizando análisis de varianza.  El artículo está bien escrito y el experimento se presenta en forma clara. Las referencias bibliográficas parecen son adecuadas. En la introducción se justifica correctamente los objetivos de comparación y se describen en forma general los enfoques posibles para la navegación de un robot.  La selección de métricas está justificada e intenta ir más allá de una combinación de mediciones simples. El experimento está bien descrito, aunque se podría explicar por qué no se incluyeron otras configuraciones de obstáculos en la observación. Los métodos estadísticos (análisis de varianza) están aplicados correctamente, aunque se podría incluir un análisis de la normalidad en la distribución.  Uno de los puntos débiles del trabajo es que hace falta una discusión más profunda de los resultados. Más allá de indicar que uno de las arquitecturas tiene mejor rendimiento, se debería discutir las razones y realizar nuevas conjeturas.  La generalización de los resultados y la discusión de amenazas a la validez debe ser parte de la discusión. Por ejemplo: ¿En qué tipo de obstáculos funciona mejora cada algoritmo? ¿Cuál es el esfuerzo de programación de cada uno de las arquitecturas? ¿Cuáles son los objetivos de navegación de alto nivel del robot (comportamiento deliberativo)? Review_2: Es innegable el interés que ocasiona la problemática de la navegación de robots, por lo que el trabajo presentado constituye una alternativa para la elección de la arquitectura de control, dado que nos plantea mediante la comparación de métricas una posible solución al problema, sin embargo debe tenerse presente que ha sido realizado en un ambiente de simulación, bajo ciertas condiciones que no necesariamente se replicarán en la práctica lo cual a mi parecer restringe el ámbito de aplicación de los resultados obtenidos. Por otra parte las referencias y desarrollo de cálculos estadísticos dan validez a los resultados obtenidos con la consideración del ambiente en que fue realizada la prueba.  Trabajo bien desarrollado, aunque se plantea la necesidad de realizar pruebas con el móvil real, bajo diversas condiciones de entorno del robot, para validar los resultados obtenidos en simulador. Review_3: El trabajo compara cuatro arquitecturas de navegación autónoma para robots móviles, las arquitecturas reactivo puro, redes neuronales, lógica difusa y una arquitectura hibrida neuro-difusa.  EL trabajo está bien planteado, el trabajo experimental parece replicable y los resultados presentados suenan coherenten.  El principal aspecto a mejorar sería el análisi/discusion de los resultados, el cual se puede desarrollar más. 

SOLUTION: accept

PROBLEM: Review_1: Este trabajo muestra los resultados del desarrollo de un CBIR basado en los índices de distancias métricas, comparándolo con sistemas existentes a través de la precisión de recuperación y comparando los resultados de eficiencia en tiempo para distintos enfoques de indexación como GNAT, NAT, etc. El trabajo aborda un problema importante de los sistemas de recuperación, su estructura es correcta y los resultados aparentan ser fundamentados.  Quizás los criterios de evaluación no son suficientes para poder determinar la superioridad de un enfoque sobre otro, aunque los autores reconocen las principales falencias respecto a este punto y visualizan trabajos futuros en esta dirección. La explicación de la sección 2.3, sobre la precisión, es poco clara en definir como se conoce de ante mano sobre las correctas imágenes más similares a una consulta para poder calcular la precisión. Los gráficos de tiempo de la figura 3, no indican la escala. Review_2: El artículo trata la construcción de sistemas de recuperación de imágenes basada en el contenido (de las imágenes), CBIR. Se introduce el problema del CBIR y se presentan algunos algoritmos que permiten acelerar las búsquedas de vecinos más cercanos a un vector de entrada (correspondiente a una imagen) en el espacio de características elegido para representar las imágenes.  Se utilizan características basadas en el color, la respuesta en frecuencia y globales para cada uno de los cuadros locales en los que se divide una imagen de entrada. De esta forma se introduce información de diferentes tipos al sistema CBIR para representar las imágenes.  - El artículo no delimita claramente sus aportaciones. Parece que se aporta algo en cuanto al espacio de características en el que se representan las imágenes y también parece que aporta algo en los algoritmos y estructuras de datos necesarias para acelerar las búsquedas en espacios métricos.  - En general el artículo emplea poco espacio en explicar la aproximación propuesta a CBIR (se dan dos referencias a tesis de máster). En las conclusiones se presentan resultados experimentales, cuando claramente deberían ir en una sección anterior con los experimentos.  - En cuanto a las características visuales empleadas para representar una imagen:    Se echan en falta experimentos que permitan establecer lo que aporta cada una de las características que se plantea utilizar. Esto es, creo que es importante responder a la pregunta ¿Por qué estas y no otras? y también a la pregunta ¿Es alguna de ellas redundante y se podría dejar de utilizar? Si bien es cierto que se utiliza un procedimiento de selección de características, se echa de menos un experimento estableciendo cuál es el efecto de la selección ¿Cuánto se gana en tasa de acierto sobre la utilización del vector completo?  Parece que el espacio de características después de la selección tiene una dimensión de 3078 (sección 2.4). ¿Es así o las 3078 características se han extraído "manualmente"?  - No se entiende el experimento de comparación de sistemas CBIR (sección 2.3). ¿Qué se hace con las 100 imágenes comunes a las bases de datos? ¿Se hace la misma query en todos los sistemas y se mide la precisión y recall utilizando únicamente las 100 imágenes comunes cuando aparecen o no en la respuesta del sistema? Eso no está explicado en absoluto en el artículo.  - Cuando se da un dato como la sensibilidad y especificidad en las conclusiones, hay que decir sobre qué conjunto de datos se ha probado. Es posible hacer una prueba sobre unos datos y obtener un resultado completamente diferente sobre otros. Por tanto sensibilidad y especificidad sin referencia a los datos de los que se ha obtenido carecen de sentido.  - A este revisor le parece que un artículo sobre CBIR no debería pasar por alto desarrollos en Visión por Computadora basados en características locales (ya clásicos) como:    Sivic, J. and Zisserman, A.   Video Google: A Text Retrieval Approach to Object Matching in Videos   Proceedings of the IEEE International Conference on Computer Vision (2003)    D. Nistér and H. Stewénius,   Scalable recognition with a vocabulary tree   Proceedings of the IEEE International Conference on Computer Vision and Pattern Recognition (2006)    - Algunas de las referencias, como la [10,11,13], están incompletas ¿A qué se refieren? ¿Un artículo? ¿Un sistema de ejemplo funcionando en una URL?    - El sistema funcionando en la URL que refieren los autores da fallos de ejecución cuando se intenta probar con imágenes extraídas de google images. Review_3: La publicación tiene como objetivo mostrar las bondades que tienen las estructuras métricas para la recuperación de imágenes. Este trabajo es la continuación de varios trabajos ya presentados, como por ejemplo. [1] "Estructuras métricas paralelas en la recuperación de imágenes", Peña- Jaramillo, E. (Referenciado en el paper) [2] "Definición de un recuperador de Imágenes basado en Contenidos sobre Espacios Métricos", Eduardo Peña-Jaramillo, et al. (No referenciado). [3] "Estructuras Métricas Paralelas en la Recuperación de Imágenes en la Web", Eduardo Peña-Jaramillo, et al. (No referenciado).  Sobre la referencia número [1] no ha sido posible obtener una copia electrónica, y desde las publicaciones antes citadas [2] y [3], se puede decir que hay un nuevo aporte en los experimentos realizados sobre estructuras GNAT y Spaghetis. Se debe explicar en la publicación que el trabajo no es original desde el punto de vista del autor, y que su extensión se basa en los trabajos [1], [2], [3] u otro que tenga directa relación con el trabajo presentado.  - El texto está bien estructurado y se entiende con facilidad lo que se desea exponer. - Bien en la presentación, no hay problemas graves. Solo mejorar las figuras de las gráficas, sobre todo las tildes, en matlab se puede agregar texto en latex para evitar ese tipo de problemas. La palabra "más" aparece en un par de ocasiones sin tilde.  - En la sección de "Introducción" si bien se presenta el trabajo en forma general creo que sería importante señalar cual es el estado del arte en estas materias. ¿Hay trabajos relacionados?, ¿Hay referencias importantes?, ¿Cuál es el aporte del trabajo sobre el estado del arte?, etc. Falta una revisión bibliográfica más exhaustiva. - En la sección de "Extracción de características" he encontrado algunos detalles como:  - Me ha costado encontrar una definición sobre la técnica de layout ya que solo hay una referencia [1], por lo que intuyo que se ha considerado las características obtenidas de cada sub-imagen como una señal las cuales son mezcladas para obtener el vector que represente a la imagen total, tal como dice en el texto: "La unión de todas las características extraídas nos da como resultado...", donde no queda claro el tipo "unión" que se realiza.  - También sucede lo mismo cuando se referencia el discriminante de Fisher, nuevamente se hace referencia a [1]. Se debería agregar una fuente más relevante para este punto. - No se explica con detalle el tipo de base de datos utilizada. ¿Es de dominio público o privada?. Qué tipo de imágenes o grupos de imágenes contiene. ¿Cuantas hay por clase?, ¿Hay imágenes repetidas?. Calidad de las imágenes. La idea es disponer de un marco de referencia para que cualquier persona que desee comparar sus algoritmos con los suyos los haga en igualdad de condiciones. - Desde las imágenes mostradas en la figura 2, puedo deducir que base de datos (espero estar equivocado) tiene imágenes repetidas lo que puede producir un sesgo a la hora de calcular los valores de precisión, sensibilidad y especificidad de las imágenes recuperadas. Creo que la base de datos ideal para poder medir de forma correcta la calidad de la recuperación debería contar con imágenes distintas aunque sean de la misma apariencia, pero nunca la misma. Ya que al recuperar un conjunto de imágenes sobre una de consulta, si están repetidas, la cantidad de verdaderos positivos será proporcional a las repetidas lo que se traducirá en un sesgo sobre el cálculo de las métricas.  Recomendaciones  - En el texto se menciona (sección de conclusiones) que las soluciones no son del todo satisfactorias. Creo que en la actualidad existen proyectos como [Link] images.googlelabs.com/, [Link] [Link] entre otros; que muestran un gran avance en este campo y sería bueno ser revisados.  - Por otro lado, sobre el conjunto de características utilizados recomiendo revisar otro tipos de características que han demostrado ser invariantes a la escala y la rotación. [4] "Distinctive Image Features from Scale-Invariant Keypoints". David G. Lowe. International Journal of Computer Vision, 2004. como también su mejora [5] "SURF: Speeded Up Robust Features", Computer Vision and Image Understanding (CVIU). Herbert Bay, Andreas Ess, Tinne Tuytelaars, Luc Van Gool. Vol. 110, No. 3, pp. 346--359, 2008. 

SOLUTION:
accept