In this task, you are given a set of paper reviews in English and Spanish language. Based on given reviews, your job is to generate decision, i.e., "accept" or "reject" for the given paper. Note that URLs in the text have been replaced with [Link].

Q: Review_1: Este trabajo muestra los resultados del desarrollo de un CBIR basado en los índices de distancias métricas, comparándolo con sistemas existentes a través de la precisión de recuperación y comparando los resultados de eficiencia en tiempo para distintos enfoques de indexación como GNAT, NAT, etc. El trabajo aborda un problema importante de los sistemas de recuperación, su estructura es correcta y los resultados aparentan ser fundamentados.  Quizás los criterios de evaluación no son suficientes para poder determinar la superioridad de un enfoque sobre otro, aunque los autores reconocen las principales falencias respecto a este punto y visualizan trabajos futuros en esta dirección. La explicación de la sección 2.3, sobre la precisión, es poco clara en definir como se conoce de ante mano sobre las correctas imágenes más similares a una consulta para poder calcular la precisión. Los gráficos de tiempo de la figura 3, no indican la escala. Review_2: El artículo trata la construcción de sistemas de recuperación de imágenes basada en el contenido (de las imágenes), CBIR. Se introduce el problema del CBIR y se presentan algunos algoritmos que permiten acelerar las búsquedas de vecinos más cercanos a un vector de entrada (correspondiente a una imagen) en el espacio de características elegido para representar las imágenes.  Se utilizan características basadas en el color, la respuesta en frecuencia y globales para cada uno de los cuadros locales en los que se divide una imagen de entrada. De esta forma se introduce información de diferentes tipos al sistema CBIR para representar las imágenes.  - El artículo no delimita claramente sus aportaciones. Parece que se aporta algo en cuanto al espacio de características en el que se representan las imágenes y también parece que aporta algo en los algoritmos y estructuras de datos necesarias para acelerar las búsquedas en espacios métricos.  - En general el artículo emplea poco espacio en explicar la aproximación propuesta a CBIR (se dan dos referencias a tesis de máster). En las conclusiones se presentan resultados experimentales, cuando claramente deberían ir en una sección anterior con los experimentos.  - En cuanto a las características visuales empleadas para representar una imagen:    Se echan en falta experimentos que permitan establecer lo que aporta cada una de las características que se plantea utilizar. Esto es, creo que es importante responder a la pregunta ¿Por qué estas y no otras? y también a la pregunta ¿Es alguna de ellas redundante y se podría dejar de utilizar? Si bien es cierto que se utiliza un procedimiento de selección de características, se echa de menos un experimento estableciendo cuál es el efecto de la selección ¿Cuánto se gana en tasa de acierto sobre la utilización del vector completo?  Parece que el espacio de características después de la selección tiene una dimensión de 3078 (sección 2.4). ¿Es así o las 3078 características se han extraído "manualmente"?  - No se entiende el experimento de comparación de sistemas CBIR (sección 2.3). ¿Qué se hace con las 100 imágenes comunes a las bases de datos? ¿Se hace la misma query en todos los sistemas y se mide la precisión y recall utilizando únicamente las 100 imágenes comunes cuando aparecen o no en la respuesta del sistema? Eso no está explicado en absoluto en el artículo.  - Cuando se da un dato como la sensibilidad y especificidad en las conclusiones, hay que decir sobre qué conjunto de datos se ha probado. Es posible hacer una prueba sobre unos datos y obtener un resultado completamente diferente sobre otros. Por tanto sensibilidad y especificidad sin referencia a los datos de los que se ha obtenido carecen de sentido.  - A este revisor le parece que un artículo sobre CBIR no debería pasar por alto desarrollos en Visión por Computadora basados en características locales (ya clásicos) como:    Sivic, J. and Zisserman, A.   Video Google: A Text Retrieval Approach to Object Matching in Videos   Proceedings of the IEEE International Conference on Computer Vision (2003)    D. Nistér and H. Stewénius,   Scalable recognition with a vocabulary tree   Proceedings of the IEEE International Conference on Computer Vision and Pattern Recognition (2006)    - Algunas de las referencias, como la [10,11,13], están incompletas ¿A qué se refieren? ¿Un artículo? ¿Un sistema de ejemplo funcionando en una URL?    - El sistema funcionando en la URL que refieren los autores da fallos de ejecución cuando se intenta probar con imágenes extraídas de google images. Review_3: La publicación tiene como objetivo mostrar las bondades que tienen las estructuras métricas para la recuperación de imágenes. Este trabajo es la continuación de varios trabajos ya presentados, como por ejemplo. [1] "Estructuras métricas paralelas en la recuperación de imágenes", Peña- Jaramillo, E. (Referenciado en el paper) [2] "Definición de un recuperador de Imágenes basado en Contenidos sobre Espacios Métricos", Eduardo Peña-Jaramillo, et al. (No referenciado). [3] "Estructuras Métricas Paralelas en la Recuperación de Imágenes en la Web", Eduardo Peña-Jaramillo, et al. (No referenciado).  Sobre la referencia número [1] no ha sido posible obtener una copia electrónica, y desde las publicaciones antes citadas [2] y [3], se puede decir que hay un nuevo aporte en los experimentos realizados sobre estructuras GNAT y Spaghetis. Se debe explicar en la publicación que el trabajo no es original desde el punto de vista del autor, y que su extensión se basa en los trabajos [1], [2], [3] u otro que tenga directa relación con el trabajo presentado.  - El texto está bien estructurado y se entiende con facilidad lo que se desea exponer. - Bien en la presentación, no hay problemas graves. Solo mejorar las figuras de las gráficas, sobre todo las tildes, en matlab se puede agregar texto en latex para evitar ese tipo de problemas. La palabra "más" aparece en un par de ocasiones sin tilde.  - En la sección de "Introducción" si bien se presenta el trabajo en forma general creo que sería importante señalar cual es el estado del arte en estas materias. ¿Hay trabajos relacionados?, ¿Hay referencias importantes?, ¿Cuál es el aporte del trabajo sobre el estado del arte?, etc. Falta una revisión bibliográfica más exhaustiva. - En la sección de "Extracción de características" he encontrado algunos detalles como:  - Me ha costado encontrar una definición sobre la técnica de layout ya que solo hay una referencia [1], por lo que intuyo que se ha considerado las características obtenidas de cada sub-imagen como una señal las cuales son mezcladas para obtener el vector que represente a la imagen total, tal como dice en el texto: "La unión de todas las características extraídas nos da como resultado...", donde no queda claro el tipo "unión" que se realiza.  - También sucede lo mismo cuando se referencia el discriminante de Fisher, nuevamente se hace referencia a [1]. Se debería agregar una fuente más relevante para este punto. - No se explica con detalle el tipo de base de datos utilizada. ¿Es de dominio público o privada?. Qué tipo de imágenes o grupos de imágenes contiene. ¿Cuantas hay por clase?, ¿Hay imágenes repetidas?. Calidad de las imágenes. La idea es disponer de un marco de referencia para que cualquier persona que desee comparar sus algoritmos con los suyos los haga en igualdad de condiciones. - Desde las imágenes mostradas en la figura 2, puedo deducir que base de datos (espero estar equivocado) tiene imágenes repetidas lo que puede producir un sesgo a la hora de calcular los valores de precisión, sensibilidad y especificidad de las imágenes recuperadas. Creo que la base de datos ideal para poder medir de forma correcta la calidad de la recuperación debería contar con imágenes distintas aunque sean de la misma apariencia, pero nunca la misma. Ya que al recuperar un conjunto de imágenes sobre una de consulta, si están repetidas, la cantidad de verdaderos positivos será proporcional a las repetidas lo que se traducirá en un sesgo sobre el cálculo de las métricas.  Recomendaciones  - En el texto se menciona (sección de conclusiones) que las soluciones no son del todo satisfactorias. Creo que en la actualidad existen proyectos como [Link] images.googlelabs.com/, [Link] [Link] entre otros; que muestran un gran avance en este campo y sería bueno ser revisados.  - Por otro lado, sobre el conjunto de características utilizados recomiendo revisar otro tipos de características que han demostrado ser invariantes a la escala y la rotación. [4] "Distinctive Image Features from Scale-Invariant Keypoints". David G. Lowe. International Journal of Computer Vision, 2004. como también su mejora [5] "SURF: Speeded Up Robust Features", Computer Vision and Image Understanding (CVIU). Herbert Bay, Andreas Ess, Tinne Tuytelaars, Luc Van Gool. Vol. 110, No. 3, pp. 346--359, 2008. 

A: accept
****
Q: Review_1: A lo largo del artículo se exagera el rol de la automatización de las pruebas dentro de las pruebas de software y en forma más general en el marco de aseguramiento. Un modelo de madurez para la prueba de software necesariamente incluye más aspectos que la automatización. Los casos automatizados siempre van coexistir con casos manuales y evaluaciones realizadas por personas. Como está tratado en el artículo, automatización es un concepto demasiado general, puede abarcar la generación, ejecución, evaluación (por ejemplo: mutación, criterios de cobertura) y validación (problema del oráculo).  Aunque la motivación está claramente expresada en la introducción, hacen falta referencias para fundamentar las afirmaciones realizadas sobre el rol de la prueba y el impacto de la automatización en la misma. Decir que la automatización permite realizar las pruebas más rápido o a menor costo es simplista: esto depende del contexto. Los costos de generar casos de prueba automáticos, la estimación sobre la evaluación futura del software y la caducidad de los casos de prueba, junto con otros factores, deben ser tenidos en cuenta en el modelo de costos para determinar la conveniencia de automatizar cierta parte de la prueba.  La sección dedicada a la prueba de software realiza definiciones generales y recorre la historia de la prueba desde los mainframes. Para un artículo de investigación, sugiero realizar definiciones más específicas relacionadas con el foco del estudio (estudios experimentales sobre técnicas de prueba, automatización, costos de las pruebas, modelos de madurez).  Sería adecuado poner el desarrollo del modelo de madurez luego de presentar el trabajo relacionado. No se describe el proceso para obtener la propuesta de un modelo de madurez para testing.  Se debe vincular el desarrollo del modelo a otros modelos de madurez existentes (por ejemplo el Testing Maturity Model) establecer conexiones con la literatura aceptada de testing o normas (por ejemplo ISO 29119) y en general  con modelos de procesos de software.  No se explicita el string de búsqueda utilizado. No todos los modelos encontrados deben catalogarse como ‘modelos de madurez’. Algunos de los modelos incluidos son claramente modelos más generales, que no se enfocan en el problema de la automatización de las pruebas. Se debería al menos discutir estas diferencias.  No se explican los atributos utilizados en la tabla III, ni la forma de obtener los resultados de nivel de madurez. ¿Qué significa ‘nivel de las opiniones publicadas’? Este concepto resulta ambiguo. Se debe reforzar la descripción de este proceso de investigación ya que resulta clave para obtener el resultado de nivel ‘adolescente’. Review_2: El trabajo se titula "Madurez actual del desarrollo de la automatización de las pruebas del software". El documento muestra una serie de apartados que dan cuenta de un trabajo realizado en términos de revisión de literatura y algunos acercamientos a una propuesta para restructurar una escala de niveles de madurez particular para el proceso de automatización de pruebas.  Sin embargo, el trabajo carece de una estructura lógica que permita determinar si su aporte u objetivo principal está en la revisión de literatura o en la propuesta de nuevos niveles de madurez para el proceso de pruebas.  Se recomienda hacer una revisión completa de la información que se presenta y posiblemente re-estructurar el documento presentado. El reporte de esta revisión fue divido por secciones, con el fin de aportar sugerencia que permitan mejorar el trabajo.   Sección -Revisión sistemática  Es importante que los autores revisen el hecho de utilizar un método de revisión sistemática que aún no está publicado existiendo varios métodos publicados, probados y reconocidos para ingeniería de Software. Deberían justificar la selección del método propuesto por Serna M. identificado con el número [16] en el trabajo.  Es indispensable explicar la validación que se hace respecto a la revisión por pares de los artículos, pues no es claro cómo puede tenerse acceso a una revisión por pares de los artículos publicados para poder validarlos y de qué forma se realiza un proceso de validación a partir de dicha información, teniendo en cuenta la cantidad de revisiones que tendría que hacerse por cada artículo encontrado (978).  Automatización de pruebas  Si bien, en el trabajo se reporta un modelo propuesto para evaluar la madurez del proceso de automatización de pruebas de software. El modelo como tal no está descrito. El artículo se limita a presentar una escala de referencia asociada a la madurez de un ser humano. Por tanto, es indispensable que el artículo indique varios aspectos para considerar la estructuración y definición de un modelo. Dentro de los aspectos más importantes a considerar están:  1. Una justificación científica y formal sobre la cual los autores del trabajo se basen para proponer el modelo de madurez y la selección de los niveles de madurez de un ser humano como punto de comparación con un posible nivel de madurez del proceso de automatización de pruebas.  2. Justificación formal de por qué no usar el modelo CMMI y la estructura de niveles de madurez que en él se proponen para evaluar el proceso de automatización de pruebas. Lo anterior, teniendo en cuenta que el modelo de madurez define una escala de madurez apropiada para evaluar procesos en ingeniería de software. Es decir, ¿por qué es necesario replantear esos niveles de madurez para el proceso de automatización de pruebas y proponer una nueva escala basada en la madurez de un ser humano?  3. A nivel de investigación cómo se caracterizan los niveles de madurez en términos de la automatización de pruebas?. Si bien, en el artículo se caracteriza cada nivel indicando las posibles características en las que está el proceso de automatización de pruebas, no se indica cómo se determinó dicha caracterízación, ni se muestra una justificación formal y científica relacionada.  Trabajo relacionado  El trabajo presenta una revisión sistemática, bajo la cual es posible identificar trabajo relacionado con el área de estudio, en este caso automatización de pruebas o niveles de madurez para la automatización de pruebas. Sin embargo, los autores presentan la revisión sistemática aparte de la sección trabajo relacionado, cuando pareciera que los estudios seleccionados como trabajo relacionado deberían ser parte del análisis de resultados de la revisión sistemática.  Además, la revisión sistemática permite determinar vacíos o nichos de investigación (oportunidades de investigación) para determinar una área de trabajo con alguna problemática concreta y, a partir de ahí, proponer una posible solución a dicho problema. En este caso, el artículo presenta la revisión sistemática como un trabajo adicional y posterior a la propuesta de niveles de madurez para el proceso de automatización de pruebas.  Así mismo, los autores muestran la selección de algunos trabajos relacionados, se entiende que son relacionados con la automatización de pruebas, no obstante del primero Michael Grottke, indican precisamente que no se enfoca en el tema a tratar en el trabajo que presentan sino en una propuesta estadística de la automatización de pruebas. Por lo tanto no entraría como trabajo relacionado.   Madurez del desarrollo de la automatización de las pruebas del software   Para realizar una comparación del proceso de automatización de pruebas y los niveles de madurez, los autores presentan la Tabla 3. En ella se indica que en la primera columna se ubican las etapas tradicionales de un proceso de pruebas. Es necesario indicar bajo qué metodología se seleccionan estas etapas como tradicionales o tener una referencia como justificación para la selección de estas y no otras etapas.  En este apartado no existe una explicación clara de la determinación sobre los niveles de madurez en cada etapa. Es indispensable tener descrito el análisis de investigación realizado que da como resultado la definición del nivel de madurez en que se encuentra cada una de las etapas del proceso de pruebas. La tabla no es suficiente explicación para el análisis, pues solo reporta los resultados.  En este punto, si lo que se busca es proponer una nueva escala de madurez para el proceso de pruebas o automatización de pruebas, lo más conveniente es validar dicha escala propuesta con un caso de estudio. En este trabajo, si bien, los autores muestran una tabla donde parecen determinar que el nivel de madurez es "adolecente", no se logra comprender en qué contexto se está evaluando el proceso de automatización de pruebas. Debería, al menos, contextualizarse un caso donde se indique: región, tiempo, tipo de proyectos o empresas y metodología utilizada para evaluar el proceso de automatización de pruebas. Lo anterior es la base para justificar que en determinado contexto el proceso de automatización de pruebas se encuentra en X nivel de madurez (de la escala propuesta). Argumentando, además, los criterios que se tuvieron en cuenta para asignar dicho nivel de madurez. 

A: reject
****
Q: Review_1: El paper muestra una aplicación práctica desarrollada con realidad aumentada aplicada a entregar información turística en espacios abiertos El trabajo permitirá dar a conocer la tecnología a nivel nacional y sus potencialidades, por lo que se considera un aporte. Sin embargo, el paper carece de un estudio comparativo con otros trabajos similares aplicando esta tecnología a este mismo objetivo, por lo que no se logra obtener una idea del grado de originalidad del mismo, ni da la posibilidad de contrastar algunas de las limitaciones del mismo que el autor menciona al final del paper con trabajos ya desarrollados anteriormente. Review_2: El artículo presenta un estudio de caso sobre el desarrollo de una aplicación móvil de realidad aumentada. La aplicación tiene como objetivo brindar información multimedia sensible al contexto (ubicación) y permite realizar tours  sobre distintos puntos de interés.  Si bien el tema (Realidad Aumentada) es muy interesante desde el punto de vista de la investigación, los objetivos del estudio de caso deben ser presentados explícitamente. El objetivo del prototipo puede ser la experimentación con tecnologías de desarrollo disponible para RA, el desarrollo de un software funcional para ser puesto en producción o ambos.  En la sección central del artículo (Solución Propuesta) hay múltiples secciones donde se mezclan conceptos: selección de herramientas, diseño de la arquitectura de la aplicación, lista de funcionalidades (que debe ser revisara para ser una extensión de los requerimientos de la sección III). Sugiero separar y seleccionar solo uno de estos aspectos para tratar en mayor profundidad. Por ejemplo, la selección y justificación de herramientas está dispersa en varios puntos del artículo.  Existe la oportunidad de explicar las lecciones aprendidas del desarrollo de una aplicación de RA con mayor detalle. La lista de beneficios y la discusión de resultados solo trata de aspectos generales.  Sugiero incluir más referencias a la literatura sobre RA: definiciones, investigación reciente, casos de desarrollos similares. 

A:
accept
****