Task: Paper Review
Input (Spanish, English): Review_1: A lo largo del artículo se exagera el rol de la automatización de las pruebas dentro de las pruebas de software y en forma más general en el marco de aseguramiento. Un modelo de madurez para la prueba de software necesariamente incluye más aspectos que la automatización. Los casos automatizados siempre van coexistir con casos manuales y evaluaciones realizadas por personas. Como está tratado en el artículo, automatización es un concepto demasiado general, puede abarcar la generación, ejecución, evaluación (por ejemplo: mutación, criterios de cobertura) y validación (problema del oráculo).  Aunque la motivación está claramente expresada en la introducción, hacen falta referencias para fundamentar las afirmaciones realizadas sobre el rol de la prueba y el impacto de la automatización en la misma. Decir que la automatización permite realizar las pruebas más rápido o a menor costo es simplista: esto depende del contexto. Los costos de generar casos de prueba automáticos, la estimación sobre la evaluación futura del software y la caducidad de los casos de prueba, junto con otros factores, deben ser tenidos en cuenta en el modelo de costos para determinar la conveniencia de automatizar cierta parte de la prueba.  La sección dedicada a la prueba de software realiza definiciones generales y recorre la historia de la prueba desde los mainframes. Para un artículo de investigación, sugiero realizar definiciones más específicas relacionadas con el foco del estudio (estudios experimentales sobre técnicas de prueba, automatización, costos de las pruebas, modelos de madurez).  Sería adecuado poner el desarrollo del modelo de madurez luego de presentar el trabajo relacionado. No se describe el proceso para obtener la propuesta de un modelo de madurez para testing.  Se debe vincular el desarrollo del modelo a otros modelos de madurez existentes (por ejemplo el Testing Maturity Model) establecer conexiones con la literatura aceptada de testing o normas (por ejemplo ISO 29119) y en general  con modelos de procesos de software.  No se explicita el string de búsqueda utilizado. No todos los modelos encontrados deben catalogarse como ‘modelos de madurez’. Algunos de los modelos incluidos son claramente modelos más generales, que no se enfocan en el problema de la automatización de las pruebas. Se debería al menos discutir estas diferencias.  No se explican los atributos utilizados en la tabla III, ni la forma de obtener los resultados de nivel de madurez. ¿Qué significa ‘nivel de las opiniones publicadas’? Este concepto resulta ambiguo. Se debe reforzar la descripción de este proceso de investigación ya que resulta clave para obtener el resultado de nivel ‘adolescente’. Review_2: El trabajo se titula "Madurez actual del desarrollo de la automatización de las pruebas del software". El documento muestra una serie de apartados que dan cuenta de un trabajo realizado en términos de revisión de literatura y algunos acercamientos a una propuesta para restructurar una escala de niveles de madurez particular para el proceso de automatización de pruebas.  Sin embargo, el trabajo carece de una estructura lógica que permita determinar si su aporte u objetivo principal está en la revisión de literatura o en la propuesta de nuevos niveles de madurez para el proceso de pruebas.  Se recomienda hacer una revisión completa de la información que se presenta y posiblemente re-estructurar el documento presentado. El reporte de esta revisión fue divido por secciones, con el fin de aportar sugerencia que permitan mejorar el trabajo.   Sección -Revisión sistemática  Es importante que los autores revisen el hecho de utilizar un método de revisión sistemática que aún no está publicado existiendo varios métodos publicados, probados y reconocidos para ingeniería de Software. Deberían justificar la selección del método propuesto por Serna M. identificado con el número [16] en el trabajo.  Es indispensable explicar la validación que se hace respecto a la revisión por pares de los artículos, pues no es claro cómo puede tenerse acceso a una revisión por pares de los artículos publicados para poder validarlos y de qué forma se realiza un proceso de validación a partir de dicha información, teniendo en cuenta la cantidad de revisiones que tendría que hacerse por cada artículo encontrado (978).  Automatización de pruebas  Si bien, en el trabajo se reporta un modelo propuesto para evaluar la madurez del proceso de automatización de pruebas de software. El modelo como tal no está descrito. El artículo se limita a presentar una escala de referencia asociada a la madurez de un ser humano. Por tanto, es indispensable que el artículo indique varios aspectos para considerar la estructuración y definición de un modelo. Dentro de los aspectos más importantes a considerar están:  1. Una justificación científica y formal sobre la cual los autores del trabajo se basen para proponer el modelo de madurez y la selección de los niveles de madurez de un ser humano como punto de comparación con un posible nivel de madurez del proceso de automatización de pruebas.  2. Justificación formal de por qué no usar el modelo CMMI y la estructura de niveles de madurez que en él se proponen para evaluar el proceso de automatización de pruebas. Lo anterior, teniendo en cuenta que el modelo de madurez define una escala de madurez apropiada para evaluar procesos en ingeniería de software. Es decir, ¿por qué es necesario replantear esos niveles de madurez para el proceso de automatización de pruebas y proponer una nueva escala basada en la madurez de un ser humano?  3. A nivel de investigación cómo se caracterizan los niveles de madurez en términos de la automatización de pruebas?. Si bien, en el artículo se caracteriza cada nivel indicando las posibles características en las que está el proceso de automatización de pruebas, no se indica cómo se determinó dicha caracterízación, ni se muestra una justificación formal y científica relacionada.  Trabajo relacionado  El trabajo presenta una revisión sistemática, bajo la cual es posible identificar trabajo relacionado con el área de estudio, en este caso automatización de pruebas o niveles de madurez para la automatización de pruebas. Sin embargo, los autores presentan la revisión sistemática aparte de la sección trabajo relacionado, cuando pareciera que los estudios seleccionados como trabajo relacionado deberían ser parte del análisis de resultados de la revisión sistemática.  Además, la revisión sistemática permite determinar vacíos o nichos de investigación (oportunidades de investigación) para determinar una área de trabajo con alguna problemática concreta y, a partir de ahí, proponer una posible solución a dicho problema. En este caso, el artículo presenta la revisión sistemática como un trabajo adicional y posterior a la propuesta de niveles de madurez para el proceso de automatización de pruebas.  Así mismo, los autores muestran la selección de algunos trabajos relacionados, se entiende que son relacionados con la automatización de pruebas, no obstante del primero Michael Grottke, indican precisamente que no se enfoca en el tema a tratar en el trabajo que presentan sino en una propuesta estadística de la automatización de pruebas. Por lo tanto no entraría como trabajo relacionado.   Madurez del desarrollo de la automatización de las pruebas del software   Para realizar una comparación del proceso de automatización de pruebas y los niveles de madurez, los autores presentan la Tabla 3. En ella se indica que en la primera columna se ubican las etapas tradicionales de un proceso de pruebas. Es necesario indicar bajo qué metodología se seleccionan estas etapas como tradicionales o tener una referencia como justificación para la selección de estas y no otras etapas.  En este apartado no existe una explicación clara de la determinación sobre los niveles de madurez en cada etapa. Es indispensable tener descrito el análisis de investigación realizado que da como resultado la definición del nivel de madurez en que se encuentra cada una de las etapas del proceso de pruebas. La tabla no es suficiente explicación para el análisis, pues solo reporta los resultados.  En este punto, si lo que se busca es proponer una nueva escala de madurez para el proceso de pruebas o automatización de pruebas, lo más conveniente es validar dicha escala propuesta con un caso de estudio. En este trabajo, si bien, los autores muestran una tabla donde parecen determinar que el nivel de madurez es "adolecente", no se logra comprender en qué contexto se está evaluando el proceso de automatización de pruebas. Debería, al menos, contextualizarse un caso donde se indique: región, tiempo, tipo de proyectos o empresas y metodología utilizada para evaluar el proceso de automatización de pruebas. Lo anterior es la base para justificar que en determinado contexto el proceso de automatización de pruebas se encuentra en X nivel de madurez (de la escala propuesta). Argumentando, además, los criterios que se tuvieron en cuenta para asignar dicho nivel de madurez. 
Output (English): reject