Metodología Generalizada de Evaluación

A nivel internacional hay varios estándares que se aplican al momento de evaluar la calidad de un software  siendo las más relevantes las normas ISO/IEC 9126, ISO/IEC 14598 e ISO/IEC 25000; aclarando que ninguno de estos fue concebido para evaluar software educativo pero es posible adaptarlos y usarlos en ese campo.

La metodología que analizaremos a continuación fue adaptada con este propósito por Bertha Alice Naranjo Sánchez (2015) y es conocida como Metodología generalizada de evaluación.

Este proceso consta de las siguientes partes:

1. Establecimiento de la evaluación

2. Planificación de la evaluación

3. Establecer el Modelo de Calidad

4. Determinar la puntuación/ calificación de los elementos que componen el modelo

5. Efectuar medición

6. Establecer resultados

7. Presentar Informe

A continuación ampliaremos cada etapa de este proceso de evaluación.

1. Establecimiento de la evaluación:

Identificada la necesidad del trabajo se debe determinar el enfoque de la medición. En esta fase se debe:

1.1 Determinar objetivo de la evaluación: cuál es el propósito de dicho proceso en particular, ejemplo, comparar software; escoger un software de acuerdo a las necesidades específicas, lanzar un producto.

1.2  Establecer tipo de la evaluación: identificar si se evaluará el proceso de desarrollo del software o el producto final.

1.3 Identificar el tipo de producto: se debe identificar si el producto a evaluar es un software libre o gratuito, comercial, desarrollado a medida si es alquilado o por comprar, entre otros.

2. Planificación de la evaluación

Se debe organizar el trabajo a realizar de la siguiente manera:

2.1 Elaborar cronograma de la evaluación: definir las principales actividades a realizar.

2.2 Identificar responsables: establecer el recurso humano que intervendrá en el proceso: docentes, evaluadores, estudiantes, desarrolladores, ingenieros, etc.

2.3 Determinar roles: asignar las tareas que desarrollará cada integrante del equipo.

2.4 Elaborar contrato (En el caso de una evaluación comercial) o acuerdo (para software no comercial)

3. Establecer el Modelo de Calidad.

En este modelo se consideran cuatro niveles para evaluar software:

Nivel 0: Tipo de Calidad. El enfoque global del modelo de calidad está centrado en métricas de proceso y métricas de producto. Las métricas de producto se basan en la familia ISO 9126, IEEE 14143, ISO 20.000 que contiene métricas internas, externas y de calidad en uso. Las métricas de proceso resumen los aspectos comunes de los siguientes estándares COBIT, ISO 17799, ISO 27001, CMMI, ISO 15504, IEEE 1044, ITIL, ISO 20000, entre otros.

Nivel 1: Características. Este modelo considera todas las métricas  de calidad interna, externa y de uso en esta denominación. Las características pueden ser funcionalidad, fiabilidad, usabilidad, teniendo la posibilidad de escoger todas aquellas que se consideren relevantes para el producto analizado.

Nivel 2: Subcaracterísticas. Este nivel lo componen los atributos del producto, para ello es aconsejable listar todos los atributos que debe reunir el software ideal e incluirlos en la matriz del modelo de calidad del software.

Nivel 3: Métricas. Para cada subcaracterística establecemos las fórmulas o medidas que usaremos para determinar el grado de cumplimiento de cada una de ellas.

Nivel 4: Indicadores. Al aplicar las fórmulas definidas para cada subcaracterística se calcula el valor resultante en la medida utilizada para esa evaluación determinando el nivel de cumplimiento de cada aspecto.

4. Determinar la puntuación/calificación de los elementos que componen el modelo. Se debe precisar la puntuación de los criterios de valoración establecidos por niveles.

5. Efectuar medición. En este punto se aplican todos los instrumentos diseñados dentro del modelo a las características, subcaracterísticas, métricas e indicadores seleccionados o establecidos.

Los valores obtenidos al efectuar la medición serán denominados puntajes obtenidos y son expresados en función de las escalas establecidas previamente. En esta metodología propuesta por Naranjo Sánchez se consideran como instrumentos básicos para el trabajo de  evaluación, las siguientes pruebas: de caja negra, administrativas, cuestionario de relevamiento técnico, encuestas dirigidas a usuarios y entrevistas de confirmación con el personal técnico.

6. Establecer resultados. Tomamos en una matriz todo el modelo de calidad y registramos ahí el valor medido u obtenido. Esto permite comparar con los criterios predeterminados en el modelo y contrastar así los puntajes establecidos y obtenidos por cada software educativo evaluado.

Este cuadro de resultados permite apreciar los resultados finales y nos ayuda a determinar el producto que cumple con las especificaciones requeridas:

7. Presentar informe: Todas las etapas del proceso evaluador deben irse documentando a medida que se realizan. Al final se debe presentar un informe ejecutivo que detalle brevemente el resultado obtenido y un informe analítico que especifique cada etapa del proceso con la documentación de las pruebas realizadas y el resultado de cada una de ellas.

Referencias:

LEM Evaluación de la Calidad del Software Educativo, capitulo 4, UDES 2018

Naranjo, B,  Calidad del software educativo: Metodología de Evaluación de software educativo para determinar el que cumple con las especificaciones basadas en estándares internacionales, 2015