[en] Usability is an increasingly important part of every kind of software application, and especially of highly interactive web services. However, there are no experimental studies offering satisfactory statistical evidence regarding what impact the implementation of different usability mechanisms really has on application end user efficiency and satisfaction. This research was designed to specifically address this question. To be precise, an empirical study was conducted in order to determine how the adoption of usability mechanisms affects efficiency and user satisfaction. For this purpose, three usability mechanisms -Abort Operation, Progress Feedback and Preferences- were evaluated on an online shop, whose main purpose is the management of online commerce. This study is implemented using an experiment that has a between subject design with a total of three factors. The first is the adoption/non-adoption of the mechanism under study. The second is the group. There are four groups {A, B, C, D}. Only one of the mechanisms is available in each of groups A, B and C, whereas all the mechanisms are adopted in D. In other words, the mechanism will be enabled in half of the cases and disabled in the other half. The third factor is the order in which the user performs the different tasks (a permutation of their order). A number of sessions with 100 experimental subjects were held according to the experimental design working on the constructed application. Each experimental subject was asked to perform the three experimental tasks, one task per usability mechanism. The time that subjects take to perform each task and the number of clicks that they use is measured automatically as they complete the experiment. These two metrics measure how efficient participants are at performing each task. Besides, they are asked to complete a questionnaire at the end of each task. This is used to measure user satisfaction. At the end of the experiment, a carefully designed statistical analysis is conducted. Basic descriptive statistics (average, median, typical deviation, skewness and kurtosis, etc.) and boxplots for every permutation provide a simplistic representation of the measures and an overview of the information. This analysis identified some unfeasible values –data that are not outliers but corroborate that some subjects failed to complete the activity successfully–, which are removed from the original sample. Then, after testing for the normality of the residuals and the homogeneity of the variances, it is feasible to perform an ANOVA test on this filtered sample for both response variables (efficiency and satisfaction) and each usability mechanism (Abort Operation, Progress Feedback and Preferences). In the case of the satisfaction response variable, the results are conclusive: there is a clear difference in all three cases between the adoption or non-adoption of the usability mechanism with respect to the final satisfaction of subjects, which is greater in the case of adoption. The results for the efficiency variable are revealing. Even though the adoption of the usability mechanism never decreases the efficiency of users, the ANOVA test does not always identify a definite improvement. In the case of the Abort Operation mechanism, there is found to be a significant improvement in the user efficiency (with respect to viii both speed and level of interaction with the application) when this mechanism is adopted to perform the task. On the other hand, Progress Feedback only causes a significant improvement when it is measured as the level of interaction of the user with the application. However, the order in which the tasks are scheduled is a critical factor for the Preferences mechanism. We can conclude from this research that it is extremely important to take into account different types of usability mechanisms as of design time. Abort Operation, Progress Feedback and Preferences can ensure a significant increase in user satisfaction when interacting with the system. Note that the adoption of these features also has a positive impact on efficiency.

[es] Cada día está más presente la importancia de la usabilidad en cualquier tipo de aplicación software y, concretamente, en aplicaciones con alta carga interactiva como una aplicación web. Sin embargo, no existen estudios experimentales que obtengan evidencias empíricas de hasta qué punto afecta la implementación de distintos mecanismos de usabilidad en la eficiencia y satisfacción de los usuarios finales de la aplicación. Esta investigación nace con el objetivo de responder a esta pregunta. En concreto, se ha realizado un estudio empírico para determinar cómo afecta a la eficiencia y la satisfacción del usuario tener los mecanismos de usabilidad Abortar Operación, Retroalimentación de Progreso o Preferencias presentes o ausentes en una aplicación web de tienda, que gestione la comercialización online de artículos. Para llevar a cabo el estudio se plantea un experimento verdadero que responde a un diseño between subjects donde existen tres factores de interés. El primero, es la presencia/ausencia del mecanismo de usabilidad que se está estudiando. El segundo, es el grupo. Existen cuatro grupos {A, B, C, D}. En los grupos A, B y C sólo el mecanismo Preferencias, Abortar Operación y Retroalimentación de Progreso está presente, respectivamente, mientras que en el grupo D los tres mecanismos de usabilidad están presentes. Es decir, en el 50% de los casos el mecanismo estará activo y en el 50% restante estará inactivo. El último factor es el orden de realización de las tareas diseñadas e implementadas para cada mecanismo, que representa las permutaciones de las tres tareas. Una vez diseñado el experimento y creada la aplicación sobre la que éste es llevado a cabo se realizan varias sesiones con 100 sujetos experimentales. Cada uno debe realizar las tres tareas de las que consta el experimento, una tarea por cada uno de los mecanismos de usabilidad. Mientras los sujetos realizan el experimento, por una parte, se mide automáticamente el tiempo que éstos tardan en realizar cada una de las tareas y el número de clicks que utilizan. Ambas métricas permiten medir la eficiencia de los participantes en la realización de cada una de las tareas. Por otra parte, se solicita después de cada tarea que respondan a un cuestionario que ayuda a medir la satisfacción de cada usuario. Tras la realización del experimento se plantea un estudio estadístico que se inicia analizando los estadísticos descriptivos básicos (media, mediana, desviación típica, coeficiente de asimetría, coeficiente de Curtosis, etc.) y los diagramas de caja para las distintas combinaciones de factores. En este primer análisis se detectan valores imposibles – datos que demuestran que el sujeto realizó incorrectamente la tarea, no son los valores atípicos o outliers – que son eliminados de la muestra. Con la muestra refinada y tras verificar las hipótesis de normalidad de residuos y homogeneidad de las varianzas se plantea un test ANOVA para cada una de las variables respuesta (eficiencia y satisfacción) y para cada uno de los mecanismos de usabilidad estudiados (Abortar Operación, Retroalimentación de Progreso y Preferencias). vi En el caso de la variable respuesta satisfacción los resultados son concluyentes: en los tres casos existe diferencia significa entre la ausencia o presencia del mecanismo respecto a la satisfacción final de los sujetos siendo superior en el caso de la presencia. Para la variable eficiencia los resultados son reveladores. Aunque en ningún caso la existencia del mecanismo de usabilidad perjudica la eficiencia de los usuarios no siempre se observa una mejora determinante en el test ANOVA. En el caso del mecanismo Abortar Operación sí se observa una mejora significativa en la eficiencia del usuario (tanto en su rapidez como en el nivel de interacción con la aplicación) en la realización de la tarea cuando este mecanismo está presente. En el caso del mecanismo Retroalimentación de Progreso la eficiencia sólo es significativa cuando se mide como el nivel de interacción del usuario con la aplicación. Sin embargo, para el mecanismo Preferencias se observa que el orden de realización de las tareas es un factor decisivo. De esta investigación se desprende que es verdaderamente importante tener en cuenta, desde el diseño, los mecanismos de usabilidad de Abortar Operación, Retroalimentación de Progreso y Preferencias para conseguir una mejora significativa en la satisfacción del usuario interaccionando con el sistema. También es importante disponer de estos mecanismos para obtener una mejora en la eficiencia de los usuarios.