[en] The growing popularity of automatically graded online tests, either as an evaluation or self-assessment tool in online or blended education, demands a review of how these questions are designed and delivered to their intended audience. This paper analyzes the results of over 20,000 pre-university mock online quizzes designed to train the students for the Spanish university admission test (known as ?Pruebas de Acceso a la Universidad? or ?Selectividad?) in the technical drawing subject, corresponding to the June and September intakes of 2009 and 2015. The influence of two key aspects on the questions success and skip rates is assessed: (a) the presence or absence of illustration support and (b) the length of the question as a proxy of reading comprehension difficulty. The results support that the presence of an accompanying illustration in the questions result in fewer skipped questions and mode successful answers, while the length of the question has the opposite effect. The performance difference in the 6-year span is also discussed, showing a slight decline over time in the pass rates while the skip rates remain stable. When comparing both two intakes, corresponding to different academic profiles of students that passed the June exam and those who did not, the success ratio is unsurprisingly lower for the students in the second intake. These findings should help improving the design of online quizzes, including more visual content and/or rephrasing the questions to be more concise, to fit the requirements of students educated in a more visual environment of multimedia technologies.

[es] La creciente popularidad de las pruebas en l?nea evaluadas autom?ticamente, tanto como herramientas de evaluaci?n c?mo de auto-aprendizaje en la educaci?n a distancia o semipresencial requiere una revisi?n de c?mo estas preguntas se dise?an y presentan a sus receptores. Este art?culo analiza los resultados de m?s de 20.000 ex?menes simulados en l?nea dise?ados para preparar el estudiantado para las pruebas de acceso a la universidad espa?ola (selectividad) en la materia de dibujo t?cnico, correspondientes a las convocatorias de junio y setiembre de 2009 y 2015. Se eval?a la influencia de dos aspectos clave en el n?mero de preguntas respondidas correctamente o abandonadas: (a) la presencia o ausencia de una ilustraci?n y (b) la extensi?n de la pregunta como indicador de la comprensi?n lectora. Los resultados apoyan que la presencia de una ilustraci?n se traduce en menor n?mero de preguntas abandonadas y mayor n?mero de preguntas respondidas correctamente, mientras que la extensi?n de la pregunta tiene el efecto contrario. Tambi?n se examinan los diferentes resultados durante el per?odo de 6 a?os, que muestran un ligero empeoramiento de los resultados mientras que la tasa de abandono se mantiene estable. Comparando ambas convocatorias, correspondientes a los perfiles acad?micos de los estudiantes que aprobaron en junio y los que no lo hicieron, la tasa de ?xito es comprensiblemente menor para los estudiantes la segunda. Estos hallazgos deber?an permitir mejorar el dise?o de las pruebas en l?nea, incluyendo m?s contenido visual y/o haciendo las preguntas m?s concisas, para ajustarse a los requerimientos de unos estudiantes educados en el entorno visual de las tecnolog?as multimedia.