Source: http://redc.revistas.csic.es/index.php/redc/article/view/973/1484
Timestamp: 2020-02-25 13:05:29+00:00

Document:
La accesibilidad de los portales web de las universidades públicas andaluzas | Casasola Balsells | Revista española de Documentación Científica
Luis Alejandro Casasola Balsells
http://orcid.org/0000-0003-4976-5314
Juan Carlos Guerra González
http://orcid.org/0000-0002-8943-8070
María Araceli Casasola Balsells
http://orcid.org/0000-0002-0539-6337
Vicente Antonio Pérez Chamorro
http://orcid.org/0000-0003-1047-4595
Inicio > Vol 40, No 2 (2017) >	Casasola Balsells
La accesibilidad de los portales web de las universidades públicas andaluzas
Luis Alejandro Casasola Balsells*, Juan Carlos Guerra González**, María Araceli Casasola Balsells***, Vicente Antonio Pérez Chamorro****
Correo-e: ale_casasola@hotmail.com | ORCID iD: http://orcid.org/0000-0003-4976-5314
** Universidad de Sevilla
Correo-e: jcguegon@gmail.com | ORCID iD: http://orcid.org/0000-0002-8943-8070
*** Universidad Pablo de Olavide, Sevilla
Correo-e: macasbal@upo.es | ORCID iD: http://orcid.org/0000-0002-0539-6337
**** Universidad Pablo de Olavide, Sevilla
Correo-e: vapercha@upo.es | ORCID iD: http://orcid.org/0000-0003-1047-4595
En este trabajo se describe el análisis realizado en 2015 para la evaluación de la accesibilidad de los portales web de las universidades públicas andaluzas. Con el fin de determinar si las universidades ofrecen información accesible, se ha comprobado el cumplimiento de las Pautas de Accesibilidad de Contenidos Web (WCAG 2.0) establecidas por el Consorcio World Wide Web (W3C). Para ello, se ha diseñado una metodología de análisis que combina tres herramientas automáticas (eXaminator, accesibilidad web del MINHAP, y TAW) y un análisis manual con objeto de dotar de mayor fiabilidad y validez a los resultados. Aunque en términos generales los resultados son aceptables, un análisis detallado muestra que aún queda camino por recorrer hasta conseguir una accesibilidad completa para toda la comunidad universitaria. A este respecto, en el trabajo se sugieren mejoras en los errores comunes encontrados sobre accesibilidad que puedan servir de ayuda al diseño web de las Universidades.
WEB ACCESSIBILITY OF PUBLIC UNIVERSITIES IN ANDALUSIA
This paper describes an analysis conducted in 2015 to evaluate the accessibility of content on Andalusian public university websites. In order to determinate whether these websites are accessible, an assessment has been carried out to check conformance with the latest Web Content Accessibility Guidelines (WCAG 2.0) established by the World Wide Web Consortium (W3C). For this purpose, we have designed a methodology for analysis that combines the use of three automatic tools (eXaminator, MINHAP web accessibility tool, and TAW) with a manual analysis to provide a greater reliability and validity of the results. Although the results are acceptable overall, a detailed analysis shows that more is still needed for achieving full accessibility for the entire university community. In this respect, we suggest several corrections to common accessibility errors for facilitating the design of university web portals.
Recibido: 11-02-2016; 2ª versión: 01-07-2016; Aceptado: 05-09-2016.
Cómo citar este artículo/Citation: Casasola Balsells, L. A.; Guerra González, J. C.; Casasola Balsells, M. A.; Pérez Chamorro, V. A. (2017). La accesibilidad de los portales web de las universidades públicas andaluzas. Revista Española de Documentación Científica, 40 (2): e169. doi: http://dx.doi.org/10.3989/redc.2017.2.1372
PALABRAS CLAVE: Accesibilidad de contenidos web; diseño web; discapacidad; eXaminator; herramientas de evaluación de accesibilidad web; universidades andaluzas; TAW; W3C; WAI; WCAG 2.0.
KEYWORDS: Web content accessibility; web design; disability; eXaminator; web accessibility evaluation tools; Andalusian Universities; Web Accessibility Observatory; TAW; W3C; WAI; WCAG 2.0.
El acceso equitativo de las Tecnologías de la Información y Comunicación (TIC) es un derecho para toda la ciudadanía, pero para las personas con discapacidad debería ser, además, una oportunidad para poder integrarlas, favoreciendo su autonomía. Las innovaciones y avances tecnológicos plantean oportunidades y también amenazas, dentro de las cuales se identifica la denominada “brecha digital”, esto es, el espacio social, técnico y político que distancia a sectores privilegiados de los más desfavorecidos (con limitaciones técnicas o físicas) en cuanto al acceso a la información de dominio público (González, 2006González Flórez, J.A. (2006). Pautas de accesibilidad web para bibliotecas. Buenos Aires: Alfagrama, pp. 22-56.).
La “accesibilidad web” implica que todos los usuarios, independientemente de su discapacidad o de su contexto de navegación, puedan disponer de los servicios y contenidos de un sitio web (Hassan y Martín, 2003Hassan Montero, Y.; Martín Fernández, F.J. (2003). Qué es la Accesibilidad Web. No solo usabilidad. Revista sobre personas, diseño y tecnología (NSU), 2. Disponible en: http://www.nosolousabilidad.com/articulos/accesibilidad.htm [Consulta: 09/06/2015].). Algunos países han reconocido esta necesidad y en el caso de España se han desarrollado diversas iniciativas legislativas para que las Administraciones Públicas impulsen, desarrollen y apliquen los estándares de accesibilidad web para las personas con discapacidad y, en particular, en las páginas web de centros públicos universitarios.
2. OBJETIVOS Top
El objetivo principal de este estudio es obtener una panorámica general de la accesibilidad que presentan los portales de las diez universidades públicas andaluzas, analizando la situación actual sobre el cumplimiento de los niveles mínimos exigidos al respecto. Con carácter específico, se reflexiona en el trabajo sobre los problemas de accesibilidad más comunes y relevantes de los portales universitarios analizados, y se proponen mejoras con objeto de contribuir a un mejor desempeño y satisfacción de los usuarios.
La literatura empírica (Chacón-Medina y otros, 2013Chacón-Medina, A.; Chacón-López, H.; López-Justicia, M. D.; Fernández-Jiménez, C. (2013). Dificultades en la Accesibilidad Web de las Universidades Españolas de acuerdo a la Norma WCAG 2.0. Revista Española de Documentación Científica, 36 (4), e025, https://doi.org/10.3989/redc.2013.4.1009.; Discapnet, 2004Discapnet (2004). La accesibilidad de los portales universitarios en España. Portal de personas con discapacidad, Observatorio de Accesibilidad TIC de Discapnet. Disponible en: http://www.discapnet.es/Castellano/areastematicas/Accesibilidad/Observatorio_infoaccesibilidad/informesInfoaccesibilidad/Paginas/LaaccesibilidaddelosportalesuniversitariosenEspa%C3%B1a.aspx [Consulta: 12/06/2015].; 2006Discapnet (2006). Accesibilidad de Portales web Universitarios. Portal de personas con discapacidad, Observatorio de Accesibilidad TIC de Discapnet. Disponible en: http://www.discapnet.es/Castellano/areastematicas/Accesibilidad/Observatorio_infoaccesibilidad/informesInfoaccesibilidad/Paginas/AccesibilidaddePortalesWebUniversitarios2006.aspx [Consulta: 17/06/2015].; 2010Discapnet (2010). Accesibilidad de Portales web Universitarios. Portal de personas con discapacidad, Observatorio de Accesibilidad TIC de Discapnet. Disponible en: http://www.discapnet.es/Castellano/areastematicas/Accesibilidad/Observatorio_infoaccesibilidad/informesInfoaccesibilidad/Paginas/AccesibilidaddePortalesWebUniversitarios.aspx [Consulta: 17/06/2015].; Hilera y otros, 2013Hilera, J.R.; Fernández, L.; Suárez, E.; Vilar, E.T. (2013). Evaluación de la accesibilidad de páginas web de universidades españolas y extranjeras incluidas en rankings universitarios internacionales. Revista Española de Documentación Científica, 36 (1), e004, https://doi.org/10.3989/redc.2013.1.913.; Ribera y otros, 2009Ribera, M.; Térmens, M.; Frías, A. (2009). La accesibilidad de las webs de las universidades españolas. Balance 2001-2006. Revista Española de Documentación Científica, 32 (3), pp. 66-68, https://doi.org/10.3989/redc.2009.3.683.; Rocha y otros, 2011Rocha, R.; Cobo, Á.; Alonso, M. (2011). Administración electrónica en las universidades públicas españolas. Revista Española de Documentación Científica, 34 (4), pp. 545-562, https://doi.org/10.3989/redc.2011.4.845.; Rodríguez y Viera, 2006Rodríguez Esparragón, D.; Viera Santana, J.G. (2006). Universidades: discapacidad y retos en la accesibilidad. Revista Antena de Comunicación, Junio, pp. 23-26. Disponible en: http://coitt.es/res/revistas/Antena164_06e_Universidades.pdf [Consulta: 09/07/2015].; Román y otros, 2013Román Durán, M.; Bernier Villamor, J.L.; Fernández Rodríguez, G. (2013). Diseño de un modelo para evaluar la accesibilidad web y validación sobre un ranking de las universidades españolas. Ibersid: Revista de Sistemas de Información y Documentación, vol. 7, pp. 49-55. Disponible en: http://www.ibersid.eu/ojs/index.php/ibersid/article/download/4063/3746 [Consulta: 01/07/2015]., Térmens y otros, 2003Térmens Graells, M.; Ribera Turró, M.; Sulé Duesa, A. (2003). Nivel de accesibilidad de las sedes web de las universidades españolas. Revista Española de Documentación Científica, 26 (1), pp. 21-39, https://doi.org/10.3989/redc.2003.v26.i1.131.; Toledo, 2001Toledo Morales, P. (2001). La accesibilidad en las Web de las Universidades Andaluzas. Revista Pixel Bit, de Medios y Comunicación, 17, Junio 2001. http://acdc.sav.us.es/ojs/index.php/pixelbit/article/view/857/689.; Toledo y otros, 2013Toledo Morales, P.; Sánchez García, J.M.; Gutiérrez Castillo, J.J. (2013). Evolución de la accesibilidad web en las Universidades Andaluzas. Revista Pixel Bit, de Medios y Comunicación, 43, Julio, pp. 65-83. Disponible en: http://acdc.sav.us.es/pixelbit/images/stories/p43/05.pdf [Consulta: 24/06/2015].; Torres, 2013Torres Briz, J.P. (2013). Discapacidad y universidad - Análisis del nivel de accesibilidad de las páginas webs de las universidades españolas, Trabajo Fin de Máster de la Universidad de Cantabria. Disponible en: http://repositorio.unican.es/xmlui/handle/10902/4539 [Consulta: 02/07/2015].) ha puesto de manifiesto deficiencias en la accesibilidad de los portales web de universidades españolas, fundamentalmente originadas por la falta de aplicación de pautas de accesibilidad de los contenidos publicados en la web.
El presente trabajo contribuye a la literatura previa en dos sentidos. En primer lugar, con relación a la metodología utilizada, ya que no se han encontrado estudios que analicen de forma exhaustiva la accesibilidad de portales utilizando una combinación de herramientas manuales y automáticas, tomando como base la versión más reciente, la 2.0, de las Pautas de Accesibilidad de Contenidos Web (Web Content Accessibility Guidelines, WCAG). Y en segundo lugar, hemos estimado conveniente utilizar la herramienta dispuesta por el Observatorio de Accesibilidad del Ministerio de Hacienda y Administraciones Públicas (en adelante Observatorio de Accesibilidad del MINHAP) debido a su carácter comprehensivo en la evaluación de accesibilidad web para Administraciones Públicas y a que no se han encontrado estudios que hayan utilizado este software.
El trabajo que se presenta a continuación se organiza de la siguiente forma. En el siguiente apartado se muestran los conceptos y estándares relacionados con la accesibilidad web y su regulación legal en España. Igualmente se revisan las conclusiones principales de la literatura previa sobre accesibilidad web en portales universitarios. En el apartado cuarto se exponen las métricas y herramientas utilizadas, así como las entidades analizadas. En el apartado quinto se presentan los resultados obtenidos del análisis de accesibilidad web, así como un conjunto de recomendaciones, indicando los errores que más frecuentemente se han encontrado y proponiendo algunas posibles soluciones para solventarlos. Finalmente, se exponen las conclusiones del estudio, limitaciones y futuras líneas de investigación.
3. MARCO TEÓRICO Top
3.1. La accesibilidad web
La sociedad actual exige una mejora en la accesibilidad de los servicios para evitar la exclusión social, y una de las áreas a mejorar es el acceso a la información disponible en la web. Por “accesibilidad web” se puede entender el conjunto de tecnologías, normas de aplicación y diseño, que facilitan la utilización de los sitios web siguiendo el principio del diseño universal o “diseño para todos” (Hassan y Martín, 2004Hassan Montero, Y.; Martín Fernández, F.J. (2004). Propuesta de adaptación de la metodología de diseño centrado en el usuario para el desarrollo de sitios web accesibles. Revista Española de Documentación Científica, 27 (3), pp. 330-344, https://doi.org/10.3989/redc.2004.v27.i3.156.), siendo una estrategia cuyo fin es hacer los diferentes entornos y productos accesibles y comprensibles, así como utilizables por todo el mundo, de la forma más independiente y natural posible, sin la necesidad de adaptaciones.
La accesibilidad web implicaría que todas las personas independientemente de la discapacidad que presenten (física, intelectual o técnica) o de la que se derive de los contextos de uso, como tecnológicos o ambientales, van a poder hacer uso de la web (Hassan y Martín, 2003Hassan Montero, Y.; Martín Fernández, F.J. (2003). Qué es la Accesibilidad Web. No solo usabilidad. Revista sobre personas, diseño y tecnología (NSU), 2. Disponible en: http://www.nosolousabilidad.com/articulos/accesibilidad.htm [Consulta: 09/06/2015].). Esto significa no sólo poder navegar, sino también interactuar y poder aportar contenidos, ya que la accesibilidad intenta alcanzar que las interfaces de usuario se adapten y acomoden a esas diferencias, de manera que cualquiera pueda utilizarlas y acceder a la información[1].
La aplicación de los requisitos de accesibilidad web, además de permitir y mejorar el acceso de todas las personas a los contenidos de la web, conlleva también otras ventajas adicionales como la independencia de tecnología y dispositivos, la mejora de la eficiencia y tiempo de respuesta, la reducción en costes y simplificación del desarrollo, o la mejora de la imagen de responsabilidad social (González, 2006González Flórez, J.A. (2006). Pautas de accesibilidad web para bibliotecas. Buenos Aires: Alfagrama, pp. 22-56.).
3.2. Pautas, normas y estándares de accesibilidad web
La Ley 34/2002, de 11 de julio, de Servicios de la Sociedad de la Información y de Comercio Electrónico (BOE, 2002BOE (2002). Ley 34/2002, de 11 de julio, de Servicios de la Sociedad de la Información y de Comercio Electrónico. BOE, número 166, de 12/7/2002, pp. 25388-25403.) introdujo por primera vez la obligación legal de que la información proporcionada vía web por las Administraciones Públicas españolas fuera accesible para las personas con discapacidad y edad avanzada, fijándose como plazo el 31 de diciembre de 2005 (Poncela, 2006Poncela, R. (2006). Accesibilidad web. Boletic, 37. Disponible en: http://www.astic.es/sites/default/files/boletic_completos/Boletic37.pdf [Consulta: 01/10/2015].). Sin embargo, no se especificaba un nivel mínimo de accesibilidad, sino que se siguieran los criterios de accesibilidad al contenido generalmente reconocidos.
En años posteriores, fue aprobada la normativa legal que hacía igualmente referencia a la necesidad de que la información a través de Internet fuera accesible a personas discapacitadas (BOE, 2003BOE (2003). Ley 59/2003, de 19 de diciembre, de firma electrónica. BOE, número 304, pp. 45329-45343.; 2007aBOE (2007a). Real Decreto 366/2007, de 16 de marzo, por el que se establecen las Condiciones de Accesibilidad y no Discriminación de las Personas con Discapacidad en sus Relaciones con la Administración General del Estado. BOE, número 72, pp. 12852-12856.; 2007bBOE (2007b). Ley 11/2007, de 22 de junio, de acceso electrónico de los ciudadanos a los Servicios Públicos. BOE, número 150, pp. 27150-27166.). El Real Decreto 1494/2007, de 12 de noviembre (BOE, 2007cBOE (2007c). Real Decreto 1494/2007, de 12 de noviembre (Ministerio de la Presidencia), por el que se aprueba el Reglamento sobre las condiciones básicas para el acceso de las personas con discapacidad a las tecnologías, productos y servicios relacionados con la sociedad de la información y medios de comunicación social. BOE, número 279, pp. 47567-47572.), abrió una nueva etapa al tener las Administraciones Públicas que cumplir con las prioridades 1 y 2 de la norma UNE 139803:2004 (AENOR, 2004AENOR (2004). UNE 139803:2004. Requisitos de accesibilidad para contenidos en la web. Madrid: Asociación Española de Normalización y Certificación.) a partir del 31 de diciembre de 2008. Esta norma UNE equivale a las Pautas de Accesibilidad para el Contenido Web (Web Content Accessibility Guidelines, WCAG) 1.0 elaboradas por el Consorcio de la Web (World Wide Web Consortium, W3C) mediante uno de sus grupos de trabajo, la Iniciativa de Accesibilidad Web (Web Accessibility Initiative, WAI) (W3C, 1999W3C (1999). Web Content Accessibility Guidelines (WCAG) 1.0, de la WC3-WAI. Disponible en: http://www.w3.org/TR/WCAG10 [Consulta: 11/06/2015].). Adicionalmente, mediante la Ley 56/2007, de 28 de diciembre, de Medidas de Impulso de la Sociedad de la Información (BOE, 2007dBOE (2007d). Ley 56/2007, de 28 de diciembre, de Medidas de Impulso de la Sociedad de la Información. BOE, número 312, pp. 53701-53719.) se revisó, actualizó y amplió el contenido de la Ley 34/2002, de 11 de julio, referida a la accesibilidad de las páginas de Internet.
A raíz de la actualización de WCAG a la versión 2.0 (W3C, 2008W3C (2008). Web Content Accessibility Guidelines (WCAG) 2.0, de la WC3-WAI. Disponible en: http://www.w3.org/TR/WCAG20 [Consulta: 11/06/2015].), la norma AENOR (2004AENOR (2004). UNE 139803:2004. Requisitos de accesibilidad para contenidos en la web. Madrid: Asociación Española de Normalización y Certificación.) fue sustituida por la UNE 139803:2012 (AENOR, 2012AENOR (2012). UNE 139803:2012. Requisitos de accesibilidad para contenidos en la web. Madrid: Asociación Española de Normalización y Certificación.; BOE, 2012BOE (2012). Resolución de 3 de septiembre de 2012, de la Dirección General de Industria y de la Pequeña y Mediana Empresa, por la que se publica la relación de normas UNE aprobadas por AENOR durante el mes de julio de 2012. BOE, número 237, p. 70038.). Por lo tanto, actualmente las Administraciones Públicas para alcanzar el nivel medio de accesibilidad web deberían cumplir completamente con un nivel de conformidad AA según la WCAG 2.0.
Cuando se cumple con las WCAG 2.0, se debe incluir en dichas páginas una Declaración del Nivel de Conformidad, a través de una Sección de Accesibilidad y/o logotipo en su portal, que informe a los usuarios de este cumplimiento. En este caso, las WCAG 2.0 especifican las condiciones que debe cumplir dicha declaración, que deberá incluir al menos los siguientes elementos:
Fecha en que se realiza la declaración de nivel de conformidad.
Título, versión e identificador de recursos uniforme (Uniform Resource Identifier, URI) de las WCAG 2.0.
Nivel de conformidad alcanzado (nivel A, AA o AAA).
Alcance, es decir, la enumeración precisa de las páginas que cumplen con las WCAG 2.0, a través de una lista o expresión regular de los localizadores de recursos uniformes (Uniform Resource Locators, URLs).
Listado de las tecnologías usadas compatibles con la accesibilidad de las que se depende para acceder al sitio web, como el Lenguaje de Marcado de Hipertexto Extendido (Extensible Hypertext Markup Language, XHTML) o las Hojas de Estilo en Cascada (Cascading Style Sheets, CSS).
En la iniciativa WCAG 2.0 se plantean cuatro principios fundamentales (perceptibilidad, operatividad, comprensibilidad y robustez) para la accesibilidad al contenido, que se desarrollan en un total de doce pautas. Estas pautas tienen en cuenta los diferentes elementos de accesibilidad que deben cumplirse y que abarcan, desde la concepción de la web, hasta su puesta a disposición a los diferentes usuarios. En la Tabla I se muestran los objetivos de los principios y sus correspondientes pautas.
Tabla I. Principios y Pautas de las WCAG 2.0
3.3. Literatura empírica sobre accesibilidad web en portales Universitarios
La literatura empírica ha analizado en diferentes países la accesibilidad de sitios web universitarios, como Argentina (Laitano, 2015Laitano, M. I. (2015). Accesibilidad web en el espacio universitario público argentino. Revista Española de Documentación Científica, 38 (1), e079, https://doi.org/10.3989/redc.2015.1.1136.), Australia (Alexander, 2004Alexander, D. (2004). WebWatch: How Accessible Are Australian University Web Sites?. Ariadne, 38, Disponible en http://www.ariadne.ac.uk/issue38/alexander [Consulta: 04/06/2015].; Alexander y Rippon, 2007Alexander, D.; Rippon, S. (2007). University website accessibility revisited. Australia: Southern Cross University. Disponible en: http://ausweb.scu.edu.au/aw07/papers/refereed/alexander/paper.html [Consulta: 04/06/2015].), Estados Unidos (Thompson y otros, 2010Thompson, T.; Burgstahler, S.; Moore, E.J. (2010). Web accessibility: A longitudinal study of college and university home pages in the northwestern United States. Disability and Rehabilitation: Assistive Technology, 5 (2), pp. 108-114, https://doi.org/10.3109/17483100903387424.), Finlandia (Karhu y otros, 2012Karhu, M.; Hilera, J.R.; Fernández, L.; Rios, R. (2012). Accessibility and readability of university websites in Finland. En: Bengoechea, L.; Hilera, J.R. (coords.), Actas del III Congreso Iberoamericano sobre Calidad y Accesibilidad de la Formación Virtual: CAFVIR 2012, pp. 151-158. Universidad de Alcalá, Servicio de publicaciones. Disponible en: http://www.esvial.org/wp-content/files/paper_Cafvir151.pdf [Consulta: 24/06/2015].), Perú (Córdova, 2012Córdova, M.A. (2012). Estudio comparativo de accesibilidad web en portales informativos de Universidades Peruanas de Educación a Distancia. En: Bengoechea, L.; Hilera, J.R. (coords.), Actas del III Congreso Iberoamericano sobre Calidad y Accesibilidad de la Formación Virtual: CAFVIR 2012, pp. 63-73. Universidad de Alcalá, Servicio de publicaciones. Disponible en: http://www.esvial.org/wp-content/files/paper_Cafvir63.pdf [Consulta: 21/06/2015].) o Turquía (Kurt, 2011Kurt, S. (2011). The accessibility of university web sites: the case of Turkish universities. Universal Access in the Information Society, 10 (1), pp. 101-110, https://doi.org/10.1007/s10209-010-0190-z.). De forma general, se observa que la mayoría de los portales universitarios analizados incumplen pautas de accesibilidad web, por lo que se hace necesario que los diseñadores y desarrolladores verifiquen y revisen los resultados de validación para asegurar el acceso universal a la información.
Por ejemplo, Laitano (2015Laitano, M. I. (2015). Accesibilidad web en el espacio universitario público argentino. Revista Española de Documentación Científica, 38 (1), e079, https://doi.org/10.3989/redc.2015.1.1136.) indicaba que las barreras de accesibilidad web en el espacio universitario público argentino eran mayoritariamente graves. Asimismo, Alexander (2004Alexander, D. (2004). WebWatch: How Accessible Are Australian University Web Sites?. Ariadne, 38, Disponible en http://www.ariadne.ac.uk/issue38/alexander [Consulta: 04/06/2015].) advertía que casi la totalidad de los portales universitarios australianos incumplían las pautas básicas de accesibilidad. En una investigación posterior, Alexander y Rippon (2007Alexander, D.; Rippon, S. (2007). University website accessibility revisited. Australia: Southern Cross University. Disponible en: http://ausweb.scu.edu.au/aw07/papers/refereed/alexander/paper.html [Consulta: 04/06/2015].) encontraron que la accesibilidad no había mejorado, sino que incluso había empeorado ligeramente. El estudio sobre universidades estadounidenses (Thompson y otros, 2010Thompson, T.; Burgstahler, S.; Moore, E.J. (2010). Web accessibility: A longitudinal study of college and university home pages in the northwestern United States. Disability and Rehabilitation: Assistive Technology, 5 (2), pp. 108-114, https://doi.org/10.3109/17483100903387424.) mostraba que la mayoría de sus páginas no eran completamente accesibles. Sólo el estudio sobre universidades finlandesas (Karhu y otros, 2012Karhu, M.; Hilera, J.R.; Fernández, L.; Rios, R. (2012). Accessibility and readability of university websites in Finland. En: Bengoechea, L.; Hilera, J.R. (coords.), Actas del III Congreso Iberoamericano sobre Calidad y Accesibilidad de la Formación Virtual: CAFVIR 2012, pp. 151-158. Universidad de Alcalá, Servicio de publicaciones. Disponible en: http://www.esvial.org/wp-content/files/paper_Cafvir151.pdf [Consulta: 24/06/2015].) concluyó que sus resultados no eran tan deficientes en comparación con los de universidades de otros países.
Es interesante observar que, en general, es reducido el número de universidades que obtienen un nivel de adecuación notable, y que gran parte de los problemas en los portales universitarios podrían ser fácilmente corregidos, implementando las técnicas más básicas de accesibilidad web.
La evaluación de la accesibilidad de sitios web universitarios ha sido igualmente un campo activo de investigación académica en España (Hilera y otros, 2013Hilera, J.R.; Fernández, L.; Suárez, E.; Vilar, E.T. (2013). Evaluación de la accesibilidad de páginas web de universidades españolas y extranjeras incluidas en rankings universitarios internacionales. Revista Española de Documentación Científica, 36 (1), e004, https://doi.org/10.3989/redc.2013.1.913.; Rocha y otros, 2011Rocha, R.; Cobo, Á.; Alonso, M. (2011). Administración electrónica en las universidades públicas españolas. Revista Española de Documentación Científica, 34 (4), pp. 545-562, https://doi.org/10.3989/redc.2011.4.845.; Rodríguez y Viera, 2006Rodríguez Esparragón, D.; Viera Santana, J.G. (2006). Universidades: discapacidad y retos en la accesibilidad. Revista Antena de Comunicación, Junio, pp. 23-26. Disponible en: http://coitt.es/res/revistas/Antena164_06e_Universidades.pdf [Consulta: 09/07/2015].; Térmens y otros, 2003Térmens Graells, M.; Ribera Turró, M.; Sulé Duesa, A. (2003). Nivel de accesibilidad de las sedes web de las universidades españolas. Revista Española de Documentación Científica, 26 (1), pp. 21-39, https://doi.org/10.3989/redc.2003.v26.i1.131.; Toledo, 2001Toledo Morales, P. (2001). La accesibilidad en las Web de las Universidades Andaluzas. Revista Pixel Bit, de Medios y Comunicación, 17, Junio 2001. http://acdc.sav.us.es/ojs/index.php/pixelbit/article/view/857/689.; Toledo y otros, 2013Toledo Morales, P.; Sánchez García, J.M.; Gutiérrez Castillo, J.J. (2013). Evolución de la accesibilidad web en las Universidades Andaluzas. Revista Pixel Bit, de Medios y Comunicación, 43, Julio, pp. 65-83. Disponible en: http://acdc.sav.us.es/pixelbit/images/stories/p43/05.pdf [Consulta: 24/06/2015].; Torres, 2013Torres Briz, J.P. (2013). Discapacidad y universidad - Análisis del nivel de accesibilidad de las páginas webs de las universidades españolas, Trabajo Fin de Máster de la Universidad de Cantabria. Disponible en: http://repositorio.unican.es/xmlui/handle/10902/4539 [Consulta: 02/07/2015].). Asimismo, el Observatorio de la Accesibilidad TIC de Discapnet ha elaborado varias oleadas de informes específicos (Discapnet, 2004Discapnet (2004). La accesibilidad de los portales universitarios en España. Portal de personas con discapacidad, Observatorio de Accesibilidad TIC de Discapnet. Disponible en: http://www.discapnet.es/Castellano/areastematicas/Accesibilidad/Observatorio_infoaccesibilidad/informesInfoaccesibilidad/Paginas/LaaccesibilidaddelosportalesuniversitariosenEspa%C3%B1a.aspx [Consulta: 12/06/2015].; 2006Discapnet (2006). Accesibilidad de Portales web Universitarios. Portal de personas con discapacidad, Observatorio de Accesibilidad TIC de Discapnet. Disponible en: http://www.discapnet.es/Castellano/areastematicas/Accesibilidad/Observatorio_infoaccesibilidad/informesInfoaccesibilidad/Paginas/AccesibilidaddePortalesWebUniversitarios2006.aspx [Consulta: 17/06/2015].; 2010Discapnet (2010). Accesibilidad de Portales web Universitarios. Portal de personas con discapacidad, Observatorio de Accesibilidad TIC de Discapnet. Disponible en: http://www.discapnet.es/Castellano/areastematicas/Accesibilidad/Observatorio_infoaccesibilidad/informesInfoaccesibilidad/Paginas/AccesibilidaddePortalesWebUniversitarios.aspx [Consulta: 17/06/2015].) con el fin de evaluar el grado de avance en la accesibilidad web por las Universidades.
Generalmente, los trabajos empíricos se caracterizan por la aplicación de herramientas automáticas para la evaluación de la accesibilidad, siendo TAW (Test de Accesibilidad Web) una de las más utilizadas, y en menor medida, otras herramientas como Bobby (Toledo, 2001Toledo Morales, P. (2001). La accesibilidad en las Web de las Universidades Andaluzas. Revista Pixel Bit, de Medios y Comunicación, 17, Junio 2001. http://acdc.sav.us.es/ojs/index.php/pixelbit/article/view/857/689.), WebXACT (Rodríguez y Viera, 2006Rodríguez Esparragón, D.; Viera Santana, J.G. (2006). Universidades: discapacidad y retos en la accesibilidad. Revista Antena de Comunicación, Junio, pp. 23-26. Disponible en: http://coitt.es/res/revistas/Antena164_06e_Universidades.pdf [Consulta: 09/07/2015].) o SortSite Professional (Román y otros, 2013Román Durán, M.; Bernier Villamor, J.L.; Fernández Rodríguez, G. (2013). Diseño de un modelo para evaluar la accesibilidad web y validación sobre un ranking de las universidades españolas. Ibersid: Revista de Sistemas de Información y Documentación, vol. 7, pp. 49-55. Disponible en: http://www.ibersid.eu/ojs/index.php/ibersid/article/download/4063/3746 [Consulta: 01/07/2015].). Por otra parte, son limitados los estudios (Chacón-Medina y otros, 2013Chacón-Medina, A.; Chacón-López, H.; López-Justicia, M. D.; Fernández-Jiménez, C. (2013). Dificultades en la Accesibilidad Web de las Universidades Españolas de acuerdo a la Norma WCAG 2.0. Revista Española de Documentación Científica, 36 (4), e025, https://doi.org/10.3989/redc.2013.4.1009.; Hilera y otros, 2013Hilera, J.R.; Fernández, L.; Suárez, E.; Vilar, E.T. (2013). Evaluación de la accesibilidad de páginas web de universidades españolas y extranjeras incluidas en rankings universitarios internacionales. Revista Española de Documentación Científica, 36 (1), e004, https://doi.org/10.3989/redc.2013.1.913.; Román y otros, 2013Román Durán, M.; Bernier Villamor, J.L.; Fernández Rodríguez, G. (2013). Diseño de un modelo para evaluar la accesibilidad web y validación sobre un ranking de las universidades españolas. Ibersid: Revista de Sistemas de Información y Documentación, vol. 7, pp. 49-55. Disponible en: http://www.ibersid.eu/ojs/index.php/ibersid/article/download/4063/3746 [Consulta: 01/07/2015].; Torres, 2013Torres Briz, J.P. (2013). Discapacidad y universidad - Análisis del nivel de accesibilidad de las páginas webs de las universidades españolas, Trabajo Fin de Máster de la Universidad de Cantabria. Disponible en: http://repositorio.unican.es/xmlui/handle/10902/4539 [Consulta: 02/07/2015].) que se han basado en la actualización más reciente de las WCAG 2.0.
Algunos trabajos realizan también, además, una evaluación de la usabilidad (Rocha y otros, 2011Rocha, R.; Cobo, Á.; Alonso, M. (2011). Administración electrónica en las universidades públicas españolas. Revista Española de Documentación Científica, 34 (4), pp. 545-562, https://doi.org/10.3989/redc.2011.4.845.; Román y otros, 2013Román Durán, M.; Bernier Villamor, J.L.; Fernández Rodríguez, G. (2013). Diseño de un modelo para evaluar la accesibilidad web y validación sobre un ranking de las universidades españolas. Ibersid: Revista de Sistemas de Información y Documentación, vol. 7, pp. 49-55. Disponible en: http://www.ibersid.eu/ojs/index.php/ibersid/article/download/4063/3746 [Consulta: 01/07/2015].), de la legibilidad (Hilera y otros, 2013Hilera, J.R.; Fernández, L.; Suárez, E.; Vilar, E.T. (2013). Evaluación de la accesibilidad de páginas web de universidades españolas y extranjeras incluidas en rankings universitarios internacionales. Revista Española de Documentación Científica, 36 (1), e004, https://doi.org/10.3989/redc.2013.1.913.); o incluyen en su valoración el cumplimiento de la sección 508 (Ribera y otros, 2009Ribera, M.; Térmens, M.; Frías, A. (2009). La accesibilidad de las webs de las universidades españolas. Balance 2001-2006. Revista Española de Documentación Científica, 32 (3), pp. 66-68, https://doi.org/10.3989/redc.2009.3.683.), de uso obligatorio en todas las agencias federales de Estados Unidos y con similares recomendaciones a las descritas en las WCAG.
Los primeros trabajos sobre portales universitarios españoles concluían que el nivel de accesibilidad era bastante bajo. Toledo (2001Toledo Morales, P. (2001). La accesibilidad en las Web de las Universidades Andaluzas. Revista Pixel Bit, de Medios y Comunicación, 17, Junio 2001. http://acdc.sav.us.es/ojs/index.php/pixelbit/article/view/857/689.) analizó ocho universidades andaluzas y demuestra que la mayor parte de las páginas web de las universidades andaluzas analizadas no respetaban las pautas básicas de un diseño web accesible según las WCAG 1.0. Estos malos resultados son consistentes con otros trabajos que han analizado posteriormente el cumplimiento de las WCAG 1.0 por las universidades españolas (Discapnet, 2004Discapnet (2004). La accesibilidad de los portales universitarios en España. Portal de personas con discapacidad, Observatorio de Accesibilidad TIC de Discapnet. Disponible en: http://www.discapnet.es/Castellano/areastematicas/Accesibilidad/Observatorio_infoaccesibilidad/informesInfoaccesibilidad/Paginas/LaaccesibilidaddelosportalesuniversitariosenEspa%C3%B1a.aspx [Consulta: 12/06/2015].; 2006Discapnet (2006). Accesibilidad de Portales web Universitarios. Portal de personas con discapacidad, Observatorio de Accesibilidad TIC de Discapnet. Disponible en: http://www.discapnet.es/Castellano/areastematicas/Accesibilidad/Observatorio_infoaccesibilidad/informesInfoaccesibilidad/Paginas/AccesibilidaddePortalesWebUniversitarios2006.aspx [Consulta: 17/06/2015].; Ribera y otros, 2009Ribera, M.; Térmens, M.; Frías, A. (2009). La accesibilidad de las webs de las universidades españolas. Balance 2001-2006. Revista Española de Documentación Científica, 32 (3), pp. 66-68, https://doi.org/10.3989/redc.2009.3.683.; Rodríguez y Viera, 2006Rodríguez Esparragón, D.; Viera Santana, J.G. (2006). Universidades: discapacidad y retos en la accesibilidad. Revista Antena de Comunicación, Junio, pp. 23-26. Disponible en: http://coitt.es/res/revistas/Antena164_06e_Universidades.pdf [Consulta: 09/07/2015].; Térmens y otros, 2003Térmens Graells, M.; Ribera Turró, M.; Sulé Duesa, A. (2003). Nivel de accesibilidad de las sedes web de las universidades españolas. Revista Española de Documentación Científica, 26 (1), pp. 21-39, https://doi.org/10.3989/redc.2003.v26.i1.131.), siendo también limitados los avances y mejoras observados.
A raíz de la entrada en vigor de la normativa introducida en 2007, la literatura identifica un mayor nivel de cumplimiento de los criterios de accesibilidad web por las universidades españolas (Chacón-Medina y otros, 2013Chacón-Medina, A.; Chacón-López, H.; López-Justicia, M. D.; Fernández-Jiménez, C. (2013). Dificultades en la Accesibilidad Web de las Universidades Españolas de acuerdo a la Norma WCAG 2.0. Revista Española de Documentación Científica, 36 (4), e025, https://doi.org/10.3989/redc.2013.4.1009.: Discapnet, 2010Discapnet (2010). Accesibilidad de Portales web Universitarios. Portal de personas con discapacidad, Observatorio de Accesibilidad TIC de Discapnet. Disponible en: http://www.discapnet.es/Castellano/areastematicas/Accesibilidad/Observatorio_infoaccesibilidad/informesInfoaccesibilidad/Paginas/AccesibilidaddePortalesWebUniversitarios.aspx [Consulta: 17/06/2015].; Hilera y otros, 2013Hilera, J.R.; Fernández, L.; Suárez, E.; Vilar, E.T. (2013). Evaluación de la accesibilidad de páginas web de universidades españolas y extranjeras incluidas en rankings universitarios internacionales. Revista Española de Documentación Científica, 36 (1), e004, https://doi.org/10.3989/redc.2013.1.913.; Ribera y otros, 2009Ribera, M.; Térmens, M.; Frías, A. (2009). La accesibilidad de las webs de las universidades españolas. Balance 2001-2006. Revista Española de Documentación Científica, 32 (3), pp. 66-68, https://doi.org/10.3989/redc.2009.3.683.; Román y otros, 2013Román Durán, M.; Bernier Villamor, J.L.; Fernández Rodríguez, G. (2013). Diseño de un modelo para evaluar la accesibilidad web y validación sobre un ranking de las universidades españolas. Ibersid: Revista de Sistemas de Información y Documentación, vol. 7, pp. 49-55. Disponible en: http://www.ibersid.eu/ojs/index.php/ibersid/article/download/4063/3746 [Consulta: 01/07/2015].; Toledo y otros, 2013Toledo Morales, P.; Sánchez García, J.M.; Gutiérrez Castillo, J.J. (2013). Evolución de la accesibilidad web en las Universidades Andaluzas. Revista Pixel Bit, de Medios y Comunicación, 43, Julio, pp. 65-83. Disponible en: http://acdc.sav.us.es/pixelbit/images/stories/p43/05.pdf [Consulta: 24/06/2015].). No obstante, también evidencia que sigue siendo bajo el nivel de accesibilidad en general, así como el incumplimiento de las pautas básicas de diseño accesible.
Son numerosas las herramientas que permiten evaluar automáticamente la accesibilidad de una página o sitio web, y generar un informe de cumplimiento de estándares y pautas de accesibilidad (Serrano, 2009Serrano Mascaraque, E. (2009). Herramientas para la evaluación de la accesibilidad Web. Documentación de las Ciencias de la Información, vol. 32, pp. 245-266. Disponible en: http://revistas.ucm.es/index.php/DCIN/article/view/DCIN0909110245A/18823 [Consulta: 28/06/2015].; MINHAP, 2014MINHAP (2014). Guía de validación de accesibilidad web. Ministerio de Hacienda y Administraciones Públicas (Dirección de Tecnologías de la Información y las Comunicaciones). Diciembre 2014. Disponible en: http://administracionelectronica.gob.es/pae_Home/pae_Estrategias/pae_Accesibilidad/pae_documentacion/pae_eInclusion_Guias_Practicas.html#.WR597Ovyh0w [Consulta: 30/06/2015].). Estas herramientas funcionan bien y son consideradas un buen punto de partida que ahorra trabajo posterior, pero no son suficientes, ya que a veces muestran como error algo que no lo es o, por el contrario, no detectan algunos errores existentes. Además, entre las distintas herramientas de evaluación automática existen diferencias en los resultados, debido a la implementación que cada una hace de la verificación. Por eso se recomienda emplear varias herramientas automáticas para obtener resultados más fiables así como completarlos con un análisis manual (MINHAP, 2014MINHAP (2014). Guía de validación de accesibilidad web. Ministerio de Hacienda y Administraciones Públicas (Dirección de Tecnologías de la Información y las Comunicaciones). Diciembre 2014. Disponible en: http://administracionelectronica.gob.es/pae_Home/pae_Estrategias/pae_Accesibilidad/pae_documentacion/pae_eInclusion_Guias_Practicas.html#.WR597Ovyh0w [Consulta: 30/06/2015].; W3C, 2015W3C (2015). Metodología de Evaluación de Conformidad con la Accesibilidad Web. Disponible en: http://www.w3.org/TR/WCAG-EM [Consulta: 11/06/2015].).
El trabajo plantea un estudio empírico de la accesibilidad web de las diez Universidades públicas de Andalucía (Almería, Cádiz, Córdoba, Granada, Huelva, Internacional de Andalucía, Jaén, Málaga, Pablo de Olavide, y Sevilla). El análisis y evaluación de los portales va a permitir averiguar si actualmente cumplen con los requerimientos normativos en cuanto su nivel de accesibilidad, cómo se están aplicando las recomendaciones de acceso al contenido en la web, así como identificar los errores que más frecuentemente se cometen.
El análisis ha sido llevado a cabo entre los meses de julio y septiembre de 2015. Se ha diseñado y desarrollado el siguiente proceso que combina las siguientes siete herramientas automáticas y manuales de evaluación de accesibilidad web para determinar el nivel de conformidad de los portales con la norma WCAG 2.0:
Herramienta 1.- Comprobación de la existencia de la Sección de Accesibilidad. Inicialmente se ha comprobado el nivel de accesibilidad que las universidades exponen en sus páginas webs. Según la normativa vigente, las páginas deben ofrecer al usuario información sobre su nivel de accesibilidad y facilitar un sistema de contacto para que pueda transmitir las dificultades de acceso al contenido o formular cualquier queja, consulta o sugerencia de mejora.
Herramienta 2.- Validador X(HTML) del W3C[2]. Se ha realizado una comprobación, análisis y validación previa de la página principal, verificando las gramáticas y otros estándares del código X(HTML).
Herramienta 3.- Validador CSS del W3C[3]. Se ha utilizado el validador de las hojas de estilo CSS para comprobar el cumplimiento de la página principal de cada portal con los estándares del W3C.
Herramienta 4.- Herramienta del Observatorio de Accesibilidad del MINHAP[4]. Se ha seleccionado la herramienta online que ofrece el Observatorio de Accesibilidad del MINHAP a través de su Comunidad de Accesibilidad[5]por su elevada calidad y claridad en los resultados.
Este servicio de diagnóstico permite, a partir de una URL indicada, la selección aleatoria de un número de páginas indicado. La herramienta analiza estas páginas conforme al tipo de estudio seleccionado y remite un informe, donde se realiza una estimación del nivel de accesibilidad de las mismas asignándoles una puntuación de 0 a 10. Agregando todos los resultados se ofrece también una estimación de la situación global del portal.
Para la exploración automática del portal, se ha comenzado por la página principal de cada universidad. A partir de esta página, y de la profundidad[6] y amplitud[7] seleccionadas por el usuario, se realiza la exploración. En este trabajo se ha escogido una muestra de profundidad y amplitud 2x2, por lo que la herramienta selecciona un número variable de páginas de forma aleatoria (hasta un máximo de 5, incluyendo la página principal de cada universidad).
Para su análisis, el Observatorio de Accesibilidad del MINHAP evalúa un total de 20 verificaciones distribuidas en dos grupos de análisis y adecuación: Análisis I (características genéricas de accesibilidad y estándares de una página) y Análisis II (características concretas de accesibilidad). Estas verificaciones contemplan los aspectos más importantes y relevantes que una página web accesible debe cumplir. En la Tabla IIa y la Tabla IIb, se muestran las verificaciones referidas, agrupadas conforme el nivel de análisis.
Tabla IIa. Definición de puntos de verificación. Nivel de Análisis I
Tabla IIb. Definición de puntos de verificación. Nivel de Análisis II
El grado de adecuación del nivel de análisis I y II se obtiene a partir de la conformidad de las verificaciones de dicho nivel. Hay que tener en cuenta que el grado de adecuación es independiente de la puntuación obtenida, ya que se trata de una métrica para clasificar ese portal en uno de los siguientes tipos:
Parcial. Es una adecuación inferior a las dos siguientes. Se obtiene cuando el grupo de adecuación Prioridad 1 tiene al menos dos verificaciones con modalidad Falla.
Prioridad 1. Se obtiene cuando el grupo de adecuación Prioridad 1 tiene un máximo de una verificación con modalidad Falla, y el grupo de adecuación Prioridad 2 tiene al menos dos verificaciones con modalidad Falla.
Prioridad 1 y 2. Se trata de la mejor adecuación posible. Se obtiene cuando los grupos de adecuación Prioridad 1 y Prioridad 2 tienen un máximo de una verificación, con modalidad Falla.
Herramienta 5.- eXaminator[8]. Esta herramienta ha sido utilizada debido a que ofrece como resultado global, una puntuación de 1 (muy mal) a 10 (excelente), basándose en algunas de las técnicas más representativas de la UNE 139803:2012 y nivel de adecuación AA. Por otro lado, proporciona puntuaciones concretas para cada tipo de discapacidad (limitaciones visuales totales, visuales graves parciales, en los miembros superiores, de comprensión y derivadas de la edad). Se ha analizado con esta herramienta la página principal de cada portal.
Herramienta 6.- TAW WCAG 2.0 Online[9]. Se ha escogido el Test de Accesibilidad Web, TAW (García, 2006García Fernández, J. (2006). Test de accesibilidad web (TAW). Boletic, 37. Disponible en: http://www.astic.es/sites/default/files/articulosboletic/mono4_3.pdf [Consulta:01/10/2015].), por la completitud de resultados que proporciona y ser la más utilizada en investigaciones recientes sobre la materia (Chacón-Medina y otros, 2013Chacón-Medina, A.; Chacón-López, H.; López-Justicia, M. D.; Fernández-Jiménez, C. (2013). Dificultades en la Accesibilidad Web de las Universidades Españolas de acuerdo a la Norma WCAG 2.0. Revista Española de Documentación Científica, 36 (4), e025, https://doi.org/10.3989/redc.2013.4.1009.; Hilera y otros, 2013Hilera, J.R.; Fernández, L.; Suárez, E.; Vilar, E.T. (2013). Evaluación de la accesibilidad de páginas web de universidades españolas y extranjeras incluidas en rankings universitarios internacionales. Revista Española de Documentación Científica, 36 (1), e004, https://doi.org/10.3989/redc.2013.1.913.; Toledo y otros, 2013Toledo Morales, P.; Sánchez García, J.M.; Gutiérrez Castillo, J.J. (2013). Evolución de la accesibilidad web en las Universidades Andaluzas. Revista Pixel Bit, de Medios y Comunicación, 43, Julio, pp. 65-83. Disponible en: http://acdc.sav.us.es/pixelbit/images/stories/p43/05.pdf [Consulta: 24/06/2015].). Este software analiza la página web basándose en las WCAG 2.0 y proporciona un informe agrupando los resultados en tres tipos: problemas (son necesarias las correcciones); advertencias (es necesario revisar manualmente) y no verificados (requieren una comprobación completamente manual). Mediante la misma se obtiene un listado de todos los elementos problemáticos para que puedan comprobarse manualmente y los organiza según cada principio. Al igual que eXaminator, se ha analizado la página principal de cada portal.
Herramienta 7.- Verificación manual. Para el análisis manual se ha utilizado la metodología de evaluación de conformidad según WCAG 2.0 (W3C, 2015W3C (2015). Metodología de Evaluación de Conformidad con la Accesibilidad Web. Disponible en: http://www.w3.org/TR/WCAG-EM [Consulta: 11/06/2015].) y los puntos de verificación (Quevedo, 2009Quevedo Santana, J.R. (2009). Guías Prácticas para Profesionales Web - Puntos de verificación de las Pautas de Accesibilidad al Contenido Web (WCAG) 2.0. Disponible en: http://qweos.net/blog/category/guias-practicas-para-profesionales-web [Consulta: 25/06/2015].) elaborados por la W3C. Igualmente, se ha analizado la página principal de cada portal.
En el proceso se han incluido las pautas que se tienen que comprobar de forma manual, y coincidentes con los errores obtenidos por el test TAW WCAG 2.0 Online. Posteriormente, se ha cumplimentado la plantilla, indicando en el campo “Resultado de la Revisión Manual” si la página cumple cada una de las verificaciones exigidas. Para ello, se han utilizado algunas herramientas manuales, como los navegadores gráficos más populares (Google Chrome, Internet Explorer y Mozilla Firefox con los complementos Accessibility Evaluation Toolbar[10] y Web Developer[11]). Para la evaluación de color y contraste se han utilizado las herramientas GrayBit[12] y WCAG Contrast Checker[13].
Una vez realizadas la comprobación manual y cumplimentada la plantilla, se ha calculado una “Puntuación Media Manual” (PMM). En este caso, se ha decidido obtenerla tomando como base otras herramientas, ofreciendo un resultado entre 0 y 10.
PMM = (SRV / VP) x 10
PMM: Puntuación Media Manual.
SRV: Suma de Resultados de todas las Verificaciones de la página.
VP: Número de Verificaciones Puntuables de la página.
Una vez recopilados los resultados obtenidos con las distintas herramientas, se ha calculado una puntuación global de accesibilidad web para cada Universidad, conforme a la siguiente fórmula:
PMT = (PMP + PME + PMM) / 3
PMT: Puntuación Media Total.
PMP: Puntuación Media obtenida por el Observatorio de Accesibilidad del MINHAP.
PME: Puntuación Media obtenida con eXaminator.
PMM: Puntuación Media obtenida en el test manual.
Para interpretar el grado de accesibilidad de las puntuaciones obtenidas se ha tenido en cuenta las siguientes tres escalas (Discapnet, 2010Discapnet (2010). Accesibilidad de Portales web Universitarios. Portal de personas con discapacidad, Observatorio de Accesibilidad TIC de Discapnet. Disponible en: http://www.discapnet.es/Castellano/areastematicas/Accesibilidad/Observatorio_infoaccesibilidad/informesInfoaccesibilidad/Paginas/AccesibilidaddePortalesWebUniversitarios.aspx [Consulta: 17/06/2015].):
“Cumplimiento”: una puntuación entre siete y diez puntos indicaría un sitio web con pocas barreras a los contenidos para personas con discapacidad y que, por lo tanto, cumpliría con la legislación vigente.
“Cumplimiento moderado”: una puntuación igual o superior a cinco e inferior a siete puntos indicaría la existencia de un mayor número de barreras a los contenidos y en consecuencia tendría un cumplimiento moderado.
“Incumplimiento”: para aquellos sitios web con una puntuación menor de cinco puntos los cuales tendría importantes barreras de acceso a los contenidos para personas discapacitadas y que, por consiguiente, no cumplirían con la legislación.
5.1. Análisis automático y manual
En la Tabla III se presentan los resultados relativos al análisis de la presencia de la Sección de Accesibilidad en los portales web.
Tabla III. Comprobación de la existencia de la Sección de Accesibilidad en los portales
Con respecto a la información sobre accesibilidad se observa que las Universidades de Almería, Cádiz, Granada, Jaén, Pablo de Olavide y Sevilla, informan claramente sobre el grado de accesibilidad de sus páginas, incluyendo en su página principal, los logotipos de declaración de conformidad con las pautas de accesibilidad a los contenidos web, y/o cuentan con el enlace “Accesibilidad” en el que se detalla, además del nivel de accesibilidad alcanzado, información sobre legislación, medidas que se han tomado para conseguir los niveles de accesibilidad actual y las intenciones futuras de aumentar la accesibilidad de sus páginas webs. El acceso a esta información en estos portales ha sido sencillo y cómodo.
Sin embargo, el acceso a esta información en los portales de las Universidades de Córdoba, Huelva, Internacional de Andalucía y Málaga, no ha sido fácil ya que, en su página principal, no cuentan con los logotipos de declaración de conformidad con las WCAG ni con un enlace visible en la mencionada página que informe sobre la accesibilidad del sitio web.
Para estos casos se ha tenido que recurrir a la búsqueda de la información a través de los mapas web y en los buscadores para su localización. Todas declaran tener un nivel de conformidad AA, sin embargo, solamente la Universidad de Granada y la Universidad Internacional de Andalucía dicen basarse en las WCAG 2.0. Se observa que ninguna cumple completamente con los requisitos de la W3C, y no se ha encontrado en ninguna de ellas la fecha de revisión de la conformidad.
En la Tabla IVa y Tabla IVb se presentan los resultados relativos al análisis de la accesibilidad web de los portales de las universidades públicas andaluzas con las herramientas automáticas y manuales.
Tabla IVa. Resultados del análisis de accesibilidad web de las Universidades públicas de Andalucía con herramientas automáticas y manuales
Tabla IVb. Resultados del análisis de accesibilidad web de las Universidades públicas de Andalucía con herramientas automáticas y manuales
Los valores medios obtenidos indican que el nivel de accesibilidad web de las Universidades analizadas es, en general, intermedio ya que todas las herramientas utilizadas muestran unos valores en torno a seis puntos de diez, siendo inferiores las calificaciones obtenidas por la herramienta manual que las obtenidas por las herramientas automáticas del Observatorio de Accesibilidad del MINHAP y eXaminator.
Con respecto a los valores medios de las distintas limitaciones obtenidos por la herramienta eXaminator, no se aprecia una gran diferencia, siendo el valor mínimo 5,91 para las relacionadas con la comprensión y un valor máximo de 6,59 para las visuales graves parciales.
Según la Puntuación Media Total (PMT), se distinguen tres grupos diferenciados. El primero correspondería a las Universidades de Granada, Jaén, Almería y Cádiz. Estas son las que mejor cumplen con la accesibilidad al tener una puntuación igual o superior a 7. Un segundo grupo lo formarían las universidades Pablo de Olavide, Sevilla, Córdoba e Internacional de Andalucía, que se encuentran en un nivel intermedio, al tener puntuaciones iguales o superiores a 5 e inferiores 7. El último grupo con un nivel bajo estaría formado por la Huelva y Málaga al tener puntuaciones inferiores a 5. De acuerdo con la PMT, entre la más accesible (Universidad de Granada) y la menos accesible (Universidad de Málaga) hay una diferencia superior a 3 puntos.
Según las diferentes herramientas empleadas, destaca positivamente la Universidad de Granada con una puntuación de 7,78 según la herramienta del Observatorio de Accesibilidad del MINHAP. Conforme a la herramienta eXaminator, destacan las Universidades de Jaén y Granada con una puntuación de 8,3. Asimismo, según la herramienta TAW WCAG 2.0 Online, las universidades con menos incidencias son Almería con cero “problemas”, Huelva con dos “advertencias” y Córdoba con catorce “no verificados”. Según el test manual, la Universidad de Jaén con un 7,75 cuenta con la mayor puntuación. Por último, con respecto a los resultados desagregados por limitaciones ofrecidos por la herramienta eXaminator, observamos que las universidades de Almería, Jaén y Granada son las que obtienen mejores puntuaciones.
Por el contrario, la Universidad que ofrece la puntuación más baja según la herramienta del Observatorio de Accesibilidad del MINHAP sería la Universidad de Málaga con 4,70. Asimismo, la Universidad de Huelva muestra resultados más bajos según la herramienta eXaminator, ofreciendo una puntuación de 4,1 y según el Test Manual con un valor de 4,0. Según la herramienta TAW WCAG 2.0 Online, la Universidad de Málaga es la que muestra mayor número de problemas encontrados, con un total de 54. Por último, distinguiendo por las limitaciones ofrecidas por la herramienta eXaminator, las universidades que obtienen puntuaciones inferiores son las de Huelva e Internacional de Andalucía.
Al comparar nuestros resultados con trabajos previos donde se han evaluado universidades públicas andaluzas, se comprueba que, en general, la accesibilidad ha ido evolucionando positivamente, por lo que se deduce que los responsables de los portales han tenido en cuenta la accesibilidad en sus desarrollos web.
La Universidad de Granada obtiene los mejores resultados en nuestro estudio y son consistentes con los de investigaciones previas (Chacón-Medina y otros, 2013Chacón-Medina, A.; Chacón-López, H.; López-Justicia, M. D.; Fernández-Jiménez, C. (2013). Dificultades en la Accesibilidad Web de las Universidades Españolas de acuerdo a la Norma WCAG 2.0. Revista Española de Documentación Científica, 36 (4), e025, https://doi.org/10.3989/redc.2013.4.1009.; Román y otros, 2013Román Durán, M.; Bernier Villamor, J.L.; Fernández Rodríguez, G. (2013). Diseño de un modelo para evaluar la accesibilidad web y validación sobre un ranking de las universidades españolas. Ibersid: Revista de Sistemas de Información y Documentación, vol. 7, pp. 49-55. Disponible en: http://www.ibersid.eu/ojs/index.php/ibersid/article/download/4063/3746 [Consulta: 01/07/2015].; Torres, 2013Torres Briz, J.P. (2013). Discapacidad y universidad - Análisis del nivel de accesibilidad de las páginas webs de las universidades españolas, Trabajo Fin de Máster de la Universidad de Cantabria. Disponible en: http://repositorio.unican.es/xmlui/handle/10902/4539 [Consulta: 02/07/2015].). Las Universidades de Almería, Cádiz, Córdoba, Internacional de Andalucía y Sevilla alcanzan buenas valoraciones en los estudios previos, habitualmente por encima de la media. Contrastándolos con nuestros resultados, sólo las dos primeras obtienen unas puntuaciones notables, mientras que las restantes no logran los resultados esperados.
Por otra parte, se observa en las investigaciones previas que las Universidades de Jaén, Málaga y Pablo de Olavide generalmente obtienen puntuaciones cercanas a la media o algo inferiores. A este respecto, la Universidad de Jaén alcanza una de las mejores puntuaciones en nuestros análisis, mientras que la Universidad de Málaga obtiene la peor valoración. También llama la atención, en uno de los estudios más recientes (Toledo y otros, 2013Toledo Morales, P.; Sánchez García, J.M.; Gutiérrez Castillo, J.J. (2013). Evolución de la accesibilidad web en las Universidades Andaluzas. Revista Pixel Bit, de Medios y Comunicación, 43, Julio, pp. 65-83. Disponible en: http://acdc.sav.us.es/pixelbit/images/stories/p43/05.pdf [Consulta: 24/06/2015].), el excelente resultado obtenido por la Universidad Pablo de Olavide, aunque en nuestro estudio sólo muestra un nivel intermedio de adecuación.
Por último, la Universidad de Huelva habitualmente no suele lograr buenos resultados, situándose en puestos por debajo de la media; y de forma similar ocurre en nuestra investigación, al obtener la segunda peor puntuación.
5.2. Errores comunes y posibles soluciones
En la Tabla V se exponen, de forma ya resumida, los valores medios del cumplimiento de los criterios de conformidad agrupados según los cuatro principios correspondientes, y han sido obtenidos a partir del análisis manual realizado a los portales web.
Tabla V. Resultados del análisis manual de los principios accesibilidad WCAG 2.0
A este respecto, una gran parte de estos errores suelen ser ocasionados por el uso inadecuado de las gramáticas empleadas en el diseño web, es decir, XHTML y CSS. A continuación, se discuten los errores más comunes en el cumplimiento del nivel de conformidad A y se proponen posibles correcciones para solventarlos.
Con relación al criterio de conformidad “1.1.1.- Contenido no textual” del principio de perceptibilidad, el 60% de los portales web presentan páginas con imágenes sin textos alternativos, inadecuados, o bien texto vacío. En otros casos algunos de los botones de los formularios no tienen etiquetas textuales <label> asociadas. Las páginas deberían incluir textos alternativos añadiendo, dentro de las etiquetas de HTML, atributos tales como <title>, ofreciendo una explicación adicional al texto que aparezca, o bien añadiendo el atributo <alt>. Las imágenes que no transmitan contenidos o sean decorativas se ofrecerán con el texto alternativo vacío (alt=””) o aplicadas como fondos de imagen CSS. Por ello, es necesario que todas las imágenes cuenten con un texto descriptivo alternativo.
Asimismo, el 90% de los portales web analizados presentan diferentes errores en cuanto al cumplimiento del criterio de conformidad “1.3.1.- Información y relaciones” del principio de perceptibilidad. Por ejemplo, se ha detectado la presencia de encabezados (títulos) seguidos del mismo nivel (o superior) sin contenido entre ellos o que no tienen texto. No se usa correctamente el anidamiento de encabezados, existe una inadecuada agrupación estructural, no separando entre el contenido y su presentación. A este respecto, las páginas web no deberían tener niveles vacíos cuando se declaren, y deberían establecerse de forma secuencial, agrupando de forma más consistente siguiendo los estándares. Igualmente, se deben emplear hojas de estilo separadas del código del programa. En todos los portales webs analizados se han identificado errores relacionados con el criterio de conformidad “2.4.4.- Propósito de los enlaces (en contexto)” del principio de operatividad ya que existen enlaces sin contenido textual, sobre todo por ser imágenes. Debería añadirse dicho contenido textual mediante la propiedad <alt>.
Cuando se generan nuevas ventanas en determinados enlaces, dentro del mismo bloque, se observa en el 60% de los portales web analizados que no se avisa al usuario de que ese enlace se va a abrir en una nueva ventana, conforme al criterio de conformidad “3.2.1.- Al recibir el foco” del principio de comprensibilidad. A este respecto deberían incorporarse descripciones y elementos que ayuden al usuario a elegir entre diversos destinos. Un 60% de los portales web no cumple con el criterio de conformidad “3.3.2.- Etiquetas o instrucciones. Formularios” del principio de comprensibilidad, debido a que el elemento <input> no tiene una etiqueta asociada explícitamente de forma correcta. Como corrección se deberían proporcionar las suficientes etiquetas, avisos e instrucciones necesarias para los elementos interactivos. Por ejemplo, escribiendo la etiqueta <label for <nombre id>> y agrupando los campos relacionados con etiqueta <fieldset> y <legend>.
Por último, con respecto al criterio de conformidad “4.4.1.- Compatibilidad. Análisis” del principio de robustez, un 90% de los portales analizados presentan errores de sintaxis en las gramáticas existentes empleadas (XHTML). A este respecto debería comprobarse el código y validarlo mediante las herramientas online que dispone el W3C.
6. DISCUSIÓN Y CONCLUSIONES Top
La web se creó como una red de conocimiento que ha supuesto un gran avance en cuanto al acceso universal a la información. Actualmente, debido a diferentes razones, existen barreras en la web, que pueden dificultar o impedir el acceso a los contenidos. Aunque es frecuente que se piense que la accesibilidad es algo que atañe únicamente a personas discapacitadas, se trata de una idea equivocada, ya que cualquiera puede tener dificultades de acceso a la web en un determinado momento. Por ello, la accesibilidad web es el recurso que permitirá eliminar, o al menos minimizar, estas barreras que impiden a los usuarios acceder a la información, de ahí la importancia de su cumplimiento.
En la última década, en España se han realizado importantes avances legislativos en materia de accesibilidad web en Administraciones Públicas. No obstante, aún queda mucho margen de mejora en cuanto al cumplimiento y aplicación de la misma. La aplicación de la accesibilidad web supone un ahorro en términos de costes en su futura optimización, redunda en el corto plazo en beneficio de los usuarios y refrenda el carácter social de la institución.
Los resultados del trabajo son consistentes con los obtenidos en estudios previos sobre la accesibilidad web de universidades y permiten conocer la situación actual de la accesibilidad web de las mismas. En términos generales, se comprueba que los portales han ido incorporando la accesibilidad en sus desarrollos cumpliendo con la legislación vigente en cuanto al nivel de conformidad AA. No obstante, ninguna de las Universidades públicas andaluzas se adecúan completamente al nivel de conformidad AA de la norma WCAG 2.0.
Se ha limitado este trabajo al análisis de las universidades públicas andaluzas. Futuros trabajos podrían continuar con la línea de Chacón-Medina y otros (2013Chacón-Medina, A.; Chacón-López, H.; López-Justicia, M. D.; Fernández-Jiménez, C. (2013). Dificultades en la Accesibilidad Web de las Universidades Españolas de acuerdo a la Norma WCAG 2.0. Revista Española de Documentación Científica, 36 (4), e025, https://doi.org/10.3989/redc.2013.4.1009.) y de Hilera y otros (2013Hilera, J.R.; Fernández, L.; Suárez, E.; Vilar, E.T. (2013). Evaluación de la accesibilidad de páginas web de universidades españolas y extranjeras incluidas en rankings universitarios internacionales. Revista Española de Documentación Científica, 36 (1), e004, https://doi.org/10.3989/redc.2013.1.913.) ampliando la muestra de portales web a las más representativas en el ámbito nacional e internacional, incluyendo asimismo a las universidades privadas.
Igualmente, podrían existir limitaciones por la metodología utilizada en el trabajo. Por ejemplo, se podría considerar que la muestra de páginas analizadas no ha sido suficiente. No obstante, se ha analizado al menos la página principal con todas las herramientas automáticas y manuales, así como un número aleatorio de cinco páginas con la herramienta del Observatorio de Accesibilidad del MINHAP. A este respecto, también podría haber sido seleccionada una muestra de las páginas con más visitas del portal y que contuvieran elementos problemáticos en cuanto a accesibilidad, como documentos descargables, formularios, tablas o archivos de audio o vídeo.
En cuanto a futuras líneas de análisis, deberían plantearse trabajos empíricos con una metodología experimental que evalúen el impacto de los distintos tipos de discapacidades de los usuarios en la accesibilidad web y que complementen los resultados obtenidos mediante herramientas automáticas y manuales de evaluación. Por otra parte, también podría analizarse el impacto de las innovaciones en cuanto al hardware, como lectores de pantalla, dispositivos móviles y otras interfaces hombre/máquina, y mejoras en las herramientas software, por ejemplo HTML5 o CSS3 Speech Module, que faciliten la proliferación de contenidos accesibles y el progreso de la web semántica.
A D. Fernando Díaz del Río, profesor del Departamento de Arquitectura y Tecnología de Computadores de la ETSII de la Universidad de Sevilla, tutor del Trabajo Fin de Grado titulado “Análisis de Accesibilidad Web de las Universidades Públicas Andaluzas”.
8. NOTAS Top
La accesibilidad y usabilidad web son conceptos estrechamente relacionados pero a su vez diferentes. Mientras que la accesibilidad se basa en la facilidad de acceso al aplicar un diseño universal a un producto o servicio, para que no excluya a ningún usuario, la usabilidad se preocupa por mejorar la facilidad de uso de las páginas web, por ejemplo, en relación a la rapidez de aprendizaje, la eficiencia de uso y la satisfacción del usuario (Nielsen, 1993Nielsen, J. (1993). Usability Engineering. Boston: Academic Press, pp. 10-37.).
http://administracionelectronica.gob.es/comunidades/accesibilidad
Cualquier gestor de las Administraciones Públicas responsable de los portales web correspondientes puede solicitar formar parte de esta comunidad y hacer uso de los servicios ofrecidos. Se trata de un punto de encuentro para los gestores de portales web de las Administraciones Públicas de cualquier ámbito administrativo donde se puede compartir experiencias y resolver dudas.
La profundidad hace referencia al número de clics necesarios para llegar hasta una página específica. De esta forma, una página de profundidad cuatro será aquella para la que ha sido necesario seguir cuatro enlaces desde la página principal para llegar a ella.
La amplitud hace referencia al número de páginas analizadas en cada nivel de profundidad, es decir, por cada nivel que el rastreador se adentre en el portal web, se seleccionarán tantas páginas como estén definidas en la amplitud.
http://examinator.ws/
https://addons.mozilla.org/es/firefox/addon/accessibility-evaluation-toolb/
https://addons.mozilla.org/es/firefox/addon/web-developer/
http://gray-bit.com
9. REFERENCIASTop
○ AENOR (2004). UNE 139803:2004. Requisitos de accesibilidad para contenidos en la web. Madrid: Asociación Española de Normalización y Certificación.
○ AENOR (2012). UNE 139803:2012. Requisitos de accesibilidad para contenidos en la web. Madrid: Asociación Española de Normalización y Certificación.
○ Alexander, D. (2004). WebWatch: How Accessible Are Australian University Web Sites?. Ariadne, 38, Disponible en http://www.ariadne.ac.uk/issue38/alexander [Consulta: 04/06/2015].
○ Alexander, D.; Rippon, S. (2007). University website accessibility revisited. Australia: Southern Cross University. Disponible en: http://ausweb.scu.edu.au/aw07/papers/refereed/alexander/paper.html [Consulta: 04/06/2015].
○ BOE (2002). Ley 34/2002, de 11 de julio, de Servicios de la Sociedad de la Información y de Comercio Electrónico. BOE, número 166, de 12/7/2002, pp. 25388-25403.
○ BOE (2003). Ley 59/2003, de 19 de diciembre, de firma electrónica. BOE, número 304, pp. 45329-45343.
○ BOE (2007a). Real Decreto 366/2007, de 16 de marzo, por el que se establecen las Condiciones de Accesibilidad y no Discriminación de las Personas con Discapacidad en sus Relaciones con la Administración General del Estado. BOE, número 72, pp. 12852-12856.
○ BOE (2007b). Ley 11/2007, de 22 de junio, de acceso electrónico de los ciudadanos a los Servicios Públicos. BOE, número 150, pp. 27150-27166.
○ BOE (2007c). Real Decreto 1494/2007, de 12 de noviembre (Ministerio de la Presidencia), por el que se aprueba el Reglamento sobre las condiciones básicas para el acceso de las personas con discapacidad a las tecnologías, productos y servicios relacionados con la sociedad de la información y medios de comunicación social. BOE, número 279, pp. 47567-47572.
○ BOE (2007d). Ley 56/2007, de 28 de diciembre, de Medidas de Impulso de la Sociedad de la Información. BOE, número 312, pp. 53701-53719.
○ BOE (2012). Resolución de 3 de septiembre de 2012, de la Dirección General de Industria y de la Pequeña y Mediana Empresa, por la que se publica la relación de normas UNE aprobadas por AENOR durante el mes de julio de 2012. BOE, número 237, p. 70038.
○ Chacón-Medina, A.; Chacón-López, H.; López-Justicia, M. D.; Fernández-Jiménez, C. (2013). Dificultades en la Accesibilidad Web de las Universidades Españolas de acuerdo a la Norma WCAG 2.0. Revista Española de Documentación Científica, 36 (4), e025. https://doi.org/10.3989/redc.2013.4.1009
○ Córdova, M.A. (2012). Estudio comparativo de accesibilidad web en portales informativos de Universidades Peruanas de Educación a Distancia. En: Bengoechea, L.; Hilera, J.R. (coords.), Actas del III Congreso Iberoamericano sobre Calidad y Accesibilidad de la Formación Virtual: CAFVIR 2012, pp. 63-73. Universidad de Alcalá, Servicio de publicaciones. Disponible en: http://www.esvial.org/wp-content/files/paper_Cafvir63.pdf [Consulta: 21/06/2015].
○ Discapnet (2004). La accesibilidad de los portales universitarios en España. Portal de personas con discapacidad, Observatorio de Accesibilidad TIC de Discapnet. Disponible en: http://www.discapnet.es/Castellano/areastematicas/Accesibilidad/Observatorio_infoaccesibilidad/informesInfoaccesibilidad/Paginas/LaaccesibilidaddelosportalesuniversitariosenEspa%C3%B1a.aspx [Consulta: 12/06/2015].
○ Discapnet (2006). Accesibilidad de Portales web Universitarios. Portal de personas con discapacidad, Observatorio de Accesibilidad TIC de Discapnet. Disponible en: http://www.discapnet.es/Castellano/areastematicas/Accesibilidad/Observatorio_infoaccesibilidad/informesInfoaccesibilidad/Paginas/AccesibilidaddePortalesWebUniversitarios2006.aspx [Consulta: 17/06/2015].
○ Discapnet (2010). Accesibilidad de Portales web Universitarios. Portal de personas con discapacidad, Observatorio de Accesibilidad TIC de Discapnet. Disponible en: http://www.discapnet.es/Castellano/areastematicas/Accesibilidad/Observatorio_infoaccesibilidad/informesInfoaccesibilidad/Paginas/AccesibilidaddePortalesWebUniversitarios.aspx [Consulta: 17/06/2015].
○ García Fernández, J. (2006). Test de accesibilidad web (TAW). Boletic, 37. Disponible en: http://www.astic.es/sites/default/files/articulosboletic/mono4_3.pdf [Consulta:01/10/2015].
○ González Flórez, J.A. (2006). Pautas de accesibilidad web para bibliotecas. Buenos Aires: Alfagrama, pp. 22-56.
○ Hassan Montero, Y.; Martín Fernández, F.J. (2003). Qué es la Accesibilidad Web. No solo usabilidad. Revista sobre personas, diseño y tecnología (NSU), 2. Disponible en: http://www.nosolousabilidad.com/articulos/accesibilidad.htm [Consulta: 09/06/2015].
○ Hassan Montero, Y.; Martín Fernández, F.J. (2004). Propuesta de adaptación de la metodología de diseño centrado en el usuario para el desarrollo de sitios web accesibles. Revista Española de Documentación Científica, 27 (3), pp. 330-344. https://doi.org/10.3989/redc.2004.v27.i3.156
○ Hilera, J.R.; Fernández, L.; Suárez, E.; Vilar, E.T. (2013). Evaluación de la accesibilidad de páginas web de universidades españolas y extranjeras incluidas en rankings universitarios internacionales. Revista Española de Documentación Científica, 36 (1), e004. https://doi.org/10.3989/redc.2013.1.913
○ Karhu, M.; Hilera, J.R.; Fernández, L.; Rios, R. (2012). Accessibility and readability of university websites in Finland. En: Bengoechea, L.; Hilera, J.R. (coords.), Actas del III Congreso Iberoamericano sobre Calidad y Accesibilidad de la Formación Virtual: CAFVIR 2012, pp. 151-158. Universidad de Alcalá, Servicio de publicaciones. Disponible en: http://www.esvial.org/wp-content/files/paper_Cafvir151.pdf [Consulta: 24/06/2015].
○ Kurt, S. (2011). The accessibility of university web sites: the case of Turkish universities. Universal Access in the Information Society, 10 (1), pp. 101-110. https://doi.org/10.1007/s10209-010-0190-z
○ Laitano, M. I. (2015). Accesibilidad web en el espacio universitario público argentino. Revista Española de Documentación Científica, 38 (1), e079. https://doi.org/10.3989/redc.2015.1.1136
○ MINHAP (2014). Guía de validación de accesibilidad web. Ministerio de Hacienda y Administraciones Públicas (Dirección de Tecnologías de la Información y las Comunicaciones). Diciembre 2014. Disponible en: http://administracionelectronica.gob.es/pae_Home/pae_Estrategias/pae_Accesibilidad/pae_documentacion/pae_eInclusion_Guias_Practicas.html#.WR597Ovyh0w [Consulta: 30/06/2015].
○ Nielsen, J. (1993). Usability Engineering. Boston: Academic Press, pp. 10-37.
○ Poncela, R. (2006). Accesibilidad web. Boletic, 37. Disponible en: http://www.astic.es/sites/default/files/boletic_completos/Boletic37.pdf [Consulta: 01/10/2015].
○ Quevedo Santana, J.R. (2009). Guías Prácticas para Profesionales Web - Puntos de verificación de las Pautas de Accesibilidad al Contenido Web (WCAG) 2.0. Disponible en: http://qweos.net/blog/category/guias-practicas-para-profesionales-web [Consulta: 25/06/2015].
○ Ribera, M.; Térmens, M.; Frías, A. (2009). La accesibilidad de las webs de las universidades españolas. Balance 2001-2006. Revista Española de Documentación Científica, 32 (3), pp. 66-68. https://doi.org/10.3989/redc.2009.3.683
○ Rocha, R.; Cobo, Á.; Alonso, M. (2011). Administración electrónica en las universidades públicas españolas. Revista Española de Documentación Científica, 34 (4), pp. 545-562. https://doi.org/10.3989/redc.2011.4.845
○ Rodríguez Esparragón, D.; Viera Santana, J.G. (2006). Universidades: discapacidad y retos en la accesibilidad. Revista Antena de Comunicación, Junio, pp. 23-26. Disponible en: http://coitt.es/res/revistas/Antena164_06e_Universidades.pdf [Consulta: 09/07/2015].
○ Román Durán, M.; Bernier Villamor, J.L.; Fernández Rodríguez, G. (2013). Diseño de un modelo para evaluar la accesibilidad web y validación sobre un ranking de las universidades españolas. Ibersid: Revista de Sistemas de Información y Documentación, vol. 7, pp. 49-55. Disponible en: http://www.ibersid.eu/ojs/index.php/ibersid/article/download/4063/3746 [Consulta: 01/07/2015].
○ Serrano Mascaraque, E. (2009). Herramientas para la evaluación de la accesibilidad Web. Documentación de las Ciencias de la Información, vol. 32, pp. 245-266. Disponible en: http://revistas.ucm.es/index.php/DCIN/article/view/DCIN0909110245A/18823 [Consulta: 28/06/2015].
○ Térmens Graells, M.; Ribera Turró, M.; Sulé Duesa, A. (2003). Nivel de accesibilidad de las sedes web de las universidades españolas. Revista Española de Documentación Científica, 26 (1), pp. 21-39. https://doi.org/10.3989/redc.2003.v26.i1.131
○ Thompson, T.; Burgstahler, S.; Moore, E.J. (2010). Web accessibility: A longitudinal study of college and university home pages in the northwestern United States. Disability and Rehabilitation: Assistive Technology, 5 (2), pp. 108-114. https://doi.org/10.3109/17483100903387424
○ Toledo Morales, P. (2001). La accesibilidad en las Web de las Universidades Andaluzas. Revista Pixel Bit, de Medios y Comunicación, 17, Junio 2001. http://acdc.sav.us.es/ojs/index.php/pixelbit/article/view/857/689
○ Toledo Morales, P.; Sánchez García, J.M.; Gutiérrez Castillo, J.J. (2013). Evolución de la accesibilidad web en las Universidades Andaluzas. Revista Pixel Bit, de Medios y Comunicación, 43, Julio, pp. 65-83. Disponible en: http://acdc.sav.us.es/pixelbit/images/stories/p43/05.pdf [Consulta: 24/06/2015].
○ Torres Briz, J.P. (2013). Discapacidad y universidad - Análisis del nivel de accesibilidad de las páginas webs de las universidades españolas. Trabajo Fin de Máster de la Universidad de Cantabria. Disponible en: http://repositorio.unican.es/xmlui/handle/10902/4539 [Consulta: 02/07/2015].
○ W3C (1999). Web Content Accessibility Guidelines (WCAG) 1.0, de la WC3-WAI. Disponible en: http://www.w3.org/TR/WCAG10 [Consulta: 11/06/2015].
○ W3C (2008). Web Content Accessibility Guidelines (WCAG) 2.0, de la WC3-WAI. Disponible en: http://www.w3.org/TR/WCAG20 [Consulta: 11/06/2015].
○ W3C (2015). Metodología de Evaluación de Conformidad con la Accesibilidad Web. Disponible en: http://www.w3.org/TR/WCAG-EM [Consulta: 11/06/2015].

References: Real Decreto 
 Real Decreto 
 Real Decreto 
 Resolución 
 Real Decreto 
 Real Decreto 
 Resolución