Ontology Evaluation: a pitfall-based approach to ontology diagnosis

La evaluacion de ontologias, incluyendo diagnostico y reparacion de las mismas, es una compleja actividad que debe llevarse a cabo en cualquier proyecto de desarrollo ontologico para comprobar la calidad tecnica de las ontologias. Sin embargo, existe una gran brecha entre los enfoques metodologicos sobre la evaluacion de ontologias y las herramientas que le dan soporte. En particular, no existen enfoques que proporcionen guias concretas sobre como diagnosticar y, en consecuencia, reparar ontologias. Esta tesis pretende avanzar en el area de la evaluacion de ontologias, concretamente en la actividad de diagnostico. Los principales objetivos de esta tesis son (a) ayudar a los desarrolladores en el diagnostico de ontologias para encontrar errores comunes y (b) facilitar dicho diagnostico reduciendo el esfuerzo empleado proporcionando el soporte tecnologico adecuado. Esta tesis presenta las siguientes contribuciones: • Catalogo de 41 errores comunes que los ingenieros ontologicos pueden cometer durante el desarrollo de ontologias. • Modelo de calidad para el diagnostico de ontologias alineando el catalogo de errores comunes con modelos de calidad existentes. • Diseno e implementacion de 48 metodos para detectar 33 de los 41 errores comunes en el catalogo. • Soporte tecnologico OOPS! , que permite el diagnstico de ontologias de forma (semi)automatica. De acuerdo con los comentarios recibidos y los resultados de los test de satisfaccion realizados, se puede afirmar que el enfoque desarrollado y presentado en esta tesis ayuda de forma efectiva a los usuarios a mejorar la calidad de sus ontologias. OOPS! ha sido ampliamente aceptado por un gran numero de usuarios de formal global y ha sido utilizado alrededor de 3000 veces desde 60 paises diferentes. OOPS! se ha integrado en software desarrollado por terceros y ha sido instalado en empresas para ser utilizado tanto durante el desarrollo de ontologias como en actividades de formacion. Abstract Ontology evaluation, which includes ontology diagnosis and repair, is a complex activity that should be carried out in every ontology development project, because it checks for the technical quality of the ontology. However, there is an important gap between the methodological work about ontology evaluation and the tools that support such an activity. More precisely, not many approaches provide clear guidance about how to diagnose ontologies and how to repair them accordingly. This thesis aims to advance the current state of the art of ontology evaluation, specifically in the ontology diagnosis activity. The main goals of this thesis are (a) to help ontology engineers to diagnose their ontologies in order to find common pitfalls and (b) to lessen the effort required from them by providing the suitable technological support. This thesis presents the following main contributions: • A catalogue that describes 41 pitfalls that ontology developers might include in their ontologies. • A quality model for ontology diagnose that aligns the pitfall catalogue to existing quality models for semantic technologies. • The design and implementation of 48 methods for detecting 33 out of the 41 pitfalls defined in the catalogue. • A system called OOPS! (OntOlogy Pitfall Scanner! ) that allows ontology engineers to (semi)automatically diagnose their ontologies. According to the feedback gathered and satisfaction tests carried out, the approach developed and presented in this thesis effectively helps users to increase the quality of their ontologies. At the time of writing this thesis, OOPS! has been broadly accepted by a high number of users worldwide and has been used around 3000 times from 60 different countries. OOPS! is integrated with third-party software and is locally installed in private enterprises being used both for ontology development activities and training courses.