# Génération automatique d'un questionnaire à partir d'une ontologie de domaine

Leila Zemmouchi-Ghomari, Faiza Deghmani, Aya Meghnous

► To cite this version:

Leila Zemmouchi-Ghomari, Faiza Deghmani, Aya Meghnous. Génération automatique d'un questionnaire à partir d'une ontologie de domaine. Journées Francophones de l'ingénierie des Connaissances, IC, PFIA, INRIA, Jul 2017, Caen, France. hal-04655480

HAL Id: hal-04655480

https://hal.science/hal-04655480v1

Submitted on 22 Jul 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Génération automatique d'un questionnaire à partir d'une ontologie de domaine

Leila Zemmouchi-Ghomari¹, Faiza Deghmani² et Aya Meghnous³

1,2,3 Département d'informatique, Faculté d'Electronique et d'Informatique, Université des Sciences et des Technologies Houari Boumediene USTHB

Lzemmouchi-ghomari@usthb.dz
{deghmani.faiza, meghnous.aya}@gmail.com

**Résumé** : L'usage croissant des ontologies dans les applications informatiques pose le problème de l'estimation de la qualité de ces ontologies et de leur adéquation par rapport au problème qu'elles contribuent à résoudre. La validation d'une ontologie vérifie que la sémantique des définitions modélise la réalité pour laquelle l'ontologie a été développée. Etant donné que le langage naturel est considéré comme un moyen incontournable de transfert de la connaissance et que les experts du domaine ne maîtrisent pas forcément les langages formels des ontologies, une des techniques de validation les plus utilisées est le questionnaire en langage naturel. Dans cet article, nous proposons un système de génération automatique de questionnaire à partir d'ontologies dans le cadre d'une approche d'évaluation des ontologies proposée dans un travail antérieur. Le résultat de ce système est un questionnaire destiné à représenter les composants de l'ontologie de façon informelle afin d'être évalués par les experts du domaine.

**Mots-clés** : Ontologies de domaine, validation d'ontologies, évaluation des ontologies, questionnaire, concepteur d'ontologies, expert du domaine.

## 1 Introduction

Le mouvement mondial du développement de technologies open source, libres et permettant le partage et la réutilisation ne cesse de progresser. Parmi ces technologies, les ontologies, « spécifications explicites de conceptualisation » (Gruber, 1993), occupent une place de choix dans la palette des technologies du web Sémantique. En effet, les ontologies jouent un rôle primordial dans la représentation, la réutilisation et le partage des connaissances d'un domaine de façon formelle, consensuelle et explicite.

Néanmoins, l'usage croissant d'ontologies formelles dans les applications informatiques pose le problème de l'évaluation de la qualité de ces ontologies et de leur adéquation aux problèmes qu'elles contribuent à résoudre. L'évaluation des ontologies selon Gomez Perez (Gomez-Perez, 2004a), porte sur un jugement technique du contenu de l'ontologie au regard du cadre de référence (spécification des besoins) et s'assure que l'ontologie modélise correctement le domaine du monde réel pour lequel elle a été développée.

De façon générale, l'évaluation des ontologies est incontournable dans le cas du développement d'une nouvelle ontologie ou dans le cas de la réutilisation d'une ontologie existante (Sheth et al., 2010). En effet, l'évaluation des ontologies est une phase critique dans le domaine de l'ingénierie ontologique (Eschenbach & Gruninger, 2008). Plusieurs méthodologies de développement d'ontologies (Fernandez-Lopez et al., 1997), (Sure & Studer, 2002), (Suárez-Figueroa et al., 2012) incluent l'évaluation comme partie intégrante du processus de développement des ontologies (Lovrenčić & Čubrilo, 2008). En effet, les ontologies de qualité incertaine posent plusieurs problèmes. Les agents qui exploitent ces
ontologies et qui utilisent des connaissances incomplètes, inconsistantes, non pertinentes ou
ambigües auront des difficultés à obtenir des résultats probants (Burton-Jones et al., 2005).
Une ontologie jugée de bonne qualité garantira l'absence d'erreurs, et une réutilisation au
moindre risque (Gomez-Perez, 2004b).

Gomez-Perez dans (Gomez-Perez, 2004c) distingue deux types d'évaluation des ontologies: la vérification et la validation des ontologies. La vérification consiste à s'assurer que l'ontologie a été construite correctement alors que la validation mesure le degré d'adéquation entre l'ontologie et le domaine du monde réel qu'elle représente. C'est ce dernier type d'évaluation qui nous intéresse dans le cadre du présent travail.

Les approches de validation des ontologies peuvent être classées selon différentes dimensions (Brank et al., 2005), à savoir :

* Comparaison avec une référence ou un « gold standard », par exemple une ontologie de haut niveau, générique ou une ontologie de référence (Zemmouchi-Ghomari & Ghomari, 2009).

* Comparaison avec une source de données, par exemple, une collection de documents qui couvrent le domaine.

* Evaluation par les humains, à savoir : les développeurs d'ontologie, les experts du domaine et les utilisateurs finaux.

* Evaluation basée sur une application intégrant une ontologie, en d'autres termes, vérifier si l'application répond bien aux spécifications initiales.

Au-delà de cette classification, toutes ces approches nécessitent la coopération des experts du domaine. D'ailleurs, l'évaluation des ontologies est souvent assimilée à un processus semi-automatique (Gomez-Perez, 2004c) prenant en considération l'intervention humaine. De plus, l'ontologie est un artefact social puisqu'elle représente un consensus d'une conceptualisation partagée par un ensemble de parties prenantes. Le consensus est mesuré à travers la proportion d'accord que les experts du domaine partagent concernant les éléments constituants de l'ontologie (Gangemi et al., 2005).

L'objectif du présent travail est de proposer un outil de génération automatique de questionnaire à partir d'une ontologie de domaine dans le cadre d'une approche d'évaluation d'ontologie proposée dans un travail antérieur (Zemmouchi-Ghomari & Ghomari, 2014).

Cet article est organisé de la manière suivante: Section 2 présente l'approche d'évaluation proposée qui constitue le cadre du présent travail. Section 3 décrit la conception, l'implémentation et l'expérimentation du système automatique de génération d'un questionnaire à partir d'une ontologie. Section 4 décrit les travaux similaires, à savoir : l'évaluation des ontologies par les experts du domaine à travers un questionnaire dans la littérature. Section 5 conclut cet article et présente quelques extensions possibles pour améliorer l'outil proposé.

## 2 Approche proposée

Dans un travail précédent (Zemmouchi-Ghomari & Ghomari, 2014), nous avons proposé une approche d'évaluation qui débute à partir d'une ontologie à évaluer et qui s'achève avec une ontologie mise à jour selon les recommandations des évaluateurs (voir Fig. 1). Cette approche est composée de 5 étapes :

1. Dérivation d'un questionnaire à partir des composants de l'ontologie.

2. Agrégation des résultats de l'enquête auprès des experts.

3. Analyse et synthèse des résultats obtenus.

4. Mise à jour du questionnaire en fonction du feedback des experts.

5. Mise à jour de l'ontologie en fonction des connaissances issues des résultats.
<figure><img src="image_2.png" /><figcaption>FIG 1. Approche de validation d'une ontologie par les experts via un questionnaire.</figcaption></figure>

Dans cet article, nous allons nous concentrer sur les étapes 1 et 2 de l'approche proposée. Nous nous contenterons de fournir quelques suggestions concernant le traitement du feedback du questionnaire dans les étapes 3 et 4.

Les recommandations des experts sont transmises au concepteur de l'ontologie en vue de
de procéder à sa mise à jour (étape 5).

Etape 1 et 2: Dérivation du questionnaire à partir des composants de l'ontologie et génération de résultats agrégés

Le questionnaire est un outil de collection et d'enregistrement d'informations sur un sujet d'intérêt. Il est composé d'une liste de questions ainsi que d'un espace dédié aux réponses. Il doit avoir un objectif préalablement défini.

Le questionnaire est destiné à représenter les composants de l'ontologie de façon
informelle (langage naturel) afin d'être évalués par les experts du domaine qui ne sont pas
nécessairement connaisseurs en matière de langages de représentation des ontologies, tels
que : RDF<fnref n="1" /> (Resource Description Framework) ou OWL<fnref n="2" /> (Web Ontology Language).

Une ontologie est évaluée sur la base de ses composants. Des classes organisées hiérarchiquement, reliées par des propriétés d'objet et décrites par des propriétés de données. L'ontologie est interprétée grâce aux axiomes, peuplée par des instances et documentée via des annotations.

De ce fait, l'approche est conçue de telle sorte à décomposer l'ontologie dans son ensemble en différents niveaux, à savoir: (a) hiérarchie des classes, (b) axiomes, (c) propriétés d'objet (d) propriété de données (e) instances et (f) annotations.

Afin de pallier à la génération manuelle du questionnaire à partir de l'ontologie (surtout pour les ontologies de grande taille), nous décrivons dans la section 3 : la conception et l'implémentation d'un outil qui prend en charge la réalisation automatique des étapes 1 et 2 de l'approche proposée.

Etape 3 et 4 : Analyse/Synthèse des résultats obtenus et Mise à jour du questionnaire

Holsapple et Joshi dans (Holsapple & Joshi, 2005) ont proposé une méthode d'évaluation pour la collaboration manuelle dans le cadre de l'ingénierie ontologique, dans laquelle chaque

<footnote n="1">¹ https://www.w3.org/TR/rdf-primer/</footnote>

<footnote n="2">² https://www.w3.org/TR/owl-features/</footnote>
suggestion faite par un expert est évaluée par d'autres experts, de ce fait, les meilleures
suggestions sont celles qui obtiennent l'approbation de plusieurs experts.

Une technique connue pour appliquer ce principe est la méthode Delphi, développée par Dalkey et Helmer en 1963 (Dalkey & Helmer, 1963). C'est une méthode largement utilisée et acceptée pour obtenir la convergence des opinions des experts concernant une thématique particulière (Hsu & Sandford, 2007).

Le processus Delphi est exécuté en plusieurs itérations jusqu'à ce qu'un consensus soit atteint. L'expérience a montré que trois itérations sont suffisantes pour atteindre ce consensus dans la plupart des cas.

Nous pensons que cette méthode est appropriée pour traiter le feedback des experts sur le questionnaire jusqu'à ce qu'un consensus soit atteint. Selon (Gomez-Perez, 2004c), il est préférable que le groupe d'experts soit restreint en nombre à condition qu'il soit composé d'experts reconnus dans le domaine de l'ontologie à évaluer. La mise à jour du questionnaire est réalisée sur la base des commentaires des experts qui ne seraient pas d'accord avec la formulation des questions générées et proposeraient soit de les supprimer soit de les modifier.

# 3 Conception du système automatique de génération de questionnaire à partir d'une ontologie

L'objectif de cet outil est de permettre aux concepteurs d'ontologies de soumettre leurs ontologies aux experts du domaine à travers des questionnaires générés automatiquement à partir de ces ontologies.

## 3.1. Fonctionnalités du système

Nous allons définir dans ce qui suit les fonctionnalités du système à travers deux acteurs possibles, le concepteur d'ontologie et l'expert du domaine.

1. Concepteur d'ontologie : Son rôle est de tester le questionnaire généré, et de vérifier si les questions correspondent aux composants de l'ontologie qu'il a conçue. Le rôle du concepteur, est résumé comme suit :

- Le concepteur vérifie l'adéquation entre son ontologie source et les questions générées.

Cette adéquation peut être totale, partielle ou nulle selon le degré d'adéquation du questionnaire généré par rapport à l'ontologie source.

Le concepteur retourne son feedback concernant chaque question générée, pour une éventuelle mise à jour de l'outil de génération du questionnaire et par conséquent la modification du questionnaire lui-même.

Lors d'une étape ultérieure, Le concepteur mettra à jour son ontologie dans le cadre de la validation de l'ontologie via le questionnaire, en fonction des réponses des experts de domaine au questionnaire.

2. Expert du domaine : son rôle est de répondre au questionnaire, après la validation de ce dernier par le concepteur d'ontologie. Les réponses proposées obéissent aux critères de qualité des ontologies énoncés dans la section 3.4. Ces réponses seront analysées par la suite pour la mise à jour de l'ontologie. L'expert a également la possibilité de critiquer le questionnaire sous forme de texte libre, ces remarques sont prises en considération pour la mise à jour de ce dernier.

## 3.2. Modélisation des données du système

Dans le cadre de ce travail, nous nous focalisons, dans un premier temps, sur la version 1 du langage OWL DL comme langage de représentation de connaissances. Ce choix se justifie par le fait qu'OWL soit considéré comme le langage le plus expressif des langages
ontologiques. Il constitue une extension à RDF et RDFS<fnref n="3" /> puisqu'il intègre tous leurs
constructeurs et offre également un niveau d'expressivité plus élevé en matière de
spécification des classes, telles que: l'équivalence entre classes, l'incompatibilité ainsi que la
symétrie et la transitivité des propriétés à titre d'exemple.

Les règles de gestion sont les suivantes : un questionnaire comporte plusieurs types de questions, chaque question est générée selon un canevas ou patron prédéfini, qui fait référence à un seul composant ontologique.

Ces questions doivent être testées et analysées par le concepteur de l'ontologie. Le feedback du concepteur sur le questionnaire généré est stocké sous forme d'appréciations sur les questions que nous appellerons « Review Questions » qui peuvent être positives ou négatives. Dans le cas où l'analyse du questionnaire est négative, ce dernier est modifié, si nécessaire en plusieurs itérations. Une fois le questionnaire stabilisé par le concepteur de l'ontologie, les experts du domaine répondent au questionnaire. Ces réponses sont stockées puis agrégées et analysées pour la mise à jour de l'ontologie (voir Fig. 2).

<figure><img src="image_3.png" /><figcaption>FIG 2. Méta Modèle du questionnaire d'évaluation d'une ontologie.</figcaption></figure>

3.3. Conception des patrons de questions relatifs aux composants de l'ontologie

Chaque élément ontologique génère une question. Nous définissons une question générique sous forme d'une expression régulière contenant une partie fixe (en minuscule), et une partie variable (en majuscule et en rouge) pour chaque élément ontologique.

Nous présentons dans ce qui suit (table 1) quelques patrons<sup>4</sup> utilisés pour représenter les composants d'une ontologie:

<footnote n="3">³ https://www.w3.org/TR/rdf-schema/</footnote>

<footnote n="4">⁴ La totalité des patrons est disponible en téléchargement à cette adresse :</footnote>
<table><caption>TABLE 1 – *Quelques patrons des composants de l'ontologie en OWL 1 DL.*</caption><thead><tr><th>Elément ontologique</th><th>Question générique ou patron</th><th>Exemple associé</th></tr></thead><tbody><tr><td rowspan="2">Sous-Classes<br>OWL:subClassOf</td><td>Every <span style="color:red;">CLASS1</span> is a/an <span style="color:red;">CLASS2</span></td><td>Every <span style="color:red;">MAN</span> is a/an <span style="color:red;">PERSON</span></td></tr><tr><td>Every <span style="color:red;">CLASS1</span> is a/an <span style="color:red;">CLASS2</span> AND/OR<br><span style="color:red;">CLASS3</span> AND/OR..... <span style="color:red;">CLASSn</span></td><td>Every <span style="color:red;">PARENT</span> is a/an <span style="color:red;">MOTHER</span> OR<br>a/an <span style="color:red;">FATHER</span><br>Every <span style="color:red;">MOTHER</span> is a/an <span style="color:red;">PARENT</span><br>AND a/an <span style="color:red;">WOMAN</span></td></tr><tr><td>Restrictions de quantification<br>(RQ)<br>Owl:AllValuesFrom</td><td>All <span style="color:red;">PROPERTY</span> of a/an <span style="color:red;">CLASS1</span> are <span style="color:red;">CLASS2</span></td><td>All <span style="color:red;">hasCreator</span> of a/an <span style="color:red;">BOOK</span> are<br><span style="color:red;">AUTHOR</span></td></tr><tr><td>Restrictions de cardinalité<br>(RC)<br>Owl :MinCardinality</td><td><span style="color:red;">CLASS</span> on <span style="color:red;">PROPERTY</span> has at least <span style="color:red;">CARDINALITY</span></td><td><span style="color:red;">PARENT</span> on <span style="color:red;">hasChild</span> has at least 1</td></tr><tr><td>Classes d'Individus (CI)</td><td>OWL:one of<br>Member(s) of <span style="color:red;">CLASS</span> is/are <span style="color:red;">INSTANCE1</span>,<br><span style="color:red;">INSTANCE2</span>...<span style="color:red;">INSTANCEn</span></td><td>Member(s) of <span style="color:red;">DaysOfWeek</span> is/are<br><span style="color:red;">Saturday</span>, <span style="color:red;">Sunday</span>...<span style="color:red;">Friday</span></td></tr><tr><td>Jointure des Classes (JC)</td><td>OWL:IntersectionOf<br><span style="color:red;">CLASS1</span> and <span style="color:red;">CLASS2</span> and ...<span style="color:red;">CLASSn</span></td><td>A <span style="color:red;">MOTHER</span> is <span style="color:red;">FEMALE</span> and<br><span style="color:red;">PARENT</span></td></tr><tr><td>Classes Equivalentes (CE)</td><td>OWL: EquivalentClass<br><span style="color:red;">CLASS1</span> is equivalent to <span style="color:red;">CLASS2</span></td><td>A <span style="color:red;">PERSON</span> is equivalent to <span style="color:red;">HUMAN</span></td></tr><tr><td>Classes Disjointes (CD)</td><td>OWL: DisjointWith<br><span style="color:red;">CLASS1</span> is not <span style="color:red;">CLASS2</span></td><td>A <span style="color:red;">MAN</span> is not a <span style="color:red;">WOMAN</span></td></tr><tr><td>Propriétés objets ou<br>Propriétés de types de<br>données</td><td>OWL:ObjectProperty, OWL:DataTypeProperty<br>rdfs:domain<br>rdfs:range<br><span style="color:red;">CLASS1</span> ObjectProperty <span style="color:red;">CLASS2</span>/PropertyValue</td><td><span style="color:red;">TEACHER</span> GivesGradeTo <span style="color:red;">STUDENT</span></td></tr><tr><td>Instances</td><td>rdf:type<br><span style="color:red;">INSTANCE</span> is a/an instance of <span style="color:red;">CLASS</span></td><td><span style="color:red;">MARIA</span> is a/an instance of <span style="color:red;">WOMAN</span></td></tr><tr><td>Annotations</td><td>rdfs:Comment<br><span style="color:red;">RESSOURCE</span> has comment <span style="color:red;">TEXT</span></td><td><span style="color:red;">DBPEDIA</span> has comment "an ontology<br>based on wikipedia"</td></tr></tbody></table>

### 3.4. Mise en correspondance entre les critères de qualité des ontologies et les réponses possibles dans le questionnaire

Afin de proposer les réponses possibles aux questions incluses dans le questionnaire destiné aux experts de domaine, nous nous sommes basés sur quelques critères de qualité des ontologies tels qu'ils ont été définis par (Gruber, 1995), (Fox et al., 1996), (Gomez-Perez, 2004c) et (Obrst et al., 2007). Les réponses sont récapitulées dans le tableau suivant:

<table><caption>TABLE 2 – *Les critères de qualité des ontologies associés aux réponses des questions.*</caption><thead><tr><th>Critères de qualité</th><th>Réponses possibles</th><th>Elément ontologique</th></tr></thead><tbody><tr><td>Clarté</td><td>Clair/Pas clair</td><td>Classes, axiomes, propriétés<br>d'objets, propriétés de données<br>et annotations</td></tr></tbody></table>
<table><thead><tr><th></th><th></th><th></th></tr></thead><tbody><tr><td>Cohérence</td><td>Cohérent/Contradictoire</td><td>Annotations</td></tr><tr><td>Précision</td><td>Vrai/Faux<br/>Toujours/Parfois/Jamais</td><td>Classes<br/>Axiomes</td></tr><tr><td>Qualité Syntaxique</td><td>Vrai/vrai mais un autre terme serait plus approprié/faux</td><td>propriétés d'objets, propriétés de données et axiomes</td></tr><tr><td>Qualité pragmatique</td><td>Pertinent/Non Pertinent</td><td>Propriétés de données, annotations</td></tr></tbody></table>

1. La Clarté de tous les composants ontologiques est un critère important pour le partage des connaissances entre les différents acteurs appartenant à une communauté.

2. La Cohérence des annotations pour vérifier si les descriptions des éléments ontologiques ne conduisent pas à des contradictions par rapport aux définitions des éléments ontologiques.

3. La Précision afin d'éviter toute ambiguïté. La précision est plus subtile lors de la validation des énoncés des axiomes, c'est pourquoi nous avons proposé plus de deux options booléennes.

4. La Qualité syntaxique des propriétés de données, des propriétés d'objet et des axiomes. Les expressions qui en résultent doivent être syntaxiquement correctes.

5. La Qualité pragmatique ou Pertinence des propriétés de données et des annotations puisqu'elles ont été définies pour décrire d'autres composants tels que les classes. La pertinence des propriétés de données proposées doit être vérifiée, car la plupart d'entre elles sont proposées par le concepteur de l'ontologie contrairement aux autres éléments ontologiques (classes, propriétés d'objet) qui sont dérivées des spécifications de l'ontologie (par exemple via les questions de compétence). Par exemple: la date et le lieu de naissance; propriétés de la classe Étudiant ne sont probablement pas dérivés de la phase de spécification de l'ontologie, bien qu'ils soient souvent prévus dans la liste des propriétés de la classe Etudiant.

### 3.5. Calcul du taux d'adéquation ontologie-questionnaire

Tel que précisé dans les spécifications du système (3.1), nous commençons par soumettre le questionnaire généré au concepteur de l'ontologie. Ce dernier évalue chaque question par rapport à l'élément ontologique correspondant. Pour cela nous lui proposons trois possibilités : adéquation totale (T), adéquation partielle (P) et adéquation nulle (N).

Pour calculer le pourcentage d'adéquation ontologie-questionnaire, nous avons procédé comme suit, pour chaque élément ontologique (classe, axiome, propriété d'objet, propriété de donnée, instance et annotation), nous avons calculé le pourcentage de son adéquation avec les questions générées en fonction des réponses du concepteur de l'ontologie sur le questionnaire.

Dans ce qui suit, nous présentons un extrait de l'algorithme de calcul correspondant à l'élément ontologique Classe à titre d'exemple:

```
if (Type (Elément) == Classe) then
    TClasse = (Pourcentage de réponses « adéquation totale ») *
    Facteur d'importance des classes
    PClasse = (Pourcentage de réponses « adéquation partielle ») *
    Facteur d'importance des classes
    NClasse = (Pourcentage de réponses « adéquation nulle ») *
    Facteur d'importance des classes
end if
```

Où le facteur d'importance représente pour chaque composant son degré d'importance dans une ontologie. Ce facteur est déterminé par le concepteur de l'ontologie. Par exemple, les propriétés de données et les propriétés d'objets sont très importantes dans une ontologie comme FOAF, dans une autre ontologie comme DBpedia les instances auront une importance
capitale. Si le concepteur estime que tous les éléments ontologiques ont la même importance, le facteur sera égal à 1.

T = TClasse + TAxiome + TPropriété d'objet + TPropriété de donnée + TInstance + TAnnotation

P = PClasse + PAxiome + PPropriété d'objet + PPropriété de donnée + PInstance + PAnnotation

N = NClasse + NAxiome + NPropriété d'objet + NPropriété de donnée + NInstance + TAnnotation

Et pour calculer le pourcentage global de l'adéquation ontologie-questionnaire, nous avons défini une pondération en fonction des réponses du concepteur.

Adéquation pondérée = T+P+N

TPondéré = T/Adéquation pondérée.

PPondéré = P/Adéquation pondérée.

NPondéré = N/Adéquation pondérée.

Ces statistiques constituent la concrétisation de l'étape 2 de l'approche, à savoir l'agrégation des résultats du questionnaire.

## 3.6. Implémentation du système

L'implémentation a été réalisée avec J2EE en utilisant les technologies JSP (Java Servlet Pages), le serveur web: Apache Tomcat, le SGBD: PostGreSQL et l'API Jena pour la manipulation des documents RDF et OWL. Notre application est disponible en téléchargement à l'adresse suivante : https://sourceforge.net/projects/ontologyquestvalidator/.

Deux menus sont proposés en page d'accueil: un menu concepteur de l'ontologie et un menu expert du domaine.

L'ontologie est identifiée par son URL, chemin vers le disque local ou avec son code source. Dans chaque menu le même questionnaire est généré avec des réponses différentes, puisque le concepteur jugera du degré d'adéquation de la question avec l'élément ontologique correspondant (Fig. 3) et l'expert du degré d'adéquation de la question avec le domaine couvert par l'ontologie.

<figure><img src="image_4.png" /><figcaption>FIG 3. Questionnaire de l'ontologie FOAF (Partie de la hiérarchie des classes)</figcaption></figure>

Des statistiques par élément ontologique sont générées pour afficher les résultats des différentes évaluations (des captures d'écran sont disponibles sur le site de téléchargement de l'outil).
## 3.7. Expérimentation de l'outil de génération de questionnaire

Nous avons soumis notre application à trois concepteurs d'ontologies qui ont accepté d'évaluer la qualité du questionnaire généré et son degré d'adéquation avec l'ontologie à l'origine (voir table 3).

<table><caption>TABLE 3 – Résultats de l'expérimentation de l'outil de génération de questionnaire par des développeurs d'ontologies.</caption><thead><tr><th>Nom /<br>URL de<br>l'ontologie</th><th>Description</th><th>Elément de<br>l'ontologie/<br>Pondération</th><th>Adéquation<br>Totale</th><th>Adéquation<br>Partielle</th><th>Adéquation<br>Nulle</th></tr></thead><tbody><tr><td rowspan="4">Ontologie de<br>compétences<br><strong>ECAO</strong><sup>5</sup>, Esi<br>Competency<br>Application<br>Ontology<br>(67 classes,<br>12<br>associations,<br>41 attributs,<br>49 instances)</td><td rowspan="4">Cette ontologie vise à<br>représenter les<br>compétences au sein d'une<br> d'informatique (ESI)<br>dans le cadre de son<br><strong>système de localisation<br>de compétences.</strong><br>(Langue: Français)</td><td>Classes / 2</td><td>100%</td><td>0%</td><td>0%</td></tr><tr><td>Axiomes / 1</td><td>62.5%</td><td>0%</td><td>37.5%</td></tr><tr><td>Propriétés<br>d'objets / 1</td><td>60%</td><td>40%</td><td>0%</td></tr><tr><td>Instances / 2</td><td>100%</td><td>0%</td><td>0%</td></tr><tr><td colspan="6" style="text-align: center;"><strong>Adéquation Totale globale : 87.08%</strong></td></tr><tr><td colspan="6" style="text-align: center;">Adéquation Partielle globale : 6.67%</td></tr><tr><td colspan="6" style="text-align: center;">Adéquation Nulle globale : 6.25%</td></tr><tr><td rowspan="4">Ontologie<br><strong>Annotation</strong><br>(219 classes,<br>31<br>associations,<br>8 attributs,<br>21 instances)</td><td rowspan="4">Cette ontologie vise à<br>formaliser les <strong>objectifs d'annotations subjectifs de l'enseignant</strong> sur les<br>documents de travail lors<br>de la réalisation de ses<br>activités pédagogiques<br>(Langue: Français)</td><td>Classes / 4</td><td>100%</td><td>0%</td><td>0%</td></tr><tr><td>Axiomes / 1</td><td>90.48%</td><td>0%</td><td>9.52%</td></tr><tr><td>Propriétés<br>d'objets / 3</td><td>33.33%</td><td>0%</td><td>66.67%</td></tr><tr><td>Instances / 2</td><td>100%</td><td>0%</td><td>0%</td></tr><tr><td colspan="6" style="text-align: center;"><strong>Adéquation Totale globale : 79.05%</strong></td></tr><tr><td colspan="6" style="text-align: center;">Adéquation Partielle globale : 0%</td></tr><tr><td colspan="6" style="text-align: center;">Adéquation Nulle globale : 20.95%</td></tr><tr><td rowspan="4"><strong>Cook</strong><br>Ontology<br>(25 classes,<br>8<br>associations,<br>7 attributs,<br>4 instances)</td><td rowspan="4">Cette ontologie a été<br>conçue pour étendre la<br><strong>description des produits<br>alimentaires</strong> qu'offre<br>l'ontologie Food<br>(http://data.lirmm.fr/ontologies<br>/food)<br>(Langue: Anglais)</td><td>Classes / 1</td><td>100%</td><td>0%</td><td>0%</td></tr><tr><td>Axiomes / 1</td><td>91.67%</td><td>0%</td><td>8.33%</td></tr><tr><td>Propriétés<br>d'objets / 1</td><td>77.78%</td><td>0%</td><td>22.22%</td></tr><tr><td>Instances / 1</td><td>100%</td><td>0%</td><td>0%</td></tr><tr><td colspan="6" style="text-align: center;"><strong>Adéquation Totale globale : 92.36%</strong></td></tr><tr><td colspan="6" style="text-align: center;">Adéquation Partielle globale : 0%</td></tr><tr><td colspan="6" style="text-align: center;">Adéquation Nulle globale : 7.64%</td></tr></tbody></table>

Les résultats montrent une adéquation totale globale supérieure à 79% pour les ontologies testées. Toutefois, les développeurs d'ontologies ont soulevé le problème de la non prise en charge d'autres langues d'ontologies que la langue Anglaise. En effet, étant donné que les patrons des questions sont en Anglais, les questions générées sont ambigües.

Une autre limitation de l'outil concerne le langage des questions qui n'est pas naturel à 100%, ce qui constitue un obstacle pour l'évaluation des experts, voici un exemple d'une question générée: *Partie Tangible concerne tangiblement une annotation Annotation*.

De plus, le questionnaire généré est long, étant donné les composants variés des ontologies, ce qui peut constituer un frein pour répondre à l'ensemble des questions.

Nous avons également constaté que les développeurs ont tendance à évaluer l'adéquation ontologie/domaine de connaissances comme des experts du domaine, au lieu d'évaluer l'adéquation ontologie/questionnaire.

<footnote n="5">⁵ https://sourceforge.net/projects/competenyapplicationontology/</footnote>
L'évaluation de l'outil de génération de questionnaire devra se poursuivre avec des ontologies variées en termes de taille, de langage de représentation de connaissances, de domaine et de langue.

Lorsque l'outil sera jugé satisfaisant au regard d'un nombre significatif de concepteurs d'ontologies, son exploitation effective sera envisageable. En d'autres termes, il pourra être utilisé pour évaluer l'adéquation ontologie-domaine de connaissances, cette fois-ci par les experts du domaine.

## 4 Travaux similaires

Pour valider les ontologies suivant l'approche basée sur l'évaluation humaine, plusieurs travaux ont été proposés, nous nous intéressons aux travaux basés sur Les questionnaires d'évaluation :

Dans (Papasalouros et al., 2008), la génération automatique d'un questionnaire à choix multiple à partir d'une ontologie de domaine est réalisée en utilisant les techniques de génération du langage naturel. Ce qui impose certaines restrictions comme les noms des propriétés qui doivent être sous forme de verbes. Les réponses proposées comportent une réponse correcte et plusieurs réponses fausses générées à partir des relations sémantiques entre les différents éléments de l'ontologie (la dimension syntaxique n'est pas prise en considération). La principale contribution de ce travail réside dans la proposition de stratégies qui servent à générer les réponses correctes et les réponses fausses du questionnaire. Ces stratégies concernent trois catégories : les classes, les propriétés et la hiérarchie de l'ontologie (sans les instances). Les questions sont générées à partir des connaissances affirmées et les connaissances inférées. Cette proposition a été optimisée et implémentée en tant que plugin de Protégé par (Tosic & Cubric, 2009).

L'objectif du travail de (Cubric & Tosic, 2011) est d'automatiser l'évaluation dans le contexte du e-learning mais cela peut se généraliser à l'évaluation des ontologies dans le cadre de l'ingénierie ontologique. Les auteurs proposent l'utilisation des annotations pour la génération des questions ainsi que l'interprétation sémantique du mapping entre l'ontologie de domaine et les questions. L'interprétation est basée sur les templates des questions basées sur la taxinomie de Bloom.

Dans (Abacha et al., 2013), l'approche proposée repose sur la génération de questions en langue naturelle à partir des éléments ontologiques à valider. Ces questions sont soumises à un expert. L'évaluation des réponses permet de décider de la validité des éléments ontologiques ou de leur modification dans le cas d'une évaluation négative. Cette approche exploite les techniques du traitement automatique de la langue (TAL) pour générer les questions et corriger l'ontologie selon les réponses des experts. Les questions générées sont soumises à une phase d'optimisation, utile surtout dans le cas d'ontologies de grande taille. Les réponses des experts sont divisées en deux catégories : une partie booléenne et une partie textuelle libre. Les éléments ontologiques invalidés par un expert sont supprimées de l'ontologie puisque son avis est considéré comme infaillible. S'il y a une adéquation parfaite, le nombre de questions générées est réduit à néant après plusieurs itérations entre le système et l'expert.

Le travail de (Alsubait et al., 2014) s'intéresse à évaluer le coût de la génération de questions à partir des ontologies à des fins éducationnelles. En effet, deux options s'offrent aux enseignants en termes de source de questions : les textes et les ontologies. Les auteurs soulignent que l'un des avantages des ontologies est qu'elles permettent de générer des questions sur des connaissances implicites grâce aux possibilités de raisonnement sur les ontologies. Toutefois, la disponibilité d'ontologies à valeur éducationnelle relatives à plusieurs domaines d'étude n'est pas garantie. Les auteurs proposent une théorie basée sur la similarité pour évaluer la difficulté des QCM. Le but est de contrôler la difficulté en variant la similarité entre la réponse correcte et les réponses fausses.
Le travail de (Richard et al., 2015) propose la méthode LOVMI (Les Ontologies Validées par Méthode Interactive) pour la validation d'ontologies, et en particulier l'ontologie ONTOPSYCHIA développée pour le module « facteurs sociaux et environnementaux ». Cette méthode propose de prendre en considération six dimensions dont la validation sémantique.

Les acteurs du domaine de l'ontologie visualisent l'arborescence conceptuelle de l'ontologie (y compris les axiomes et les relations). Des séances de validation se déroulent par groupes de deux pour discuter du contenu de l'ontologie. Il y a des échanges d'idées et des discussions sur les concepts de l'ontologie, les conversations sont enregistrées et les commentaires enregistrées sur WEBPROTÉGÉ (Protégé en ligne) sous forme d'annotations.

Parmi ces travaux, l'approche proposée par (Abacha et al., 2013) est celle qui présente un certain nombre de similarités avec notre proposition. La partie commune concerne la génération des questions sur la base des éléments ontologiques. Cependant, leur travail préconise l'utilisation des techniques du TAL, l'évaluation est réalisée par les experts du domaine et les réponses aux questions sont soient booléennes soit textuelles. Pour notre part, nous avons conçu des patrons de questions pour chaque élément ontologique, nous avons prévu deux évaluations, une par les concepteurs des ontologies et une autre par les experts du domaine. Les réponses aux questions varient selon les éléments ontologiques en fonction des critères de qualité cités dans la section 3.4.

## 5 Conclusion

La validation des ontologies par les experts du domaine est cruciale dans tout processus de développement d'une ontologie. Ce travail s'inscrit dans la continuité d'un travail antérieur, où nous avons proposé une approche supportée par un outil de génération automatique d'un questionnaire à partir d'une ontologie à évaluer. Et cela, dans le but de faciliter le travail du concepteur de l'ontologie d'une part et d'autre part, offrir aux experts du domaine la possibilité d'évaluer une ontologie sans avoir à maîtriser les langages de représentation des connaissances.

Nous envisageons de poursuivre ce travail en prenant en considération les aspects suivants:

* Tester l'outil de génération automatique des questionnaires à grande échelle auprès des concepteurs d'ontologies dans un premier temps puis auprès des experts du domaine dans un deuxième temps.

* Prendre en charge les nouveautés de la version 2 du langage OWL (Cardinalité qualifiée, asymétrie de propriétés, réflexivité de propriétés, restrictions sur les types de données, annotations d'axiomes, nouveaux profils, etc.)

* Prendre en charge plusieurs langues naturelles pour la génération de questionnaires en langue naturelle autre que l'Anglais.

* Explorer les possibilités offertes par les techniques de génération automatique de texte en langue naturelle (NLG) pour la dérivation de questionnaires à partir des ontologies

## Références

* ABACHA A. B. DA SILVEIRA M. & PRUSKI, C. (2013). Une approche pour la validation du contenu d'une ontologie par un système à base de questions/réponses. In IC-24èmes Journées francophones d'Ingénierie des Connaissances, Lille, France.

* ALSUBAIT T. PARSIA B. & SATTLER U. (2014). Generating Multiple Choice Questions From Ontologies: Lessons Learnt. In OWLED, p. 73-84.

* BRANK J. GROBELNIK M. & MLADENIC D. (2005). A survey of ontology evaluation techniques. Proceedings of Data Mining and Data Warehouses (SiKDD), Ljubljana, Slovenia.

* BURTON-JONES A. STOREY V. SUGUMARAN V. (2005). A semiotic metrics suite for assessing the quality of ontologies, Data and Knowledge Engineering 55(1), p. 84–102.
CUBRIC M. & TOSIC M. (2011). Towards automatic generation of e-assessment using semantic web technologies. International Journal of e-Assessment, 1(1), p. 1-9.

DALKEY N. C. & HELMER O. (1963). An experimental application of the Delphi method to the use of experts, Management Science, 9(3), p 458-467.

ESCHENBACH C. & GRUNINGER M. (2008). Formal Ontology in Information Systems. Proceeding of Fifth Conference, FOIS, IOS Press.

FERNANDEZ-LOPEZ M. GOMEZ-PEREZ A. JURISTO N. (1997). METHONTOLOGY: From Ontological Art, Towards Ontological Engineering, AAAI Symposium on Ontological Engineering, Stanford, USA.

FOX M. S. BURBUCEANU M. & GRUNINGER M. (1996). An organization ontology for enterprise modelling: preliminary concepts for linking structure and behavior, Computers in Industry 29, p123-134.

GANGEMI A. CATENACCI C. CIARAMITA M. & LEHMANN J. (2005). Ontology evaluation and validation: An integrated formal model for the quality diagnostic task, Technical report, Laboratory of Applied Ontologies - CNR, Rome, Italy.

GOMEZ-PEREZ A. (2004 a). Ontology Evaluation, Handbook on Ontologies, p. 251-274.

GOMEZ-PEREZ A. (2004 b). Ontology Evaluation. Thèse de Doctorat, Faculté d'Informatique Université de Madrid, 2004.

GOMEZ-PEREZ A. (2004c). Ontology evaluation. In Steffen Staab and Rudi Studer, editors, Handbook on Ontologies in Information Systems, International Handbooks on Information Systems, chapter 13, p. 251-274.

GRUBER T. R. (1993). A translation approach to portable ontology specifications. Knowledge acquisition. 5(2), p. 199-220.

Gruber T. R. (1995). Towards principles for the design of ontologies used for knowledge sharing, International Journal of Human-Computer Studies, 43(5/6), p. 907-928.

HOLSAPPLE C. & JOSHI K.D. (2005). A collaborative approach to ontology design. Communications of ACM, 45(2), p. 42-47.

HSU C. C. & SANDFORD B. A. (2007). The Delphi Technique:Making Sense Of Consensus, Practical Assessment, Research & Evaluation, 12, p.1-8.

LOVRENČIĆ S. & ČUBRILO M. (2008). Ontology Evaluation -Comprising Verification and Validation. Proceedings of CECIIS, the 19th Central European Conference on Information and Intelligent Systems, FOI, Varaždin, Croatia, p. 657-663.

OBRST L. CEUSTERS W MANI I. RAY S. & SMITH B. (2007). The evaluation of ontologies, In Christopher J.O. Baker and Kei-Hoi Cheung, editors, Revolutionizing Knowledge Discovery in the Life Sciences, chapter 7, Springer, p.139-158.

PAPASALOUROS A. KANARIS K. & KOTIS K. (2008). Automatic Generation Of Multiple Choice Questions From Domain Ontologies. In e-Learning, p. 427-434.

RICHARD M. AIME X. KREBS M. O. & CHARLET J. (2015). LOVMI: vers une méthode interactive pour la validation d'ontologies. In 26es journées francophones d'Ingénierie des Connaissances (IC), Rennes, France.

SHETH A. TARTIR S. & BUDAK A. (2010). Ontological evaluation and validation. PhD thesis, Wright State University Main Campus, USA.

SUAREZ -FIGUEROA M. GOMEZ-PEREZ A. & FERNANDEZ-LOPEZ M. (2012). The NeOn Methodology for Ontology Engineering, Book Chapter in Ontology Engineering in a Networked World, Springer, Berlin Heidelberg, p. 9-34.

SURE Y. & STUDER R. (2002). On-To-Knowledge methodology. In Davies, J. et al. eds. On-To-Knowledge: Semantic Web enabled Knowledge Management. J. Wiley and Sons.

TOSIC M. & CUBRIC M. (2009). SeMCQ-Protégé Plugin for Automatic Ontology-Driven Multiple Choice Question Tests Generation. In Proceedings of the 11th International Protege Conference. Stanford Center for Biomedical Informatics Research, USA.

ZEMMOUCHI-GHOMARI L. & GHOMARI A.R. (2009). Reference Ontology. International IEEE Conference on Signal-Image Technologies and Internet-Based System, Marrakech, Morocco, p. 485-491.

ZEMMOUCHI-GHOMARI L. & GHOMARI A.R. (2014). Chapter sixteen a new approach for human assessment of ontologies. Business Intelligence and Mobile Technology Research: An Information Systems Engineering Perspective, p. 226-233.