Evaluation of the Ontological Knowledge Model/ Ontoloģiskā zināšanu modeļa novērtēšana/ Оценка качества онтологической модели знаний

Abstract An ontology is an explicit formal conceptualization of some domain of interest. Ontology application is widely used in multi-agent systems. Ontology provides the channel through which software agents interact; therefore, if the ontology definitions have not been sufficiently evaluated, communication between software agents may not succeed. Ontology evaluation guarantees to end users the correctness and completeness of ontology definitions and software. The goal is to detect wrong, incomplete or missed definitions in the ontology. The study is based on multi-agent system application for raw materials management task. The common ontology is used for agent cooperation; the quality of ontology is measured with ontology evaluation techniques. - Šajā rakstā ir izpētīta ontoloģijas novērtēšana, uzbūvēta izejvielu pārvaldības uzdevumam, pielietojot multi-aģentu sistēmu. Ontoloģija aģentu sistēmas nodrošina ar vienādu izpratni par informāciju, ar kuru apmainās aģenti, risinot uzdevumu. Ontoloģija ir kanāls, caur kuru aģenti mijiedarbojas. Līdz ar to, sistēmas efektīgai darbībai ir nepieciešams novērtēt uzbūvētās ontoloģijas kvalitāti un tās piemērotību uzdevumam. Ontoloģiskā zināšanu modeļa novērtēšanas pētījuma rezultātā tika identificētas četras pieejas novērtēšanai vairāku kritēriju, salīdzinājums ar zelta standartu, balstoties uz datiem un balstoties uz pielietojumu pieeju. Pieejas var arī klasificēt attiecībā uz novērtējuma līmeni - sintakses, hierarhijas, attiecības u.c. Lai veiktu pētījumu, tika uzbūvētas piecas ontoloģijas, un katra no tām tika pakļauta novērtēšanai četrās pieejās. Pirmajai ontoloģijai ir tikai hierarhiskās attiecības (taksonomija), otrā ir - ontoloģija ar gramatiskām kļūdām, trešā - neaptver visu priekšmeta apgabalu (nepabeigtā), ceturtā - aptver visu priekšmeta apgabalu un piektā - ir ontoloģija, kas saistīta ar ražošanu, nevis ar izejvielu pasūtījumu. Pieeja, kas balstīta uz datiem, salīdzināja pasūtījuma procesa dokumentu un uzbūvēto ontoloģiju. Tika izmantotas šādas metodes - precizitāte un pilnīgums, lai novērtētu priekšmeta apgabala segumu ar ontoloģiju, kā arī Levenšteina attālumu, lai noteiktu, cik lielā mērā ontoloģijas koncepti sakrīt ar dokumenta terminiem. Pieejā, kas balstīta uz pielietojumu, ontoloģija ir iekļauta aģenta sistēmā, un aģentu mijiedarbības rezultāti tika pētīti. Tikai ontoloģija, kas konstruēta ar augstu precizitāti un kas sedz visu priekšmeta apgabalu, var dot rezultātus no tās izmantošanas. Pēc tam tika izdarīta salīdzinošā analīze ar zelta standartu un noteikta daudz-kritēriju ontoloģijas kvalitāte. Salīdzinājums ar zelta standartu tika veikts ar tām pašām metodēm, kā pieejā, kas ir balstīta uz datiem. Daudz-kritēriju pieejā tika izmantots algoritms - analītiskais hierarhiskais process. Visas četras pieejas novērtēja ceturto ontoloģiju kā vispiemērotāko ontoloģiju šim uzdevumam. В данной статье исследуется оценка качества онтологии, построенной для решения задачи управления материальными ресурсами предприятия с помощью многоагентной системы. Онтология в агентной системе обеспечивает одинаковое понимание агентами информации, которой они обмениваются для решения поставленных задач. Онтология представляет собой канал, через который агенты взаимодействуют. Следовательно, для функционирования системы необходимо оценить качество предлагаемой онтологии и ее пригодность к данной задаче. В результате исследования оценки качества онтологической модели знаний были выявлены четыре подхода оценки качества - многокритериальный, сравнение с золотым стандартом, основанный на данных и основанный на применении. Подходы также можно классифицировать относительно уровня оценки - синтаксис, иерархия, отношения и т. п. Для проведения исследования было построено пять онтологий, каждая из них подвергалась оценке четырьмя подходами. Первая онтология имеет только иерархические отношения (таксономия), вторая - онтология с грамматическими ошибками, третья - не покрывающая предметную область (неполная), четвертая - покрывающая всю предметную область, и пятая - онтология, относящаяся к производству, а не закупке сырья. Подход, основанный на данных, сравнил документ, описывающий процесс закупки сырья, и построенные онтологии. Использовались методы точности и полноты для оценки покрытия онтологией предметной области, а также расстояние Левенштейна для определения того, насколько концепты онтологии совпадают с терминами документа. В подходе, основанном на применении, онтологии были включены в агентную систему, и исследовались результаты переговоров между агентами. Только онтология, построенная с высокой точностью и покрывающая предметную область, способна дать результат от ее применения. Затем был произведен сравнительный анализ с золотым стандартом и проведена оценка качества онтологии многокритериальным способом принятия решения. Сравнение с золотым сечением было произведено теми же методами, что и в подходе, основанном на данных. В многокритериальном подходе использовался алгоритм - аналитический иерархический процесс. Во всех результатах четвертая онтология была оценена как наиболее подходящая для поставленной задачи.