ДОВЕРИЕ К ДАННЫМ ПРИ ПОПОЛНЕНИИ ОНТОЛОГИЙ И ГРАФОВ ЗНАНИЙ

ИНЖИНИРИНГ ОНТОЛОГИЙ

УДК 004.853:004.82 Научная статья Б01: 10.18287/2223-9537-2023-13-1-113-124

Доверие к данным при пополнении онтологий и графов знаний

© 2023, А.С. Серый

Институт систем информатики им. А.П. Ершова СО РАН, Новосибирск, Россия Аннотация

Рассматривается задача оценки доверия к информации, извлекаемой из текстовых источников для пополнения онтологий или графов знаний. За единицу информации или факт, принимается минимальное знание об экземпляре предметной области, выражаемое единичным ЛОР-триплетом. Приведено описание вероятностной модели оценки доверия, основанной на марковских случайных процессах. При оценке модель строится на основании доступной информации об источниках с учётом ранее извлечённых данных. Предложен метод оценки доверия к информации с параллельным взвешиванием источников. Подобный подход востребован в ситуациях, когда качественные характеристики источников неизвестны или недоступны. В рамках тестирования модели были автоматически сгенерированы наборы численных данных различных объёмов, проведены эксперименты по взвешиванию источников и оценке доверия к извлекаемой из них информации. Результаты экспериментов показали, что в большинстве случаев веса источников, вычисляемые на основе предлагаемой модели, тем больше, чем меньше среднее отклонение предоставленной ими информации от истинной, доверие к фактам увеличивается с уменьшением расстояния до истинных данных. Выполнено сравнение с моделями агрегации данных. В большинстве случаев агрегация, выполненная на основе оценки доверия, демонстрировала наименьшее среднее отклонение от истинных данных среди рассмотренных моделей. Полученные результаты показывают, что предлагаемая модель эффективна в сравнении с другими аналогичными моделями и может применяться в задачах оценки доверия к фактам, представляемым вещественными числами.

Ключевые слова: онтология, граф знаний, извлечение данных, доверие к информации, марковский процесс.

Цитирование: Серый А. С. Доверие к данным при пополнении онтологий и графов знаний // Онтология проектирования. 2023. Т.13, №1(47). С.113-124. Б01:10.18287/2223-9537-2023-13-1-113-124.

Конфликт интересов: автор заявляет об отсутствии конфликта интересов.

Введение

Современное глобальное информационное пространство невозможно представить и проанализировать усилиями человека, даже если речь идёт об экспертах в конкретных предметных областях (ПрО). Одним из путей решения данной проблемы стало использование методов автоматического анализа данных, которые широко применяются во всех сферах человеческой деятельности, связанной с обработкой информации. В первую очередь это методы обработки неструктурированных источников, например текстов, изображений и веб-страниц, позволяющие извлекать определённую информацию и представлять её в структурированном виде — в базах данных, онтологиях и графах знаний. Последние являются основным, на данный момент, способом интеграции больших структурированных данных [1]. Для извлечения информации применяется множество различных методов и подходов: от конвейерных

процессов на основе технологии Apache NiFi [2] до трансформерных нейросетей типа BERT [3]. Полученные графы затем применяются в интеллектуальных информационных системах (ИС) как источники знаний и основа логического вывода [4].

Обработка большого числа источников почти неизбежно приводит к появлению противоречивых знаний, т.е. нескольких альтернативных утверждений относительно одной и той же сущности. Это могут быть, к примеру, разные прогнозы погоды, цены акций, ожидаемое время прибытия авиарейсов, противоречивая информация о местах жительства или работы людей и т.д. Противоречия возникают как вследствие ошибок, так и потому, что информация, предоставленная источником, давно не обновлялась и устарела1. Таким образом, требуется не просто извлечь знания из источника, но и оценить их надёжность или уровень доверия к ним. В данной работе предлагается метод оценки доверия к информации, извлекаемой из различных источников для пополнения базы знаний (БЗ) ИС, основанной на онтологии.

1 Обзор предшествующих работ

Проблема оценки надёжности знаний, особенно в тех случаях, когда знания, полученные из разных источников, противоречат друг другу, исследуется давно. В работах [5, 6] надёжность источников и извлекаемых данных оценивались по заранее заданным правилам. Информация зачастую предполагалась статичной, т.е. представленной в виде завершённой таблицы соответствия фактов и источников [7, 8], которая затем не изменяется. В работах [9, 10] рассматриваются ситуации, когда информация из источников поступает последовательно, а истинные знания изменяются со временем. Исследования проводились на численных данных, в качестве примеров были выбраны прогнозы среднесуточной температуры, прогнозы капитализаций на фондовых рынках и время прибытия авиарейсов. Проведённый анализ результатов показал эффективность предлагаемых решений.

Более сложной задачей является оценка текстовых данных. Предметом исследования в данном направлении являются социальные сети: с одной стороны как источник большого количества противоречивой информации, с другой — как средство, оказывающее значительное влияние на образ мыслей и мнение людей. В работах [11, 12] исследовались способы и пути распространения слухов внутри социальных сетей. В [11] рассмотрены механизмы распространения слухов, проанализированы их жизненные циклы и зависимость таких показателей, как уровень поддержки и обсуждаемость, от типов пользователей, вовлекаемых в их распространение. Исследование [12] сосредоточено на верификации слухов. В работе [13] собран набор данных и разработана мультимодальная модель машинного обучения для решения задачи обнаружения и верификации слухов, касающихся девяти различных событий. Каждый элемент набора данных был аннотирован одной из трёх меток в зависимости от степени надёжности: Правда (True), Неправда (False) и Не подтверждено (Unverified). Схожая задача оценки высказываний пользователей решалась в [14] при помощи серии известных методов машинного обучения: наивный байесовский классификатор, логистическая регрессия, метод опорных векторов, деревья решений и др.

Сложность задач исследования в области анализа надёжности информации возрастает с ростом объёмов доступной информации и стремительным распространением ложной информации. Методы глубокого обучения применяются как современное и мощное средство. Разработанный в [12, 13] набор данных применялся для анализа новостей в социальной сети Twitter [15]. В [16] использована нейросетевая модель на основе свёрточных и рекуррентных нейронных сетей для распознавания ложной информации.

1 В современном информационном пространстве особое значение приобретает проблема выявления заведомо ложной или умышленно искажённой информации. Прим. ред.

2 Модель доверия

2.1 Факты в онтологии

Пусть БЗ ИС построена на основе онтологии О некоторой ПрО, где О = *С0, D0, Dat0, Rel0+. Конечное непустое множество С0 представляет совокупность концептов ПрО, конечные непустые множества D0, Dat0 и Rel0 — соответственно доменов, атрибутов и отношений. Каждый атрибут из Dat0 имеет область значений d Е D0, а элементы множества Rel0 £ С0 X С0 — это бинарные отношения между концептами из С0. Объединение Dat0 U Rel0 атрибутов и отношений называется множеством свойств онтологии О. Класс можно определить в виде тройки (с, Datc, Relc), где через с обозначено имя класса, Datc £ Dat0, Relc £ Rel0 — его свойства. Каждый атрибут ac Е Datc имеет область значений dac Е D0, а каждое отношение pc Е Relc связывает класс с некоторым классом срс Е С0. Класс или множество классов срс образуют область значений отношения pc.

Пусть a Е са, если a является экземпляром класса са Е С0. Экземпляр представляется тройкой вида a = (са,Data, Rela) такой, что Data = {(a, Vaa)\a Е Datca, Vaa £ da Е D0} — атрибуты экземпляра a, и Rela = {(p, Vpa)\p Е Relca)} — его связи с другими экземплярами. Здесь Vpa — множество экземпляров, с которыми a связан отношением p.

В данной работе задача пополнения БЗ ИС рассматривается как задача пополнения онтологии, т.е. как добавление, удаление и изменение экземпляров в соответствии с данными, полученными извне. При этом за областью рассмотрения остаётся редактирование ядра онтологии — множества О. В терминах ИС, БЗ которой построена на основе онтологии, единицей информации считается минимальное знание об экземпляре ПрО — значение его атрибута или его связь с другим экземпляром. Можно называть такое знание единичным фактом или просто фактом. Автоматическая обработка текстовых источников позволяет извлекать факты и добавлять их в БЗ ИС. Информация, полученная из разных источников, может оказаться противоречивой, порождая множества конфликтных фактов. Требуется ранжировать эти множества по уровню доверия таким образом, чтобы предоставить пользователям ИС наиболее надёжную информацию.

При оценке доверия к фактам предлагаемая в данной работе модель основывается на доступной информации об источниках, из которых факты были получены. Под источниками здесь понимаются общедоступные электронные ресурсы, из которых извлекаются численные или текстовые данные. Предполагается, что в ИС используются некоторые качественные показатели источников, например рейтинг, если таковые доступны, или создаются собственные оценки, опираясь на всю информацию, доступную на текущий момент. Это означает, что модель доверия учитывает характеристики источников данных, но не включает описание методов их получения. Необходимо только, чтобы данные характеристики принимали значения из множества М+. В любой момент времени множество источников, из которых извлекаются факты для пополнения БЗ ИС, конечно. Пусть это будет множество S, а для любого источника s Е S искомая качественная характеристика — ßs. В дальнейшем индекс s в обозначении ßs будет опускаться в тех случаях, когда не имеет значения, из какого конкретного источника была получена информация.

2.2 Доверие как случайный процесс

В каждый момент времени для факта F, являющегося частью экземпляра а, должна быть определена величина, показывающая насколько надёжным является данный факт по сравнению с другими фактами в ИС, Тгр - трастовая метрика. БЗ не является статичной, и с появле-

нием новых источников, содержащих другие факты об а, доверие к F может изменяться. История изменений TrF представляет собой последовательность, в которой каждый следующий член зависит только от предыдущего, а также от поступившего в обработку источника s Е S. ИС может считать или не считать факт F достоверным, т.е. F имеет два потенциальных состояния: Ненадёжный (Unreliable, U) и Надёжный (Reliable, R). Информация о том, в каком из состояний на данный момент находится F, эквивалентна его TrF. Последовательность значений TrF становится эквивалентной последовательности вида (X t,t = 0 , 1 ,...) дискретных случайных величин, принимающих значения из бинарного множества состояний * U , R+. Тогда для последовательности (Xt) выполняется условие P(Xk = xk | Xfci = xki,Xk = xk ,. . . ,Xkr = xkr) = P(Xk = xk | Xkr = xkr), для любых k1 < k2 < k3 < • • • <kr <k, т.е. она удовлетворяет определению марковских случайных процессов.

Следующий член случайного процесса вычисляется всякий раз, когда в систему поступает новая информация об . Пусть - множество моментов времени, соответствующих членам случайного процесса Xt, т.е. t Е T. Значение TrF в момент t оценивается как вероятность того, что факт F является надёжным, т.е. TrF = P (Xf = R).

Для любого t величина Xt распределена как (пjj^R), где nzx = P (Xt = x). Вектор распределения п = (пи , п R) можно назвать вектором распределения доверия (Trust Distribution Vector, TDV). TDV показывает вероятность факта оказаться достоверным или недостоверным.

Очевидно, что пи + п R = 1. Распределение п = (1 , и близкие к нему соответствуют состоянию неопределённости, когда судить о достоверности невозможно.

Согласно теории случайных процессов, вектор пt+1 = (п[+1 ,nR+ 1 ) получается умножением вектора предыдущего шага пt на 2x2 стохастическую матрицу перехода Р( t, t + 1). Элементы рij(t, t + 1 ) матрицы Р( t, t + 1 ) — это вероятности перехода из i-го состояния в je на шаге (t + 1), при этом р11 + р12 = 1, i = 1 ,2. Здесь и далее предполагается, что состояния 1 и 2 — это состояния Uи R соответственно. В таких обозначениях п 1 = пи,п2 = п1{.

2.3 Переходная матрица случайного процесса

В рамках модели матрица перехода Р (t, t + 1 ) представляется как функция от л и векто-

ра пt.

P( t, t + 1 ) = s of tmax (пт цп2)) =

t ft (Ul s of tm ax I—, fm 1п2

s of tm ax

1 + 1(P*2-П1 / p) 1

1 + e*lC1 Ip -P*2) 1

У 1 + р) 1 е^1/Р -1^2)!

Из формулы

щ=1е ).

необходима для представления категориального распределения по строкам матрицы Р.

Матрица Р обладает несколькими полезными свойствами как функция Р (л,п1). На основании формулы (1) можно заключить, что с уменьшением рейтинга источника доверие к получаемой из него информации также уменьшается вплоть до нуля. Заведомо ложный источник с л = 0 приводит любой ТБУ, кроме ( 0,1 ), к вектору ( 1, 0) за один шаг. Вектор ( 0,1),

)

т.е. такой, где пг = 0, приводит к Р = ( 1 2 1 2 ) (. 2 2 Таким образом, заведомо

Ч+е^ V / 2 /2 '

ложный источник переводит идеальный ТПУ ( 0,1) в ( 1/2, ^/2).

Аналогично, в случае заведомо надёжного источника, при д _ от, матрица Р переводит

любой ТОУ, кроме ( 1,0 ), в идеальный вектор ( 0,1 ). В случае п2 = 0 Р —> к 2 1 2 ). Это

V /2 /2/

означает, что заведомо надёжный источник переводит распределение ( ) в ( ).

Третьим полезным следствием формулы (1) является тот факт, что для любого распределения 7Г (ИР)2(д1) < (ттР)2(д2) при д1 < д2, т.е. доверие Тгр монотонно как функция от д.

3 Экспериментальные исследования

3.1 Параметры и обозначения

ИС, реализующая модель доверия для оценки поступающих данных, полагается на качественные показатели источников, из которых они получены. Модель не содержит описания методов оценки источников. При доступности достаточного количества альтернативных фактов существуют методы, позволяющие параллельно оцениванию доверия к информации, «взвесить» её источники. В данной работе предлагается метод параллельного оценивания, основанный на [9, 10]. В этих работах описанные модели использовались для численных данных, таких как прогнозы среднесуточной температуры, количество пешеходов на улице, капитализация компаний на фондовых рынках и т.п. Основная решаемая с использованием моделей задача состоит в вычислении по имеющейся альтернативной информации из источников единственного агрегированного значения, наиболее близкого к истинному. Предлагаемая в данной работе модель предназначена для ранжирования всех полученных альтернативных значений по степени доверия к ним.

Входными параметрами оригинальных моделей [9, 10] являются множество моментов времени Т, источников Я и множество О объектов, информация о которых извлекается из источников. Источник 5 £ 5 имеет вес и/5 £ М+, и в момент времени t из него извлекается информация об с5 > 0 объектах. Решение задачи заключается в минимизации потерь вида (2).

5 с? 5

^ = м/5 - у*оЛ)2 - ^ сЦ 1од

5=1 0=1 5=1

Здесь и — это, соответственно, значение, полученное для объекта о из источника 5 в момент времени t и агрегированное значение, вычисленное для о в момент ^ Для минимизации потерь необходимо, с одной стороны, уменьшить вес источников, дающих информацию, сильно отличающуюся от агрегированного значения, с другой — избегать приближения весов к нулю. Значение параметра в задаётся заранее.

В данном случае объектами выступают факты, т.е. единицы информации об экземплярах концептов онтологии ПрО. Количество источников заранее неизвестно, однако в любой момент времени оно конечно, поэтому, без ограничения общности, можно считать множество источников аналогичным таковому в оригинальной модели в ситуации, когда источник 5 может не содержать информации о конкретном объекте в момент времени ^ Это означает, что в момент t учитываются только те источники, из которых удалось извлечь требуемую информацию. Множеством, аналогичным множеству объектов О, будет Т = {/ | / = (а, а), а £ са £ С0, а £ и Йе/Са} — множество пар экземпляр/свойство, которое можно

назвать множеством типов извлекаемых фактов. В этом случае г/ дополняет пару / до законченного триплета, т.е. факта. Время Т при этом соответствует определению, данному в разделе 2.2. Полный список обозначений приведён в таблице 1.

Таблица 1 - Принятые обозначения

Обозначение 5 Определение Количество источников, из которых извлекается информация. 5 < + с».

Вес источника 5.

Т Множество типов извлекаемых фактов.

Т Множество моментов времени.

Факт типа / £ Г, полученный из источника 5 в момент £.

"и Агрегированное значение / в момент £.

с? Количество фактов, полученных из источника 5 в момент £.

В База данных ИС.

Оп Количество альтернативных значений / в базе данных в момент £.

у'-е альтернативное значение / в £>.

Ошибка источника 5 в момент £ на факте типа /.

В работе [9] рассмотрены ситуации, когда истинное знание постоянно меняется, то есть истинное значение факта зависит от £. Это соответствует задачам оценки прогнозов погоды или количества товаров на складе. Существуют задачи, где истинное знание не изменяется длительное время, но могут появляться источники, распространяющие неточную информацию и порождающие новые альтернативные значения. В качестве примера можно привести количество сотрудников в организации, данные статистических исследований, место работы или жительства персоны и т.п. В подобных ситуациях альтернативных значений сравнительно немного, они распространяются разными источниками и поэтому могут быть извлечены ИС многократно. Для таких случаев предлагается использовать функцию потерь (3), которая, наряду с новой информацией, учитывает и ту, что уже содержится в БЗ ИС.

/ 5 4 ч 5

I* = б

\х=1 /=1 /ет 7=1 ) 5=1

В формуле (3) гиперпараметры 6 и Я также должны быть заданы предварительно. Агрегированные значения в рамках построенной модели доверия носят вспомогательный характер и необходимы только для взвешивания источников и вычисления рейтинговых характеристик д/ , = , вычисляемых как величина, обратная ошибке г/ , по отношению к г/, Величина используется при оценке доверия к . В зависимости от вида функции потерь агрегированные значения г/, , вычисляются по одной из формул (4):

г/, * = е=^ ;

^-г/ , + Я^Тг

Вид формулы для г/, , не влияет на способ взвешивания источников. Их веса вычисляются по формуле (5), применяемой в работе [9].

2 а-2+£[= ^ ^ =-—^ .

2 + 1^/= Л е/ ,)

В [9] была доказана сходимость процесса взвешивания, т.е. веса источников при такой оценке сходятся к определённым значениям. Начальные веса определяются случайно и подчиняются гамма-распределению с параметрами а и ß.

3.2 Результаты на наборах численных данных

Оригинальные модели предназначены для работы с численными данными, соответственно, все Vfit — это целые или вещественные числа. Предлагаемая модель оценки доверия, обозначенная Markov Trust Evaluation model (MarkTE), сравнивалась с моделью агрегации [9] DYNAmic Truth Discovery (DynaTD) на случайно сгенерированных массивах данных разных размеров, представленных в таблице 2.

Приведены результаты решения двух задач, обозначенных как NF и FX. Задача NF (Not Fixed truth) соответствует ситуации, когда из каждого источника в каждый момент времени извлекается значение v^ t, а истинные значения зависят от t. Это означает, что для каждого f ET и каждого t существует отдельное истинное значение v" t. Условия задачи NF соответствуют таковым в экспериментах, приведённых в работах [9, 10]. Так как истинные значения постоянно меняются, то в функции (3) не имеет смысла учитывать информацию, полученную ранее, поэтому в задаче NF в формуле (4) принята Я = 0. Задача FX (FiXed truth) соответствует ситуации, когда значение вида v^ t может быть извлечено из источника s не гарантированно, но с некоторой вероятностью, распределённой как U(0 i 4i 0 i 6), а истинные значения v" фиксированы и не зависят от времени. При этом количество альтернатив для f также фиксировано, а одни и те же значения могут встречаться в разных источниках в разное время. Данная ситуация схожа с теми, на которые ориентирована модель MarkTE, и при оценке учитывалась информация из БЗ с Я > 0. Путём экспериментов в условиях задач NF и FX, предложенная модель доверия была протестирована в разных условиях.

Для каждой задачи были сгенерированы отдельные наборы данных. Каждый источник s E S получил истинный вес w", и для каждого f ET были определены истинные значения. Вероятность того, что источник предоставил информацию, не соответствующую действительности, обратно пропорциональна его весу. Как показано на рисунке 1 , максимальная, средняя и медианная ошибки источников тем больше, чем меньше назначенный им истинный вес. Ошибки вычислялись как \vf t — Vf t \ в задаче NF и \vf t — Vf\ в задаче FX.

50 40 30 20 10

-I---1- -!--- -- -— -- -I--—

0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0

Истинный вес Истинный вес

(a) Small + NF (б) Medium + NF

Рисунок 1 - Ошибки источников в зависимости от их истинного веса

Таблица 2 - Искусственные наборы данных

S T T

Small 10 15 50

Medium 65 45 250

Large 150 100 500

Характеристики ц5 с для переходных матриц (1) вычислялись как ц5 с = ^ / 5 , где

'' '' '

с|. Зная вектор распределения доверия пс~ 1 значения рДс, распределение на

=

v

f,t Т,

шаге t вычислялось как пс = пс 1 • с). Веса источников последовательно пересчитыва-лись по формуле (5). Зависимость весов, вычисленных на основе модели MarkTE, от ошибок источника на истинных значениях показана на рисунке 2.

Максимальная ошибка Средняя ошибка Медианная ошибка

Максимальная ошибка Средняя ошибка Медианная ошибка

1.0 1.5

Вычисленный вес

(a) Small + NF

1.0 1.5

Вычисленный вес (б) Medium+ NF

Рисунок 2 - Ошибки источников в зависимости от их вычисляемого веса

Сходство графиков на рисунках 1 и 2 говорит о том, что веса источников, предоставивших информацию, близкую к истинной, сходятся к величинам большим, нежели те, к которым сходятся веса источников, содержащих информацию, далекую от истины. Таким образом, источники были взвешены корректно, и более надёжные получили большие веса по сравнению с менее надёжными.

Модель оценки доверия служит для ранжирования полученных знаний, тогда как модель DynaTD выполняет агрегацию. Для сравнения полученных результатов была введена операция агрегации (6) для всех б, таких что р^ с существует, выполняемая на основе оценок доверия полученных знаний, а не их источников, как в (5).

vf,t =

П= lVSf,t

Tr

Tr( V

jit

)

В качестве показателей эффективности были использованы результаты сравнения полученных агрегированных значений с истинными: средняя абсолютная ошибка (Mean Absolute Error, MAE) и средняя квадратичная ошибка (Root Mean Squared Error, RMSE).

v = {(t,s,f)eTxSxF | з v

'rti

MAE =

RMSE =

j( t,s,/)e v|vf, t Vf , t

\V\

( t,s,f)ev(vf,t ~ vf.

) f,t)

W\

Базисный уровень был реализован двумя дополнительными моделями Mean и Median. Агрегированные значения vf,t в модели Mean вычисляются как среднее по всем vf t, в модели Median агрегацию выполняет функция медианы.

Результаты оценки MAE и RMSE для всех моделей и наборов данных на каждой задаче приведены в таблице 3. Видно, что агрегированные значения, полученные по формуле (6) на основе оценок доверия в соответствии с моделью MarkTE, в большинстве случаев оказались ближе к истинным. Отсюда можно заключить, что эффективность модели MarkTE находится на конкурентном уровне по сравнению с моделью DynaTD и другими, сравнения с которыми

были проведены в [9]. Полученные оценки доверия оказались более точными весовыми коэффициентами при агрегации.

Таблица 3 - Сравнение результатов моделей MarkTE, DynaTD, Mean и Median

Задача Мера MarkSF DynaTD Mean Medrnn

Small NF IvME 0,4367 0,5448 2,8096 0,5601

RMSF 0,5765 0,9925 3,5978 0,7068

FX МАЕ 0,3841 0,5306 0,5449 0,6093

RMSF 0,542 0,673 0,6888 0,8243

Medium NF МАЕ 0,2093 0,2087 1,2755 0,2507

RMSF 0,2674 0,3603 1,5951 0,3155

FX МАЕ 0,3297 0,6205 0,6377 0,8149

RRfSF 0,4289 0,7759 0,7969 1,0263

Large NF ШЕ 0,1389 0,132 1,9844 0,1688

RMSF 0,1814 0,2727 2,4887 0,2117

FX IvME 0,2791 0,582 0,6018 0,7967

RMSF 0,3599 0,7325 0,757 1,0124

Каждая единица информации, выраженная значением v£tf получила оценку

Tr(v£t). На рисунке 3 показана зависимость Tr(v£t) от абсолютной ошибки

7

примере задачи Medium+NF.

Набор данных Medium (см. таблицу 2) содержал 65- 45 • 250 = 731250 значений. В целях наглядности на рисунке 3 представлены результаты для случайной выборки из 100 значений. На графике видна очевидная тенденция уменьшения доверия с ростом ошибки, из чего можно заключить, что предлагаемая модель MarkTE корректно оценивает доверие к поступающим в ИС данным, назначая наибольшие показатели доверия значениям с минимальной ошибкой.

V

доверия

а

ft ~ Vf,t

на

1.0

0.8

m 0.6

о

et

0.4

=г О

0.2

0.0

Я

V

10 15

Абсолютная ошибка

20

Рисунок 3

Оценка доверия к фактам в зависимости от абсолютной ошибки

Заключение

Предлагаемая модель оценки доверия к информации, извлекаемой из внешних источников для пополнения БЗ ИС, построенной на основе онтологии некоторой ПрО, способна демонстрировать эффективные показатели по сравнению с другими моделями на задачах оценки численных данных. В качестве данных могут выступать показатели, например, стоимость акций и капитализация компаний, информация о наличии товаров на складе и др. В общем случае модель МагкТЕ способна оценить доверие к текстовым данным или данным, представленным в виде Л^^-триплетов, что соответствует их представлению в онтологиях.

Список источников

[1] Баклавски К. Онтологический Саммит 2020. Коммюнике: Графы знаний / К. Баклавски, М. Беннет, Г. Берг-Кросс, Т. Шнайдер, Р. Шарма, Д. Сингер. Перевод с англ. Д. Боргест // Онтология проектирования. 2020. Т.10, №4(38). С.540-555. БОТ: 10.18287/2223-9537-2020-10-4-540-555.

[2] Simsek U., Umbrich J., Fensel D. Towards a Knowledge Graph Lifecycle: A pipeline for the population of a commercial Knowledge Graph. In: A. Paschke, C. Neudecker, G. Rehm, J.A. Qundus and L. Pintscher (eds): Proceedings of the Conference on Digital Curation Technologies Qurator-2020 (Berlin, Germany, 2020, January 20-21). CEUR Workshop Proceedings, vol. 2535, CEUR-WS.org. https://ceur-ws.org/Vol-2535/paper_10.pdf.

[3] Fernandez-Canellas D. et al. Enhancing Online Knowledge Graph Population with Semantic Knowledge. In: The Semantic Web ISWC 2020. Lecture Notes in Computer Science, vol 12506. Springer, Cham. 2020. P.183-200. DOI: 10.1007/978-3-030-62419-4_11.

[4] Cimmino A., Garcia-Castro R. Helio: a framework for implementing the life cycle of knowledge graphs. Semantic Web. Preprint 2022. P. 1-27. DOI: 10.3233/SW-233224.

[5] Galland A., Abiteboul S., Marian A., and Senellart P. Corroborating information from disagreeing views. In: Proceedings of the third ACM international conference on Web search and data mining WSDM-2010. (New York, USA, 2010, February 4-6). 2010. P.131-140. DOI: 10.1145/1718487.1718504.

[6] Li X., Dong X.L., Lyons K.B., Meng W., Srivastava D. Truth finding on the deep web: Is the problem solved? In: Proceedings of the VLDB Endowment. vol. 6(2). 2012. P.97-108. DOI: 10.14778/2535568.2448943.

[7] Pochampally R. et al. Fusing data with correlations. In: Proceedings of the 2014 ACM SIGMOD international conference on Management of data SIGMOD-2014 (Snowbird, Utah, USA, 2014, June 22-27). 2014. P.433-444. DOI: 10.1145/2588555.2593674.

[8] Dong X.L., Gabrilovich E., Murphy K., Dang V., Horn W., Lugaresi C., Sun S., Zhang W. Knowledge-Based Trust: Estimating the Trustworthiness of Web Sources. In: Proceedings of the VLDB Endowment. vol. 8, 2015. P.938-949. DOI: 10.14778/2777598.2777603.

[9] Li Y. et al. On the discovery of evolving truth. In: Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining KDD-2015 (Sydney, NSW, Australia, 2015, August 10-13). 2015. P.675-684. DOI: 10.1145/2783258.2783277.

[10] Yao L. et al. Online truth discovery on time series data. In: Proceedings of the 2018 SIAM international Conference on Data Mining SDM-2018 (San Diego, USA, 2018, October 6-13). 2018. Society for Industrial and Applied Mathematics. P.162-170. DOI: 10.1137/1.9781611975321.19.

[11] Zubiaga A., Liakata M., Procter R., Wong Sak Hoi G., Tolmie P. Analysing how people orient to and spread rumours in social media by looking at conversational threads. PLoS ONE 2016. 11(3): e0150989.DOI: 10.1371/journal.pone.0150989.

[12] Kochkina E., Liakata M., Zubiaga A. All-in-one: Multi-task learning for rumour verification. In: Proceedings of 27th International Conference on Computational Linguistics COLING-2018 (Santa Fe, New-Mexico, USA, 2018, August 20-26). Association for Computational Linguistics (ACL). 2018. P.3402-3413. DOI: 10.48550/arXiv.1806.03713.

[13] PHEME dataset for Rumour Detection and Veracity Classification. https://www.kaggle.com/datasets/usharengaraju/pheme-dataset.

[14] Chen X., Yuan Y., Lu L., Yang J. A multidimensional trust evaluation framework for online social networks based on machine learning. IEEE Access. vol. 7, 2019. P.175499-175513. DOI: 10.1109/ACCESS.2019.2957779.

[15] Vyas P., El-Gayar O. Credibility analysis of news on twitter using LSTM: An exploratory study. In: Proceedings of 26th Americas Conference on Information Systems AMCIS 2020 (Virtual conference, 2020, August 10-14). Association for Information Systems. https://scholar.dsu.edu/cgi/viewcontent.cgi?article=1150&context=bispapers.

[16] Hirlekar V.V., Kumar A. Tweet Credibility Detection for COVID-19 Tweets using Text and User Content Features. International Journal of Advanced Computer Science and Applications, 13(4), 2022. P.430-439. DOI: 10.14569/IJACSA.2022.0130451.

Сведения об авторе

Серый Алексей Сергеевич, 1987 г. рождения. Окончил Новосибирский государственный университет в 2010 г. Младший научный сотрудник лаборатории искусственного интеллекта Института систем информатики им. А.П. Ершова (Новосибирск). В списке научных трудов более двух десятков работ в области представления знаний и компьютерной лингвистики. Author ID (RSCI): 714554; ORCID: 0000-0001-8275-4700; Author ID (Scopus): 56403204900; Researcher ID (WoS): K-1557-2018. alexey.seryj@iis.nsk.su. И.

Поступила в редакцию 10.01.2023, после рецензирования 31.01.2023. Принята к публикации 11.02.2023.

Scientific article DOI: 10.18287/2223-9537-2023-13-1-113-124

Data credibility when populating ontologies and knowledge graphs

© 2023, A.S. Sery

A.P. Ershov Institute of Informatics Systems of Siberian Branch of RAS, Novosibirsk, Russia Abstract

The problem of assessing trust in the information extracted from textual sources to populate ontologies or knowledge graphs is considered. For a unit of information or a fact, the minimum knowledge about an instance of the subject area, expressed by a single RDF triplet, is taken. The paper provides a description of a probabilistic trust evaluation model based on Markov random processes. When assessing, the model is built on the basis of available information about sources, taking into account previously extracted data. A method for assessing the credibility of information with parallel weighting of sources is also provided. The proposed approach is in demand when the quality of the data sources is unknown or unavailable. As part of testing the model, sets of numerical data of various sizes were automatically generated, experiments were carried out to weigh the sources and assess trust in the information extracted from them. It was shown that in most cases the weights of the sources calculated on the basis of the proposed model are the greater, the smaller the average deviation of the information they provide from the true one, and the confidence in facts increases with decreasing distance to the true data. Comparison with data aggregation models is made. In most cases, the aggregation based on the trust score showed the smallest average deviation from the true data among the considered models. The obtained results show that the proposed model is effective in comparison with other similar models and can be used in problems of assessing trust in facts represented by real numbers.

Key words: ontology, knowledge graph, data extraction, information trustworthiness, Markov Process.

For citation: Sery AS. Data credibility when populating ontologies and knowledge graphs [In Russian]. Ontology of designing. 2023; 13(1): 113-124. DOI:10.18287/2223-9537-2023-13-1-113-124.

Conflict of interest: The author declares no conflict of interest.

List of figures and tables

Figure 1 - Errors of sources depending on their actual weight Figure 2 - Errors of sources depending on their calculated weight Figure 3 - Assessing confidence in facts depending on the absolute error Table 1 - Designations Table 2 - Synthetic datasets

Table 3 - Comparison of results of MarkTE, DynaTD, Mean and Median models

References

[1] Baclawski K, Bennett M, Berg-Cross G, Schneider T, Sharma R, Singer J, Sriram, R.D. Ontology summit 2020 communiqué: Knowledge graphs. Applied Ontology. 2021; 16(2): 229-247. DOI: 10.18287/2223-9537-2020-10-4540-555.

[2] Simsek U, Umbrich J, Fensel D. Towards a Knowledge Graph Lifecycle: A pipeline for the population of a commercial Knowledge Graph. In: A. Paschke, C. Neudecker, G. Rehm, J.A. Qundus and L. Pintscher (eds): Proceedings of the Conference on Digital Curation Technologies Qurator-2020 (Berlin, Germany, 2020, January 20-21). CEUR Workshop Proceedings, vol. 2535, CEUR-WS.org, https://ceur-ws.org/Vol-2535/paper_10.pdf.

[3] Fernàndez-Canellas D. et al. Enhancing Online Knowledge Graph Population with Semantic Knowledge. In: The Semantic Web ISWC 2020. Lecture Notes in Computer Science, vol 12506. Springer, Cham. 2020. 183-200. DOI: 10.1007/978-3-030-62419-4_11.

[4] Cimmino A, Garcia-Castro R. Helio: a framework for implementing the life cycle of knowledge graphs. Semantic Web. Preprint 2022. 1-27. DOI: 10.3233/SW-233224.

[5] Galland A, Abiteboul S, Marian A, Senellart P. Corroborating information from disagreeing views. In: Proceedings of the third ACM international conference on Web search and data mining WSDM-2010. (New York, USA, 2010, February 4-6). 2010. 131-140. DOI: 10.1145/1718487.1718504.

[6] Li X, Dong XL, Lyons KB, Meng W, Srivastava D. Truth finding on the deep web : Is the problem solved? In: Proceedings of the VLDB Endowment. 2012; 6(2): 97-108. DOI: 10.14778/2535568.2448943.

[7] Pochampally R. et al. Fusing data with correlations. In: Proceedings of the 2014 ACM SIGMOD international conference on Management of data SIGMOD-2014 (Snowbird, Utah, USA, 2014, June 22-27). 2014. 433-444. DOI: 10.1145/2588555.2593674.

[8] Dong XL, Gabrilovich E, Murphy K, Dang V, Horn W, Lugaresi C, Sun S, Zhang W. Knowledge-Based Trust: Estimating the Trustworthiness of Web Sources. In: Proceedings of the VLDB Endowment. 2015; 8: 938-949. DOI: 10.14778/2777598.2777603.

[9] Li Y. et al. On the discovery of evolving truth. In: Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining KDD-2015 (Sydney, NSW, Australia, 2015, August 10-13). 2015. 675-684. DOI: 10.1145/2783258.2783277.

[10] Yao L. et al. Online truth discovery on time series data. In: Proceedings of the 2018 SIAM international Conference on Data Mining SDM-2018 (San Diego, USA, 2018, October 6-13). 2018. Society for Industrial and Applied Mathematics. 162-170. DOI: 10.1137/1.9781611975321.19.

[11] Zubiaga A, Liakata M, Procter R, Wong Sak Hoi G, Tolmie P. Analysing how people orient to and spread rumours in social media by looking at conversational threads. PLoS ONE 2016. 11(3): e0150989. DOI: 10.1371/journal.pone.0150989.

[12] Kochkina E, Liakata M, Zubiaga A. All-in-one: Multi-task learning for rumour verification. In: Proceedings of 27th International Conference on Computational Linguistics COLING-2018 (Santa Fe, New-Mexico, USA, 2018, August 20-26). Association for Computational Linguistics (ACL). 2018. 3402-3413. DOI: 10.48550/arXiv.1806.03713.

[13] PHEME dataset for Rumour Detection and Veracity Classification. https://www.kaggle.com/datasets/usharengaraju/pheme-dataset.

[14] Chen X, Yuan Y, Lu L, Yang J. A multidimensional trust evaluation framework for online social networks based on machine learning. IEEE Access. 2019; 7: 175499-175513. DOI: 10.1109/ACCESS.2019.2957779.

[15] Vyas P, El-Gayar O. Credibility analysis of news on twitter using LSTM: An exploratory study. In: Proceedings of 26th Americas Conference on Information Systems AMCIS 2020 (Virtual conference, 2020, August 10-14). Association for Information Systems. https://scholar.dsu.edu/cgi/viewcontent.cgi?article=1150&context=bispapers.

[16] Hirlekar VV, Kumar A. Tweet Credibility Detection for COVID-19 Tweets using Text and User Content Features. International Journal of Advanced Computer Science and Applications, 2022; 13(4): 430-439. DOI: 10.14569/IJACSA.2022.0130451.

About the author

Alexey Sergeevich Sery (b.1987) holds a master's degree in mathematics from Novosibirsk State University (2010) and the position of Junior Researcher at the A.P. Ershov Institute of Informatics Systems of Siberian Branch of RAS. He is the author of more than 20 papers in the fields of NLP systems and Knowledge Representation. Author ID (RSCI): 714554; ORCID: 0000-0001-8275-4700; Author ID (Scopus): 56403204900; Researcher ID (WoS): K-1557-2018.

alexey.seryj@iis.nsk.su. El.

Received January 10, 2023. Revised January 31, 2023. Accepted February 11, 2023.