СПОСОБ И СИСТЕМА СЕМАНТИЧЕСКОЙ ОБРАБОТКИ ТЕКСТОВЫХ ДОКУМЕНТОВ

1. Способ семантической обработки текстовых документов, заключающийся в том, что:
морфологически и синтаксически анализируют содержание текстового документа и запроса пользователя;
сегментируют текст на клаузы;
формируют функционально-ролевые структуры клауз;
выявляют референциальную связность между игроками функционально-ролевых структур клауз;
кореферент с наибольшей степенью общности заменяют кореферентом с более конкретным значением;
определяют риторические отношения между клаузами и более крупными текстовыми элементами;
связывают функционально-ролевые структуры клауз риторическими отношениями для получения дискурсного графа текстового документа и запроса пользователя;
сформированный дискурсный граф текстового документа дописывают к метаинформации текстового документа;
индексируют текстовый документ по игрокам функционально-ролевых структур клауз;
для каждой функционально-ролевой структуры клауз запроса пользователя производят оценку соответствия функционально-ролевым структурам клауз текстового документа;
производят оценку соответствия риторических отношений между функционально-ролевыми структурами клауз текстового документа и запроса;
производят оценку расстояния от пересечения дискурсных графов запроса пользователя и текстового документа до ядра дискурсного графа текстового документа;
определяют значение функции соответствия текстового документа запросу пользователя (ценность текстового документа);
ранжируют по ценности текстовые документы с учетом семантических признаков;
отсекают текстовые документы, ценность которых ниже порога, заданного пользователем;
предоставляют пользователю результаты обработки текстовых документов.
2. Способ по п. 1, в котором функционально-ролевые структуры клауз, входящие в запрос пользователя, дополнительно разделяют на функционально-ролевые структуры, представляющие факты известные пользователю, и на функционально-ролевые структуры, составляющие суть запроса, и соответственно помечают.
3. Способ по п. 2, в котором дополнительно определяют тип вопросительных функционально-ролевых структур клауз, составляющих суть запроса.
4. Способ по п. 1, в котором выявляют референциальную связность между игроками функционально-ролевых структур клауз таким образом, при котором учитывают как анафорические ссылки, так и катафорические ссылки, причем антецедент может быть выражен как местоимением, так и семантически тождественным понятием.
5. Способ по п. 4, в котором выявляют референциальную связность между игроками функционально-ролевых структур клауз, используя, по меньшей мере частично, лингвистическую онтологию.
6. Способ по п. 4, в котором выявляют референциальную связность между игроками функционально-ролевых структур клауз, используя, по меньшей мере частично, распределенное представление слов.
7. Способ по п. 1, в котором при оценке соответствия каждой функционально-ролевой структуры клаузы запроса пользователя функционально-ролевым структурам клауз текстового документа дополнительно оценивают соответствие атрибутов и вершин функционально-ролевых структур клауз.
8. Способ по п. 7, в котором оценку соответствия атрибутов функционально-ролевых структур клауз производят как по точному совпадению наименований атрибутов, так и с учетом метрики референциальной близости наименований атрибутов.
9. Способ по п. 7, в котором оценку соответствия вершин функционально-ролевых структур клауз производят как по точному совпадению идентификационных номеров понятий, определяющих вершину, так и с учетом фактор-множества вершины, представленной вопросительным словом к-вопроса, которое определяют на основе эвристических правил, хранящихся в онтологии предметной области.
10. Способ по п. 1, в котором при оценке соответствия риторических отношений между функционально-ролевыми структурами клауз в текстовом документе и запросе риторические отношения между функционально-ролевыми структурами клауз, представляющими факты известные пользователю, оценивают по точному соответствию, а риторические отношения между функционально-ролевыми структурами клауз, представляющими факты известные пользователю, и функционально-ролевыми структурами клауз, составляющими суть запроса, могут оценивать как по точному соответствию, так и с использованием эвристических правил, хранящихся в онтологии предметной области, которые дополняют риторические отношения между функционально-ролевыми структурами клауз, представляющими факты известные пользователю, и функционально-ролевыми структурами клауз, составляющими суть запроса.
11. Система семантической обработки текстовых документов, включающая совокупность взаимосвязанных друг с другом модулей, реализующих интеграцию способа обработки текстовых документов по ключевым словам и способа по п. 1, а именно:
модуль формирования запроса пользователя на естественном языке;
модуль формирования запроса пользователя по ключевым словам;
модуль индексации текстовых документов;
база данных, хранящая текстовые сообщения и метаинформацию о них;
модуль оценки текстовых документов относительно запроса пользователя по ключевым словам;
модуль ранжирования по ценности текстовых документов с учетом ключевых слов;
хранилище результатов поиска по ключевым словам;
модуль представления результатов обработки текстовых документов.
модуль формирования дискурсного графа текстовых документов;
модуль формирования дискурсного графа запроса пользователя;
модуль онтологии предметной области;
модуль оценки текстовых документов относительно запроса пользователя с учетом семантических признаков;
модуль ранжирования по ценности текстовых документов с учетом семантических признаков;
хранилище результатов поиска с учетом семантических признаков.
12. Система по п. 11, в которой модуль формирования запроса пользователя по ключевым словам расширяет запрос дополнительными словами (словосочетаниями), используя, по меньшей мере частично, лингвистическую онтологию.
13. Система по п. 11, в которой модуль формирования запроса пользователя по ключевым словам расширяет запрос дополнительными словами (словосочетаниями), используя, по меньшей мере частично, распределенное представление слов.
14. Система по п. 11, в которой модуль представления результатов обработки текстовых документов представляет пользователю результаты обработки текстовых документов по ключевым словам до завершения обработки текстовых документов с учетом семантических признаков.
15. Система по п. 11, в которой оценке соответствия модулем оценки текстовых документов относительно запроса пользователя с учетом семантических признаков подвергаются текстовые документы, еще не просмотренные пользователем, хранящиеся в хранилище результатов поиска по ключевым словам.
16. Система по п. 11, в которой в процессе ранжирования модуль ранжирования по ценности текстовых документов с учетом семантических признаков может отсекать текстовые документы, ценность которых ниже порога, заданного пользователем.