Применение вероятносто-энтропийного подхода к отбору тематически схожих документов в информационной системе специального назначения
Authors: Попов В.А. , Крахмалёв Д.В. , Чипчагов М.С. 
Published: December 2024

Задача поиска тематически схожих документов, как одна из задач классификации текста, является одной из наиболее важных областей обработки естественного языка. В результате решения данной задачи, данные автоматически сортируются по заранее определенному набору классов. Поиск тематически схожих документов и классификация текста широко применяется в коммерческих приложениях, таких как фильтрация спама, принятие решений, извлечение информации из необработанных данных и многие другие приложения. В информационных системах специального назначения автоматическая классификация текста применяется для обработки информационных сообщений из открытых источников информации, устраняя необходимость использовать более дорогой и трудоемкий механизм ручной классификации данных. В настоящее время лучшие результаты в автоматической классификации текстов показывают методы основанные на нейронных сетях. Однако следует учитывать, что такие результаты получены на тестовых наборах содержащих десятки и сотни тысяч размеченных документов и в условиях постоянства набора классов. В работе предложен способ отбора тематически схожих документов, в основе которого лежит эталонный набор из нескольких десятков документов, относящийся к каждому конкретному классу. Эталонный набор документов представляется в виде ранжированного списка ключевых слов и словосочетаний (списка ключевых терминов). Место термина в данном списке (ранг термина) определяется путем расчета нескольких вероятностно - энтропийных показателей и последующего суммирования. Далее определяется близость к каждому классу, исходя из количества ключевых терминов каждого класса и итогового веса в документе, подлежащем классификации.

The task of finding thematically similar documents, as one of the tasks of text classification, is one of the most important areas of natural language processing. As a result of solving this problem, the data is automatically sorted according to a predefined set of classes. The search for thematically similar documents and text classification is widely used in commercial applications such as spam filtering, decision-making, extracting information from raw data, and many other applications. In special-purpose information systems, automatic text classification is used to process information messages from open sources of information, eliminating the need to use a more expensive and time-consuming manual data classification mechanism. Currently, the best results in automatic text classification are shown by methods based on neural networks. However, it should be taken into account that such results were obtained on test sets containing tens and hundreds of thousands of marked-up documents and under conditions of a constant set of classes. The article offers a method of selection of thematically similar documents, which is based on a reference set of several dozens of documents related to each specific class. The reference set of documents is presented as a ranked list of keywords and phrases (list of key terms). The place of a term in this list (the rank of a term) is determined by calculating several probabilistic-entropy indicators and subsequent summation. Next, proximity to each class is determined based on the number of key terms in each class and the final weight in the document to be classified.