СИСТЕМА ПОСТРОЕНИЯ АГРЕГИРОВАННОГО ИНТЕГРАЛЬНОГО ПРЕДСТАВЛЕНИЯ ЗНАНИЙ О ТЕМАТИКЕ И СОДЕРЖАНИИ КОЛЛЕКЦИИ ТЕКСТОВЫХ ДОКУМЕНТОВ

Полезная модель относится к области вычислительной техники, в частности, к системе построения агрегированного интегрального представления знаний о тематике и содержании коллекции текстовых документов
Система предназначена для использования при поиске и анализе текстовой информации в качестве инструмента построения агрегированного интегрального описания тематики и содержания коллекции текстовых документов по вторичным информационным ресурсам, характеризующим тематику и содержание отдельных документов коллекции в форме наборов ключевых слов документов, создаваемых системой формирования лингвистических данных для поиска и анализа текстовой информации [1] и системой формирования семантических данных для поиска и анализа текстовой информации [2] в рамках информационной технологии «КЛЮЧИ К ТЕКСТАМ».
Отличительной особенностью системы является формирование описания тематики и содержания коллекции в виде трех множеств ключевых слов коллекции, упорядоченных по невозрастанию суммарной характеристики значимости (суммарному весу) ключевых слов в документах коллекции:
- множества семантических детерминант коллекции текстов в целом,
- множества содержательных стилистических детерминант коллекции текстов в целом,
- множества терминов, позволяющих дифференцированно описать содержание не менее заданной доли документов анализируемой коллекции.
Множество семантических детерминант коллекции текстов в целом содержательно характеризует основную тематику коллекции документов. Множество содержательных стилистических детерминант коллекции текстов в целом содержательно характеризует основные понятийные контексты, существенные для документов коллекции. А множество терминов позволяет дифференцированно описать содержание не менее заданной доли D общего числа R документов анализируемой коллекции (автоматически сформировать запросы для контекстного поиска, позволяющие на содержательном уровне дифференцировать документы, составляющие не менее заданной доли анализируемой коллекции).
Известны системы, которые могут быть использованы для формирования знаний о тематике и содержании отдельных документов в виде списков ключевых слов [1, 2].
Первая из известных систем содержит блоки приема и хранения лингвистических данных текстовых документов,
соединенные с блоками управления и обработки данных, блоки поиска и селекции, подключенные к блокам хранения данных и отображения, синхронизирующие входы которых соединены с выходами блока управления, и использует разделение лемм слов в тексте документа на «К» множеств, определяемых частотами использования слов в некоторой базовой совокупности документов [1].
Существенный недостаток данной системы состоит в невысокой специфичности и значительном объеме результатов анализа текстовых документов - лингвистических данных, для представления тематики и содержания документов. Специфичность и необходимая компактность результатов - списков ключевых слов, обеспечивается при последующей обработке лингвистических данных системой, содержащей блок приема данных документа образца, информационный и синхронизирующий входы которого являются первыми информационным и синхронизирующими входами системы, блок приема данных о корпусе документов, информационный и синхронизирующий входы которого являются вторыми информационным и синхронизирующими входами системы, блок задания критерия выбора найденных документов, информационный и синхронизирующий входы которого являются третьими информационным и синхронизирующими входами системы, блок передачи данных о корпусе документов, информационный выход которого является вторым информационным выходом системы, блок подсчета числа найденных документов, предназначенным для выдачи итоговых данных на табло отображения, блок приема данных найденных документов, информационный и синхронизирующий входы которого являются четвертыми информационным и
синхронизирующими входами системы, а один информационный выход блока приема данных найденных документов является четвертым информационным выходом системы [2].
Это техническое решение обеспечивает высокоточное описание тематики и содержания отдельного текстового документа на естественном языке в виде набора списков ключевых слов, но оно не обеспечивает получение построения агрегированного интегрального описания тематики и содержания коллекции текстовых документов в целом.
Цель изобретения - решение задачи построения агрегированного интегрального описания тематики и содержания коллекции текстовых документов по вторичным информационным ресурсам, характеризующим тематику и содержание отдельных документов коллекции в форме наборов ключевых слов документов.
Поставленная цель достигается тем, в систему, содержащую модуль памяти входных параметров, информационный вход которого предназначен для приема общего числа документов коллекции, совокупности наборов ключевых слов всех документов анализируемой текстовой коллекции с весами, общего списка всех слов всех документов, для каждого слова - индексного списка, в котором указаны идентификаторы (номера) документов, в которых встречается данное слово, и общего числа таких документов, и является первым информационным входом системы, синхронизирующий вход модуля памяти входных параметров, предназначен для приема синхронизирующих сигналов занесения совокупности наборов ключевых слов всех документов анализируемой текстовой коллекции с весами, общего списка всех слов всех документов, для каждого слова индексного списка, в котором указаны идентификаторы (номера) документов, в которых
встречается данное слово, и общего числа таких документов в модуль памяти входных параметров, и является первым синхронизирующим входом системы, модуль селекции временных интервалов обработки данных, тактирующий вход которого является вторым синхронизирующим входом системы и предназначен для синхронизации временных интервалов обработки данных, и модуль задания пороговых значений, информационный вход которого предназначен для приема пороговых значений чисел документов коллекции для отнесения ключевого слова коллекции к категории семантических и стилистических детерминант коллекции, пороговых величин суммарного веса ключевого слова в коллекции для отнесения ключевого слова коллекции к категории стилистических детерминант коллекции, пороговых величин суммарного веса ключевого слова в коллекции для отнесения ключевого слова коллекции к категории семантических детерминант коллекции, и долей документов анализируемой коллекции, содержание которых должна дифференцировано описать формируемая система терминов, и является вторым информационным входом системы, синхронизирующий вход модуля задания пороговых значений является третьим синхронизирующим входом системы, предназначенным для занесения пороговых значений чисел документов коллекции для отнесения ключевого слова коллекции к категории семантических и стилистических детерминант коллекции, пороговых величин суммарного веса ключевого слова в коллекции для отнесения ключевого слова коллекции к категории стилистических детерминант коллекции, пороговых величин суммарного веса ключевого слова в коллекции для отнесения ключевого слова коллекции к категории семантических детерминант
коллекции, и долей документов анализируемой коллекции, содержание которых должна дифференцировано описать формируемая система терминов в модуль задания пороговых значений, введены модуль формирования полного упорядоченного по невозрастанию суммарного веса набора ключевых слов коллекции по вторичным информационным ресурсам, информационный вход которого соединен с информационным выходом модуля памяти входных параметров, синхронизирующий вход модуля формирования полного упорядоченного по невозрастанию суммарного веса набора ключевых слов коллекции по вторичным информационным ресурсам подключен к первому синхронизирующему выходу модуля селекции временных интервалов обработки данных, модуль определения среднего веса каждого ключевого слова коллекции в документах, использующих данное слово, информационный вход которого соединен с информационным выходом модуля формирования полного упорядоченного по невозрастанию суммарного веса набора ключевых слов коллекции по вторичным информационным ресурсам, а синхронизирующий вход модуля определения среднего веса каждого ключевого слова коллекции подключен к второму синхронизирующему выходу модуля селекции временных интервалов обработки данных, и модуль формирования множества семантических, стилистических детерминант и множества терминов, позволяющих дифференцированно описать содержание не менее заданной доли документов анализируемой коллекции, первый информационный вход которого соединен с информационным выходом модуля определения среднего веса каждого ключевого слова коллекции, второй информационный вход модуля
формирования множества семантических, стилистических детерминант и множества терминов, позволяющих дифференцирование описать содержание не менее заданной доли документов анализируемой коллекции, подключен к информационному выходу модуля формирования полного упорядоченного по невозрастанию суммарного веса набора ключевых слов коллекции по вторичным информационным ресурсам, третий информационный вход модуля формирования множества семантических, стилистических детерминант и множества терминов, позволяющих дифференцирование описать содержание не менее заданной доли документов анализируемой коллекции, является третьим информационным входом системы, предназначенным для приема общего числа документов коллекции и данных индексных списков, определяющих номера и общее число документов, использующих ключевое слово, четвертый информационный вход модуля формирования множества семантических, стилистических детерминант и множества терминов, позволяющих дифференцированно описать содержание не менее заданной доли документов анализируемой коллекции, подключен к информационному выходу модуля задания пороговых значений, а синхронизирующий вход модуля формирования полного упорядоченного по невозрастанию суммарного веса набора ключевых слов коллекции по вторичным информационным ресурсам соединен с третьим синхронизирующим выходом модуля селекции временных интервалов обработки данных, при этом информационный выход модуля формирования полного упорядоченного по невозрастанию суммарного веса набора ключевых слов коллекции по вторичным информационным ресурсам и информационный выход модуля
формирования множества семантических, стилистических детерминант и множества терминов, позволяющих дифференцированно описать содержание не менее заданной доли документов анализируемой коллекции, являются информационным выходом системы, а синхронизирующий выход модуля формирования полного упорядоченного по невозрастанию суммарного веса набора ключевых слов коллекции по вторичным информационным ресурсам подключен к установочному входу модуля селекции временных интервалов обработки данных.
Сущность изобретения поясняется чертежами, где на фиг.1 представлена структурная схема системы, на фиг.2 - структурная схема модуля селекции временных интервалов обработки данных, на фиг.3 и фиг.4 - приведена блок-схема алгоритма обработки данных модуля формирования полного упорядоченного по невозрастанию суммарного веса набора ключевых слов коллекции по вторичным информационным ресурсам, на фиг 5 - приведена блок-схема алгоритма обработки данных модуля определения среднего веса каждого ключевого слова коллекции, на фиг.6 - приведена блок-схема алгоритма обработки данных модуля формирования множества семантических, стилистических детерминант и множества терминов, позволяющих дифференцирование описать содержание не менее заданной доли документов анализируемой коллекци.
Система (фиг.1) содержит модуль 1 памяти входных параметров, модуль 2 селекции временных интервалов обработки данных, модуль 3 формирования полного упорядоченного по невозрастанию суммарного веса набора ключевых слов коллекции по вторичным информационным ресурсам, модуль 4 определения среднего веса каждого ключевого слова коллекции, модуль 5
формирования множества семантических, стилистических детерминант и множества терминов, позволяющих дифференцированно описать содержание не менее заданной доли документов анализируемой коллекции и модуль 6 задания пороговых значений, включая пороговые значения чисел документов коллекции для отнесения ключевого слова коллекции к категории семантических и стилистических детерминант коллекции, пороговые величины суммарного веса ключевого слова в коллекции для отнесения ключевого слова коллекции к категории стилистических детерминант коллекции, пороговые величины суммарного веса ключевого слова в коллекции для отнесения ключевого слова коллекции к категории семантических детерминант коллекции, и долю документов анализируемой коллекции, содержание которых должна дифференцировано описать формируемая система терминов.
На фиг.1 показаны первый 10, второй 11 и третий 12 информационные входы системы, первый 13, второй 14 и третий 15 синхронизирующие входы системы, а также информационный 16 выход системы.
Модуль 1 (фиг.1) памяти входных параметров выполнен в виде блока оперативной памяти, имеющего информационный 10 и синхронизирующий 13 входы, а также информационный выход, соединенный с информационным входом модуля 3.
Модуль 2 (фиг.2) селекции временных интервалов обработки данных содержит счетчик 20, дешифратор 21, элементы 22-24 И. На чертеже показаны счетный 14 и установочный 17 входы, а также первый 25, второй 26 и третий 27 синхронизирующие выходы модуля.
Модуль 3 (фиг.1) формирования полного упорядоченного по невозрастанию суммарного веса набора ключевых слов коллекции по вторичным информационным ресурсам выполнен в виде вычислительного блока, алгоритм функционирования представлен на фиг.3 и фиг.4. На чертеже показаны информационный 28 и синхронизирующий 29 входы, а также информационный 36 выход модуля.
Модуль 4 (фиг.1) определения среднего веса каждого ключевого слова коллекции выполнен в виде вычислительного блока, алгоритм функционирования представлен на фиг.5. На чертеже показаны информационный 37 и синхронизирующий 40 входы, а также информационный 38 выход модуля.
Модуль 5 (фиг.1) формирования множества семантических, стилистических детерминант и множества терминов, позволяющих дифференцированно описать содержание не менее заданной доли документов анализируемой коллекции, выполнен в виде вычислительного блока, алгоритм функционирования которого представлен на фиг.6. На чертеже показаны первый 30, второй 31, третий 32 и четвертый 33 информационные и синхронизирующий 34 входы, а также информационный 16 и синхронизирующий 35 выходы.
Модуль 6 (фиг.1) задания пороговых значений выполнен в виде регистра, имеющего информационный 11 и синхронизирующий 15 входы, а также информационный 39 выход.
Система осуществляет вычислительное формирование агрегированного интегрального представления знаний о тематике и содержании коллекции текстовых документов на основании вторичных информационных ресурсов, характеризующих тематику
и содержание каждого документа коллекции, создаваемых с помощью информационной технологии «КЛЮЧИ К ТЕКСТАМ».
Управляющими параметрами системы являются: пороговое число документов коллекции для отнесения ключевого слова коллекции к категории семантических и стилистических детерминант коллекции, пороговая величина суммарного веса ключевого слова в коллекции для отнесения ключевого слова коллекции к категории стилистических детерминант коллекции, доля документов анализируемой коллекции, содержание которых должна дифференцировано описать формируемая система терминов.
Система работает следующим образом.
На информационный 10 вход системы поступает и заносится в модуль 1 синхронизирующими сигналами, поступающими с входа 13 системы совокупность наборов ключевых слов всех документов анализируемой текстовой коллекции с весами, общий список всех слов всех документов, для каждого слова индексный список, в котором указаны идентификаторы (номера) документов, в которых встречается данное слово, и общее число таких документов.
Модуль 2 с помощью тактирующих импульсов времени, поступающих с входа 14 на счетный вход счетчика 20 (фиг.2) фиксирует интервал времени, в течение которого осуществляется загрузка совокупности наборов ключевых слов всех документов анализируемой текстовой коллекции с весами, общего списка всех слов всех документов, для каждого слова индексного списка, в котором указаны идентификаторы (номера) документов, в которых встречается данное слово, и общего числа таких документов в модуль 1.
Дешифратор 21 модуля 2 расшифровывает кодовое значение временного интервала, и как только кодовое значение временного интервала будет соответствовать окончанию ввода данных, то дешифратор 21 открывает элемент 22 И по одному входу. В результате этого очередной тактовый импульс с входа 14 проходит через элемент 22 И на выход 25 модуля 2 и далее на синхронизирующий вход 29 модуля 3, запуская процедуру обработки данных, поступающих на информационный вход 28 модуля 3, по алгоритму обработки данных, приведенному на фиг.3 и фиг.4.
Выходной информацией модуля 3 на выходе 36 является последовательность ключевых слов всех документов коллекции, упорядоченная по невозрастанию суммарного веса указанных слов в документах коллекции. Для каждого слова приводятся значение суммарного веса и число документов в коллекции, в которых слово встречается (не обязательно в качестве ключевого слова), суммарный вес ключевых слов, накопленный от начала последовательности до данного слова.
Момент окончания обработки данных в модуле 3 будет зафиксирован дешифратором 21, который к этому моменту времени откроет элемент 23 И, и очередной тактовый импульс с входа 14 пройдет через элемент 23 И на выход 26 модуля 2 и далее на вход 40 модуля 4 запуск процедуры обработки данных, поступающих на информационный вход 37 модуля 4 с выхода 36 модуля 3.
Входной информацией модуля 4 является последовательность ключевых слов всех документов коллекции, упорядоченная по невозрастанию суммарного веса указанных слов в документах коллекции. Обработку этой информации модуль 4 осуществляет по алгоритму, приведенному на фиг.5.
Выходной информацией модуля 4 является величина среднего веса каждого из ключевых слов коллекции в документах коллекции, использующих данное слово.
Полученные данные о последовательности ключевых слов всех документов коллекции, упорядоченной по невозрастанию суммарного веса указанных слов в документах коллекции и величине среднего веса ключевых слов коллекции с выхода 36 модуля 3 поступают также на информационный вход 31 модуля 5, а данные с информационного выхода 38 модуля 4 поступают на информационный 30 вход модуля 5.
Входной информацией модуля 5 также являются индексные файлы, определяющие номера и общее число документов, использующих каждое ключевое слово, данные которых с входа 12 системы поступают на вход 32 модуля 5.
Управляющими параметрами модуля 5 являются: пороговое число документов коллекции для отнесения ключевого слова коллекции к категории семантических и стилистических детерминант коллекции, пороговая величина суммарного веса ключевого слова в коллекции для отнесения ключевого слова коллекции к категории стилистических детерминант коллекции, пороговая величина суммарного веса ключевого слова в коллекции для отнесения ключевого слова коллекции к категории семантических детерминант коллекции, доля документов D анализируемой коллекции, содержание которых должна дифференцировано описать формируемая система терминов.
Управляющие параметры с входа 11 системы с помощью синхронизирующих импульсов, поступающих с входа 15 системы, заносятся в модуль 6 и с выхода 39 модуля 6 поступают на информационный вход 33 модуля 5.
Модуль 5 приступает к обработке входных данных по синхронизирующему сигналу с третьего синхронизирующего выхода 27 модуля 2, поступающему на синхронизирующий вход 24 модуля 5.
С приходом этого импульса модуль 5 переходит к обработке входных данных по алгоритму, блок-схема которого приведена на фиг.6.
Выходной информацией модуля 5 на выходе 16 системы является множество семантических, стилистических детерминант и множество терминов, позволяющих дифференцированно описать содержание не менее заданной доли документов анализируемой коллекции.
Причем для множества терминов, для каждого слова приводятся число документов, в которых данное слово встречается и число документов, в которых данное слово встречается и одновременно не встречаются слова с большим весом, чем у данного слова, из построенного множества терминов. Если указанное число документов равно нулю, слово в анализируемой коллекции является зависимым термином.
Выходная информация модуля 5 может быть пустым множеством.
С выхода 35 модуля 5 сигнал об окончании процедуры обработки данных поступает на установочный вход счетчика 20 модуля 2, возвращая модуль 2 и всю систему в исходное состояние.
Таким образом, введение новых модулей и новых конструктивных связей позволило решить задачу построения агрегированного интегрального описания тематики и содержания коллекции текстовых документов по вторичным информационным
ресурсам, характеризующим тематику и содержание отдельных документов коллекции в форме наборов ключевых слов документов.
Источники информации, принятые во внимание при составлении описания заявки:
1. Патент РФ №60751 G06F 12/00, 15/16 (2006.01)
2. Патент РФ №62263 G06F 12/00 (2006.01)