СПОСОБ И СИСТЕМА КЛАСТЕРИЗАЦИИ ДОКУМЕНТОВ

1. Способ кластеризации документа, отличающийся тем, что
инициализируют структуру кластеризованных документов;
инициализируют индекс структуры кластеризованных документов, выполненный с возможностью добавления нового документа и с возможностью поиска документов, содержащих определенные слова;
получают новый документ из входного потока и предварительно его обрабатывают, при этом преобразовывают новый документ в вектор весов;
фильтруют структуру кластеризованных документов на основе индекса, при этом создают из вектора весов запрос для индекса и, передав запрос в индекс, получают список с номерами кластеризованных документов, при этом в список включают номера кластеризованных документов, которые содержат, по меньшей мере, одно общее с запросом слово.
извлекают из структуры кластеризованных документов подструктуру кластеров, которая основана на списке с номерами кластеризованных документов;
в под-структуре кластеров определяют наиболее подходящий кластер для нового документа, добавляют новый документ в индекс и записывают новый документ в определенный кластер в структуре кластеризованных документов.
2. Способ по п.1, отличающийся тем, что предварительно обрабатывают новый документ, при этом дополнительно выполняют удаление стоп-слов, осуществляют морфологический разбор.
3. Способ по п.1, отличающийся тем, что проводят предварительную фильтрацию документов из структуры кластеризованных документов на основе индекса.
4. Способ по п.1, отличающийся тем, что в списке с номерами кластеризованных документов номера кластеризованных документов отсортированы в порядке сходства по индексу, т.е., документы которые содержат больше совпадений с запросом, помещают в начало списка, а номера кластеризованных документов, которые содержат меньше совпадающих с запросом слов, помещают в конец списка.
5. Способ по п.1, отличающийся тем, что в случае линейной кластеризации, из исходной структуры кластеризованных документов, являющейся в этом случае списком кластеров, извлекается под-список кластеров, основанный на списке номеров документов, при этом кластеры отсортированы в порядке сходства по индексу.
6. Способ по п.1, отличающийся тем, что поиск наиболее подходящего кластера для нового документа производят на основе метрики подобия.
7. Система кластеризации документов, отличающаяся тем, что содержит соединенные между собой общей шиной данных блок предварительной обработки, блок фильтрации, блок поиска кластера, процессор, постоянное запоминающее устройство, оперативное запоминающее устройство и индекс, причем постоянное запоминающее устройство выполнено с возможностью чтения и записи произвольных данных, в частности структуры кластеризованных документов; оперативное запоминающее устройство выполнено с возможностью чтения и записи произвольных данных, в частности временных данных и под-структуры кластеризованных документов; индекс структуры кластеризованных документов выполнен с возможностью добавления нового документа и с возможностью поиска документов, содержащих определенные слова; блок предварительной обработки выполнен с возможностью получения нового документа из входного потока и с возможностью преобразования нового документа в вектор весов; блок фильтрации выполнен с возможностью фильтрации структуры кластеризованных документов на основе индекса путем создания из вектора весов запроса для индекса, передачи запроса в индекс, и формирования списка с номерами кластеризованных документов, при этом включения в список номеров кластеризованных документов, которые содержат, по меньшей мере, одно общее с запросом слово, причем номера документов следуют в порядке сходства по индексу; блок поиска кластера выполнен с возможностью извлечения из структуры кластеризованных документов под-структуры кластеров, которая основана на списке с номерами кластеризованных документов, а также с возможностью определения в под-структуре кластеров наиболее подходящего кластера для нового документа, добавления нового документа в индекс и записи нового документа в определенный кластер в структуре кластеризованных документов.
8. Система по п.4, отличающаяся тем, что в индексе реализована быстрая операция поиска по набору слов списка документов, отсортированного в порядке сходства по индексу.