МЕТОД ПОСТРОЕНИЯ И ОБНАРУЖЕНИЯ ТЕМАТИЧЕСКОЙ СТРУКТУРЫ КОРПУСА

1. Способ создания структуры тем корпуса в процессе построения корпуса, содержащий:
получение первого набора документов;
преобразование каждого документа в первом наборе документов в текстовое представление;
кластеризацию текстового представления первого набора документов по исходным темам;
маркирование каждого документа в первом наборе документов на основе кластеризации первого набора документов;
построение, с помощью процессора, классификатора на основе маркирования каждого документа в первом наборе документов;
получение второго набора документов; и
классификацию, с использованием классификатора, каждого документа во втором наборе документов по одной или более темам из числа исходных тем.
2. Способ по п.1, в котором классификация каждого документа во втором наборе документов содержит:
определение неклассифицированного подмножества документов из второго набора документов, которые не были отнесены ни к одной из исходных тем;
кластеризацию неклассифицированного подмножества документов по новым темам, не входящим в исходные темы; и
классификацию каждого документа из неклассифицированного подмножества документов по одной или более темам из числа новых тем.
3. Способ по п.1, в котором преобразование каждого документа в первом наборе документов в текстовое представление содержит:
определение списка слов, использованных во всех документах первого набора документов;
определение количества использований каждого слова в каждом документе; и
преобразование каждого документа в вектор на основе количества использований каждого слова в каждом документе.
4. Способ по п.3, в котором кластеризация текстового представления первого набора документов по исходным темам содержит:
выбор k-количества случайных векторов;
вычисление для каждого документа в первом наборе коэффициента сходства с каждым из случайных векторов;
закрепление каждого документа в первом наборе за одним из случайных векторов на основе коэффициента сходства для каждого документа и одного из случайных векторов;
вычисление центра массы для каждого случайного вектора на основе закрепленных за ними документов; и
обновление случайных векторов на основе центра массы случайного вектора.
5. Способ по п.4, дополнительно содержащий:
определение, изменился ли центр массы каждого случайного вектора меньше, чем на заданное значение, причем закрепленные документы представляют собой первый набор документов, кластеризованных по исходным темам.
6. Способ по п.4, дополнительно содержащий:
выбор множества разных значений k; и
определение наилучшего значения k на основании статистического анализа случайных векторов, полученных для разных значений k.
7. Способ по п.1, в котором по меньшей мере один документ во втором наборе документов классифицируют более чем в одну тему.
8. Способ по п.1, в котором прием первого набора документов содержит выполнение поиска первого набора документов в сети.
9. Способ по п.8, в котором поиск первого набора документов в сети содержит:
определение коэффициента отдачи на основе размера документа и размера документов, присутствующих в корпусе; и
добавление документа в первый набор документов, если коэффициент отдачи превышает заданное пороговое значение.
10. Способ по п.8, в котором прием второго набора документов содержит выполнение поиска второго набора документов во второй сети.
11. Система для создания структуры тем корпуса в процессе построения корпуса, содержащая:
один или более электронных процессоров, выполненных с возможностью:
получения первого набора документов;
кластеризации текстового представления первого набора документов по исходным темам;
маркирования каждого документа в первом наборе документов на основе кластеризации первого набора документов;
построения классификатора на основе маркировки каждого документов в первом наборе документов;
получения второго набора документов; и
классификации, с использованием классификатора, каждого документа во втором наборе документов по одной или более темам из числа исходных тем.
12. Система по п.11, в которой для классификации каждого документа во втором наборе документов один или более электронных процессоров дополнительно выполнены с возможностью:
определения неклассифицированного подмножества документов из второго набора документов, которые не были отнесены ни к одной из исходных тем;
кластеризации неклассифицированного подмножества документов по новым темам, не входящим в исходные темы; и
классификации каждого документа из неклассифицированного подмножества документов по одной или более темам из числа новых тем.
13. Система по п.11, в которой для преобразования каждого документа в первом наборе документов в текстовое представление один или более электронных процессоров дополнительно выполнены с возможностью:
определения списка слов, использованных во всех документах первого набора документов;
определения количества использований каждого слова в каждом документе; и
преобразования каждого документа в вектор на основе количества использований каждого слова в каждом документе.
14. Система по п.13, в которой для кластеризации текстового представления в первом наборе документов по исходным темам один или более электронных процессоров дополнительно выполнены с возможностью:
выбора k-количества случайных векторов;
вычисления для каждого документа в первом наборе коэффициента сходства с каждым из случайных векторов;
закрепления каждого документа в первом наборе за одним из случайных векторов на основе коэффициента сходства для каждого документа и одного из случайных векторов;
вычисления центра массы для каждого случайного вектора на основе закрепленных за ними документов; и
обновления случайных векторов на основе центра массы случайного вектора.
15. Система по п.14, в которой один или более электронных процессоров дополнительно выполнены с возможностью:
выбора множества разных значений k; и
определения наилучшего значения k на основании статистического анализа случайных векторов, полученных для разных значений k.
16. Система по п.11, в которой по меньшей мере один документ во втором наборе документов классифицируют более чем в одну тему.
17. Машиночитаемый носитель информации, на котором хранятся инструкции по созданию структуры тем корпуса в процессе построения корпуса, содержащие:
инструкции для получения первого набора документов;
инструкции для кластеризации текстового представления первого набора документов по исходным темам;
инструкции для маркирования каждого документа в первом наборе документов на основе кластеризации первого набора документов;
инструкции для построения классификатора на основе маркирования каждого документа в первом наборе документов;
инструкции для получения второго набора документов; и
инструкции для классификации, с использованием классификатора, каждого документа во втором наборе документов по одной или более темам из числа исходных тем.
18. Машиночитаемый носитель информации по п.17, в котором инструкции для классификации каждого документа во втором наборе документов дополнительно содержат:
инструкции для определения неклассифицированного подмножества документов из второго набора документов, которые не были отнесены ни к одной из исходных тем;
инструкции для кластеризации неклассифицированного подмножества документов по новым темам, не входящим в исходные темы; и
инструкции для классификации каждого документа из неклассифицированного подмножества документов по одной или более темам из числа новых тем.
19. Машиночитаемый носитель информации по п.17, в котором инструкции для преобразования каждого документа в первом наборе документов в текстовое представление дополнительно содержат:
инструкции для определения списка слов, использованных во всех документах первого набора документов;
инструкции для определения количества использований каждого слова в каждом документе; и
инструкции для преобразования каждого документа в вектор на основе количества использований каждого слова в каждом документе.
20. Машиночитаемый носитель информации по п.19, в котором инструкции для кластеризации текстового представления первого набора документов по исходным темам дополнительно содержат:
инструкции для выбора k-количества случайных векторов;
инструкции для вычисления для каждого документа в первом наборе коэффициента сходства с каждым из случайных векторов;
инструкции для закрепления каждого документа в первом наборе за одним из случайных векторов на основе коэффициента сходства каждого документа и одного из случайных векторов;
инструкции для вычисления центра массы для каждого случайного вектора на основе закрепленных за ними документов; и
инструкции для обновления случайных векторов на основе центра массы случайного вектора.
21. Машиночитаемый носитель информации по п.20, в котором инструкции дополнительно содержат:
инструкции для выбора множества разных значений k; и
определение наилучшего значения k на основании статистического анализа случайных векторов, полученных для разных значений k.
22. Машиночитаемый носитель информации по п.17, в котором по меньшей мере один документ во втором наборе документов классифицируют более чем в одну тему.