МЕТОД ПОСТРОЕНИЯ КОРПУСА ТЕКСТОВ НА ОСНОВЕ ИНТЕРНЕТ-ФОРУМОВ

1. Способ построения корпуса текстов на основе интернет-форумов для компьютерной системы, заключающийся в том, что, по меньшей мере, один раз производят следующую последовательность действий:
- построение объектной модели документа в виде древовидной DOM-структуры данных;
- выделение групп однотипных вершин в дереве объектной модели документа;
- удаление необязательных элементов оформления со страниц;
- слияние нелистовых вершин с одинаковыми именами в дереве объектной модели;
- объединение листовых вершин с одинаковыми свойствами;
- оценка вершин;
- фильтрация групп;
- построение, по крайней мере, одного выражения ХРАТН.
2. Способ по п.1, который дополнительно включает применение полученных выражений ХРАТН к набору файлов, содержащих все документы с выбранного форума.
3. Способ по п.1, где каждому относительному ХРАТН сопоставляется идентификатор типа извлекаемой информации.
4. Способ по п.3, где тип извлекаемой информации определяется с учетом значения весовой функции для каждого типа - кандидата, и в качестве идентификатора типа выбирается тот, на котором достигается максимальное значение весовой функции.
5. Способ по п.2, где извлеченная информация записывается в выходной XML файл, при этом каждое сообщение помещается в отдельный элемент.
6. Способ по п.1, где при слиянии вершин в дереве объектной модели происходит объединение свойств одинаковых вершин.
7. Способ по п.6, где при слиянии вершин узлов с одинаковыми именами дополнительно устанавливают значение нижнего порога количества сообщений на странице, и для текущей обрабатываемой вершины производится подсчет дочерних вершин с одинаковыми именами.
8. Способ по п.7, где для каждой группы дочерних вершин с одинаковым именем производится оценка: если количество вершин ниже порогового, то вершины переименовываются в соответствии с порядком их следования.
9. Система для построения корпуса текстов на основе интернет-форумов, включающая: один или более процессоров, одно или более устройств памяти, программные инструкции для вычислительного устройства, записанные в одно или более устройств памяти, которые при выполнении на одном или более процессорах управляют системой для:
- построения объектной модели документа в виде древовидной DOM-структуры данных;
- выделения групп однотипных вершин в дереве объектной модели документа;
- удаления необязательных элементов оформления со страниц;
- слияния нелистовых вершин с одинаковыми именами в дереве объектной модели;
- объединения листовых вершин с одинаковыми свойствами;
- оценки вершин;
- фильтрации групп;
- построения, по крайней мере, одного выражения ХРАТН;
- применения полученных выражений ХРАТН к набору файлов, содержащих все документы с выбранного форума.
10. Машиночитаемый носитель информации, несущий исполняемые компьютером инструкции для обеспечения возможности: построения объектной модели документа в виде древовидной DOM-структуры данных;
- выделения групп однотипных вершин в дереве объектной модели документа;
- удаления необязательных элементов оформления со страниц;
- слияния нелистовых вершин с одинаковыми именами в дереве объектной модели;
- объединения листовых вершин с одинаковыми свойствами;
- оценки вершин;
- фильтрации групп;
- построения, по крайней мере, одного выражения ХРАТН;
- применения полученных выражений ХРАТН к набору файлов, содержащих все документы с выбранного форума.