СИСТЕМА И СПОСОБ АГРЕГАЦИИ ДАННЫХ С МНОЖЕСТВА ВЕБ-САЙТОВ

1. Способ автоматической агрегации данных с множества веб-сайтов, включающий:
i) автоматические и периодические запросы упомянутых данных с множества связанных сайтов;
ii) анализ результатов упомянутых запросов, при этом упомянутые результаты включают по меньшей мере один документ, упомянутый анализ включает геометрический анализ макета страницы документа, упомянутый геометрический анализ включает определение одного или более геометрических свойств документа; анализ упомянутого одного или более геометрических свойств для определения макета документа; поиск множества контейнеров записей в упомянутом макете; и определение релевантности записи по меньшей мере из одного контейнера записей в соответствии с семантическим анализом и в соответствии с упомянутыми одним или более геометрическими свойствами;
iii) сохранение данных релевантных записей в базе данных; и
iv) извлечение упомянутых данных из упомянутой базы данных по требованию пользователя.
2. Способ по п.1, в котором поиск множества контейнеров записей в упомянутом макете включает идентификацию множества записей из каждого контейнере записей; и разделение упомянутых записей на группы, каждая из которых имеет одинаковую геометрическую конфигурацию, и способ также включает семантический анализ представителя каждой упомянутой группы, и если в результате упомянутого семантического анализа идентифицированы релевантные данные, то упомянутые данные и упомянутую конфигурацию сохраняют в базе данных.
3. Способ по п.2, в котором группы с идентичными геометрическими конфигурациями на других страницах полагают имеющими ту же самую семантическую структуру, так что данные из упомянутых групп извлекают без дополнительного семантического анализа.
4. Способ по п.1, в котором упомянутый поиск множества контейнеров записей в упомянутом макете включает ранжирование размера области контейнера и близости геометрического центра контейнера к геометрическому центру макета документа и выбор контейнера записей согласно упомянутому ранжированию для формирования выбранного контейнера записей, так что упомянутое определение релевантности выполняют для упомянутого выбранного контейнера записей.
5. Способ по п.4, в котором упомянутое определение релевантности записи включает идентификацию множества записей в упомянутом выбранном контейнере записей, группирование упомянутого множества записей в группы согласно геометрической конфигурации, так что записи, имеющие одинаковую геометрическую конфигурацию, определяют как принадлежащие одной группе, выполнение семантического анализа для представителя записей каждой группы и, если упомянутый представитель записей релевантен, сохранение данных из упомянутой группы записей.
6. Способ по п.5, в котором упомянутое группирование согласно геометрической конфигурации выполняют путем идентификации геометрических прямоугольников или других геометрически определенных форм в контейнере записей и путем упорядочивания этих прямоугольников или других геометрически определенных форм.
7. Способ по п.6, также включающий прием запроса от пользователя и сравнение этого запроса с множеством записей, а также ранжирование множества записей в соответствии с одним или более геометрическими свойствами для упомянутого сравнения запроса.
8. Способ по п.7, также включающий ранжирование множества записей в соответствии с одним или более из следующего: "свежести", рейтинга надежности и/или популярности веб-сайта, являющегося источником, полноты записи или заметности записи на веб-сайте.
9. Способ по п.7, также включающий ранжирование упомянутого множества записей в соответствии с множеством взвешенных атрибутов.
10. Способ по п.7, также включающий разделение упомянутого множества записей на группу из одной или более релевантных записей и группу из одной или более нерелевантных записей перед упомянутым ранжированием упомянутого множества записей, так что упомянутое ранжирование множества записей выполняют только для упомянутой группы из одной или более релевантных записей, причем упомянутое разделение множества записей включает анализ упомянутого запроса пользователя для разложения этого запроса на множество элементов; анализ каждой записи для разложения упомянутой записи на множество элементов; и сравнение значений упомянутых элементов для упомянутого запроса пользователя и упомянутой записи.
11. Способ по п.10, в котором упомянутое сравнение запроса с множеством записей включает представление каждой записи и упомянутого запроса как вектора переменных, при этом упомянутые переменные имеют дифференциальный вес, и сравнение упомянутых векторов переменных для определения их подобия.
12. Способ геометрического анализа макета страницы, включающего результаты запроса базы данных; при этом способ включает:
a) определение по меньшей мере одного контейнера записей в упомянутом макете путем идентификации упомянутого контейнера записей в соответствии с упомянутым макетом;
b) если определено множество контейнеров записей, выбор контейнера записей либо путем применения соотношений размеров записей макета, либо путем нахождения наибольшей регулярной области на странице;
c) разделение записей внутри упомянутого контейнера записей на группы, где каждая группа имеет одинаковую геометрическую конфигурацию; и
d) анализ записей в соответствии с семантическим анализом, причем упомянутый семантический анализ включает анализ в соответствии с множеством слов.
13. Способ по п.12, в котором идентифицируют прямоугольники в упомянутом выбранном контейнере записей.
14. Способ по п.13, в котором упомянутую идентификацию выполняют путем упорядочивания упомянутых записей внутри упомянутого контейнера записей и путем их разделения с применением линейных границ.
15. Система для автоматической агрегации данных с множества веб-сайтов, включающая:
a) процесс сборщика для извлечения данных из предоставленного списка связанных веб-сайтов;
b) процесс геометрического анализатора для анализа упомянутых данных, при этом упомянутые данные включают по меньшей мере один документ, упомянутый анализ включает геометрический анализ макета страницы документа, а упомянутый геометрический анализ включает определение одного или более геометрических свойств документа; анализ упомянутого одного или более геометрических свойств для обнаружения геометрической конфигурации; поиск множества контейнеров записей в упомянутом макете; и определение релевантности записи по меньшей мере из одного контейнера записей в соответствии с упомянутой геометрической конфигурацией;
c) семантический уровень для текстового анализа упомянутой релевантной записи; и
d) базу данных для хранения информации, извлеченной упомянутым семантическим уровнем.