СИСТЕМА И СПОСОБ ИСКЛЮЧЕНИЯ ШИНГЛОВ ОТ НЕЗНАЧИМЫХ ЧАСТЕЙ ИЗ СООБЩЕНИЯ ПРИ ФИЛЬТРАЦИИ СПАМА

1. Система исключения шинглов, которые встречались только в сообщениях, не содержащих спам, при фильтрации спама, которая содержит:
а) средство обработки текста, предназначенное для поиска частей текста, которые встречались только в сообщениях, не содержащих спам, которые следует исключить, путем анализа текста сообщения на наличие известных образцов текста, хранимых в базе данных образцов текста, исключения из текста сообщения найденных частей текста, которые встречались только в сообщениях, не содержащих спам, передачи сокращенного текста сообщения средству обработки шинглов;
б) база данных образцов текста, предназначенная для хранения известных образцов текста, характерных для частей сообщения, которые встречались только в сообщениях, не содержащих спам;
в) средство обработки шинглов, предназначенное для вычисления набора шинглов на основе сокращенного текста сообщения, поиска шинглов, которые следует исключить, путем сравнения шинглов из вычисленного набора шинглов с известными шинглами, которые хранятся в базе данных шинглов, исключения совпадающих шинглов.
г) база данных шинглов, предназначенная для хранения известных шинглов, характерных для частей сообщения, которые встречались только в сообщениях, не содержащих спам.
2. Система по п.1, в которой средство обработки шинглов после исключения совпадающих шинглов передает сокращенный набор шинглов средству фильтрации.
3. Система по п.1, в которой дополнительно используют средство фильтрации, предназначенное для анализа сокращенного набора шинглов, по крайней мере, по одному из методов фильтрации.
4. Система по п.3, в которой средство фильтрации производит анализ сокращенного набора шинглов по методу кластеризации.
5. Система по п.3, в которой средство фильтрации производит анализ сокращенного набора шинглов по методу Байеса.
6. Система по п.1, в которой средство обработки текста производит канонизацию текста.
7. Система по п.1, в которой в базе данных образцов текста хранятся образцы текста, которые встречались только в сообщениях, не содержащих спам.
8. Система по п.1, в которой в базе данных шинглов хранятся шинглы, которые встречались только в сообщениях, не содержащих спам.
9. Система по п.1, в которой база данных образцов текста и база данных шинглов заполняются образцами текста и шинглами из сообщений, не содержащих спам, получаемых от пользователей персональных компьютеров посредством антивирусного сервера.
10. Способ исключения шинглов, которые встречались только в сообщениях, не содержащих спам, при фильтрации спама, в котором:
а) при помощи средства обработки текста производят поиск частей сообщения, которые встречались только в сообщениях, не содержащих спам;
б) при помощи средства обработки текста исключают части сообщения, которые встречались только в сообщениях, не содержащих спам;
в) при помощи средства обработки шинглов вычисляют набор шинглов на основе сокращенного сообщения;
г) при помощи средства обработки шинглов производят поиск шинглов, которые встречались только в сообщениях, не содержащих спам;
д) при помощи средства обработки шинглов исключают из набора шинглов, вычисленного на основе сокращенного сообщения, найденные шинглы для последующей фильтрации.
11. Способ по п.10, в котором производят поиск частей сообщения, которые встречались только в сообщениях, не содержащих спам, которые следует исключить, путем анализа текста сообщения на наличие известных образцов текста.
12. Способ по п.10, в котором хранят известные образцы текста, которые встречались только в сообщениях, не содержащих спам.
13. Способ по п.10, в котором при исключении частей сообщения, которые встречались только в сообщениях, не содержащих спам, производят канонизацию текста.
14. Способ по п.10, в котором производят поиск шинглов, которые следует исключить, путем сравнения шинглов из вычисленного набора шинглов с известными шинглами.
15. Способ по п.10, в котором хранят известные шинглы, которые встречались только в сообщениях, не содержащих спам.
16. Способ по п.10, в котором после исключения из набора шинглов, вычисленного на основе сокращенного сообщения, найденных при поиске шинглов, получают сокращенный набор шинглов.
17. Способ по п.16, в котором анализ сокращенного набора шинглов производится по методу Байеса.
18. Способ по п.16, в котором анализ сокращенного набора шинглов производится по методу кластеризации.