СИСТЕМА И ПРОЦЕСС ДЛЯ АНАЛИЗА, КВАЛИФИЦИРОВАНИЯ И ПРОГЛАТЫВАНИЯ ИСТОЧНИКОВ НЕСТРУКТУРИРОВАННЫХ ДАННЫХ ПОСРЕДСТВОМ ЭМПИРИЧЕСКОЙ АТРИБУЦИИ

1. Способ, содержащий этапы, на которых:
принимают данные из источника данных;
атрибутируют упомянутый источник данных в соответствии с правилами, таким образом, выдавая атрибут;
анализируют упомянутые данные для идентификации характеристики упомянутых данных, которые запутывают смысл упомянутых данных, таким образом, выдавая характеристику запутанности;
вычисляют качественную меру упомянутого атрибута, таким образом, выдавая взвешенный атрибут;
вычисляют качественную меру упомянутой характеристики запутанности, таким образом, выдавая взвешенную характеристику запутанности;
анализируют упомянутый взвешенный атрибут и упомянутую взвешенную характеристику запутанности для создания диспозиции;
фильтруют упомянутые данные в соответствии с упомянутой диспозицией, таким образом, выдавая извлеченные данные; и
передают упомянутые извлеченные данные последующему процессу.
2. Способ по п. 1, дополнительно содержащий этапы, на которых:
генерируют обратную связь на основании упомянутой диспозиции; и
улучшают упомянутый способ на основании упомянутой обратной связи.
3. Способ по п. 1, дополнительно содержащий этапы, на которых:
конфигурируют и выполняют автоматизированный процесс выявления данных на основании упомянутой диспозиции для выявления нового источника данных; и
исследуют упомянутый новый источник данных.
4. Способ по п. 1, в котором упомянутый анализ осуществляют в аспекте, выбранном из группы, состоящей из извлечения сущности, устранения семантической неоднозначности, анализа отношения, извлечения языка, лингвистического преобразования и базовых метаданных.
5. Способ по п. 1, в котором упомянутую характеристику запутанности выбирают из группы, состоящей из сарказма, неологизма, вариации грамматики, неправильно фразированного текста, пунктуации, многоязычных данных, орфографии, обфускации, шифрования, контекста и использования комбинации информационных материалов.
6. Способ по п. 1, в котором упомянутую диспозицию выбирают из группы, состоящей из (a) устанавливать правило, согласно которому файлы, аналогичные упомянутому источнику данных, проглатываются целиком, (b) разбивать файлы из упомянутого источника данных и проглатывать только части, которые отвечают определенным критериям, (c) проглатывать весь файл из упомянутого источника данных, но помечать данные указателем уровня качества, зависящим от источника, (d) устанавливать правило, согласно которому файлы из упомянутого источника данных всегда отклоняются, и (e) с осторожностью проглатывать файлы из упомянутого источника данных, но удерживать их в ожидании дополнительного подтверждения.
7. Система, содержащая:
процессор; и
память, которая содержит инструкции, которые при считывании упомянутым процессором, предписывают упомянутому процессору:
принимать данные из источника данных;
атрибутировать упомянутый источник данных в соответствии с правилами, таким образом, выдавая атрибут;
анализировать упомянутые данные для идентификации характеристики упомянутых данных, которые запутывают смысл упомянутых данных, таким образом, выдавая характеристику запутанности;
вычислять качественную меру упомянутого атрибута, таким образом, выдавая взвешенный атрибут;
вычислять качественную меру упомянутой характеристики запутанности, таким образом, выдавая взвешенную характеристику запутанности;
анализировать упомянутый взвешенный атрибут и упомянутую взвешенную характеристику запутанности для создания диспозиции;
фильтровать упомянутые данные в соответствии с упомянутой диспозицией, таким образом, выдавая извлеченные данные; и
передавать упомянутые извлеченные данные последующему процессу.
8. Система по п. 7, в которой упомянутые инструкции также предписывают упомянутому процессору:
генерировать обратную связь на основании упомянутой диспозиции; и
улучшать упомянутый способ на основании упомянутой обратной связи.
9. Система по п. 7, в которой упомянутые инструкции также предписывают упомянутому процессору:
конфигурировать и выполнять автоматизированный процесс выявления данных, на основании упомянутой диспозиции, для выявления нового источника данных; и
исследовать упомянутый новый источник данных.
10. Система по п. 7, в которой упомянутые инструкции, которые предписывают упомянутому процессору анализировать упомянутые данные, предписывают упомянутому процессору анализировать упомянутые данные в аспекте, выбранном из группы, состоящей из извлечения сущности, устранения семантической неоднозначности, анализа отношения, извлечения языка, лингвистического преобразования и базовых метаданных.
11. Система по п. 7, в которой упомянутая характеристика запутанности выбрана из группы, состоящей из сарказма, неологизма, вариации грамматики, неправильно фразированного текста, пунктуации, многоязычных данных, орфографии, обфускации, шифрования, контекста и использования комбинации информационных материалов.
12. Система по п. 7, в которой упомянутая диспозиция выбрана из группы, состоящей из (a) устанавливать правило, согласно которому файлы, аналогичные упомянутому источнику данных, проглатываются целиком, (b) разбивать файлы из упомянутого источника данных и проглатывать только части, которые отвечают определенным критериям, (c) проглатывать весь файл из упомянутого источника данных, но помечать данные указателем уровня качества, зависящим от источника, (d) устанавливать правило, согласно которому файлы из упомянутого источника данных всегда отклоняются, и (e) с осторожностью проглатывать файлы из упомянутого источника данных, но удерживать их в ожидании дополнительного подтверждения.
13. Запоминающее устройство, содержащее инструкции, которые при считывании процессором, предписывают упомянутому процессору:
принимать данные из источника данных;
атрибутировать упомянутый источник данных в соответствии с правилами, таким образом, выдавая атрибут;
анализировать упомянутые данные для идентификации характеристики упомянутых данных, которые запутывают смысл упомянутых данных, таким образом, выдавая характеристику запутанности;
вычислять качественную меру упомянутого атрибута, таким образом, выдавая взвешенный атрибут;
вычислять качественную меру упомянутой характеристики запутанности, таким образом, выдавая взвешенную характеристику запутанности;
анализировать упомянутый взвешенный атрибут и упомянутую взвешенную характеристику запутанности, для создания диспозиции;
фильтровать упомянутые данные в соответствии с упомянутой диспозицией, таким образом, выдавая извлеченные данные; и
передавать упомянутые извлеченные данные последующему процессу.
14. Запоминающее устройство по п. 13, в котором упомянутые инструкции также предписывают упомянутому процессору:
генерировать обратную связь на основании упомянутой диспозиции; и
улучшать упомянутый способ на основании упомянутой обратной связи.
15. Запоминающее устройство по п. 13, в котором упомянутые инструкции также предписывают упомянутому процессору:
конфигурировать и выполнять автоматизированный процесс выявления данных, на основании упомянутой диспозиции, для выявления нового источника данных; и
исследовать упомянутый новый источник данных.
16. Запоминающее устройство по п. 13, в котором упомянутые инструкции, которые предписывают упомянутому процессору анализировать упомянутые данные предписывают упомянутому процессору анализировать упомянутые данные в аспекте, выбранном из группы, состоящей из извлечения сущности, устранения семантической неоднозначности, анализа отношения, извлечения языка, лингвистического преобразования и базовых метаданных.
17. Запоминающее устройство по п. 13, в котором упомянутая характеристика запутанности выбрана из группы, состоящей из сарказма, неологизма, вариации грамматики, неправильно фразированного текста, пунктуации, многоязычных данных, орфографии, обфускации, шифрования, контекста и использования комбинации информационных материалов.
18. Запоминающее устройство по п. 13, в котором упомянутая диспозиция выбрана из группы, состоящей из (a) устанавливать правило, согласно которому файлы, аналогичные упомянутому источнику данных, проглатываются целиком, (b) разбивать файлы из упомянутого источника данных и проглатывать только части, которые отвечают определенным критериям, (c) проглатывать весь файл из упомянутого источника данных, но помечать данные указателем уровня качества, зависящим от источника, (d) устанавливать правило, согласно которому файлы из упомянутого источника данных всегда отклоняются, и (e) с осторожностью проглатывать файлы из упомянутого источника данных, но удерживать их в ожидании дополнительного подтверждения.