БЕСПРЕРЫВНОЕ ОБУЧЕНИЕ ДЛЯ ОБРАБОТКИ И АНАЛИЗА ДОКУМЕНТОВ

1. Способ, включающий:
получение устройством обработки данных одного или более наборов документов, при этом каждый документ из одного или более наборов документов связан с соответствующими метаданными;
отнесение каждого документа из одного или более наборов документов к одному или более базовым кластерам на основе метаданных документа;
для каждого кластера из одного или более базовых кластеров - обучение соответствующей модели базового кластера, выявляющей один или более типов визуальных элементов;
после достижения первой меры порогового критерия, связанной с одним или более базовыми кластерами, создание одного или более суперкластеров, каждый из которых содержит соответствующее множество базовых кластеров, на основе общего атрибута документов, входящих во множество базовых кластеров;
для каждого суперкластера из одного или более суперкластеров - обучение соответствующей модели суперкластера, выявляющей один или более типов визуальных элементов;
создание обобщенного кластера из одного или более суперкластеров;
обучение обобщенной модели для обобщенного кластера, при этом обобщенная модель служит для выявления одного или более типов визуальных элементов;
получение входного документа;
отнесение входного документа к соответствующему базовому кластеру, соответствующему суперкластеру и соответствующему обобщенному кластеру; и
выявление одного или более визуальных элементов путем обработки входного документа с помощью соответствующей модели базового кластера, соответствующей модели суперкластера и соответствующей модели обобщенного кластера.
2. Способ по п. 1, дополнительно включающий разметку по меньшей мере одного набора документов для выявления одного или более визуальных элементов.
3. Способ по п. 1, дополнительно включающий создание одного или более базовых кластеров документов на основе атрибутов документов до отнесения каждого документа к одному или более базовым кластерам.
4. Способ по п. 3, отличающийся тем, что мера порогового критерия, связанная с одним или более базовыми кластерами, является пороговым числом базовых кластеров.
5. Способ по п. 1, отличающийся тем, что мера порогового критерия, связанная с одним или более базовыми кластерами, является пороговым числом документов, отнесенных к одному или более базовым кластерам.
6. Способ по п. 1, отличающийся тем, что каждый тип из одного или более типов элементов представляет собой: число, слово, изображение, поле или таблицу.
7. Способ по п. 1, дополнительно включающий информацию с необратимой анонимизацией, содержащуюся в каждому документе до обучения соответствующей модели.
8. Система, включающая:
запоминающее устройство;
процессор, соединенный с памятью, причем процессор сконфигурирован для:
получения одного или более наборов документов, при этом каждый документ из одного или более наборов документов связан с соответствующими метаданными;
отнесения каждого документа из одного или более наборов документов к одному или более базовым кластерам на основе метаданных документа;
для каждого кластера из одного или более базовых кластеров - обучения соответствующей модели базового кластера, выявляющей один или более типов визуальных элементов;
создания одного или более суперкластеров после достижения первой меры порогового критерия, связанной с одним или более базовыми кластерами, причем каждый суперкластер содержит соответствующее множество базовых кластеров, на основе общего атрибута документов, входящих во множество базовых кластеров;
для каждого суперкластера из одного или более суперкластеров - обучения соответствующей модели суперкластера, выявляющей один или более типов визуальных элементов;
создания обобщенного кластера из одного или более суперкластеров; и
обучения обобщенной модели для обобщенного кластера, при этом обобщенная модель служит для выявления одного или нескольких типов визуальных элементов.
9. Система по п. 8, отличающаяся тем, что процессор дополнительно сконфигурирован для разметки по меньшей мере одного набора документов для выявления одного или более визуальных элементов.
10. Система по п. 8, отличающаяся тем, что процессор дополнительно сконфигурирован для создания одного или более базовых кластеров документов на основе атрибутов документов до отнесения каждого документа к одному или более базовым кластерам.
11. Система по п. 10, отличающаяся тем, что мера порогового критерия, связанная с одним или более базовыми кластерами, является пороговым числом базовых кластеров.
12. Система по п. 8, отличающаяся тем, что мера порогового критерия, связанная с одним или более базовыми кластерами, является пороговым числом документов, отнесенных к одному или нескольким базовым кластерам.
13. Система по п. 8, отличающаяся тем, что каждый тип из одного или более типов визуальных элементов представляет собой: число, слово, изображение, поле или таблицу.
14. Система по п. 8, отличающаяся тем, что процессор дополнительно сконфигурирован для необратимой анонимизации информации, содержащейся в каждом документе, до обучения соответствующей модели.
15. Энергонезависимый машиночитаемый носитель данных, содержащий команды, которые при доступе к ним устройства обработки данных вынуждают его осуществлять:
получение входного документа;
отнесение входного документа к соответствующему базовому кластеру, соответствующему суперкластеру и соответствующему обобщенному кластеру;
выбор модели базового кластера, модели суперкластера и модели обобщенного кластера для базового кластера, суперкластера и обобщенного кластера соответственно;
выявление одного или более визуальных элементов путем обработки входного документа с помощью соответствующей модели базового кластера, соответствующей модели суперкластера и соответствующей модели обобщенного кластера.
16. Носитель данных по п. 15, отличающийся тем, что суперкластер включает все документы, содержащиеся в базовом кластере.
17. Носитель данных по п. 15, отличающийся тем, что обобщенный кластер включает все документы, содержащиеся в суперкластере.
18. Носитель данных по п. 15, отличающийся тем, что базовый кластер содержит документы, имеющие общий атрибут.
19. Носитель данных по п. 15, отличающийся тем, что модель базового кластера, модель суперкластера и модель обобщенного кластера обучены определять соответствующие типы визуальных элементов.
20. Носитель данных по п. 15, отличающийся тем, что входной документ относится к базовому кластеру на основе сходства документа с центроидом базового кластера.