ОБНАРУЖЕНИЕ ОБЪЕКТОВ ИЗ ЗАПРОСОВ ВИЗУАЛЬНОГО ПОИСКА

1. Способ обнаружения объекта на видео и сопоставления объекта с одним или более продуктами, содержащий этапы, на которых
a) получают видео и автоматически извлекают метаданные и атрибуты объектов в кадрах и/или участках кадров на видео;
b) сегментируют видео на основе изображенной обстановки и/или событий посредством сравнения контентов последовательных кадров на предмет сходств и различий, при этом видео просматривается последовательно для обнаружения пары кадров или последовательности кадров, которые преодолевают порог сходства, причем для каждого сегмента идентифицируется ключевой кадр;
c) компонуют сегменты с одинаковой или схожей обстановкой и/или событиями, при этом каждый сегмент помечается с помощью идентификатора сегмента;
d) анализируют один или более сегментов для обнаружения одного или более объектов, при этом кадры и/или участки кадров сравниваются с заданным контентом в базе данных, заполняемой посредством совмещения известных объектов и кластеров метаданных, причем метаданные связываются с кадрами и/или участками кадров посредством идентификатора сегмента, при этом в каждом ключевом кадре получают местонахождение обнаруженных одного или более объектов, причем для каждого сегмента генерируется вектор признаков по каждому объекту;
e) сравнивают упомянутые один или более объектов с продуктами;
f) идентифицируют продукты, ассоциированные с этими одним или более объектами, при этом используется сверточная нейронная сеть (CNN);
g) уведомляют одного или более наблюдателей о продуктах;
при этом для "живого" или потокового видео используется добавление второго экрана.
2. Способ по п. 1, в котором база данных заполняется заданным контентом с использованием поискового робота.
3. Способ по п. 1, в котором этап уведомления одного или более наблюдателей о продуктах включает в себя этап, на котором отображают рекламное объявление.
4. Способ по п. 1, в котором этап уведомления одного или более наблюдателей о продуктах включает в себя этап, на котором предоставляют гиперссылку на веб-сайт или видео.
5. Способ обнаружения одного или более объектов на цифровом снимке экрана из видео и сопоставления одного или более объектов с рекламным материалом, содержащий этапы, на которых
a) принимают от наблюдателя запрос в виде цифрового снимка экрана;
b) идентифицируют один или более объектов на цифровом снимке экрана посредством сравнения цифрового снимка экрана и/или участков цифрового снимка экрана с заданным контентом в базе данных, заполняемой посредством совмещения известных объектов и кластеров метаданных, причем цифровой снимок экрана сопоставляется с идентификатором сегмента из видео для извлечения списка объектов, связанных с сегментом видео, при этом используется подход с набором визуальных слов и наилучшие N потенциально подходящих изображений фильтруются и добавляются в базу данных;
c) сравнивают упомянутые один или более объектов с продуктами;
d) подбирают продукты, ассоциированные с этими одним или более объектами, при этом используется сверточная нейронная сеть (CNN), причем для верификации в отношении подобранных продуктов выполняется пространственная верификация; и
e) контактируют с наблюдателем с помощью рекламного материала, относящегося к подобранным продуктам;
при этом после приема упомянутого запроса назначаются кластеры визуальных слов.
6. Способ по п. 5, в котором база данных заполняется заданным контентом с использованием поискового робота.
7. Способ по п. 5, в котором для "живого" или потокового видео используется добавление контента второго экрана.
8. Способ по п. 5, в котором этап контактирования с наблюдателем с помощью рекламного материала, относящегося к идентифицированным продуктам, включает в себя этап, на котором отображают рекламное объявление и/или предоставляют гиперссылку на веб-сайт или видео.
9. Система для генерирования взаимосвязей между объектами на видео с продуктами в базе данных продуктов, содержащая:
компьютеризированную сеть и систему, которая локальным или удаленным образом предоставляется пользователю или группам пользователей посредством приложения с пользовательским интерфейсом;
модуль для обнаружения и сохранения медиаконтента локально или на сервере;
модуль для передачи медиаконтента в процессор, удаленный или серверный, для приема метаданных и/или визуальных признаков;
модуль для передачи медиаконтента в процессор, удаленный или серверный, для извлечения метаданных и визуальных признаков;
средство для приема от одного или более пользователей ввода в виде цифрового изображения, которое получено из видео и которое включает в себя визуальные признаки;
модуль, выполненный с возможностью реализации нижеследующего:
идентификация визуальных признаков на цифровом изображении и корреляция визуальных признаков с объектами и/или группами соответствующих продуктов в базе данных, причем база данных заполняется заданным контентом посредством совмещения известных объектов и/или групп соответствующих продуктов и кластеров метаданных, при этом для идентификации визуальных признаков и корреляции визуальных признаков с объектами и/или группами соответствующих продуктов в базе данных используется подход с набором визуальных слов;
при этом цифровое изображение сопоставляется с идентификатором сегмента для извлечения списка объектов и/или групп соответствующих продуктов, связанных с сегментом видео; и
анализ визуальных признаков и метаданных цифрового изображения для корреляции визуальных признаков с объектами и/или группами соответствующих продуктов с использованием сверточной нейронной сети (CNN), при этом для верификации в отношении совпадающих объектов и/или групп соответствующих продуктов выполняется пространственная верификация, и
сетевая служба, которая рассылает информацию об объектах и/или группах соответствующих продуктов пользователю и/или группам пользователей;
при этом после приема ввода назначаются кластеры визуальных слов.
10. Система по п. 9, при этом информация об объектах и/или группах соответствующих продуктов включает в себя рекламные объявления.
11. Система по п. 9, при этом информация об объектах и/или группах соответствующих продуктов включает в себя гиперссылку или контент, к которым можно осуществлять доступ через Интернет.