СПОСОБ, СИСТЕМА И МАШИНОЧИТАЕМЫЕ ЗАПОМИНАЮЩИЕ НОСИТЕЛИ ДЛЯ ВЫЯВЛЕНИЯ ОБЪЕКТОВ С ИСПОЛЬЗОВАНИЕМ РЕКУРРЕНТНОЙ НЕЙРОННОЙ СЕТИ И СЦЕПЛЕННОЙ КАРТЫ ПРИЗНАКОВ

1. Способ, содержащий этапы, на которых:
формируют сцепленную карту признаков на основании кадра с датчика первого типа и кадра с датчика второго типа; и
выявляют один или более объектов на основании сцепленной карты признаков;
при этом, одно или более из формирования и выявления содержит, формирование или выявление с использованием нейронной сети с рекуррентной связью, которая подает информацию о признаках или объектах из предыдущих кадров.
2. Способ по п. 1, дополнительно содержащий этап, на котором формируют первую карту признаков на основании кадра с датчика первого типа и формируют вторую карту признаков на основании кадра с датчика второго типа, при этом, формирование сцепленной карты признаков состоит в том, что формируют на основании высокоуровневых признаков на первой карте признаков или второй карте признаков.
3. Способ по п. 2, в котором формирование сцепленной карты признаков содержит этап, на котором формируют сопоставленную карту признаков, которая включает в себя признаки как из первой карты признаков, так и второй карты признаков.
4. Способ по п. 1, в котором кадр с датчика первого типа содержит изображение, и при этом, кадр с датчика второго типа содержит карту дальностей.
5. Способ по п. 1, в котором нейронная сеть подает по прямой связи одно или более из:
признака на предыдущей сцепленной карте признаков;
объекта, выявленного в предыдущем кадре или периоде времени; и
признака в предыдущем кадре с датчика.
6. Способ по п. 1, в котором кадр с датчика первого типа содержит первый кадр с датчика первого типа, кадр с датчика второго типа содержит первый кадр с датчика второго типа, сцепленная карта признаков содержит первую сцепленную карту признаков, и один или более объектов содержат первые один или более объектов, при этом, способ дополнительно содержит этапы, на которых:
формируют вторую сцепленную карту признаков на основании второго кадра с датчика первого типа и второго кадра с датчика второго типа;
выявляют вторые один или более объектов на основании второй сцепленной карты признаков; и
подают по прямой связи один или более из признака второй сцепленной карты признаков или вторых одного или более объектов с использованием рекуррентной связи нейронной сети для формирования первой сцепленной карты признаков или выявления первых одного или более объектов.
7. Способ по п. 1, в котором нейронные сети содержат входной слой, один или более скрытых слоев и слой классификации, при этом, рекуррентная связь подает выходной сигнал слоя классификации из предыдущих кадров в один или более из входного слоя или скрытого слоя из одного или более скрытых слоев во время формирования сцепленной карты признаков или выявления одного или более объектов.
8. Система, содержащая:
один или более компонентов датчиков, выполненных с возможностью получать первый поток данных с датчиков и второй поток данных с датчиков, при этом, каждый из первого потока и второго потока содержат множество кадров с датчика;
компонент выявления, выполненный с возможностью:
формировать сцепленную карту признаков на основании кадра с датчика первого типа и кадра с датчика второго типа; и
выявлять один или более объектов на основании сцепленной карты признаков;
при этом, одно или более из формирования и выявления содержит формирование или выявление с использованием нейронной сети с рекуррентной связью, которая подает информацию о признаках или объектах из предыдущих кадров.
9. Система по п. 8, в которой компонент выявления дополнительно выполнен с возможностью формировать первую карту признаков на основании кадра с датчика первого типа и формировать вторую карту признаков на основании кадра с датчика второго типа, при этом, компонент выявления формирует сцепленную карту признаков посредством формирования на основании высокоуровневых признаков на первой карте признаков или второй карте признаков.
10. Система по п. 9, в которой компонент выявления выполнен с возможностью формировать сцепленную карту признаков, формируя сопоставленную карту признаков, которая включает в себя признаки как из первой карты признаков, так и второй карты признаков.
11. Система по п. 8, в которой кадр с датчика первого типа содержит изображение, и при этом, кадр с датчика второго типа содержит карту дальностей.
12. Система по п. 8, в которой рекуррентная связь нейронной сети подает по прямой связи одно или более из:
признака на предыдущей сцепленной карте признаков;
объекта, выявленного на основе предыдущих кадров или предыдущего периода времени; и
признака в предыдущем кадре с датчика.
13. Система по п. 8, в которой кадр с датчика первого типа содержит первый кадр с датчика первого типа, кадр с датчика второго типа содержит первый кадр с датчика второго типа, сцепленная карта признаков содержит первую сцепленную карту признаков, и один или более объектов содержат первые один или более объектов, при этом, компонент выявления дополнительно выполнен с возможностью:
формировать вторую сцепленную карту признаков на основании второго кадра с датчика первого типа и второго кадра с датчика второго типа;
выявлять вторые один или более объектов на основании второй сцепленной карты признаков; и
подавать по прямой связи один или более из признака второй сцепленной карты признаков или вторых одного или более объектов с использованием рекуррентной связи нейронной сети для формирования первой сцепленной карты признаков или выявления первых одного или более объектов.
14. Система по п. 8, в которой нейронные сети содержат входной слой, один или более скрытых слоев и слой классификации, при этом, рекуррентная связь подает выходной сигнал слоя классификации из предыдущих кадров в один или более из входного слоя или скрытого слоя из одного или более скрытых слоев во время формирования сцепленной карты признаков или выявления одного или более объектов.
15. Машиночитаемый запоминающий носитель, хранящий команды, которые, когда приводятся в исполнение одним или более процессорами, побуждают один или более процессор:
получать первый поток данных с датчиков и второй поток данных с датчиков, при этом, каждый из первого потока и второго потока содержат множество кадров с датчика;
формировать сцепленную карту признаков на основании кадра с датчика первого типа и кадра с датчика второго типа; и
выявлять один или более объектов на основании сцепленной карты признаков;
при этом, одно или более из формирования и выявления содержит формирование или выявление с использованием нейронной сети с рекуррентной связью, которая подает информацию о признаках или объектах из предыдущих кадров.
16. Машиночитаемый запоминающий носитель по п. 15, в котором команды дополнительно побуждают один или более процессор формировать первую карту признаков на основании кадра с датчика первого типа и формировать вторую карту признаков на основании кадра с датчика второго типа, при этом, команды побуждают один или более процессор формировать сцепленную карту признаков посредством формирования на основании высокоуровневых признаков на первой карте признаков или второй карте признаков.
17. Машиночитаемый запоминающий носитель по п. 16, в котором команды побуждают один или более процессор формировать сцепленную карту признаков, формируя сопоставленную карту признаков, которая включает в себя признаки как из первой карты признаков, так и второй карты признаков.
18. Машиночитаемый запоминающий носитель по п. 15, в котором кадр с датчика первого типа содержит изображение, и при этом, кадр с датчика второго типа содержит карту дальностей.
19. Машиночитаемый запоминающий носитель по п. 15, в котором команды дополнительно побуждают один или более процессор подавать по прямой связи, с использованием рекуррентной связи нейронной сети, одно или более из следующего:
признака на предыдущей сцепленной карте признаков;
объекта, выявленного на основе предыдущих кадров или предыдущего периода времени; и
признака в предыдущем кадре с датчика.
20. Машиночитаемый запоминающий носитель по п. 15, в которых кадр с датчика первого типа содержит первый кадр с датчика первого типа, кадр с датчика второго типа содержит первый кадр с датчика второго типа, сцепленная карта признаков содержит первую сцепленную карту признаков, и один или более объектов содержат первые один или более объектов, при этом, команды дополнительно побуждают один или более процессор:
формировать вторую сцепленную карту признаков на основании второго кадра с датчика первого типа и второго кадра с датчика второго типа;
выявлять вторые один или более объектов на основании второй сцепленной карты признаков; и
подавать по прямой связи один или более из признака второй сцепленной карты признаков или вторых одного или более объектов с использованием рекуррентной связи нейронной сети для формирования первой сцепленной карты признаков или выявления первых одного или более объектов.