СПОСОБ И УСТРОЙСТВО ДЛЯ ПОВЫШЕНИЯ КАДРОВОЙ ЧАСТОТЫ ПОТОКА ИЗОБРАЖЕНИЙ С ИСПОЛЬЗОВАНИЕМ, ПО МЕНЬШЕЙ МЕРЕ, ОДНОГО ПОТОКА ИЗОБРАЖЕНИЙ С БОЛЕЕ ВЫСОКОЙ КАДРОВОЙ ЧАСТОТОЙ

1. Способ, содержащий этапы, на которых:
получают первый поток изображений, имеющий первую кадровую частоту, и второй поток изображений, имеющий вторую кадровую частоту, которая ниже первой кадровой частоты;
восстанавливают дополнительные кадры для второго потока изображений, на основе существующих кадров первого и второго потоков изображений; и
используют упомянутые дополнительные кадры, чтобы обеспечить повышенную кадровую частоту для второго потока изображений;
причем упомянутые этапы получения, восстановления и использования реализуются, по меньшей мере, в одном устройстве обработки, содержащем процессор, соединенный с запоминающим устройством.
2. Способ по п. 1, в котором этап, на котором получают первый и второй потоки изображений, содержит этап, на котором получают, по меньшей мере, один из первого и второго потоков изображений как поток глубинных изображений от формирователя глубинных изображений.
3. Способ по п. 1, в котором этап, на котором получают первый и второй потоки изображений, содержит этап, на котором получают первый и второй потоки изображений от соответственных отдельных датчиков изображения, сконфигурированных для формирования изображения заданной сцены.
4. Способ по п. 1, в котором два последовательных существующих кадра во втором потоке изображений соответствуют R+1 последовательным существующим кадрам в первом потоке изображений, так что если N-й существующий кадр в первом потоке изображений соответствует M-му существующему кадру во втором потоке изображений, то (N+R)-й существующий кадр в первом потоке изображений соответствует (M+1)-му существующему кадру во втором потоке изображений.
5. Способ по п. 4, в котором этап, на котором восстанавливают дополнительные кадры для второго потока изображений на основе существующих кадров первого и второго потоков изображений, содержит этап, на котором определяют R+1 дополнительных кадров для вставки между M-м существующим кадром и (M+1)-м существующим кадром во втором потоке изображений.
6. Способ по п. 5, в котором R+1 дополнительных кадров, определенные для вставки между M-м существующим кадром и (M+1)-м существующим кадром во втором потоке изображений, определяют, основываясь на соответствующих R+1 последовательных существующих кадрах в первом потоке изображений и на M-м и (M+1)-м существующих кадрах во втором потоке изображений.
7. Способ по п. 1, в котором этап, на котором восстанавливают дополнительные кадры для второго потока изображений на основе существующих кадров первого и второго потоков изображений, содержит этап, на котором определяют наборы из одного или более дополнительных кадров для вставки между соответственными парами последовательных существующих кадров во втором потоке изображений.
8. Способ по п. 7, в котором для заданной итерации определяют конкретный набор из одного или более дополнительных кадров для вставки между соответствующей одной из пар последовательных существующих кадров во втором потоке изображений, основываясь на множестве соответствующих существующих кадров в первом потоке изображений и упомянутой соответствующей паре последовательных существующих кадров во втором потоке изображений.
9. Способ по п. 1, в котором этап, на котором восстанавливают дополнительные кадры для второго потока изображений на основе существующих кадров первого и второго потоков изображений, содержит этапы, на которых:
применяют операции кластеризации к соответственным из существующих кадров, чтобы генерировать соответственные кластерные карты; и
генерируют информацию о соответствии кластеров, указывающую соответствие между кластерами упомянутых кластерных карт.
10. Способ по п. 9, который дополнительно содержит этап, на котором применяют аффинное преобразование, по меньшей мере, к поднабору существующих кадров по меньшей мере одного из первого и второго потоков изображений перед применением операций кластеризации к этим кадрам.
11. Способ по п. 9, в котором операция кластеризации, применяемая к заданному одному из существующих кадров, содержит операцию кластеризации, основанную на статистическом слиянии областей, при котором заданный существующий кадр разделяют на множество кластеров, каждый из которых соответствует различной статистической области.
1
2
12. Способ по п. 11, в котором операция кластеризации, основанная на статистическом слиянии областей, реализует рекурсивное слияние, используя предписанный предикат слияния для двух произвольных статистических областей R и R заданного существующего кадра, в соответствии со следующим уравнением:
,
1
2
1
2
i
i
1
2
1
2
где |R-R| обозначает величину разности между количеством пикселей в области R и количеством пикселей в области R, а b(R) является функцией от количества пикселей в области R и максимально возможного значения пикселя в заданном кадре, так что области R и R сливаются в единый кластер, если P(R, R) = истина.
13. Способ по п. 9, который дополнительно содержит этап, на котором используют информацию о соответствии кластеров для выполнения операции заполнения глубины, при которой данные глубины, связанные с одним или более кластерами в одном или более из существующих кадров первого и второго потоков изображений, добавляют в соответствующие кластеры в одном или более из дополнительных кадров совместно с восстановлением упомянутых дополнительных кадров.
14. Способ по п. 1, в котором этап, на котором восстанавливают дополнительные кадры для второго потока изображений на основе существующих кадров первого и второго потоков изображений, содержит этапы, на которых:
идентифицируют соответствие между частями одного или более существующих кадров первого потока изображений и частями одного или более существующих кадров второго потока изображений; и
формируют по меньшей мере один из дополнительных кадров с использованием информации об изображении из упомянутых идентифицированных частей.
15. Компьютерно-читаемый запоминающий носитель, содержащий воплощенный на нем код компьютерной программы, причем код компьютерной программы при исполнении в устройстве обработки предписывает устройству обработки выполнять способ по п. 1.
16. Устройство, содержащее:
по меньшей мере, одно устройство обработки, содержащее процессор, соединенный с запоминающим устройством;
причем упомянутое, по меньшей мере, одно устройство обработки сконфигурировано для получения первого потока изображений, имеющего первую кадровую частоту, и второго потока изображений, имеющего вторую кадровую частоту, которая ниже первой кадровой частоты, для восстановления дополнительных кадров для второго потока изображений, на основе существующих кадров первого и второго потоков изображений, и для использования упомянутых дополнительных кадров, чтобы обеспечить повышенную кадровую частоту для второго потока изображений.
17. Устройство по п. 16, в котором устройство обработки содержит процессор изображений, при этом процессор изображений содержит:
модуль кластеризации, сконфигурированный для применения операций кластеризации к соответственным из существующих кадров, чтобы генерировать соответственные кластерные карты;
модуль определения соответствия кластеров, сконфигурированный для генерирования информации о соответствии кластеров, указывающей соответствие между кластерами упомянутых кластерных карт.
18. Устройство по п. 17, в котором процессор изображений дополнительно содержит модуль заполнения глубины, причем модуль заполнения глубины сконфигурирован для использования информации о соответствии кластеров для выполнения операции заполнения глубины, при которой данные глубины, связанные с одним или более кластерами в одном или более из существующих кадров первого и второго потоков изображений, добавляются в соответствующие кластеры в одном или более из дополнительных кадров совместно с восстановлением упомянутых дополнительных кадров.
19. Система обработки изображений, содержащая:
первый источник изображений, обеспечивающий первый поток изображений, имеющий первую кадровую частоту;
второй источник изображений, обеспечивающий второй поток изображений, имеющий вторую кадровую частоту, которая ниже первой кадровой частоты; и
процессор изображений, соединенный с первым и вторым источниками изображений;
причем процессор изображений сконфигурирован для восстановления дополнительных кадров для второго потока изображений на основе существующих кадров первого и второго потоков изображений, и использования упомянутых дополнительных кадров, чтобы обеспечить повышенную кадровую частоту для второго потока изображений.
20. Система по п. 19, в которой, по меньшей мере, один из первого и второго источников изображений содержит формирователь глубинных изображений.