ОБРАБОТКА ИЗОБРАЖЕНИЙ СО СВЕРХРАЗРЕШЕНИЕМ С ИСПОЛЬЗОВАНИЕМ ОБРАТИМОЙ РАЗРЕЖЕННОЙ МАТРИЦЫ

1. Машинно-осуществляемый способ обработки изображений, содержащий этапы, на которых (A) применяют обработку сверхразрешения к первому кадру изображения, имеющему первое пространственное разрешение, для генерации второго кадра изображения, имеющего второе пространственное разрешение, более высокое, чем первое пространственное разрешение, причем этап (A) содержит подэтапы, на которых:
(A1) генерируют разреженную матрицу на основании марковского случайного поля, заданного на первом кадре изображения и третьем кадре изображения, имеющем третье пространственное разрешение, более высокое, чем первое пространственное разрешение;
(A2) генерируют обратную матрицу путем инвертирования разреженной матрицы, и
(A3) генерируют второй кадр изображения с использованием обратной матрицы, причем
первый кадр изображения охватывает первую сцену, и
каждый из второго и третьего кадров изображения охватывает первую сцену.
2. Способ по п. 1, в котором второе пространственное разрешение ниже, чем третье пространственное разрешение.
3. Способ по п. 1, в котором
третий кадр изображения представляет прямоугольный массив M×N пикселей, и
разреженная матрица представляет собой квадратную матрицу, имеющую MN строк и MN столбцов, и содержащую не более 5MN ненулевых элементов матрицы.
4. Способ по п. 3, в котором не более чем 5MN ненулевых элементов матрицы располагаются на наборе диагоналей, состоящем из не более чем пяти диагоналей разреженной матрицы.
5. Способ по п. 4, в котором набор диагоналей включает в себя главную диагональ и две более короткие диагонали, непосредственно соседствующие с главной диагональю, по обе стороны от нее.
6. Способ по п. 5, в котором набор диагоналей дополнительно включает в себя две дополнительные более короткие диагонали, смещенные относительно главной диагонали на M или N элементов матрицы.
7. Способ по п. 3, в котором второй кадр изображения представляет прямоугольный массив M×N пикселей.
8. Способ по п. 3, в котором
этап (A) дополнительно содержит подэтап (A4), на котором генерируют вектор на основании первого кадра изображения, причем вектор имеет MN элементов, и
этап (A3) содержит подэтапы, на которых
генерируют строку из MN пиксельных значений путем вычисления произведения обратной матрицы и вектора,
разрезают строку пиксельных значений на M подстрок, каждая из которых имеет N пиксельных значений, и
генерируют второй кадр изображения, размещая M подстрок в виде строк или столбцов двухмерного массива пикселей.
9. Способ по п. 1, дополнительно содержащий этапы, на которых
(B) генерируют первый кадр изображения с использованием первого датчика изображения, и
(C) генерируют третье изображение с использованием второго датчика изображения, отличного от первого датчика изображения.
10. Способ по п. 1, дополнительно содержащий этапы, на которых
(B) разбивают четвертый кадр изображения на первое множество подкадров, причем первый кадр изображения является подкадром первого множества, и
(C) разбивают пятый кадр изображения на второе множество подкадров, причем третий кадр изображения является подкадром второго множества.
11. Способ по п. 10, в котором
четвертый кадр изображения охватывает вторую сцену, причем первая сцена является подсценой второй сцены, и
пятый кадр изображения охватывает вторую сцену.
12. Способ по п. 11, дополнительно содержащий этапы, на которых
(D) применяют обработку сверхразрешения к другому подкадру первого множества для генерации шестого кадра изображения, охватывающего другую подсцену второй сцены, причем другая подсцена отличается от первой сцены, и
(E) объединяют второй кадр изображения и шестой кадр изображения для генерации объединенного кадра изображения, соответствующего второй сцене.
13. Способ по п. 12, в котором этап (E) содержит подэтап, на котором размещают второй кадр изображения и шестой кадр изображения в качестве фрагментов объединенного кадра изображения.
14. Способ по п. 12, в котором этап (D) содержит подэтап, на котором
(D1) генерируют вторую разреженную матрицу на основании марковского случайного поля, заданного на другом подкадре первого множества и подкадре второго множества, соответствующем упомянутому другому подкадру первого множества,
(D2) генерируют вторую обратную матрицу путем инвертирования второй разреженной матрицы, и
(D3) генерируют шестой кадр изображения с использованием второй обратной матрицы.
15. Способ по п. 12, в котором этап (D) содержит подэтап, на котором применяют алгоритм сопряженных градиентов к упомянутому другому подкадру первого множества для генерации шестого кадра изображения.
16. Способ по п. 1, в котором
первый кадр изображения является картой глубин первой сцены, захваченной датчиком дальности,
второй кадр изображения является подвергнутой повышающей дискретизации картой глубин первой сцены, и
третий кадр изображения является фотографией первой сцены, захваченной датчиком яркости света.
17. Способ по п. 1, в котором этап (B) дополнительно содержит подэтап, на котором выполняют по меньшей мере одно из совмещения изображений и обрезки изображений для генерации первого кадра изображения и третьего кадра изображения.
18. Энергонезависимый машиночитаемый носитель, на котором записан программный код, причем, когда программный код выполняется машиной, машина осуществляет способ обработки изображений, причем способ содержит этапы, на которых
(A) применяют обработку сверхразрешения к первому кадру изображения, имеющему первое пространственное разрешение, для генерации второго кадра изображения, имеющего второе пространственное разрешение, более высокое, чем первое пространственное разрешение, причем этап (A) содержит подэтапы, на которых
(A1) генерируют разреженную матрицу на основании марковского случайного поля, заданного на первом кадре изображения и третьем кадре изображения, имеющем третье пространственное разрешение, более высокое, чем первое пространственное разрешение,
(A2) генерируют обратную матрицу путем инвертирования разреженной матрицы, и
(A3) генерируют второй кадр изображения с использованием обратной матрицы, причем
первый кадр изображения охватывает первую сцену, и
каждый из второго и третьего кадров изображения охватывает первую сцену.
19. Устройство, содержащее
память, сконфигурированную для хранения (i) первого кадра изображения, охватывающего первую сцену, причем первый кадр изображения имеет первое пространственное разрешение, и (ii) второго кадра изображения, охватывающего первую сцену, причем второй кадр изображения имеет второе пространственное разрешение, более высокое, чем первое пространственное разрешение, и
процессор, сконфигурированный для применения обработки сверхразрешения к первому кадру изображения для генерации третьего кадра изображения, охватывающего первую сцену, причем третий кадр изображения имеет третье пространственное разрешение, более высокое, чем первое пространственное разрешение, причем процессор дополнительно сконфигурирован для
генерации разреженной матрицы на основании марковского случайного поля, заданного на первом кадре изображения и втором кадре изображения,
генерации обратной матрицы путем инвертирования разреженной матрицы, и
генерации третьего кадра изображения с использованием обратной матрицы.
20. Устройство по п. 19, дополнительно содержащее
датчик дальности, сконфигурированный для генерации данных изображения для первого кадра изображения, и
датчик яркости света, сконфигурированный для генерации данных изображения для второго кадра изображения.