Повышение пространственного разрешения изображения с использованием квантованного внутреннего представления

1. Способ обучения алгоритма обработки данных входного изображения с низким разрешением для восстановления выходной версии с высоким разрешением из данных входного изображения с низким разрешением с помощью набора данных для обучения, причем способ содержит следующие этапы:
(a) предоставление набора данных для обучения, содержащего по меньшей мере одну пару данных изображения, причем пара данных изображения из набора данных для обучения включает в себя данные изображения с низким и высоким разрешением, относящиеся к одному и тому же отдельному изображению;
(b) вычисление высокочастотной разности для пары данных изображения из набора данных для обучения;
(c) обучение автоэнкодера с векторной квантизацией (VQ) воспроизведению вычисленной высокочастотной разности для пары данных изображения из набора данных для обучения путем воспроизведения посредством автоэнкодера VQ вычисленной высокочастотной разности для пары данных изображения с помощью первого набора обучаемых параметров и сравнение посредством первого алгоритма сравнения воспроизведенных и вычисленных высокочастотных остатков, причем обучение по (с) включает в себя обновление первого набора обучаемых параметров для оптимизации обработки данных изображения на основе результата сравнения по (с);
(d) вычисление индексов с высоким разрешением данных изображения с высоким разрешением пары данных изображения из набора данных для обучения путем применения обученного автоэнкодера VQ к вычисленной высокочастотной разности; и
(e) обучение алгоритма вычисления плотности вероятности (PDE) вычислению плотности вероятности индексов с высоким разрешением данных изображения с высоким разрешением пары данных изображения из набора данных для обучения путем вычисления посредством алгоритма PDE указанной плотности вероятности индексов с высоким разрешением на основе парных данных изображения с низким разрешением пары данных изображения с помощью второго набора обучаемых параметров и сравнение вычисленной плотности вероятности индексов с высоким разрешением и вычисленных индексов с высоким разрешением, причем обучение по (е) включает в себя обновление второго набора обучаемых параметров для оптимизации обработки данных изображения на основе результата сравнения по (е).
2. Способ по п. 1, отличающийся тем, что данные изображения с низким разрешением представляют собой визуальное изображение с низким разрешением, и отличающийся тем, что данные изображения с высоким разрешением представляют собой визуальное изображение с высоким разрешением.
3. Способ по п. 1, отличающийся тем, что по меньшей мере одно из следующего: автоэнкодер VQ и алгоритм PDE представляет собой сверточную нейронную сеть.
4. Способ по п. 3, отличающийся тем, что каждая из сверточных нейронных сетей включает в себя по меньшей мере одно из следующего: один или более сверточных слоев, одну или более нелинейных функций активации, слои нормализации и отсечения.
5. Способ по п. 4, отличающийся тем, что слои сверточной нейронной сети являются последовательными.
6. Способ по п. 1, отличающийся тем, что вычисление высокочастотной разности для пары данных изображения из набора данных для обучения представляет собой вычитание интерполированных данных изображения с низким разрешением из парных данных изображения с высоким разрешением пары данных изображения.
7. Способ по п. 1, отличающийся тем, что по меньшей мере одно из следующего: автоэнкодер VQ и алгоритм PDE параметризовано с весами и смещениями.
8. Способ по п. 1, отличающийся тем, что автоэнкодер VQ и алгоритм PDE обучают с помощью алгоритма градиентного спуска.
9. Способ по п. 8, отличающийся тем, что градиенты для первого и второго наборов обучаемых параметров вычисляют с помощью алгоритма обратного распространения ошибки.
10. Способ по п. 1, отличающийся тем, что сравнение на этапе (с) включает в себя определение разности между воспроизведенной высокочастотной разностью и вычисленной высокочастотной разностью.
11. Способ по п. 10, отличающийся тем, что обновление первого набора обучаемых параметров автоэнкодера VQ основано на определенной разности между воспроизведенной высокочастотной разностью и вычисленной высокочастотной разностью.
12. Способ по п. 10 или 11, отличающийся тем, что обучение автоэнкодера VQ на этапе (с) повторяется до тех пор, пока не будет определено, что значение разности между воспроизведенной высокочастотной разностью и вычисленной высокочастотной разностью меньше заданного порога, или пока не будет достигнуто максимальное число итераций.
13. Способ по пп. 10-12, отличающийся тем, что разность между воспроизведенной высокочастотной разностью и вычисленной высокочастотной разностью вычисляют как среднеквадратическое отклонение (MSE).
14. Способ по п. 1, отличающийся тем, что автоэнкодер VQ включает в себя декодер, принимающий дополнительные входные сигналы для решения дополнительных проблем, таких как устранение шумов или удаление артефактов сжатия.
15. Способ по п. 1, отличающийся тем, что сравнение на этапе (е) включает в себя определение разности между вычисленной плотностью вероятности индексов с высоким разрешением и вычисленными индексами с высоким разрешением.
16. Способ по п. 15, отличающийся тем, что обновление второго набора обучаемых параметров алгоритма PDE основано на определенной разности между вычисленной плотностью вероятности индексов с высоким разрешением и вычисленными индексами с высоким разрешением.
17. Способ по п. 15 или 16, отличающийся тем, что процесс обучения алгоритма PDE на этапе (е) повторяется до тех пор, пока значение разности между вычисленной плотностью вероятности индексов с высоким разрешением и вычисленными индексами с высоким разрешением не будет меньше заданного порогового значения, или пока не будет достигнуто максимальное число итераций
18. Способ по пп. 10-12, отличающийся тем, что различие между вычисленной плотностью вероятности индексов с высоким разрешением и вычисленными индексами с высоким разрешением вычисляют с помощью категориальной перекрестной энтропии.
19. Способ генерирования выходного изображения с высоким разрешением на основе входного изображения с низким разрешением с помощью алгоритма, включающего в себя декодер с векторной квантизацией (VQ) и алгоритм вычисления плотности вероятности (PDE), обученного восстановлению версии с высоким разрешением данных изображения с низким разрешением, причем способ включает в себя следующие этапы:
получение входного изображения с низким разрешением;
вычисление посредством алгоритма PDE плотности вероятности индексов с высоким разрешением выходного изображения с высоким разрешением на основе изображения с низким разрешением с помощью набора обучаемых параметров алгоритма PDE; выборка посредством алгоритма выборки индексов с высоким разрешением из вычисленной плотности вероятности индексов с высоким разрешением; воспроизведение посредством декодера VQ высокочастотной разности из выборочных индексов с высоким разрешением;
генерирование выходного изображения с высоким разрешением путем интерполяции входного изображения с низким разрешением для соответствия желаемому размеру выходного изображения с высоким разрешением и суммирования результата интерполяции с воспроизведенной высокочастотной разностью; и сохранение сгенерированного выходного изображения с высоким разрешением.
20. Способ по п. 19, отличающийся тем, что выборка включает в себя метод максимального правдоподобия для выборки наиболее вероятных индексов с высоким разрешением.
21. Способ по п. 19, отличающийся тем, что выборка включает в себя выборку индексов с высоким разрешением из мультиномиального распределения.
22. Способ по п. 19, отличающийся тем, что желаемый размер генерируемого выходного изображения с высоким разрешением выбирается вручную пользователем и представляет собой желаемый размер по диагонали и/или соотношение высоты и ширины выходного изображения с высоким разрешением.
23. Постоянный компьютерочитаемый носитель данных, на котором хранятся команды, которые при их выполнении процессором заставляют процессор выполнять алгоритм, включающий в себя декодер с векторной квантизацией (VQ) и алгоритм вычисления плотности вероятности (PDE), обученный восстановлению версии с высоким разрешением данных изображения с низким разрешением, для реализации способа, включающего в себя следующие этапы:
получение входного изображения с низким разрешением;
вычисление посредством алгоритма PDE плотности вероятности индексов с высоким разрешением выходного изображения с высоким разрешением на основе изображения с низким разрешением с помощью набора обучаемых параметров алгоритма PDE; выборка посредством алгоритма выборки индексов с высоким разрешением из вычисленной плотности вероятности индексов с высоким разрешением; воспроизведение посредством декодера VQ высокочастотной разности из выборочных индексов с высоким разрешением;
генерирование выходного изображения с высоким разрешением путем интерполяции входного изображения с низким разрешением для соответствия желаемому размеру выходного изображения с высоким разрешением и суммирования результата интерполяции с воспроизведенной высокочастотной разностью; и сохранение сгенерированного выходного изображения с высоким разрешением.
24. Постоянный компьютерочитаемый носитель данных по п. 23, отличающийся тем, что выборка включает в себя метод максимального правдоподобия для выборки наиболее вероятных индексов с высоким разрешением.
25. Постоянный компьютерочитаемый носитель данных по п. 23, отличающийся тем, что выборка включает в себя выборку индексов с высоким разрешением из мультиномиального распределения.
26. Постоянный компьютерочитаемый носитель данных по п. 23, отличающийся тем, что желаемый размер генерируемого выходного изображения с высоким разрешением вручную выбирается пользователем и представляет собой желаемый размер по диагонали и/или соотношение высоты и ширины выходного изображения с высоким разрешением.
27. Система восстановления изображения с высоким разрешением из изображения с низким разрешением включающая в себя:
по меньшей мере, один постоянный компьютерочитаемый носитель данных, на котором хранятся команды; и
по меньшей мере, один процессор, функционально соединенный с по меньшей мере одним постоянным компьютерочитаемый носителем, скомпонованным и выполненным для выполнения команд, которые при их выполнении заставляют по меньшей мере один процессор выполнять алгоритм, включающий в себя декодер с векторной квантизацией (VQ) и алгоритм вычисления плотности вероятности (PDE), обученный восстановлению версии с высоким разрешением данных изображения с низким разрешением, для реализации способа, причем способ включает в себя следующие этапы:
получение входного изображения с низким разрешением;
вычисление посредством алгоритма PDE плотности вероятности индексов с высоким разрешением выходного изображения с высоким разрешением на основе изображения с низким разрешением с помощью набора обучаемых параметров алгоритма PDE; выборка посредством алгоритма выборки индексов с высоким разрешением из вычисленной плотности вероятности индексов с высоким разрешением; воспроизведение посредством декодера VQ высокочастотной разности из выборочных индексов с высоким разрешением;
генерирование выходного изображения с высоким разрешением путем интерполяции входного изображения с низким разрешением для соответствия желаемому размеру выходного изображения с высоким разрешением и суммирования результата интерполяции с воспроизведенной высокочастотной разности; и сохранение сгенерированного выходного изображения с высоким разрешением.
28. Система по п. 27, отличающаяся тем, что выборка включает в себя метод максимального правдоподобия для выборки наиболее вероятных индексов с высоким разрешением.
29. Система по п. 27, отличающаяся тем, что выборка включает в себя выборку индексов с высоким разрешением из мультиномиального распределения.
30. Система по п. 27, отличающаяся тем, что требуемый размер генерируемого выходного изображения с высоким разрешением вручную выбирается пользователем и представляет собой желаемый размер по диагонали и/или соотношение высоты и ширины выходного изображения с высоким разрешением.