УСТРОЙСТВО ОБРАБОТКИ ИЗОБРАЖЕНИЙ И СПОСОБ ОБРАБОТКИ ИЗОБРАЖЕНИЙ
IMAGE PROCESSING APPARATUS AND IMAGE PROCESSING METHOD

Область техники, к которой относится изобретение
Настоящий способ относится к устройству обработки изображений и способу обработки изображений и, более конкретно, к устройству обработки изображений и способу обработки изображений, способным формировать цветное изображение точки просмотра изображения, используя цветное изображение и глубинное изображение заданной точки просмотра.
Уровень техники
В последние годы внимание привлечено к трехмерным (3D) изображениям. Обычно используемый способ просмотра трехмерных изображения состоит в том, что человек надевает очки, которые открывают затвор левого глаза во время отображения одного из изображений, полученных с двух точек просмотра, и которые открывают затвор правого глаза во время отображения другого из этих изображений, и человек рассматривает изображения двух точек просмотра, которые отображаются поочередно (здесь далее упоминается как ″способ, использующий очки″).
Однако, при таком способе, использующем очки, зрителю необходимо в дополнение к устройству отображения трехмерного изображения покупать очки, что снижает желание покупки. Кроме того, зритель должен быть в очках на время просмотра, что надоедает. Поэтому существует потребность в способе просмотра, позволяющем просматривать трехмерные изображения без надевания очков (здесь далее упоминаемый как ″способ без очков″).
При способе без очков изображения трех или более точек просмотра отображаются таким образом, что для каждой точки просмотра угол просмотра различен, и когда зритель видит изображения двух точек просмотра правым и левым глазами, он может видеть трехмерное изображение, не надевая очки.
Следующий способ был создан как способ отображения трехмерного изображения, соответствующий способу без очков. При этом способе получают цветное изображение и глубинное изображение заданной точки просмотра и, используя цветное изображение и глубинное изображение, формируют и отображают цветные изображения многожества точек просмотра, которые являются точками просмотра изображения, содержащими точки просмотра, отличные от заданной точки просмотра. Следует заметить, что ″множество точек просмотра″ означают три или более точек просмотра.
В качестве способа кодирования цветных изображений множества точек просмотра и глубинных изображений предложен способ раздельного кодирования цветных изображений и глубинных изображений (например, смотрите патентный документ 1).
Используемая литература
Непатентный документ
Непатентный документ 1: Международная организация по стандартизации ISO/IEC JTC1/SC29/WG11 ″Кодирование движущихся изображений и звука″ (Coding of moving pictures and audio), Гуанчжоу, Китай, октябрь 2010 г.
Сущность изобретения
Проблемы, подлежащие решению изобретением
В традиционном стандарте кодирования и т.п. передача информации, пригодной для отображения трехмерного изображения в соответствии со способом без очков, не рассматривается. Поэтому в традиционном стандарте кодирования передается большой объем информации, которая не требуется для формирования цветных изображений множества точек просмотра, являющихся точками просмотра изображения, содержащими точки просмотра, отличные от заданной точки просмотра, используя цветное изображение заданной точки просмотра, и изображения, связанного с параллаксом, которое является изображением (глубинным изображением), связанным с параллаксом, таким как глубинное изображение, и, кроме того, передается необходимая информация.
В результате, на стороне приема не может быть сформировано цветное изображение точки просмотра, отличной от точки просмотра, использующей цветное изображение заданной точки просмотра и изображение, связанное с параллаксом.
Настоящий способ предлагается с учетом таких обстоятельств и должен позволить формировать цветное изображение точки просмотра изображения, используя цветное изображение заданной точки просмотра и изображение, связанное с параллаксом.
Решения проблем
Устройство обработки изображений по первому варианту настоящего способа является устройством обработки изображений, содержащим блок кодирования для формирования битового потока путем кодирования цветного изображения точки просмотра и глубинного изображения точки просмотра; блок формирования для формирования информации о формировании точек просмотра, используемой для формирования цветного изображения отображаемой точки просмотра изображения, в соответствии со способом формирования цветного изображения отображаемой точки просмотра изображения, полученной при выполнении процесса деформирования с использованием указанного цветного изображения и указанного глубинного изображения; блок передачи для передачи указанного битового потока, формируемого блоком кодирования, и информации о формировании точки просмотра, формируемой блоком формирования.
Способ обработки изображений согласно первому варианту настоящей технологии соответствует устройству обработки изображений по первому варианту настоящей технологии.
В первом варианте настоящей технологии формируют битовый поток, кодируя цветное изображение точки просмотра и глубинное изображение точки просмотра, и информацию о формировании точки просмотра, которая используется для формирования цветного изображения отображаемой точки просмотра изображения в соответствии со способом формировании цветного изображения отображаемой точки просмотра, полученного посредством выполнения процесса деформирования, использующего указанное цветное изображение и указанное глубинное изображение, и передают битовый поток и информацию о формировании точек просмотра.
Устройство обработки изображений согласно второму варианту настоящей технологии является устройством обработки изображений, содержащим приемный блок для приема битового потока, полученного в результате кодирования цветного изображения точки просмотра и глубинного изображения точки просмотра, и информации о формировании точки просмотра, используемых для формирования цветного изображения отображаемой точки просмотра, которое формируется в соответствии со способом формировании цветного изображения отображаемой точки просмотра изображения, получаемого посредством выполнения процесса деформирования с использованием указанного цветного изображения и глубинного изображения; блок декодирования для формирования цветного изображения и глубинного изображения посредством декодирования битового потока, принимаемого приемным блоком, и блок формирования для формирования цветного изображения отображаемой точки просмотра путем выполнения процесса деформирования с использованием указанного цветного изображения и указанного глубинного изображения, формируемых блоком декодирования, и информации о формировании точек просмотра, принимаемой приемным блоком.
Способ обработки изображений согласно второму варианту настоящей технологии соответствует устройству обработки изображений, соответствующему второму варианту настоящей технологии.
Во втором варианте настоящей технологии битовый поток, полученный в результате кодирования цветного изображения точки просмотра и информации глубинного изображения, точки просмотра и информации о формировании точки просмотра, используемой для формирования цветного изображения отображаемой точки просмотра изображения, которое формируется в соответствии со способом формирования цветного изображения отображаемой точки просмотра, получаемого посредством процесса деформирования с использованием принятых цветного изображения и глубинного изображения, и цветное изображение и глубинное изображение формируются путем декодирования принятого битового потока при обработке этапа приема, и цветное изображение отображаемой точки просмотра формируется путем выполнения процесса деформирования с использованием цветного изображения и глубинного изображения и информации о формировании точек просмотра.
Устройство обработки изображений, соответствующее первому и второму вариантам, может быть получено при обеспечении выполнения компьютером программы.
Чтобы получить устройство обработки изображений, соответствующее первому и второму вариантам, программа, исполняемая компьютером, может быть обеспечена посредством среды передачи или записи программы на носителе записи данных.
Результаты изобретения
Согласно первому варианту настоящей технологии, может быть передана необходимая информация для формирования цветного изображения отображаемой точки просмотра с использованием цветного изображения заданной точки просмотра и глубинного изображения.
Согласно второму варианту настоящей технологии, цветное изображение отображаемой точки просмотра может быть сформировано путем использования цветного изображения заданной точки просмотра и глубинного изображения.
Краткое описание чертежей
Фиг.1 - синтаксис информации SEI при сборе данных Multiview.
Фиг.2 - блок-схема примера конфигурации первого варианта осуществления устройства кодирования, служащего в качестве устройства обработки изображений, к которому применяется настоящая технология.
Фиг.3 - пример конфигурации блока доступа для кодированного битового потока.
Фиг.4 - пример описания участка SEI.
Фиг.5 - блок-схема последовательности выполнения операций процесса кодирования устройством кодирования, показанным на фиг.2.
Фиг.6 - блок-схема последовательности выполнения операций, объясняющая подробности процесса мультипроекционного кодирования, показанного на фиг.5.
Фиг.7 - блок-схема примера конфигурации первого варианта осуществления устройства декодирования, служащего в качестве устройства обработки изображений, к которому применяется настоящий способ.
Фиг.8 - процесс деформации глубинного изображения.
Фиг.9 - блок-схема последовательности выполнения операций процесса декодирования устройством декодирования, показанным на фиг.7.
Фиг.10 - блок-схема последовательности выполнения операций, объясняющая подробности процесса мультипроекционного декодирования, показанного на фиг.9.
Фиг.11 - блок-схема примера конфигурации второго варианта осуществления устройства кодирования, служащего устройством обработки изображений, к которому применяется настоящая технология.
Фиг.12 - максимальное значение, связанное с параллаксом, и минимальное значение, связанное с параллаксом, в информации о формировании точек просмотра.
Фиг.13 - параметр точности параллакса в информации о формировании точек просмотра.
Фиг.14 - межкамерное расстояние в информации о формировании точек просмотра.
Фиг.15 - блок-схема примера конфигурации блока кодирования мультипроекционного изображения, показанного на фиг.11.
Фиг.16 - пример конфигурации кодированного битового потока.
Фиг.17 - пример синтаксиса PPS, показанного на фиг.16.
Фиг.18 - пример синтаксиса заголовка слоя.
Фиг.19 - пример синтаксиса заголовка слоя.
Фиг.20 - блок-схема последовательности выполнения операций процесса кодирования устройством кодирования, показанным на фиг.11.
Фиг.21 - блок-схема последовательности выполнения операций процесса мультипроекционного кодирования, показанного на фиг.20.
Фиг.22 - блок-схема примера конфигурации второго варианта осуществления устройства декодирования, служащего устройством обработки изображений, к которому применяется настоящий способ.
Фиг.23 - блок-схема примера конфигурации блока мультипроекционного декодирования изображений, показанного на фиг.22.
Фиг.24 - блок-схема последовательности выполнения операций процесса декодирования блока мультипроекционного декодирования изображений, показанного на фиг.22.
Фиг.25 - объяснение параллакса и глубины.
Фиг.26 - блок-схема примера конфигурации варианта осуществления компьютера.
Фиг.27 - пример конфигурации схемы телевизионного устройства, к которому применяется настоящий способ.
Фиг.28 - пример конфигурации схемы мобильного телефона, к которому применяется настоящий способ.
Фиг.29 - пример конфигурации схемы устройства записи/воспроизведения, к которому применяется настоящий способ.
Фиг.30 - пример конфигурации схемы устройства получения изображений, к которому применяется настоящий способ.
СПОСОБ ВЫПОЛНЕНИЯ ИЗОБРЕТЕНИЯ
Объяснение глубинного изображения (изображения, связанного с параллаксом) в настоящем описании
Фиг.25 служит для объяснения параллакса и глубины.
Как показано на фиг.25, когда цветное изображение объекта M получают с помощью камеры c1, расположенной в положении C1, и камеры c2, расположенной в положении C2, глубина Z объекта M, которая является расстоянием в направлении глубины от камеры c1 (камеры c2), определяется следующим выражением (a).
Следует заметить, что L обозначает расстояние между положением C1 и положением C2 в горизонтальном направлении (здесь далее упоминаемое как ″межкамерное расстояние″). Переменная d обозначает значение, полученное вычитанием расстояния u2 положения объекта M на цветном изображении, полученном камерой c2 в горизонтальном направлении от центра цветного изображения, из расстояния u1 положения объекта M на цветном изображении, полученном камерой c1 в горизонтальном направлении от центра цветного изображения. Более конкретно, d обозначает параллакс. Дополнительно, f обозначает фокусное расстояние камеры c1. В выражении (a) фокусные расстояния камеры c1 и камеры c2 являются одинаковыми.
Как показано в выражении (a), параллакс d и глубина Z могут быть однозначно преобразованы. Поэтому в настоящем описании параллаксное изображение, представляющее параллакс d цветных изображений двух точек просмотра, полученных камерой c1 и камерой c2, и глубинное изображение, представляющее глубину Z, в совокупности упоминаются как глубинное изображение (изображение, связанное с параллаксом).
Следует заметить, что глубинное изображение (изображение, связанное с параллаксом) может быть изображением, представляющим параллакс d или глубину Z, и пиксельное значение глубинного изображения (изображения, связанного с параллаксом) не может быть собственно параллаксом d или глубиной Z. Например, может использоваться значение, полученное посредством нормализации параллакса d, или значение, полученное посредством нормализации обратного значения 1/Z глубины Z.
Значение I, полученное посредством нормализации параллакса d с помощью 8 бит (от 0 до 255), может быть получено из следующего выражения (b). Количество битов нормализации параллакса d не ограничивается восемью битами. Могут быть и другие количества битов, такие как 10 битов и 12 битов.
[Математическая формула 4]
max
min
max
min
В выражении (b) D - максимальное значение параллакса d, D - минимальное значение параллакса d. Максимальное значение D и минимальное значение D могут быть установлены в единицах измерений экрана или могут быть установлены в еденицах ихмерений многочисленных экранов.
Значение y, полученное посредством нормализации обратного значения 1/Z глубины Z с помощью 8 битов (от 0 до 255), может быть получено из следующего выражения (c). Количество битов нормализации обратной величины 1/Z глубины Z не ограничивается 8 битами. Могут быть и другие количества битов, такие как 10 битов и 12 битов.
[Математическая формула 5]
far
near
far
near
В выражении (c) Z обозначает максимальное значение глубины Z, и Z обозначает минимальное значение глубины Z. Максимальное значение Z и минимальное значение Z могут быть установлены в единицах измерений экрана или могут быть установлены в единицах измерений многочисленных экранов.
Как описано выше в настоящем описании, поскольку параллакс d и глубина Z могут быть однозначно преобразованы, параллаксное изображение, в котором значение I, полученное посредством нормализации параллакса d, является пиксельным значением, и глубинное изображение, в котором значение y, полученное посредством нормализации обратного значения 1/Z глубины Z, является пиксельным значением, в совокупности упоминаются как глубинное изображение (изображение, связанное с параллаксом). В этом случае, цветовым форматом глубинного изображения (изображения, связанного с параллаксом) является YUV420 или YUV400, но возможны и другие цветовые форматы.
Когда значение I или значение y не используется в качестве пиксельного значения глубинного изображения (изображения, связанного с параллаксом), и внимание уделяется информации о собственно величине I или величине y, значение I или значение y принимаются в качестве информации о глубине. Дополнительно, то, что получено посредством отображения значения I или значения y, будет упоминаться как карта глубин.
Первый вариант осуществления
Пример конфигурации первого варианта осуществления устройства кодирования
На фиг.2 представлена блок-схема примера конфигурации первого варианта осуществления устройства кодирования, служащего в качестве устройства обработки изображений, к которому применяется настоящая технология.
Устройство 10 кодирования, показанное на фиг.2, содержит блок 11 получения изображений для получения мультипроекционный цветных изображений, блок 12 коррекции мультипроекционных цветных изображений, блок 13 формирования мультипроекционных изображений, связанных с параллаксом, блок 14 формирования информации о формировании точек просмотра и блок 15 кодирования мультипроекционных изображений.
Устройство 10 кодирования кодирует цветное изображение заданной точки просмотра и изображение, связанное с параллаксом, и использует цветное изображение заданной точки просмотра и изображение, связанное с параллаксом, чтобы добавить и передать информацию о формировании точек просмотра, которая является информацией для формирования цветного изображения точки просмотра, отличной от заданной точки просмотра.
Блок 11 получения изображений для получения мультипроекционных цветных изображений, содержащийся в устройстве 10 кодирования, получает цветные изображения мультиточек просмотра и передает их в качестве мультипроекционных цветных изображений блоку 12 коррекции мультипроекционных цветных изображений. Блок 11 получения изображений для получения мультипроекционных изображений формирует в качестве информации о получении изображений информацию о получении изображений, такую как количество точек просмотра цветных изображений, внешние параметры и информация о дальности, и предоставляет информацию блоку 14 формирования информации о формировании точек просмотра.
Следует заметить, что внешним параметром является параметр для определения положения блока 11 получения изображений для получения мультипроекционных изображений в горизонтальном направлении.
near
far
min
max
Когда изображение, связанное с параллаксом, формируемое блоком 13 формирования мультипроекционных изображений, связанных с параллаксом, является глубинным изображением, информация о дальности содержит минимальное значение (минимальное значение Z) и максимальное значение (максимальное значение Z) значений в реальных координатах в положениях в направлении глубины, которые могут появляться в мультипроекционном изображении, связанном с параллаксом (мультипроекционном глубинном изображении). Минимальное значение и максимальное значение здесь далее будут упоминаться как минимальное значение глубины и максимальное значение глубины, соответственно. С другой стороны, когда изображение, связанное с параллаксом, сформированное блоком 13 формирования мультипроекционных изображений, связанных с параллаксом, является параллаксным изображением, информация о дальности содержит минимальное значение (минимальное значение D) и максимальное значение (максимальное значение D) параллакса в реальных координатах, которые могут появиться в мультипроекционном изображении, связанном с параллаксом, а также информация идентификации цветного изображения точки просмотра, принятой в качестве базисной точки, когда получено значение параллакса. Минимальное значение и максимальное значение здесь далее будут упоминаться как минимальное значение параллакса и максимальное значение параллакса, соответственно.
Блок 12 коррекции мультипроекционных цветных изображений выполняет коррекцию цвета, коррекцию яркости, коррекцию искажений и т.п.для мультипроекционных цветных изображений, подаваемых от блока 11 получения изображений для получения мультипроекционных изображений. Соответственно, фокусное расстояние блока получения изображений для получения мультипроекционных изображений в скорректированном мультипроекционном цветном изображении в горизонтальном направлении (направлении X) является одним и тем же во всех проекциях. Блок 12 коррекции мультипроекционных цветных изображений подает скорректированное мультипроекционное цветное изображение на блок 13 формирования мультипроекционных изображений, связанных с параллаксом, и на блок 15 кодирования мультипроекционных изображений в качестве мультипроекционных скорректированных цветных изображений. Блок 12 коррекции мультипроекционных цветных изображений формирует информацию о скорректированном мультипроекционном цветном изображении, такую как внутренние параметры, в качестве информации о цветном изображении, и предоставляет информацию на блок 14 формирования информации о формировании точек просмотра.
Внутренние параметры содержат фокусное расстояние в горизонтальном направлении для блока 11 получения изображения для мультипроекционных цветных изображений, который является одним и тем же для всех точек просмотра в скорректированных мультипроекционных цветных изображениях, и главную точку, являющуюся центром изображения, то есть, положением оптического центра линзы в горизонтальном направлении. Положение главной точки в горизонтальном направлении может быть различным для каждой точки просмотра.
Блок 13 формирования мультипроекционных изображений, связанных с параллаксом, формирует изображения, связанные с параллаксом, для мультиточек просмотра из мультипроекционных скорректированных цветных изображений, обеспечиваемых блоком 12 коррекции мультипроекционных цветных изображений. Затем блок 13 формирования мультипроекционных изображений, связанных с параллаксом, подает сформированные изображения мультиточек просмотра, связанные с параллаксом, на блок 15 кодирования мультипроекционных изображений в качестве мультипроекционных изображений, связанных с параллаксом.
Блок 13 формирования мультипроекционных изображений, связанных с параллаксом, формирует в качестве информации об изображении, связанном с параллаксом, (информации об глубинном изображении) информацию о мультипроекционных изображениях, связанных с параллаксом, такую как количество точек просмотра мультипроекционных изображений, связанных с параллаксом, информацию о типе изображения, указывающую, является ли мультипроекционное изображение, связанное с параллаксом, глубинным изображением или параллаксным изображением (информация идентификации глубинного изображения). Затем блок 13 формирования мультипроекционных изображений, связанных с параллаксом, предоставляет информацию об изображении, связанном с параллаксом, на блок 14 формирования информации о формировании точек просмотра.
Блок 14 формировании информации о формировании точек просмотра функционирует как блок формировании и использует мультипроекционное скорректированное цветное изображение и мультипроекционное изображение, связанное с параллаксом, чтобы сформировать информацию о формировании точек просмотра в соответствии с заданным способом для формирования цветного изображения другой точки просмотра. Более конкретно, блок 14 формировании информации о формировании точек просмотра формирует информацию идентификации цветного изображения и информацию идентификации изображения, связанного с параллаксом, (информацию идентификации глубинного изображения) на основе количества точек просмотра изображений, подаваемых от блока 11 получения изображений мультипроекционных цветных изображений и количества точек просмотра изображений, связанных с параллаксом, подаваемых от блока 13 формирования мультипроекционных изображений, связанных с параллаксом. Следует заметить, что информация идентификации цветного изображения является информацией идентификации цветного изображения и информация идентификации изображения, связанного с параллаксом, является информацией идентификации изображения, связанного с параллаксом.
Блок 14 формировании информации о формировании точек просмотра формирует флаг внешнего параметра, указывающий присутствие/отсутствие внешнего параметра в каждой точки просмотра, соответствующией мультипроекционному изображению, связанному с параллаксом, на основе внешнего параметра, содержащегося в информации о получении информация, предоставленной блоком 11 получения изображений для получения мультипроекционных цветных изображений. Дополнительно, блок 14 формирования информации о формировании точек просмотра формирует флаг внутреннего параметра, указывающий присутствие/отсутствие внутреннего параметра в каждой точки просмотра, соответствующей мультипроекционному изображению, связанному с параллаксом, на основе внутреннего параметра, содержащегося в информации о цветном изображении, предоставляемой блоком 12 коррекции мультипроекционных цветных изображений. Затем, блок 14 формировании информации о формировании точек просмотра формирует информацию о формировании точек просмотра из информации идентификации цветного изображения, информации идентификации изображения, связанного с параллаксом, флага внешнего параметра, флаг внутреннего параметра, информации о получении изображения, информации о цветном изображении и информации об изображении, связанном с параллаксом. Информация о формировании точек просмотра образуется информацией идентификации цветного изображения, информацией идентификации изображения, связанного с параллаксом, информацией о внешнем параметре, информацией о внутреннем параметре, количеством точек просмотра цветных изображений, информацией о дальности, количеством точек просмотра изображений, связанных с параллаксом, и информацией о типе изображения. Следует заметить, что информация о внешнем параметре образуется флагом внешнего параметра и внешним параметром точки просмотра, соответствующей мультипроекционному изображению, связанному с параллаксом, и информация о внутреннем параметре образуется флагом внутренного параметра и внутренним параметром точки просмотра, соответствующей мультипроекционному изображению, связанному с параллаксом. Блок 14 формирования информации о формировании точек просмотра предоставляет сформированную информацию о формировании точек просмотра на блок 15 кодирования мультипроекционного изображения.
Блок 15 кодирования мультипроекционных изображений функционирует как блок кодирования и кодирует мультипроекционное скорректированное цветное изображение, предоставленное блоком 12 коррекции мультипроекционных цветных изображений, и мультипроекционное изображение, связанное с параллаксом, предоставленное блоком 13 формирования мультипроекционных изображений, связанных с параллаксом, в соответствии с таким же способом, что и способ MVC (Multiview Video Coding, мультипроекционное видеокодирование), и добавляет информацию о формировании точек просмотра, предоставленную блоком 14 формировании информации о формировании точек просмотра. Блок 15 кодирования мультипроекционных изображений функционирует как передающий блок и передает в качестве кодированного битового потока битовый поток, полученный в результате.
Пример конфигурации кодированного битового потока
На фиг.3 представлен пример конфигурации блока доступа кодированного битового потока, сформированного устройством 10 кодирования, показанным на фиг.2.
Как показано на фиг.3, блок доступа кодированного битового потока состоит из набора параметра последовательности SPS (Sequence Parameter Set), поднабора SPS (Subset SPS), набора параметров изображения PPS (Picture Parameter Set), SEI и слоя.
В примере, показанном на фиг.3, количество точек просмотра скорректированных мультипроекционных цветных изображений и мультипроекционных изображений, связанных с параллаксом, равно двум. Скорректированное цветное изображение A, являющееся одной из двух точек просмотра мультипроекционных скорректированных цветных изображений точек просмотра, кодируется как основная проекция. Скорректированное цветное изображение B другой из точек просмотра, изображение A, связанное с параллаксом, соответствующее цветному изображению A, и изображение B, связанное с параллаксом, соответствующее цветному изображению B, кодируются как неосновные точки просмотра.
В результате, слои располагаются, например, в следующем порядке: слой для цветного изображения A, кодированного как основная проекция, слой изображения A, связанного с параллаксом, кодированного как неосновная проекция, и слой для цветного изображения B, и затем слой для изображения B, связанного с параллаксом. На участке заголовка каждого слоя описывается информация для идентификации PPS.
SPS является заголовком, содержащим информацию о кодировании основной точки просмотра. Поднабор Subset SPS является заголовком расширения, содержащим информацию о кодировании основной точки просмотра и неосновной точки просмотра. PPS является заголовком, содержащим информацию, указывающую режим кодирования всего изображения, и информацию для идентификации SPS и поднабора Subset SPS. SEI является дополнительной информацией, которая не является необходимой для декодирования и содержит информацию о формировании точек просмотра и т.п.
Во время декодирования цветного изображения А, которое кодируется как основная проекция, PPS ищется на основе информации для идентификации PPS, описанной на участке заголовка цветного изображения A, и SPS ищется на основе информации для идентификации SPS, описанной в PPS.
С другой стороны, во время декодирования изображения, связанного с параллаксом, кодированного как неосновная проекция, PPS ищется на основе информации идентификации PPS, описанной в заголовке изображения A, связанного с параллаксом. Поднабор Sub SPS ищется на основе информации идентификации Sub SPS, описанной в PPS. Во время декодирования цветного изображения В и изображения В, связанного с параллаксом, кодированного как неосновная проекция, также ищется PPS и Sub SPS ищется точно также, как во время декодирования изображения A, связанного с параллаксом.
Пример участка описания SEI
На фиг.4 показан пример описания участка SEI.
На второй строке сверху в левой стороне SEI на фиг.4 описывается количество точек просмотра (num_color_view_minus_1) цветного изображения. На третьей строке описывается количество точек просмотра (num_depth_view_minus_1) изображения, связанного с параллаксом.
На пятой строке сверху в левой стороне фиг.4 идентификатор ID точки просмотра (color_view_id) цветного изображения описывается как информация идентификации цветного изображения для цветного изображения каждой точки просмотра. На седьмой строке идентификатор ID точки просмотра (depth_view_id) изображения, связанного с параллаксом, описывается как информация идентификации изображения, связанного с параллаксом, для изображения, связанного с параллаксом, для каждой точки просмотра. На восьмой строке сверху в левой стороне фиг.4 флаг внутреннего параметра в информации о внутренних параметрах описывается для каждой точки просмотра, соответствующей мультипроекционному изображению, связанному с параллаксом. На девятой строке флаг внешнего параметра в информации о внешних параметрах описывается для каждой точки просмотра, соответствующей мультипроекционному изображению, связанному с параллаксом.
На строках 11 и 13-15 сверху в левой стороне фиг.4 во внутреннем параметре описывается фокусное расстояние в горизонтальном направлении.
В SEI на фиг.4 вещественное число x описывается как число с плавающей запятой, используя значение точности, значение знака, значение показателя степени и значение мантиссы, определенные следующим выражением (1).
Когда удерживается e=0,
v=Мах(0, prec-30)
S
-(30+v)
x=(-1)·2·n
Когда удерживается 0<e≤62,
v=Мах(0, e+prec-31)
В выражении (1) prec обозначает значение точности, s обозначает значение знака, e обозначает значение показателя степени и n обозначает значение мантиссы. Соответственно, значение знака, значение показателя степени, значение мантиссы представляют знак, показатель степени, мантиссу вещественного числа x, соответственно.
Как описано выше, вещественное число х описывается как число с плавающей запятой и поэтому в строках 11 и 13-15 сверху в левой стороне фиг.4 соответственно описываются значение точности (prec_focal_length), значение знака (sign_focal_length_x), значение показателя степени (exponent_focal_length_x), значение мантиссы (mantissa_focal_length_x) фокусного расстояния в горизонтальном расстоянии.
В строке 12 сверху в левой стороне фиг.4 значение, общее для любой точки просмотра, соответствующей мультипроекционному изображению, связанному с параллаксом, описывается как значение точности (prec_principal_point) в положении главной точки в горизонтальном направлении. В строках 17-19 сверху в левой стороне фиг.4, значение знака (sign_principal_point_x), значение показателя степени (exponent_principal_point_x), значение мантиссы (mantissa_principal_point_x) в положении главной точки в горизонтальном направлении описывается для каждой точки просмотра, соответствующей мультипроекционному изображению, связанному с параллаксом.
Во 2-ой строке сверху в правой стороне фиг.4, значение, общее для всех точек просмотра, соответствующих мультипроекционному изображению, связанному с параллаксом, описывается как значение точности (prec_translation_param) внешнего параметра. В строках 4-6 сверху в правой стороне фиг.4, внешние параметры значения знака (sign_translation_x), значения показателя степени (exponent_translation_x), значения мантиссы (mantissa_translation_x) описываются для каждой точки просмотра, соответствующей мультипроекционному изображению, связанному с параллаксом.
В строке 9 сверху в правой стороне на фиг.4 описывается информация о типе изображения (depth_map_flag). В строках 11-12 сверху на фиг.4, когда информация о типе изображения указывает глубинное изображение, в информации о дальности описываются минимальное значение глубины (depth_nearest) и максимальное значение глубины (depth_farthest), являющиеся общими для всех точек просмотра, соответствующих мультипроекционному изображению, связанному с параллаксом.
Дополнительно, в строках 16-18 сверху в правой стороне на фиг.4 описывается информация о дальности, где информация о типе изображения указывает параллаксное изображение. Более конкретно, в строках 16-17 соответственно описываются минимальное значение параллакса (disparity_minimum) и максимальное значение параллакса (disparity_maximum). Минимальное значение параллакса и максимальное значение параллакса различаются согласно точки просмотра и поэтому они формируются и описываются для каждой точки просмотра.
В строке 18 идентификатор ID точки просмотра (reference_depth_view) цветного изображения описывается для каждой точки просмотра, соответствующей мультипроекционному изображению, связанному с параллаксом, как информация для идентификации цветного изображения точки просмотра, принятой в качестве базисной точки, когда определяется значение параллакса.
Процесс, выполняемый устройством кодирования
На фиг.5 представлена блок-схема последовательности выполнения операций процесса кодирования, выполняемого устройством 10 кодирования, показанным на фиг.2.
На этапе S10 на фиг.5 блок 11 получения изображений для получения мультипроекционных изображений получает от устройства 10 кодирования цветные изображения многочисленных точек просмотра и подает их в качестве мультипроекционных цветных изображений на блок 12 коррекции мультипроекционных цветных изображений.
На этапе S11 блок 11 получения изображений для получения мультипроекционных изображений формирует информацию о получении изображения и подает ее на блок 14 формирования информации о формировании точек просмотра.
На этапе S12 блок 12 коррекции мультипроекционных цветных изображений выполняет коррекцию цвета, коррекцию яркости, коррекцию искажений и т.п. на мультипроекционных цветных изображениях, подаваемых от блока 11 получения изображений, для получения мультипроекционных изображений. Блок 12 коррекции мультипроекционных цветных изображений подает скорректированное мультипроекционное цветное изображение на блок 13 формирования мультипроекционных изображений, связанных с параллаксом, и на блок 15 кодирования мультипроекционных изображений в качестве скорректированных мультипроекционных цветных изображений.
На этапе S13 блок 12 коррекции мультипроекционных цветных изображений формирует информацию о цветном изображении и подает ее на блок 14 формирования информации о формировании точек просмотра.
На этапе S14 блок 13 формирования мультипроекционных изображений, связанных с параллаксом, формирует мультипроекционные изображения, связанные с параллаксом, из скорректированных мультипроекционных цветных изображений, поданных от блока 12 коррекции мультипроекционных цветных изображений. Затем, блок 13 формирования мультипроекционных изображений, связанных с параллаксом, подает сформированные мультипроекционные изображения, связанные с параллаксом, на блок 15 кодирования мультипроекционных изображений в качестве мультипроекционных изображений, связанных с параллаксом.
На этапе S15 блок 13 формирования мультипроекционных изображений, связанных с параллаксом, формирует информацию об изображении, связанном с параллаксом, и передает ее на блок 14 формировании информации о формировании точек просмотра.
На этапе S16 блок 14 формирования информации о формировании точек просмотра формирует информацию идентификации цветного изображения, информацию идентификации изображения, связанного с параллаксом, флаг внутреннего параметра и флаг внешнего параметра на основе информации о получении изображения, информации о цветном изображении и информации об изображении, связанном с параллаксом.
На этапе S17 блок 14 формирования информации о формировании точек просмотра формирует информацию о формировании точек просмотра. Более конкретно, блок 14 формирования информации о формировании точек просмотра формирует в качестве информации о формировании точек просмотра информацию идентификации цветного изображения, информацию идентификации изображения, связанного с параллаксом, количество точек просмотра цветных изображений, информацию о внешних параметрах, информацию о внутренних параметрах, информацию об дальности, количество точек просмотра изображений, связанных с параллаксом, и информацию о типе изображения. Блок 14 формирования информации о формировании точек просмотра подает сформированную информацию о формировании точек просмотра на блок 15 кодирования мультипроекционных изображений.
На этапе S18 блок 15 кодирования мультипроекционных изображений выполняет процесс мультипроекционного кодирования для кодирования скорректированного мультипроекционного цветного изображения и мультипроекционных изображений, связанных с параллаксом, и добавляет информацию о формировании точек просмотра и т.п. Подробности процесса мультипроекционного кодирования будут объяснены позже со ссылкой на фиг.6.
На этапе S19 блок 15 кодирования мультипроекционных изображений передает кодированный битовый поток, сформированный в результате этапа S18, и заканчивает процесс.
На фиг.6 представлена блок-схема последовательности выполнения операций, объясняющая подробности процесса мультипроекционного кодирования, выполняемого на этапе S18, показанном на фиг.5. Этот процесс мультипроекционного кодирования выполняется, например, в блоках слоев. В процессе мультипроекционного кодирования, показанном на фиг.6, изображения, которые должны кодироваться, являются цветным изображением A, цветным изображением B, изображением A, связанным с параллаксом, и изображением B, связанным с параллаксом.
На этапе S3, показанном на фиг.6, блок 15 кодирования мультипроекционных изображений формирует SPS целевого слоя, который является слоем цели процесса и присваивает идентификатор ID, уникальный для SPS. На этапе S32 блок 15 кодирования мультипроекционных изображений формирует поднабор Subset SPS целевого слоя и присваивает ID, уникальный для поднабора Subset SPS.
На этапе S33 блок кодирования мультипроекционных изображений формирует PPS целевого слоя, содержащий ID, назначенный на этапах S31 и S32, и назначает ID, уникальный для PPS. На этапе S34 блок 15 кодирования мультипроекционных изображений формирует SEI, содержащую информацию о формировании точек просмотра целевого слоя.
На этапе S35 блок 15 изображения кодирует целевой слой цветного изображения A в качестве основной точки просмотра и добавляет участок заголовка, содержащий ID, назначенный на этапе S33. На этапе S36 блок 15 кодирования мультипроекционных изображений кодирует целевой слой изображения A, связанного с параллаксом, в качестве неосновной точки просмотра, и добавляет участок заголовка, содержащий ID, назначенный на этапе S33.
На этапе S37 блок 15 кодирования мультипроекционных изображений кодирует целевой слой цветного изображения В как неосновную проекцию и добавляет участок заголовка, содержащий ID, назначенный на этапе S33. На этапе S3 8 блок 15 кодирования мультипроекционных изображений кодирует целевой слой изображения B, связанного с параллаксом, как неосновную проекцию и добавляет участок заголовка, содержащий ID, назначенный на этапе S33.
Затем блок 15 кодирования мультипроекционных изображений формирует кодированный битовый поток, располагая по порядку SPS, Subset SPS, PPS, SEI, целевой слой цветного изображения A, целевой слой изображения A, связанного с параллаксом, целевой слой цветного изображения B и целевой слой изображения B, связанного с параллаксом, сформированные таким образом. Затем, процесс этапа S18 на фиг.5 выполняется снова и далее выполняется этап S19.
В процессе мультипроекционного кодирования, показанного на фиг.6, для объяснения, SPS формируется в блоке слоя, но когда SPS текущего целевого слоя является таким же, как SPS предыдущего целевого слоя, такой SPS не формируется. То же самое можно сказать о Subset SPS, PPS и SEI.
Как описано выше, устройство 10 кодирования использует скорректированное мультипроекционное цветное изображение и мультипроекционное изображение, связанное с параллаксом, чтобы сформировать информацию о формировании точек просмотра в соответствии с заданным способом формирования цветного изображения другой точки просмотра, и передает ее вместе с цветным изображением заданной точки просмотра и изображением, связанным с параллаксом. Поэтому устройство декодирования, объясненное позже, может использовать цветное изображение заданной точки просмотра, изображение, связанное с параллаксом, и информацию о формировании точек просмотра, чтобы сформировать цветное изображение точки просмотра, отличное от заданной точки просмотра.
Пример конфигурации первого варианта осуществления устройства декодирования
На фиг.7 представлена блок-схема примера конфигурации первого варианта осуществления устройства декодирования, служащего устройством обработки изображений, к которому применяется настоящий способ, которое декодирует кодированный битовый поток, переданный от устройства 10 кодирования, показанного на фиг.2.
Устройство 30 декодирования, показанное на фиг.7, состоит из блока 31 декодирования мультипроекционных изображений, блока 32 объединения точек просмотра и блока 33 отображения мультипроекционных изображений.
Блок 31 декодирования мультипроекционных изображений устройства 30 декодирования функционирует как приемный блок и принимает кодированный битовый поток, переданный от устройства 10 кодирования, показанного на фиг.2. Блок 31 декодирования мультипроекционных изображений извлекает информацию о формировании точек просмотра из SEI принятого кодированного битового потока и предоставляет информацию о формировании точек просмотра на блок 32 объединения точек просмотра. Блок 31 декодирования мультипроекционных изображений функционирует как блок декодирования и декодирует кодированный битовый поток в соответствии со способом декодирования, соответствующим способу кодирования блока 15 кодирования мультипроекционных изображений, показанного на фиг.2, и формирует скорректированные мультипроекционные цветные изображения и мультипроекционное изображение, связанное с параллаксом. Блок 31 декодирования мультипроекционных изображений подает скорректированное мультипроекционные цветные изображения и мультипроекционное изображение, связанное с параллаксом, на блок 32 объединения точек просмотра.
Блок 32 объединения точек просмотра использует информацию о формировании точек просмотра, предоставленную блоком 31 декодирования мультипроекционных изображений, чтобы выполнить процесс деформации (подробности которого объясняются позже) для мультипроекционных изображений, связанных с параллаксом, поданных блоком 31 декодирования мультипроекционных изображений для такого количества точек просмотра изображения, которое равно количеству точек просмотра, соответствующему блоку 33 отображения мультипроекционных изображений.
Более конкретно, блок 32 объединения точек просмотра идентифицирует мультипроекционные изображения, связанные с параллаксом, для такого количества точек просмотра, которое равно количеству точек просмотра изображения, связанного с параллаксом, из числа мультипроекционных изображений, связанных с параллаксом, и скорректированные мультипроекционные цветные изображения, предоставленные блоком 31 декодирования мультипроекционных изображений, на основе информации идентификации изображения, связанного с параллаксом, содержащейся в информации о формировании точек просмотра. Затем, когда флаг внутреннего параметра, содержащийся в информацию о формировании точек просмотра, указывает наличие внутреннего параметра, блок 32 объединения точек просмотра получает внутренний параметр из информации о формировании точек просмотра. Затем, когда флаг внешнего параметра, содержащийся в информации о формировании точек просмотра, указывает наличие внешнего параметра, блок 32 объединения точек просмотра получает внешний параметр из информации о формировании точек просмотра. Затем блок 32 объединения точек просмотра выполняет процесс деформации для мультипроекционных изображений, связанных с параллаксом, чтобы деформировать мультипроекционное изображение, связанное с параллаксом, в соответствии с точками просмотра изображения на основе внутреннего параметра и внешнего параметра, полученных таким образом, информации о типе изображения и информации о дальности, содержащихся в информации о формировании точек просмотра.
Процесс деформации является процессом, геометрически преобразующим изображение определенной точки просмотра в изображение другой точки просмотра. Точки просмотра изображения содержат точки просмотра, отличные от точек просмотра, соответствующих мультипроекционному цветному изображению.
Блок 32 объединения точек просмотра использует информацию о формировании точек просмотра и изображение, связанное с параллаксом, для точек просмотра изображения, полученных в результате процесса деформации, чтобы выполнить процесс деформации для скорректированных мультипроекционных цветных изображений, предоставленных блоком 31 декодирования мультипроекционного изображения, чтобы деформировать их в соответствии с точками просмотра изображения. Более конкретно, блок 32 объединения точек просмотра идентифицирует мультипроекционные цветные изображения такого количества точек просмотра, которое соответствует количеству точек просмотра цветных изображений из числа скорректированных мультипроекционных цветных изображений и мультипроекционных изображений, связанных с параллаксом, предоставленных блоком 31 декодирования мультипроекционных изображений на основе информации идентификации цветного изображения, содержащейся в информации о формировании точек просмотра. Затем блок 32 объединения точек просмотра использует изображение, связанное с параллаксом, для точек просмотра изображения, полученных в результате процесса деформации, чтобы выполнить процесс деформации для скорректированных мультипроекционных цветных изображений и деформировать их в соответствии с точками просмотра изображения.
Блок 32 объединения точек просмотра подает полученные в результате цветные изображения для точек просмотра изображения, на блок 33 отображения мультипроекционного изображения в качестве цветных изображений, составленных из мультиточек просмотра.
Блок 33 отображения мультипроекционных изображений отображает цветные изображения, составленные из мультиточек просмотра, обеспечиваемых блоком 32 объединения точек просмотра, таким образом, что угол просмотра отличается для каждой точки просмотра. Зритель смотрит изображения двух заданных точек просмотра правым и левым глазами, видя, таким образом, трехмерное изображение, состоящее из многочисленных точек просмотра, не надевая очки.
Процесс деформации глубинного изображения
На фиг.8 представлено объяснение процесса деформации глубинного изображения.
x
y
x
y
z
В процессе деформации глубинного изображения, сначала, как показано на фиг.8, положение m (x, y, z) каждого пикселя глубинного изображения для просмотра в целевом положении t (t, t, tz) связывается через трехмерное пространство с положением m′ (х′, y′, z′) глубинного изображения для точки просмотра изображения в положении t′ (t′, t′, t′), обработанном процессом деформации.
x
y
z
x
y
z
Более конкретно, положение М (X, Y, Z) в реальных координатах, соответствующее положению m (x, y, z) на экране для пикселя, для которого значение глубины (значение y) является значением, соответствующим положению Z (глубина Z) в реальных координатах в направлении глубины в глубинном изображении для точки просмотра в положении t (t, t, t), получается согласно следующему выражению (2), и положение m′ (х′, y′, z′) на экране глубинного изображения для точки просмотра изображения получается в положении t′ (t′, t′, t′), соответствующем положению М (X, Y, Z).
В выражении (2) R является матрицей вращения для преобразования координаты на блоке 11 получения изображений для получения мультипроекционных изображений в реальную координату, и является фиксированной матрицей, определенной заранее. R′ является матрицей вращения преобразования координаты на виртуальном блоке получения изображения для получения цветного изображения, соответствующего глубинному изображению, подвергнутому деформации, в реальные координаты.
В выражении (2) А является матрицей для преобразования координаты на блоке 11 получения изображений для получения мультипроекционных изображений в координату на экране и представляется следующим выражением (3).
[Математическая формула 1]
В выражении (3), focal_length_x, focal_length_y представляют фокусное расстояние блока 11 получения изображений для получения мультипроекционных изображений в горизонтальном направлении и вертикальном направлении (направлении y), соответственно. Следует заметить, что principal_point_x, principal_point_y представляют положения главных точек блока 11 получения изображений для получения мультипроекционных изображений в горизонтальном направлении и вертикальном направлении, соответственно, radial_distortion представляет коэффициент напряжения в направлении радиуса.
Однако, блок 32 объединения точек просмотра не использует в выражении (3) фокусное расстояние в вертикальном направлении и положении главной точки в вертикальном направлении. Коррекция выполняется блоком 12 коррекции мультипроекционных цветных изображений, так чтобы коэффициент деформации в радиальном направлении стал нулевым.
y
z
A′ является матрицей, выраженной таким же образом, что и A, и предназначенной для преобразования координаты виртуального блока получения изображения для получения цветного изображения, соответствующего глубинному изображению, подвергнутому процессу деформации, в координату на экране, и определяется заранее. В выражении (2) s является масштабным коэффициентом и имеет фиксированное значение, определяемое заранее. В этом случае t и t являются фиксированными значениями, определяемыми заранее.
Поэтому информацией, отличной от глубинного изображения, требующейся, чтобы связать положение m (x, y, z) и положение m′ (x′, y′, z′), являются фокусное расстояние в горизонтальном направлении, положении главной точки в горизонтальном направлении, положение блока 11 получения изображений для получения мультипроекционных изображений в горизонтальном направлении, минимальное значение глубины и максимальное значение глубины, требующиеся, чтобы преобразовать значение глубины в положение Z. Такая информация введена в информацию о формировании точек просмотра.
После создания связи, как описано выше, пиксель глубинного изображения, подвергнутого процессу деформации, соответствующий каждому пикселю глубинного изображения цели процесса обработки, определяется на основе положения m′ (x′, y′, z′), соответствующего положению m (х, y, z) каждого пикселя. Затем значение глубины каждого пикселя глубинного изображения цели процесса обработки принимается в качестве значения глубины пикселя обработанного в процессе деформации глубинного изображения, соответствующего пикселю.
Следует заметить, что процесс деформации для параллаксного изображения выполняется таким же образе, как он выполнялся для глубинного изображения, за исключением того, что значение глубины (значение y) заменяется на значение параллакса (значение I).
Процесс, выполняемый устройством декодирования
На фиг.9 представлена блок-схема последовательности выполнения операций процесса декодирования устройством 30 декодирования, показанным на фиг.7. Этот процесс декодирования начинается, например, когда кодированный битовый поток передается от устройства 10 кодирования, показанного на фиг.2.
На этапе S51, показанном на фиг.9, блок 31 декодирования мультипроекционных изображений устройства 30 декодирования принимает кодированный битовый поток, переданный от устройства 10 кодирования, показанного на фиг.2.
На этапе S52 блок 31 декодирования мультипроекционных изображений декодирует принятый кодированный битовый поток и выполняет процесс мультипроекционного декодирования для извлечения информации о формировании точек просмотра. Подробности процесса мультипроекционного декодирования будут объяснены со ссылкой на фиг.10, рассмотренный позже.
На этапе S53 блок 32 объединения точек просмотра функционирует как блок формирования и формирует цветное изображение, составленное из мультиточек просмотра, используя информацию о формировании точек просмотра, предоставленную блоком 31 декодирования мультипроекционного изображения, скорректированные мультипроекционные цветные изображения и мультипроекционное изображение, связанное с параллаксом.
На этапе S54 блок 33 отображения мультипроекционного изображения отображает цветное изображение, составленное из мультиточек просмотра, предоставленное блоком 32 объединения точек просмотра, таким образом, что угол просмотра различен для разных точек просмотра, и прекращает процесс.
На фиг.10 представлена подробная блок-схема последовательности выполнения операций процесса мультипроекционного декодирования, показанного на этапе S52 на фиг.9. Этот процесс мультипроекционного декодирования выполняется, например, в блоках слоев. В процессе мультипроекционного декодирования, показанном на фиг.10, изображениями для цели декодирования являются цветное изображение A, цветное изображение B, изображение A, связанное с параллаксом, и изображение B, связанное с параллаксом.
На этапе S71, представленном на фиг.10, блок 31 декодирования мультипроекционных изображений извлекает SPS из принятого кодированного битового потока. На этапе S72 блок 31 декодирования мультипроекционных изображений извлекает субнабор Subset SPS из кодированного битового потока. На этапе S73 блок 31 декодирования мультипроекционных изображений извлекает PPS из кодированного битового потока.
На этапе S74 блок 31 декодирования мультипроекционных изображений извлекает SEI из кодированного битового потока и предоставляет информацию о формировании точек просмотра, содержащуюся в SEI, на блок 32 объединения точек просмотра.
На этапе S75 на основе ID PPS, содержащегося в заголовке целевого слоя цветного изображения A, блок 31 декодирования мультипроекционных изображений активирует PPS, которому назначается ID. На этапе S76 на основе ID SPS, содержащегося в PPS и активированного на этапе S75, блок 31 декодирования мультипроекционных изображений активирует SPS, которому назначается ID.
На этапе S77 блок 31 декодирования мультипроекционных изображений ищет активированные PPS и SPS и декодирует целевой слой цветного изображения A как основной точки просмотра и подает его на блок 32 объединения точек просмотра.
На этапе S78, на основе ID субнабора Subset SPS, содержащегося в PPS и активированного, блок 31 декодирования мультипроекционных изображений активирует субнабор Subset SPS, которому назначается ID. На этапе S79 блок 31 декодирования мультипроекционных изображений ищет активированные PPS и Subset SPS и декодирует целевой слой изображения, связанного с параллаксом, как неосновную проекцию и подает его на блок 32 объединения точек просмотра.
На этапе S80 блок 31 декодирования мультипроекционных изображений ищет активированные PPS и Subset SPS и декодирует целевой слой цветного изображения B в качестве неосновной точки просмотра и подает его на блок 32 объединения точек просмотра. На этапе S81 блок 31 декодирования мультипроекционных изображений ищет активированные PPS и Subset SPS и декодирует целевой слой изображения B, связанного с параллаксом, в качестве неосновной точки просмотра, и подает его на блок 32 объединения точек просмотра. Затем процесс на этапе S52 на фиг.9 выполняется снова и далее выполняется этап S53.
В процессе мультипроекционного декодирования, показанного на фиг.10, для простоты объяснения SPS, Subset SPS, PPS и SEI считаются формируемыми для всех слоев и выполненными с возможностью извлечения в любое время для каждого слоя, но когда существует слой, для которой SPS, Subset SPS, PPS и SEI не формируются, процесс извлечения SPS, Subset SPS, PPS и SEI игнорируется.
Как описано выше, устройство 30 декодирования принимает от устройства 10 кодирования цветное изображение заданной точки просмотра и изображение, связанное с параллаксом, а также информацию о формировании точек просмотра. Поэтому устройство 30 декодирования может использовать цветное изображение заданной точки просмотра, изображение, связанное с параллаксом, и информацию о формировании точек просмотра, чтобы сформировать цветное изображение точки просмотра, отличное от заданной точки просмотра.
Напротив, битовый поток, кодированный согласно способу MVC, который является обычным способом кодирования, не содержит необходимую информацию для формирования цветного изображения точки просмотра, отличной от заданной точки просмотра, используя цветное изображение заданной точки просмотра и изображение, связанное с параллаксом. Более конкретно, он не содержит информацию для идентификации цветного изображения и изображения, связанное с параллаксом, информацию для идентификации параллаксного изображения и глубинного изображения и информацию о дальности.
Информация SEI о получении мультиточек просмотра, как показано на фиг.1, содержит параметры для внутренней части камеры и параметры снаружи камеры, но содержит много ненужной информации, помимо информации о формировании точек просмотра. Дополнительно, в информации SEI о получении мультиточек просмотра параметры для внутренней части камеры описываются для всех точек просмотра или только для отдельных точек просмотра, независимо от типов параметров. Поэтому, когда параметры для внутренней части камеры описываются для всех точек просмотра, такое описание содержит много избыточной информации, а когда описываются параметры только для отдельных точек просмотра, такая информация недостаточна. В информации SEI о получении мультиточек просмотра параметры снаружи камеры описываются для всех точек просмотра и поэтому содержат много избыточной информации.
В устройстве 10 кодирования мультипроекционное изображение, связанное с параллаксом, формируется из скорректированного мультипроекционного цветного изображения, но может формироваться датчиками, обнаруживающими значение параллакса и значение глубины во время процесса получения изображения для мультипроекционного цветного изображения. Это применимо к устройству 50 кодирования, объясняемому позже.
Информация о формировании точек просмотра может содержать информацию идентификации цветного изображения или информацию идентификации изображения, связанного с параллаксом. В этом случае, устройство 30 декодирования идентифицирует как изображение, которое не идентифицировано, мультипроекционное цветное изображение или мультипроекционное изображение, связанное с параллаксом, которое не идентифицировано. Например, информация о формировании точек просмотра содержит только информацию идентификации цветного изображения, устройство 30 декодирования идентифицирует мультипроекционное цветное изображение на основе информации идентификации цветного изображения и определяет, что изображения, отличные от этого, являются мультипроекционными изображениями, связанными с параллаксом.
В первом варианте осуществления информация о формировании точек просмотра передается в SEI. Альтернативно, информация о формировании точек просмотра может быть введена в VCL (Video Coding Layer, уровень видеокодирования), SPS (Sequence Parameter Set, набор параметров последовательности) и PPS (Picture Parameter Set, набор параметров изображения) для NAL (Network Abstraction Layer, сетевой уровень абстракции) и т.п.
Второй вариант осуществления
Пример конфигурации второго варианта осуществления устройства кодирования
На фиг.11 представлена блок-схема примера конфигурации второго варианта осуществления устройства кодирования, служащего устройством обработки изображений, к которому применяется настоящий способ.
Устройство 50 кодирования, показанное на фиг.11, содержит блок 51 получения изображений для получения мультипроекционных изображений, блок 52 коррекции мультипроекционных цветных изображений, блок 53 формирования мультипроекционных изображений, связанных с параллаксом, блок 54 формирования для формирования информации о формировании точек просмотра и блок 55 кодирования мультипроекционных изображений. Устройство 50 кодирования передает фрагмент информации о формировании точек просмотра как информацию о кодировании (параметр кодирования).
Более конкретно, блок 51 получения изображений для получения мультипроекционных изображений устройства 10 кодирования получает цветные изображения многочисленных точек просмотра и передает их в качестве мультипроекционных цветных изображений на блок 52 коррекции мультипроекционных цветных изображений. Блок 51 получения изображений для получения мультипроекционных цветных изображений формирует внешний параметр, максимальное значение, связанное с параллаксом, (максимальное значение глубины) и минимальное значение, связанное с параллаксом, (минимальное значение глубины) (подробности которых будут объяснены позже). Блок 51 получения изображений для получения мультипроекционных изображений подает внешний параметр, максимальное значение, связанное с параллаксом, и минимальное значение, связанное с параллаксом, на блок 54 формирования информации о формировании точек просмотра, и подает максимальное значение, связанное с параллаксом, и минимальное значение, связанное с параллаксом, на блок 53 формирования мультипроекционных изображений, связанных с параллаксом.
Когда изображение, связанное с параллаксом, формируемое блоком 53 формирования мультипроекционных изображений, связанных с параллаксом, является глубинным изображением, максимальное значение, связанное с параллаксом, является максимальным значением глубины, а когда это параллаксное изображение, то максимальное значение, связанное с параллаксом, является максимальным значением параллакса. Когда изображение, связанное с параллаксом, сформированное блоком 53 формирования мультипараллаксного изображения, связанного с параллаксом, является глубинным изображением, то минимальное значение, связанное с параллаксом, является минимальным значением глубины, а когда это параллаксное изображение, то минимальное значение, связанное с параллаксом, является минимальным значением параллакса.
Блок 52 коррекции мультипроекционных цветных изображений выполняет коррекцию цвета, коррекцию яркости, коррекцию искажений и т.п. для мультипроекционных цветных изображений, подаваемых от блока 51 получения изображений для получения мультипроекционного цветного изображения. Соответственно, фокусное расстояние блока 51 получения изображения для получения мультипроекционных цветных изображений в скорректированном мультипроекционном цветном изображении в горизонтальном направлении (направлении X) является одним и тем же для всех точек просмотра. Блок 52 коррекции мультипроекционных цветных изображений подает скорректированное мультипроекционное цветное изображение на блок 53 формирования мультипроекционных изображений, связанных с параллаксом, и на блок 55 кодирования мультипроекционных изображений в качестве скорректированных мультипроекционных цветных изображений.
На основе максимального значения, связанного с параллаксом, и минамального значения, связанного с параллаксом, поданных от блока 51 получения изображения для получения мультипроекционных цветных изображений, блок 53 формирования мультипроекционных изображений, связанных с параллаксом, формирует изображения, связанные с параллаксом, для многочисленных точек просмотра из скорректированных мультипроекционных цветных изображений, подаваемых от блока 52 коррекции мультипроекционных цветных изображений. Более конкретно, блок 53 формирования мультипроекционных изображений, связанных с параллаксом, получает значение, связанное с параллаксом, которое еще не было нормализовано в каждом пикселе (обратная значение 1/Z глубины Z или параллакс d), из скорректированного мультипроекционного цветного изображения для каждой точки просмотра из числа многочисленных точек просмотра и нормализует значение, связанное с параллаксом, которое еще не было нормализовано на основе максимального значения, связанного с параллаксом, и минимального значения, связанного с параллаксом. Затем блок 53 формирования мультипроекционных изображений, связанных с параллаксом формирует изображение, связанное с параллаксом, в котором значение, связанное с параллаксом, (значение y, значение I) каждого нормализованного пикселя является пиксельным значением пикселя изображения, связанного с параллаксом, для каждой точки просмотра из числа многочисленных точек просмотра.
Затем блок 53 формирования мультипроекционных изображений, связанных с параллаксом, подает сформированные изображения, связанные с параллаксом, для многочисленных точек просмотра на блок 55 кодирования мультипроекционных изображений в качестве мультипроекционных изображений, связанных с параллаксом. Дополнительно, блок 53 формирования мультипроекционных изображений, связанных с параллаксом, формирует параметр точности параллакса (параметр точности глубины), представляющий точность пиксельного значения мультипроекционных изображений, связанных с параллаксом, и подает параметр точности параллакса на блок 54 формирования информации о формировании точек просмотра.
Блок 54 формирования информации о формировании точек просмотра функционирует как блок формирования и использует скорректированное мультипроекционное цветное изображение и мультипроекционное изображение, связанное с параллаксом, для формирования информации о формировании точек просмотра в соответствии с заданным способом формирования цветного изображения другой точки просмотра. Более конкретно, блок 54 формирования информации о формировании точек просмотра получает межкамерное расстояние на основе внешних параметров, предоставленных блоком 51 получения изображений для получения мультипроекционных цветных изображений. Межкамерное расстояние является расстоянием между положением блока 51 получения изображений для получения мультипроекционных цветных изображений в горизонтальном направлении, когда блок 51 получения изображений для получения мультипроекционных цветных изображений получает цветное изображение в каждой точки просмотра мультипроекционных изображений, связанных с параллаксом, и положением блока 51 получения изображений для получения мультипроекционных цветных изображений в горизонтальном направлении, когда блок 51 получения изображений для мультипроекционных цветных изображений получает цветное изображение, имеющее параллакс, соответствующий изображению, связанному с параллаксом, относительно цветного изображения, полученного таким образом.
Блок 54 формирования информации о формировании точек просмотра принимает в качестве информации о формировании точек просмотра максимальное значение, связанное с параллаксом, и минимальное значение, связанное с параллаксом, подаваемые блоком 51 получения изображений для получения мультипроекционных цветных изображений, межкамерное расстояние и параметр точности параллакса, предоставляемые блоком 53 формирования мультипроекционных изображений, связанных с параллаксом. Блок 54 формировании информации о формировании точек просмотра подает сформированную информацию о формировании точек просмотра на блок 55 кодирования мультипроекционных изображений.
Блок 55 кодирования мультипроекционных изображений функционирует как блок кодирования и кодирует скорректированное мультипроекционное цветное изображение, предоставленное блоком 52 коррекции мультипроекционных цветных изображений, и мультипроекционное изображение, связанное с параллаксом, предоставленное блоком 53 формирования мультипроекционных изображений, связанных с параллаксом, в соответствии со способом HEVC (High Efficiency Video Coding, видеокодирование высокой эффективности). В августе 2011 г. документ ″WD3: Working Draft3 of High-Efficiency Video Coding″, JCTVC-E603_d5 (version 5), May 20, 2011, авторов Thomas Wiegand, Woo-jin Han, Benjamin Bross, Jens-Rainer Ohm, Gary J. Sullivian был выпущен как проект в отношении способа HEVC.
Блок 55 кодирования мультипроекционных изображений выполняет разностное кодирование для максимального значения, связанного с параллаксом, минимального значения, связанного с параллаксом, и межкамерного расстояния, содержащихся в информации о формировании точек просмотра, предоставленной блоком 54 формировании информации о формировании точек просмотра и обеспечивает введение такой информации в информацию о кодировании мультипроекционных изображений, связанных с параллаксом. Затем блок 55 кодирования мультипроекционных изображений передает в качестве кодированного битового потока битовый поток, содержащий скорректированные мультипроекционные цветные изображения и мультипроекционное изображение, связанное с параллаксом, которые кодированы, максимальное значение, связанное с параллаксом, и минимальное значение, связанное с параллаксом, которые кодированы по разности, информацию о кодировании, содержащую межкамерное расстояние, параметр точности параллакса, предоставленный блоком 54 формирования информации о формировании точек просмотра, и т.п.
Как описано выше, блок 55 кодирования мультипроекционных изображений кодирует разность и передает максимальное значение, связанное с параллаксом, минимальное значение, связанное с параллаксом, и межкамерное расстояние и поэтому может уменьшить объем кодов информации о формировании точек просмотра. Чтобы без напряжения обеспечить трехмерное изображение, максимальное значение, связанное с параллаксом, минимальное значение, связанное с параллаксом и межкамерное расстояние между изображениями, вероятно, не должны значительно изменяться, и поэтому разностное кодирование эффективно для снижения объема кодов.
Информация о формировании точек просмотра
Фиг.12 служит для объяснения максимального значения, связанного с параллаксом, и минимального значения, связанного с параллаксом, в информации о формировании точек просмотра.
На фиг.12 по горизонтальной оси откладывается значение, связанное с параллаксом, которая не нормализовано, и по вертикальной оси откладывается пиксельное значение изображения, связанного с параллаксом (информация о глубине).
Как показано на фиг.12, блок 53 формирования мультипроекционных изображений, связанных с параллаксом, нормализует ненормализованное значение, связанное с параллаксом, для каждого пикселя (обратное значение 1/Z глубины Z или параллакс d), например, в значение от 0 до 255, используя минимальное значение Dmin, связанное с параллаксом, и максимальное значение Dmax, связанное с параллаксом. Затем блок 53 формирования мультипроекционных изображений, связанных с параллаксом, формирует изображение, связанное с параллаксом, в котором нормализованное значение, связанное с параллаксом, для каждого пикселя, которое является любым из значений от О до 255 (информация о глубине), является пиксельным значением.
min
max
Более конкретно, как описано выше, пиксельное значение I каждого пикселя в изображении, связанном с параллаксом, представляется следующим выражением (4), использующим ненормализованное значение d, связанное с параллаксом, (параллакс d), минимальное значение D, связанное с параллаксом, и максимальное значение D, связанное с параллаксом, для этого пикселя.
[Математическая формула 2]
min
max
Поэтому в устройстве декодирования, объясняемом позже, необходимо получить ненормализованное значение, связанное с параллаксом, d из пиксельного значения I каждого пикселя в изображении, связанном с параллаксом, в соответствии со следующим выражением (5), использующим минимальное значение, связанное с параллаксом D, и максимальное значение D, связанное с параллаксом.
[Математическая формула 3]
near
far
near
far
Более конкретно, как описано выше, пиксельное значение каждого пикселя в изображении, связанном с параллаксом, представляется выражением (с), использующим ненормализованное значение Z, связанное с параллаксом, (параллакс Z), минимальное значение Z, связанное с параллаксом, и максимальное значение Z, связанное с параллаксом, для этого пикселя. Поэтому, в устройстве декодирования, объясняемом позже, необходимо получить значение Z, связанное с параллаксом, из пиксельного значения y каждого пикселя в изображении, связанном с параллаксом, используя параллакс минимальное значение Z, связанное с параллаксом, и максимальное значение Z, связанное с параллаксом. Соответственно, минимальное значение, связанное с параллаксом, и максимальное значение, связанное с параллаксом, передаются на устройство декодирования.
На фиг.13 приводится чертеж, объясняющий параметр точности параллакса для информации о формировании точек просмотра.
Как показано в верхней части фиг.13, когда ненормализованное значение, связанное с параллаксом, (обратное значение 1/Z глубины Z или параллакс d), приходящееся на нормализованное значение, связанное с параллаксом, (информация о глубине) равно 0,5, параметр точности параллакса равен 0,5, что является точностью нормализованного значения, связанного с параллаксом, (информация о глубине). Как показано в нижней части фиг.13, когда ненормализованное значение, связанное с параллаксом, приходящееся на нормализованное значение, связанное с параллаксом, равно единице, параметр точности параллакса равен 1,0, что является точностью значения, связанного с параллаксом.
В примере на фиг.13 ненормализованное значение, связанное с параллаксом, для точки просмотра №1 в первой точки просмотра равно 1,0, и ненормализованное значение, связанное с параллаксом для точки просмотра №2 во второй точки просмотра равно 0,5. Поэтому нормализованное значение, связанное с параллаксом, для точки просмотра №1 равно 1,0, даже при том, что точность значения, связанного с параллаксом, равна 0,5 или 1,0. С другой стороны, значение, связанное с параллаксом, для точки просмотра №2 равно 0,5, даже если точность значения, связанного с параллаксом, равна 0,5, и значение, связанное с параллаксом, для точки просмотра №2 равно 0, даже при том, что точность значения, связанного с параллаксом, равна 1,0.
На фиг.14 представлен чертеж, объясняющий межкамерное расстояние для информации о формировании точек просмотра.
Как показано на фиг.14, межкамерное расстояние изображения, связанного с параллаксом, для точки просмотра №1 относительно точки просмотра №2 является расстоянием между положением, представленным внешним параметром точки просмотра №1, и положением, представленным внешним параметром точки просмотра №2.
Пример конфигурации блока кодирования мультипроекционных изображений
На фиг.15 представлена блок-схема примера конфигурации блока 55 кодирования мультипроекционных изображений, показанного на фиг.11.
Блок 55 кодирования мультипроекционных изображений, показанный на фиг.15, содержит блок 61 кодирования слоев, блок 62 кодирования заголовков слоев, блок 63 кодирования PPS и блок 64 кодирования SPS.
Блок 61 кодирования слоев из состава блока 55 кодирования мультипроекционных изображений кодирует скорректированное мультипроекционное цветное изображение, поданное блоком 52 коррекции мультипроекционных цветных изображений, и мультипроекционное изображение, связанное с параллаксом, поданное блоком 53 формирования мультипроекционных изображение, связанных с параллаксом, в соответствии со способом HEVC в блоках слоев. Блок 61 кодирования слоев подает на блок 62 кодирования заголовков слоев кодированные данные в блоках слоев, полученных в результате кодирования.
Блок 62 кодирования заголовков слоев определяет, что максимальное значение, связанное с параллаксом, минимальное значение, связанное с параллаксом, и межкамерное расстояние в информации о формировании точек просмотра, предоставленной блоком 54 формирования информации о формировании точек просмотра, являются максимальным значением, связанным с параллаксом, минимальным значением, связанным с параллаксом, и межкамерным расстоянием слоя текущей цели обработки, и удерживает их.
Блок 62 кодирования заголовков слоев также определяет, являются ли максимальное значение, связанное с параллаксом, минимальное значение, связанное с параллаксом, и межкамерное расстояние слоя текущей цели обработки теми же самыми, что и максимальное значение, связанное с параллаксом, минимальное значение, связанное с параллаксом, и межкамерное расстояние предыдущего слоя по порядку кодирования относительно слоя, и это определение делается в блоке, которому назначается тот же самый PPS (именуемый в дальнейшем как ″тот же самый блок PPS″).
Затем, когда все такие значения как максимальное значение, связанное с параллаксом, минимальное значение, связанное с параллаксом, и межкамерное расстояние слоя, составляющие тот же самый блок PPS, определены как те же самые, что и максимальное значение, связанное с параллаксом, минимальное значение, связанное с параллаксом, и межкамерное расстояние предыдущего слоя по порядку кодирования, блок 62 кодирования заголовков слоев добавляет информацию о кодировании, отличную от максимального значения, связанного с параллаксом, минимального значения, связанного с параллаксом, и межкамерного расстояния этого слоя, как заголовок слоя кодированных данных каждого слоя, составляющего тот же самый блок PPS, и предоставляет информацию блоку 63 кодирования PPS. Блок 62 кодирования заголовков слоев подает на блок 63 кодирования PPS флаг передачи, указывающий отсутствие передачи результатов кодирования разности максимального значения, связанного с параллаксом, минимального значения, связанного с параллаксом, и межкамерного расстояния.
С другой стороны, когда все такие значения как максимальное значение, связанное с параллаксом, минимальное значение, связанное с параллаксом, и межкамерное расстояние по меньшей мере одного слоя, составляющего тот же самый блок PPS, определены как не являющиеся теми же самыми, что и максимальное значение, связанное с параллаксом, минимальное значение, связанное с параллаксом, и межкамерное расстояние предыдущего слоя по порядку кодирования, блок 62 кодирования заголовков слоев добавляет информацию о кодировании, содержащую максимальное значение, связанное с параллаксом, минимальное значение, связанное с параллаксом, и межкамерного расстояния этого слоя, как заголовок слоя, в кодированные данные слоя внутреннего типа и предоставляет информацию блоку 63 кодирования PPS.
Блок 62 кодирования заголовка слоя выполняет кодирование разности для максимального значения, связанного с параллаксом, минимального значения, связанного с параллаксом, и межкамерного расстояния слоя промежуточного типа. Более конкретно, блок 62 кодирования заголовка слоя вычитает максимальное значение, связанное с параллаксом, минимальное значение, связанное с параллаксом, и межкамерное расстояние для предыдущего слоя по порядку кодирования в отношении слоя, из максимального значения, связанного с параллаксом, минимального значения, связанного с параллаксом, и межкамерного расстояния слоя промежуточного типа, соответственно, и получает результат как кодированную разность. Затем, блок 62 кодирования заголовков слоев добавляет информацию о кодировании, содержащую результат кодирования разности максимального значения, связанного с параллаксом, минимального значения, связанного с параллаксом и межкамерного расстояния в качестве заголовка слоя к кодированным данным слоя промежуточного типа, и предоставляет информацию на блок 63 кодирования PPS.
В этом случае, блок 62 кодирования заголовков слоев подает на блок 63 кодирования PPS флаг передачи, указывающий присутствие передачи результатов кодированной разности максимального значения, связанного с параллаксом, минимального значения, связанного с параллаксом, и межкамерного расстояния.
Блок 63 кодирования PPS формирует PPS, содержащий флаг передачи, поданный от блока 62 кодирования заголовков слоев, и параметр точности параллакса, содержащийся в информации о формировании точек просмотра, поданной от блока 54 формирования информации о формировании точек просмотра, показанного на фиг.11. Блок 63 кодирования PPS добавляет, в том же самом блоке PPS, PPS к кодированным данным в блоках слоев, к которым добавляется заголовок слоя, подаваемый от блока 62 кодирования заголовка слоя, и подает все это на блок 64 кодирования SPS.
Блок 64 кодирования SPS формирует SPS. Затем блок 64 кодирования SPS добавляет, в блоках последовательностей, SPS к кодированным данным, к которым добавляется PPS, поданный от блока 63 кодирования PPS. Блок 64 кодирования SPS передает, в качестве кодированного битового потока, битовый поток, полученный в результате этого.
Пример конфигурации кодированного битового потока
На фиг.16 показан пример конфигурации кодированного битового потока.
На фиг.16, для ясности, описываются только кодированные данные слоя мультипроекционных изображений, связанных с параллаксом. Но в действительности, кодированный битовый поток также имеет кодированные данные слоя мультипроекционного цветного изображения.
В примере, показанном на фиг.16, максимальное значение, связанное с параллаксом, минимальное значение, связанное с параллаксом, и межкамерное расстояние двух слоев промежуточного типа и одного типа промежуточного типа, составляющих один и тот же самый блок PPS для PPS №0, который является нулевым PPS, являются не теми же самыми, что и максимальное значение, связанное с параллаксом, минимальное значение, связанное с параллаксом, и межкамерное расстояние, соответственно, для предыдущего слоя по порядку кодирования. Поэтому, PPS №0 содержит флаг ″1″ передачи, указывающий присутствие передачи. В примере, показанном на фиг.16, точность параллакса слоя, составляющего тот же самый блок PPS PPS №0, равна 0,5, и PPS №0 содержит ″1″, представляющую точность параллакса 0,5 в качестве параметра точности параллакса.
Дополнительно, в примере, показанном на фиг.16, минимальное значение, связанное с параллаксом, для слоя промежуточного типа, составляющего тот же самый блок PPS, PPS №0, равно 10, и максимальное значение, связанное с параллаксом, для того же слоя равно 50 и межкамерное расстояние для него равно 100. Поэтому, зоголовок слоя содержит минимальное значение ″10″, связанное с параллаксом, максимальное значение ″50″, связанное с параллаксом, и межкамерное расстояние ″100″.
В примере, показанном на фиг.16, минимальное значение, связанное с параллаксом, для первого слоя промежуточного типа, составляющего тот же самый блок PPS, PPS №0, равно 9, и максимальное значение, связанное с параллаксом, для этого же слоя равно 48, и межкамерное расстояние для него равно 105. Поэтому, заголовок для слоя содержит в качестве результата кодирования разности для минимального значения, связанного с параллаксом, разность ″-1″, которая получается, вычитая минимальное значение ″10″, связанное с параллаксом, для слоя промежуточного типа, который расположен перед слоем по порядку кодирования, из минимального значения ″9″, связанного с параллаксом, для слоя. Аналогично, разность ″-2″ для максимального значения, связанного с параллаксом, вводится как результат кодирования разности для максимального значения, связанного с параллаксом, и разность ″5″ для межкамерного расстояния вводится как результат кодирования разности для межкамерного расстояния.
Дополнительно, в примере, показанном на фиг.16, минимальное значение, связанное с параллаксом для второго слоя промежуточного типа, составляющего тот же самый блок PPS, PPS №0, равно 7, и максимальное значение, связанное с параллаксом, для этого слоя равно 47 и межкамерное расстояние для него равно 110. Поэтому, заголовок для слоя содержит в качестве результата кодирования разности для минимального значения, связанного с параллаксом, разность ″-2″, которая получается, вычитая минимальное значение ″9″, связанное с параллаксом, для первого слоя промежуточного типа, который расположен перед слоем по порядку кодирования, из минимального значения ″7″, связанного с параллаксом, для слоя. Аналогично, разность ″-1″ для максимального значения, связанного с параллаксом, вводится как результат кодирования разности для максимального значения, связанного с параллаксом, и разность ″5″ для межкамерного расстояния вводится как результат кодирования разности для межкамерного расстояния.
В примере, показанном на фиг.16, максимальное значение, связанное с параллаксом, минимальное значение, связанное с параллаксом, и межкамерное расстояние двух слоев промежуточного типа и одного слоя внутреннего типа, составляющих один и тот же самый блок PPS, PPS №1, который является первым PPS, являются теми же самыми, что и максимальное значение, связанное с параллаксом, минимальное значение, связанное с параллаксом, и межкамерное расстояние, соответственно, предыдущей слоя по порядку кодирования. Более конкретно, максимальное значение, связанное с параллаксом, минимальное значение, связанное с параллаксом, и межкамерное расстояние двух слоев промежуточного типа и одного слоя внутреннего типа, составляющих тот же самый блок PPS, PPS №1, который является первым PPS, равны ″7″, ″47″ и ″110″, соответственно, которые являются теми же самыми, что и значения для второго слоя промежуточного типа, составляющие тот же самый блок PPS, PPS №0. Поэтому, PPS №1 содержит флаг ″0″ передачи, указывающий отсутствие передачи. В примере, показанном на фиг.16, точность параллакса слоя, составляющего тот же самый блок PPS, PPS №1, равна 0,5, и PPS №1 содержит ″1″, представляющую точность параллакса 0,5 как параметр точности параллакса.
Пример синтаксиса PPS
На фиг.17 представлен пример синтаксиса PPS, показанного на фиг.16.
Как показано на фиг.17, PPS содержит параметр точности параллакса (dispsarity_precision) и флаг передачи (disparity_pic_same_flag). Например, параметр точности параллакса равен ″0″, когда он указывает точность параллакса (точность информации о глубине), равную 1, и параметр точности параллакса ″2″, когда он указывает точность параллакса (точность информации о глубине), равную 0,25. Как описано выше, параметр точности параллакса равна ″1″, когда он указывает точность параллакса (точность информации о глубине), равную 0,5. Как описано выше, флаг передачи равен ″1″, когда он указывает наличие передачи, и флаг передачи равен ″0″, когда он указывает отсутствие передачи.
Пример синтаксиса заголовка слоя
На фиг.18 и 19 показаны примеры синтаксиса заголовка слоя.
Как показано на фиг.19, когда флаг передачи равен 1 и типом слоя является промежуточный тип, заголовок слоя содержит минимальное значение, связанное с параллаксом (minimum_dispsarity), максимальное значение, связанное с параллаксом, (maximum_dispsarity) и межкамерное расстояние (translation_x).
С другой стороны, когда флаг передачи равен 1 и типом слоя является промежуточный тип, заголовок слоя содержит результат кодирования разности минимального значения, связанного с параллаксом, (delta_minimum_dispsarity), результат кодирования разности максимального значения, связанного с параллаксом, (delta_maximum_dispsarity) и результат кодирования разности межкамерного расстояния (delta_translation_x).
Процесс обработки в устройстве кодирования
На фиг.20 представлена блок-схема последовательности выполнения операций процесса, выполняемого устройством 50 кодирования, показанным на фиг.11.
На этапе S111, показанном на фиг.20, блок 51 получения изображений для получения мультипроекционных изображений, входящий в устройство 50 кодирования цветных изображений, получает многочисленные точки просмотра и подает их в качестве мультипроекционных цветных изображений на блок 52 коррекции мультипроекционных цветных изображений.
На этапе S112 блок 51 получения мультипроекционных цветных изображений формирует максимальное значение, связанное с параллаксом, минимальное значение, связанное с параллаксом, и внешний параметр. Блок 51 получения изображений для получения мультипроекционных цветных изображений подает максимальное значение, связанное с параллаксом, минимальное значение, связанное с параллаксом, и внешний параметр на блок 54 формирования информации о формировании точек просмотра и подает максимальное значение, связанное с параллаксом, и минимальное значение, связанное с параллаксом, на блок 53 формирования изображений.
На этапе S113 блок 52 коррекции мультипроекционных цветных изображений выполняет коррекцию цвета, коррекцию яркости, коррекцию искажений и т.п. для мультипроекционных цветных изображениях, поданных от блока 51 получения изображений для получения мультипроекционных цветных изображений. Соответственно, фокусное расстояние блока 51 получения изображений для получения мультипроекционных цветных изображений в скорректированном мультипроекционном цветном изображении в горизонтальном направлении (направлении X) является одним и тем же во всех проекциях. Блок 52 коррекции мультипроекционных цветных изображений подает скорректированное мультипроекционное цветное изображение на блок 53 формирования мультипроекционных изображений, связанных с параллаксом, и на блок 55 кодирования мультипроекционных изображений в качестве скорректированного мультипроекционного цветного изображения.
На этапе S114 на основе максимального значения, связанного с параллаксом, и минимального значения, связанного с параллаксом, полученных от блока 51 получения изображений для получения мультипроекционных цветных изображений, блок 53 формирования мультипроекционных изображений, связанных с параллаксом, формирует мультипроекционные изображения, связанные с параллаксом, из скорректированных мультипроекционных цветных изображений, поданных от блока 52 коррекции мультипроекционных цветных изображений. Затем блок 53 формирования мультипроекционных изображений, связанных с параллаксом, подает сформированные изображения, связанные с параллаксом, для многочисленных точек просмотра на блок 55 кодирования мультипроекционных изображений в качестве мультипроекционных изображений, связанных с параллаксом.
На этапе S115 блок 53 формирования мультипроекционных изображений, связанных с параллаксом, формирует параметры точности параллакса и подает параметры точности параллакса на блок 54 формирования информации о формировании точек просмотра.
На этапе S116 блок 54 формирования информации о формировании точек просмотра получает межкамерное расстояние на основе внешних параметров, поданных от блока 51 получения изображений для получения мультипроекционных изображений.
На этапе S117 блок 54 формирования информации о формировании точек просмотра формирует в качестве информации о формировании точек просмотра максимальное значение, связанное с параллаксом, и минимальное значение, связанное с параллаксом, поданные блоком 51 получения изображений для получения мультипроекционных изображений, межкамерное расстояние и параметр точности параллакса, поданные от блока 53 формирования мультипроекционных изображений, связанных с параллаксом. Блок 54 формирования информации о формировании точек просмотра подает сформированную информацию о формировании точек просмотра на блок 55 кодирования мультипроекционных изображений.
На этапе S118 блок 55 кодирования мультипроекционных изображений выполняет процесс мультипроекционного кодирования, чтобы кодировать скорректированное мультипроекционное цветное изображение, поданное от блока 52 коррекции мультипроекционных цветных изображений, и мультипроекционное изображение, связанное с параллаксом, поданное от блока 53 формирования изображений, в соответствии со способом HEVC. Подробности процесса мультипроекционного кодирования будут объяснены со ссылкой на фиг.21, объясняемый позже.
На этапе S119 блок 55 кодирования мультипроекционных изображений передает кодированный битовый поток, полученный в результате процесса мультипроекционного кодирования, и прекращает процесс.
На фиг.21 представлена блок-схема последовательности выполнения операций процесса мультипроекционного кодирования на этапе S118, показанном на фиг.20.
На этапе S131, показанном на фиг.21, блок 61 кодирования слоев, входящий в состав блока 55 кодирования мультипроекционных изображений (фиг.15), кодируют скорректированное мультипроекционное цветное изображение, поданное от блока 52 коррекции мультипроекционных цветных изображений, и мультипроекционное изображение, связанное с параллаксом, поданное от блока 53 формирования мультипроекционных изображений, связанных с параллаксом, в соответствии со способом HEVC в блоках слоев. Блок 61 кодирования слоев подает на блок 62 кодирования заголовков слоев кодированные данные в блоках слоев, полученных в результате кодирования.
На этапе S132 блок кодирования заголовка слоя 62 определяет, что максимальное значение, связанное с параллаксом, минимальное значение, связанное с параллаксом, и межкамерное расстояние в информации о формировании точек просмотра, предоставленной блоком 54 формирования информации о формировании точек просмотра, являются максимальным значением, связанным с параллаксом, минимальным значением, связанным с параллаксом, и межкамерным расстоянием слоя текущей цели обработки, и удерживает их.
На этапе S133 блок 62 кодирования заголовка определяет, являются ли максимальное значение, связанное с параллаксом, минимальное значение, связанное с параллаксом, и межкамерное расстояние для всех слоев, образующих один и тот же самый блок PPS, тем же самым, что и максимальное значение, связанное с параллаксом, минимальное значение, связанное с параллаксом, и межкамерное расстояние для предыдущего слоя по порядку кодирования относительно слоя.
Когда межкамерное расстояние, максимальное значение, связанное с параллаксом, и минимальное значение, связанное с параллаксом, определены на этапе S133 как те же самые, блок 62 кодирования заголовков слоев формирует флаг передачи, указывающий отсутствие передачи результатов кодированной разности для максимального значения, связанного с параллаксом, минимального значения, связанного с параллаксом, и межкамерного расстояния и на этапе S134 подает его на блок 63 кодирования PPS.
На этапе S135 блок 62 кодирования заголовков слоев добавляет в качестве заголовка слоя информацию о кодировании, отличную от межкамерного расстояния, максимального значения, связанного с параллаксом, и минимального значения, связанного с параллаксом, этого слоя, к кодированным данным каждого слоя, составляющего один и тот же блок PPS, который является целью обработки на этапе S133. Затем блок 62 кодирования заголовка слоя подает на блок 63 кодирования PPS кодированные данные каждого из слоев, составляющих тот же самый блок PPS полученный в результате, и переходит к процессу на этапе S140.
С другой стороны, когда межкамерное расстояние, максимальное значение, связанное с параллаксом, и минимальное значение, связанное с параллаксом, определены на этапе S133 как не одни и те же, блок 62 кодирования заголовка слоя формирует флаг передачи, указывающий наличие передачи результатов кодирования разности для максимального значения, связанного с параллаксом, минимального значения, связанного с параллаксом, и межкамерного расстояния, и на этапе S136 подает его на блок 63 кодирования PPS. Процесс обработки на этапах S137-S139 объясняемый позже, выполняется для каждой из слоев, составляющих один и тот же блок PPS, являющийся целью обработки на этапе S133.
На этапе S137 блок 62 кодирования заголовка слоя определяет, является ли тип слоя, образующий один и тот блок PPS, который является целью обработки на этапе S133, внутренним типом. Когда тип слоя на этапе S137 определен как внутренний тип, блок 62 кодирования заголовка слоя на этапе S138 добавляет информацию о кодировании, содержащую максимальное значение, связанное с параллаксом, минимальное значение, связанное с параллаксом, и межкамерное расстояние этого слоя в качестве заголовка слоя к кодированным данным этого слоя. Затем блок 62 кодирования заголовков слоев подает на блок 63 кодирования PPS в качестве результата кодированные данные в блоках слоев и переходит к процессу на этапе S140.
С другой стороны, когда на этапе S137 тип слоя определяется не как внутренний, более конкретно, когда тип слоя определяется как промежуточный, выполняется процесс обработки, указанный на этапе S139. На этапе S139 блок 62 кодирования заголовков слоев выполняет кодирование разности для межкамерного расстояния, максимального значения, связанного с параллаксом, и минимального значения, связанного с параллаксом, для этого слоя и добавляет в качестве заголовка слоя информацию о кодировании, содержащую результат для кодированной разности, к кодированным данным этого слоя. Затем блок кодирования 62 заголовка слоя подает на блок 63 кодирования PPS кодированные данные в блоках слоев, полученные в результате, и переходит к процессу, указанному на этапе S140.
На этапе S140 блок 63 кодирования PPS формирует PPS, содержащий флаг передачи, поданный от блока 62 кодирования заголовка слоя, и параметр точности параллакса в информации о формировании точек просмотра, предоставленной блоком 54 формирования информации о формировании точек просмотра, показанным на фиг.11.
На этапе S141 блок 63 кодирования PPS добавляет, в том же самом блоке PPS, PPS к кодированным данным в блоках слоев, к которым добавляется заголовок слоя, подаваемый от блока 62 кодирования заголовков слоев, и подает его на блок 64 кодирования SPS.
На этапе S142 блок 64 кодирования SPS формирует SPS.
На этапе S143 блок 64 кодирования SPS добавляет, в блоках последовательностей, SPS к кодированным данным, к которым добавляется PPS, подаваемый от блока 63 кодирования PPS, и формирует кодированный битовый поток.
Как описано выше, устройство 50 кодирования помещает межкамерное расстояние, максимальное значение, связанное с параллаксом, и минимальное значение, связанное с параллаксом, в заголовок слоя в качестве информации о кодировании. Соответственно, например, межкамерное расстояние, максимальное значение, связанное с параллаксом, и минимальное значение, связанное с параллаксом, могут использоваться для кодирования.
Пример конфигурации второго варианта осуществления устройства декодирования
На фиг.22 представлена блок-схема примера конфигурации второго варианта осуществления устройства декодирования, служащего в качестве устройства обработки изображений, к которому применяется настоящий способ, которое декодирует кодированный битовый поток, переданный от устройства 50 кодирования, показанного на фиг.11.
В конфигурации, показанной на фиг.22, те же самые конфигурации, которые показаны на фиг.7, обозначены теми же самыми ссылочными позициями. Повторные объяснения пропускаются по мере необходимости.
Конфигурация устройства 80 декодирования, показанного на фиг.22, отличается от конфигурации, показанной на фиг.7, тем, что устройство 80 декодирования содержит блок 81 декодирования мультипроекционных изображений и блок 82 объединения точек просмотра вместо блока 31 декодирования мультипроекционных изображений и блока 32 объединения точек просмотра. Устройство 80 декодирования отображает мультипроекционные объединенные цветные изображения на основе информации о формировании точек просмотра, переданной от устройства 50 кодирования.
Более конкретно, блок 81 декодирования мультипроекционных изображений устройства 80 декодирования функционирует как приемный блок и принимает кодированный битовый поток, переданный от устройства 50 кодирования, показанного на фиг.11. Блок 81 декодирования мультипроекционных изображений извлекает параметр точности параллакса и флаг передачи из PPS, содержащегося в принятом кодированном битовом потоке. Блок 81 декодирования мультипроекционных изображений извлекает межкамерное расстояние, максимальное значение, связанное с параллаксом, и минимальное значение, связанное с параллаксом, из заголовка слоя кодированного битового потока в соответствии с флагом передачи. Блок 81 декодирования мультипроекционных изображений формирует информацию о формировании точек просмотра, содержащую параметр точности параллакса, межкамерное расстояние, максимальное значение, связанное с параллаксом, и минимальное значение, связанное с параллаксом, и подает ее на блок 82 объединения точек просмотра.
Блок 81 декодирования мультипроекционных изображений функционирует как блок декодирования и декодирует кодированные данные в блоках слоев, содержащихся в кодированном битовом потоке, в соответствии со способом, соответствующим способу кодирования блока 15 кодирования мультипроекционных изображений, показанного на фиг.11, и формирует скорректированное мультипроекционное цветное изображение мультиточки просмотра и мультипроекционное изображение, связанное с параллаксом. Блок 81 декодирования мультипроекционных изображений подает скорректированные, мультипроекционные цветные изображения и мультипроекционное изображение, связанное с параллаксом, на блок 82 объединения точек просмотра.
Блок 82 объединения точек просмотра использует информацию о формировании точек просмотра, предоставленную блоком 81 декодирования мультипроекционного изображения, чтобы выполнить обработку деформации на мультипроекционном изображении, связанном с параллаксом, предоставленном блоком 81 декодирования мультипроекционного изображения, чтобы деформировать изображение в соответствии с точками просмотра изображения. Более конкретно, блок 82 объединения точек просмотра выполняет процесс деформации на мультипроекционном изображении, связанном с параллаксом, чтобы деформировать изображение в соответствии с точками просмотра изображения с точностью, соответствующей параметру точности параллакса, на основе межкамерного расстояния, максимального значения, связанного с параллаксом, минимального значения, связанного с параллаксом, и т.п., содержащимися в информации о формировании точек просмотра. Блок 82 объединения точек просмотра использует изображение, связанное с параллаксом, точек просмотра, полученных в результате процесса деформации, чтобы выполнить процесс деформации на скорректированных мультипроекционных цветных изображениях, подаваемых блоком 81 декодирования мультипроекционного изображения, чтобы деформировать их в соответствии с точками просмотра изображения. Блок 82 объединения точек просмотра предоставляет цветные изображения для точек просмотра изображения, полученных в результате, на блок 33 отображения мультипроекционного изображения в качестве мультипроекционных объединенных цветных изображений.
Как описано выше, блок 82 объединения точек просмотра выполняет процесс деформации мультипроекционных изображений, связанных с параллаксом, чтобы деформировать их в соответствии с точками просмотра изображения с точностью, соответствующей параметру точности точки просмотра параллакса, на основе параметра точности параллакса, и поэтому блоку 82 объединения точек просмотра нет необходимости расточительно выполнять процесс деформации с высокой степенью точности.
Кроме того, блок 82 объединения точек просмотра выполняет процесс деформации на мультипроекционном изображении, связанном с параллаксом, чтобы деформировать его в соответствии с межкамерным расстоянием, и поэтому, когда параллакс, соответствующий значению, связанному с параллаксом, для мультипроекционных изображений, связанных с параллаксом, подвергнутого процессу деформации, не находится в соответствующем диапазоне, значение, связанное с параллаксом, может быть скорректировано на значение, соответствующее параллаксу в соответствующем диапазоне на основе межкамерного расстояния.
Пример конфигурации блока декодирования мультипроекционного изображения
На фиг.23 представлен пример конфигурации блока 81 декодирования мультипроекционного изображения, показанного на фиг.22.
Блок 81 декодирования мультипроекционных изображений, показанный на фиг.23, содержит блок 101 декодирования SPS, блок 102 декодирования PPS, блок 103 декодирования заголовка слоя и блок 104 декодирования слоя.
Блок 101 декодирования SPS блока 81 декодирования мультипроекционных изображений принимает кодированный битовый поток, переданный от устройства 50 кодирования, показанного на фиг.11, и извлекает SPS из кодированного потока битов. Блок 101 декодирования SPS подает на блок 102 декодирования PPS кодированный поток битов, кроме SPS и извлеченного SPS.
Блок 102 декодирования PPS извлекает PPS из кодированного битового потока, кроме SPS, подаваемого от блока 101 декодирования SPS. Блок 102 декодирования PPS подает на блок 103 декодирования заголовков слоев кодированный поток битов, кроме SPS и извлеченных PPS и SPS.
Блок 103 декодирования заголовков слоев извлекает заголовок слоя из кодированного битового потока, кроме SPS и PPS, подаваемого от блока 102 декодирования PPS. Когда флаг передачи, содержащийся в PPS, подаваемый от блока 102 декодирования PPS, равен ″1″, что указывает на присутствие передачи, блок 103 декодирования заголовков слоев удерживает межкамерное расстояние, максимальное значение, связанное с параллаксом, и минимальное значение, связанное с параллаксом, содержащиеся в заголовке слоя, или обновляет межкамерное расстояние, максимальное значение, связанное с параллаксом, и минимальное значение, связанное с параллаксом, удерживаемые в нем, на основе результата кодированной разности межкамерного расстояния, максимального значения, связанного с параллаксом, и минимального значения, связанного с параллаксом. Блок 103 декодирования заголовков слоев формирует информацию о формировании точек просмотра из межкамерного расстояния, максимального значения, связанного с параллаксом, и минимального значения, связанного с параллаксом, которые удерживаются в нем, и параметр точности параллакса, содержащийся в PPS, и подает его на блок 82 объединения точек просмотра. Дополнительно, блок 103 декодирования заголовка слоя подает на блок 104 декодирования слоев кодированные данные в блоках слоев, которые являются кодированным битовым потоком кроме SPS, PPS и заголовка слоя, и SPS, PPS и заголовка слоя.
Блок 104 декодирования слоев декодирует кодированные данные в блоках слоев согласно способу, соответствующему способу кодирования блока 61 кодирования слоев (фиг.15) на основе SPS, PPS и заголовка слоя, подаваемого от блока 103 декодирования заголовков слоев. Блок 103 декодирования заголовков слоев подает на блок 82 объединения точек просмотра 82 на фиг.22 скорректированное мультипроекционное цветное изображение и мультипроекционное изображение, связанное с параллаксом, полученное в результате декодирования.
Процесс, выполняемый устройством декодирования
Процесс декодирования устройства 80 декодирования, показанного на фиг.22, осуществляется таким же образом, кроме процесса мультипроекционного декодирования, показанного на этапе S52 на фиг.9, и поэтому, в приведенном ниже объяснении, объясняется только процесс мультипроекционного декодирования.
На фиг.24 показана блок-схема последовательности выполнения операций процесса мультипроекционного декодирования блока 81 декодирования мультипроекционных изображений устройства 80 декодирования, показанного на фиг.22.
На этапе S161 фиг.24 блок 101 декодирования SPS блока 81 декодирования мультипроекционных изображений (фиг.23) извлекает SPS из принятого кодированного битового потока. Блок 101 декодирования SPS подает на блок 102 декодирования PPS кодированный битовый поток, кроме SPS и извлеченного SPS.
На этапе S162 блок 102 декодирования PPS извлекает PPS из кодированного битового потока, кроме SPS, подаваемого от блока 101 декодирования SPS. Блок 102 декодирования PPS подает на блок 103 декодирования заголовков слоев кодированный битовый поток, кроме SPS и PPS, и PPS и SPS извлекаются.
На этапе S163 блок 103 декодирования заголовка слоя подает параметр точности параллакса, содержащийся в PPS, подаваемом от блока 102 декодирования PPS на блок 82 объединения точек просмотра как часть информации о формировании точек просмотра.
На этапе S164 блок 103 декодирования заголовков слоев определяет, равен ли ″1″ флаг передачи, содержащийся в PPS, подаваемом блоком 102 декодирования PPS, указывающий наличие передачи. Следует заметить, что последовательный процесс на этапах S165-S174 выполняется в блоках слоев.
Когда определено, что флаг передачи равен ″1″, что указывает на присутствие передачи на этапе S164, то далее выполняется процесс на этапе S165. На этапе S165 блок 103 декодирования заголовков слоев извлекает заголовок слоя, содержащий максимальное значение, связанное с параллаксом, минимальное значение, связанное с параллаксом, и межкамерное расстояние, или результат кодированной разности максимального значения, связанного с параллаксом, минимального значения, связанного с параллаксом, и межкамерного расстояния, из кодированного битового потока, кроме SPS и PPS, подаваемых от блока 102 декодирования PPS.
На этапе S166 блок 103 декодирования заголовка слоя определяет, является ли тип слоя внутренним типом. Когда на этапе S166 определено, что тип слоя является внутренним, последовательно выполняется процесс на этапе S167.
На этапе S167 блок 103 декодирования заголовков слоев удерживает минимальное значение, связанное с параллаксом, содержащееся в заголовке слоя, извлеченном на этапе S165, и подает его на блок 82 объединения точек просмотра как часть информации о формировании точек просмотра.
На этапе S168 блок 103 декодирования заголовков слоев удерживает максимальное значение, связанное с параллаксом, содержащееся в заголовке слоя, извлеченном на этапе S165, и подает его на блок 82 объединения точек просмотра как часть информации о формировании точек просмотра.
На этапе S169 блок 103 декодирования заголовка слоя удерживает межкамерное расстояние, содержащееся в заголовке слоя, извлеченном на этапе S165, и подает его на блок 82 объединения точек просмотра как часть информации о формировании точек просмотра. Затем, выполняется процесс на этапе S175.
С другой стороны, когда на этапе S166 определено, что тип слоя не является внутренним типом, более конкретно, когда тип слоя определен как промежуточный тип, выполняется процесс на этапе S170.
На этапе S170 блок 103 декодирования заголовков слоев добавляет результат кодирования разности для минимального значения, связанного с параллаксом, содержащегося в заголовке слоя, извлеченном на этапе S165, к удерживаемому минимальному значению, связанному с параллаксом. Блок 103 декодирования заголовков слоев подает минимальное значение, связанное с параллаксом, полученное при операции добавления, на блок 82 объединения точек просмотра как часть информации о формировании точек просмотра.
На этапе S171 блок 103 декодирования заголовков слоев добавляет результат кодирования разности для максимального значения, связанного с параллаксом, содержащегося в заголовке слоя, извлеченном на этапе S165, к удерживаемому максимальному значению, связанному с параллаксом. Блок 103 декодирования заголовков слоев подает максимальное значение, связанное с параллаксом, полученное при операции добавления, на блок 82 объединения точек просмотра как часть информации о формировании точек просмотра.
На этапе S172 блок 103 декодирования заголовков слоев добавляет результат кодирования разности для межкамерного расстояния, содержащегося в заголовке слоя, извлеченном на этапе S165, к удерживаемому межкамерному значению. Блок 103 декодирования заголовков слоев подает межкамерное расстояние, полученное при операции добавления, на блок 82 объединения точек просмотра как часть информации о формировании точек просмотра. Затем выполняется процесс на этапе S175.
Когда определено, что флаг передачи не равен значению ″1″, указывающему на присутствие передачи на этапе S164, то есть, определено, что флаг передачи равен ″0″, что указывает на отсутствие передачи, далее выполняется процесс на этапе S173.
На этапе S173 блок 103 декодирования заголовков слоев извлекает заголовок слоя, содержащий максимальное значение, связанное с параллаксом, минимальное значение, связанное с параллаксом, и межкамерное расстояние, и результат кодирования разности максимального значения, связанного с параллаксом, минимального значения, связанного с параллаксом, и межкамерного расстояния, из кодированного битового потока, кроме SPS и PPS, подаваемого от блока 102 декодирования PPS.
На этапе S174 блок 103 декодирования заголовков слоев определяет, что максимальное значение, связанное с параллаксом, минимальное значение, связанное с параллаксом, и межкамерное расстояние, которые удерживаются, то есть, максимальное значение, связанное с параллаксом, минимальное значение, связанное с параллаксом, и межкамерное расстояние предыдущего слоя по порядку кодирования, являются максимальным значением, связанным с параллаксом, минимальным значением, связанным с параллаксом, и межкамерным расстоянием слоя цели обработки, посредством чего получаются максимальное значение, связанное с параллаксом, минимальное значение, связанное с параллаксом, и межкамерное расстояние слоя цели обработки. Затем блок 103 декодирования заголовков слоев подает максимальное значение, связанное с параллаксом, минимальное значение, связанное с параллаксом, и межкамерное расстояние, полученные таким образом, на блок 82 объединения точек просмотра как часть информации о формировании точек просмотра и переходит к процессу на этапе S175.
На этапе S175 блок 104 декодирования слоя декодирует кодированные данные в блоках слоев согласно способу, соответствующему способу кодирования блока 61 кодирования слоя (фиг.15) на основе SPS, PPS и заголовка слоя, подаваемого от блока 103 декодирования заголовков слоев. Блок 103 декодирования заголовков слоев подает на блок 82 объединения точек просмотра, показанный на фиг.22, скорректированное мультипроекционное цветное изображение и мультипроекционное изображение, связанное с параллаксом, полученное в результате декодирования.
Как описано выше, устройство 80 декодирования может декодировать кодированный битовый поток, в котором максимальное значение, связанное с параллаксом, минимальное значение, связанное с параллаксом, и межкамерное расстояние располагаются как информация о кодировании в заголовке слоя. Соответственно, например, кодированный битовый поток, в котором максимальное значение, связанное с параллаксом, минимальное значение, связанное с параллаксом, и межкамерное расстояние, используемые для кодирования, может быть декодирован.
Во втором варианте осуществления максимальное значение, связанное с параллаксом, минимальное значение, связанное с параллаксом, и межкамерное расстояние в информации о формировании точек просмотра содержатся в заголовке слоя, но могут быть описаны в SPS, PPS, SEI, и т.п. Во втором варианте осуществления информация о формировании точек просмотра может также содержать информацию идентификации цветного изображения, информацию идентификации изображения, связанного с параллаксом, внешнюю информацию о параметре, информацию о внутреннем параметре, количество точек просмотра цветных изображений, информацию для идентификации цветных изображений точек просмотра, принятых в качестве базисной точки для получения значения параллакса, количества точек просмотра изображения, связанного с параллаксом, информации о типе изображения, и т.п.
Третий вариант осуществления
Компьютер, к которому применяется настоящий способ
Далее, упомянутая последовательность обработки может выполняться посредством аппаратурного обеспечения или программного обеспечения. Когда последовательность обработки выполняется программным обеспечением, программа, составляющая программное обеспечение, устанавливается на универсальном компьютере и т.п.
На фиг.26 представлена примерная конфигурация варианта осуществления компьютера, на который устанавливается программа для выполнения упомянутой выше последовательности обработки.
Программа может быть заранее сохранена в содержащихся в компьютере устройстве 808 хранения данных и ROM (постоянное запоминающее устройство) 802, служащем в качестве носителя записи данных.
Альтернативно, программа может быть сохранена (записана) на съемном носителе 811. Этот съемный носитель 811 может обеспечиваться как так называемое пакетное программное обеспечение. В данном случае, к примерам съемного носителя 811 относятся, например, дискета, CD-ROM (постоянное запоминающее устройство на компакт-дисках), МО (магнитооптический) диск, DVD (цифровой универсальный диск), магнитный диск, полупроводниковое запоминающее устройство и т.п.
Программа может быть установлена на компьютер со съемного носителя 811, как описано выше, используя дисковод 810. Альтернативно, программа может быть загружена на компьютер через систему связи или широковещательную сеть и программа может быть установлена в предусмотренное в нем устройство 808 хранения данных. Более конкретно, программа может быть, например, перенесена с сайта для скачивания на компьютер беспроводным способом через искусственный спутник для цифрового спутникового вещания или может быть перенесена на компьютер по проводной линии, то есть, сеть, такую как LAN (локальная сеть) и Интернет.
Компьютер имеет CPU (центральный процессор) 801. CPU 801 соединяется с интерфейсом 805 ввода-вывода через шину 804.
Когда пользователь управляет устройством 806 ввода, чтобы ввести команду на CPU 801 через интерфейс 805 ввода-вывода, CPU 801 в ответ на команду выполняет программу, хранящуюся в ROM 802. Альтернативно, CPU 801 загружает программу, хранящуюся в запоминающем устройстве 808, в RAM (оперативная память) 803 и исполняет программу.
Таким образом, CPU 801 выполняет процесс в соответствии с приведенными выше блок-схемами последовательности выполнения операций или процессов, выполняемых в конфигурациях, показанных на блок-схемах, описанных выше. Затем, по мере необходимости, CPU 801 выводит результат этого процесса из устройства 807 вывода через интерфейс 805 ввода-вывода, передает результат этого процесса от блока 809 связи или записывает результат этого процесса, например, в устройство 808 записи данных.
Устройство 806 ввода образуется клавиатурой, мышью, микрофоном и т.п. Устройство 807 вывода образуется жидкокристаллическим дисплеем (LCD), громкоговорителем и т.п.
В данном случае, в настоящем описании процесс, выполняемый компьютером в соответствии с программой, не обязательно может выполняться последовательно во времени согласно порядку, описанному в блок-схемах последовательности выполнения операций. Другими словами, процесс, выполняемый компьютером согласно программе, содержит обработку, выполняемую независимо или параллельно (например, обработка, выполняемая с объектами, или параллельная обработка).
Программа может обрабатываться одним компьютером (процессором) или может обрабатываться множеством компьютеров как распределенная обработка. Дополнительно, программа может переноситься на компьютер, расположенный на удалении, и выполняться на нем.
Настоящий способ может быть применен к устройству обработки изображений, используемому для связи через сетевой носитель, такой как спутниковое вещание, кабельное телевидение (TV), Интернет и мобильный телефон или для обработки на носителях записи, таких как оптические, магнитные диски и флэш-память.
Описанные выше устройства обработки изображений могут быть применено к любому заданному электронному устройству. Здесь далее будет объяснен пример этого.
Четвертый вариант осуществления
Пример конфигурации телевизионного устройства
На фиг.27 представлен пример конфигурации схемы телевизионного устройства, к которому применяется настоящий способ. Телевизионное устройство 900 содержит антенну 901, тюнер 902, демультиплексор 903, устройство 904 декодирования, блок 905 обработки изображений, блок 906 отображения, аудиопроцессор 907, громкоговоритель 908 и внешний интерфейсный блок 909. Дополнительно, телевизионное устройство 900 содержит блок 910 управления и блок 911 интерфейса пользователя.
Тюнер 902 настраивается и декодирует желаемый канал из числа широковещательных сигналов, принимаемых антенной 901, и выводит полученный таким образом кодированный битовый поток на демультиплексор 903.
Демультиплексор 903 извлекает пакеты видео- и аудиопрограммы, являющейся целью просмотра, из кодированного битового потока и выводит данные извлеченных пакетов на устройство 904 декодирования. Демультиплексор 903 также подает пакеты данных, такие как EPG (электронный путеводитель по программам телевидения) на блок 910 управления. При наличии скремблирования, демультиплексор и т.п. выполняет дескремблирование.
Устройство 904 декодирования выполняет процесс декодирования пакетов и выводит видеоданные, сформированные в процессе декодирования, на блок 905 обработки изображений, и аудиоданные - на блок 907 аудиопроцессора.
Блок 905 обработки изображений выполняет шумоподавление и обработку видеоданных в соответствии с установками пользователя для видеоданных. Блок 905 обработки изображений формирует, например, видеоданные программы, отображаемые на блоке 906 отображения, и данные изображения, обработанные на основе приложения, предоставленного через сеть. Блок 905 обработки изображений формирует видеоданные для отображения экрана меню и т.п., чтобы позволить выбирать позиции для отображения, и накладывает видеоданные на видеоданные программы. Блок 905 обработки изображений формирует запускающий сигнал на основе видеоданных, сформированных таким образом, и запускает блок 906 отображения.
Блок 906 отображения отображает, например, видеоданные программы, запуская устройство отображения (например, устройство жидкокристаллического дисплея и т.п.) на основе запускающего сигнала, подаваемого от блока 905 обработки изображений.
Аудиопроцессор 907 выполняет заданную обработку, такую как шумоподавление на аудиоданных, и выполняет процесс цифро-аналогового (D/A) преобразования и усиления аудиоданных, и подает данные на громкоговоритель 908, выводя, таким образом, звуковой сигнал.
Внешний интерфейсный блок 909 является интерфейсом связи внешнего устройства с сетью и обмена данными, такими как видеоданные и аудиоданные.
Блок 910 управления соединяется с блоком 911 интерфейса пользователя. Блок 911 интерфейса пользователя содержит, например, рабочие переключатели и блок приема сигнала дистанционного управления и подает сигнал операции в соответствии с операцией, выполняемой пользователем, на блок 910 управления.
Блок 910 управления содержит CPU (центральный процессор), устройство памяти и т.п. Устройство памяти хранит, например, программы, выполняемые CPU, различного вида данные, требующиеся при выполнении обработки с помощью CPU, данные EPG и данные, получаемые через сеть. Программы, хранящиеся в устройстве памяти, считываются и выполняются CPU в заданные моменты времени, например, во время активации телевизионного устройства 900. CPU выполняет программу, управляя, таким образом, каждым блоком, чтобы обеспечивать работу телевизионного устройства 900 в соответствии с операцией пользователя.
Телевизионное устройство 900 снабжено шиной 912 для соединения тюнера 902, демультиплексора 903, устройства 904 декодирования, блока 905 обработки изображений, блока 907 аудиопроцессора, внешнего интерфейсного блока 909 и блока 910 управления.
В телевизионном устройстве, конфигурированном, как описано выше, устройство 904 декодирования обеспечивается функцией устройства обработки изображений (способа обработки изображений), соответствующей настоящей заявки. Соответственно, используя цветное изображение заданной точки просмотра и изображение, связанное с параллаксом, может быть сформировано цветное изображение точки просмотра, отличное от заданной точки просмотра.
Пятый вариант осуществления
Пример конфигурации мобильного телефона
На фиг.28 представлен пример конфигурации схемы мобильного телефона, к которому применяется настоящая заявка. Мобильный телефон 920 содержит блок 922 связи, аудиокодек 923, блок 926 камеры, блок 927 обработки изображений, блок 928 демультиплексора, блок 929 записи/воспроизведения, блок 930 отображения и блок 931 управления. Они соединяются друг с другом через шину 933.
Блок 922 связи соединяется с антенной 921 и аудиокодек 923 соединяется с громкоговорителем 924 и микрофоном 925. Дополнительно, блок 931 управления соединяется с операционным блоком 932.
Мобильный телефон 920 выполняет различные операции, такие как передача и прием аудиосигнала, передача и прием электронной почты и данных изображения, получение изображения или запись данных, в различных режимах, таких как режим телефонной аудиосвязи и режим передачи данных.
В режиме телефонной аудиосвязи аналоговый аудиосигнал, сформированный, например, микрофоном 925, преобразуется в аудиоданные, которые сжимаются аудиокодеком 923 и подаются на блок 922 связи. Блок 922 связи выполняет, например, процесс модуляции, процесс преобразования частоты для аудиоданных, формируя сигнал передачи. Блок 922 связи подает сигнал передачи на антенну 921 и передает сигнал передачи на базовую станцию, не показанную на чертеже. Блок 922 связи выполняет, например, процесс усиления, преобразования частоты и процесс усиления сигнала, принятого антенной 921, и подает полученные аудиоданные на аудиокодек 923. Аудиокодек 923 выполняет распаковку данных для аудиоданных, преобразование аудиоданных в аналоговый аудиосигнал и выводит данные на громкоговоритель 924.
Когда в режиме передачи данных выполняется передача электронной почты, блок 931 управления принимает текстовые данные, которые вводятся посредством операции через операционный блок 932, и отображает входные символы на блоке 930 отображения. Блок 931 управления также формирует данные электронной почты, основываясь, например, на команде пользователя, поданной от операционного блока 932, и подает данные электронной почты на блок 922 связи. Блок 922 связи выполняет, например, процесс модуляции, процесс преобразования частоты для почтовых данных и передает полученный сигнал передачи через антенну 921. Блок 922 связи выполняет, например, процесс усиления, процесс преобразования частоты и процесс усиления для сигнала приема, принятого антенной 921, и восстанавливает почтовые данные. Эти почтовые данные подаются на блок 930 отображения и содержимое почты отображается на экране.
Мобильный телефон 920 может хранить принятые почтовые данные на носителе данных, используя блок 929 записи/воспроизведения. Носитель данных является любым перезаписываемым носителем данных. Например, носитель данных может быть полупроводниковой памятью, такой как RAM или встроенная флэш-память, жестким диском или съемным носителем, таким как магнитный диск, магнитооптический диск, оптический диск, USB-память или карта памяти.
Когда данные изображения передаются в режиме передачи данных, данные изображения, сформированные блоком 926 камеры, подаются на блок 927 обработки изображений. Блок 927 обработки изображений выполняет процесс кодирования данных изображения и формирует кодированные данные.
Блок 928 демультиплексора мультиплексирует кодированные данные, сформированные блоком 927 обработки изображений, и аудиоданные, поданные от аудиокодека 923, в соответствии с заданным режимом и подает данные на блок 922 связи. Блок 922 связи выполняет, например, процесс модуляции и процесс преобразования частоты мультиплексированных данных и передает результирующий сигнал передачи через антенну 921. Блок 922 связи выполняет, например, процесс усиления, процесс преобразования частоты и процесс усиления сигнала приема, принятого антенной 921, и восстанавливает мультиплексированные данные. Мультиплексированные данные подаются на блок 928 демультиплексора. Блок 928 демультиплексора разделяет мультиплексированные данные и подает кодированные данные на блок 927 обработки изображений и аудиоданные на аудиокодек 923. Блок 927 обработки изображений выполняет процесс декодирования кодированных данных и формирует данные изображения. Данные изображения подаются на блок 930 отображения и принятое изображение отображается на экране. Аудиокодек 923 преобразует аудиоданные в аналоговый аудиосигнал и подает аналоговый аудиосигнал на громкоговоритель 924, чтобы, таким образом, вывести принятые аудиоданные.
В мобильном телефоне, выполненном как описано выше, блок 927 обработки изображений снабжен функцией устройства обработки изображений (способом обработки изображений), соответствующего настоящей заявке. Соответственно, используя цветное изображение заданной точки просмотра и изображение, связанное с параллаксом, может быть передана информация, требующаяся для формирования цветного изображения точки просмотра, отличной от заданной точки просмотра. Используя цветное изображение заданной точки просмотра и изображение, связанное с параллаксом, может быть сформировано цветное изображение точки просмотра, отличной от заданной точки просмотра.
Шестой вариант осуществления
Пример конфигурации устройства записи/воспроизведения
На фиг.29 представлен пример конфигурации схемы устройства записи/воспроизведения, к которому применяется настоящая технология. Например, устройство 940 записи/воспроизведения записывает аудиоданные и видеоданные принятой широковещательной программы на носителе записи и предоставляет записанные данные пользователю в то время, когда пользователь подает команду. Например, устройство 940 записи/воспроизведения может, например, получать аудиоданные и видеоданные от другого устройства и записывать их на носителе записи. Дополнительно, устройство 940 записи/воспроизведения декодирует и выводит аудиоданные и видеоданные, записанные на носителе записи, позволяя, таким образом, отображать изображение на мониторе и т.п. и выводить аудиоданные.
Устройство 940 записи/воспроизведения содержит тюнер 941, внешний интерфейсный блок 942, кодер 943, блок 944 HDD (жесткий диск), дисковод 945, переключатель 946, декодер 947, блок 948 OSD (экранное меню), блок 949 управления и блок 950 интерфейса пользователя.
Тюнер 941 настраивается на желаемый канал из числа широковещательных сигналов, принятых антенной, не показанной на чертеже. Тюнер 941 выводит на переключатель 946 кодированный битовый поток, получаемый посредством усиления сигнала приема желаемого канала.
Внешний интерфейсный блок 942 может содержать, например, интерфейс IEEE 1394 или блок сетевого интерфейса или интерфейс USB или интерфейс флэш-памяти и т.п. Внешний интерфейсный блок 942 является интерфейсом для соединения с внешним устройством, сетью, картой памяти и т.п. и выполняет прием данных, таких как видеоданные, аудиоданные и т.п., записанных таким образом.
Кодер 943 выполняет кодирование в соответствии с заданным способом, когда видеоданные и аудиоданные, поданные от внешнего интерфейсного блока 942, не кодированы, и выводит кодированный битовый поток на переключатель 946.
Блок 944 HDD записывает данные контента, такие как видеоданные и аудиоданные, различного рода программы и т.п. на встроенный жесткий диск и считывает данные с жесткого диска во время воспроизведения и т.п.
Дисковод 945 выполняет запись и воспроизведение сигналов на установленном на нем оптическом диске. Примерами оптического диска являются диск DVD (такой как DVD-Video, DVD-RAM, DVD-R, DVD-RW, DVD+R или DVD+RW и т.п.), диск Blu-ray и т.п.
Во время записи видеоданных или аудиоданных переключатель 946 выбирает один из кодированных битовых потоков, подаваемых от тюнера 941 или кодера 943, и подает его на блок 944 HDD или дисковод 945. Во время воспроизведения видеоданных или аудиоданных переключатель 946 подает на устройство 947 декодирования кодированный битовый поток с выхода блока 944 HDD или дисковода 945.
Устройство 947 декодирования выполняет процесс декодирования для кодированного битового потока. Устройство 947 декодирования выполняет процесс декодирования, тем самым обеспечивая подачу сформированных видеоданных на блок 948 OSD. Устройство 947 декодирования выполняет процесс декодирования и, таким образом, выводит сформированные аудиоданные.
Блок 948 OSD формирует видеоданные для отображения экранного меню для выбора позиций меню и т.п., и накладывает и выводит их на видеоданные, поступающие с выхода устройства 947 декодирования.
Блок 949 управления соединяется с блоком 950 интерфейса пользователя. Блок 950 интерфейса пользователя содержит переключатели операций, блок приема сигналов дистанционного управления и подает сигнал операции, соответствующий операции пользователя, на блок 949 управления.
Блок 949 управления содержит CPU, устройство памяти и т.п. В устройстве памяти хранятся, например, программы, выполняемые CPU, различного рода данные, требующиеся, когда процесс выполняется с помощью CPU. Программа, хранящаяся в устройстве памяти, считывается и выполняется CPU в заданное время, например, во время включения устройства 940 записи/воспроизведения. CPU выполняет программу, управляя, таким образом, каждым блоком, чтобы обеспечить работу устройства 940 записи/воспроизведения в соответствии с операцией пользователя.
В устройстве записи/воспроизведения, выполненном как описано выше, устройство 947 декодирования снабжается функцией устройства обработки изображений (способа кодирования), соответствующая настоящей заявке. Соответственно, используя цветное изображение заданной точки просмотра и изображение, связанное с параллаксом, может быть сформировано цветное изображение точки просмотра, отличной от заданной точки просмотра.
Седьмой вариант осуществления
Пример конфигурации устройства получения изображения
На фиг.30 представлена конфигурация схемы устройства получения изображений, в котором применяется настоящая технология. Устройство 960 получения изображений получает изображение объекта, отображает изображение объекта на блоке отображения и записывает данные изображения на носителе данных.
Устройство 960 получения изображений содержит оптический блок 961, блок 962 получения изображений, блок 963 обработки изображений камеры, блок 964 обработки изображений, блок 965 отображения, внешний интерфейсный блок 966, блок 967 устройства памяти, привод 968 носителя данных, блок 969 OSD и блок 970 управления. Блок 970 управления соединяется с блоком 971 интерфейса пользователя. Дополнительно, блок 964 обработки изображений, внешний интерфейсный блок 966, блок 967 устройства памяти, привод 968 носителя данных, блок 969 OSD, блок 970 управления и т.п. соединяются через шину 972.
Оптический блок 961 содержит, например, объектив и диафрагменный механизм. Оптический блок 961 обеспечивает формирование оптического изображения объекта на поверхности получения изображений блока 962 получения изображений. Блок 962 содержит датчик изображений на CCD или CMOS и формирует электрический сигнал в соответствии с оптическим изображением посредством фотоэлектронного преобразования и подает электрический сигнал на блок 963 обработки изображений камеры.
Блок 963 обработки изображений камеры выполняет различные виды обработки сигналов камеры, такие как г-образная коррекция, гамма-коррекция и коррекция цвета для электрического сигнала, поданного от блока 962 получения изображений. Блок 963 обработки изображений камеры подает на блок 964 обработки изображений данные изображения после обработки сигнала камеры.
Блок 964 обработки изображений выполняет процесс кодирования для данных изображения, поданных от блока 963 обработки изображений камеры. Блок 964 обработки изображений подает кодированные данные, сформированные путем выполнения процесса кодирования, на внешний интерфейсный блок 966 или на привод 968 носителя данных. Блок 964 обработки данных изображений выполняет процесс декодирования кодированных данных, подаваемых от внешнего интерфейсного блока 966 или привода 968 носителя данных. Блок 964 обработки данных изображений подает данные изображения, сформированные посредством выполнения процесса декодирования, на блок 965 отображения. Блок 964 обработки данных изображений выполняет процесс обеспечения подачи на блок 965 отображения данных изображения, полученных от блока 963 обработки сигнала камеры, и накладывает данные отображения, полученные от блока 969 OSD, на данные изображения и подает данные на блок 965 отображения.
Блок 969 OSD формирует данные изображения, такие как экранное меню и значки, содержащие символы, знаки или рисунки, и выводит данные изображения на блок 964 обработки данных изображений.
Внешний интерфейсный блок 966 содержит, например, USB-разъем ввода-вывода и в случае, когда изображение распечатывается, соединяется с принтером. Внешний интерфейсный блок 966 также соединяется с дисководом, по мере необходимости, на него должным образом устанавливается съемный носитель данных, такой как магнитный диск, оптический диск и т.п., и компьютерная программа, по мере необходимости, считывается с него. Дополнительно, внешний интерфейсный блок 966 содержит сетевой интерфейс, соединенный с заданной сетью, такой как LAN или Интернет. Например, блок 970 управления, в соответствии с командой, поданной от блока 971 интерфейса пользователя, считывает кодированные данные с блока 967 запоминающего устройства и может подавать данные от внешнего интерфейсного блока 966 на другое устройство, присоединенное через сеть. Блок 970 управления через внешний интерфейсный блок 966 получает кодированные данные и данные изображения, подаваемые от другого устройства через сеть, и может подавать данные, например, на блок 964 обработки данных изображений.
Носитель записи данных, приводимый в действие приводом 968 носителя данных, может быть, например, любым заданным съемным носителем, который может считываться и записываться, таким как магнитный диск, магнитооптический диск, оптический диск или полупроводниковая память. Носитель записи данных может быть любого типа в виде съемного носителя и может быть ленточным устройством, диском или картой памяти. Следует понимать, что это может быть бесконтактная IC-карта и т.п.
Привод 968 носителя данных и носитель записи данных могут интегрироваться и т.п., например, как стационарный дисковод жесткого диска, и твердотельный дисковод SSD (Solid State Drive), дисковод 968 носителя данных и носитель для записи данных могут быть конфигурированы как несъемный носитель для хранения данных.
Блок 970 управления содержит CPU, устройство памяти и т.п. В памяти хранятся, например, программы, выполняемые CPU, различного рода данные, необходимые для обработки, выполняемой CPU. Программа, хранящаяся в устройстве памяти, считывается и выполняется CPU с заданное синхронизацией, управляя, таким образом, каждым блоком, например, чтобы обеспечить работу устройства 960 получения изображения в соответствии с операцией пользователя.
В устройстве получения изображений, выполненном так, как описано выше, блок 964 обработки данных изображения, снабженный функцией устройства обработки изображений (способом обработки изображений), соответствующего настоящей заявке, устанавливается в блок 964 обработки изображений. Соответственно, используя цветное изображение заданной точки просмотра и изображение, связанное с параллаксом, может быть передана информация, требующаяся для формирования цветного изображения точки просмотра, отличной от заданной точки просмотра. Используя цветное изображение заданной точки просмотра и изображение, связанное с параллаксом, может быть сформировано цветное изображение точки просмотра, отличной от заданной точки просмотра.
Более конкретно, варианты осуществления настоящей технологии не ограничиваются объясненными выше вариантами осуществления и могут изменяться различными способами, пока они попадают в рамки сущности настоящей технологии.
Следует заметить, что настоящий способ может быть выполнен следующим образом.
(1) Устройство обработки изображений, содержащее блок кодирования для формирования битового потока путем кодирования цветного изображения точки просмотра и глубинного изображения точки просмотра; блок формирования для формирования информации о формировании точек просмотра, используемой для формирования цветного изображения отображаемой точки просмотра в соответствии со способом формировании цветного изображения отображаемой точки просмотра изображения, получаемого путем выполнения процесса деформирования с использованием указанных цветного изображения и глубинного изображения; и блок передачи для передачи битового потока, формируемого блоком кодирования, и информации о формировании точек просмотра, формируемой блоком формирования.
(2) Устройство обработки изображений по п.(1), в котором блок передачи передает информацию о формировании точек просмотра в качестве параметра кодирования, используемого для кодирования или декодирования.
(3) Устройство обработки изображений по п.(1) или (2), в котором блок передачи передает разность между информацией о формировании точек просмотра указанного глубинного изображения и информацией о формировании точки просмотра глубинного изображения, расположенного ранее в порядке кодирования.
(4) Устройство обработки изображений по п.(3), в котором, когда слой битового потока является внутренним кодированным слоем, блок передачи передает информацию о формировании точки просмотра для указанного слоя, а когда слой является межкодированным слоем, блок передачи передает разность для слоя.
(5) Устройство обработки изображений по п.(3) или (4) дополнительно содержит блок установки для установки информации идентификации указанной разности для идентификации наличия/отсутствия разности, при этом блок передачи передает информацию идентификации разности, которая установлена блоком установки.
(6) Устройство обработки изображений по п.(5), в котором блок передачи передает информацию идентификации разности, установленную блоком установки таким образом, что информация идентификации разности включена в PPS (набор параметров изображения) битового потока.
(7) Устройство обработки изображений по любому из пп.(1)-(6), в котором блок формирования формирует в качестве информации о формировании точки просмотра информацию для идентификации цветного изображения или информацию для идентификации глубинного изображения.
(8) Устройство обработки изображений по любому из пп.(1)-(7), в котором глубинное изображение является изображением по глубине, включающем в себя значение глубины, представляющее положение объекта в направлении глубины в каждом пикселе указанного цветного изображения, или параллаксным изображением, включающим в себя параллаксное значение, представляющее расстояние между каждым пикселем цветного изображения и пикселем цветного изображения в базисной точке, соответствующей указанному пикселю, и блок формирования формирует в качестве информации о формировании точек просмотра информацию идентификации глубинного изображения, указывающую, является ли глубинное изображение изображением по глубине или параллаксным изображением.
(9) Устройство обработки изображений по п.(8), в котором, когда глубинное изображение является изображением по глубине, блок формирования формирует в качестве информации о формировании точки просмотра информацию, указывающую минимальное значение и максимальное значение реальной координаты в положении в направлении глубины, которое может появиться в изображении глубины, а когда глубинное изображение является параллаксным изображением, блок формирования формирует в качестве информации о формировании точки просмотра информацию, указывающую минимальное значение и максимальное значение параллакса в реальных координатах в положении, которое может появиться в параллаксном изображении, и информацию для идентификации цветного изображения указанной базисной точки.
(10) Устройство обработки изображений по любому из пп.(1)-(8), в котором блок формирования формирует в качестве информации о формировании точек просмотра минимальное значение глубины, представляющее минимальное значение, которое может иметь место в качестве пиксельного значения глубинного изображения, максимальное значение глубины, представляющее максимальное значение, которое может иметь место в качестве пиксельного значения глубинного изображения, и расстояние до положения получения изображения, которое является расстоянием между положениями получения изображения для множества цветных изображений, соответствующих указанному глубинному изображению, при этом блок передачи передает информацию о формировании точек просмотра в виде заголовка слоя битового потока.
(11) Способ обработки изображений для устройства обработки изображений, содержащий этап кодирования, на котором формируют битовый поток путем кодирования цветного изображения точки просмотра и глубинное изображение точки просмотра; этап формирования, на котором формируют информацию о формировании точек просмотра, используемую для формирования цветного изображения отображаемой точки просмотра в соответствии со способом формировании цветного изображения отображаемой точки просмотра, получаемого путем выполнения процесса деформирования с использованием указанного цветного изображения и глубинного изображения; и этап передачи, на котором передают битовый поток, сформированный на этапе кодирования, и информацию о формировании точки просмотра, сформированную при обработке на этапе формирования.
(12) Устройство обработки изображений, содержащее приемный блок для приема битового потока, полученного в результате кодирования цветного изображения точки просмотра и глубинного изображения точки просмотра, и информации о формировании точки просмотра, используемой для формирования цветного изображения отображаемой точки просмотра, которая формируется в соответствии со способом формирования цветного изображения отображаемой точки просмотра, получаемого посредством выполнения обработки деформирования с использованием указанного цветного изображения и глубинного изображения, блок декодирования для формирования цветного изображения и глубинного изображения путем декодирования битового потока, принимаемого приемным блоком, и блок формирования для формирования цветного изображения отображаемой точки просмотра путем выполнения обработки деформирования с использованием цветного изображения и глубинного изображения, сформируемых блоком декодирования, и информации о формировании точек просмотра, получаемой приемным блоком.
(13) Устройство обработки изображений по п.(12), в котором приемный блок принимает информацию о формировании точки просмотра в качестве параметра кодирования для кодирования или декодирования.
(14) Устройство обработки изображений по п.(12) или (13), в котором приемный блок принимает разность между информацией о формировании точки просмотра для глубинного изображения и информацией о формировании точки просмотра для глубинного изображения, расположенного перед указанным глубинным изображением в порядке кодирования, блок формирования восстанавливает информацию о формировании точки просмотра глубинного изображения, соответствующую указанной разности с использованием разности и информации о формировании точки просмотра для глубинного изображения, расположенного в порядке кодирования перед глубинным изображением, соответствующим указанной разности, которые принимаются приемным блоком, и выполняет процесс деформирования с использованием восстановленной информации о формировании точки просмотра, цветное изображение и глубинное изображение, формируя тем самым цветное изображение отображаемой точки просмотра.
(15) Устройство обработки изображений по п.(14), в котором когда слой битового потока является внутренне кодированным слоем, приемный блок принимает информацию о формировании точки просмотра для указанного слоя, а когда слой является межкодированным слоем, приемный блок принимает разность для указанного слоя.
(16) Устройство обработки изображения по п.(14) или (15), в котором приемный блок принимает информацию идентификации разности для идентификации наличия/отсутствия разности, а блок формирования восстанавливает информацию о формировании точки просмотра на основе информации идентификации разности, принятой приемным блоком.
(17) Устройство обработки изображений по п.(16), в котором приемный блок принимает информацию идентификации разности, содержащуюся в PPS (Picture Parameter Set, набор параметров изображения) битового потока.
(18) Устройство обработки изображений по любому из п.п.(12)-(17), в котором приемный блок принимает в качестве информации о формировании точки просмотра информацию идентификации цветного изображения или информацию идентификации глубинного изображения, а блок формировании идентифицирует цветное изображение и глубинное изображение, принятые приемным блоком, на основе указанной информации о формировании точки просмотра, выполняет обработку деформирования для глубинного изображения и формирует цветное изображение отображаемой точки просмотра путем выполнения обработки деформирования для цветного изображения с использованием глубинного изображения отображаемой точки просмотра подвергнутого обработке деформирования.
(19) Устройство обработки изображений по любому из п.п.(12)-(18), в котором глубинное изображение является изображением по глубине, содержащим значение глубины, представляющее положение объекта в направлении глубины в каждом пикселе цветного изображения, или параллаксным изображением, содержащим параллаксное значение, представляющее расстояние между каждым пикселем цветного изображения и пикселем цветного изображения в базисной точке, соответствующей указанному пикселю, а приемный блок принимает в качестве информации о формировании точки просмотра информацию, указывающую, является ли глубинное изображение изображением по глубине или параллаксным изображением.
(20) Устройство обработки изображений по п.(19), в котором, когда глубинное изображение является изображением по глубине, приемный блок принимает в качестве информации о формировании точки просмотра информацию, указывающую минимальное значение и максимальное значение реальных координат в положении в направлении глубины, которое может иметь место на глубинном изображении, а когда глубинное изображение является параллаксным изображением, приемный блок принимает информацию, указывающую минимальное значение и максимальное значение параллакса в реальных координатах в положении, которое может иметь место на параллаксном изображении, и информацию для идентификации цветного изображения базисной точки.
(21) Устройство обработки изображений по любому из п.п.(12)-(19), в котором приемный блок принимает в качестве заголовка слоя битового потока информацию о формировании точки просмотра, содержащую минимальное значение глубины, представляющее минимальное значение, которое может иметь место в качестве пиксельного значения глубинного изображения, максимальное значение глубины, представляющее максимальное значение, которое может иметь место в качестве пиксельного значения глубинного изображения, и расстояние до положения получения изображения, которое является расстоянием между положениями получения изображений для множества цветных изображений, соответствующих глубинному изображению.
(22) Способ обработки изображений для устройства обработки изображений, содержащее этап приема, на котором принимают битовый поток, полученный в результате кодирования цветного изображения точки просмотра и глубинного изображения точки просмотра, и информацию о формировании точки просмотра, используемую для формирования цветного изображения отображаемой точки просмотра, которая формируется в соответствии со способом формирования цветного изображения отображаемой точки просмотра, полученного посредством выполнения обработки деформирования с использованием цветного изображения и глубинного изображения, этап декодирования, на котором формируют цветное изображение и глубинное изображение путем декодирования битового потока, принятого в процессе этапа приема, и этап формирования, на котором формируют цветное изображение отображаемой точки просмотра путем выполнения обработки деформирования с использованием цветного изображения и глубинного изображения, сформированных в процессе этапа декодирования, и информации о формировании точек просмотра, полученной в процессе этапа приема.
Список ссылочных позиций
10 Устройство кодирования
14 Блок формирования информации о формировании точек просмотра
15 Блок кодирования мультипроекционных изображений
30 Устройство декодирования
31 Блок декодирования мультипроекционных изображений
32 Блок объединения точек просмотра