ВЫБОР ТОЧЕК ОБЗОРА ДЛЯ ФОРМИРОВАНИЯ ДОПОЛНИТЕЛЬНЫХ ВИДОВ В 3D ВИДЕО
SELECTING VIEWPOINTS FOR GENERATING ADDITIONAL VIEWS IN 3D VIDEO

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Данное изобретение относится к способу кодирования сигнала видеоданных, при этом способ, содержащий этапы, на которых: предоставляют, по меньшей мере, первое изображение сцены, наблюдаемой с первой точки обзора; предоставляют информацию о визуализации, чтобы сделать возможным формирование, по меньшей мере, одного визуализируемого изображения сцены, наблюдаемой с точки обзора визуализации; и формируют сигнал видеоданных, содержащий закодированные данные, представляющие собой первое изображение и информацию о визуализации.
Данное изобретение дополнительно относится к способу декодирования сигнала видеоданных, кодировщику, декодеру, компьютерному программному продукту для кодирования и декодирования, сигналу видеоданных и носителю цифровых данных.
УРОВЕНЬ ТЕХНИКИ
В развивающейся области техники, относящейся к трехмерному (3D) видео, существуют различные способы для кодирования в сигнале видеоданных третьего измерения. Как правило, это реализуется посредством предоставления глазу зрителя различных видов просматриваемой сцены. Популярным подходом для представления 3D видео является использование одного или более двумерных (2D) изображений с отображением глубины, представляющим информацию о третьем измерении. Данный подход также предоставляет возможность формирования 2D изображений с точек обзора и под углами обзора, отличными от тех, с которых выполнены 2D изображения, которые включены в 3D видеосигнал. Такой подход предоставляет ряд преимуществ, включая предоставление возможности с относительной легкостью формирования дополнительных видов и обеспечивая эффективное представление данных, тем самым, например, сокращая требования к ресурсам хранения и связи применительно к 3D видеосигналом. Предпочтительно, видеоданные дополняются данными, которые не видны из доступных точек обзора, однако становятся видимыми с незначительно отличной точки обзора. Эти данные именуются как данные о перекрытии или заднего плана. На практике, данные о перекрытии формируются из данных множества видов, полученных посредством съемки сцены множеством камер с разных точек обзора.
Проблема описанного выше подхода состоит в том, что доступность данных для воссоздания выходящих из перекрытия объектов во вновь формируемых видах может отличаться от кадра к кадру и даже в пределах кадра. Как результат, качество изображений, формируемых для разных точек обзора, может меняться.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
Целью изобретения является предоставление способа кодирования сигнала видеоданных в соответствии с тем, что описывается во вводном абзаце, при этом способ позволяет формировать изображения с разных точек обзора с более высоким качеством.
В соответствии с первым аспектом изобретения, данная цель достигается посредством предоставления способа кодирования сигнала видеоданных, при этом способ содержит этапы, на которых: предоставляют, по меньшей мере, первое изображение сцены, наблюдаемой с первой точки обзора; предоставляют информацию о визуализации, чтобы сделать возможным формирование, по меньшей мере, одного визуализируемого изображения сцены, наблюдаемой с точки обзора визуализации; предоставляют указатель предпочтительного направления, задающий предпочтительную ориентацию точки обзора визуализации относительно первой точки обзора; и формируют сигнал видеоданных, содержащий закодированные данные, представляющие собой первое изображение, информацию о визуализации и указатель предпочтительного направления.
Как объяснено выше, качество изображений, формируемых под разными точками обзора, зависит от доступности данных, требуемых для воссоздания выходящих из перекрытия объектов. Рассмотрим ситуацию, при которой данные доступны для выполнения смещения точки обзора влево, но не для смещения точки обзора вправо. Следовательно, смещение точки обзора влево может привести к формированию изображения с качеством, отличным от того, которое получится при смещении точки обзора вправо.
Аналогичное различие по качеству может наблюдаться, когда для заполнения выходящих из перекрытия площадей доступно недостаточно информации о не перекрытии или информации об отсутствии перекрытия. В такой ситуации выходящие из перекрытия площади могут быть заполнены при помощи так называемых алгоритмов заполнения дыр. Как правило, такие алгоритмы интерполируют информацию в непосредственной близости от выходящей из перекрытия площади. Следовательно, смещение точки обзора влево может привести к формированию изображения с качеством, отличным от того, которое получится при смещении точки обзора вправо.
Такие различия по качеству провоцируются не только доступностью требуемых данных, но также размером и характером площади поверхности, которая выходит из перекрытия при смещении точки обзора. Как результат, качество 3D видео или изображения может меняться исходя из вновь выбираемой точки обзора. Оно может зависеть, например, от того, формируется ли новый вид слева или справа от точки обзора уже доступного первого изображения.
В соответствии с изобретением, решением является формирование указателя предпочтительного направления и включение его в видеосигнал. Указатель предпочтительного направления задает предпочтительную ориентацию точки обзора визуализации для дополнительного вида относительно исходной точки обзора изображения, уже включенного в видеосигнал. При декодировании видеосигнала, индикатор предпочтительного направления может использоваться для выбора точки обзора визуализации и формирования визуализируемого изображения сцены с выбранной точки обзора.
Сигнал видеоданных может содержать указатель предпочтительного направления для каждого кадра, каждой группы кадров, каждой сцены, или даже для всей видеопоследовательности. Кодирование такой информации покадрово в отличие от грубого разбиения позволяет реализовать произвольный доступ; например, для обеспечения комбинированного воспроизведения. Чем чаще для различных кадров указатель предпочтительной визуализации неизменен, а размера кодируемого видеосигнала, как правило, большой, тем объем дублирующих указателей может быть сокращен посредством кодирования информации для группы, нежели покадрово. Еще более эффективным кодированием является кодирование предпочтительного направления из расчета на сцену, если преимущественно предпочтительное направление визуализации остается одинаковым на всем протяжении сцены, тем самым, гарантируя целостность в рамках сцены.
Опционально, когда размер кодируемого сигнала небольшой, то критичная информация может одинаково кодироваться на уровне кадра, группы кадров и сцены, поскольку все указатели установлены согласованно друг с другом.
Поскольку изменения в выборе точки обзора визуализации могут затронуть воспринимаемую целостность контента при визуализации, то указатель предпочтительного направления преимущественно сохраняется постоянным для нескольких кадров. Он, например, может сохраняться постоянным для группы кадров или, в качестве альтернативы, для сцены. Отмечено, что даже в том случае, когда указатель предпочтительного направления сохраняется постоянным для нескольких кадров, тем не менее, преимущественным может быть кодирование постоянного указателя предпочтительного направления с меньшей степенью разбиения, чем это строго необходимо, для обеспечения произвольного доступа.
Предпочтительной ориентацией может быть влево, вправо, вверх, вниз или любым сочетанием этих направлений. В дополнение к ориентации, вместе с указателем предпочтительного направления могут предоставляться предпочтительное расстояние или предпочтительное максимальное расстояние. Если в первом изображении достаточно информации о перекрытых объектах или значений глубины объектов, то может появиться возможность формирования множества высококачественных дополнительных видов с точек обзора, которые могут быть достаточно удалены от исходной точки обзора.
Информация о визуализации может, например, содержать данные о перекрытии, представляющие собой объекты заднего плана, перекрываемые объектами переднего плана в первом изображении, карту глубины, обеспечивающую значения глубины объектов в первом изображении или данные прозрачности для этих объектов.
Указатель предпочтительного направления указывает, применительно к какой возможной точке обзора визуализации доступна наилучшая информация о визуализации. За более подробной информацией в отношении визуализации изображений с послойной глубиной, обратитесь, например, к Международной Заявке WO 2007/063477, которая включена в настоящее описание посредством ссылки. За более подробной информацией в отношении алгоритмов заполнения дыр применительно к использованию, при заполнении выходящих из перекрытия областей при визуализации изображений с послойной глубиной, обратитесь, например, к WO 2007/099465, которая включена в настоящее описание посредством ссылки.
В соответствии с дополнительным аспектом изобретения, предоставляется способ декодирования сигнала видеоданных, при этом сигнал видеоданных содержит закодированные данные, представляющие собой первое изображение сцены, наблюдаемой с первой точки обзора, информацию о визуализации, чтобы предоставить возможность формирования, по меньшей мере, одного визуализируемого изображения сцены, наблюдаемой с точки обзора визуализации и указатель предпочтительного направления, задающий предпочтительную ориентацию точки обзора визуализации относительно первой точки обзора. Способ декодирования содержит этапы, на которых: принимают сигнал видеоданных; в зависимости от указателя предпочтительного направления выбирают точку обзора визуализации; и формируют визуализируемое изображение сцены наблюдаемой с выбранной точки наблюдения визуализации.
Эти и прочие аспекты изобретения очевидны и будут объяснены со ссылкой на описанные далее варианты осуществления.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
На чертежах:
Фиг.1 показывает структурную схему системы для кодирования видеоданных в соответствии с изобретением,
Фиг.2 показывает блок-схему способа кодирования в соответствии с изобретением,
Фиг.3 показывает структурную схему системы для декодирования видеоданных в соответствии с изобретением, и
Фиг.4 показывает блок-схему способа декодирования в соответствии с изобретением.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
Фиг.1 показывает структурную схему системы для кодирования видеоданных в соответствии с изобретением. Система содержит две цифровые видеокамеры 11, 12 и кодировщик 10. Первая камера 11 и вторая камера 12 записывают одинаковую сцену 100, но с чуть разных позиций и, следовательно, также чуть под разными углами. Записанные цифровые видеосигналы с обеих камер 11, 12 отправляются кодировщику 10. Кодировщик может, например, быть частью специального кодирующего блока, видеокарты компьютера или программного обеспечения, реализующего функцию, исполняемую микропроцессором общего назначения. В качестве альтернативы, видеокамеры 11, 12 являются аналоговыми видеокамерами, а аналоговые видеосигналы преобразуются в цифровые видеосигналы перед тем, как они подаются на вход кодировщика 10. Если видеокамеры объединены с кодировщиком 10, то кодирование может происходить во время записи сцены 100. Также существует возможность сначала записать сцену 100 и позже предоставить записанные видеоданные кодировщику 10.
Кодировщик 10 принимает цифровые видеоданные от видеокамер 11, 12, либо непосредственно, либо опосредованно, и объединяет оба цифровых видеосигнала в один 3D видеосигнал 15. Должно быть отмечено, что обе видеокамеры 11, 12 могут быть объединены в одну 3D видеокамеру. Также существует возможность использования более двух видеокамер для съемки сцены 100 с более чем двух точек обзора.
Фиг.2 показывает блок-схему способа кодирования в соответствии с изобретением. Данный способ кодирования может выполняться кодировщиком 10 системы с Фиг.1. Способ кодирования использует записанные цифровые видеоданные с камер 11, 12 и предоставляет сигнал 15 видеоданных в соответствии с изобретением. На этапе 21 предоставления базового изображения предоставляется, по меньшей мере, первое изображение сцены для включения в сигнал 15 видеоданных. Данное базовое изображение может быть стандартными 2D видеоданными, исходящими из одной из двух камер 11, 12. Кодировщик 10 также может использовать два базовых изображения; одно с первой камеры 11 и одно со второй камеры 12. Из базовых изображений могут быть получены значения цветов всех пикселей в каждом кадре записанного видео. Базовые изображения представляют собой сцену в конкретный момент времени, наблюдаемую с конкретной точки обзора. Далее, конкретная точка обзора будет именоваться базовой точкой обзора.
На этапе 22 обеспечения возможности 3D входящие видеоданные с видеокамер 11, 12 используются для добавления информации к базовому изображению. Данная добавляемая информация должна позволить декодеру сформировать визуализируемое изображение одной и той же сцены с другой точки обзора. Далее, данная добавляемая информация именуется информацией о визуализации. Информация о визуализации может, например, содержать информацию о глубине или значения прозрачности объектов в базовом изображении. Информация о визуализации так же может описывать объекты, обзор которых блокируется с базовой точки обзора объектами, которые видны на базовом изображении. Кодировщик использует известные, предпочтительно стандартизованные, способы для получения данной информации о визуализации из записанных обычных видеоданных.
На этапе 23 указания направления кодировщик 10 дополнительно добавляет указатель предпочтительного направления к информации о визуализации. Указатель предпочтительного направления задает предпочтительную ориентацию точки обзора визуализации относительно базовой точки обзора применительно к дополнительному виду. Позже, когда видеосигнал декодируется, указатель предпочтительного направления может использоваться для выбора точки обзора визуализации и формирования визуализируемого изображения сцены 100 с выбранной точки обзора. Как описано выше, качество 3D видео или изображения может меняться исходя из вновь выбранной точки обзора. Влиять может, например, то, формируется ли новый вид слева или справа от точки обзора уже доступного первого изображения. Указатель предпочтительного направления, который добавляется к информации о визуализации, может, например, быть единственным битом, указывающим направление влево или вправо. Расширенный указатель предпочтительного направления также может указывать направление вверх или вниз и/или, предпочтительное или максимальное расстояние новой точки обзора от базовой точки обзора.
В качестве альтернативы, указатель предпочтительного направления может предоставлять предпочтительную ориентацию и/или расстояние нескольких точек обзора визуализации относительно первой точки обзора. Например, предпочтительным может быть формирование двух точек обзора визуализации с одной и той же стороны от первой точки обзора или по одной с каждой из сторон. Предпочтительная позиция(ии) точки(ек) обзора визуализации относительно первой точки обзора может зависеть от расстояния между этими двумя точками. Например, более выгодным может быть визуализировать изображение с точки обзора слева от первой точки обзора, когда обе точки обзора близки друг к другу; при этом при большом расстоянии между двумя точками обзора для формирования точки обзора визуализации более приемлемым может быть направление слева от первой точки обзора.
Решение о том, какое конкретное направление более предпочтительно может приниматься автоматически; например, при кодировании стереопары как изображения с послойной глубиной, при помощи изображения, глубины и представления перекрытия, существует возможность использования либо левого, либо правого изображения в качестве изображения с послойной глубиной, и воссоздания на его основе другого изображения. Позже для обоих вариантов может вычисляться метрика отличий и на ее основе может определяться предпочтительное кодирование и вслед за ним направление.
Предпочтительно отличия взвешиваются исходя из модели зрительной перспективной системы человека. В качестве альтернативы, в частности в рамках профессиональной настройки, предпочтительное направление может выбираться на основе взаимодействия пользователя.
На этапе 24 формирования сигнала информация, предоставленная на предыдущих этапах 21, 22, 23, используется для формирования сигнала 15 видеоданных в соответствии с изобретением. Сигнал 15 видеоданных представляет собой, по меньшей мере, первое изображение, информацию о визуализации и указатель предпочтительного направления. Указатель предпочтительного направления может предоставляться для каждого кадра, для группы кадров или для сцены целиком или даже всего видео. Изменение позиции точки обзора визуализации в пределах сцены может негативно влиять на воспринимаемое качество 3D изображения, но с другой стороны может быть необходимо, если доступность информации о визуализации для разных направлений меняется в значительной степени.
Фиг.3 показывает структурную схему системы для декодирования видеоданных в соответствии с изобретением. Система содержит декодер 30 для приема сигнала 15 видеоданных и преобразования сигнала 15 видеоданных в сигнал отображения, который приемлем для отображения на дисплее 31. Сигнал 15 видеоданных может поступать на декодер 30 как часть вещательного сигнала, например, через спутниковую или кабельную передачу. Сигнал 15 видеоданных также может предоставляться по запросу, например, через Интернет или через услугу видео по запросу. В качестве альтернативы, сигнал 15 видеоданных предоставляется на носителе цифровых данных, таком как диск DVD или Blu-ray.
Дисплей 31 выполнен с возможностью обеспечения 3D представления сцены 100, которая была снята и закодирована кодировщиком 10 системы с Фиг.1. Дисплей 31 может содержать декодер 30 или может быть объединен с декодером 30. Например, декодер 30 может быть частью приемника 3D видео, который соединен с одним или более обычными телевизионными или компьютерными дисплеями. Предпочтительно, дисплей является специализированным 3D дисплеем 31, выполненным с возможностью предоставления разных видов для разных глаз зрителя.
Фиг.4 показывает блок-схему способа декодирования в таком виде, в каком он может выполняться декодером 30 с Фиг.3. На этапе 41 приема видеоданных сигнал 15 видеоданных, закодированный кодировщиком 10, принимается на входе декодера 30. Принятый сигнал 15 видеоданных содержит закодированные данные, представляющие собой, по меньшей мере, первое изображение сцены 100, информацию о визуализации и указатель предпочтительного направления.
На этапе 42 выбора дополнительной точки обзора указатель предпочтительного направления используется для выбора, по меньшей мере, одной дополнительной точки обзора для соответствующего дополнительного вида. На этапе 43 визуализации дополнительного вида формируются один или более дополнительные виды с выбранной точки обзора и точек обзора. Затем на этапе 44 отображения два или более вида с разных точек обзора могут предоставляться дисплею 31 для показа сцены 100 в 3D.
Должно быть принято во внимание, что изобретение также распространяется на компьютерные программы, а именно компьютерные программы на или в носителе, выполненном с возможностью реализации изобретения на практике. Программа может быть выполнена в виде исходного кода, объектного кода, промежуточного кода между исходным кодом и объектным кодом, как, например, в частично компилированном виде, или в любом другом виде приемлемом для использования при реализации способа в соответствии с изобретением. Также должно быть принято во внимание, что такая программа может иметь множество разных архитектурных исполнений. Например, программный код, реализующий функциональные возможности способа или системы в соответствии с изобретением, может быть подразделен на одну или более подпрограммы. Специалисту в соответствующей области будет очевидно многообразие способов распределения функциональных возможностей между этими подпрограммами. Подпрограммы могут храниться вместе в одном исполняемом файле, образуя модульную программу. Такой исполняемый файл может содержать исполняемые компьютером инструкции, например, процессорные инструкции и/или интерпретируемые инструкции (например, интерпретируемые инструкции Java). В качестве альтернативы, одна или более из или все подпрограммы могут храниться в, по меньшей мере, одном файле внешней библиотеки и могут, например, во время работы подключаться к основной программе либо статически, либо динамически. Основная программа содержит, по меньшей мере, одну функцию вызова, по меньшей мере, одной из подпрограмм. Также подпрограммы могут содержать вызовы функций друг друга. Вариант осуществления, относящийся к компьютерному программному продукту, содержит исполняемые компьютером инструкции, соответствующие каждому из этапов обработки, по меньшей мере, одного из изложенных способов. Эти инструкции могут подразделяться на подпрограммы и/или храниться в одном или более файлах, которые могут подключаться статически или динамически. Другой вариант осуществления, относящийся к компьютерному программному продукту, содержит исполняемые компьютером инструкции соответствующие каждому из средств, по меньшей мере, одной из изложенных здесь систем и/или продуктов. Эти инструкции могут подразделяться на подпрограммы и/или могут храниться в одном или более файлах, которые могут подключаться статически или динамически.
Носитель компьютерной программы может быть любым объектом или устройством, выполненным с возможностью переноса программы. Например, носитель может включать в себя носитель данных, такой как ROM, например CD-ROM, или полупроводниковое ROM, или магнитный носитель записи, например, гибкий диск или жесткий диск. Дополнительно носитель может быть передаваемым носителем, таким как электрический или оптический сигнал, который может передаваться через электрический или оптический кабель или посредством радио передачи или другого средства. При воплощении программы в таком сигнале носителем может являться такой кабель или другое устройство, или средство. В качестве альтернативы, носителем может быть интегральная микросхема, в которую встроена программа, при этом интегральная микросхема выполнена с возможностью выполнения или использования при выполнении соответствующего способа.
Должно быть отмечено, что упомянутые выше варианты осуществления иллюстрируют, нежели ограничивают изобретение, и что специалист в соответствующей области будет способен разработать множество альтернативных вариантов осуществления, не отступая от объема прилагаемой формулы изобретения. В формуле изобретения любые ссылочные обозначения, помещенные в круглые скобки, не должны рассматриваться как ограничивающие пункт формулы изобретения. Использование глагола «содержит» и его спряжений не исключает наличие элементов или этапов, отличных от тех, что перечислены в пункте формулы изобретения. Использование единственного числа в отношении элементов не исключает наличия множества таких элементов. Изобретение может быть реализовано посредством аппаратного обеспечения, содержащего несколько отдельных элементов, и посредством приемлемого запрограммированного компьютера. В пункте формулы изобретения устройства при перечислении нескольких средств, некоторые из этих средств могут быть воплощены посредством одного и того же элемента аппаратного обеспечения. Всего лишь факт того, что конкретные меры размещаются в обоюдно разных зависимых пунктах формулы изобретения, не указывает на то, что для получения преимущества не может использоваться сочетание этих мер.