(57)【要約】【解決手段】  本発明は、３次元コンテンツに画像を重ね合わせる方法に関する。３次元コンテンツおよび当該３次元コンテンツに画像を重ね合わせるための奥行きマップ（ＤＭ、ＤＭ´）を含むビデオストリームを受信する。ビデオストリームを受信すると、奥行きマップ（ＤＭ）に応じて決まる位置で奥行きを持たせて、３次元コンテンツに画像を重ね合わせる。奥行きマップは、３次元コンテンツの奥行きに関する情報を含み、ビデオストリームのフレーム（Ｃ）に含まれている画像として挿入される。奥行きマップは、３次元コンテンツに対応付けられている２次元画像よりも画素数が少ない。本発明はさらに、当該方法を実行するデバイスにも関する。【選択図】  図５
2013539256.tif 000002
【特許請求の範囲】
【請求項１】
３次元コンテンツを再生するデバイスであって、
３次元コンテンツを含むビデオストリームを受信する手段と、
前記３次元コンテンツと画像とを組み合わせる手段と
を備え、
前記３次元コンテンツと画像とを組み合わせる手段は、前記３次元コンテンツに画像を重ね合わせる方法を実行し、
前記３次元コンテンツおよび前記３次元コンテンツに画像を重ね合わせるための奥行きマップを含むビデオストリームを受信し、
前記奥行きマップは、前記３次元コンテンツの奥行きに関する情報を含み、前記ビデオストリームのフレーム内に画像として挿入されており、
前記奥行きマップは、再生時に前記３次元コンテンツに画像を重ね合わせることのみを目的として送信され、前記画像の重ね合わせは、前記奥行きマップに応じた位置で奥行きを持たせつつ行なわれ、
前記奥行きマップは、前記３次元コンテンツに対応付けられている２次元画像よりも画素数が少ないデバイス。
【請求項２】
前記奥行きマップは、前記３次元コンテンツのうち下半分、好ましくは、下３分の１の画素の奥行きに関する情報のみを含む請求項１に記載のデバイス。
【請求項３】
前記奥行きマップは、解像度が不均一であり、特に、前記奥行きマップの下半分または下３分の１は、上側よりも解像度が高い請求項１または２に記載のデバイス。
【請求項４】
前記奥行きマップは、前記３次元コンテンツに対応付けられている２次元画像よりも解像度が低い請求項１から３のいずれか一項に記載のデバイス。
【請求項５】
前記３次元コンテンツは、複数の画素から構成される画像であり、
前記奥行きマップは、前記３次元コンテンツの前記複数の画素の奥行きに対応する構成要素を持つ奥行きマップをアンダーサンプリングすることによって得られる請求項４に記載のデバイス。
【請求項６】
前記奥行きマップをアンダーサンプリングした後、アンダーサンプリングされた前記奥行きマップは、複数のブロックに分割され、各ブロックの画素毎に、同一の値を割り当て、前記値は、前記各ブロックの画素の最小奥行き、または、前記各ブロックの画素の奥行きの平均値に等しい請求項５に記載のデバイス。
【請求項７】
前記奥行きマップをアンダーサンプリングする前、前記奥行きマップは、複数のブロックに分割され、各ブロックの画素毎に、同一の値を割り当て、前記値は、前記各ブロックの画素の最小奥行き、または、前記各ブロックの画素の奥行きの平均値に等しい請求項５に記載のデバイス。
【請求項８】
前記複数のブロックのサイズは、２×２画素の基礎ブロックの倍数に等しい請求項６または７に記載のデバイス。
【請求項９】
前記奥行きマップは、前記フレームのうち表示用でない部分に入力する請求項１から８のいずれか一項に記載のデバイス。
【請求項１０】
前記奥行きマップは、前記フレームのうち、前記３次元コンテンツが占有していない複数の領域に分散する複数のブロックに分割される請求項１から９のいずれか一項に記載のデバイス。
【請求項１１】
前記フレームは、右画像、左画像および前記奥行きマップを含み、
前記奥行きマップは、前記フレームのうち、前記３次元コンテンツが占有していない複数の領域に分散する複数のブロックに分割され、
前記フレームは、Ｈ．２６４符号化規格に応じて符号化される請求項１から１０のいずれか一項に記載のデバイス。
【請求項１２】
前記３次元コンテンツは、２次元画像と、立体視用の一対の一方の画像を再構築させる情報とを含み、
前記奥行きマップは、前記２次元画像の一部に入力されている請求項１から９のいずれか一項に記載のデバイス。
【請求項１３】
前記フレームは、前記フレーム内での前記奥行きマップの位置を受信機に示すフラグを含む請求項１から１２のいずれか一項に記載のデバイス。
【請求項１４】
前記ビデオストリームは、前記フレーム内での前記奥行きマップの位置を受信機に示すフラグを含み、前記フラグは、前記フレームの外部にある請求項１から１３のいずれか一項に記載のデバイス。
【請求項１５】
３次元コンテンツに画像を重ね合わせる方法であって、
前記３次元コンテンツおよび前記３次元コンテンツに画像を重ね合わせるための奥行きマップを含むビデオストリームを受信し、
前記奥行きマップは、前記３次元コンテンツの奥行きに関する情報を含み、前記ビデオストリームのフレーム内に画像として挿入されており、
前記奥行きマップは、再生時に前記３次元コンテンツに画像を重ね合わせることのみを目的として送信され、前記画像の重ね合わせは、前記奥行きマップに応じた位置で奥行きを持たせつつ行なわれ、
前記奥行きマップは、前記３次元コンテンツに対応付けられている２次元画像よりも画素数が少ない方法。
【請求項１６】
前記奥行きマップは、前記３次元コンテンツのうち下半分、好ましくは、下３分の１の画素の奥行きに関する情報のみを含む請求項１５に記載の方法。
【請求項１７】
前記奥行きマップは、解像度が不均一であり、特に、前記奥行きマップの下半分または下３分の１は、上側よりも解像度が高い請求項１５または１６に記載の方法。
【請求項１８】
前記奥行きマップは、前記３次元コンテンツに対応付けられている２次元画像よりも解像度が低い請求項１５から１７のいずれか一項に記載の方法。
【請求項１９】
前記３次元コンテンツは、複数の画素から構成される画像であり、
前記奥行きマップは、前記３次元コンテンツの前記複数の画素の奥行きに対応する構成要素を持つ奥行きマップをアンダーサンプリングすることによって得られる請求項１８に記載の方法。
【請求項２０】
前記奥行きマップをアンダーサンプリングした後、アンダーサンプリングされた前記奥行きマップは、複数のブロックに分割され、各ブロックの画素毎に、同一の値を割り当て、前記値は、前記各ブロックの画素の最小奥行き、または、前記各ブロックの画素の奥行きの平均値に等しい請求項１９に記載の方法。
【請求項２１】
前記奥行きマップをアンダーサンプリングする前、前記奥行きマップは、複数のブロックに分割され、各ブロックの画素毎に、同一の値を割り当て、前記値は、前記各ブロックの画素の最小奥行き、または、前記各ブロックの画素の奥行きの平均値に等しい請求項１９に記載の方法。
【請求項２２】
前記複数のブロックのサイズは、２×２画素の基礎ブロックの倍数に等しい請求項２０または２１に記載の方法。
【請求項２３】
前記奥行きマップは、前記フレームのうち表示用でない部分に入力する請求項１５から２２のいずれか一項に記載の方法。
【請求項２４】
前記奥行きマップは、前記フレームのうち、前記３次元コンテンツが占有していない複数の領域に分散する複数のブロックに分割される請求項１５から２３のいずれか一項に記載の方法。
【請求項２５】
前記フレームは、右画像、左画像および前記奥行きマップを含み、
前記奥行きマップは、前記フレームのうち、前記３次元コンテンツが占有していない複数の領域に分散する複数のブロックに分割され、
前記フレームは、Ｈ．２６４符号化規格に応じて符号化される請求項１５から２４のいずれか一項に記載の方法。
【請求項２６】
前記３次元コンテンツは、２次元画像と、立体視用の一対の一方の画像を再構築させる情報とを含み、
前記奥行きマップは、前記２次元画像の一部に入力されている請求項１５から２３のいずれか一項に記載の方法。
【請求項２７】
前記フレームは、前記フレーム内での前記奥行きマップの位置を受信機に示すフラグを含む請求項１５から２６のいずれか一項に記載の方法。
【請求項２８】
前記ビデオストリームは、前記フレーム内での前記奥行きマップの位置を受信機に示すフラグを含み、前記フラグは、前記フレームの外部にある請求項１５から２７のいずれか一項に記載の方法。
【請求項２９】
複数のフレームを備える立体視ビデオストリームであって、
前記立体視ビデオストリームは、少なくとも１つの３次元コンテンツと、画像として前記複数のフレームのうち一のフレームに挿入されている少なくとも１つの奥行きマップとを備え、
前記奥行きマップは、前記３次元コンテンツに対応付けられている２次元画像よりも画素数が少なく、前記立体視ビデオストリームは、請求項１５から２８のいずれか一項に記載の方法で利用される立体視ビデオストリーム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体表示デバイスにおいて、ローカルに生成された画像を、当該デバイスで受信した３次元コンテンツに重ねて合成する方法およびデバイスに関する。
【背景技術】
【０００２】
テレビ装置（テレビセットおよびデコーダ）は、テキストおよびグラフィクスを含む画像をローカルに生成して、受信した画像に重ねることができることが知られている。このため、ビデオを背景で再生しながらユーザにさまざまな種類の有用な情報を提供することが可能である。
【０００３】
このような画像は、ビデオ信号と共に受信した情報（例えば、字幕および電子番組ガイド（ＥＰＧ）の場合）から生成することができる。または、デコーダまたはテレビセットの設定および構成に関する情報（例えば、メニューまたは音量等のパラメータを示す棒）を提供するとしてもよい。
【０００４】
今日では、市販されている３Ｄコンテンツの量が大幅に増加し、このようなコンテンツを楽しむのはもはや映画に限られず、ユーザは３Ｄビデオを家庭にある自分のテレビセットで視聴できる。
【０００５】
このため、３Ｄビデオについても、ローカルに生成された画像を受信したテレビ画像に重ねることが必要である。
【０００６】
２Ｄビデオストリームに比べて、３Ｄビデオストリームへの画像重ね合わせは複雑になる。これは、ビデオストリームを構成している各画像に含まれているオブジェクトが異なる奥行き感で配置されていることを考慮することが必要なためである。
【０００７】
欧州特許出願２１５７８０３Ａ１号では、テレビ画像の前に常にテキストが来るような位置にテキストを位置決めする方法が教示されている。具体的には、奥行きマトリクスが追加された２次元画像として３Ｄコンテンツが放送される場合、テキストの位置を定めるためにも奥行きマトリクスを利用することができる。
【０００８】
この解決方法には、基礎となる２次元画像から右画像および左画像の対（組み合わせることで、３Ｄ効果が得られる）を作成するために利用されるので、非常に大きな奥行きマップを利用するという欠点がある。テキストの位置を定めるためにこのマップを分析する際の大量の演算が必要となることに加えて、このマップのサイズのために、受信機にこのマップを送信する際に高帯域幅を利用することになる。
【０００９】
国際特許出願２００８／０３８２０５号には、主要な３Ｄ画像と、この主要画像に重ねられていないテキストまたはグラフィックである追加の２Ｄ画像または３Ｄ画像とから成る（３Ｄディスプレイで表示されるべき）３Ｄ画像を構成する方法が記載されている。いずれの種類の画像も、２Ｄ画像と、関連する奥行きマップとによって構成されている。いずれの種類の画像の奥行きマップも、表示すべき画像を再構築するべく、受信側で、対応する２Ｄ画像と組み合わせられる。
【００１０】
欧州特許出願第１７０５９２９号では、受信側で３Ｄ画像を再構築するために利用される奥行きに関する情報と、３Ｄ画像を構成する２つの２Ｄ画像のうち一方とをフレーム内で合成することによって、３Ｄ画像の送信を編集する方法が説明されている。
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明の目的は、先行技術に係る欠点を克服可能である、立体視ビデオストリームが搬送する３次元コンテンツと画像とを合成する方法およびシステムを提供する。
【００１２】
具体的には、本発明の一の目的は、３Ｄコンテンツ再生側で必要な演算コストが低減されるような、３Ｄコンテンツへ画像を重ね合わせる方法を提供することにある。
【００１３】
本発明の別の目的は、高帯域幅を利用する必要がなく、立体視ビデオストリームの符号化処理および復号化処理に対してロバストな、立体視ビデオストリームによって搬送されたコンテンツに画像を重ね合わせるために必要な情報を送信する方法を提供することにある。
【課題を解決するための手段】
【００１４】
本発明の上記およびその他の目的は、立体視ビデオストリームによって搬送されたコンテンツに画像を重ね合わせるための方法およびシステムであって、特許請求の範囲に記載された特徴を持つ方法およびシステムによって実現される。特許請求の範囲は、本明細書の不可欠な一部とする。
【００１５】
本発明の基礎となっている一般的な概念は、再生時において、立体視ストリームのフレームに含まれている画像に符号化されている重ね合わせ奥行きマップを利用して、立体視ストリームに重ね合わせて要素を表示する点にある。本発明で利用する奥行きマップは、復号器またはテレビセットに、ローカルに生成された画像を適切に立体画像に重ね合わせるために有用な情報を供給するということのみを目的として送信されているので、立体視ビデオストリームを符号化することを目的としたものではない。このため、奥行きマップは、立体視用の画像対よりも解像度が低くなっているので、画素数が少なくなっている。このため、帯域幅の占有が制限される。これは、３次元画像を生成する場合にマップが利用されず、オーバーレイを適切な位置に置くことのみを目的とするので、可能である。
【００１６】
好ましい実施形態によると、フレームは、適切に多重化されている、右画像と、左画像と、奥行きマップとを備える合成画像を搬送する。
【００１７】
一実施形態によると、右画像および左画像は、従来の形式に応じて、例えば、横並びに、上下に、または、格子状に配置されている一方、奥行きマップは、合成フレームの自由領域に挿入されており表示用ではない。
【００１８】
別の実施形態によると、合成フレームにおける右画像および左画像の並べ方が、新規である。本実施形態によると、フレームは、右画像および左画像の両方の元の形式（つまり、符号化前）の画素の合計よりも多い複数の画素を含み、デシメーションを実行することなく入力される。
【００１９】
本実施形態では、第１の画像（例えば、左画像）の画素を変化させることなく合成画像に入力するが、第２の画像は、複数の領域に分割され、これらの領域の画素は合成画像の自由領域に配置される。この解決方法によると、２つの画像のうち一方をそのままとすることによって、再構築した画像の質が改善されるという利点が得られる。
【００２０】
第２の画像は、できる限り少ない数の領域に分割して、画素間の空間相関を最大限まで高め、圧縮ステップにおいてアーチファクト発生を少なくするという利点がある。
【００２１】
有益な実施形態によると、第２の画像の領域は、並進または回転並進のみを利用して合成画像に入力される。このため、水平方向解像度と垂直方向解像度との間の比率は変わらないままである。
【００２２】
別の実施形態によると、第２の画像を分割して得られた複数の領域のうち少なくとも１つは、鏡面反転ステップが実施される。つまり、一の軸（特に、一辺）に対して反転させ、合成画像内において、一辺が、境界において同一または同様の画素を持つ他方の画像の一辺と隣接するように配置する。これは、２つの右画像および左画像の対応する画素同士、つまり、２つの画像の同一行および同一列に配置される画素同士に強い相関関係があるためである。
【００２３】
この解決方法によれば、境界領域においてアーチファクトの発生が少なくなるという利点が得られる。別の利点として、境界領域が合成画像を対角線方向に横切るように配置された三角形状の領域を利用する解決方法に比べて、第２の画像を分割して得られる領域は矩形形状を持つことが挙げられる。これによって、特に圧縮ステップが正方形状の画素ブロック（例えば、Ｈ．２６４規格の場合１６×１６）に対して行われる場合、その後に行われる圧縮ステップにおいて発生するアーチファクトが低減される。
【００２４】
特に有益な実施形態によると、アーチファクトの形成は、合成画像に冗長性を取り入れることによって、つまり、一部の画素群を複数回複製することによって、さらに低減されるか、または、完全に無くなる。具体的には、合成画像に入力すべき基礎となる画像を複数の領域に分割することによってこの効果が得られる。この際、これらの領域の画素の総数が、基礎となる画像の画素の数よりも多くなるような寸法の領域に分割する。つまり、基礎となる画像を分割して得られる複数の領域のうち少なくとも２つの領域は、共通する画像部分を持つ。共通画像部分は、分割後の画像において互いに隣接する領域同士の間の境界領域である。この共通画像部分のサイズは、合成画像に対して後に適用されるべき圧縮の種類に応じて決まることが好ましく、分割後の画像が再構築される場合に部分的または完全に除去されるバッファ領域として機能するとしてよい。分割して得られる領域の境界領域には圧縮によってアーチファクトが発生する可能性があるので、バッファ領域を除去することによって、または、少なくともその最も外側の部分を除去することによって、アーチファクトを除去して、元の画像に忠実に画像再構築を行うことが可能になる。
【００２５】
本発明のその他の目的および利点は、以下に記載する幾つかの実施形態の説明からより明らかとなる。実施形態は、本発明を限定するものではなく一例として紹介している。
【図面の簡単な説明】
【００２６】
上記の実施形態について、添付図面を参照しつつ説明する。図面は以下の通りである。
【図１】右画像および左画像を多重化して合成画像を形成するデバイスを示すブロック図である。
【図２】図１のデバイスが実行する方法を説明するためのフローチャートである。
【図３】合成画像に入力されるべき画像の第１の分割状態を示す図である。
【図４】本発明の一実施形態に係る、第１の合成画像構築ステップを説明する図である。
【図５】図４の完成した合成画像を示す図である。
【図６】合成画像に入力すべき画像の第２の分割状態である。
【図７】図６の画像を含む合成画像を示す図である。
【図８】合成画像に入力すべき画像の第３の分割状態である。
【図９】図８の画像を含む合成画像である。
【図１０】本発明に係る方法で生成された合成画像を受信する受信機を示すブロック図である。
【図１１】図８の方法によって分割され、図１０の受信機が受信した合成画像に入力された画像を再構築する複数のステップである。
【図１２】図９に示す種類の合成画像に多重化される右画像および左画像を再構築する方法を説明するためのフローチャートである。
【図１３】本発明の第４の実施形態に係る合成画像を示す図である。
【図１４】（ａ）から（ｆ）は、図１３の合成画像に右画像および左画像を入力するために実行されるさまざまな処理段階での右画像および左画像を示す図である。  適切な場合には、同様の構造、構成要素、材料および／または部材は、複数の図面にわたって、同様の参照番号で指定する。
【発明を実施するための形態】
【００２７】
図１は、立体視ビデオストリーム１０１によって搬送されるビデオコンテンツに画像を重ね合わせるための奥行きマップを含む立体視ビデオストリーム１０１を生成するデバイス１００を示すブロック図である。
【００２８】
本発明において、３次元（３Ｄ）コンテンツは、観察者にさまざまな奥行きを感じさせ、画像またはビデオを表示または投影しているスクリーン面から構成要素が飛び出してくる画像またはビデオである。
【００２９】
「２つの画像を重ね合わせる」という表現は、本明細書において、任意の形式で、例えば、透明状態で、半透明状態で、または、完全に不透明な状態で２つの画像を組み合わせることを意味する。
【００３０】
本発明は、静的または動的のいずれであっても、つまり、グラフィック特性が一定または経時可変性のいずれであっても、どのような種類の重ね合わせにも等しく適用される。グラフィック特性は、２次元特性または３次元特性であるとしてよい。
【００３１】
３次元コンテンツの奥行は、３Ｄコンテンツを表示しているスクリーンに直交する軸に沿ってスクリーンに入力される３次元コンテンツの寸法に関連している。本明細書において、スクリーンは、奥行きゼロポイントに対応し、「最小奥行き」ポイントは、３Ｄコンテンツのうち、自身に最も近いとユーザが感知するポイント、つまり、スクリーンから最も離れているポイントである。したがって、「最大奥行き」ポイントは、観察者がスクリーン内で最も深いと感知するポイント、つまり、スクリーン平面を超えて自分自身から最も遠いポイントである。
【００３２】
図１において、デバイス１００は、左目（Ｌ）用および右目（Ｒ）用である２つの画像シーケンス１０２および１０３、例えば、２つのビデオストリームと、奥行きマップシーケンス１０６が入力される。シーケンス１０６に含まれる各奥行きマップは、シーケンス１０２および１０３に含まれる一対の右画像および左画像に対応付けられる。本実施形態では、奥行きマップは、右画像を左画像と比較して、比較した２つの画像のうち一方の画素数に等しいサイズを持つマトリクス（奥行きマップ）を作成する公知のアルゴリズムを用いて生成される。この奥行きマップの構成要素は、表示される各画素の奥行きに比例する値を持つ。別の奥行きマップ生成方法は、シーン内のオブジェクトと、当該シーンを撮影している一対のビデオカメラとの間の距離を測定する。この距離は、レーザを利用することで、容易に測定することができる。電子コンピュータを利用して生成された人工的なビデオストリームの場合、ビデオカメラは、仮想的なビデオカメラであり、コンピュータが人工的に形成した特定シーンの２つの視点から成る。別の実施形態によると、一の奥行きマップは、右画像および左画像から成る画像対の複数に対応付けられている。この場合、奥行きマップの各構成要素について選択される値は、複数の異なるフレームにおける画素の最小奥行き値である。本実施形態では、奥行きマップは、対応付けられているフレーム群毎に一回入力され、デバイス１００にかかる負荷を減らすことが好ましい。デバイス１００には、一の奥行きマップと、右画像および左画像から成る画像対の複数とを対応付ける情報も入力される。
【００３３】
図１に示す例に代えて、シーケンス１０６に含まれる奥行きマップは、デバイス１００内で生成されるとしてもよい。この場合、デバイス１００は、シーケンス１０２および１０３の画像ＬおよびＲが入力され、対応する奥行きマップを生成する適切なモジュールを備える。
【００３４】
デバイス１００は、２つのシーケンス１０２および１０３の２つの画像、ならびに、シーケンス１０６の奥行きマップを多重化する方法を実行する。
【００３５】
デバイス１００は、右画像および左画像、ならびに、奥行きマップを多重化する方法を実行するべく、入力画像（図１の例の場合、右画像）を、それぞれが受信した画像の一の領域に対応する複数のサブ画像に分割する分割モジュール１０４と、奥行きマップを処理するアンダーサンプリングおよびフィルタリングモジュール１０７と、奥行きマップを含めて受信した画像の画素を、出力として提供すべき一の合成画像に入力可能な合成モジュール１０５とを備える。シーケンス１０６の処理が不要である場合、モジュール１０７は省略するとしてもよい。これは、例えば、奥行きマップがレーザを利用して生成され、始めから、画像Ｌおよび画像Ｒよりも解像度が低い場合である。
【００３６】
デバイス１００が実行する多重化方法の一例は、図２を参照しつつ以下で説明する。
【００３７】
当該方法は、ステップ２００で開始される。この後（ステップ２０１）、２つの入力画像のいずれか（右画像または左画像）を、図３に示すように、複数の領域に分割する。図３の例では、分割された画像は、ビデオストリーム７２０ｐのフレームＲ、つまり、解像度が１２８０×７２０画素、２５／３０ｆｐｓ（毎秒フレーム数）でプログレッシブ形式である。
【００３８】
図３のフレームＲは、右目用の画像を搬送するビデオストリーム１０３から得たものであり、３つの領域Ｒ１、Ｒ２およびＲ３に分割される。
【００３９】
画像Ｒの分割は、サイズが同じ２つの部分に分割した後、一方を同じサイズの２つの部分にさらに分割することによって行う。
【００４０】
領域Ｒ１は、サイズが６４０×７２０画素であり、全行の最初の６４０個の画素を全て持つ。領域Ｒ２は、サイズが６４０×３６０画素であり、最初の３６０行のうち６４１から７２０までの画素を持つ。領域Ｒ３は、サイズが６４０×３６０画素であり、画像Ｒの残りの画素、つまり、最後の３６０行のうち６４１から７２０の画素を持つ。
【００４１】
図１の例では、画像Ｒを分割するステップは、モジュール１０４によって実行される。モジュール１０４は、入力画像Ｒ（この場合、フレームＲ）を受信して、３つの領域Ｒ１、Ｒ２およびＲ３に対応する３つのサブ画像（つまり、３つの画素群）を出力する。
【００４２】
この後（ステップ２０２、２０３および２０５）、合成画像Ｃが構築される。合成画像Ｃは、右画像および左画像の両方に関する情報、および、受信した奥行きマップに関する情報を含む。本明細書で説明する例では、合成画像Ｃは、出力立体視ビデオストリームのフレームであるので、コンテナフレームとも呼ばれる。
【００４３】
最初に（ステップ２０２）、デバイス１００が受信したが、デバイス１０５が分割しない入力画像（図１の例では左画像Ｌ）が、入力画像の両方の画素をすべて含むようなサイズを持つコンテナフレームに、そのまま入力される。例えば、入力画像のサイズが１２８０×７２０画素である場合、両方を含むのに適したコンテナフレームは、１９２０×１０８０画素のフレームである。例えば、１０８０ｐ型のビデオストリームのフレーム（プログレッシブ形式、１９２０×１０８０画素、毎秒フレーム数は２５／３０）である。
【００４４】
図４の例では、左画像Ｌは、コンテナフレームＣに入力され、左上の隅に配置される。これは、画像Ｌの１２８０×７２０画素を、コンテナフレームＣのうち、最初の７２０行のうち最初の１２８０画素から成る領域Ｃ１に複製することによって行われる。
【００４５】
以下の記載において「画像をフレームに入力する」という記載がある場合、または、一のフレームから別のフレームに画素を複製または転写するという記載がある場合、ソース画像と同一画素から成る新しいフレームを（ハードウェア手段および／またはソフトウェア手段を利用して）生成する手順を実行することを意味すると理解されたい。
【００４６】
（ソフトウェアおよび／またはハードウェア）を利用してターゲット画像にソース画像（または、ソース画像の画素群）を再生成する方法は、本発明に関しては重要でないと見なされ、当業者には公知であるので、本明細書ではこれ以上説明しない。
【００４７】
次のステップ２０３において、モジュール１０４がステップ２０１で分割した画像を、コンテナフレームに入力する。これは、モジュール１０５が、分割された画像の画素を、コンテナフレームＣのうち、画像Ｌが占有していない複数の領域、つまり、領域Ｃ１の外部の領域に複製することによって行われる。
【００４８】
圧縮を最適化して、ビデオストリームを解凍する際のアーチファクトの発生を抑制するべく、モジュール１０４が出力するサブ画像の画素は、対応する空間関係を維持しつつ複製される。言い換えると、領域Ｒ１、Ｒ２およびＲ３は、変形を行うことなく、並進および／または回転のみで、フレームＣの複数の領域に複製される。
【００４９】
モジュール１０５が出力するコンテナフレームＣの一例を図５に示す。
【００５０】
領域Ｒ１は、最初の７２０行の最後の６４０画素（領域Ｃ２）、つまり、既に複製されている画像Ｌの隣に複製される。
【００５１】
領域Ｒ２およびＲ３は、領域Ｃ１の下方に複製される。つまり、最後の３６０行の最初の６４０画素、および、続く６４０画素を含む領域Ｃ３およびＣ４に複製される。
【００５２】
図５に示した解決方法に代えて、領域Ｒ２およびＲ３は、境界領域を減らすべく、コンテナフレームＣのうち画素群を挟んで離間している複数の別箇の領域（つまり、重複も隣接もしていない複数の領域）に複製されるとしてもよい。
【００５３】
画像ＬおよびＲをコンテナフレームに入力処理は、水平方向解像度および垂直方向解像度のバランスの変更を意味するものではない。
【００５４】
フレームＣの自由画素において、つまり、領域Ｃ５に、モジュール１０５は、画像として、立体視画像対ＬおよびＲに関連する奥行きマップ（ＤＭ）を入力する（ステップ２０５）。ステップ２０５の前に、奥行きマップＤＭに対して、アンダーサンプリング、フィルタリングまたは別の処理をモジュール１０７が行うとしてよい。
【００５５】
奥行きマップは、グレースケール画像として符号化されていることが好ましい。奥行きマップの情報コンテンツは、色度はヌルであるので、輝度信号のみによって搬送され得る。これによって、コンテナフレームＣを実質的に圧縮することができる。
【００５６】
図５の例で示すように、フレームＣに入力された奥行きマップは、画像重ね合わせ奥行きマップであることが好ましく、解像度は画像対ＬおよびＲよりも低い。これは、奥行きマップの送信の目的は、立体視ビデオストリームを生成することではなく、奥行きを持たせつつ重ね合わせ画像を位置決めすることのみであるためである。奥行きマップについて選択された解像度は、できる限り低く設定しなければならない転送に必要なビットレートと、重ね合わせ画像を適切に位置決めするために必要な情報の品質との兼ね合いで決まる。
【００５７】
好ましい実施形態によると、重ね合わせ奥行きマップＤＭは、解像度が６４０×３６０画素で、解像度が画像対ＬおよびＲと同じ１２８０×７２０画素である元の奥行きマップの４対１のアンダーサンプリング（またはデシメーション）に対応する。アンダーサンプリングされたマップＤＭの各画素は、元のマップの２×２の画素領域に対応する特に、４対１のアンダーサンプリング処理は、元のマップから、２つの行のうち１つの行を選択し、２つの列のうち１つの列を選択することによって実行することができる。
【００５８】
別の実施形態によると、デシメーション処理の後、重ね合わせ奥行きマップＤＭには、１６×１６画素のマクロブロックに分割される処理が行われ、同じマクロブロックに属する画素には、１つの奥行き値が割り当てられる。この値はマクロブロック内の最小奥行きに等しいことが好ましい。これは、重ね合わせ画像を適切に位置決めする際に最も重要な値であるからである。
【００５９】
これに代えて、この値は、マクロブロック内の平均奥行き値に等しいとしてもよい。
【００６０】
１６×１６画素のマクロブロックにするという選択肢は、このようなマクロブロックがＨ．２６４規格で利用されているものと一致するので、利用される圧縮規格がＨ．２６４である場合に特に有益である。この解決方法によれば、圧縮によって発生するアーチファクトが少なくなり、必要なビットレートも低くなる。
【００６１】
８×８または４×４のブロックへとさらに分割することは、Ｈ．２６４圧縮アルゴリズムの特徴のために、このようなブロック内の画素がすべて等しい場合に圧縮の効果が得られるので、有益であるとみなされる。
【００６２】
これに代えて、含まれる画素がすべて等しいブロックまたはマクロブロックへの分割を行わず、６４０×３６０の奥行きマップを２次元ローパスフィルタでフィルタリングするとしてもよい。圧縮の利点は、最も高い空間周波数が除去または低減されるので、この場合も同様に得られる。
【００６３】
これに代えて、奥行きマップは、６４対１のアンダーサンプリングの結果として解像度が１６０×９０画素であるとしてよく、奥行きマップＤＭの各画素は、元のマップの８×８の領域に対応する。
【００６４】
別の実施形態によると、コンテナフレームＣに入力される重ね合わせ奥行きマップＤＭは、解像度が不均一であるとしてもよい。具体的には、重ね合わせ奥行きマップの下半分または下３分の１は、上側よりも解像度が高い。この解決方法は、字幕または音量等の情報が通常は画像の下側に配置されるので、その位置決めに関連して特に有益である。受信機はこのため、対象領域、例えば、３Ｄ画像の下３分の１の画素の奥行きに関してより正確な情報を利用することができ、当該領域において正しく画像（テキストまたはグラフィック）を位置決めすることができる。少なくとも、重ね合わせ奥行きマップは、対象領域、特に、３次元コンテンツの下半分または下３分の１に含まれる（全てまたはその一部のみの）画素の奥行きに関する情報を含むのみであるとしてよい。
【００６５】
別の実施形態によると、コンテナフレームのうち右画像または左画像が占有していない領域、右画像または左画像の一部が占有していない領域、または、重ね合わせ奥行きマップが占有していない領域は、デマルチプレクサレベルで右画像および左画像を再構築する際に必要となるフラグを受信するための領域である。例えば、このフラグは、合成画像をどのように作成するかに関するフラグであるとしてよい。このフラグは、奥行きマップを適切に利用するために有用な情報を含むのが好ましい。
【００６６】
このフラグ領域の画素は、例えば、フラグ情報を搬送する任意の種類のバーコード、例えば、線形バーコードまたは２次元バーコードを形成するように２色（例えば、黒および白）で色づけされている。
【００６７】
受信した右画像および左画像、ならびに、重ね合わせ奥行きマップを（そして、おそらくフラグも）コンテナフレームに転送し終えると、デバイス１００が実施している方法は終了し、コンテナフレームは、圧縮され、通信チャネルで送信したり、および／または、適切な媒体（例えば、ＣＤ、ＤＶＤ、Ｂｌｕ−ｒａｙ、大容量メモリ等）に記録したりされる。
【００６８】
上述した多重化処理では、一の領域または画像の画素同士の空間関係は変化しないので、デバイス１００から出力されるビデオストリームは、大きなアーチファクトを発生させることなく送信されたものに非常に忠実な画像が再構築される可能性を低くすることなく、大幅に圧縮することができる。
【００６９】
さらに別の実施形態を説明する前に、好ましい実施形態では、フレームＲを３つの領域Ｒ１、Ｒ２およびＲ３に分割することは、合成画像で利用可能な空間およびコンテナフレームに変化させることなく入力される左画像が占有する空間を考慮すると、最小数の領域にフレームを分割することに対応することを指摘しておきたい。
【００７０】
この最小数は、言い換えると、コンテナフレームＣのうち左画像が占有していない空間を占有するために必要な領域の最小数である。
【００７１】
このため、画像を分割して得られる領域の最小数は通常、ソース画像（右画像および左画像）の形式およびターゲット合成画像（コンテナフレームＣ）の関数として定義される。
【００７２】
フレームに入力する画像は、画像（例えば、上記の例では、Ｒ）を最小数の矩形領域に分割する必要があることを考慮して、分割することが好ましい。
【００７３】
別の実施形態では、右画像Ｒは、図６に示すように分割される。
【００７４】
領域Ｒ１´は、図３の領域Ｒ１に対応し、画像の全７２０行のうち最初の６４０画素を含む。
【００７５】
領域Ｒ２´は、領域Ｒ１´に隣接する３２０列の画素を含み、領域Ｒ３´は、最後の３２０列の画素を含む。
【００７６】
このため、コンテナフレームＣは、図７に示すように構築することができる。領域Ｒ２´およびＲ３´は、９０度回転させ、画像Ｌおよび領域Ｒ１´の下方にある領域Ｃ３´およびＣ４´に配置されている。
【００７７】
このように回転させた領域Ｒ２´およびＲ３´は、７２０画素×３２０行を占有するので、領域Ｃ３´およびＣ４´は、画像Ｌから複製した画素を含む領域Ｃ１および領域Ｒ１´から複製した画素を含むＣ２から、離れている。
【００７８】
領域Ｃ３´およびＣ４´は、他の領域Ｃ１およびＣ２とは、セーフガード行を少なくとも１行空けて離れていることが好ましい。具体的には、領域Ｒ２´およびＲ３´の画素をコンテナフレームＣのうち最後の複数行に複製することが有益であり好ましい。
【００７９】
この場合、コンテナフレームは１０８０行から構成されているので、図７に示す実施形態の場合、回転させた領域Ｒ２´およびＲ３´は、上方の画像Ｌおよび領域Ｒ１´から、高さが４０画素であるセーフガードストリップを空けて離れている。
【００８０】
図７の例では、領域Ｒ２´およびＲ３´は、互いに離れており、右画像および左画像を複製したものではない所定の色（例えば、白または黒）の画素によって周囲を取り囲まれている。このように、右画像および左画像を複製した画素を含む領域間の境界領域を減らし、画像の圧縮によって発生するアーチファクトを低減し、圧縮率を最大限まで高くする。
【００８１】
Ｒ２´およびＲ３´をコンテナフレームＣの最後の複数行に位置決めする（図７を参照しつつ上述）ことに代えて、好ましい実施形態によると、Ｒ２´およびＲ３´は、高さが３２行であるセーフガードストリップが、Ｒ２´およびＲ３´の上側端縁とＬの下側端縁との間に残るように配置される。これによると、Ｒ２´およびＲ３´の下側端縁と、Ｃの下側端縁との間には、高さが８行の第２のセーフガードストリップが設けられる。コンテナフレームの幅をさらに活用することで、Ｒ２´およびＲ３´を、右画像または左画像のいずれの複製でもない画素によって周囲を完全に取り囲むように配置することも可能である。
【００８２】
最後に、フレームＣの右下の隅にある領域Ｃ５´において、重ね合わせ奥行きマップ（ＤＭ´）は、上述したように元の奥行きマップをアンダーサンプリングすることによって得られる１６０×９０画素という解像度で入力される。一般的に、重ね合わせ奥行きマップは、フレームＣの自由空間に含まれる限りにおいて、任意の解像度としてよい。利用可能な空間をより有効に活用するべく、重ね合わせ奥行きマップは、フレームＣに入力する前に、回転処理および／または分割処理を実施するとしてもよい。
【００８３】
図８および図９を参照しつつ本明細書で説明する別の実施形態によると、モジュール１０４は、３つのサブ画像Ｒ１´´、Ｒ２´´およびＲ３´´を抽出する。サブ画像の画素の合計値は、分割された画像の画素よりも多い。
【００８４】
領域Ｒ１´´は、図６の領域Ｒ１´に対応するが、Ｒ２´´およびＲ３´´は、領域Ｒ２´およびＲ３´に加えて追加領域（Ｒａ２およびＲａ３）を含む。追加領域によって、画像圧縮処理におけるアーチファクトの発生を最小限に抑えることができる。
【００８５】
このため、セグメントＲ１´´は、サイズが６４０×７２０画素である領域であり、分割すべきフレームＲの最初の複数列である。
【００８６】
セグメントＲ３´´は、分割すべきフレームＲの最後の複数列であり、中央領域Ｒ２´´と境界を接している。Ｒ３´´は、左側（Ｒ２´´と境界を接する側）に、領域Ｒ２´´と共通の画素を含むバッファストリップＲａ３を持つ。言い換えると、Ｒ２´´の最後の数行およびＲ３´´の最初の数行（バッファストリップＲａ３を構成する行）は同じである。
【００８７】
バッファストリップＲａ３のサイズは、後にコンテナフレームＣに、一般的には、コンテナフレームＣを含むビデオストリームに適用される圧縮の種類の関数として選択されることが好ましい。具体的には、当該ストリップのサイズは、圧縮処理で用いられる基礎処理単位の２倍である。例えば、Ｈ．２６４規格によれば、画像を１６×１６画素のマクロブロックに分割し、各マクロブロックはこの規格の基礎処理単位を表している。この仮定に基づき、ストリップＲａ３の幅は３２画素である。このため、セグメントＲ３´´は、サイズが３５２（３２０＋３２）×７２０画素であり、画像Ｒの最後の３５２列の画素を含む。
【００８８】
セグメントＲ２´´は、分割すべき画像Ｒの中央部分に当たり、左側に、ストリップＲａ３と同じサイズのバッファストリップＲａ２を持つ。Ｈ．２６４圧縮規格を考慮する例の場合、ストリップＲａ２は、幅が３２画素であり、領域Ｒ１´´と共通の画素を含む。このため、セグメントＲ２´´は、サイズが３５２×７２０画素であり、フレームＲのうち列６０８（Ｒ１´´の６４０−３２）から９７８の画素を含む。
【００８９】
モジュール１０４から出力される領域Ｒ１´´、Ｒ２´´およびＲ３´´（図８に示す）に関する３つのサブ画像は、図９に示すように、コンテナフレームＣに入力される。領域Ｒ２´´およびＲ３´´は、９０度回転させて、画素をフレームＣの最後の複数行（Ｃ３´´およびＣ４´´と示す領域）に複製する。この際、領域Ｃ３´´およびＣ４´´と、画像ＬおよびＲ１´´の画素を含む領域Ｃ１およびＣ２とを離す所定数のセーフガード画素を設ける。図９に示す場合には、このセーフガードストリップは、幅が８画素である。
【００９０】
この実施形態でも同様に、重ね合わせ奥行きマップ（ＤＭ´）は、フレームＣの右下の隅にある領域Ｃ５´に入力される。
【００９１】
このように得られるフレームＣは、後に圧縮して、送信されるか、または、格納媒体（例えば、ＤＶＤ）に格納される。このため、画像またはビデオ信号を圧縮する圧縮手段が、圧縮した画像またはビデオ信号を記録および／または送信する手段と共に設けられる。
【００９２】
図１０は、媒体から読み出した、または、受信したコンテナフレームを（圧縮されている場合には）解凍して、右画像および左画像の２枚の画像を再構築して、対応する重ね合わせ奥行きマップと共に、ビデオコンテンツに重ね合わされた画像によって３Ｄコンテンツを実現する表示デバイス（例えば、テレビセット）が利用できるようにする受信機１１００のブロック図である。受信機１１００は、テレビセットに組み込まれているセットトップボックスまたは受信機であるとしてよい。尚、受信機１１００がテレビセットに組み込まれていないセットトップボックスである場合には、受信機１１００は、生成するグラフィクス（例えば、字幕、ＥＰＧおよび関連メニュー）を適切に位置決めするべく、内部で奥行きマップを利用する必要があることに留意されたい。また、受信機１１００は、奥行きマップ（例えば、ＨＤＭＩインターフェースを介して）をテレビセットに送る必要がある。これは、テレビセットは、自身が生成するグラフィクス（例えば、メニュー）を適切に位置決めするために奥行きマップが必要であるためである。
【００９３】
受信機１１００について説明する内容は、リーダー（例えば、ＤＶＤリーダー）にも適用可能である。このようなリーダーは、コンテナフレーム（圧縮されている場合がある）を読み出して処理し、リーダーが読み出したコンテナフレーム（圧縮されている場合がある）に入力されている右画像および左画像に対応する一対のフレームを生成する。
【００９４】
図１０に戻ると、受信機は、（ケーブルまたはアンテナを介して）圧縮された立体視ビデオストリーム１１０１を受信し、解凍モジュール１１０２を利用して解凍して、一連のフレームＣに対応するフレームＣ´を含むビデオストリームを取得する。理想的なチャネルが存在する場合、または、コンテナフレームが大容量メモリまたはデータ媒体（Ｂｌｕｅ−ｒａｙ、ＣＤ、ＤＶＤ）から読み出される場合、フレームＣ´は、圧縮処理で発生するアーチファクトが無ければ、右画像および左画像、ならびに、重ね合わせ奥行きマップに関する情報を搬送するコンテナフレームＣに対応する。
【００９５】
フレームＣ´はこの後、再構築モジュール１１０３に供給される。再構築モジュール１１０３は、図１１および図１２を参照しつつ後述するように、画像再構築処理および奥行きマップ抽出処理を実行する。
【００９６】
ビデオストリームが圧縮されていない場合、解凍モジュール１１０２が省略され、ビデオ信号が再構築モジュール１１０３に直接供給されることは明らかである。
【００９７】
再構築処理は、解凍されたコンテナフレームＣ´を受信するステップ１３００で開始される。再構築モジュール１１０３は、解凍されたフレームのうち最初の７２０×１０８０画素を、コンテナフレームよりも小さい新しいフレーム、例えば、７２０ｐストリームのフレームに複製することによって、左画像Ｌを抽出する（ステップ１３０１）。このように再構築された画像Ｌは、受信機１１００に出力される（ステップ１３０２）。
【００９８】
この後、当該方法では、コンテナフレームＣ´から右画像Ｒを抽出する。
【００９９】
右画像を抽出するステップは、フレームＣ´に含まれている領域Ｒ１´´の一部を複製（ステップ１３０３）することによって、開始される。更に詳細に説明すると、Ｒ１´´のうち最初の６２４（６４０−１６）列の画素を、図１１に示すように、再構築後の画像Ｒｏｕｔを表す新しいフレームのうち、対応する最初の６２４列に複製する。実際には、これによって、再構築ステップから、例えば、Ｈ．２６４圧縮規格で実行される動き検出手順の影響によりアーチファクトが最も発生しやすいＲ１´´の１６列を除外する。
【０１００】
この後、Ｒ２´´の中央部分を抽出する（ステップ１３０４）解凍されたフレームＣ´（上述したように、図９のフレームＣに対応する）から、領域Ｃ３´´（ソース領域Ｒ２´´に対応する）の画素を選択して、マルチプレクサ１００で実行された回転とは逆方向に９０度回転させ、元の、つまり、図８に示すような行／列状態に戻す。この時点において、Ｒ２´´のうち最初の１６列および最後の１６列は、削除され、残りの３５２−３２＝３２０列を、Ｒ１´´から複製した画素の隣の自由列に複製する。
【０１０１】
Ｒ２´´の最も外側の１６列を切り取ることによって、アーチファクトが最も発生しやすいこれらの列を削除する。切り取り領域の幅は（この場合は、１６列）、利用する圧縮処理の種類に応じて決まる。この領域は、圧縮処理で用いる基礎処理単位に等しいことが好ましい。本明細書で説明するケースでは、Ｈ．２６４規格は、１６×１６画素のブロックに対して処理を行うので、１６列を切り取る。
【０１０２】
Ｒ３´´に関して（ステップ１３０５）、領域Ｃ４´´の画素をフレームＣ´から抽出し、サブ画像Ｒ３´´は元の行／列形式に戻る（図８を参照）。この後、最初の１６列を削除して（領域Ｒａ３の半分に対応）、残りの３５２−１６＝３３６列を、再構築されたフレームの右にある最後の複数の自由列に複製する。Ｒ２´´と同様に、Ｒ３´´でも、切り取り領域は、圧縮処理で用いる基礎処理単位に等しい。
【０１０３】
言うまでもなく、領域Ｒ２´´およびＲ３´´の両方について、仮想的に回転処理を実行するとしてよい。つまり、図８に示すように、切りとるべき１６行に対応する領域Ｃ３´´（Ｒ２´´の場合、Ｒ３´´であればＣ４´´）の最後の１６行を除き、領域Ｃ３´´（Ｒ２´´である場合、Ｒ３´´であればＣ４´´）の行の画素を再構築されたフレームの新しいフレームＲｏｕｔの列に複製することによって、対象の画素の抽出に関して同じ結果が得られる。
【０１０４】
この時点において、右画像Ｒｏｕｔは完全に再構築されており、出力可能である（ステップ１３０６）。
【０１０５】
最後に、再構築モジュール１１０３は、解凍されたコンテナフレームＣ´のうち、領域Ｃ５´に対応する最後の１６０×９０画素の輝度値をレジスタに複製することによって、重ね合わせ奥行きマップＤＭ´を抽出する（ステップ１３０８）。このレジスタのコンテンツは、受信機１１００に出力され（ステップ１３０９）、立体視ビデオストリームによって搬送される３次元コンテンツと組み合わせるべき、奥行きを持たせる画像（テキストまたはグラフィクス）の位置を定めるために利用される。特に、３次元コンテンツに重ね合わせるべき画像を組み合わせるために利用される。
【０１０６】
受信機１１００は、入力フレームから抽出された奥行きマップならびに画像ＬおよびＲの内容を出力することに代えて、または、この構成に加えて、文字生成部および／またはグラフィック生成部を含み、画像ＬおよびＲと、つまり、３次元コンテンツと他の画像を組み合わせる。組み合わせるべき画像は、受信機のメモリ領域から選択し、受信機を製造する際に格納される（例えば、一部のメニューのグラフィック、または、チャネル番号のグラフィック）か、または、ビデオストリームから抽出されるとしてよい（例えば、番組ガイド情報および字幕）。
【０１０７】
これらの画像は、ビデオストリームから抽出した重ね合わせ奥行きマップによって決まる位置において、奥行きを持たせつつ３次元コンテンツと組み合わせる。具体的には、（一対の画像ＬおよびＲから構成される）立体画像毎に、組み合わせられた画像は、当該立体画像の最小奥行きのポイントに配置される。
【０１０８】
画像を３Ｄコンテンツと組み合わせた後、本実施形態では、受信機１１００は、一対の画像Ｌ＊およびＲ＊を出力する。一対の画像Ｌ＊およびＲ＊を再生すると、ユーザは、重ね合わせられた画像（例えば、字幕、メニュー、グラフィック等）が加えられた、（画像ＬおよびＲによって生成される）元のコンテンツに対応する３次元コンテンツである感知する。
【０１０９】
コンテナフレームＣ´に含まれている右画像および左画像、ならびに、奥行きマップを再構築する処理は、このようにして完了する（ステップ１３０７）。この処理は、受信機１１００が受信するビデオストリームのフレーム毎に繰り返し実行されるので、出力は、右画像用のビデオストリーム１１０４および左画像用のビデオストリーム１１０５という２つのビデオストリームと、重ね合わせ奥行きマップから推定される１つのデータ信号とから構成される。
【０１１０】
図１０、１１および１２を参照しつつ上述した重ね合わせ奥行きマップ、ならびに、右画像および左画像を再構築する処理は、デマルチプレクサ１１００がどのようにコンテナフレームＣが構築されたかを知っており、右画像および左画像、ならびに、重ね合わせ奥行きマップを抽出できるという仮定に基づいている。
【０１１１】
言うまでもなく、これは、多重化が標準化されている場合に可能である。
【０１１２】
上述した方法のうちいずれかに従って、または、特許請求の範囲の主題である解決方法を利用した方法のいずれか１つに従って、コンテナフレームが生成されることを考慮に入れるべく、デマルチプレクサは、合成画像の所定の領域に含まれているフラグ情報（例えば、上述したようにバーコード）を利用して、合成画像のコンテンツを展開する方法を取得する、そして、左画像および右画像、ならびに、重ね合わせ奥行きマップを再構築する方法を取得する。
【０１１３】
フラグを復号した後、デマルチプレクサは、変更されていない画像（例えば、上述した例では左画像）の位置と共に、他方の画像（例えば、上述した例では、右画像）を分割して得られる領域の位置および変更（回転、並進等）、ならびに、重ね合わせ奥行きマップの位置を取得する。
【０１１４】
この情報を利用することで、デマルチプレクサは、変更していない画像（例えば、左画像）および奥行きマップを抽出して、分割された画像（例えば、右画像）を再構築することができる。
【０１１５】
好ましい実施形態および有益な実施形態を参照しつつ本発明を上述してきたが、上述した実施形態に限定されないこと、そして、オブジェクトまたはシーンについての２つの視点（右および左）に対応付けられる２つの画像を組み合わせて合成画像を生成したい当業者であれば多くの点を変更し得ることは明らかである。
【０１１６】
例えば、上述したデバイス、特に、デバイス１００および受信機１１００を提供する電子モジュールは、さまざまな方法で分割および分散させて設けるとしてよい。さらに、ハードウェアモジュールとして提供されるとしてもよいし、プロセッサ、特に、受信した入力フレームを一時的に格納するための適切なメモリ領域を持つビデオプロセッサが実装するソフトウェアアルゴリズムとして提供されるとしてもよい。これらのモジュールは、本発明に係る画像の多重化および逆多重化を行う方法のビデオ処理ステップのうち１以上を、並列または直列に実行するとしてよい。
【０１１７】
また、好ましい実施形態は２つの７２０ｐビデオストリームを１つの１０８０ｐビデオストリームに多重化することに言及しているが、他の形式も利用するとしてよく、例えば、２つの６４０×４８０ビデオストリームを１つの１２８０×７２０ビデオストリームに、または、２つの３２０×２００ビデオストリームを１つの６４０×４８０ビデオストリームに多重化してもよいことは明らかである。
【０１１８】
合成画像を生成する方法はそれぞれ、特定の利点を持つので、合成画像の構成について本発明は特定の種類に限定されるものではない。
【０１１９】
例えば、図１から図１２を参照しつつ上述した実施形態は、並進または回転並進のみを実行するという利点を持つ。このため、必要な演算処理能力がわずかで済む。
【０１２０】
これに代えて、上述したように回転および／または並進に加えて、図１３に示す種類の合成画像を得るべく、画像に対して鏡面反転ステップを実施することが考えられる。
【０１２１】
こういった追加処理は、同様の画素を含む領域同士の間にある境界を最大限まで大きくするべく実行され、両者間に存在する強い相関関係を利用し、後に実行する圧縮ステップで発生し得るアーチファクトを最小限に抑える。図１３および図１４の例では、分かり易いように、通常はわずかに異なるが、右画像および左画像の２枚の画像が同一であることが仮定されていた。
【０１２２】
図１３では、左画像Ｌ（図１４の（ａ）に示す）が、コンテナフレームＣの右上の隅に配置され、最初の７２０行のうち最後の１２８０画素を占有する。上述した例と同様に、画像Ｌは、コンテナフレームＣに変更なしで複製する。
【０１２３】
これに代えて、右画像Ｒは、図３の例にしたがって、分割される。図１４の（ｂ）は、画像Ｒが３つの領域Ｒ１、Ｒ２およびＲ３に分割される様子を示す。
【０１２４】
この後、一部の領域（図１４の例では領域Ｒ１およびＲ３）に対して鏡面反転処理を実行する。鏡面反転処理は、垂直軸に対して（つまり、画像の列に平行に）行われるとしてもよいし、または、水平軸に対して（つまり、画像の行に平行に）行われるとしてもよい。
【０１２５】
垂直軸に対する反転の場合、列Ｎの画素（Ｎは１と１０８０との間の整数、１０８０は画像の列の数）を列１０８０＋１−Ｎに複製する。
【０１２６】
水平軸に対する反転の場合、行Ｍの画素（Ｍは、１と７２０との間の整数、７２０は画像の行の数）を行７２０＋１−Ｎに複製する。
【０１２７】
図１４の（ｃ）および（ｄ）は、領域Ｒ１を画像Ｒから抽出して、垂直軸に対して、特に、垂直な一辺に対して、反転させる（Ｒ１ｒｏｔ）様子を示す。
【０１２８】
反転後の領域Ｒ１ｉｎｖを最初の６４０行のうち最初の６４０画素に入力する。
【０１２９】
図１３の例から分かるように、Ｒ１ｉｎｖを回転させてコンテナフレームＣに入力すると、Ｌと境界を接しているＲ１ｉｎｖの画素は、Ｒ１ｉｎｖと境界を接しているＬの画素と非常に類似している。これらの画素同士の空間相関関係は、アーチファクトの発生を抑制するという利点がある。
【０１３０】
図１４の（ｅ）および（ｆ）によると、図１４の（ｂ）の画像Ｒから領域Ｒ３を抽出して、水平軸に対して、特に、水平な一辺に対して反転させる（Ｒ３ｉｎｖ）。
【０１３１】
領域Ｒ３ｉｎｖは、最後の３６０行のうち最後の６４０画素に入力される。これによって、Ｒ３ｉｎｖとＬとの間の境界領域の画素が、空間相関関係が強い画素であるので、アーチファクトの発生が抑制される。この境界領域の画素は、実際のところ、画像のうち同様の部分または同一の部分を表している。
【０１３２】
コンテナフレームＣはこの後、領域Ｒ２を入力することで完成する。
【０１３３】
本例によると、Ｒ２は、反転させず、および／または、回転させる。これは、どの場合でも、Ｒ２の境界領域と、ＲまたはＬの別の領域の同様の画素で構成されている境界領域とを一致させることが可能ではないためである。
【０１３４】
最後に、本発明は、本発明の保護範囲に含まれる上述した多重化処理のいずれか１つを逆に行っていくことで、右画像および左画像を合成画像から抽出する任意の逆多重化方法にも関連することも明らかである。
【０１３５】
このため、本発明は、合成画像から一対の画像を生成する方法にも関連する。当該方法は、合成画像の一の領域から、複数の連続した画素で構成される一の画素群を複製することによって、右画像および左画像のうち第１の画像（例えば、左画像）を生成する段階と、合成画像の他の領域から、複数の連続した画素で構成される他の画素群を複製することによって、第２の画像（例えば、右画像）を生成する段階とを備える。
【０１３６】
一実施形態によると、第２の画像を生成する情報は、合成画像の一の領域から抽出する。この情報は、バーコードに従って符号化されることが好ましい。
【０１３７】
右画像および左画像を生成する方法の一実施形態によると、合成画像において分割されている画像を生成する段階は、複数の異なる領域のうち一の領域の画素群を鏡面反転させる段階を少なくとも一回実行することを含む。
【０１３８】
右画像および左画像を生成する方法の一実施形態によると、合成画像において分割されている画像を生成する段階は、再構築すべき画像の画素を含む、合成画像の複数の領域のうち一の領域から画素を除去する段階を少なくとも一回実行することを含む。具体的には、当該領域の境界領域から画素を削除する。
【０１３９】
一実施形態によると、分割されると合成画像の複数の領域を生成する画像は、分割されるべき画像の画素を含む画素領域に対して、並進処理および／または回転処理のみを実行して再構築される。
【０１４０】
上述した実施形態例では、右画像および左画像の２枚の画像のうち一方が複数の部分に分割されているコンテナフレームに重ね合わせ奥行きマップを入力するとしたが、本発明は右画像および左画像の２枚の画像のコンテナフレーム内の形式について特定のものに依存しないことは明らかである。例えば、これら２枚の画像は、重ね合わせ奥行きマップを入れることができる自由スペースをフレーム内に残すべく、アンダーサンプリングされて、横並びに（横並び形式）配置されるとしてもよいし、または、一方を他方の上に配置するとしてもよい（上下形式）。また、右画像および左画像の一方は、変更しないままとしてよく、他方はアンダーサンプリングして奥行きマップ用のスペースを空けるとしてもよい。
【０１４１】
最後に、添付図面を参照しつつ上述した実施形態例は、「全体」奥行きマップ、つまり、画像Ｌおよび画像Ｒの２枚の画像のうち一方とは異なり、複数の部分に分割することなく３Ｄコンテンツの奥行きマップにデシメーションまたはフィルタリングを実行することによって算出された奥行きマップに関すると明言しておきたい。しかし、本発明はこれに限定されるものではなく、重ね合わせ奥行きマップは、生成されると（または受信されると）、複数の部分に奥行きマップを分割してコンテナフレームの複数の異なる領域に配置するエンコーダによってコンテナフレームに入力されるとしてよい。例えば、公知であるように、Ｈ．２６４エンコーダは、立体視コンテンツを符号化するべく、デコーダによって切り取られる追加行を８行入力する必要がある。一実施形態によると、重ね合わせ奥行きマップは、分割することによって、例えば、サイズが８×８の２４０個のブロックに分割することによって、この８行の追加行に入力することができる。これらのブロックは、適切に組み合わせることによって、搬送された立体視コンテンツに比例した寸法を持つ画像を形成する。ブロック配置方法の一例を挙げると、係数を１６としてデシメーション処理された奥行きマップの行を走査することによって、このため、１２０×７２の解像度で得られるとしてよい。この場合、１２０×８画素のストリップを並べて１０８０×８画素の画像を取得する。別の実施形態では、同じくデシメーション処理された奥行きマップを、オフセットを８画素とするのではなく、オフセットを６画素として、高さが８画素のより多数のストリップに分割するとしてよい。このため、コンテンツは冗長性を持ち、メイン画像との境界においてより高いコンテンツ保護が得られる。これは、立体視コンテンツが、上下形式、横並び形式、または、格子状に多重化された一対の右画像および左画像を含む場合に特に有益であると考えられる。このような解像度であれば、フレーム内の表示可能な画素、例えば、１９２０×１０８０形式の画素を全て占有する。
【０１４２】
フレームが一対の非対称にデシメーション処理された画像を含む場合（例えば、列のデシメーション処理が行のデシメーション処理よりも多い横並び形式、または、列はデシメーションされず行のみがデシメーションされる上下形式）には、重ね合わせ奥行きマップは、奥行きマップに、同じフレーム内に配置される画像をサンプリングする際に用いられた比率に比例する行／列デシメーション比率でデシメーション処理を実行することによって得られることが好ましい。一例として、横並び形式を用いて右画像および左画像をフレーム内に多重化すると仮定すると、行／列デシメーション比率は、すべての行をそのままにして、列を係数を２としてデシメーションするので、１：２である。この場合、重ね合わせ奥行きマップは、１：２の行／列デシメーション比率で奥行きマップをデシメーション処理することで得ることができる。
【０１４３】
また、上記以外のさまざまな方法を用いて奥行きマップが占有している領域を受信機に信号伝達するとしてよいことは明らかである。上記では、画像にフラグを入力している。実際には、このようなフラグはビデオストリームを搬送する信号のデータパケットに含めるとしてもよい。
【図１】
2013539256.tif 000003
【図２】
2013539256.tif 000004
【図３】
2013539256.tif 000005
【図４】
2013539256.tif 000006
【図５】
2013539256.tif 000007
【図６】
2013539256.tif 000008
【図７】
2013539256.tif 000009
【図８】
2013539256.tif 000010
【図９】
2013539256.tif 000011
【図１０】
2013539256.tif 000012
【図１１】
2013539256.tif 000013
【図１２】
2013539256.tif 000014
【図１３】
2013539256.tif 000015
【図１４】
2013539256.tif 000016
【国際調査報告】
2013539256.tif 000017
2013539256.tif 000018
2013539256.tif 000019