(57)【要約】【課題】右の画像（Ｒ）と左の画像（Ｌ）とに関する情報を含む複数の合成画像（Ｃ）を含む立体動画ストリーム（１０１）を生成する方法を提供する。【解決手段】方法は、右の画像（Ｒ）の画素と左の画像（Ｌ）の画素とを選択する段階と、選択された画素を立体動画ストリームの１つの合成画像（Ｃ）に挿入する段階とを備える。右の画像（Ｒ）と左の画像（Ｃ）とのうち一方を変更せず、他方を、複数の画素を含む２つの領域に分割し、２つの領域（Ｒ１、Ｒ２）を１つの合成画像（Ｃ）に挿入することにより、右の画像（Ｒ）の全ての画素と左の画像（Ｌ）の全ての画素とが１つの合成画像（Ｃ）の互いに異なる位置に挿入される。【選択図】図５ａ
2014517606.tif 000002
【特許請求の範囲】
【請求項１】
右の画像と左の画像とに関する情報を含む複数の合成画像を有する立体動画ストリームを生成する方法であり、
前記右の画像の画素と前記左の画像の画素とを選択する段階と、
選択された前記画素を前記立体動画ストリームの１つの合成画像に挿入する段階と
を備え、
前記右の画像と前記左の画像とのうち一方を変更せず、他方を、複数の画素を含む２つの領域に分割し、前記２つの領域を前記１つの合成画像に挿入することにより、前記右の画像の全ての画素と前記左の画像の全ての画素とが前記１つの合成画像の互いに異なる位置に挿入される、方法。
【請求項２】
前記２つの領域のうち第１領域はＬ字形であり、前記２つの領域のうち第２領域は長方形である、請求項１に記載の方法。
【請求項３】
前記右の画像と前記左の画像とのうち変更されない前記一方を前記１つの合成画像の１つの隅に配置する段階と、
前記２つの領域のうち前記第１領域を、前記１つの合成画像の前記１つの隅の反対側の隅に配置する段階と、
前記２つの領域のうち前記第２領域を、前記１つの合成画像の残りの空き領域の一部分に配置する段階と、
をさらに備える、請求項２に記載の方法。
【請求項４】
前記第１領域と前記第２領域との間の境界領域の少なくとも一部を含む追加的な領域を、前記１つの合成画像の前記残りの空き領域に挿入する段階をさらに備える、請求項３に記載の方法。
【請求項５】
前記２つの領域は前記画像の画素列の互いに隣接するグループを含む、請求項１から４のいずれか一項に記載の方法。
【請求項６】
一連の右の画像と一連の左の画像とを受信する段階と、
前記一連の右の画像と前記一連の左の画像とから一連の合成画像を生成する段階と、
前記一連の合成画像を圧縮する段階と
をさらに備える、請求項１から５のいずれか一項に記載の方法。
【請求項７】
前記１つの合成画像の１つの領域から１つのグループの隣接した画素をコピーすることにより前記右の画像と前記左の画像とのうち第１画像を生成する段階と、
前記１つの合成画像の２つの異なる領域から他のグループの互いに隣接した画素をコピーすることにより前記右の画像と前記左の画像とのうち第２画像を生成する段階と
を備える、請求項１から６のうちいずれか一項に記載の方法のように前記１つの合成画像から画像ペアを再構成する方法。
【請求項８】
前記２つの異なる領域間の境界領域の少なくとも一部を含む追加的な領域の少なくとも一部が、前記第２画像の対応する境界領域に上書きされる、請求項７に記載の方法。
【請求項９】
前記２つの領域間の境界領域の少なくとも一部を含む追加的な領域の対応する画素値を用いて、前記第２画像の内部境界領域の画素値をクロスフェードすることにより、前記追加的な領域が前記第２画像上でミックスされる、請求項７に記載の方法。
【請求項１０】
合成画像を生成する装置であり、
右の画像と左の画像とを受信する手段と、
前記右の画像と前記左の画像とに関する情報を含む前記合成画像を生成する手段と、
請求項１から６のいずれか一項に記載の方法を実施する手段と
を備える装置。
【請求項１１】
合成画像から画像ペアを再構成する装置であり、
請求項７から９のいずれか一項に記載の方法を実施する手段を備える装置。
【請求項１２】
請求項１から６のいずれか一項に記載の方法により生成される少なくとも１つの合成画像を備える立体動画形式。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は、立体動画ストリーム、つまり、視覚化装置において適切に処理されると閲覧者により立体として知覚される画像シーケンスを生成する動画ストリームの生成、格納、送信、受信、および再生に関する。
【０００２】
公知であるように、３次元性の知覚は、一方が閲覧者の右目のための画像であり他方が閲覧者の左目のための画像である２つの画像を再生することによって実現され得る。
【０００３】
よって立体動画ストリームは、被写体または風景の右および左の視点に対応する２つの画像シーケンスに関する情報を伝達する。
【０００４】
本願発明は特に、立体動画ストリームのフレームを表し、以下においてコンテナフレームとも呼ぶ合成画像内の右および左の視点の２つの画像（以下、それぞれ右の画像、および左の画像と呼ぶ）を多重化する方法および装置に関する。
【０００５】
加えて、本願発明は、当該合成画像を逆多重化する、つまり、多重化装置により挿入された左右の画像を合成画像から抽出する方法および装置にも関する。
【背景技術】
【０００６】
当技術分野では、立体動画ストリームの送信に要する帯域幅を小さくすべく立体動画ストリームにおいて、左右の画像を単一の合成画像に多重化することが公知となっている。
【０００７】
最初の例はいわゆるサイドバイサイド多重化であり、右の画像と左の画像とが水平方向にサブサンプリングされ、立体動画ストリームの同じフレーム内で隣同士に配置される。
【０００８】
このタイプの多重化には、垂直解像度は変化しないものの、水平解像度が半分になるという課題がある。
【０００９】
他の例はいわゆるトップボトム多重化であり、右の画像と左の画像とが垂直方向にサブサンプリングされ、立体動画ストリームの同じフレーム内で上下に配置される。
【００１０】
このタイプの多重化には、水平解像度は変化しないものの、垂直解像度が半分になるという課題がある。
【００１１】
これらの他にも、特許出願ＷＯ０３／０８８６８２に開示されたものなど、より洗練された方法が存在する。当該特許出願は、左右の画像を構成する画素の数を間引くべくためのチェスボードサンプリングの利用を説明している。左右の画像のそれぞれのフレームに関して選択された画素がサイドバイサイド形式で「幾何学的に」圧縮される（各画素を取り除くことにより列１に生じた空白は、列２の画素によって埋められる、など）。ディスプレイ上に画像を表示するためのデコード段階において、左右の画像のそれぞれのフレームは、元の形式に戻され、なくなった画素は、適切な補間技術を適用することにより再構成される。この方法により、水平解像度と垂直解像度との割合は一定に保たれるが、斜め方向の解像度が低下し、他の場合においては存在することのない高周波数空間スペクトル成分が導入されるにより、画像の画素間の相関も変化させられてしまう。これにより、圧縮された動画ストリームのビットレートが増加すると同時に、続く圧縮段階（例えば、ＭＰＥＧ２、ＭＰＥＧ４、またはＨ．２６４圧縮）の効率が低下する。
【００１２】
左右の画像を多重化するための他の方法は、特許出願ＷＯ２００８／１５３８６３によって公知となっている。
【００１３】
これらの方法のうち１つを用いると、左右の画像の７０％のスケーリングが実現される。スケーリングされた画像はその後、８×８画素からなる複数のブロックに分割される。
【００１４】
スケーリングされた各画像の複数のブロックは、合成画像のおよそ半分に等しいエリアに圧縮することが出来る。
【００１５】
この方法には、複数のブロックの再分布により、高周波数空間スペクトル成分が導入され画像を構成する複数のブロック間の空間的相関が変化させられてしまい、圧縮効率が低下してしまうという課題がある。
【００１６】
さらに、スケーリング動作および各画像の多数のブロックへの区分は、高い計算コストを伴うので、多重化装置および逆多重化装置の複雑さが増してしまう。
【００１７】
これらの方法の他の例においては、左右の画像のそれぞれに対して対角スケーリングが適用され、元の画像が平行四辺形に変形させられる。その後２つの平行四辺形が三角領域に分割され、２つの平行四辺形を分割することにより得られた三角領域が再構成され、再配置された長方形の合成画像が構成される。左右の画像の三角領域は、合成画像の対角線により互いに分け隔てられるように構成される。
【００１８】
トップボトム多重化およびサイドバイサイド多重化を用いた解決方法のようにこの解決方法にも、水平解像度と垂直解像度との間の比率（バランス）が変わってしまうことによる課題がある。加えて立体フレーム内に再配置された多数の三角領域に細分化することにより、続く、送信チャネルでの送信前の圧縮段階（例えば、ＭＰＥＧ２、ＭＰＥＧ４、またはＨ．２６４）において、三角領域間の境界エリアにアーティファクトが生じる。このアーティファクトは例えば、Ｈ．２６４規格に従った圧縮処理によって実行される動き推定手順によって生成され得る。
【００１９】
この解決方法の他の課題は、左右の画像をスケーリングする動作、およびそれに続く、三角領域を区分けし、回転並進させるための動作によって必要とされる計算の複雑さに関するものである。
【００２０】
本出願人は、国際特許出願ＰＣＴ／ＩＢ２０１０／０５５９１８を提出し、請求項１に記載される、右の画像と左の画像とに関する情報を含む複数の合成画像を含む立体動画ストリームを生成する方法であり、右の画像の画素と左の画像の画素とを選択する段階と、選択された画素を立体動画ストリームの１つの合成画像に挿入する段階とを備え、右の画像と左の画像とのうち一方を変更せず、他方を、複数の画素を含む３つの領域に分割し、３つの領域を合成画像に挿入することにより、右の画像の全ての画素と左の画像の全ての画素とが合成画像に挿入される方法を開示した。
【００２１】
当該方法は、他方の画像の、３つの長方形の領域への細分化、および、合成画像において当該３つの領域をどのように配置するかに関する。
【００２２】
しかし、上述した方法には、以下の課題が主としてあるので改善の余地がある。
【００２３】
領域の数を減らすことが出来れば、エンコーダ側およびデコーダ側の両方で必要な計算資源を減らすことが出来る。加えて、圧縮技術により生じるアーティファクトは内部境界に沿って実質的に集中して存在するので、このような内部境界の長さを短くすることが出来れば、再構成される画像の質の低下は、特に高い圧縮比率の場合において、低減することが出来る。
【発明の概要】
【発明が解決しようとする課題】
【００２４】
本願発明の目的は、従来技術の課題を克服可能な、左右の画像を多重化し、逆多重化するための多重化方法および逆多重化方法（並びに関連する装置）を提供することである。
【課題を解決するための手段】
【００２５】
特に、本願発明の目的は、水平解像度と垂直解像度との間のバランスの維持を可能とする左右の画像を多重化し、逆多重化するための多重化方法および逆多重化方法（並びに関連する装置）を提供することである。
【００２６】
本願発明の他の目的は、歪みまたはアーティファクトの生成を最小限にしつつ、後の段階で行われる圧縮の比率を高くすることを可能とする左右の画像を多重化するための多重化方法（並びに関連する装置）を提供することである
【００２７】
本願発明のさらに他の目的は、計算コストが低減される多重化方法および逆多重化方法（並びに関連する装置）を提供することである。
【００２８】
本願発明のさらに他の目的は、再合成された画像においてアーティファクトおよび画質の低下があまり目立たない多重化方法および逆多重化方法（並びに関連する装置）を提供することである。
【００２９】
本願発明のこれら、およびその他の目的は、本明細書の主要な部分をなす添付の請求項に記載される特徴を含む、左右の画像を多重化し、逆多重化するための多重化方法および逆多重化方法（並びに関連する装置）により達成され得る。
【００３０】
本願発明の根底となる一般的な考えは、２つの多重化される画像、例えば、右の画像および左の画像の画素の合計に等しいかそれよりも多くの画素を含む合成画像に、当該２つの画像を挿入するということである。
【００３１】
第１画像（例えば左の画像）の画素は変更されずに合成画像に挿入され、第２画像は２つの領域に細分化され、それら２つの領域の画素は合成画像の空きエリアに配置される。
【００３２】
この解決方法は、２つの画像のうち一方が変更されないままであり、再構成された画像の品質がより良好となる点で有利である。
【００３３】
画素間の空間的相関を最大化し、圧縮段階におけるアーティファクトの生成を低減するべく、第２画像が２つの領域に分割される。
【００３４】
２つの立体画像のうち一方を３つの領域に細分化した場合、多くの既存のデコーダでは専用の機能を追加しなければ、適切なリソースが存在しないがため画像の再構成は出来ない。細分化により得られる領域の数を減らし２つとすることにより、ピクチャインピクチャ（ＰＩＰ）機能を有する既存のデコーダであれば、当該機能を用いて、画像の再合成をすることが出来、本願発明を従来のデコーダで実施する際にソフトウェアに加えなければならない変更が少なくなる。
【００３５】
本願発明の詳細な目的は、右の画像と左の画像とに関する情報を含む複数の合成画像を含む立体動画ストリームを生成する方法を提供することであり、当該方法は、右の画像（Ｒ１）の画素と左の画像の画素とを選択する段階と、選択された画素を立体動画ストリームの１つの合成画像に挿入する段階とを備え、右の画像と左の画像とのうち一方を変更せず、他方を、複数の画素を含む２つの領域（Ｒ１、Ｒ２）に分割し、２つの領域を１つの合成画像に挿入することにより、右の画像の全ての画素と左の画像の全ての画素とが１つの合成画像の互いに異なる位置に挿入される。
【００３６】
本願発明の他の目的は、合成画像から画像ペアを再構成する方法と、合成画像を生成する装置と、合成画像から画像ペアを再構成する装置と、立体動画ストリームとを提供することである。
【００３７】
本願発明の他の目的および利点は、非限定的な例として示される、本願発明のいくつかの実施形態に関する以下の説明からより明らかとなるであろう。
【図面の簡単な説明】
【００３８】
当該実施形態について添付の図面を参照し説明する。同様の構造、部材、材料、および／または要素には適宜、同様の参照符号が付される。
【図１】右の画像と左の画像とを合成画像に多重化する装置のブロック図を示す。
【図２】図１の装置により実施される方法のフローチャートである。
【図３】本願発明の一実施形態に係る合成画像を構成する第１段階を示す。
【図４】合成画像に挿入される画像を分解する第１形式を示す。
【図５ａ】図４の画像を含む合成画像の第１形式を示す。
【図５ｂ】図４の画像を含む合成画像の第２形式を示す。
【図６】合成画像に挿入される画像を分解する第２形式を示す。
【図７ａ】図６の画像を含む合成画像の第１形式を示す。
【図７ｂ】図６の画像を含む合成画像の第２形式を示す。
【図８】合成画像に挿入される画像を分解する第３形式を示す。
【図９ａ】図８の画像を含む合成画像の第１形式を示す。
【図９ｂ】図８の画像を含む合成画像の第２形式を示す。
【図１０】合成画像に挿入される画像を分解する第４形式を示す。
【図１１ａ】図１０の画像を含む合成画像の第１形式を示す。
【図１１ｂ】図１０の画像を含む合成画像の第２形式を示す。
【図１２】合成画像に適用される分解された画像の境界領域を示す。
【図１３】図１２の境界領域を合成画像に配置するやり方の一例を示す。
【図１４】図１２および１３の境界領域のサブ領域がどのように合成画像から抽出され得るかを示す。
【図１５】再合成後に、再構成された画像のアーティファクトを取り除くべく、再合成された画像にどのように図１４のサブ領域が上書きされ得るかを示す。
【図１６】本願発明の方法に従って生成された合成画像を受信する受信機のブロック図を示す。
【図１７】前述の図面に示される形式のいずれかに係る、合成画像に含まれる左右の画像を再構成するいくつかの段階を示す。
【発明を実施するための形態】
【００３９】
図１は、立体動画ストリーム１０１を生成する装置１００のブロック図を示す。
【００４０】
図１において、装置１００はそれぞれ左目（Ｌ）および右目（Ｒ）のうちそれぞれのための２つの画像シーケンス１０２、１０３、例えば２つの動画ストリームを受信する。
【００４１】
装置１００は、２つのシーケンス１０２、１０３の２つの画像の多重化方法の実施を可能とする。
【００４２】
左右の画像を多重化する方法を実施するべく、装置１００は、受信した画像の１つの領域にそれぞれ対応する２つのサブ画像に入力画像（図１の例では右の画像）を分割する分解モジュール１０４と、受信した画像の画素を単一の合成画像に挿入することが出来る合成モジュール１０５とを備える。当該単一の合成画像は、装置１００の出力部に提供される。
【００４３】
装置１００により実施される多重化方法の一例を、図２を参照して説明する。
【００４４】
方法は段階２００から開始する。続いて（段階２０１）、図３に示すように、２つの入力画像（右または左）のうち一方が２つの領域に分割される。図３の例において、分解される画像は動画ストリーム７２０ｐ、つまり、１２８０×７２０画素の解像度を有するプログレッシブフォーマットの、フレームＲである。
【００４５】
図３のフレームＲは右目のための画像を伝達する動画ストリーム１０３から得られ、２つの領域Ｒ１、Ｒ２に分割される。
【００４６】
画像Ｒの分解は、画像Ｒを２つの部分に分割することによって実行される。
【００４７】
長方形の領域Ｒ１は６４０×３６０画素のサイズを有し、最初の３６０行の最初の６４０画素によって構成される。領域Ｒ２はＬ字形であり、最初の３６０行の６４１〜１２８０画素と、最後の３６０行の全ての画素とによって構成される。
【００４８】
図１の例において、画像Ｒの分解動作は、入力画像Ｒを受信し（この場合、フレームＲ）、２つの領域Ｒ１、Ｒ２に対応する２つのサブ画像（つまり、画素からなる２つのグループ）を出力するモジュール１０４によって実行される。
【００４９】
続いて（段階２０２、２０３）、右および左の入力画像の両方に関する情報を含む合成画像Ｃが構成される。ここで説明される本例において、当該合成画像Ｃは出力される立体動画ストリームのフレームであるので、コンテナフレームとも呼ぶ。
【００５０】
まず最初に（段階２０２）、装置１００によって受信され装置１０４によって分解されないままの入力画像（図１の例において左の画像Ｌ）が、両方の入力画像の全ての画素を含むサイズのコンテナフレームに変更されないまま挿入される。例えば、入力画像が１２８０×７２０画素のサイズを有する場合、両方の入力画像を含むのに適したコンテナフレームは、１９２０×１０８０画素のフレーム、例えば、１０８０ｐタイプ（１９２０×１０８０画素のプログレッシブフォーマット）の動画ストリームのフレームである。
【００５１】
図４の例において、左の画像ＬがコンテナフレームＣに挿入され、左上隅に位置付けられる。このことは、コンテナフレームＣの最初の７２０行の最初の１２８０画素からなるエリアＣ１に、画像Ｌの１２８０×７２０画素をコピーすることにより実行される。
【００５２】
以下の説明において、フレームに画像を挿入する、若しくは１つのフレームから他のフレームへ画素を移動させる、またはコピーするとの記載があった場合、これらの記載は、ソース画像と同じ画素を含む新たなフレームを（ハードウェア、および／またはソフトウェア手段を用いて）生成する手順を実行することを指すものと理解されたい。
【００５３】
ソース画像（またはソース画像の画素からなるグループ）をターゲット画像において複製する（ソフトウェアおよび／またはハードウェアによる）技術は、当業者には公知であり本願発明の目的において重要ではないものと考えられるので、本明細書においてはより詳細には説明しない。
【００５４】
次の段階２０３において、段階２０１でモジュール１０４により分解された画像が、コンテナフレームに挿入される。このことはモジュール１０５が、分解された画像の画素をコンテナフレームＣの画像Ｌによって占められていないエリア、つまり、エリアＣ１の外の領域にコピーすることによって実行される。
【００５５】
可能な範囲で最適な圧縮を実現し、動画ストリームを解凍する際のアーティファクトの生成を低減すべく、モジュール１０４によって出力されるサブ画像の画素は、それぞれの空間的関係を維持しながらコピーされる。言い換えると、領域Ｒ１、Ｒ２は、変形されることなくフレームＣの各領域にコピーされる。
【００５６】
図５ａは、モジュール１０５により出力されるコンテナフレームＣの例を示す。
【００５７】
長方形の領域Ｒ１は、合成フレームＣの最初の３６０行の最後の６４０画素（エリアＣ２）、つまり、事前にコピーされた画像Ｌの隣にコピーされる。
【００５８】
Ｌ字形の領域Ｒ２はエリアＣ２の下、つまり、３６１〜７２０行の最後の６４０画素と最後の３６０行の最後の１２８０画素とを含むエリアＣ３にコピーされる。
【００５９】
画像Ｌ、Ｒをコンテナフレームに挿入する動作によって、水平解像度と垂直解像度との間のバランスが変更されるものではない。
【００６０】
フレームＣには、最後の３６０行の最初の６４０画素から構成される長方形の領域（領域Ｃ２'）が残る。当該長方形の領域は、例えば補助データまたはシグナル伝達のためなど他の目的で用いることが出来る。図５ａおよび他の図面において、当該領域は灰色の領域として表されている。
【００６１】
そのようなスペア領域が全く利用されない場合、フレームＣの残りの画素に対し同じＲＧＢ値が指定される。例えば、残りの画素は全て黒であってもよい。
【００６２】
両方の入力画像（および場合によっては信号）のコンテナフレームへの移動が完了すると、装置１００により実施される方法は終了し、コンテナフレームは圧縮され、通信チャネルで送信され得る、および／または適した媒体（例えば、ＣＤ、ＤＶＤ、Ｂｌｕｅ−ｒａｙ（登録商標）、大容量記憶装置など）に記録され得る。
【００６３】
上述した多重化動作によって１つの領域または画像の複数の画素間の空間的関係は変更されないので、装置１００により出力される動画ストリームは、送信されてきた際の画像に非常に忠実に、それ程アーティファクトを生成することなく画像が再構成される可能性を十分に維持しつつ、かなりの程度まで圧縮することが出来る。
【００６４】
他の実施形態を説明する前に、フレームＲの２つの領域Ｒ１、Ｒ２への分割は、フレームの、合成画像内の利用可能な空間、および、コンテナフレームへ変更されずに挿入される左の画像が占める空間を考慮した可能な限り少ない数の領域への分割に対応することを指摘しておきたい。
【００６５】
当該可能な限り少ない数は言い換えると、左の画像によって残される、コンテナフレーム内の利用可能な空間を占めるのに必要な領域の最小数である。
【００６６】
よって一般的に、画像を分解することによって得られる領域の最小数は、ソース画像（左右の画像）のフォーマットと、ターゲットである合成画像（コンテナフレームＣ）との関数として定義される。
【００６７】
言い換えると、本願発明によると、画像Ｒは図４に示すやり方で２つの領域Ｒ１、Ｒ２に分割され得る。実際、２つの画像Ｌ、Ｒは合成画像Ｃの２つの互いに反対の隅、特に左上隅と、右下隅とにそれぞれ位置付けられる。画像Ｌに重ね合わせられる画像Ｒの部分Ｒ１は、図面に示されるように右上隅、または左下隅に移動させられ得る。画像Ｌに重ね合わせられない、右下隅に配置される画像Ｒの部分Ｒ２は、６つの辺を有する不規則な多角形の形状を有する。このやり方により、第２画像は最小数（２つ）の領域に分割される。
【００６８】
この解決方法の利点は、内部境界の全長が最小化され、このことが、圧縮段階におけるアーティファクトの生成を低減し、画素間の空間的相関を最大化するのに寄与するということである。
【００６９】
加えて、Ｒの画像を細分化し、２つのサブ画像を合成フレームＣにコピーするのに要する計算コストが最小化となり、多重化および逆多重化装置の構造、および合成および分解手順の複雑さが単純化される。
【００７０】
図５ａの配置は、本願発明に係る、合成フレームＣで２つの画像を配置する単なる第１のやり方を表し、図５ｂは、Ｃの最後の３６０行の最初の６４０画素（エリアＣ２'）に領域Ｒ１が配置され、エリアＣ２が動画情報を含まない、図５ａのレイアウトの代替例を示す。
【００７１】
図５ａおよび図５ｂの配置は、図５ａにおいてはＣの右上隅に配置され、図５ｂにおいてはＣの左下隅に配置されるＲ１の配置のみが異なるので、互いに他方の代替例（「デュアルアレンジメント」）と見なすことが出来る。
【００７２】
図６は、合成フレームＣに配置するべく画像Ｒを分割する第２のやり方を示す。Ｒ１はＲの最後の３６０行の最後の６４０画素を抽出することにより得られる。Ｌ字形のサブ画像Ｒ２はＲの残りの画素、つまり、最初の３６０行と、最後の３６０行の最初の６４０画素とにより構成される。
【００７３】
図７ａおよび図７ｂは、画像Ｌを合成フレームＣの最後の７２０行の最後の１２８０により構成される右下隅（エリアＣ１''）に配置した後に、図６で得られる領域Ｒ１、Ｒ２が合成フレームＣに配置されるデュアルアレンジメントを示す。Ｌ字形のＲ２領域はＣの左上隅に配置される。２つの図面間の違いは、Ｒ１のサブ画像により占められる、左下隅（エリアＣ２'）と右上隅（エリアＣ２）とにそれぞれ配置されるＣ内のエリアである。逆に、長方形のスペア領域は右上隅（エリアＣ２）と左下隅（エリアＣ２'）とをそれぞれ占める。
【００７４】
図８は、合成フレームＣに配置するべく画像Ｒを分割する第３のやり方を示す。Ｒ１はＲの最後の３６０行の最初の６４０画素を抽出することにより得られる。Ｌ字形のサブ画像Ｒ２はＲの残りの画素、つまり、最初の３６０行と、最後の３６０行の最後の６４０画素とにより構成される。
【００７５】
図９ａおよび図９ｂは、画像Ｌを合成フレームＣの最後の７２０行の最初の１２８０により構成される左下隅（領域Ｃ１''）に配置した後に、図８で得られる領域Ｒ１、Ｒ２が合成フレームＣに配置されるデュアルアレンジメントを示す。Ｌ字形のＲ２領域はＣの右上隅に配置される。２つの図面間の違いは、右下隅（エリアＣ４）と左上隅（エリアＣ６）とにそれぞれ配置されるＲ１のサブ画像の位置である。逆に、長方形のスペア領域は左上隅（エリアＣ６）と右下隅（エリアＣ４）とをそれぞれ占める。
【００７６】
最後に、図１０は、合成フレームＣに配置するべく画像Ｒを分割する第４のやり方を示す。最初の３６０行の最後の６４０画素が抽出され、サブ画像Ｒ１を形成する。Ｌ字形の領域Ｒ２は、Ｒの残りの画素、つまり、最初の３６０行の最初の６４０画素と、最後の３６０行とにより構成される。
【００７７】
図１１ａおよび図１１ｂは、画像Ｌを合成フレームＣの最初の７２０行の最後の１２８０により構成される右上隅（領域Ｃ１'''）に配置した後に、図１０で得られる領域Ｒ１、Ｒ２が合成フレームＣに配置されるデュアルアレンジメントを示す。Ｌ字形のＲ２領域はＣの左下隅に配置される。２つの図面間の違いは、左上（エリアＣ６）隅と右下（エリアＣ４）隅とにそれぞれ配置されるＲ１のサブ画像の位置である。逆に、長方形のスペア領域は右下隅（エリアＣ４）と左上隅（エリアＣ６）とをそれぞれ占める。
【００７８】
図１１ａおよび図１１ｂによって、合成フレームＣへのＲおよびＬの画像の２つの領域の考えられ得る全ての配置が示されたことになる。つまり、計８つの配置が考え得る。画像Ｌを２つのサブ画像Ｌ１、Ｌ２に分割し、他方の画像Ｒを分割しないでおく他の８の配置も考えられ得る。これらの８つの配置は、画像ＲをＬと入れ替え、領域Ｒ１、Ｒ２をＬ１およびＬ２とそれぞれ入れ替えることにより、ここまで説明した図面に示される構成から容易に導き出すことが可能である。これらの導き出される配置は非常に些細なものであり明白であるので、本開示においてさらに詳細には説明しない。
【００７９】
Ｒを分割する段階において導入される境界によって引き起こされるアーティファクトを示される配置により最小化出来るとしても、本出願人が実施したいくつかのテストによると、高い圧縮比率の場合、復号化された後に、再構成された画像において可視的なアーティファクトが存在し得ることが示された。
【００８０】
境界領域におけるアーティファクトの存在をさらに低減させるために、例えば図５ａの分解方式で適用され得る図１２および１３に示される技術を採用するのが有利である。
【００８１】
第１実施形態において、図１２に示すＲ１とＲ２との間の境界領域を含む追加のＬ字形の領域Ｒ３が複製され、図１３に示すスペアエリアＣ２'に挿入される。当該Ｒ３領域は、一定幅、または水平方向への延在部分および垂直方向の延在部分において２つの異なる幅ｈ、ｋを有し得る。パラメータｈ、ｋは、ゼロより大きい整数である。Ｒ３領域はＲの内部境界に関して対称的に配置され得る。
【００８２】
本出願人が実施したテストによると、再構築された画像Ｒｏｕｔ内の主に内部境界近くでアーティファクトが現れる。よって、Ｒｏｕｔの内部境界近くに配置される（圧縮および解凍後のＲ１に対応する）Ｒ１'および（圧縮および解凍後のＲ２に対応する）Ｒ２'の画素は、複製段階において破棄されてもよく、Ｒ３の圧縮および解凍動作の後に得られる領域Ｒ３'の内部画素によって置き換えられてもよい。Ｒ３'の縁の画素は、他の内部境界に近く、アーティファクトによる影響を受けている可能性が高いので破棄されなければならない。Ｒ、Ｌ、およびＣまたはＣ'の各サイズを考慮して、特定の境界画素セットからなる細長の一片がスペアエリアＣ２'内に配置され得るが、このＬ字形の細長の一片は、図１２および１３から明らかなようにＲ１とＲ２との間の境界領域のＲの外部境界に近い画素を含み得ない。
【００８３】
このことはそれ程不都合ではない。なぜなら、画像の外部境界近くに位置するアーティファクトはほとんど見えないからである。しかし所望されるのであれば、ここまで説明されてきたやり方で修正され得ないそれら２つの小さな領域を複製し、合成フレームの空き空間に挿入されてもよい。しかしこのことにより、合成および分解手順の複雑さが増すので、好ましい解決方法ではない。
【００８４】
Ｌ字形の領域Ｒ３を右下隅に隣接するスペアエリアＣ２'に挿入し、利用可能な領域に配置され得るＲ３の延在部分の長さを最大化するのが有利である。一例として、Ｒ３の水平方向の延在部分の幅は、ｈ＝４８画素であり、内部のｎ＝１６画素のみが、Ｒ画像を再構成するのに用いられ、隣接する３２画素は、合成フレームＣ内の不連続部分に近くアーティファクトにより影響を受けている可能性が高いので破棄される。同様に、Ｒの垂直方向の延在部分は大きくｋ＝３２であり得、この内、ｍ＝１６のみがＲの再構成に用いられる。
【００８５】
明らかではあるが、図１２および１３に示される特定の技術は、適宜変更を加えて図５ｂに示されるデュアルアレンジメントにも適用可能である。その際異なる点は、Ｌ字形の領域Ｒ３がＣ２'ではなくスペア領域Ｃ２に配置される点である。同様に、図１２および１３に示される特定の技術は、図６〜１１ｂに示される画像Ｒおよび合成フレームＣの他の全ての配置に、適宜変更を加えて適用可能である。その際異なる点は、Ｒ３の内部境界領域が異なったやり方で破棄され、領域Ｒ３がＣの異なるスペアエリアに配置される点である。同様のことが、ＲをＬと入れ替え、Ｒ１およびＲ２をＬ１およびＬ２と入れ替えることによって得られる、図面に示されていない他の配置に関しても当てはまる。
【００８６】
また、Ｒ１とＲ２との間の水平方向の内部境界においてアーティファクトがより目立つことをいくつかのテストが示しているので、Ｌ字形の内部領域を用いる代わりに、水平方向の内部境界周りの画素のみを含むＲ３領域を用いることも可能である。当然ながら、垂直方向の内部縁のアーティファクトのみを取り除くことが所望される場合、Ｒ３領域の形状は垂直方向に延びていてもよい。これらの実施形態は上記の説明を鑑みれば自明であるので、図面には示していない。
【００８７】
ここまで説明したやり方のいずれかを用いて得られるフレームＣは、続いて圧縮され、送信される、または記憶媒体（例えばＤＶＤ）に保存される。この目的において、画像または動画信号を圧縮する圧縮手段が、圧縮された画像または動画信号を記録、および／または送信する手段と併せて用いられる。
【００８８】
図１６は、受信したコンテナフレームを（圧縮されているならば）解凍し、右および左の２つの画像を再構成し、それらの画像を視覚化装置（例えばテレビ）に提供し３Ｄコンテンツの視聴を可能とする受信機１１００のブロック図を示す。受信機１１００は、セットトップボックス、またはテレビに内蔵された受信機であってもよい。
【００８９】
（場合によっては圧縮された）コンテナフレームを読み取り、読取機に読み取られた（場合によっては圧縮された）コンテナフレームに挿入された左右の画像に対応するフレームペアを取得すべくコンテナフレームを処理する読取機（例えばＤＶＤ読取機）に関しても、受信機１１００に関する説明と同じ説明が当てはまる。
【００９０】
図１７を参照すると、受信機は圧縮された立体動画ストリーム１１０１を（ケーブルまたはアンテナを介して）受信し、解凍モジュール１１０２を用いて解凍する。これにより、フレームＣに対応するフレームＣ'のシーケンスを含む動画ストリームを取得する。理想的なチャネルが存在する場合、若しくは、コンテナフレームが大容量記憶装置またはデータ媒体（Ｂｌｕｅ−ｒａｙ（登録商標）、ＣＤ、ＤＶＤ）から読み取られている場合、フレームＣ'は、圧縮処理により生じるアーティファクトを除いて、左右の画像についての情報を伝達するコンテナフレームＣに対応する。
【００９１】
これらのフレームＣ'はその後、以下に説明する画像再構成方法を実行する再構成モジュール１１０３に供給される。
【００９２】
動画ストリームが圧縮されていなかった場合、解凍モジュール１１０２は省略され得、動画信号が再構成モジュール１１０３に直接供給され得ることは明らかである。
【００９３】
再構成処理は段階１３００から開始され、解凍されたコンテナフレームＣ'が受信される。再構成処理は合成処理において決定された特定の配置に応じて行われる。図５ａに示される合成フレームの例を検討する。この場合、再構成モジュール１１０３は、解凍されたフレームの最初の７２０×１２８０画素を、コンテナフレーム、例えば７２０ｐストリームのフレームよりも小さな新たなフレームＬｏｕｔにコピーすることにより（ソース画像Ｌに対応する）左の画像Ｌ'を抽出する（段階１３０１）。このように再構成された画像Ｌｏｕｔは、受信機１１００へ出力される（段階１３０２）。
【００９４】
続いて方法において、コンテナフレームＣ'から右のソース画像Ｒが抽出される。
【００９５】
右の画像を抽出する段階は、フレームＣ'に含まれるエリアＣ２をコピーする（段階１３０３）ことから開始される。より詳細には、Ｃ'の最初の３６０行の最後の６４０画素が、再構成された画像Ｒｏｕｔを表す新たな７２０×１２８０フレームの対応する最初の３６０行の最初の６４０列にコピーされる。
【００９６】
その後、（圧縮および解凍動作前にはＲ２であった）解凍された領域Ｒ２'を含むエリアＣ３が抽出される（段階１３０５）。（前述したように、図５ａのフレームＣに対応する）解凍されたフレームＣ'から、（ソース領域Ｒ２に対応する）エリアＣ３の画素が、Ｒｏｕｔの残りのＬ字形の部分、つまり、Ｒｏｕｔの最初の３６０行の最後の３６０列と最後の３６０行とにコピーされ、図３で合成された画像Ｒに対応する再構成された画像が取得される。
【００９７】
この時点で、画像Ｒｏｕｔは完全に再構成され、出力され得る（段階１３０６）。
【００９８】
図５ｂ、７ａ、７ｂ、９ａ、９ｂ、１１ａ、および１１ｂに示される他の全ての配置に関して、受信機１１００により、同様の動作が適宜変更を加えて、実行される。Ｃ'の、７２０×１２８０のサイズを有する対応する長方形のエリアに含まれる解凍されたＬの画像が全体的に抽出され、再構成されたＬｏｕｔ画像に挿入される。解凍されたサブ画像Ｒ１、Ｒ２を含む合成フレームＣ'のエリアが、図４、６、８、および１０に示されるようなソース画像Ｒに対応する配置でＲｏｕｔの各位置に再び配置される。
【００９９】
図１２および１３の特定の技術が用いられた場合、受信機１１００はまず、既述のものと同じ動作をＬｏｕｔおよびＲｏｕｔを再構成するべく実行し、その後、追加的な段階として（図１７の１３０５）、Ｒ３'の内部領域（Ｒｉ３）を抽出し、Ｒ３'の画素の少なくともいくつかを用いて、Ｒｏｕｔの内部境界の周りの対応する画素を上書きする。
【０１００】
図１４および図１５に示される例において、Ｒｉ３'で示される領域を形成するＲ３の内部部分に存在するｍの垂直方向の画素と、ｎの水平方向の画素とからなる細長の一片が、Ｒｏｕｔの対応する内部境界領域にコピーされる。典型的には、ｍおよびｎはゼロより大きい整数であり得、典型的には３〜１６の範囲に含まれる小さな値であり得る。ｍおよびｎは互いに等しい値、または異なる値であり得、Ｒｉ３は一定の幅、または一定ではない幅を有し得る。水平方向または水平方向の延在部分のいずれか一方のみをカバーするのに長方形の形状のＲ３が用いられた場合、適宜変更を加えることにより同じ技術を用いることが出来る。
【０１０１】
このことは高い圧縮比率の場合にのみ必要となり、高画質が求められるテレビ放送に関しては通常用いられないが、インターネットを介して送信される動画ストリーム、またはネットワークまたは限られた帯域幅を有するチャネルを介した伝送において一般的に用いられ得る。
【０１０２】
よって、エンコーダ側とデコーダ側との両方において、領域Ｒ３'、Ｒｉ３は、任意選択的に用いられる。領域Ｒ３を送信し、それを用いるかどうかはデコーダ側に委ねてもよい。このことにより２つタイプのデコーダを構成することが可能となる。一方は単純な構成のデコーダであり、他方は、より性能の高いより複雑なデコーダである。
【０１０３】
より複雑な実施形態においてＲ３'領域は、再構成された画像Ｒｏｕｔ上でミックスさせられる。この場合、いわゆる「ソフトエッジ」技術が用いられ、Ｒｏｕｔの内部境界領域の画素値を、Ｒ３'の対応する画素値を用いてクロスフェードさせ、Ｒ３'の影響はＲ１'とＲ２'との間の境界において最も大きくなり、Ｒ３'との境界において最も小さくなる。
【０１０４】
コンテナフレームＣ'に含まれる左右の画像を再構成する処理はこれで完了する（段階１３０７）。この処理は、右の画像および左の画像の２つの動画ストリーム１１０４、１１０５から出力が構成されるよう、受信機１１００により受信される動画ストリームの各フレームに対して繰り返される。
【０１０５】
本願発明についていくつかの好ましい、有利な実施形態を参照し示してきたが、本願発明はこれらの実施形態に限定されず、被写体または風景の２つの異なる視点（右および左）に関する２つの画像を、合成画像を生成すべく組み合わせることを所望する当業者によって多くの変更が加えられ得ることが明らかである。
【０１０６】
例えば、上述した装置、特に装置１００および受信機１１００を実現する電子モジュール、様々なやり方で細分化され分布させられてもよい。さらに、当該電子モジュールは、ハードウェアモジュールの形態で実現される、または、プロセッサ、特に受信する入力フレームを一時的に格納するための適切なメモリ領域を備えた動画プロセッサによって実行されるソフトウェアアルゴリズムとして実現されてもよい。よって、これらのモジュールが、本願発明に係る、画像多重化方法および逆多重化方法の動画処理段階の１以上を並行して、または順番に実行してもよい。
【０１０７】
２つの７２０ｐ動画ストリームを１つの１０８０ｐ動画ストリームに多重化する好ましい実施形態について言及してきたが、他の形式も用い得ることが明らかである。
【０１０８】
また、合成画像を生成するための異なる解決方法はそれぞれ特定の利点を有し得るので、本願発明は合成画像の特定のタイプの配置に限定されない。
【０１０９】
最後に、本願発明は、上述した本願発明の範囲に含まれる多重化処理のいずれかを反対に行うことにより、合成画像から右の画像と左の画像とを抽出することを可能とする逆多重化方法に関することが明らかである。
【０１１０】
よって本願発明は、合成画像から画像ペアを再構成する方法にも関し、当該方法は、合成画像の１つの領域から１つのグループの互いに隣接した画素をコピーすることにより右の画像と左の画像とのうち第１画像（例えば左の画像）を生成する段階と、合成画像の２つの異なる領域から他のグループの互いに隣接した画素をコピーすることにより右の画像と左の画像とのうち第２画像（例えば右の画像）を生成する段階とを備える。
【図１】
2014517606.tif 000003
【図２】
2014517606.tif 000004
【図３】
2014517606.tif 000005
【図４】
2014517606.tif 000006
【図５ａ】
2014517606.tif 000007
【図５ｂ】
2014517606.tif 000008
【図６】
2014517606.tif 000009
【図７ａ】
2014517606.tif 000010
【図７ｂ】
2014517606.tif 000011
【図８】
2014517606.tif 000012
【図９ａ】
2014517606.tif 000013
【図９ｂ】
2014517606.tif 000014
【図１０】
2014517606.tif 000015
【図１１ａ】
2014517606.tif 000016
【図１１ｂ】
2014517606.tif 000017
【図１２】
2014517606.tif 000018
【図１３】
2014517606.tif 000019
【図１４】
2014517606.tif 000020
【図１５】
2014517606.tif 000021
【図１６】
2014517606.tif 000022
【図１７】
2014517606.tif 000023
【国際調査報告】
2014517606.tif 000024
2014517606.tif 000025