(57)【特許請求の範囲】
【請求項１】
２Ｄ画像の立体画像への変換に使用する深度マップの作成方法であって、２Ｄ画像内の少なくとも１つの物体を識別する段階と、
前記物体に識別タグを割り当てる段階と、
前記物体に深度タグを割り当てる段階と、
前記物体の輪郭を決定し、定義する段階とを有することを特徴とする深度マップ作成方法。
【請求項２】
前記物体の輪郭は、一連の座標、曲線および／または幾何学的形状により定義されることを特徴とする請求項１記載の深度マップ作成方法。
【請求項３】
前記識別タグは一意的な数値であることを特徴とする請求項１または２記載の深度マップ作成方法。
【請求項４】
前記少なくとも１つの物体を識別する段階は、２Ｄ画像と汎用シーンのライブラリとを比較する段階を有することを特徴とする請求項１〜３のいずれか１項記載の深度マップ作成方法。
【請求項５】
前記輪郭を決定する段階は、物体を画素ごとにトレースすることを更に有することを特徴とする請求項１〜４のいずれか１項記載の深度マップ作成方法。
【請求項６】
前記輪郭を決定する段階は、物体の輪郭を近似する直線を使用することを更に有することを特徴とする請求項１〜４のいずれか１項記載の深度マップ作成方法。
【請求項７】
前記輪郭を決定する段階は、物体の輪郭を近似する曲線近似を使用することを更に有することを特徴とする請求項１〜４のいずれか１項記載の深度マップ作成方法。
【請求項８】
前記輪郭を決定する段階は、物体の輪郭を近似するベジエ曲線を使用することを更に有することを特徴とする請求項１〜４のいずれか１項記載の深度マップ作成方法。
【請求項９】
前記輪郭を決定する段階は、物体と、物体の輪郭を近似する曲線および／または汎用形状または幾何学的形状のライブラリとを比較することを更に有することを特徴とする請求項１〜４のいずれか１項記載の深度マップ作成方法。
【請求項１０】
前記曲線および／または汎用形状または幾何学的形状を、物体に最も良く適合するように調整することを更に有することを特徴とする請求項９記載の深度マップ作成方法。
【請求項１１】
前記深度タグは色コードを有することを特徴とする請求項１〜１０のいずれか１項記載の深度マップ作成方法。
【請求項１２】
白色は観察者に比較的近い物体を表し、黒色は観察者から比較的遠い物体を表すことを特徴とする請求項１１記載の深度マップ作成方法。
【請求項１３】
前記深度タグは数値であることを特徴とする請求項１〜１０のいずれか１項記載の深度マップ作成方法。
【請求項１４】
前記数値は０から２５５の範囲にあることを特徴とする請求項１３記載の深度マップ作成方法。
【請求項１５】
前記少なくとも１つの物体は複数のセグメントに更に分割され、各セグメントには深度タグが割り当てられることを特徴とする請求項１〜１４のいずれか１項記載の深度マップ作成方法。
【請求項１６】
前記深度の変化がランプ関数により定義されることを特徴とする請求項１５記載の深度マップ作成方法。
【請求項１７】
前記ランプ関数はリニアまたはラジアルランプであることを特徴とする請求項１６記載の深度マップ作成方法。
【請求項１８】
前記物体を画像の連続フレーム上にトラッキングし、それぞれの各フレームの物体に深度タグを決定し、割り当てることを更に有することを特徴とする請求項１〜１７のいずれか１項記載の深度マップ作成方法。
【請求項１９】
前記物体に質感バンプマップを付加することを更に有することを特徴とする請求項１〜１８のいずれか１項記載の深度マップ作成方法。
【請求項２０】
前記質感バンプマップは、物体を複数の構成部分に破断し、各構成部分に別々の深度タグを割り当てることにより定義されることを特徴とする請求項１９記載の深度マップ作成方法。
【請求項２１】
前記質感バンプマップは、物体の個々の構成部分の輝度値により定義されることを特徴とする請求項１９記載の深度マップ作成方法。
【請求項２２】
前記質感バンプマップは、物体の個々の構成部分の色差、彩度、色のグループ分け、反射、陰影、焦点および／または鮮鋭度により定義されることを特徴とする請求項１９記載の深度マップ作成方法。
【請求項２３】
各２Ｄ画像の８０×６０×８ビット解像度の濃度階調画像を作成することを更に有することを特徴とする請求項１〜２２のいずれか１項記載の深度マップ作成方法。
【請求項２４】
ビデオシーケンスの２Ｄ画像の立体画像への変換に使用する深度マップの作成方法であって、
ビデオシーケンスの各フレームを識別し、番号付けする段階と、
ビデオシーケンス内の少なくとも１つの物体を識別する段階と、
各物体に識別タグを割り当てる段階と、
ビデオシーケンスを複数の部分シーケンスに分割する段階と、
部分シーケンスを複数のオペレータに伝送し、各オペレータが、前記識別タグが前もって割り当てられた部分シーケンスの各物体について輪郭を決定し、定義する段階と、
前記複数のオペレータから前記部分シーケンスを受ける段階と、
該部分シーケンスを照合して、ビデオシーケンスを再構成する段階と、
各物体に深度タグを割り当てる段階とを有することを特徴とする深度マップ作成方法。
【請求項２５】
前記ビデオシーケンスが複数の部分シーケンスに分割される前に、セキュリティ処置をビデオシーケンスに付加する段階を更に有することを特徴とする請求項２４記載の深度マップ作成方法。
【請求項２６】
前記セキュリティ処置は、ビデオシーケンスからオーディオを除去し、および／または、ビデオシーケンスの色を変更することを有することを特徴とする請求項２５記載の深度マップ作成方法。
【請求項２７】
２Ｄ画像の立体画像への変換に使用する深度マップの符号化方法であって、
物体に物体識別子を割り当てる段階と、
前記物体に深度タグを割り当てる段階と、
物体の輪郭を定義する段階とを有することを特徴とする深度マップの符号化方法。
【請求項２８】
前記物体の輪郭は一連のｘ、ｙ座標により定義され、各ｘ、ｙ座標は曲線により分離されることを特徴とする請求項２７記載の深度マップの符号化方法。
【請求項２９】
前記曲線はライブラリに記憶され、一意的な番号が割り当てられることを特徴とする請求項２８記載の深度マップの符号化方法。
【請求項３０】
前記物体の輪郭はまた、各曲線の方向に関するデータを有していることを特徴とする請求項２８または２９記載の深度マップの符号化方法。
【請求項３１】
前記各曲線はベジエ曲線であることを特徴とする請求項２８〜３０のいずれか１項記載の深度マップの符号化方法。
【請求項３２】
前記物体の輪郭は少なくとも１つの幾何学的形状により定義されることを特徴とする請求項２７記載の深度マップの符号化方法。
【請求項３３】
前記少なくとも１つの幾何学的形状は、形状の形態および形状のパラメータにより定義されることを特徴とする請求項３２記載の深度マップの符号化方法。
【請求項３４】
前記物体の深度タグを符号化は、 一種類の深度を割り当て、 物体に深度を割り当てることを有することを特徴とする請求項２７〜３３のいずれか１項記載の深度マップの符号化方法。
【請求項３５】
前記深度の種類には、単一値、リニアランプまたはラジアルランプが含まれることを特徴とする請求項３４記載の深度マップの符号化方法。
【請求項３６】
アナログテレビジョン信号のバーチカルブランキングインターバルに深度マップを埋め込む段階をさらに有することを特徴とする請求項１記載の深度マップ作成方法。
【請求項３７】
デジタルテレビジョン信号のＭＰＥＧに深度マップを埋め込む段階をさらに有することを特徴とする請求項１記載の深度マップ作成方法。
【請求項３８】
ＤＶＤのＶＯＢファイルに深度マップを埋め込む段階をさらに有することを特徴とする請求項１記載の深度マップ作成方法。
【請求項３９】
２Ｄ画像および該２Ｄ画像に対応する深度マップデータを受ける段階と、
深度マップデータ内で識別された物体を決定する段階と、
前記物体の対応する深度を決定する段階と、
深度に基いて物体に陰影を付す段階と、
画像を処理して、歪み量は深度に基いて定められる歪みグリッドを形成する段階と
を有することを特徴とする深度マップデータの復号化方法。
【請求項４０】
前記歪みグリッドを形成する前、物体間の移行を滑らかにするように、深度マップをぼかすことを更に有することを特徴とする請求項３９記載の深度マップデータの復号化方法。
【請求項４１】
複数の多角形から歪んでいないメッシュを作成する段階と、
前記メッシュに深度マップを適用する段階とを有し、メッシュ内の多角形の高さは深度マップに記録された深度に基いて定まり、
多角形の高さを翻訳変位に変換して、歪みメッシュを創成する段階と、
歪みメッシュを、深度マップデータに対応する２Ｄ画像に適用する段階とを更に有することを特徴とする深度マップデータの復号化方法。
【請求項４２】
深度マップのライブラリを含む深度マップデータを符号化するデコーダであって、
入力データが前記ライブラリと比較され、前記データが深度マップの前記ライブラリ中の深度マップに一致しない場合に、デコーダが請求項４１に記載の方法を用いて入力データを処理することを特徴とするデコーダ。
【発明の詳細な説明】
【０００１】
（技術分野）
本発明は、広くは、立体画像合成に関し、より詳しくは、２次元画像（２Ｄ）を更に符号化して伝送し、立体画像表示の目的で復号化すべく２次元画像を変換する改善された方法に関する。
【０００２】
（背景技術）
本件出願人は、これまでに、ＰＣＴ／ＡＵ９６／００８２０において、原２Ｄ画像から立体ディスプレイのための左目および右目画像を作成する方法であって、
ａ.原画像内の少なくとも１つの物体を識別する段階と、
ｂ.各物体を輪郭付けする段階と、
ｃ.各物体の深度特性（depth characteristic）を定義する段階と、
ｄ.各物体の選択された領域を、それぞれ、各物体の深度特性の関数として決定された量だけ横方向に変位させて、観察者の左右の目で見ることができる２つの引伸ばし画像を形成する段階とからなる方法を開示している。
【０００３】
これらの段階は、個別的におよび集合的に、動的深度キューイング（Dynamic Depth Cueing; ＤＤＣ）と呼ぶことができる。
【０００４】
（発明の開示）
本発明は、本件出願人に係る上記システムを更に改良するものである。
【０００５】
本発明は、その一態様として、２Ｄ画像の立体画像への変換に使用する深度マップの作成方法であって、
２Ｄ画像内の少なくとも１つの物体を識別する段階と、
前記各物体に識別タグを割り当てる段階と、
前記各物体に深度タグを割り当てる段階と、
前記各物体の輪郭を決定し、定義する段階とを有することを特徴とする深度マップ作成方法を提供する。
【０００６】
本発明は、その他の態様として、２Ｄ画像の立体画像への変換に使用する深度マップの符号化方法において、
物体に物体識別子を割り当てる段階と、
前記物体に深度タグを割り当てる段階と、
前記物体の輪郭を定義する段階とを有することを特徴とする深度マップの符号化方法を提供する。
【０００７】
物体の輪郭は、一連の座標、曲線および／または幾何学的形状により定義される。識別タグは、一意的な数値を用いると便利である．
本発明の他の態様では、ベジエ曲線（bezier curves）を使用して２Ｄから３Ｄへの変換プロセスで物体の輪郭を創成させる方法を提供する。
【０００８】
本発明の更に別の態様では、曲線を使用して２Ｄから３Ｄへの変換プロセスで物体を定義する方法を提供する。
【０００９】
本発明の他の態様では、幾何学的形状を使用して２Ｄから３Ｄへの変換プロセスで物体の輪郭を定義する方法を提供する。
【００１０】
本発明の他の態様では、深度マップ情報（該情報はバーチカルブランキングインターバル（Vertical Blanking Interval）またはＭＰＥＧデータストリーム内に含まれている）の伝送方法を提供する。
【００１１】
本発明の更に別の態様では、汎用（generic）ライブラリを使用して２Ｄから３Ｄへの変換プロセスの補助を行う方法を提供する。
【００１２】
（発明を実施するための最良の形態）
本発明のより良き理解を与えるため、本発明の好ましい実施形態を示す添付図面を参照して本発明を説明する。
【００１３】
物体識別
変換すべき２Ｄ画像での物体は、視覚による点検（inspection）を通じて、人であるオペレータにより識別されることができる。オペレータは、一般に、コンピュータマウス、光ペン、スタイラスまたは他のデバイスを用いて、画像中の各物体または物体群にタグを付し、そして、それらの物体に一意的な数値を割り当てる。この数値は、オペレータが手動操作で創出するか、コンピュータにより特定シーケンスで自動的に創出することができる。
【００１４】
また、物体は、コンピュータを用いて完全に自動的に識別されるか、またはコンピュータが物体（単一または複数）の位置を確定することをオペレータが補助することにより半自動的に識別されることができる。
【００１５】
物体を自動的に識別するため、コンピュータは、物体のサイズ、色、移動速度、陰影、質感、輝度、ぼやけ、焦点、過去、現在および未来の画像間の差異等の特徴を使用する。物体の識別を補助するのに、ニューラルネットワークまたはエキスパートシステムを使用することもできる。
【００１６】
半自動物体識別では、オペレータは、当該物体が見出される画像の性質に関するアドバイスをコンピュータに与えることにより、コンピュータを補助することができる。例えば、オペレータは、当該シーンが汎用フォーマットの「News Reader」のシーンであることをコンピュータにアドバイスでき、この場合には、コンピュータは、ニュースキャスターの頭部および肩部、デスクおよび背景等を配置しようと試みる。オペレータは、想定される汎用シーンのメニューから選択できる。オペレータは、コンピュータによりなされた任意の物体の選択を手動操作により無効にし、および／または、訂正、調節することができる。コンピュータプログラムは、例えばニューラルネットワークまたはエキスパートシステムを用いてこれらの訂正から学習し、物体識別および番号付けの精度を連続的に改善できる。
【００１７】
ひとたび物体が識別され、番号付けされたならば、物体は、連続フレームにわたって画像内で移動するときに、手動操作により、自動的にまたは半自動的にトラッキングされる。
【００１８】
また、オペレータは、同じシーケンス上の作業、または同様なシーンの従前の変換からの作業で、他のオペレータにより作成された物体識別情報を使用することもできる。
【００１９】
物体の輪郭付け
単一または複数の物体の輪郭付けは、手動により、あるいは、自動的にまたは半自動的に決定される。
【００２０】
手動操作による輪郭付けでは、オペレータは、コンピュータマウス、光ペン、スタイラスまたは他のデバイスを用いて単一または複数の物体の輪郭をトレースする。オペレータは、１つずつの画素ベースで物体の輪郭を選択し、直線近似または曲線近似、ベジエ曲線を使用し、あるいは、曲線形状または汎用形状のライブラリからぴったり適合させることができる。また、オペレータは、既にほぼ正確な形状になっている汎用形状のライブラリから選択し、形状を拡大縮小または調節して、動的に適合させることができる。例えば、オペレータが人の輪郭の選択を望む場合には、人の汎用輪郭をライブラリから検索して、手動操作により、半自動的にまたは自動的に適宜調節することができる。また、オペレータは、円形、楕円形、三角形、正方形等の幾何学的形状のライブラリから選択することもできる。
【００２１】
自動的輪郭付けの場合に、コンピュータは、サイズ、色、移動速度、陰影、輝度、ぼやけ、焦点、過去、現在および未来の画像間の差異等の特徴を使用できる。物体の輪郭を決定するのに、ニューラルネットワークまたはエキスパートシステムを使用することもできる。
【００２２】
半自動輪郭付けでは、オペレータは、当該物体が見出される画像の性質に関するアドバイスをコンピュータに与えることにより、コンピュータを補助することができる。例えば、オペレータは、当該シーンが汎用フォーマットの「News Reader」のシーンであることをコンピュータにアドバイスでき、この場合には、コンピュータは、ニュースキャスターの頭部および肩部、デスクおよび背景等を配置しようと試みる。オペレータは、想定される汎用物体のメニューから選択できる。オペレータは、コンピュータによりなされたあらゆる物体の選択を手動操作により無効にし、および／または、訂正および調節することができる。コンピュータプログラムは、例えばニューラルネットワークまたはエキスパートシステムを用いてこれらの訂正から学習し、輪郭付けの精度を連続的に改善できる。
【００２３】
ひとたび物体が輪郭付けされたならば、物体は、連続フレームにわたって画像内で移動するときに、手動操作により、あるいは、自動的にまたは半自動的にトラッキングされる。
【００２４】
また、オペレータは、同じシーケンス上の作業、または同様なシーンの従前の変換からの作業で、他のオペレータにより作成された物体輪郭付け情報を使用することもできる。また、オペレータは、予め定義された輪郭のライブラリ（該ライブラリには、円形、楕円形、三角形、正方形等の幾何学的形状が含まれる）から選択し、ライブラリの輪郭を手動操作、半自動的または自動的に調節して、選択された物体に適合させることもできる。ライブラリは、個々の輪郭（例えば、News Reader）により、または物体（例えば、Horse Race, Evening News等）の特定ファミリに基いて、索引付けすることができる。
【００２５】
深度の定義
単一または複数の物体の深度は、手動操作、あるいは、自動的または半自動的に決定できる。物体の深度は、任意の英数字、視覚、聴覚または触覚情報を用いて割り当てられる。好ましい実施形態では、物体の深度は、物体を特定の色で陰影付けすることにより表示される。一般に、ひとたび変換されると、観察者に最も近い３Ｄ位置に現れる物体については白色、および観察者から最も離れた３Ｄ距離にある物体については黒色に陰影付けされる。この規則は変えることができることは明白であり、例えば、反転させたり、相対深度または絶対深度を表示する彩色とすることができる。
【００２６】
他の実施形態では、物体の深度には数値が割り当てられる。この値は、線形または非線形に連続した正または負の数値にすることができ、単一または複数の数字を含むことができる。好ましい実施形態では、この値は、この値を単一バイトで符号化できるようにするため、０〜２５５の範囲内にある。ここで、２５５は、ひとたび変換されると、観察者に最も近い３Ｄ位置に現れる物体を表し、一方０は、観察者から最も離れた３Ｄ距離にある物体を表す。この規則は変えることができることは明白であり、例えば、逆転させたり、他の範囲の数字を使用することができる。
【００２７】
手動操作による深度定義では、オペレータは、コンピュータマウス、光ペン、スタイラスまたは他のデバイスを使用して、物体または物体群の深度を割り当てることができる。オペレータは、ポインティングデバイスを物体の輪郭内に置き、深度値を入力することにより物体の深度を割り当てることができる。深度は、数字、英数字、または記号としてオペレータにより入力される。そして、所定範囲の許容値からオペレータにより割り当てられるか、コンピュータにより自動的に割り当てられる。また、オペレータは、許容深度のライブラリまたはメニューから物体の深度を選択できる。
【００２８】
また、オペレータは、物体内に一定範囲内の深度、または時間、物体位置または移動速度またはこれらのファクタの任意の組合せにより変化する深度範囲を割り当てることができる。例えば、物体は、観察者に最も近い縁部と、観察者から最も離れた縁部とを備えたテーブルであるとする。３Ｄに変換するとき、テーブルの見かけ深度はその縦方向に沿って変化しなければならない。これを達成するため、オペレータはテーブルを多数のセグメントに分割し、各セグメントに個々の深度を割り当てる。あるいは、オペレータは、陰影の量がテーブルの特定位置での深度を表すように物体に陰影付けすることにより、連続的に変化する深度を物体内に割り当てることができる。このテーブルの例では、明るい影が近い側の物体を表し、暗い影が遠い側の物体を表す。テーブルの例では、最も近い縁部に明るい影が付され、最も遠い縁部に到達するまで、影は徐々に暗くなっていく。
【００２９】
物体内の深度の変化は、線形でも非線形でも良く、時間、物体の位置、移動またはこれらのファクタの任意の組合せに従って変化してもよい。
【００３０】
物体内の深度の変化は、ランプ（ramp）型することができる。リニアランプは、始点（Ａ）および終点（Ｂ）を有することとなる。点Ａ、Ｂにおける色が定義される。点Ａから点Ｂへの階調度が垂線上に適用される。
【００３１】
ラジアルランプ（Radial Ramp）は、中心点（Ａ）からの半径（Ｂ）までの距離を使用するが、リニアランプと同様な傾斜を定義する。
【００３２】
ラジアルランプに対する簡単な拡張は、外側の縁を先細にさせるか、中心点を可変サイズにすることができる。
【００３３】
線形拡張は、垂線からの距離ではなく、線分からの距離である。この例では、色は、線分についてのものおよび「外側（outside）」についての色が定義される。線分に沿う色が定義され、この色は「外側」の色に向かってテーパしている。
【００３４】
種々のランプは容易に符号化される。また、ランプは、より複雑な曲線、方程式、および可変透明度等に基いて定められる。
【００３５】
他の例では、フレームの一期間にわたって、物体は画像の前方から後方へと移動する。オペレータは、第１フレームの物体についての深度、および最終または次のシーンにおける物体の深度を割り当てることができる。次に、コンピュータは、物体の深度を、連続フレームにわたって、線形法または他の所定方法で補間する。このプロセスも完全に自動化でき、これにより、コンピュータは、物体がある時間にわたって移動するときに、物体のサイズ変化に基いて物体の深度の変化を割り当てる。
【００３６】
自動深度定義において、コンピュータは、サイズ、色、移動速度、陰影、輝度、ぼやけ、焦点、および過去、現在、未来間における画像の差異等の特性を使用できる。ニューラルネットワークまたはエキスパートシステムを用いて、物体の深度を決定することもできる。
【００３７】
半自動深度定義において、オペレータは、深度が割り当てられる画像の性質に関するアドバイスをコンピュータに与えることにより、コンピュータを補助できる。例えば、オペレータは、当該シーンが汎用フォーマットの「News Reader」のシーンであることをコンピュータにアドバイスでき、この場合には、コンピュータは、ニュースキャスターの頭部および肩部、デスクおよび背景等を配置し、これらを論理的深度シーケンスとして配置することを試みる。オペレータは、想定される汎用物体および深度のメニューから選択できる。オペレータは、コンピュータによりなされた任意の物体の深度を手動操作により無効にし、および／または、訂正および調節することができる。コンピュータプログラムは、例えばニューラルネットワークまたはエキスパートシステムを用いてこれらの訂正から学習し、深度割当ての精度を連続的に改善できる。
【００３８】
ひとたび物体に特定深度が割り当てられたならば、物体は、連続フレームにわたって画像内で移動するときに、手動操作により、あるいは、自動的にまたは半自動的にトラッキングされる。
【００３９】
また、オペレータは、同じシーケンス上の作業、または同様なシーンの従前の変換からの作業で、他のオペレータにより作成された深度定義を使用することもできる。
【００４０】
多数のオペレータ
ビデオシーケンスをタイムリーな方法で変換するためには、多数のオペレータが２Ｄソースマテリアルで作業する必要がある。これらのオペレータは、同じ前提で配置されるとしても、例えばインターネットのようなオンラインコンピュータサービスを用いることで、世界中のどこにでも置くことができる。このような状況で、ソースマテリアルのセキュリティを確保するには、音声情報を除去し、そして画像の色を変更する必要がある。これにより、物体の輪郭を決定するオペレータの能力に何らの影響をも与えずに、原ソースマテリアルへの著作権侵害を防止できる。物体の輪郭の実際の選択は比較的簡単なプロセスであるので、これは、労働コストが低い国で行うのが最もコスト有効性に優れている。この構成を用いる場合、変換手順は次のようにするのが便利であろう。
【００４１】
１．監督オペレータが、３Ｄに変換すべきビデオシーケンスを識別し、シーケンスの各フレームに番号を付す。
【００４２】
２．監督オペレータが、必要に応じて、必要なセキュリティ処置を適用する。
【００４３】
３．監督オペレータが、前述のようにして輪郭付けする必要のあるシーン中の物体あるいは物体群を識別し、それぞれに一意的なタグを付す。
【００４４】
４．ビデオシーケンスは、次に、適当なデジタルフォーマットに変換され、オンラインサービスを介して遠隔宛先または宛先群に伝送される。長いビデオシーケンスだと、これは不経済であるかもしれないので、この場合には、ＣＤ−ＲＯＭまたは他のバックアップ媒体による配送が好ましい。
【００４５】
５．このシーケンスは、オペレータまたはオペレータ達が物体の操作を行う遠隔の場所で受け取られる。
【００４６】
６．操作の結果として、識別された物体輪郭（このデータは後で圧縮される）が得られるので、ファイルサイズは、一般に、原画像よりかなり小さくなるであろう。この場合には、物体情報は、オンラインｅ−メールサービスを用いて監督オペレータに便利に戻される。
【００４７】
７．監督オペレータは、受け取った物体の輪郭の品質制御を行い、フレーム番号を原ビデオソースマテリアルに一致させる。
【００４８】
８．次に、監督オペレータは、物体輪郭と原ソースマテリアルを、各物体について必要な深度情報を適用する次のオペレータに渡す。
【００４９】
深度情報の適用は芸術的で創作的なプロセスであるので、これは、小さいオペレータのグループにより、中央の位置で行うことが、本質的ではないにせよ望ましいことである。これはまた、長いシーケンスにわたって物体の深度の一貫性を保証する。
【００５０】
複雑な深度定義
よりリアリスティックに見える３Ｄを作成するには、簡単なランプまたは線形変化よりも複雑な深度定義を用いることが必要となることがある。これは、例えば樹木のような多くの深度変化をもつ複雑な内部構造を有する物体にとって特に望まれることである。このような物体の深度マップは、物体に質感バンプマップを付加することにより作成できる。例えば、樹木を考慮する場合、第１段階は樹木の輪郭の周囲をトレースし、次に樹木に深度を割り当てることである。次に、質感バンプマップを付加して、樹木の各葉にそれ自体の深度を付与する。このような質感マップは、比較的簡単な物体に細部を付与する上で、本発明にとって有効であると考えられる。
【００５１】
しかしながら、樹木の葉または他の複雑な物体のような微細な部分についてはこの方法は好ましくはない。なぜならば、この方法は、樹木等が風で動いたりカメラアングルがフレーム毎に変化するような場合に非常に複雑化してしまうからである。より好ましい他の方法は、原物体の輝度（あるいは、黒色または白色成分）を用いて必要なバンプマップを創成することである。一般に、観察者に近い物体は明るく、観察者から遠い物体は暗くなる。従って、近い要素に明るい光輝度値を割り当て、遠い要素に暗い光輝度値を割り当てることにより、バンプマップが自動的に創成される。この技術の利点は、物体自身がバンプマップの創成に利用され、フレーム間で物体がどんな動きをしても、自動的にトラッキングされることができることである。物体の他の特性を使用してバンプマップを創成することもでき、これらの特性として、色差、彩度、色のグループ分け、反射、陰影、焦点、鮮鋭度等があるが、これらに限定されるものではない。
【００５２】
物体の特性から得られるバンプマップ値は、物体内の深度変化範囲が、画像全体の一般的な深度範囲と一貫性を保つように調整するのが好ましい。
【００５３】
深度マップ
物体を検出し、物体の輪郭を決定し、深度を割り当てるプロセスを、本発明者は、深度マップの創成と呼ぶことにする。好ましい実施形態では、深度マップは、関連２Ｄ画像内の物体を２５６個の個々の深度の１つに定義できるようにする８０×６０×８ビットの解像度の濃度階調画像からなるものとする。
【００５４】
あるいは、曲線の形状は、連続的なｘｙ座標と、ある線Ａ上にあって、曲線により結合されたこれらの点ｘ１ｙ１およびｘ２ｙ２との間の直線からの曲線の変位との間の距離の比として定義できる。これらの点の間の曲線は、線Ａから曲線の中間点まで測定した最大変位Ｂを有している。従って、曲線は次のように定義される。
【００５５】
曲線＝Ｂ／Ａ
この曲線は、−１２８から＋１２８の値をもつことが好ましく、０は、２つの点の間の直線を表す。曲線に割り当てられた値は２つの測定値の比であるので、同じ曲線値が、同じＢ／Ａ比をもつ他の曲線にも割り当てられることに留意されたい。
【００５６】
深度マップの符号化
深度マップは多くの方法で符号化できる。好ましい実施形態では、物体番号、深度および物体輪郭が、次のように符号化される。Ｆｉｇ３に示す人の輪郭を考えるものとする。人には、深度２０をもつ物体番号１が割り当てられる。物体の輪郭は、前述のようにして特定のｘ、ｙ位置に決定されている。一般に、物体輪郭の方向が変化する箇所には、特定のマークが付される。このマークとして、英数字、形状、色または他の視覚表示形態がある。これらの各マークは、特定のｘ、ｙ位置を有している。好ましい実施形態では、これは、０から２５５の範囲内にある。各ｘ、ｙの対の間に、曲線が存在する。各曲線は、全ての可能な曲線形状のライブラリからの選択により決定される。好ましい実施形態では、各曲線は、１バイトを用いて曲線を定義できるようにするため、一般に−１２７から＋１２７の範囲内の値が付与される。ｘ、ｙ位置から次のｘ、ｙ位置まで時計回り方向に進行する曲線には正の値が割り当てられ、反対に反時計回り方向に進行する曲線には負の値が割り当てられる。他の割当てを適用することもできる。
【００５７】
深度の閾値処理
変換アルゴリズムに深度閾値を付加するこにより、閾値より前の物体が歪まないようにすることができる。これは、前景物体が後景物体と交差するときに、前景物体の縁部に、いくつかの小さい歪みが生じることを防止する。
【００５８】
好ましい変換アルゴリズムでは、深度マップを使用して、最終シーンの３Ｄプロファイルを形成する連続深度マップを創成する。このプロセスに閾値が適用されると、深度マップが処理されて閾値遷移点が検出され、該遷移点より上および下の深度が独立的に処理される。
【００５９】
従って、この物体の深度マップは次のように定義される。
【００６０】
＜物体番号＞＜物体深度＞＜ｘ１、ｙ１、曲線１、ｘ２、ｙ２、曲線２…ｘ１、ｙ１＞
物体深度情報は、現在の物体の深度を発生させるのに必要なデータを保有している。前述のように、この深度データは、単一データ、ランプ（リニア、ラジアル、その他）、または単一物体の深度を記述する他の方法で構成できる。次の方法は、単一物体の深度データを符号化できる手段を示すものである。
【００６１】
深度データは、単一深度値について次のように符号化される。
【００６２】
＜深度フラグ１＞＜深度値＞
深度データは、その深度値としてリニアランプをもつ物体について次のように符号化される。
【００６３】
＜深度フラグ２＞＜ｘ１、ｙ１、深度値１、ｘ２、ｙ２、深度値２＞
ここで、物体の深度は、ｘ１、ｙ１での深度値１からｘ２、ｙ２での深度値２まで線形に変化する。
【００６４】
深度データは、その深度値として非リニアランプをもつ物体について次のように符号化される。
【００６５】
＜深度フラグ３＞＜ｘ１、ｙ１、深度値１、ｘ２、ｙ２、深度値２、ガンマ＞ここで、ガンマはｘ１、ｙ１とｘ２、ｙ２との間の範囲にわたる深度の非リニア変化を記述する値である。
【００６６】
深度データは、その深度値としてラジアルランプをもつ物体について次のように符号化される。
【００６７】
＜深度フラグ４＞＜ｘ１、ｙ１、深度値１、半径、深度値２＞
ここで、物体はｘ１、ｙ１で深度値１を有し、深度は線形に変化するか、ｘ１、ｙ１からラジアル画素離れた全ての点の深度値２の値まで変化する。
【００６８】
物体の深度マップがひとたび伝送されたならば、物体が移動するか形状を変えるまでは深度マップを再度伝送する必要はないことが理解されよう。物体が位置変化をする場合にのみ、次のようにして、物体の位置にオフセットを割り当てることにより、物体の新しい位置が伝送される。
【００６９】
＜物体番号＞＜ｘオフセット、ｙオフセット＞
同様に、物体の深度が変化し、物体の位置またはサイズは変化しない場合には、下記のものが伝送される。
【００７０】
＜物体番号＞＜深度＞
また、隣接接触物体がｘ、ｙ座標を共有すること、従って、シーンの全ての物体の深度マップを一意的に定義すべく伝送されることを要する重複部分がｘ、ｙ座標に存在することも理解されよう。
【００７１】
伝送または記憶する必要がある付加データの量を最小にするためには、深度マップを有するデータを圧縮することが望まれる。圧縮は、任意の形態のデータ圧縮アルゴリズムを使用でき、その多くは当業者に知られている。圧縮の例として、ランレングス符号化およびハフマン符号化があるが、これらに限定されるものではない。物体はフレームからフレームへとは移動しないかもしれないので、フレーム間の深度マップの差異を伝送することだけが必要である。フレーム間の差異を測定および処理できるようにする技術も当業者には知られている。
【００７２】
深度マップ情報は、アナログテレビジョン信号のバーチカルブランキングインターバル（ＶＢＩ）、または歪みメッシュ伝送について前述したようなＭＰＥＧまたはデジタルテレビジョン信号の他のデジタル伝送ストリームに含められることが好ましい。同様に、深度マップデータは、ＤＶＤのＶＯＢファイルに付加できる。
【００７３】
ＶＢＩおよびＭＰＥＧデータストリームにデータを入れる方法は知られており、好ましい実施形態は、標準テレビジョン画像内にClosed Captioning and Teletextを含めるのに現在使用されている技術である。他の好ましい実施形態では、データは、ＭＰＥＧデータストリームのユーザデータ領域内に含めることができる。
【００７４】
このデータをＶＢＩまたはＭＰＥＧ２ストリームに入れる点に関し、次の計算は同様なサイズのデータ条件を表示する。
【００７５】
仮定：
ＶＢＩ仕様は、３２バイト／ビデオラインを考慮に入れる
画像当たりの物体の最大数＝２０
物体当たりの最大Ｘ、Ｙ座標＝２０
物体＃、物体深度、Ｘ、Ｙおよび形状データの各々は１バイトを要する。
【００７６】
この場合には、バイト／物体＝１＋１＋３（２０）＝６２バイトとなる。従って、２０個の物体のＶＢＩデータ＝２０×６２＝１２４０バイト／フレームとなる。
【００７７】
これは最悪の場合であり、実際には一般的なシーンは２００バイト／フレームを必要とすることに留意されたい。この値は、適当なデータ圧縮を行い、重複部分等を考慮に入れることにより、大幅に小さくなる。
【００７８】
この情報をＭＰＥＧデータストリーム内に含めることにより、ＭＰＥＧスタンダードは、データストリームを受信位置に配給することを可能にする。ＭＰＥＧストリーム内にデータを配給する技術は、深度マップを受信デコーダに配給するのにも使用できる。また、この情報を、ＭＰＥＧ信号のサウンドチャンネルの１つに含めることもできる。ＭＰＥＧ信号がＣＤ−ＲＯＭまたはＤＶＤ等の媒体に記録される場合には、この情報を別々のデジタルファイルまたはアナログファイルとしてデジタルオーディオファイル内に含めることができる。ＭＰＥＧ信号は他の手段のディスクに記録することもできる。当業者には、他の技術は明白であろう。
【００７９】
ＭＰＥＧデータストリームの一部として、原深度マップを伝送することもできる。好ましい実施形態では、深度マップの解像度は、得られる３Ｄ画像の物体の深度の気付き得る誤差が明らかになる前に、一般に、６４０×４８０×８画素から８０×６０×８画素に低下される。この解像度は、ＭＰＥＧ符号化ビデオ信号のＤＴＣブロックサイズと同じである。従って、深度マップ情報は、３Ｄに変換されるときに各ブロックの深度を定義するＤＴＣブロックに付加情報を付加することにより、ＭＰＥＧ信号に入れることができる。また深度マップは、例えばオーディオチャンネルのような前述のＭＰＥＧデータストリームまたは当業者に知られた他の方法に含めることができる。解像度が低下された深度マップは、ＪＰＥＧ、ＭＪＰＥＧ、ＭＰＥＧ等を含む（但し、これらに限定されるものではない）標準画像圧縮技術を用いてＭＰＥＧデータストリームに入れる前に圧縮することができる。
【００８０】
他の好ましい実施形態では、物体の輪郭はベジエ曲線を用いて定義される。Ｆｉｇ４に示す人の輪郭を考えるものとする。ベジエ曲線は、図示のｘ、ｙ座標で得られる輪郭に適用される。従って、物体の深度マップは次のように定義される。
【００８１】
＜物体番号＞＜物体深度＞＜ｘ１、ｙ１、ｘ１ａ、ｙ１ａ、ｘ２ｂ、ｙ２ｂ、…ｘ１ｂ、ｙ１ｂ＞
また、ベジエ曲線はＦｉｇ５に示すように、３つのｘ、ｙ座標のみを必要とする方法でも得ることができ、次のように定義できる。
【００８２】
＜物体番号＞＜物体深度＞＜ｘ１、ｙ１、ｘ１ａ、ｙ１ａ、ｘ２、ｙ２、…ｘ８ａ、ｙ８ａ＞
この方法は、曲線を定義するのにより少数の要素で済むため好ましいものである。
【００８３】
他の好ましい実施形態では、物体の輪郭は幾何学的形状を用いて定義される。Ｆｉｇ５に示す人の輪郭を考えるものとする。図示の構成になる輪郭に、幾何学的形状が適用される。頭部を形成する円形は、ｘ１、ｙ１および半径ｒ１により定義される。三角形は、ｘ２ａ、ｙ２ａ、ｘ２ｂ、ｙ２ｂ、ｘ２ｃ、ｙ２ｃとして記述され、他の多角形も同様である。各幾何学的形状は、一般的な形式、
＜形状＞＜パラメータ＞
をもたせることができる。従って、物体の深度マップは次のように定義される。
【００８４】
＜物体番号＞＜物体深度＞＜形状１＞＜パラメータ＞…＜形状ｎ＞＜パラメータ＞
これらのいずれかの方法（圧縮または非圧縮）を用いて創成される輪郭および／または深度マップは、これらの関連２Ｄ画像を用いて（または用いないで）任意の適当なアナログまたはデジタルフォーマットおよび媒体に記憶することができる。記憶媒体として、フロッピディスク、ハードディスク、ＣＤ−ＲＯＭ、レーザディスク、ＤＶＤ、ＲＡＭ、ＲＯＭ、磁気記録テープ、ビデオテープ、ビデオカセット等があるが、これらに限定されるものではない。記憶された輪郭および／または深度マップは、後で呼び出され、および／または３Ｄ画像の創成のための歪みメッシュの創成のためまたは更に調節および微調節すべく、深度マップを再構成することを可能にする。
【００８５】
デコーダ
これまでに、歪みメッシュを２Ｄ画像から３Ｄ画像への変換に使用できることが開示されている。
【００８６】
今では、深度マップから必要な歪みグリッドを創成することができる。この深度マップ自体は、２Ｄビデオ内で伝送される付加情報から創成される。深度マップからの歪みグリッドの創成は、リアルタイム、セミリアルタイム、またはオフラインで行うことができ、局部的にまたは遠隔場所で適当な伝送媒体を介して行うことができる。創成は、ソフトウェアまたはハードウェアで実施することができる。
【００８７】
かくして、２Ｄ画像の一部として歪みメッシュのサブ画素点（sub pixel points）を伝送するのではなく、深度マップの再創成に必要な情報を伝送することができる。この場合、深度マップはデコーダで再構成され、歪みグリッドへの変換が行われる。これらの変換は、リアルタイム、セミリアルタイム、または遠隔の場所からオフラインで行うことができ、ソフトウェアまたはハードウェアで実施できる。深度マップデータから深度マップに変換し、次に歪みグリッドに変換する好ましい方法が、Ｆｉｇ１にソフトウェアフローチャートで、そして、Ｆｉｇ２にハードウェアで示されている。ソフトウェア変換プロセスの個々の要素は、次のように機能する。
【００８８】
画像シーケンスソース−２Ｄフィルムまたはビデオまたはいくつかの他の画像シーケンスソース
領域および深度ソース−これは、画像シーケンスとともに送られる情報であり、好ましい実施形態では、ＶＢＩまたはＭＰＥＧデータストリームに入れられる。このソースは、各物体の位置、形状および深度に関する情報を含んでいる。
【００８９】
深度付領域の深度マップへの適用−物体を描写するため、物体内の「領域」が、深度情報に従って充填／陰影付けされる。陰影付けされた領域の外側の全領域は、手を付けずに残される。このプロセスにより、原深度マップの再構成がなされる。
【００９０】
深度マップのぼかし−次に、任意のハードエッジを除去するため、ハードな深度マップがぼかされる（ガウス画像、ファスト等）。ぼかしにより物体間に滑らかな移行部が形成され、画像のオーバーラップがなくなる。ぼかしは、水平方向に僅かに重点が置かれる。垂直ぼかしは、画像に上下にブリーディング（bleeding）することにより、停止画像が裂けないようにし、これにより近い物体と遠い物体との間により滑らかな移行部が得られる。
【００９１】
深度マップを用いた画像処理−ぼかされた深度マップは、次に、歪みグリッドの変位のためのソースとして使用される（白色は最大変位、黒色は無変位）。水平軸線に沿う歪み量は、任意の所与の位置での深度マップの深度に従って調整される。好ましい実施形態では、左側画像の変位は右方であり、右側画像の変位は左方である。画像には全体的な強制視差が適用され、これにより、白い（前景）変位物体がスクリーンレベルに収斂される。これにより、黒い（後景）領域は、変位されない画像に等しい強制視差を有する。変位方向および強制視差は、変換画像が表示される３Ｄディスプレイシステムの特別条件に適合するように変化される。
【００９２】
ひとたび歪みグリッドが創成されると、２Ｄ画像の３Ｄ画像への変換は、すでに開示されている方法によって行われる。
【００９３】
Ｆｉｇ２には、歪みグリッドから左右別々の画像を創成するためのハードウェア変換器の好ましい実施形態が示されており、これは完全デジタル化できる。Ｆｉｇ２（ａ）には、このプロセスを実施する方法が示されており、次のように作動する。
【００９４】
このシステムは、同時アクセスを可能にする多ポート型の２つのラインストア（line stores）を使用している。ビデオのラインは１つのラインに書き込まれ、一方、他のラインストアは、読み出されて出力ビデオ信号を発生する。カレントラインの終時に、ラインストアがスワップされる。
【００９５】
深度情報はビデオ信号から抽出されて、現在画像の深度マップを再創成する。各出力画素について、深度マップは（歪みグリッドの）画素オフセットに翻訳される。画素オフセットは、ビデオラインがラインストアから読み出されるときに画素カウンタに付加される。画素オフセットは小数値であるため、所望の画素の各側から画素値を読み出して、中間値を補間する必要がある。ビデオデコーダからの奇数／偶数フィールド信号は、フィールドシーケンスビデオ出力を制御して、観察者のシャッターガラスを出力ビデオ信号に同期させるのに使用される。基本回路は、このビデオフォーマットを必要とする３Ｄディスプレイ用の別々の左右ビデオ信号を発生させるべく二重にすることができる。
【００９６】
Ｆｉｇ２（ｂ）には、ＤＤＣデコーダの機能ブロック図が示されている。第１プロセスは、ＶＢＩまたはＭＰＥＧデータストリームに挿入される入力ビデオから物体データを抽出することである。抽出されたデータは、圧縮形式であり、後にマイクロプロセッサにより、解凍される。マイクロプロセッサからの出力は、原物体輪郭情報であり、各物体の深度情報を作成するため再び処理される。このデータは３つの回転フィールドバッファ（バッファはマイクロプロセッサにより制御される）の組に導かれる。第１バッファは原深度マップを再び創成する。次に、深度マップは次のバッファに導かれ、ここで水平および垂直ぼかしが適用される。ひとたびぼかしが適用されたならば、得られたデータは最終バッファに適用され、ここで、データはＦｉｇ２（ａ）に示す深度／画素オフセット変換器に導かれる。ひとたばデータがオフセット変換器に転送されたならば、最終バッファがクリアされて、次の深度マップを受け入れる用意が整えられる。
【００９７】
Ｆｉｇ２（ｃ）には、ＤＤＣデコーダプロセスが示されている。Ｆｉｇ２（ｃ）は、プロセスをタイミング図として示し、現在のマイクロプロセッサは全ての復号プロセスを同時に行うことができるほど充分に高速ではないとの仮定に立っている。従って、復号プロセスはパイプラインプロセスで連続的に行われる。マイクロプロセッサ性能が改善されると、これらのうちの多くのプロセス（全部のプロセスではないとしても）を同時に行うことが期待される。Ｆｉｇ２（ｃ）（１）には、４つのビデオフレームが示されており、各フレームは奇数フィールドおよび偶数フィールドからなる。Ｆｉｇ２（ｃ）（２）では、フレーム４の物体リストが創成され、一方、Ｆｉｇ２（ｃ）（３）ではフレーム４の深度マップが創成される。Ｆｉｇ２（ｃ）（４）では水平ぼかしおよび垂直ぼかしが適用され、Ｆｉｇ２（ｃ）（５）では、フレーム４の深度マップが出力され、バッファがクリヤされて、次の物体リストの用意が整えられる。従って、Ｆｉｇ２（ｃ）（５）で、フレーム４の深度マップおよび２Ｄ画像を同時に利用して、３Ｄに変換することができる。Ｆｉｇ２（ｃ）は個々のフレームのプロセスを示し、実際に、任意の一時点で４つの異なるフレームの深度マップがハードウェアの異なるセクションにより創成されることに注意されたい。
【００９８】
別のデコーダ
前述のように、現在利用できるマイクロプロセッサは、全部の復号化プロセスを同時に行うことができるほど充分に高速ではない。従って、高速マイクロプロセッサの使用を必要としないデコーダの別の好ましい実施形態について説明する。この別のデコーダは、２Ｄおよび３Ｄコンピュータグラフィックの処理のために開発された集積回路を使用する。このような専用グラフィックプロセッサは、一秒間当たり５００,０００個以上の多角形を描写できる。これらの集積回路は大量に製造されているので安価であり、低コストのＤＤＣデコーダの製造を実現できる。デコーダは、グラフィックプロセッサの最も簡単な多角形描写能力を使用して、陰影が付されていない質感がマッピングされた多角形を得る。
【００９９】
復号化プロセスは、あたかも手動操作で行うかのようにしてプロセスを説明することにより一層容易に理解されよう。これは、Ｆｉｇ９のフローチャートおよびＦｉｇ１０以降の図面に示されている。プロセスは、歪んでいないメッシュを作成し、比較的滑らかな変形を達成するのに必要な、ｘｙ平面内の多数の多角形を使用することにより開始する。好ましい実施形態では、単位フィールド当たり１０,０００個の多角形が一般的に使用される。Ｆｉｇ１０には、歪んでいないメッシュのセクションの一例が示されている。３Ｄ（この例では、Ｆｉｇ１１に示すように、頂部が観察者の方向を向いている円錐体）に変換すべき物体の深度マップが、メッシュの多角形のｚ軸が深度マップの対応画素の値に基いて定められるように修正されたメッシュに適用される。これは、Ｆｉｇ１２に示されている。このプロセスの次の段階は、各多角形のｚ軸方向高さを等価のｘ軸変位に翻訳することである。これは、Ｆｉｇ１３からＦｉｇ１６に示されている。Ｆｉｇ１３には、ｚ軸方向の高さメッシュを通るｘ軸セクションが示されている。Ｆｉｇ１４では、尖点の列がｘ軸に沿って選択され、尖点（ｙ＝０）の回りで９０°回転される。Ｆｉｇ１５は尖点（４５°）での回転の効果を示し、Ｆｉｇ１６は９０°回転後の効果を示すものである。このプロセスは、深度マップのｚ軸高さをｘ変位に有効に翻訳する全てのｘ列について反復される。
【０１００】
プロセスの次の段階は、Ｆｉｇ１７に示すような歪んでいないメッシュ上に原ビデオフレームをマッピングすることである。歪んでいないメッシュは、次に、Ｆｉｇ１８に示すように、以前に創成されたｘ軸方向変位マップに形態付け（morphed）される。次に、得られたビデオ画像が、メッシュの変位《Ｆｉｇ１９》に従って膨張する。これは、本件出願人の以前の出願ＰＣＴ／ＡＵ９６／００８２０に開示されている画像の引伸ばしと同じ効果を有する。引き伸ばされた画像は、１対の立体画像を形成するのに使用でき、他はＦｉｇ１３の尖点を９０°だけ回転することにより形成され、これにより、Ｆｉｇ２０に示すようなメッシュおよび対応画像が作成される。
【０１０１】
２Ｄ／３Ｄグラフィックスプロセッサを用いたハードウェアでこのプロセスを実施するとき、ｚ軸方向高さを等価のｘ軸方向変位に翻訳する段階を省略できる。観察者に近い多角形は、観察者から離れた多角形よりも更に横方向に変位させるべきであることは知られているので、Ｆｉｇ１８の変位メッシュは、Ｆｉｇ１１の深度マップから直接作成できる。これは、深度マップの濃度階調値と対応する各多角形の変位との間に直接的関係があるので、達成できる。この簡単化されたプロセスがＦｉｇ２１のフローチャートに示されている。
【０１０２】
別のハードウェアデコーダ
Ｆｉｇ８には、２Ｄ／３Ｄグラフィックスプロセッサに基くハードウェアＤＤＣデコーダのブロック図が示されている。ＤＤＣデータからの深度マップの抽出および創成は、Ｆｉｇ２（ｂ）に示し、前述したように行われる。デコーダの作動は、次の通りである。入力ビデオ信号は、ビデオストリームからＤＤＣ情報を抽出し各ビデオフィールドの深度マップを再生するＤＤＣデータデコーダに導かれる。またビデオ信号は、ＲＧＢ、ＹＵＶまたは他の標準ビデオフォーマットにも変換され、二重フィールドストア内に入れられる。これは、新しいフィールドがローディングされるのと同時に、ビデオフィールドが２Ｄ／３Ｄグラフィックスプロセッサに読み出されることを可能にする。ＤＤＣデータデコーダからの深度マップ出力は、２Ｄ／３Ｄグラフィックスプロセッサにより処理すべき多角形の形状を定義する深度マップ／多角形メッシュ変換器に導かれる。グラフィックプロセッサへの他の入力は、当該多角形が適用される質感マップとして使用される原２Ｄビデオ画像である。グラフィックスプロセッサからの出力は、ビデオがインターレースフォーマットで読み出されるようにするフィールドストアに導かれる。これは、後にＰＡＬ／ＮＴＳＣエンコーダに導かれ、ＰＡＬ／ＮＴＳＣエンコーダの出力は標準フィールドシーケンス３Ｄビデオ信号となる。
【０１０３】
深度マップの再使用
同一シーンまたは類似シーンが再び表示される場合には同じ深度マップが再使用される、全深度マップを受信機に伝送する必要がないことも好ましいであろう。このため、デコーダが、以前に送られた深度マップをメモリに記憶しておけば再使用でき、以前に送られた深度マップを再処理する必要がないため望ましい。深度マップまたは得られる歪みメッシュはデコーダのメモリに記憶させることができる。このメモリは、ＲＡＭ、ＥＥＰＲＯＭ、フラッシュメモリ、磁気または光学記憶手段からなる揮発性または不揮発性メモリで構成できるが、これらに限定されるものではない。また、汎用深度マップおよび／または歪みグリッドをデコーダに記憶させることを考えることもできる。これにより、深度マップを伝送または変換する必要なくして、頻繁に生じるシーンを変換することが可能になる。深度マップの適用をデフォルトとするデコーダを一意的に識別するデータを、ビデオ信号に含めることにより、正しい深度マップが選択される。また、デコーダに、新しい深度マップまたは別の深度マップを受け入れる能力をもたせて、深度マップおよび／または歪みグリッドのライブラリがデコーダ内に維持されるようにすることを考えることもできる。このライブラリは、ＲＡＭ、ＥＥＰＲＯＭ、フラッシュメモリ、磁気または光学的記憶手段等（但し、これらに限定されるものではない）の媒体内に保持できる。ビデオ信号に含まれる特定の深度マップまたは歪みグリッドを伝送することによりライブラリを更新することも考えられる。このような深度マップまたは歪みグリッドを含む外部または内部プラグインモジュールにより、およびビデオ信号、モデムまたはインターネットを介してデコーダにダウンロードすることにより、ライブラリを維持することを考えることもできる。当業者には、ライブラリを維持する他の手段は明らかであろう。
【０１０４】
ビデオ信号に含まれるＤＤＣデータの一般的フォーマットには、好ましい実施形態では、デコーダに下記データの性質を表示するヘッダフラグを含めることができる。このフォーマットには多数の既存の規格を使用でき、次のようなフォーマットがある。
【０１０５】
＜フラグ＃＞＜デコーダにより活用されるデータ＞
フラグの例として下記のものがあるが、これらに限定されるものではない。
【０１０６】
フラグ１−次のデータは深度マップである。
【０１０７】
フラグ２−次のデータは、存在する物体の再配置である。
【０１０８】
フラグ３−次のデータは、物体の深度の変化に関するものである。
【０１０９】
フラグ４−次のデータは、以前に伝送された深度マップの再使用に関するものである。
【０１１０】
フラグ５−次のデータは、ライブラリ内での深度マップの使用に関するものである。
【０１１１】
フラグ６−次のデータは、ライブラリ内での深度マップの修正に関するものである。
【０１１２】
フラグ７−次のデータは、ライブラリ内での新しい深度マップの付加に関するものである。
【０１１３】
フラグ８−次のデータは、既存のライブラリの深度マップの削除に関するものである。
【０１１４】
フラグ９−次のデータは、移動視差遅延（motion parallax delays）の使用に関するものである。
【０１１５】
フラグ１０−次のデータは、強制視差（forced parallax）の使用に関するものである。
【０１１６】
フラグ１１−次のデータは、数学的アルゴリズムの使用に関するものである。
【０１１７】
フラグ１２−次のデータは、数学的アルゴリズムライブラリの使用に関するものである。
【０１１８】
別の構成として、各データパケットを異なる長さとすることができ、これにより、各パケットを一意的に定義し、フラグの必要性を緩和させることができる。
【０１１９】
前述の記載において、歪みグリッドに同じプロセスを適用できる。
【０１２０】
また、ライブラリ内の指定された範囲から自動的に選択することにより、デコーダが、関連する３Ｄ画像への適用に最も適した深度マップを決定できるようにすることを考えることもできる。例えば、ＤＤＣデータは、デコーダに指示して、特定の索引位置間の深度マップのライブラリまたは汎用カテゴリ、例えば、Evening News、Horse Raceを検索させることもできる。これにより、デコーダは、物体のサイズ、形状、速度、方向、色、陰影、ぼやけ等に基いて、適当なマップを選択することができる。
【０１２１】
復号化プロセスの副次的成果として、復号化プロセス中に創成される原深度マップは、２Ｄ画像および物体深度情報を必要とする３Ｄディスプレイシステムに使用するのに適したフォーマットに利用できるようにすることができる。これらの表示は、事実上、自動ステレオスコープおよび／または立体的なものとすることができる。
【０１２２】
別のアプローチ
あるいは、メッシュ歪みプロセスは、数学的アルゴリズムにより定義することもできる。このアルゴリズムはデコーダに記憶され、この場合には、ＤＤＣデータはアルゴリズムが適用されるパラメータからなる。例えば、次の一般的な公式を考える。
【０１２３】
f(x,y)＝[1−exp(−｜(｜x｜−rx). dx｜)]. sin( ((PI.x) ／rx) +PI／2).
[1−exp(−｜(｜y｜−ry). dy｜)]. sin( ((PI.y)／ry)＋PI／2)
ここで、
PIは、定数３．１４１５９…
｜x｜は、xの絶対値
rxは、xの範囲であり、−rx≦x≦rx
ryは、yの範囲であり、−ry≦y≦ry
dxは、xについての減衰率
dyは、yについての減衰率である。
【０１２４】
次の値が、ＤＤＣデータを介して方程式に代入されるならば、、Ｆｉｇ７の歪みグリッドが作成される。
【０１２５】
rx＝ry＝５０
dx＝dy＝０.１
ＤＤＣデータに関しては、下記が伝送される。
【０１２６】
＜フラグ１１＞＜５０、５０、０.１、０.１＞
また、これらのパラメータは、ライブラリの形態でデコーダのメモリに記憶され、ＤＤＣデータ内のライブラリ索引を送ることにより呼び出される。
【０１２７】
ＤＤＣデータに関しては、下記が伝送される。
【０１２８】
＜フラグ１２＞＜ライブラリ索引＞
フラグ９の移動視差を用いた別の例を考察する。従来技術は、水平方向に移動する２Ｄ画像が、移動視差の使用により３Ｄに変換されることを示している。画像の移動は、カメラパンのようなカメラの水平移動によるものであることが望ましい。この技術では、観察者の一方の目が現在のビデオフィールドを受け、他方の目が以前のフィールドを受ける。すなわち、各目に提供される画像間に遅延が存在する。どちらの目が遅延画像を受けるかの選択、および遅延の大きさの選択は、２Ｄ画像の水平移動の方向および速度に基いて定まる。遅延は、一般に、１から４フィールドの範囲内にある。方向および遅延の選択は、２Ｄ画像内の全移動ベクトルを考察することにより、およびベクトルの大きさ、方向および安定性に基いてこれらのパラメータを選択することによりなされる。従来技術では、これらの計算を観察箇所でリアルタイムに行う必要があり、このため大きな処理能力を必要とする。好ましい方法は、伝送箇所で移動ベクトル、従ってフィールド遅延の方向および大きさを計算し、次に、これらの値をビデオ信号の一部として伝送することであることが判明している。従って、好ましい実施形態では、伝送されるデータは次のようになる。
【０１２９】
＜フラグ９＞＜方向および遅延＞
ここで、＜方向および遅延＞は、一般に、−４から＋４の範囲内にある。
【０１３０】
次に、ＤＤＣデコーダはこのデータを再生し、フィールド遅延の正しい大きさおよび方向を処理された画像に挿入するのにこのデータを使用する。
【０１３１】
歪みメッシュはまた、可変焦点レンズおよび鮮鋭度検出アルゴリズムを用いて、カメラにより観察される画像内の物体の深度を決定するカメラを、既存の２Ｄビデオカメラまたはフィルムカメラに付加することによってもリアルタイムで得られる。物体の深度は、各画像の画素間の相関関係が物体の深度を表示する１対の立体カメラから得ることもできる。歪みメッシュデータを得るべく処理する前の、これらの形状からの出力は、深度マップを創成するのに使用できる。これは、原２Ｄ画像を処理することにより、および本願で説明した物体深度を表示すべく陰影を付すか他の表示を付与することにより達成される。各物体の輪郭は、物体のサイズ、色、移動速度、陰影、質感、輝度、ぼやけ、並びに過去、現在および将来の画像間の差異等の物体の特徴から得ることができる。物体の識別を補助するのに、ニューラルネットワークまたはエキスパートシステムを使用することもできる。また、カメラ内の画像を変位させ、カメラの画像センサで連続画像の物理的オフセットを得ることも提案されている。この変位は、光学的に、電子−光学的に、機械的に、電子−機械的に、電子的に、または当業者に知られた他の方法で行うことができる。この変位は、単一方向すなわちｘ方向に、あるいは多方向に、連続的にまたはランダムに行うことができる。カメラセンサ上での物体の変位は、カメラに近い物体については大きい。連続画像中の画素を相関付けることにより、各物体の深度が決定される。あるいは、複数のカメラを使用することもできる。
【０１３２】
シーン内の物体の深度を決定するのに、他の技術を用いることもできる。これらの技術として、光学、レーザ、超音波またはマイクロウェーブの原理で作動するレンジファインダの使用、またはシーン内の物体の投影、およびグリッドの歪みからの物体の深度の決定等があるが、これらに限定されるものではない。
【０１３３】
多数のコンピュータ援用製図（ＣＡＤ）ソフトウェアパッケージは、製図すべき画像のワイヤフレームモデルを作成可能にする。物体の小面の投影であるこれらのワイヤフレームモデルは、シーン内での物体の位置の決定に使用できる。
【０１３４】
同様に、３Ｄスタジオのようなパッケージからの３Ｄ非立体画像の描写プロセスの一部は、カメラから各画素までの距離を出力することを可能にする。この描写は、白色で示されるカメラへの最近接物体および黒色で示されるカメラからの最遠方物体を有する濃度階調画像を作成できる。この濃度階調マップは、立体３Ｄへの変換を行うための互換性のある深度マップとして使用できる。
【図面の簡単な説明】
【Ｆｉｇ１】  深度マップデータから歪みグリッドへの好ましい変換方法を示す図面である。
【Ｆｉｇ２（ａ）】  深度マップデータから歪みグリッドへの好ましい変換方法を示す図面である。
【Ｆｉｇ２（ｂ）】  深度マップデータから歪みグリッドへの好ましい変換方法を示す図面である。
【Ｆｉｇ２（ｃ）】  深度マップデータから歪みグリッドへの好ましい変換方法を示す図面である。
【Ｆｉｇ３】  本発明による物体の輪郭を決定する種々の技術のうちの１つを示す図面である。
【Ｆｉｇ４】  本発明による物体の輪郭を決定する種々の技術のうちの１つを示す図面である。
【Ｆｉｇ５】  本発明による物体の輪郭を決定する種々の技術のうちの１つを示す図面である。
【Ｆｉｇ６】  本発明による物体の輪郭を決定する種々の技術のうちの１つを示す図面である。
【Ｆｉｇ７】  サンプル歪みグリッドを示す図面である。
【Ｆｉｇ８】  別のデコーダのためのハードウェアデコーダを示すブロック図である。
【Ｆｉｇ９】  別のデコーダの復号化プロセスを示すサンプルフロー図である。
【Ｆｉｇ１０】  歪んでいないメッシュの一例を示す図面である。
【Ｆｉｇ１１】  円錐体のサンプル深度マップを示す図面である。
【Ｆｉｇ１２】  深度マップにより修正されたサンプルメッシュを示す図面である。
【Ｆｉｇ１３】  深度マップの高さＺをＸ変位に翻訳する１つの方法を示す図面である。
【Ｆｉｇ１４】  深度マップの高さＺをＸ変位に翻訳する１つの方法を示す図面である。
【Ｆｉｇ１５】  深度マップの高さＺをＸ変位に翻訳する１つの方法を示す図面である。
【Ｆｉｇ１６】  深度マップの高さＺをＸ変位に翻訳する１つの方法を示す図面である。
【Ｆｉｇ１７】  歪んでいないメッシュ上の原フレームを示す図面である。
【Ｆｉｇ１８】  Ｘ変位マップにより修正されたサンプルメッシュを示す図面である。
【Ｆｉｇ１９】  原フレームメッシュと変位メッシュとのサンプル結合を示す図面である。
【Ｆｉｇ２０】  別の目についての引き伸ばされたサンプル合成画像を示す図面である。
【Ｆｉｇ２１】  簡単化された変位フローチャートを示す図面である。
【図１】
0004698831.tif 000002
【図２（ａ）】
0004698831.tif 000003
【図２（ｂ）】
0004698831.tif 000004
【図２（ｃ）】
0004698831.tif 000005
【図３】
0004698831.tif 000006
【図４】
0004698831.tif 000007
【図５】
0004698831.tif 000008
【図６】
0004698831.tif 000009
【図７】
0004698831.tif 000010
【図８】
0004698831.tif 000011
【図９】
0004698831.tif 000012
【図１０】
0004698831.tif 000013
【図１１】
0004698831.tif 000014
【図１２】
0004698831.tif 000015
【図１３】
0004698831.tif 000016
【図１４】
0004698831.tif 000017
【図１５】
0004698831.tif 000018
【図１６】
0004698831.tif 000019
【図１７】
0004698831.tif 000020
【図１８】
0004698831.tif 000021
【図１９】
0004698831.tif 000022
【図２０】
0004698831.tif 000023
【図２１】
0004698831.tif 000024