(57)【要約】少なくとも１つの層および該層上の少なくとも１つのオブジェクトを含む層状ソースから立体ディスプレイ用の左目イメージおよび右目イメージを作る方法において、各オブジェクトまたは層の深さ特性を定める段階と、各オブジェクトまたは層を、各層の深さ特性の関数として決定された横方向の量だけそれぞれ変位させる段階とを有することを特徴とする方法。【選択図】図４
2004505394.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つのレイヤおよび該レイヤ上の少なくとも１つのオブジェクトを含むレイヤ化されたソースから立体ディスプレイ用の左目イメージおよび右目イメージを作る方法において、
各オブジェクトまたはレイヤの深さ特性を定めるステップと、
各オブジェクトまたはレイヤを、各レイヤの深さ特性の関数として決定される横方向の量だけ変位させるステップと、を有することを特徴とする方法。
【請求項２】
複数の前記オブジェクトを備えた少なくとも１つの前記レイヤが、複数の付加レイヤにセグメント化されていることを特徴とする請求項１記載の方法。
【請求項３】
前記付加レイヤは、前記各オブジェクトについて作成されることを特徴とする請求項２記載の方法。
【請求項４】
少なくとも１つの前記オブジェクトを引伸して立体イメージ効果を高めることを特徴とする請求項１〜３のいずれか１項に記載の方法。
【請求項５】
前記オブジェクトに関連するタグが前記オブジェクトの深さ特性を有していることを特徴とする請求項１〜４のいずれか１項に記載の方法。
【請求項６】
各オブジェクトおよびレイヤには、識別子および／または深さ特性が割当てられることを特徴とする請求項１〜５のいずれか１項に記載の方法。
【請求項７】
オブジェクトの識別子は、＜レイヤ識別子＞＜オブジェクト識別子＞＜深さ特性＞として定められることを特徴とする請求項６記載の方法。
【請求項８】
各識別子は英数字識別子であることを特徴とする請求項７記載の方法。
【請求項９】
前記レイヤの識別子は前記深さ特性に対する基準であることを特徴とする請求項６記載の方法。
【請求項１０】
オブジェクトまたはレイヤ各々の深さ特性がレイヤ化されたソースに埋入されていることを特徴とする、請求項１記載の方法を用いて作られる立体イメージを伝送するシステム。
【請求項１１】
少なくとも１つのレイヤおよび該レイヤ上の少なくとも１つのオブジェクトを含むレイヤ化されたソースから立体ディスプレイ用の左目イメージおよび右目イメージを作る方法において、
前記各レイヤを複製して、前記左目イメージおよび右目イメージを作成するステップと、
各オブジェクトまたはレイヤの深さ特性を定めるステップと、
各オブジェクトまたはレイヤを、各レイヤの深さ特性の関数として決定される横方向の量だけ変位させるステップと、を有することを特徴とする方法。
【請求項１２】
前記左目イメージおよび右目イメージの前記変位は同量でかつ逆方向であることを特徴とする請求項１１記載の方法。
【発明の詳細な説明】
【０００１】
（技術分野）
本発明は２Ｄイメージを３Ｄイメージに変換する技術に関し、より詳しくは、レイヤ化されたソース（ｌａｙｅｒｅｄ ｓｏｕｒｃｅ）から形成された２Ｄイメージを変換する方法に関する。
【０００２】
（背景技術）
伝送時の帯域幅の制限は良く知られた問題であり、できる限り短時間に最大量のデータを転送できるようにする多くの技術が試みられている。帯域幅への要求は、コンピュータ生成イメージを含むイメージの伝送において特に顕著である。
【０００３】
コンピュータ生成イメージまたはアニメシーンについての帯域幅および性能上の問題に対処する１つの試みは、オリジナルシーンが伝送された後にイメージの変化を転送することだけであった。この技術は、アニメ動画が伝統的に作成されている方法を利用するものである。すなわち、アニメ動画家は、作成すべき運動を作り上げる全ての中間ステップを含む一連の静止画を作成することにより、運動の知覚作用を作成しうる。
【０００４】
修正の簡単化および容易化を図るため、イメージ中の各オブジェクトは、通常、別々のレイヤ上に作成され、これらのレイヤは結合されてイメージを形成する。すなわち、運動するオブジェクトが一連のシート上に描かれ、オブジェクトの運動を表示する。しかしながら、通常は、他のいかなるオブジェクトまたは背景もそのシート上に描かれることはない。それどころか、変化しない背景は別のシート上に描かれ、シートは結合されてイメージを作成する。明白であるが、多くのシートを使用して単一静止画が作成される場合もある。
【０００５】
一連の異なるレイヤを使用して作成されたアニメ動画すなわちアニメイメージについて、変更されているこれらのレイヤを伝送するだけで、データ伝送を節約できる。例えば、背景が変化していない場合には、背景レイヤを再伝送する必要はない。むしろ、ディスプレイ媒体が既存の背景レイヤを維持するともいえる。
【０００６】
アニメイメージまたはコンピュータ生成イメージの使用の増大につれて、立体イメージに対する要望も増大している。実行可能な間（撮像段階）での立体イメージの作成は、２Ｄより非常にコストが嵩み、困難でかつ時間を要するものである。従って、既存の立体コンテンツの量が不足するため、既存の２Ｄイメージを３Ｄイメージに変換できることが要望されている。
【０００７】
２Ｄイメージを３Ｄイメージに変換する早期の試みは、イメージ内のオブジェクトを選択し、かつ該オブジェクトを他の位置にカットアンドペーストして３Ｄの効果を創出するという方法であった。しかしながら、この技術は、カットアンドペーストのためイメージに「切抜き」領域が生成されることから、一般用および工業用の両方に許容できないものであることが早くから判明していた。すなわち、オブジェクトを切断しかつ移動させることにより、イメージデータのない空隙領域が作成された。
【０００８】
２Ｄイメージを３Ｄイメージに変換するシステムを提供するため、本出願人等は、次のａ〜ｄにより、オリジナルの２Ｄイメージから立体イメージを作成するシステムを創出した。
【０００９】
ａ．オリジナルイメージ内の少なくとも１つのオブジェクトを識別し、
ｂ．各オブジェクトのアウトラインを定め、
ｃ．各オブジェクトについての深さ特性を定め、そして、
ｄ．選択された各オブジェクトの領域を、各オブジェクトの深さ特性の関数として決定される横方向量だけ変位させ、観察者の左右の目で見るための２つの引伸しイメージを形成する。
【００１０】
国際特許出願ＰＣＴ／ＡＵ９６／００８２０（該特許出願の内容は本願に援用する）に開示されたこのシステムは、オリジナルイメージ内のオブジェクトを引伸しまたは歪めることにより切抜き領域の生成を回避する。すなわち、この従来のシステムは、オブジェクトを単に移動させるだけで、許容できない切抜きの問題を生じさせることがない。
【００１１】
本出願人の従来のシステムは２Ｄアニメ動画すなわちアニメーションの変換に使用できるが、或る状況では理想的ではない。例えば、ディスプレイシステムが、全ての２Ｄイメージではなく、２Ｄイメージへの変更部分のみを受ける場合、本出願人の従来のシステムは、イメージを作り直して上記の各ステップを実行する必要がある。
【００１２】
（発明の目的）
従って本発明の目的は、アニメ動画、アニメーション、または、セグメントソースから生成される複数のイメージを含む他のコンピュータで生成された複数のイメージ等の、レイヤ化された複数の２Ｄイメージに適用できる、改善された２Ｄから３Ｄへの変換処理を提供することにある。
【００１３】
（発明の概要）
上記目的を考慮に入れて、本発明は、その一態様として、少なくとも１つのレイヤおよび該レイヤ上の少なくとも１つのオブジェクトを含むレイヤ化されたソースから、立体ディスプレイ用の左目イメージおよび右目イメージを作る方法を提供する。そして、該方法は、
各オブジェクトまたはレイヤの深さ特性を定めるステップと、
各オブジェクトまたはレイヤを、各レイヤの深さ特性の関数として決定された横方向の量だけ変位させるステップと、を有する。
【００１４】
このシステムは、複数のオブジェクトを複数の付加的レイヤに更にセグメント化するように変更してもよい。そして、理想的には、３Ｄイメージ効果を高めるために、変位された複数のオブジェクトがイメージを引伸しまたは歪めることで更に処理されてもよい。
【００１５】
各オブジェクトの記憶されたパラメータは修正されてもよい。例えば、深さ特性を定める付加タグが付加されてもよい。このような方法において、タグ情報は、オブジェクトの変位を補助することに使用してもよい。
【００１６】
イメージを既存の２Ｄシステムにも適合できるようにするには、２Ｄイメージを受信端ではなく送信端で処理し、そして、各オブジェクトまたはレイヤの深さ特性を定める情報を２Ｄイメージに埋入して、受信器がオリジナルの２Ｄイメージまたは変換された３Ｄイメージをディスプレイするように構成するのが好ましい。
【００１７】
このシステムは、アニメーション用の複数のイメージおよびレイヤ化されたソースから生成された複数のイメージを、有効かつ効率的に３Ｄで見られるようにすることができる。イメージに付加される付加データは、２Ｄイメージのサイズに比べて比較的小さいが、それでも、受信端が２Ｄイメージの３Ｄ表示を投影することができる。好ましい構成では、システムは、理想的には、観察者が３Ｄ特性について或る制御、例えば強度、深さセンセーション等を行なうことを可能にする。
【００１８】
（発明の詳細な説明）
好ましい実施形態において、本発明の変換技術は、各レイヤ上の各オブジェクトを識別し、深さ特性を各オブジェクトに割当てるステップを有している。
【００１９】
ここに説明される処理は、レイヤ化されたソースから派生された複数の２Ｄイメージに適用することを意図したものである。このようなイメージとして、アニメ動画、ＭＰＥＧビデオシーケンス（より詳しくは、各オブジェクトがビデオオブジェクト平面（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｐｌａｎｅ）に割当てられているＭＰＥＧ４を用いて処理された複数のビデオイメージ）、および、インターネットを介して伝送することを意図したマルチメディアイメージ（Ｍｕｌｔｉｍｅｄｉａ ｉｍａｇｅｓ）、例えばマクロメディア「フラッシュ」（Ｍａｃｒｏｍｅｄｉａ ”Ｆｌａｓｈ”ＴＭ）フォーマットなどがあるが、これらに限定されるものではない。
【００２０】
このようなフォーマットでは、各レイヤ上の複数のオリジナルオブジェクトは、各オブジェクトをベクトル表示してもよい。そして、ベクトル表示に関連するタグを設けてもよい。これらのタグには、各オブジェクトの特性、例えば色、位置およびテクスチャを記述してもよい。
【００２１】
図１には、このようなレイヤ化された２Ｄイメージの一例が示されている。図２には、単一イメージを形成するために、どのようにして図１の合成（ｃｏｍｐｏｓｉｔｅ）イメージが別々のレイヤ上に存在する複数のオブジェクトから合成され固定されるかが示されている。当業者ならば、合成イメージを形成する別々のレイヤをデジタルフォーマットまたはビデオフォーマットで表すこともできることは理解されよう。特に、このような複数のレイヤ上に存在する複数のオブジェクトが、ベクトルフォーマットで表すことができることに留意すべきである。必要ならば、変換すべき２Ｄイメージの各レイヤの複数のオブジェクトは、視覚検査（ｖｉｓｕａｌ ｉｎｓｐｅｃｔｉｏｎ）を用いて、人であるオペレータにより識別されるようにしてもよい。オペレータは、一般に、コンピュータのマウス、ライトペン、スタイラスまたは他のデバイスを用いてイメージ中の各オブジェクトまたはオブジェクト群にタグを付し、そして、オブジェクトにユニークな番号を割当てることができる。この番号は、オペレータが手動で生成するようにしてもよいし、あるいは、コンピュータにより特別なシーケンスで自動的に発生させるようにしてもよい。
【００２２】
オペレータは、同じシーケンスで作業する他のオペレータにより作られたオブジェクト識別情報、または、同様のシーンについての以前の変換から作られたオブジェクト識別情報を使用することもできる。
【００２３】
特定レイヤ上に１つ以上のオブジェクトが存在する場合には、これらのオブジェクトを複数の付加レイヤに更にセグメント化して、３Ｄ効果を高めることが望まれる。１つのレイヤが複数のオブジェクトを有する場合には、これらのオブジェクトを異なる深さにすることが望まれる。すなわち、単一レイヤ上に複数のオブジェクトを含めたい場合には、各オブジェクトを異なる深さにする必要があり、この場合、レイヤを、１つ以上のオブジェクトおよび／またはレイヤに細かくサブセグメント化する。
【００２４】
好ましい実施形態では、各レイヤ、およびレイヤ内のオブジェクトには、識別子が割当てられる。加えて、各オブジェクトには、本願に援用する国際特許出願ＰＣＴ／ＡＵ９８／０１００５に開示されている要領により、深さ特性が割当てられる。
【００２５】
ベクトル表示について、オブジェクトの深さを記述するために、付加タグがこのベクトル表示に付され得る。この記述は、リニアランプ（ｌｉｎｅａｒ ｒａｍｐ）のように、或るｘメートル離隔（ｓｏｍｅ ｘ ｍｅｔｅｒｓ ａｗａｙ）とするか、或る合成深さとすることができる。
【００２６】
オブジェクトの深さを記述するタグは深さを直接記述する必要はないが、深ささについての何らかの関数を表示する必要があることに留意されたい。当業者ならば、このような表示として不均衡（ｄｉｓｐａｒｉｔｙ）およびプルマップがあるが、これらに限定されるものではないことは理解されよう。
【００２７】
オブジェクト（単一または複数）の深さは、手動、自動または半自動のいずれかによって決定できる。オブジェクトの深さは、英数字情報、視覚情報、聴覚情報または触覚情報の任意の情報を用いて割当てることができる。他の実施形態では、オブジェクトの深さは数値で割当てられる。この数値は、線形または非線形の連続をなす正または負の値でもよいし、また単一または複数のディジットを含めることができる。好ましい実施形態では、この値は、単一バイトで符号化される０〜２５５の範囲内で定められる。ここで、２５５は、変換されたときに観察者に最も近い３Ｄ位置に現われるオブジェクトを表し、０は、観察者から最も遠い３Ｄ距離に現われるオブジェクトを表す。この変換を、例えば逆にしたり、他の範囲を使用したりして、変えることができることは明白である。
【００２８】
手動により深さを定める場合において、オペレータは、コンピュータのマウス、ライトペンまたは他のデバイスを用いてオブジェクト（単一または複数）の深さを割当てることができる。オペレータは、オブジェクトのアウトライン内にポインティングデバイスを置きかつ深さ値を入力することにより、オブジェクトの深さを割当てることができる。深さは、数字、英数字または図形値としてオペレータにより入力されて、オペレータにより割当てられるようにしてもよい。あるいは、コンピュータにより所定範囲の許容値から自動的に割当てられるようにしてもよい。オペレータは、許容深さのライブラリまたはメニューからオブジェクトの深さを選択することもできる。
【００２９】
オペレータはまた、オブジェクト内の一定範囲の深さを割当てるか、あるいは、時間、オブジェクトの位置またはモーションまたはこれらのファクタの任意の組合せとともに変化する深さ範囲を割当てることもできる。例えば、オブジェクトは、理想的には、観察者に最も近いエッジおよび観察者から最も遠いエッジを有するテーブルで形成できる。３Ｄに変換されたとき、テーブルの見掛け深さは、その長さに沿って変化すべきである。これを達成するため、オペレータは、テーブルを多数のセグメントまたはレイヤに分割し、各セグメントに個々の深さを割当ててもよい。あるいは、オペレータは、シェーディング量がテーブルの特定位置での深さを表すようにオブジェクトをシェーディングすることにより、オブジェクト内に連続的に変化する深さを割当てることもできる。この例において、明るいシェーディングで近いオブジェクトを表し、暗いシェーディングで遠いオブジェクトを表すことができる。テーブルの例では、最も近いエッジに明るいシェーディングを行い、最も遠いエッジに到達するまで徐々に暗くなるシェーディングを行う。
【００３０】
オブジェクト内の深さの変化は線形的または非線形的としてもよい。また、時間、オブジェクトの位置またはモーションまたはこれらのファクタの任意の組合せとともに変化させてもよい。
【００３１】
オブジェクト内の深さの変化はランプ（ｒａｍｐ）の形状としてもよい。リニアランプでは、出発点（Ａ）および終点（Ｂ）を設けることができる。出発点Ａおよび終点Ｂでの色が定められる。点Ａから点Ｂに至る階調（ｇｒａｄｉｅｎｔ）が垂直線上に付される。
【００３２】
ラジアルランプは、中心点（Ａ）から半径（Ｂ）までの距離を使用するが、リニアランプと同様なランプを定める。例えば、半径方向深さは、
ｘ、ｙ、ｒ、ｄ１、ｄ２、ｆｎ
で表すことができる。ここで、ｘおよびｙは半径の中心点の座標、ｄ１は中心での深さ、ｄ２は半径での深さ、ｆｎは、深さがｄ１からｄ２までどのように変化するかを示す関数、例えば一次関数、二次関数等である。
【００３３】
ラジアルランプまで簡単に延長するだけで、外側リムをテーパさせるか、可変サイズの中心点を付与できる。
【００３４】
線形延長とは、垂線からの距離ではなく線分からの距離である。この例では、色は線分について定められ、「外側」の色も定められる。線分に沿う色が定められ、色は「外側」の色へと次第に移行する。
【００３５】
種々のランプは容易に符号化できる。ランプは、より複雑な曲線、方程式、可変透明度等に基いて定めることもできる。
【００３６】
他の例において、オブジェクトは、複数フレームの期間に亘って、イメージの前方から後方まで移動し得る。オペレータは、最初のフレームのオブジェクトに深さを割当て、そして、最後のまたは次のシーンのオブジェクトの深さを割当てることができる。次に、コンピュータは、連続フレームに亘ってオブジェクトの深さを線形または他の所定のマナーにより補間することができる。また、この処理は、オブジェクトが移動する間のオブジェクトのサイズの変化に基いて、コンピュータがオブジェクトの深さの変化を割当てることにより、完全自動化することもできる。
【００３７】
オブジェクトに特定深さが割当てられたならば、オブジェクトは、該オブジェクトが連続フレームに亘ってイメージ内で移動するときに、手動、自動または半自動的に追跡できる。例えば、オブジェクトがイメージを介して或る時間移動する場合、オブジェクトのベクトル表示を用いてこの運動をモニタリングできる。すなわち、或る時間に亘ってベクトルの大きさをモニタリングして、オブジェクトが大きくなったか、小さくなったかを決定できる。一般的には、オブジェクトが大きくなる場合には、オブジェクトは観察者に近付くであろうし、逆にオブジェクトが小さくなる場合には、オブジェクトは観察者から遠ざかるであろう。多くの場合、オブジェクトは、特定レイヤ上の唯一のオブジェクトである。
【００３８】
また、オペレータは、同じシーケンスで作業する他のオペレータにより作られる深さの定め、あるいは、同様のシーンの従前の変換から作られる深さの定めを使用できる。
【００３９】
よりリアリスティックに見える３Ｄを作るためには、ときとして、簡単なランプまたは線形変化より複雑な深さの定めを用いることが望まれる。これは、例えば木のように多くの深さ変化をもつ複雑な内部構造を有するオブジェクトに特に望まれる。このようなオブジェクトの深さマップは、オブジェクトにテクスチャのバンプマップを付加することにより作ることができる。例えば、木を考えるときには、先ず、木に深さを割当てる。次に、テクスチャのバンプマップを付加して、木の各葉にそれ自体の個々の深さを付与する。このようなテクスチャマップは、比較的簡単なオブジェクトに詳細を付加する場合に、本発明に有効であることが判明している。
【００４０】
しかしながら、木の葉または他の複雑なオブジェクトのように微細なものについては、この方法は好ましくない。なぜならば、木等が風で移動したり、フレームからフレームへとカメラアングルが変化するようなことがあると、この方法はさらに複雑になるからである。他のより好ましい方法は、オリジナルオブジェクトの輝度（または黒／白成分）を用いて、必要なバンプマップを作成することである。一般に、オブジェクトの要素は、観察者に近いほど明るく、観察者から遠いほど暗い。かくして、近い要素に明るい輝度値を割当て、遠い要素に暗い輝度値を割当てることにより、バンプマップが自動的に作成される。この技術の長所は、オブジェクト自体を使用してそれ自体のバンプマップを作成でき、フレームからフレームへのオブジェクトのあらゆる運動を自動的に追跡できることである。オブジェクトの他の性質を使用してバンプマップを作成することもでき、これらの性質として、色差、彩度、色群、反射、陰影、フォーカス、鮮鋭度等があるが、これらに限定されるものではない。
【００４１】
オブジェクトの性質から得られるバンプマップの値は、オブジェクト内の深さ変化の範囲がイメージ全体の全体的深さ範囲と調和するようにスケーリングすることも好ましい。
【００４２】
各レイヤおよび各オブジェクトには識別子が割当てられ、更に各オブジェクトには深さ特性が割当てられる。従って、オブジェクトを定める一般的フォーマットは、
＜レイヤ識別子＞＜オブジェクト識別子＞＜深さ特性＞
となる。ここで、各識別子は任意の英数字識別子とすることができ、深さ特性は前述の通りである。深さ特性にはオブジェクトの深さの英数字表示を含めることができることに留意すべきである。
【００４３】
本発明は、深さ特性識別子を、他の手段でイメージ内のオブジェクトを既に識別している既存のレイヤベースイメージの記憶／伝送プロトコルに付加することを開示する。
【００４４】
最も簡単な実施では、レイヤ識別子は、オブジェクトの深さに対する直接基準または参考基準として使用できる。
【００４５】
例示のみを目的として、各レイヤが単一オブジェクトを含んでいる４つのレイヤからなる２Ｄイメージを考察する。これらのレイヤには１〜４の番号を付し、立体的に表示したときに、レイヤ１のオブジェクトが観察者の最も近くに現われ、レイヤ２のオブジェクトがレイヤ１のオブジェクトの後ろに現われ、以下同様にしてレイヤ４のオブジェクトが観察者から最も遠くに現われるように順序付ける。当業者ならば、この順序を逆にすること、すなわち、レイヤ４が観察者に最も近いオブジェクトを含み、レイヤ１が観察者から最も遠いオブジェクトを含むように構成すること、または、不連続深さまたは非線形表示を適用できることは明白であろう。
【００４６】
深さ値としてレイヤ番号を割当てるこの技術は、オブジェクトの数、レイヤおよび相対深さがイメージの継続期間中に変化しない比較的簡単なイメージに適している。
【００４７】
しかしながら、この実施形態は、２Ｄシーケンス中に付加レイヤが導入または除去されることがあり、このためイメージの全深さがシーン間で変化してしまうという欠点を有している。従って、オブジェクトを定める一般的なフォームは、オブジェクトの深さおよびレイヤに関する識別子を分離することによりこの制限を解消している。
【００４８】
＜各レイヤを横方向に変位させるステップ＞
単に説明の目的上、２Ｄイメージは、別々のレイヤ上に存在する多数のオブジェクトからなると仮定する。また、２Ｄイメージは、３Ｄイメージに変換され、左右別々の目のためのイメージを必要とする立体ディスプレイ上に表示されるべきものであると仮定する。これらのレイヤは、立体イメージに変換されたときに、レイヤ１上のオブジェクトが観察者の最も近くに見られ、かつ、レイヤｎ上のオブジェクトが観察者から最も遠くに見られるように連続される。
【００４９】
また単に説明の目的から、オブジェクトの深さはレイヤの数に等しいか、レイヤの数の関数であると仮定する。また、最も近いオブジェクトがディスプレイ装置の表面上に現われ、かつ、連続する複数レイヤ上の他の全てのオブジェクトが連続オブジェクトの後方に現われるように、最も近いオブジェクトすなわちレイヤ１が立体視装置（ｓｔｅｒｅｏｓｃｏｐｉｃ ｖｉｅｗｉｎｇ ｄｅｖｉｃｅ）上でゼロ視差を有するものと仮定する。
【００５０】
左目イメージのシーケンスを作るため、２Ｄイメージのレイヤ１の複製が作られる。次にレイヤ２の複製が作られ、左方への横方向変位を行なってレイヤ１の下に置く。横方向変位量は、審美的に満足できる（ａｅｓｔｈｅｔｉｃａｌｌｙ ｐｌｅａｓｉｎｇ）立体効果を生み出すように、すなわち、幾つかの予め同意した標準、変換または命令に従って決定される。後続する各レイヤの各複製が同様の要領で作られ、各複製には、前のレイヤと同じ横方向変位、あるいは、各レイヤが付加されるにつれて増大する横方向変位が行われる。横方向変位量は、オブジェクトが観察者からどれほど離れるかを決定する。オブジェクトの識別子はどのオブジェクトを変位させるかを表示し、割当てられた深さはどれだけ変位させるかを表示する。
【００５１】
右目イメージのシーケンスを作るため、２Ｄイメージのレイヤ１の複製が作られる。次にレイヤ２の複製が作られ、右方への横方向変位を行なってレイヤ１の下に置く。好ましい実施形態では、この横方向変位は左目に用いた横方向変位と等しくかつ逆方向である。例えば、レイヤ２が−２ｍｍだけ左方に変位されるとすると、右目については＋２ｍｍの変位が使用される。変位測定値の単位は媒体に関係しており、２Ｄイメージは、画素、イメージサイズの割合、スクリーンサイズの割合等を含み（但しこれらに限定されない）、これらで表される。
【００５２】
次に、別々のレイヤから合成イメージが作成され、立体ペアとして続けて観察される左右別々の目用のイメージが形成される。これが図３に示されている。
【００５３】
上記の説明において、複製を作る代わりに、オリジナルのレイヤ化されたイメージを使用して一方の目用のイメージを作ることができる。すなわち、オリジナルのイメージが右目イメージとなり、左目イメージは、それぞれのレイヤを変位させることにより作成される。
【００５４】
当業者ならば、この技術は複数イメージのシーケンスに適用でき、そして、単に説明のために単一の２Ｄイメージが示されたことは理解されよう。
【００５５】
また、当業者ならば、オリジナルの２Ｄイメージのオブジェクトは、可視イメージ以外の例えばベクトルベースのオブジェクト表示で説明できることも理解されよう。本発明の特別な目的は、本発明を、複数レイヤからなる全てのイメージフォーマットに適用できるようにすることである。これには、アニメ動画、ベクトルベースのイメージ例えばマクロメディアフラッシュ、ＭＰＥＧ符号化イメージ（特に、ＭＰＥＧ４およびＭＰＥＧ７フォーマットイメージ）およびスプライトベースのイメージがあるが、これらに限定されるものではない。
【００５６】
ここで図４を参照すると、本発明の好ましい実施形態のフローチャートが示されている。レイヤ化されたソースからイメージを受信した後、システムは、ソースマテリアルの第１レイヤを選択する。オブジェクトは或る場合には別のレイヤ上にあるとしても、多くのオブジェクトは同じレイヤ上に配置されることが理解されよう。例えば、単に背景として機能するレイヤに、実際には、多数のオブジェクトを配置できる。従って、レイヤは、当該レイヤ上に複数のオブジェクトが存在するか否かを決定すべく分析される。
【００５７】
レイヤに複数のオブジェクトが存在する場合には、当該レイヤ上のこれらのオブジェクトが当該レイヤ上の相互のオブジェクトと同じ深さで現われるべきであるか否かを決定する必要がある。レイヤ上の少なくとも１つのオブジェクトが、同じレイヤ上の他のオブジェクトとは異なる深さで現われることを望む場合には、このオブジェクトのための新しいレイヤを作成すべきである。同様に、単一レイヤ上の多数のオブジェクトの各々が異なる深さに現われる場合には、各深さのためのレイヤを作成すべきである。このような方法により、１つのレイヤは、単一のオブジェクト、または、同じ深さに現われるべき多数のオブジェクトのみを有することとなる。
【００５８】
ひとたび単一のオブジェクトのレイヤ、または、同じ深さに現われるべき複数のオブジェクトを備えた１つのレイヤが決定されたならば、これらのオブジェクトに深さを割当てる必要がある。この深さは、オペレータにより手動で割当てられるか、予め定めたルールセットのような他の何らかの手段により割当てられる。ひとたびレイヤ上のオブジェクトに深さ特性が割当てられたならば、それから立体イメージを作成するために、オブジェクトおよび／またはレイヤを修正する必要がある。
【００５９】
立体イメージは、左目イメージおよび右目イメージの両方を有している。本発明のシステムは、深さ特性の関数としてレイヤを横方向に変位させることにより、最初に左目イメージを便利に作成できる。これに代えて、電子バージョンのイメージの場合には、レイヤ上にあるオブジェクト（単一または複数）をより簡単に横方向に変位させることができる。例えば、フラッシュ（ＦｌａｓｈＴＭ）のような電子バージョンを考えた場合には、オブジェクトは、当該オブジェクトに関連するタグを調節することにより変位できるであろう。すなわち、オブジェクトの１つのタグは、ｘ、ｙ座標で表すことができる。このシステムは、オブジェクトを横方向に変位させるため、オブジェクトの深さ特性の関数としてのこれらのｘ、ｙ座標を修正するように構成できる。オブジェクトおよび／またはレイヤを横方向に変位させることにより、左目イメージが作成される。
【００６０】
右目イメージを作成するために新しいレイヤが作成される。そして、左目イメージを作成するためのいかなる横方向変位も行なわれる前に、オリジナルのオブジェクトおよび／またはレイヤが、左目イメージの作成に使用された方向とは逆方向に横方向変位される。例えば、左目用のオブジェクトが２ｍｍだけ左方に横方向変位された場合には、同じオブジェクトが、右目イメージのために２ｍｍだけ右方に横方向変位される。このようにして右目イメージが作成される。レイヤ上のオブジェクト（単一または複数）について左右の目のイメージが作成されたならば、システムはイメージの次のレイヤを選択して、同じ処理を続ける。このシステムが、最初のレイヤを選択するのではなく最後のレイヤを同様に選択して最初に処理できることは明白であろう。
【００６１】
各レイヤが上記のように処理されたならば、それぞれのレイヤを結合して左目イメージおよび右目イメージを形成する必要がある。次に、これらの結合レイヤは、観察者が適当なディスプレイ上で見ることができる。
【００６２】
分析方法を決定され、伝送前にデータをオリジナルの２Ｄイメージに埋入することが考えられる。このデータとして、立体イメージを作るためのディスプレイシステムにより要求される情報がある。このようにしてオリジナルイメージが伝送され、２Ｄまたは３Ｄで見ることができる。すなわち、標準ディスプレイシステムはオリジナルの２Ｄイメージを受けかつ処理でき、かつ３Ｄ可能ディスプレイ（３Ｄ ｃａｐａｂｌｅ ｄｉｓｐｌａｙｓ）も同じ伝送を受けかつ立体イメージを表示できる。２Ｄイメージに埋入される付加データは、本質的に、オブジェクトおよび／またはレイヤの各々を変位させるのに必要なデータを含むデータファイルとし、あるいは、実際には各オブジェクトに関連する付加タグとすることができる。
【００６３】
ある用途では、オブジェクトの単なる横方向変位により、平坦で「板紙切抜き（ｃａｒｄｂｏｒｄ ｃｕｔ−ｏｕｔ）」の外観を持つオブジェクトが得られる。この外観は、例えばアニメーションおよびアニメ動画のキャラクタ等の幾つかの用途で許容できる。しかしながら、ある用途では、前述の引伸ばし技術を横方向変位と同様に使用することにより、イメージまたはオブジェクトを更に処理するのが好ましい。すなわち、オブジェクトおよび／またはレイヤを、オブジェクトに割当てられた深さ特性の関数として横方向に変位させるだけでなく、国際特許出願ＰＣＴ／ＡＵ９６／００８２０に開示された技術を用いてオブジェクトを引伸ばすことも好ましい。
【００６４】
より実際的な感覚で、例えば、図１に示すようなレイヤ１、レイヤ２、レイヤ３およびレイヤ４の４つのレイヤからなるフラッシュアニメーションファイルを考察する。オペレータは、このファイルを、マクロメディアフラッシュのソフトウェアにローディングする。それぞれのレイヤ上には、図２に示すオブジェクトが存在する。好ましい実施形態では、オペレータは、マウスを各オブジェクト、例えばレイヤ１の「人」に合わせてクリックする。次にソフトウェアは、オペレータがこのオブジェクトの深さ特性を選択することを許容するメニューを開く。このメニューには、観察者からの絶対深さまたは相対深さおよび合成深さ等の簡単な選択項目が含められる。例えば、メニューには、オペレータにより選択された深さと一緒にオブジェクトに適用されるオブジェクト形式の「人」についての所定バンプマップを含めることができる。深さ特性を選択した後、ソフトウェアは新しいレイヤ（この例ではレイヤ５）を作成し、かつ必要な横方向変位およびこの新しいレイヤ上への引伸ばしを行って、「人」を複製する。オリジナルのレイヤ１も修正して、必要な横方向変位および引伸ばしを行なう。この手順は、作成される付加レイヤ６、７、８を形成する各レイヤ上の各オブジェクトについて反復される。次に、レイヤ１〜４を合成して例えば左目イメージを形成し、かつレイヤ５〜８を合成して右目イメージを形成する。
【００６５】
現在入手できるマクロメディアフラッシュのソフトウェアは、オブジェクトに深さ特性を割当てる能力を保有しておらず、図示目的の機能を提供するに過ぎないことに留意すべきである。
【００６６】
各オブジェクトに別々のレイヤが割当てられていて、簡単な横方向変位を付与すべき場合には、処理方法を自動化できる。例えば、オペレータは、レイヤ１上のオブジェクトおよびレイヤｎ上のオブジェクトに１つの深さを割当てることができる。次にオペレータは、第１番目のレイヤと第ｎ番目のレイヤとの間で深さが変化するマナー（態様）を記述する。このマナーには、線形マナー、対数マナー、指数マナー等があるが、これらに限定されるものではない。次に、ソフトウェアは、自動的に新しいレイヤを作成し、かつ、オリジナルのレイヤ上の既存のオブジェクトに必要な修正を行なう。
【００６７】
手動処理および自動処理の両方を使用できることに留意すべきである。例えば、レイヤ１〜４に自動処理を使用し、レイヤ５に手動処理を使用し、そして、レイヤ６〜ｎに自動処理を使用することができる。
【００６８】
＜符号化および圧縮ステップ＞
ある状況では、オブジェクトへの深さの割当てに大きい冗長度を与えることができる。例えば、オブジェクトが、連続するイメージフレーム内の同じｘ、ｙ座標および同じ深さに現われるような場合には、オブジェクトの最初の外観についてのこの情報を記録しまたは伝送するだけでよい。
【００６９】
この性質の冗長データを符号化および圧縮することは、当業者にとって良く知られた技術である。
【００７０】
横方向変位技術は、下のレイヤ上のオブジェクトが完全に記述されている場合にのみ適用できることは明らかであろう。そうでない場合、例えば２Ｄイメージが本来的にレイヤ形式で存在していない場合には、前述の引伸し技術は立体イメージの作成に適用できる。この点に関し、オブジェクトの簡単な切断および貼付（カットアンドペースト）は商業的に受入れられておらず、従って何らかの引伸し技術が必要となることに留意されたい。あるいは、イメージセグメント化技術を用いて、レイヤ化されていない２Ｄソースをレイヤ化されたソースに変換できる。この状況に本発明を適用できる。
【００７１】
オブジェクトを単に横方向に変位させるだけで、結果として、３Ｄイメージに、平坦に現われる、すなわち「板紙切抜き」特性を持つオブジェクトを含めることができる。ある実施形態では、これにより、３Ｄイメージが平坦で非現実的なものに見えてしまう。しかしながら、ある用途では、これが好ましいこともある。例えばアニメ動画では、好ましい結果が得られる。３Ｄ効果を生成できるが、状況によってはこれが最適でないこともある。かくして、オブジェクトの密度をより濃くしたい場合には、本出願人に係る前述の引伸し技術を適用してオブジェクトおよび／またはレイヤを更に処理し、３Ｄ効果を高めることができる。例えば、オブジェクトは横方向変位と深さランプとを組合せた深さ特性を持ってもよい。従って、この結果得られるオブジェクトは、本発明に開示するように横方向に変位され、かつ、国際特許出願ＰＣＴ／ＡＵ９６／００８２０に開示されたように引伸ばされたものとなるであろう。
【００７２】
オブジェクトがレイヤ化されたフォームで存在し、かつ、部分的または完全に記述されている場合、引伸し技術はオブジェクトを識別してアウトラインを定めるために必要でない。なぜならば、これは既に着手されているからである。しかしながら、深さ特性の割当ては依然として必要である。
【００７３】
当業者ならば、立体ディスプレイは、左目イメージおよび右目イメージの作用の基本として、これらの両イメージに依存せずに出現することが理解されよう。本発明の意図するところは、ここに説明する技術を、既存のおよび将来のディスプレイ技術に使用することである。
【００７４】
例えば、２Ｄイメージに関連深さマップをプラスすることを必要とするディスプレイが出現している。この場合には、各オブジェクトに予め記述されている深さ特性識別子を付与することにより、記述された各オブジェクトの２Ｄイメージが深さマップに変換される。
【００７５】
次に、個々のレイヤが重畳されて、関連する２Ｄイメージの深さマップを表す単一イメージを形成する。当業者ならば、この方法は、立体イメージを表示する前にまたはリアルタイムで適用できることが理解されよう。
【００７６】
また、単なる立体ペアではない多くのイメージを必要とする他のディスプレイ形式が出現している。例えば、フィリップス社の製造に係る自動立体ＬＣＤディスプレイは、各隣接イメージペアが立体ペアからなる７または９個の個別イメージを必要とする。上記の横方向変位技術は、このようなディスプレイに適した複数の立体ペアを作るのにも使用できる。例えば７つの景色を必要とする自動立体ディスプレイに適したイメージシーケンスを作成するため、オリジナルの２Ｄイメージは、左方への連続横方向変位により得られる中央景色４および景色１〜３に使用される。
【００７７】
前述のように、深さ特性は、オリジナルの２Ｄイメージの定めに含められ、２Ｄと互換性のある３Ｄイメージを作成できる。このデータのサイズが小さいものと仮定すれば、最小のオーバーヘッドにより２Ｄ適合性が得られる。
【００７８】
前述のように、深さ特性はオリジナルの２Ｄイメージに含まれるか、別々に記憶または伝送される。
【００７９】
以上、２Ｄイメージをレイヤ状ソースから変換するシステムを開示したが、当業者に明白な種々の変更は本発明の範囲内に包含されることは理解されよう。
【図面の簡単な説明】
【図１】
合成レイヤ状２Ｄイメージの一例を示す図面である。
【図２】
図１の合成イメージを、別のレイヤ上に存在するオブジェクトから合成する方法を示す図面である。
【図３】
左目イメージおよび右目イメージを形成する方法を示す図面である。
【図４】
本発明の好ましい実施形態による方法を示すフローチャートである。
【図１】
2004505394.tif 000003
【図２】
2004505394.tif 000004
【図３】
2004505394.tif 000005
【図４】
2004505394.tif 000006
【国際公開パンフレット】
2004505394.tif 000007
2004505394.tif 000008
2004505394.tif 000009
2004505394.tif 000010
2004505394.tif 000011
2004505394.tif 000012
2004505394.tif 000013
2004505394.tif 000014
2004505394.tif 000015
2004505394.tif 000016
2004505394.tif 000017
2004505394.tif 000018
2004505394.tif 000019
2004505394.tif 000020
2004505394.tif 000021
2004505394.tif 000022
2004505394.tif 000023
2004505394.tif 000024
2004505394.tif 000025
2004505394.tif 000026
2004505394.tif 000027
【国際調査報告】
2004505394.tif 000028
2004505394.tif 000029
2004505394.tif 000030