(57)【要約】  シーンの表示画像のシーケンスを生成するステップ；シーン内の特徴の速度を設定して、シーンの非遠近歪みを表示画像に生成するステップ；および表示画像を逐次的に表示するステップ、を含む所望の奥行錯覚を有するシーンの視覚表示を生成する方法。【選択図】  図２
2009500878.tif 000002
【特許請求の範囲】
【請求項１】
シーンの表示画像のシーケンスを生成するステップ；
シーン内の特徴の速度を設定して、シーンの非遠近歪みを表示画像に生成するステップ；および
表示画像を逐次的に表示するステップ、
を含む、所望の奥行錯覚を有するシーンの視覚表示を生成する方法。
【請求項２】
シーン内の少なくとも一部の特徴に関連して異なる位置に対して各画像を取得し、シーンの画像のシーケンスを生成するステップ；および
表示画像を逐次的に表示するステップ、
を含み、
前記シーケンスを生成するステップが、
シーン内の特徴の位置を画像毎に系統的に設定して、画像の非遠近歪みを生成し、画像のシーケンスに増強された奥行知覚を提供するステップ、
を含む、増強された奥行錯覚を有するシーンの視覚表示を生成する方法。
【請求項３】
シーン内の少なくとも一部の特徴に関連して異なる位置から仮想カメラによって各画像を取得し、シーンの表示画像のシーケンスを生成するステップ；および
表示画像を逐次的に表示するステップ、
を含み、
前記シーケンスを生成するステップが、シーン内の少なくとも１つの特徴に、シーン内で相互に対して名目上静止している特徴間の相対運動を生成する速度を提供するステップを含み、少なくとも１つの特徴の中の特定の特徴に提供される速度が、カメラに対するシーン内の特定の特徴の奥行の関数である、増強された奥行錯覚を有するシーンの視覚表示を生成する方法。
【請求項４】
仮想カメラ位置は非平面三次元軌道に沿って存在する、請求項３に記載の視覚表示を生成する方法。
【請求項５】
仮想カメラ位置は平面軌道に沿って存在する、請求項３に記載の視覚表示を生成する方法。
【請求項６】
仮想カメラ位置は線形軌道に沿って存在する、請求項３に記載の視覚表示を生成する方法。
【請求項７】
位置の一部は他の位置よりシーンに近い、請求項３〜６のいずれかに記載の視覚表示を生成する方法。
【請求項８】
少なくとも２つの位置がシーンに対して横方向に相互に変位する、請求項３〜７のいずれかに記載の視覚表示を生成する方法。
【請求項９】
カメラに対して異なる奥行にある特徴は異なる焦点距離で撮像される、請求項３〜８のいずれかに記載の視覚表示を生成する方法。
【請求項１０】
シーンはレイヤに分割される、請求項３〜９のいずれかに記載の視覚表示を生成する方法。
【請求項１１】
同一レイヤの特徴に対しては同一速度が設定される、請求項１０に記載の視覚表示を生成する方法。
【請求項１２】
異なるレイヤに対しては異なる速度が設定される、請求項１０または１１に記載の視覚表示を生成する方法。
【請求項１３】
仮想カメラの少なくとも１つの位置で、カメラはカメラの光軸に沿って異なる位置から異なるレイヤを撮像する、請求項３〜１２のいずれかに記載の視覚表示を生成する方法。
【請求項１４】
カメラに近い特徴には第１方向の速度が提供され、中間距離の特徴は静止し、より遠い距離の特徴には前記第１方向とは略反対の第２方向の速度が提供される、請求項３〜１３のいずれかに記載の視覚表示を生成する方法。
【請求項１５】
カメラに近い特徴には第１方向の第１速度が提供され、中間距離の特徴には前記第１方向の前記第１速度より小さい第２速度が提供され、非常に大きい距離の特徴は静止する、請求項１４に記載の視覚表示を生成する方法。
【請求項１６】
カメラに近い特徴は静止し、中間距離の特徴には第１方向の第１速度が提供され、遠い距離の特徴には前記第１方向の前記第１速度より大きい第２速度が提供される、請求項１４に記載の視覚表示を生成する方法。
【請求項１７】
前記第１方向は前記異なる位置間の運動方向と略平行である、請求項１４〜１６のいずれかに記載の視覚表示を生成する方法。
【請求項１８】
運動する特徴には相応して配置された静止オブジェクトに提供される変化と一貫性のある位置の変化または追加速度が提供される、請求項１〜１７のいずれかに記載の視覚表示を生成する方法。
【請求項１９】
少なくとも一部のシーンの特徴に関連して異なる位置から仮想カメラによって各画像を取得して、シーンの表示画像のシーケンスを生成するステップ；および
表示画像を逐次的に表示するステップ、
を含み、
仮想カメラがシーン内の特定の特徴を撮像する焦点距離が、カメラからの特定の特徴の距離の関数である、増強された奥行錯覚を有するシーンの視覚表示を生成する方法。
【請求項２０】
カメラから遠い少なくとも一部の特徴は、カメラに比較的近い特徴を撮像するために使用される焦点距離より大きい焦点距離で撮像される、請求項１９に記載の視覚表示を生成する方法。
【請求項２１】
観察者の両眼によって見ることができるように表示画像を表示することを含む、請求項１〜２０のいずれかに記載の視覚表示を生成する方法。
【請求項２２】
請求項１〜２１のいずれかに従って生成される視覚表示画像。
【請求項２３】
請求項２２に記載の視覚表示画像を含む視覚表示画像のシーケンス。
【請求項２４】
撮像位置が画像間で移動し、かつ静止オブジェクトがオブジェクトと撮像位置との間の距離に応じて画像間で相互に対して移動する、視覚画像のシーケンス。
【請求項２５】
請求項１〜２１のいずれかに記載の方法または請求項２２〜２４のいずれかに記載の画像または視覚画像のシーケンスをコード化した、コンピュータアクセス可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願）
本願は、「Ｄｅｐｔｈ  Ｉｌｌｕｓｉｏｎ  Ｄｉｇｉｔａｌ  Ｉｍａｇｉｎｇ」と称する２００５年４月１１日に出願の米国特許仮出願第６０／６７００８７号の米国特許法第１１９条（ｅ）項に基づく特典を主張し、その開示内容を参照によって本書に援用する。
【０００２】
（発明の分野）
本発明は、奥行知覚を提供するシーンの視覚表示を生成する方法、および奥行知覚度を制御するための方法に関する。
【背景技術】
【０００３】
人間の立体視は、一次または生理学的な、および二次または心理学的な、ときには絵画的と呼ばれる奥行手掛かりに頼って、目または網膜の二次元表面で受け取ったシーンから三次元情報を読み取る。目の遠近調節、または目がオブジェクトに焦点を合わせるためにもたらすレンズの形状変化量のような一部の生理学的手掛かりは単眼視によって、すなわち単一の目によって提供されるが、多くの生理学的奥行手掛かりは、２つの目を持つ人の機能である両眼手掛かりである。両眼手掛かりは、輻輳、つまりオブジェクトに焦点を合わせるために目が回転する角度、および網膜歪覚を含む。網膜歪覚とは、左右の目の位置の相違のためにそれらに映る同一シーンの像間の相違を指す。
【０００４】
両眼が心理学的奥行手掛かりを提供する必要は一般的になく、単独で働く各々の目がこれらの手掛かりを提供することができる。心理学的奥行手掛かりは、人が写真や絵画を見るときに経験する奥行知覚を説明するために使用され、相対的大きさ、リニアパースペクティブ（ｌｉｎｅａｒ  ｐｅｒｓｐｅｃｔｉｖｅ）、視線より上のオブジェクトの高さ、介在物、陰影付け、影、相対的明るさ、色（色立体視）、および大気減衰を含む。これらの心理学的手掛かりは、奥行の感覚を提供するために地形表現で幅広く使用される。運動手掛かりはしばしば心理学的手掛かりとして分類される。しかし、それらは異なる距離にあるオブジェクトの網膜像の相対変位に変化を生じるので、運動手掛かりは実際には、三次元情報を伝達する生理学的反応を生み出す。心理学的手掛かりの多くは生理学的手掛かりと組み合わされて、増強された三次元効果を生み出すことができる。
【０００５】
例えば二次元の紙、ビデオ、およびコンピュータシステムの画像から奥行情報を与える生理学的または心理学的手掛かりのいずれかを伝達するための、様々な三次元立体表示技術が存在する。上述の通り、印刷表現は一般的に心理学的手掛かりを使用する。しかし、アナグリフ印刷物は、色スペクトルを赤および緑／青成分に分割し、かつそれらが適切な目に「経路選択」されて三次元のシーンを表現するように画像をマスキングすることに基づく、左右の画像の物理的分離に依存する。フィルム製品は分離のための偏光フィルムを含み、色画像を印刷させることができる。分離した画像を伝達するために、フィルムは依然として、一般的に一方の目に対し水平偏光を持ち、他方には垂直偏光を持つ眼鏡を必要とする。ビデオおよびコンピュータシステムはアナグリフおよび偏光の両方を使用し、これらの方法は一般的に、ソフトコピー写真測量システムで左／右の分離を達成するために実現される。これらのシステムはまた、レンチキュラおよびホログラフィックディスプレイのような技術と共に運動および他の特殊手法により、立体画像の分離を強化することを可能にする。
【０００６】
三次元ディスプレイの裸眼立体視方法は、多種多様な概念および方法に基づいており、人間の目‐脳系における奥行情報の合成を達成するために３Ｄ眼鏡を着用する必要はない。裸眼立体視ディスプレイは左右の画像または交互画像対の立体視に依存し、レンチキュラディスプレイ、視差障壁ディスプレイのみならず、運動視差に基づくディスプレイをも含む。
【０００７】
論文「Ｍａｐｐｉｎｇ  Ｐｅｒｃｅｉｖｅｄ  Ｄｅｐｔｈ  Ｔｏ  Ｒｅｇｉｏｎｓ  Ｏｆ  Ｉｎｔｅｒｅｓｔ  Ｉｎ  Ｓｔｅｒｅｓｃｏｐｉｃ  Ｉｍａｇｅｓ」、Ｎｉｃｋ  Ｈｏｌｌｉｍａｎ、Ｓｔｅｒｅｏｓｃｏｐｉｃ  Ｄｉｓｐｌａｙｓ  ａｎｄ  Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ  Ｓｙｓｔｅｍｓ  ＸＩ、ＳＰＩＥ−ＩＳ＆Ｔ  Ｅｌｅｃｔｒｏｎｉｃ  Ｉｍａｇｉｎｇ会報、ＳＰＩＥ  Ｖｏｌ．５２９１、２００４、ＩＳＢＮ  ０‐８１９４‐５１９４は、定義された関心領域（ＲＯＩ）で知覚される奥行がシーンの他の領域と比較して改善されるように、シーン奥行におけるＲＯＩを立体３Ｄディスプレイにマッピングする方法を記載している。立体ディスプレイにおける所与の動的奥行範囲に対しては、ＲＯＩはシーンの他の領域より大きいディスプレイ比率にマッピングされる。
【０００８】
全てＰｅｌｅｇらの米国特許第６５３２０３６号、第６６６５００３号、第６７９５１０９号、第６８３１６７７号、およびＲｏｂｉｎｓｏｎらの第６７９５５７５号は、モザイク画像の観察者に奥行の間隔を提供するように、立体的左右画像対として表示するのに適したシーンの左右モザイク画像を生成する方法を記載しており、それらの開示内容を参照によって本書に援用する。Ｐｅｌｅｇらの米国特許出願第０９／８６１８５９号は、異なるディスパリティを特徴とする画像が充分に高速で表示され、したがって両眼が同一画像を略同時に見るように、奥行感覚を生成する代替的方法を記載しており、その開示内容を参照によって本書に援用する。該方法は左右画像分離またはマスキングを使用しない。
【０００９】
本願と同一の発明者らの一部による「Ｄｅｐｔｈ  Ｉｌｌｕｓｉｏｎ  Ｄｉｇｉｔａｌ  Ｉｍａｇｉｎｇ」と称する２００５年３月１６日出願の米国特許出願第６０／６６１９０７号は、左右マスキング無しに観察者に対して順次表示されたときに、所望の奥行知覚を有するシーンの表示を達成する、シーンの複数の「表示画像」を生成するための方法および装置を記載しており、その開示内容を参照によって本書に援用する。
【発明の開示】
【００１０】
本発明の一部の実施形態の１態様は、左右マスキング無しに観察者に対して順次かつ充分に高速で表示されたときに、所望の奥行知覚を有するシーンの表示を達成する、シーンの複数の「表示画像」を生成するための方法および装置を提供することに関する。
【００１１】
本発明の一部の実施形態の１態様は、表示されるシーンの奥行知覚を制御するための方法を提供することに関する。本発明の一部の実施形態では、該方法は奥行知覚を増強するために使用される。本発明の一部の実施形態では、該方法は奥行知覚を低減するために使用される。
【００１２】
本発明の一部の実施形態の１態様は、シーンにおける特徴の速度、または特徴が撮像される焦点距離を、シーンの他の特徴の速度または撮像装置の焦点距離に関係なく制御して、奥行知覚の増強を達成するように特徴の相対運動を生成することに関する。本発明の一部の実施形態では、特徴の速度の制御は、奥行知覚を低減するために使用される。
【００１３】
本発明の発明者らは、特定の奥行手掛かりを含むシーンが通常の二次元ディスプレイ（コンピュータディスプレイまたはテレビ画面など）に提示されたときに、観察者が奥行増強画像（「３Ｄ」画像）を知覚することができることを発見した。
【００１４】
発明者らはさらに、奥行知覚を誘発または増強するように思われる奥行手掛かりの性質が、真の三次元シーン（「立体視」）を見たときに左右の目から受け取る２つの視差のある画像を脳が統合する性質に関係することが好ましいことを発見した。特に、各目が別々に見る画像は相互に視差変位するが、どちらも光学カメラによって取り込まれるものとは少し異なるノーマル「パースペクティブ」ビューである。しかし立体視は、各目が見るノーマルパースペクティブビューとはかなり異なる、脳が「見る」新しい単一の像を形成する。実際、脳が知覚する単一の統合された像は、各目が見るノーマルパースペクティブビューと比較して、幾つかの重要な点でかなり歪んでいる。
【００１５】
例えば、単眼で見たときに、観察者から地平線まで走る鉄道線路のような平行線は、地平線で収束するように見える。しかし、立体視したときに、脳は線路を「より平行」であるように知覚する。すなわち、どちらか一方の目だけで見えるパースペクティブビューと比較して、線路間の距離が手前ではより狭く見え、遠方ではより広く見えることにより、収束が小さいように知覚する。換言すると、立体視は近くのオブジェクトの収縮および遠くのオブジェクトの拡大を生み出す。ここで「近い」および「遠い」とは、人の焦点面に対する相対的なものである。
【００１６】
近いオブジェクトおよび遠いオブジェクトの大きさの変化の３Ｄ知覚に対する効果は比較的限定的であるが、遠くのオブジェクトが近くのオブジェクトの相対速度と比較してより速く移動するように、画像シーケンス内の画像のオブジェクトの関係が立体視を連想させるように歪められる場合、結果的に得られるシーンは、運動シーケンスで奥行知覚増強画像を誘発するために使用することができる（すなわち奥行手掛かりを含む）。
【００１７】
「運動シーケンス」とは、シーンの画角が徐々に変化する（すなわち「観察者」または「カメラ」がシーンの少なくとも一部に対して移動している）、映画またはビデオシーケンスのような一連の静止フレームに、上述した奥行手掛かりのあるシーンが提示されるということである。本発明の実施形態では、シーンを撮像する位置は、多くの異なる形の曲線のいずれかに添って存在することができる。位置は、シーンに対して横方向に移動し、かつ／またはシーンに対してズームインおよび／またはズームアウト運動を実行することができる。例えば、本発明の一部の実施形態では、位置は三次元の非平面曲線に沿って存在し、該曲線はシーンに対する３つの空間座標のファンクションを適切に記述することを要求される。本発明の一部の実施形態では、位置は平面曲線に沿って存在する。本発明の一部の実施形態では、位置は直線に沿って存在する。
【００１８】
光心、光軸、および焦点面のような実際のカメラの実際の特徴を表わすために本書で使用する用語は、適宜、コンピュータグラフィックスカメラの対応する特徴を指すことに留意されたい。
【００１９】
どんな理論にも束縛されることなく、奥行手掛かりおよび相対運動の結合により、真の三次元画像を見たときに脳が見る立体視誘発画像を充分に連想させる画像が形成され、脳が奥行手掛かりのあるシーンを、普通の二次元ディスプレイに提示されるものであるが、真の三次元画像と認識するように思われる。
【００２０】
言うまでもなく、光学カメラを使用して、上述した必要な遠近歪みを具現するような仕方でシーンを取り込んで、前記奥行手掛かりのある撮像を達成することは不可能である。しかし、本発明に従って、そのような奥行手掛かりを手動で、または好ましくはコンピュータを使用して、人工的に生み出すことは可能である。コンピュータを使用してそのような画像を形成する場合、特定の像面および特定の視野角を特定の処理（拡大または縮小など）に自動的に委ねるアルゴリズムを使用することが可能である。
【００２１】
例えば所望の焦点距離（または注意の中心）にあるオブジェクトは、特定の焦点距離の仮想レンズを通して見られるとみなす一方、より近くのオブジェクトは焦点距離が徐々に短くなるレンズを通して見られ、より遠くのオブジェクトは焦点距離が徐々に長くなるレンズを通して見られるとみなしながら、近くのオブジェクトはより小さく、より遠くのオブジェクトはより大きくすることができ、そのような焦点距離および拡大の比率のみならず、そのような拡大のアスペクト比も、事前に調節可能に決定される。さらに、視野の周辺領域の画像が必ずしも視野の中心の画像と同程度の歪みを持たないように、仮想レンズの焦点距離をカメラからの距離（または焦点面より前または後の距離）の関数としてだけでなく、視野角の関数としても変化させることも可能であり、かつ望ましい。焦点距離のこの変化は、近いオブジェクトおよび遠いオブジェクトの相対運動を歪ませ、したがって運動シーケンスのフレーム間の画像を歪ませることに注目されたい。
【００２２】
本発明の別の実施形態では、所望の焦点距離（または注意の中心）にあるオブジェクトは、特定の焦点距離の仮想レンズを通して見られるとみなす一方、より近くのオブジェクトは焦点距離が徐々に短くなるレンズを通して見られ、より遠くのオブジェクトは焦点距離が徐々に長くなるレンズを通して見られるとみなしながら、各像面におけるオブジェクトの大きさを、カメラからのそれらの距離に対するそれぞれの正確な割合または寸法に維持することができる。この場合もまた、視野の周辺領域の画像は必ずしも視野の中心の画像と同じ焦点距離のレンズを通して見られないように、仮想レンズの焦点距離を、カメラからの距離（または焦点面より前または後の距離）の関数としてだけでなく、視野角の関数としても変化させることが可能である。
【００２３】
これらの上記実施形態の各々において、焦点距離の差異は、カメラ運動レートに対する近いオブジェクトまたは遠いオブジェクトの相対運動を変化させる。上述した実施形態では、異なる焦点距離の仮想レンズは各々、レンズの光軸に関して同軸的に配置された異なるカメラのものとすることができ、好ましくは、同一地点に、またはシーンの任意の地点から同一距離に共同配置することができる。換言すると、複数の仮想カメラは、各々の焦点距離が異なりかつ各々がシーンの指定された平面に関連付けられる複数のレンズを持つ、単一のカメラとみなすことができる。この方法は、各カメラレンズが必要なあらゆるカメラ運動を通して仮想シーンの適切な平面を自動的に取り込む、コンピュータ画像の自動または半自動生成に特に適している。本発明の一部の実施形態では、様々な焦点距離のレンズ（および任意選択的に撮像面）は、同一光軸に沿って間隔をおいて配置される。本発明の一部の実施形態では、仮想レンズの焦点距離は、シーンに対する、あるいはシーンにおける単数または複数の特定の特徴に対するそれらの位置の関数として変化する。
【００２４】
この発明の方法は特に、元来カメラによって取り込まれたコンピュータ「操作」画像、またはアニメ映画またはコンピュータゲームのように完全にコンピュータ生成される画像、またはそれらの組合せに特に有用である。
【００２５】
本発明の態様に係る画像の第２型の例示的操作では、シーン内の要素の相対運動は、それらの奥行の関数として変化する。本発明の１実施形態では、コンピュータ生成される（または少なくとも部分的にコンピュータ生成またはコンピュータ操作される）シーンのビデオシーケンスが作成され、カメラはシーン内の少なくとも１つの要素に対して任意の方向に、または組合せ方向に、または他の運動方向（水平、垂直、対角、回転、ズーム、またはその他）に移動する。シーン内の他の要素の相対運動は、これらの他の要素の少なくとも一部が、第１要素よりカメラから近いか遠いかに関係なく、シーンのオブジェクトが相互に固定相対位置にあった場合に第１要素からのそれらのそれぞれの距離から決定されるより高い相対運動レートで移動するように行なわれる。
【００２６】
例証として、比較的静止状態の子供、背景の木、および前景のボールを含むコンピュータ生成シーンを想定し、子供の親が動く車両からビデオカメラでシーンを撮影していると仮定する。車両が動くにつれて、親は子供がカメラの視界の中心に維持されるようにカメラの照準を合わせ、よって子供を実質的に画像の中心にしたシーンの一連のカメラ画像を取得する。各々の画像で、子供は実質的にシーンの中心に位置するが、運動視差のため、画像のビデオシーケンスを見るときに、背景の木および前景のボールは子供に対して反対方向に移動する。運動視差はビデオシーケンスに少量の奥行を与える。しかし、ビデオシーケンスの画像は二次元画像であるため、実際のシーンを見たときに奥行の感覚を与える両眼手掛かりは、ビデオシーケンスから欠落している。その結果、ビデオシーケンスは、実際のシーンと比較して平坦に見え、「活気」が損なわれる傾向がある。
【００２７】
本発明の実施形態では、表示されるビデオシーケンスに奥行感覚の増強および現実味をもたらすために、子供に対する木およびボール（ならびに任意選択的に、様々な距離にある他の特徴）の速度を増大する。表示画像の増加速度は、子供に対するそれらの距離に対応しかつそこから予想されるボールおよび木の速度より大きい。増加した相対速度は奥行感覚を増強し、子供と木とボールとの間の空間的分離を増大し、したがって画像に活気のある３Ｄ奥行をもたらす。
【００２８】
親によって取得された非増強ビデオシーケンスでは、ボール、木、および子供は全て依然として静止しており、それらの実世界の相対位置は変化していないことに注目されたい。ビデオシーケンス画像におけるボールおよび木の相対運動は、親がビデオシーケンスを取得する間の彼または彼女の運動の結果にすぎない。対照的に、本発明の実施形態に係るシーンの奥行増強画像は、木およびボールが子供に対して移動する「実世界」の画像に対応する。したがって、取得される仮想シーンの画像を上から見た場合、オブジェクトの相対位置はビデオシーケンス中に（例えば画像間に）移動する。
【００２９】
シーンのノーマルパースペクティブビューの場合、カメラによって撮影されたかコンピュータによって生成されたかに関係なく、シーンの動かない要素の相対位置はカメラ運動によって変化せず、したがってこれらの要素によって画定される円の半径は、そのようなカメラ運動に関係なく変化しないことが理解される。どんな特定の例または理論によっても束縛されることを希望するものではないが、発明者らは、本発明に従ってビデオシーケンスの奥行知覚の増強された感覚を生み出すのは、背景または前景（または中景）要素のこの誇張された相対運動であると考える。
【００３０】
前述の例はオブジェクトを３つしか含まないが、本発明の範囲は非限定数のオブジェクトまたは要素を企図している。例えば前述の例では、芝生の芝の各葉に、あるいはいずれかのシーンにおける他のオブジェクトまたは要素のいずれかまたは全部に、同じ相対運動のルールを適用することができる。実際、シーンの全ての画素に対し、カメラからまたは別の基準点からの公称距離の関数として特定の相対運動レートを指定することができる。さらに、前記相対運動は視界全体にわたって直線的である必要はない（例えばフレームの中心でより顕著とし、周辺領域ではあまり目立たず、あるいはその逆とすることができる）。
【００３１】
さらに、本発明で企図される奥行知覚の錯覚は、シーンの様々な奥行にかなりの数の要素があるときに増強されるが、必ずしも背景運動および前景運動の両方が存在する必要はないことが明らかになった。シーン内で移動する要素の少なくとも一部の相対運動は、前述の半径変化ルールに従うことが好ましい。
【００３２】
本発明の１実施形態では、シーン内の各々の要素および／またはオブジェクトの相対運動を自動的に、または半自動的に、コンピュータプログラムまたはアルゴリズムによって制御することをさらに企図する。
【００３３】
本発明の実施形態に係るシーン内の特徴の速度変化は、シーン内の特徴の相互に対する距離の変化またはそれらのスケールの変化を必ずしも随伴しないことが注目される。速度の変化は距離およびスケールの変化から切り離すことができるが、そのような変化と組み合わせて、またはそれらと協調して実行することもできる。
【００３４】
一般に、運動シーケンスにおけるより遠い特徴の速度を、シーケンスにおけるより近い特徴からのその距離に対応する速度に対して増大または減少することによって、特徴間の奥行差の印象がそれぞれ増大または減少される。
【００３５】
本発明の一部の実施形態では、速度の予想外の変化は、時間的に変化するシーンの歪みを生じ、かつ従来のパースペクティブイメージング（ｐｅｒｓｐｅｃｔｉｖｅ  ｉｍａｇｉｎｇ）では再生することのできない可塑性の外観上の尺度をシーンに与えるように構成される。例えばノーマルパースペクティブビジョンおよびパースペクティブプロジェクションは、三次元シーンの直線を直線にマッピングする。他方、本発明の実施形態に係る速度変化は往々にして直線を曲線にマッピングし、それは一連の表示画像の提示中に時間的に変化することがある。発明者らは、目‐脳視覚系に対するそのような挑戦が、脳を刺激して比較的強い奥行感覚の増強を発生させるのに効果を発揮することができることを見出した。
【００３６】
下述するような本発明の実施形態に係る様々な方法のいずれも、シーン内の特徴の速度を独立して調整し、かつシーンの表示画像の運動シーケンスを生成するために使用することができる。一部の実施形態では、シーンは、シーン内の異なる奥行に各々配置されるレイヤに分割することができる。
【００３７】
レイヤは必ずしも平坦ではなく、例えば本発明の一部の実施形態では、レイヤは湾曲し、異なる厚さの領域を持つことができる。本発明の一部の実施形態では、レイヤは球状であるか、あるいは球状領域を有する。任意選択的に、レイヤは円筒状であるか、あるいは円筒状領域を有する。任意選択的にレイヤは平面状である。
【００３８】
少なくとも１つのレイヤは、該レイヤに配置された静止した特徴がシーン内の他の静止した特徴に対して移動して、本発明の実施形態に従ってシーンに所望の奥行感覚を生成するように、速度を割り当てられ、あるいは特定の焦点距離のレンズを通して見られる。シーケンスにおける異なる時間に、すなわち表示画像が表示される時間に、少なくとも１つのレイヤの特徴が、その割当て速度またはそれが見られるレンズの焦点距離の関数として、シーン内の他の特徴から変位されるように、運動シーケンスディスプレイにシーンを映し出すために、レイヤは例えばコンピュータを使用して処理される。
【００３９】
本発明の実施形態に従ってシーンを分割したレイヤの厚さは、異なることができる。任意選択的に、各レイヤは均一な厚さを有する。本発明の一部の実施形態では、レイヤの厚さは異なることができる。例えば、速度が奥行の比較的平滑または精細な関数であることが望ましい領域では、レイヤは任意選択的に比較的薄い。速度を奥行の粗い関数とすることのできる他の領域では、レイヤは任意選択的に厚い。本発明の一部の実施形態では、レイヤは厚さ零に近づき、シーン内の特徴の速度またはそれが見られる焦点距離は奥行の平滑な関数になる。
【００４０】
本発明の実施形態では、シーンの表示画像における特徴の速度を増大させるには、該表示画像のために特徴が撮像される距離が減少され、かつ／または特徴が撮像される焦点距離が増大される。シーンにおける特徴の見かけの速度を低減させるには、特徴が撮像される距離が増大され、かつ／または特徴が撮像される焦点距離が低減される。シーンにおける遠くのオブジェクトのより近い特徴に対する見かけの速度を増大することによって、特徴間の視差および奥行の見かけの差は増大する。同様に、シーンにおける遠くの特徴のより近い特徴に対する見かけの速度を低減することによって、特徴間の視差および奥行の見かけの差は減少する。
【００４１】
使用されるレイヤまたは焦点距離の個数が多ければ多いほど（すなわちシーンにおける変化が多いほど）、三次元効果が大きくなり、かつ真に迫ってくると考えられる。したがって、可能な範囲内で、計算時間等の限界を考慮しながら、レイヤの個数を増やすべきであり、かつ焦点距離の変化をできるだけ持続させるべきである。
【００４２】
本発明の一部の実施形態の１態様は、シーン内の特徴のスケールを変更することによって、シーンの表示画像に奥行手掛かりを生成することに関係する。
【００４３】
発明者らは、奥行知覚を増強させるために、特徴のスケール変化によって奥行手掛かりを生成しようとするシーンの特徴の特性の変化を随伴することが有利になり得ることを突き止めた。特に、発明者らは、直観に反するように見える特徴のスケール変化が、奥行手掛かりをサポートするのに有利であることを見出した。例えばシーンの画像内の特徴はそれらの奥行に比例し、遠い特徴は小さく、近い特徴は大きいが、発明者らは、奥行知覚を助長するにあたって、特徴をそれらの意図された奥行に比例してスケーリングすることから離れることが有利になり得ることを突き止めた。
【００４４】
特に、シーンのより深い奥行の感覚を助長するにあたって、本発明の実施形態では、シーンの中心から遠い特徴を、それらの奥行から予想されるより大きくスケーリングすることが有利になり得る。同様に、シーン内のより近い特徴を、それらの意図された奥行に比例するより小さくスケーリングすることが有利になり得る。発明者らには、この効果は、既知の大きさのオブジェクトがそれらの距離に関係なく一定の大きさを持つように知覚されるという、知覚される大きさの恒常現象に関連付けられるように感じられる。
【００４５】
例えば第１人物が第２人物から歩いて遠ざかるときに、たとえ第２人物の目の網膜における第１人物の像が実際には、第１人物が第２人物から遠ざかるにつれて小さくなっても、第２人物は一般的に第１人物が小さくなっているという印象を持たない。同様に、遠ざかる鉄道線路に沿って見るときに、たとえ線路の近い部分の網膜像の線路間の間隔が線路の遠い部分の網膜像の線路間の間隔より大きくても、線路は平行しているように知覚される。つまり、線路間の間隔は、距離と共に小さくなるとは知覚されない。奥行手掛かりの生成および／またはサポートにおける本発明の実施形態に係るスケーリング効果の根拠に関しては、どんな特定の理論または解釈によっても限定されないが、スケーリングの効果は大きさの恒常性と並存することに帰することができるように思われる。
【００４６】
本発明の実施形態に係る方法は任意選択的に、増強された奥行知覚を達成する表示画像を生成し、かつ／または表示するのに使用される、フロッピー（登録商標）ディスク、ＣＤ、フラッシュメモリ、またはＡＳＩＣのような、様々なコンピュータアクセス可能な記憶媒体のいずれかにコード化される。本発明の実施形態に係る方法および装置は多くの異なる様々な用途および二次元の視覚的表現形式の奥行知覚を増強するために使用することができる。例えば、該方法は、コンピュータゲーム画像、アニメ映画、視覚広告、およびビデオトレーニングの奥行知覚を増強するために使用することができる。
【００４７】
したがって、本発明の実施形態では、所望の奥行錯覚を有するシーンの視覚表示を生成する方法であって、
シーンの表示画像のシーケンスを生成するステップと、
シーン内の特徴の速度を設定して、シーンの非遠近歪みを表示画像に生成するステップと、
表示画像を逐次的に表示するステップと、
を含む方法を提供する。
【００４８】
本発明の実施形態では、さらに、増強された奥行錯覚を有するシーンの視覚表示を生成する方法であって、
シーン内の少なくとも一部の特徴に関連して異なる位置に対して各画像を取得し、シーンの画像のシーケンスを生成するステップと、
表示画像を逐次的に表示するステップと、
を含み、
前記シーケンスを生成するステップが、
シーン内の特徴の位置を画像毎に系統的に設定して、画像の非遠近歪みを生成し、画像のシーケンスに増強された奥行知覚を提供するステップ、
を含んで成る方法を提供する。
【００４９】
本発明の実施形態では、さらに、増強された奥行錯覚を有するシーンの視覚表示を生成する方法であって、
シーン内の少なくとも一部の特徴に関連して異なる位置から仮想カメラによって各画像を取得し、シーンの表示画像のシーケンスを生成するステップと、
表示画像を逐次的に表示するステップと、
を含み、
前記シーケンスを生成するステップが、シーン内の少なくとも１つの特徴に、シーン内で相互に対して名目上静止している特徴間の相対運動を生成する速度を提供するステップを含み、前記少なくとも１つの特徴の中の特定の特徴に提供される速度が、カメラに対するシーン内の特定の特徴の奥行の関数である、
方法を提供する。
【００５０】
任意選択的に、該方法は、請求項３に記載の視覚表示を生成するステップを含み、仮想カメラ位置は非平面三次元軌道に沿って存在する。代替的に、仮想カメラ位置は平面軌道に沿って存在する。任意選択的に、仮想カメラ位置は線形軌道に沿って存在する。
【００５１】
任意選択的に、位置の一部は他の位置よりシーンに近い。任意選択的に、少なくとも２つの位置がシーンに対して横方向に相互に変位する。
【００５２】
本発明の実施形態では、カメラに対して異なる奥行にある特徴は異なる焦点距離で撮像される。
【００５３】
本発明の実施形態では、シーンはレイヤに分割される。任意選択的に、同一レイヤの特徴に対しては同一速度が設定される。任意選択的に、異なるレイヤに対しては異なる速度が設定される。
【００５４】
本発明の実施形態では、仮想カメラの少なくとも１つの位置で、カメラはカメラの光軸に沿って異なる位置から異なるレイヤを撮像する。
【００５５】
本発明の実施形態では、カメラに近い特徴には第１方向の速度が提供され、中間距離の特徴は静止し、より遠い距離の特徴には前記第１方向とは略反対の第２方向の速度が提供される。代替的に、カメラに近い特徴には第１方向の第１速度が提供され、中間距離の特徴には前記第１方向の前記第１速度より小さい第２速度が提供され、非常に大きい距離の特徴は静止する。代替的に、カメラに近い特徴は静止し、中間距離の特徴には第１方向の第１速度が提供され、遠い距離の特徴には前記第１方向の前記第１速度より大きい第２速度が提供される。任意選択的に、第１方向は前記異なる位置間の運動方向と略平行である。
【００５６】
本発明の実施形態では、運動する特徴には相応して配置された静止オブジェクトに提供される変化と一貫性のある位置の変化または追加速度が提供される。
【００５７】
本発明の実施形態では、さらに、増強された奥行錯覚を有するシーンの視覚表示を生成する方法であって、
少なくとも一部のシーンの特徴に関連して異なる位置から仮想カメラによって各画像を取得して、シーンの表示画像のシーケンスを生成するステップと、
表示画像を逐次的に表示するステップと、
を含み、
仮想カメラがシーン内の特定の特徴を撮像する焦点距離が、カメラからの特定の特徴の距離の関数である、
方法を提供する。
【００５８】
任意選択的に、カメラから遠い一部の特徴は、カメラに比較的近い特徴を撮像するために使用される焦点距離より大きい焦点距離で撮像される。
【００５９】
任意選択的に、該方法は、観察者の両眼によって見ることができるように表示画像を表示することを含む。
【００６０】
本発明の実施形態では、さらに、前述の請求項のいずれかに従って生成される視覚表示画像を提供する。
【００６１】
本発明の実施形態では、さらに、本発明に係る視覚表示画像を含む視覚表示画像のシーケンスを提供する。
【００６２】
本発明の実施形態では、さらに、撮像位置が画像間で移動し、かつ静止オブジェクトがオブジェクトと撮像位置との間の距離に応じて画像間で相互に対して移動する、視覚画像のシーケンスを提供する。
【００６３】
本発明の実施形態では、さらに、本発明に係る方法または画像または視覚画像のシーケンスをコード化した、コンピュータアクセス可能な記憶媒体を提供する。
【００６４】
（図面の簡単な記述）
本発明の実施形態の非限定的な実施例を以下で、この段落の後に列挙する本書に添付された図に関連して説明する。図において、複数の図に現われる同一の構造、要素、または部分には一般的に、それらが現われる全ての図で同一番号が付けられる。図に示される構成要素および特徴の寸法は、提示の便宜および明確さを図るために選択されたものであり、必ずしも縮尺通りではない。
図１Ａは、先行技術に従って表示画像の運動シーケンスを提供するために撮像される、概要で論じたボール、少女、および木を含むシーンを模式的に示す。
図１Ｂは、本発明の実施形態に従って運動シーケンスを提供するために撮像される、図１Ａに示したシーンを模式的に示す。
図１Ｃは、図１Ａに示すように先行技術に従って生成され、かつ図１Ｂに示すように本発明に従って生成された、表示画像のシーケンスを模式的に示す。
図２は、本発明の実施形態に従ってシーンをレイヤに分割し、レイヤに速度を割り当てることを模式的に示す。
図３Ａ〜３Ｅは、本発明の実施形態に従ってシーンの表示画像を生成するために使用されるシーンのバージョンの歪みを模式的に示す。
図４は、本発明の実施形態に係る、図３Ａ〜３Ｅに示した歪みの平面図を示す。
図５Ａは、シーンの異なる特徴を異なる焦点距離で撮像することによって表示画像を生成することを模式的に示す。
図５Ｂは、図１Ａに示すように先行技術に従って生成され、かつ図５Ａに示すように本発明に従って生成された表示画像のシーケンスを模式的に示す。
【発明を実施するための最良の形態】
【００６５】
図１Ａは、先行技術に従って、砂時計アイコン５２０で表わされる移動するカメラによって撮像される、木５０１、木の前の少女５０２、および少女の前のボール５０３を含むシーン５００を模式的に示す。砂時計アイコンのくびれ５２１はカメラ５２０の光心を表わし、破線５２２はカメラの光軸を表わす。任意選択的に、カメラ５２０は直線軌道５３０に沿って、ブロック矢印５３１によって示される方向に定速で移動し、シーン５００のカメラ画像を規則的間隔で取得する。
【００６６】
例として、カメラ５２０は、シーン５００の画像を取得する軌道５３０に沿った各々の位置で、その光軸が少女５０２と交差するように方向付けられる。カメラ５２０は、シーンの画像の運動シーケンスを提供するのに使用するために、それが軌道５３０に沿ってシーン５００の対応する表示画像ＩＭ１〜ＩＭ５を取得する５つの位置Ｐ１〜Ｐ５に模式的に示される。シーン５００は実際のシーンとすることができ、カメラ５２０は、例えば車に乗っているシーン内の少女の親によって保持された実際のカメラとすることができる。しかし、提示の便宜を図るために、画像５００は合成画像であり、カメラ５２０はシーン５００の画像を取得するコンピュータグラフィックスカメラであると仮定する。
【００６７】
画像ＩＭ１〜ＩＭ５は裏から、上下さかさまに、かつ左右が反転された状態で、それらがカメラ５２０によって取得される向きに図示されている。画像ＩＭ１＊〜ＩＭ５＊はそれぞれ観察者に見える、画像ＩＭ１〜ＩＭ５の向きに対して左右を逆転し、上下を正しく向けた画像ＩＭ１〜ＩＭ５である。画像ＩＭ１〜ＩＭ５の一部に対し、カメラ５２０の光心５２１を通過して画像に入射する木５０１の中心点５６１からの光線５６０は、該中心点の画像における位置を示す。同様に、光線５７０は、画像ＩＭ１〜ＩＭ５の一部に対し、ボール５０３の中心点５７１の画像の位置を示す。少女５０２の中心点５８０は、全ての画像ＩＭ１〜ＩＭ５で、画像が光軸５２２と交差する位置に投影される。
【００６８】
提示の便宜を図るために、位置Ｐ３で、光軸５２２は、木５０１および少女５０２の中心点５６１および５８０を通過し、かつボールの中心５７１の真上にあたるボール５０３の外周上の最上部「頂」点５７２を通過する。位置Ｐ１およびＰ２はそれぞれ、位置Ｐ３でカメラ５２０の光心５２１を通過する軌道５３０に垂直な面における位置Ｐ４およびＰ５の鏡像である。位置Ｐ３で少女、木、およびボールは相互に前後に整列するので、画像ＩＭ３が取得される位置Ｐ３で、ボール、少女、および木の画像は、互いに重ねて層化される。画像ＩＭ１〜ＩＭ５で、運動視差のため、木５０１は少女５０２の左側から少女の右側に徐々に移動し、ボール５０３は少女の右側から左側に徐々に移動する。ボールおよび木が少女に対して移動する量は、画像ＩＭ１〜ＩＭ５が逐次的に示されたときに、少量の奥行知覚をもたらすことができる。
【００６９】
図１Ｂは、本発明に従って増強された奥行感覚を生成するシーン５００の運動シーケンスのための画像表示を提供するように撮像されるシーン５００を模式的に示す。
【００７０】
図１Ａの場合と同様に、図１Ｂで、カメラ５２０は軌道５３０に沿って移動し、光軸５２２が少女５０２と各々交差する位置Ｐ１〜Ｐ５でシーン５００の画像を取得する。しかし、図１Ａとは異なり、木５０１およびボール５０２は、カメラ５２０による撮像中に静止していない。代わりに、木５０１は任意選択的に、撮像中にブロック矢印５９０で示すように左から右に移動し、任意選択的にボール５０３は、ブロック矢印５９１で示すように、撮像中に右から左に移動する。カメラ５２０の位置Ｐ１〜Ｐ５で、木５０１はそれぞれ対応する位置Ｔ１〜Ｔ５で撮像され、ボール５０３はそれぞれ位置Ｂ１〜Ｂ５で撮像される。位置Ｐ１〜Ｐ５でカメラ５２０によって取得される図はＩＭ１１〜ＩＭ１５と表示され、表示配向の状態ではＩＭ１１＊〜ＩＭ１５＊と表示される。
【００７１】
一部の実施形態では、木５０１およびボール５０３は、好ましくはカメラ５２０の移動と平行な方向に定速で移動する。任意選択的に、それらは変動速度で移動する。例として、図１Ｂで、木５０１は定速で移動し、位置Ｔ１〜Ｔ５は等間隔である。ボール５０３は位置Ｂ２〜Ｂ４の間を定速で移動する。しかし、位置Ｂ１およびＢ２の間、ならびに位置Ｂ４〜Ｂ５の間では、ボール５０３は任意選択的に、それが位置Ｂ２〜Ｂ４間で移動する速度より高い速度で移動する。
【００７２】
位置Ｂ１およびＢ２の間、ならびにＢ４およびＢ５の間のボール５０３の速度の増大は、Ｐ３から比較的遠い位置で取得される画像における少女とボールとの間の相対運動を増強する。Ｐ３から遠い位置では、ボールからの光線が光軸５２２と交差する角度が比較的大きいので、ボール５０３が所与の同一速度で移動する場合、透視画像ＩＭ１１およびＩＭ１５におけるボールと少女との間の相対運動は、画像ＩＭ１２〜ＩＭ１４の場合と比較して実質的に低減される。
【００７３】
木５０１およびボール５０３の「人工的な」運動のため、画像ＩＭ１１＊〜ＩＭ１５＊のシーケンスでは、木およびボールは、画像Ｉ１＊〜Ｉ５＊における場合より、少女に対して、かつ相互に対して、かなり大きい距離を移動する。比較を容易にするために、図１Ａで取得された画像ＩＭ１＊〜ＩＭ５＊および画像ＩＭ１１＊〜ＩＭ１５＊を図１Ｃに示す。画像ＩＭ１１８〜ＩＭ１５＊における木およびボールの大きい相対運動の結果、本発明の実施形態に係る画像ＩＭ１１＊〜ＩＭ１５＊を含む運動シーケンスは、画像Ｉ１＊〜Ｉ５＊を含む対応する運動シーケンスと比較して、増強された奥行知覚を示す。
【００７４】
図１Ａおよび１Ｂにおける軌道５３０に沿ったカメラ５２０の移動はシーン５００と相対的なものであり、位置Ｐ１〜Ｐ５で取得した画像は言うまでもなく、カメラを静止状態に維持し、シーンを動かすことによって再現することができることが注目される。「不動カメラ」の場合、図１Ｂに示すような、本発明に係るシーン５００における特徴の速度変化の効果は、速度のベクトル加法によってもたらすことができる。図１Ａに係る画像は実際のカメラによって取得することができるが、図１Ｂの画像は一般的にそのように取得することができないことが注目される。しかし、本発明の方法は、実際のオブジェクトの複合画像およびアニメーションの両方に適する。それらは実像を操作する際に限定的に使用することもできる。
【００７５】
一般に、シーン５００のようなシーンは、単なる木、少女、およびボールより多くの特徴を有し、通常、草、石、低木、木にぶらさがったブランコ、およびおそらく、この物語を作りあげる間静止させておくことが困難であることが最も確実である犬を含むであろう。シーン５００の現実味を維持するために、一般的に、木およびボールの速度を調整することに加えて、シーン内の特徴（図示せず）の速度を調整することが有利である。
【００７６】
本発明の実施形態では、シーン５００における追加的特徴の速度を調整するために、シーンは、任意選択的に各々軌道と平行でありかつ軌道５３０から異なる距離に配置されるレイヤに分割される。図２は、本発明の実施形態に従って複数のレイヤ６００に分割されたシーン５００を模式的に示す。任意選択的に、レイヤ６００は平面状であり、同一の均等な厚さを有する。
【００７７】
本発明の実施形態では、シーン５００内の特徴の速度の比較的平滑な変化がそれらのそれぞれの奥行の関数として存在するように、各レイヤ６００には速度が提供される。６０１、６０２、および６０３と表示されたレイヤは、木５０１、少女５０２、およびボール５０３をそれぞれ含む。線６１１に沿ってレイヤ６００に対向して配列された矢印６１０は、本発明の実施形態に従ってレイヤに割り当てられる速度を模式的に示す。所与のレイヤ６００に割り当てられる速度は、レイヤに対向する矢印６１０によって示される。矢印の方向は速度の方向を模式的に示し、矢印の長さはその大きさを模式的に示す。木５０１およびボール５０３を含むレイヤ６０１および６０３は反対方向の速度を割り当てられ、それらのそれぞれの方向で最大の、必ずしも等しくない速度を有する。カメラ５２０は、その向きを光軸５２２が少女に向けられるように調整しながら、軌道５３０に沿って移動すると想定されるので、少女５０２を含むレイヤ６０２は速度零を割り当てられる。
【００７８】
速度６１０は、本発明の実施形態では、様々な方法で決定することができる。例えばＺが所与のレイヤ６００の軌道５３０からの距離であり、かつＺ０が少女５０２の軌道からの距離である場合、速度６１０の大きさは（Ｚ−Ｚ０）の累乗に比例し、例えば（Ｚ−Ｚ０）１／２または（Ｚ−Ｚ０）２または指数関数ｅα｜（Ｚ−Ｚ０）｜とすることができる。さらに、例えば軌道５３０に沿ったカメラ２００の進行によって測定されるように、かつ画像ＩＭ１１＊〜ＩＭ１５＊（図１Ｂおよび１Ｃ）が運動シーケンスで表示される場合に表示の時間感覚に変換されるように、速度６１０は必ずしも時間的に一定ではない。例えば、図１Ｂに位置Ｂ１〜Ｂ５で示すように、かつ図の説明で述べたように、ボール５０３には一定速度が割り当てられない。また、図２では、シーン５００内の特徴の速度はそれらが配置されるレイヤ６００の速度６１０によって決定され、該速度は本質的に異なる速度を有するレイヤ間の境界で不連続であるが、本発明の一部の実施形態では、特徴の速度はシーンにおける奥行の連続関数であることが注目される。したがってレイヤの個数を増加することが望ましいと考えられる。
【００７９】
本発明の様々な実施形態では、他の速度プロファイルを使用することができることが注目される。図２に示す実施形態の場合、子供は静止している。本発明の他の実施形態では、静止面は事実上、カメラの運動面と無限遠との間の任意の平面とすることができる。
【００８０】
画像ＩＭ１１＊〜ＩＭ１５＊の運動シーケンスによって生じる奥行知覚の感覚は、速度６１０の選択によって生じる、ボール、少女、木、およびそれらの間に介在するレイヤ６００の特徴の増大する相対速度によって増強されるだけではない。発明者らは、奥行感覚の増強が、速度の選択によって画像ＩＭ１１＊〜ＩＭ１５＊のシーケンスに導入される歪みによっても引き起こされるようであることを突き止めた。
【００８１】
例えば、シーン５００の取得された画像のシーケンスは、木５０１が移動せず、前提として少女は立ち止まっており、無生物のボールは自発的には動かない、「実際」のシーンであると仮定する。木、ボール、および少女は、直線が木および少女の中心点５６１および５８０ならびにボール５０３の頂点５７２を通過するように、図１Ａに示すのと同様に互いに前後に整列するものと仮定する。カメラ５２０が位置Ｐ３に配置されたときに、線は任意選択的に光軸５２２と一致する。例えば図１Ａに示す従来の透視撮像法では、この線は、シーン５００の全ての直線と同様に、カメラの全ての位置でカメラ５２０によって得られる直線にマッピングされる。
【００８２】
しかし、本発明の実施形態に従ってシーン５００を撮像する場合、シーン内の特徴および／またはレイヤに割り当てられる速度は、透視撮像法の制約を取り除くひずみを導入し、結果的に直線が曲線にマッピングされる。図３Ａ〜３Ｅは、例えば図１Ｂに示したのと同様の本発明の実施形態に係る速度の選択を使用してシーン５００を撮像することによって、画像ＩＭ１１＊〜ＩＭ１５＊に導入される「遠近破壊（ｐｅｒｓｐｅｃｔｉｖｅ  ｂｒｅａｋｉｎｇ）」歪みを模式的に示す。
【００８３】
図３Ａ〜３Ｅは、カメラ５２０の位置Ｐ１〜Ｐ５（図１Ｂ）の各々について、少女５０２に対する木５０１およびボール５０３の位置を示す。木、少女、およびボールの空間関係を視覚化するのを助けるために、少女に対して静止しており、かつ少女の中心点５８０にその原点を有するｘｙｚ座標系が各々の図に示されている。線６２１〜６２５は、図３Ａ〜３Ｅで中心点５６１および５８０ならびに頂点５７２を接続し、全ての図で、各線６２１〜６２５は、例えば図２に従って速度が調整されるシーン５００内の他の各々の特徴の同じ点を通過するものと推定される。画像３Ｃで、線６２３は直線であり、「実際のシーン５００」で木、少女、およびボールが座標系のｙ軸に沿って整列するという前提を正しく反映している。しかし、図３Ａ、３Ｂ、３Ｄ、および３Ｅでは、本発明の実施形態に係る速度変化は、実際のシーンを歪んだシーンに変形させ、線６２３は、もはや直線ではない線６２１、６２２、６２４、および６２５にそれぞれ変形される。同様に、実像では直線である（図３Ｃ）ほとんどすべての他の線が、直線ではない線に変形される。
【００８４】
図４は、線６２３が位置Ｐ１、Ｐ２、Ｐ３、およびＰ４で受ける歪みが容易に見えるように、図３Ａ〜３Ｅに示したシーンを相互に上下に重ね合わせた平面図、すなわちｚ軸に沿った観点から見た図を示す。木５０１およびボール５０３の各々の位置は、木およびボールの位置に対応するカメラ５２０の位置で表示されている。少女５０２の位置は変化しないので、いずれのカメラ位置も表示されていない。
【００８５】
従来の透視撮像法のように直線が直線にマッピングされないだけでなく、図３Ａ〜３Ｅおよび図４に示すように、直線が投影された略曲線は時間と共に変化する。画像ＩＭ１１＊〜ＩＭ１５＊（図１Ｂ、図１Ｃ）は歪みを記録し、したがって実際のシーンに対応する画像のシーケンスを提供しない。代わりに、画像は、本発明の実施形態では、任意選択的にたとえごくわずかでも多少可塑性があり、かつ画像ＩＭ１１＊〜ＩＭ１５＊に記録されるように、画像を逐次的に見たときに奥行感覚の増強をもたらす経時変化歪みを特徴とするシーンを記録する。
【００８６】
本発明の一部の実施形態では、シーン５００のようなシーン内の特徴は、画像シーケンスにおける特徴の相対速度、および画像を使用する運動シーケンスの奥行知覚を制御するために、異なる焦点距離で撮像される。例えば、シーン内の所与の特徴の他の特徴に対する相対速度は、該特徴を他の特徴より大きい焦点距離で撮像することによって増大または低減することができる。
【００８７】
本発明の実施形態では、異なる焦点距離を持つカメラが、実像が目によって映し出される方法を模倣するものであると発明者らが信じる方法で、光軸に沿って間隔配置される。特に、ある焦点距離で所与の平面が、視界がαの角度を成す第１レンズで撮像される。異なる平面を撮像するように意図された他の焦点距離の場合、カメラは、それらの視野角で特定の平面の同一領域が見える軸に沿った位置に配置される。
【００８８】
したがって、本発明の実施形態では、同一シーンに照準を合わせたカメラの組が光軸に沿って間隔配置される。前段落の規定に従うことによって、各カメラの焦点距離は、各々の特定のカメラのシーンからの様々な距離のために発生する、相対スケールの変化を補償するように調整される。その結果、全てのカメラは、同一スケールで、しかし異なる焦点距離で、同一シーンを見る。
【００８９】
全てのカメラがシーンの奥行の一部分しか見ないので、（軸方向に間隔配置された異なるカメラによって見られる）全ての「スライス」から構成されるピクチャは、シーン全体を投影する。カメラが光軸に対し横方向に移動するときに、シーン間の遠近感の変化が増強されるという事実のため、結果的に得られる画像シリーズは、かなり増強された奥行のかなり増強された知覚を伝達する。画像間の遠近感の変化の増大によって生じるこの種の奥行増強は、公知の方法を使用する現実の世界またはコンピュータグラフィックスの世界のいずれにおいても、一定焦点距離を持つ従来のレンズを使用して達成することは、不可能ではないにしても困難である。
【００９０】
上記の方法論は、この実施形態がなぜ機能するかについての発明者らの理解に基づくが、発明者らは、立証されていない説明によって束縛されることを望んではいない。しかし、該実施形態は被写界深度の知覚の増強を達成することが明らかになった。
【００９１】
図５Ａは、本発明の実施形態に従ってシーン５００の異なる特徴を異なる焦点距離で撮像する効果を模式的に示す。図１Ａおよび１Ｂの場合と同様に、図５Ａで、カメラ５２０はシーン５００を軌道５３０に沿って位置Ｐ１〜Ｐ５で撮像する。しかし、位置Ｐ１、Ｐ２、Ｐ３、Ｐ４、およびＰ５で、カメラ５２０は少女およびボールを焦点距離Ｆ１で画像ＩＭ２１、ＩＭ２２．．．ＩＭ２５それぞれに撮像し、かつ木５０１を焦点距離Ｆ２で画像ＩＭ３１、ＩＭ３２．．．ＩＭ３５それぞれに撮像する。提示の便宜を図り、かつ混乱を防止するために、画像ＩＭ２３、ＩＭ２４、ＩＭ２５、ＩＭ３３、ＩＭ３４、およびＩＭ３５だけが図５Ａに示されている。例として、Ｆ２はＦ１より大きい。
【００９２】
木をより高い焦点距離で撮像する結果、画像ＩＭ３１．．．ＩＭ３５における木の動きは、焦点距離Ｆ１で画像ＩＭ２１．．．ＩＭ２５に撮像された場合の木の動きと比較して、増加する。本発明の実施形態に係る表示画像は、ＩＭ２１．．．ＩＭ２５の特徴がＩＭ３１．．．ＩＭ３５の特徴の上に重なって遠い特徴が近い特徴によって適切に塞がれるように、画像ＩＭ２１．．．ＩＭ２５を画像ＩＭ３１．．．ＩＭ３５と整列しかつ結合することによって形成される。複合画像ＣＩ２３〜３３、ＣＩ２４〜３４、およびＣＩ２５〜３５は、それらを形成する元になった画像、それぞれＩＭ２３およびＩＭ３３、ＩＭ２４およびＩＭ３４、ならびにＩＭ３５およびＩＭ３６の背後に並んで図示される。図５Ａに示す複合表示画像ＣＩ２１〜３１＊、ＣＩ２２〜３２＊、．．．ＣＩ２５〜３５＊は、上下を正しく向けて左右を反転した複合画像ＣＩ２１〜３１、ＣＩ２２〜３２、．．．ＣＩ２５〜３５に対応する。
【００９３】
図５Ｂは、本発明の実施形態に係る複合画像を先行技術の画像と容易に比較することができるように、複合表示画像ＣＩ２１〜３１＊、ＣＩ２２〜３２＊、．．．ＣＩ２５〜３５＊、および図１Ａに示すように先行技術によって取得された画像ＩＭ１＊〜ＩＭ５＊を示す。画像は、木をより長い焦点距離Ｆ２で撮像することによって、木および少女およびボールの間の相対運動が実質的に増大することを示す。増大する相対運動は、複合表示画像が運動シーケンスに表示されたときに、先行技術の画像ＩＭ１＊〜ＩＭ５＊によってもたらされる奥行知覚と比較して、増大する奥行知覚をもたらす。
【００９４】
上記説明では、静止しているオブジェクトに奥行感覚を与えることを記載したが、本発明は全てのオブジェクトが静止しているシーンに限定されないことは理解されるであろう。特に、運動するオブジェクトには一般的に、オブジェクトの「実際」の運動に加えて、その瞬間レイヤ位置に基づいて、上述したような運動が提供される。同様に、変動焦点距離のカメラを使用してシーンを撮像する場合、焦点距離の影響は、オブジェクトの実際の運動によって変化する瞬間位置に適合するように変化する。
【００９５】
さらに、速度および焦点距離は自動的に、またはマウスもしくは類似物を介するユーザ入力に応答して、調整することができることも理解されるであろう。
【００９６】
本願の説明および特許請求の範囲において、動詞「含む／備える（ｃｏｍｐｒｉｓｅ）」、「含む（ｉｎｃｌｕｄｅ）」、および「有する（ｈａｖｅ）」ならびにそれらの活用形の各々は、動詞の目的語が必ずしも動詞の主語の構成員、構成要素、要素、または部分の完全なリストではないことを示すために使用される。
【００９７】
本発明は、その実施形態の詳細な説明を用いて説明されてきたが、それは単なる実施例として提示したものであって、必ずしも本発明の範囲を限定するように意図されていない。説明された実施形態は様々な特徴を備えるが、それらの全てが本発明の全ての実施形態に必要なわけではない。本発明のある実施形態は、特徴の一部または特徴の可能な組合せだけを利用する。説明された本発明の実施形態の変形、および記述した実施形態に示した特徴の異なる組合せを含む本発明の実施形態は、当業者には明らかであろう。本発明の範囲は、添付の特許請求の範囲によってのみ限定される。
【図面の簡単な説明】
【００９８】
【図１Ａ】先行技術に従って表示画像の運動シーケンスを提供するために撮像される、概要で論じたボール、少女、および木を含むシーンを模式的に示す。
【図１Ｂ】本発明の実施形態に従って運動シーケンスを提供するために撮像される、図１Ａに示したシーンを模式的に示す。
【図１Ｃ】図１Ａに示すように先行技術に従って生成され、かつ図１Ｂに示すように本発明に従って生成された、表示画像のシーケンスを模式的に示す。
【図２】本発明の実施形態に従ってシーンをレイヤに分割し、レイヤに速度を割り当てることを模式的に示す。
【図３】本発明の実施形態に従ってシーンの表示画像を生成するために使用されるシーンのバージョンの歪みを模式的に示す。
【図４】本発明の実施形態に係る、図３Ａ〜３Ｅに示した歪みの平面図を示す。
【図５Ａ】シーンの異なる特徴を異なる焦点距離で撮像することによって表示画像を生成することを模式的に示す。
【図５Ｂ】図１Ａに示すように先行技術に従って生成され、かつ図５Ａに示すように本発明に従って生成された表示画像のシーケンスを模式的に示す。
【図１Ａ】
2009500878.tif 000003
【図１Ｂ】
2009500878.tif 000004
【図１Ｃ】
2009500878.tif 000005
【図２】
2009500878.tif 000006
【図３】
2009500878.tif 000007
【図４】
2009500878.tif 000008
【図５Ａ】
2009500878.tif 000009
【図５Ｂ】
2009500878.tif 000010
【手続補正書】
【提出日】平成19年6月12日(2007.6.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
シーンの表示画像のシーケンスを生成するステップ；
シーン内の特徴の速度を設定して、シーンの非遠近歪みを表示画像に生成するステップ；および
表示画像を観察者の両目に逐次的に表示するステップ、
を含む、所望の奥行錯覚を有するシーンの視覚表示を生成する方法。
【請求項２】
シーン内の少なくとも一部の特徴に関連して異なる位置に対して各画像を取得し、シーンの画像のシーケンスを生成するステップ；および
表示画像を観察者の両目に逐次的に表示するステップ、
を含み、
前記シーケンスを生成するステップが、
シーン内の特徴の位置を画像毎に系統的に設定して、画像の非遠近歪みを生成し、画像のシーケンスに増強された奥行知覚を提供するステップ、
を含む、増強された奥行錯覚を有するシーンの視覚表示を生成する方法。
【請求項３】
シーン内の少なくとも一部の特徴に関連して異なる位置から仮想カメラによって各画像を取得し、シーンの表示画像のシーケンスを生成するステップ；および
表示画像を観察者の両目に逐次的に表示するステップ、
を含み、
前記シーケンスを生成するステップが、シーン内の少なくとも１つの特徴に、シーン内で相互に対して名目上静止している特徴間の相対運動を生成する速度を提供するステップを含み、少なくとも１つの特徴の中の特定の特徴に提供される速度が、カメラに対するシーン内の特定の特徴の奥行の関数である、増強された奥行錯覚を有するシーンの視覚表示を生成する方法。
【請求項４】
仮想カメラ位置は非平面三次元軌道に沿って存在する、請求項３に記載の視覚表示を生成する方法。
【請求項５】
仮想カメラ位置は平面軌道に沿って存在する、請求項３に記載の視覚表示を生成する方法。
【請求項６】
仮想カメラ位置は線形軌道に沿って存在する、請求項３に記載の視覚表示を生成する方法。
【請求項７】
位置の一部は他の位置よりシーンに近い、請求項３〜６のいずれかに記載の視覚表示を生成する方法。
【請求項８】
少なくとも２つの位置がシーンに対して横方向に相互に変位する、請求項３〜７のいずれかに記載の視覚表示を生成する方法。
【請求項９】
カメラに対して異なる奥行にある特徴は異なる焦点距離で撮像される、請求項３〜８のいずれかに記載の視覚表示を生成する方法。
【請求項１０】
シーンはレイヤに分割される、請求項３〜９のいずれかに記載の視覚表示を生成する方法。
【請求項１１】
同一レイヤの特徴に対しては同一速度が設定される、請求項１０に記載の視覚表示を生成する方法。
【請求項１２】
異なるレイヤに対しては異なる速度が設定される、請求項１０または１１に記載の視覚表示を生成する方法。
【請求項１３】
仮想カメラの少なくとも１つの位置で、カメラはカメラの光軸に沿って異なる位置から異なるレイヤを撮像する、請求項３〜１２のいずれかに記載の視覚表示を生成する方法。
【請求項１４】
カメラに近い特徴には第１方向の速度が提供され、中間距離の特徴は静止し、より遠い距離の特徴には前記第１方向とは略反対の第２方向の速度が提供される、請求項３〜１３のいずれかに記載の視覚表示を生成する方法。
【請求項１５】
カメラに近い特徴には第１方向の第１速度が提供され、中間距離の特徴には前記第１方向の前記第１速度より小さい第２速度が提供され、非常に大きい距離の特徴は静止する、請求項１４に記載の視覚表示を生成する方法。
【請求項１６】
カメラに近い特徴は静止し、中間距離の特徴には第１方向の第１速度が提供され、遠い距離の特徴には前記第１方向の前記第１速度より大きい第２速度が提供される、請求項１４に記載の視覚表示を生成する方法。
【請求項１７】
前記第１方向は前記異なる位置間の運動方向と略平行である、請求項１４〜１６のいずれかに記載の視覚表示を生成する方法。
【請求項１８】
運動する特徴には相応して配置された静止オブジェクトに提供される変化と一貫性のある位置の変化または追加速度が提供される、請求項１〜１７のいずれかに記載の視覚表示を生成する方法。
【請求項１９】
少なくとも一部のシーンの特徴に関連して異なる位置から仮想カメラによって各画像を取得して、シーンの表示画像のシーケンスを生成するステップ；および
表示画像を観察者の両目に逐次的に表示するステップ、
を含み、
仮想カメラがシーン内の特定の特徴を撮像する焦点距離が、カメラからの特定の特徴の距離の関数である、増強された奥行錯覚を有するシーンの視覚表示を生成する方法。
【請求項２０】
カメラから遠い少なくとも一部の特徴は、カメラに比較的近い特徴を撮像するために使用される焦点距離より大きい焦点距離で撮像される、請求項１９に記載の視覚表示を生成する方法。
【請求項２１】
撮像位置が画像間で移動し、かつ静止オブジェクトがオブジェクトと撮像位置との間の距離に応じて画像間で相互に対して移動する、観察者の両目によって見るために好適な視覚画像のシーケンス。
【請求項２２】
請求項１〜１９のいずれかに記載の方法または請求項２１に記載の視覚画像のシーケンスをコード化した、コンピュータアクセス可能な記憶媒体。
【国際調査報告】
2009500878.tif 000011