(57)【特許請求の範囲】
【請求項１】
ディスプレイ上において表示された画像がユーザによって観察されたときに立体画像と知覚されるように、該ディスプレイにおいて表示される画像を生成する方法であって、
それぞれのカメラ軸が相互に平行な状態の２位置において、実際の少なくとも１つのカメラ、またはシミュレートされた少なくとも１つのカメラを用いて得られる実際の場面の画像またはシミュレートされた場面の画像に基づいて、前記各場面における前記カメラからゼロディスパリティ平面までの距離Ｚ’を、前記ディスプレイのパラメータとして、該ディスプレイの前方にある物体の最大知覚深度Ｎと、該ディスプレイの後方にある物体の最大知覚深度Ｆと、前記ユーザの目の間隔Ｅと、該ディスプレイから観察者の距離Ｚとを利用して計算する第１計算ステップと、
計算された前記距離Ｚ’に基づいて得られる仮想ディスプレイ幅と、前記間隔Ｅに基づいて得られる前記ディスプレイのディスプレイ幅とに基づいて得られる倍率Ｓに基づいて、前記各場面の最大深度が前記ディスプレイの最大深度に写像される前記２位置の間隔Ａを計算する第２計算ステップと、
前記計算された間隔Ａとした前記カメラによって、前記ディスプレイの表示のための画像を生成する生成ステップと、
を包含する立体画像生成方法。
【請求項２】
前記間隔Ａとされた前記カメラによって得られる各画像の一部がそれぞれクロップされる、請求項１に記載の立体画像生成方法。
【請求項３】
前記カメラから前記場面中の最も近い表面までの距離Ｎ’値および該カメラから該場面中の最も遠い表面までの距離Ｆ’値と、前記ディスプレイのパラメータとに基づいて、前記ディスプレイにおける最大クロスディスパリティｄＮおよび最大非クロスディスパリティｄＦが計算され、計算された最大クロスディスパリティｄＮおよび最大非クロスディスパリティｄＦに基づいて、前記距離Ｚ’が計算される請求項１に記載の立体画像生成方法。
【請求項４】
前記間隔Ａは、前記カメラの焦点距離を固定して計算される請求項３に記載の立体画像生成方法。
【請求項５】
前記間隔Ａは、前記カメラの焦点距離が変化されて、該焦点距離の変化による変化が機能的に収束するように計算される請求項３に記載の立体画像生成方法。
【請求項６】
ディスプレイ上において表示された画像がユーザによって観察されたときに立体画像と知覚されるように、該ディスプレイにおいて表示される画像を生成する方法であって、
それぞれのカメラ軸が相互に平行な状態の２位置において実際の少なくとも１つのカメラ、またはシミュレートされた少なくとも１つのカメラを用いて得られる実際の場面の画像またはシミュレートされた場面の画像に基づいて、前記両場面における前記カメラからゼロディスパリティ平面までの距離Ｚ’を、前記ディスプレイのパラメータとして、該ディスプレイの前方にある物体の最大知覚深度Ｎと、該ディスプレイの後方にある物体の最大知覚深度Ｆと、前記ユーザの目の間隔Ｅと、該ディスプレイから観察者の距離Ｚと、前記間隔Ａとを利用して計算する第１計算ステップと、
計算された前記距離Ｚ’に基づいて得られる仮想ディスプレイ幅と、前記間隔Ｅに基づいて得られる前記ディスプレイのディスプレイ幅とに基づいて得られる倍率Ｓに基づいて、前記各場面の最大深度が前記ディスプレイの最大深度に写像される前記２位置におけるカメラの焦点距離ｆを計算する第２計算ステップと、
前記計算された焦点距離ｆとした前記カメラによって、前記ディスプレイの表示のための画像を生成する生成ステップと、
を包含する立体画像生成方法。
【請求項７】
前記第１および第２の計算ステップが計算デバイスによって実施される請求項１〜６のいずれかに記載の立体画像生成方法。
【請求項８】
前記カメラは、前記計算デバイスを含む実際のカメラである請求項７に記載の立体画像生成方法。
【請求項９】
前記カメラは、前記計算デバイスを含むシュミレートされたカメラシステムである請求項７に記載の立体画像生成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、立体画像の生成に関する。
【０００２】
本発明は、フィルムまたはデジタル写真、アナログビデオまたはデジタルビデオ、映画フィルム生成、およびコンピュータグラフィックスまたは画像系レンダリングシステムを含む方法を用いた合成画像の生成による、自然な画像を生成する分野における用途を有する。特に、ある場面の複数の画像を生成し、異なる画像を観察者の両目に表示することによって３Ｄ効果を生成する、電子的デバイスおよびハードコピーデバイスを含む２視野立体視デバイスに関する。
【０００３】
【従来の技術】
本発明の用途は、場面の立体視３Ｄ画像により利点が見出されるような、写真、ビデオ、映画製作、電子ショッピングキオスク、家庭用または一般用コンピュータゲームシステム、マルチメディアパッケージ（例えば百科辞典）、医療用撮像、ＣＡＤ／ＣＡＭシステム、科学的視覚化、遠隔操作、遠隔感知、セキュリティシステム、および任意の他の用途を含む。
【０００４】
多くのタイプの立体視ディスプレイおよび自動立体視電子ディスプレイ、ならびに印刷または写真再生方法が開発されている（例えば、以下の欧州および英国特許出願；ＥＰ０  ６０２  ９３４、ＥＰ０  ６５６  ５５５、ＥＰ０  ７０８３５１、ＥＰ０  ７２６  ４８３、ＧＢ９６１９０９７．０およびＧＢ９７０２２５９．４を参照されたい）。これらのシステムの画像生成の課題はあまり理解されておらず、多くの既存の立体視画像は、高品質の立体視画像装置においてさえ、観察するのが不快なことがある（用語「立体視」を使用する場合、複数のの画像が生成されてユーザに表示されるマルチ表示システムを意味しており、それらの画像のうち２つだけが常に左右の目で観察される場合も含むように理解されるべきである。）
Ｂ．Ｅ．ＣｏｕｔａｎｔおよびＧ．Ｗｅｓｔｈｅｉｍｅｒの“Ｐｏｐｕｌａｔｉｏｎ  ｄｉｓｔｒｉｂｕｔｉｏｎ  ｏｆ  ｓｔｅｒｅｏｓｃｏｐｉｃ  ａｂｉｌｉｔｙ”Ｏｐｔｈａｌ．Ｐｈｙｓｉｏｌ．Ｏｐｔ．，１９９３，Ｖｏｌ１３，Ｊａｎｕａｒｙに記述されるように、人口の９６％までが立体視効果を知覚することができ、８７％までがデスクトップ３Ｄディスプレイシステム上での効果を容易に経験し得るはずである。以下に従来の立体視画像生成アプローチに固有ないくつかの課題を要約する。
【０００５】
【発明が解決しようとする課題】
立体視システムは、図１に示すように画像のディスパリティを用いて、第３の次元すなわち画像平面の前後方向の深度を表す。スクリーン上に表示される画像のディスパリティはある物理的大きさを有しており、これをスクリーンディスパリティと呼ぶ。図１に示されるように、クロスディスパリティｄＮはディスプレイ平面の前方向の知覚深度Ｎとなり、一方非クロスディスパリティｄＦはディスプレイ平面の後方向の知覚深度Ｆとなる。
【０００６】
観察者には、左右の画像における相同点間のスクリーンディスパリティｄＮまたはｄＦは、ディスプレイ平面の前後方向における知覚深度ＮまたはＦとして見える。この効果を見るためには、観察者は、観察者の目をディスプレイ平面から離して動かしつつ、ディスプレイ平面上に焦点を維持しなければならない。これは、知覚深度値が大きすぎる場合、視覚画像にストレスを加えると考えられ、従って快適な画像を生成するためにはＮおよびＦの値に対して制限を必要とする。
【０００７】
これらのタイプの立体ディスプレイシステムは、ユーザの目をディスプレイ表面から離して動かしつつ、ユーザがディスプレイ表面に調整する（焦点を合わせる）必要があるという点において、現実の世界におけるユーザの知覚と厳密には一致しない（図１を参照）。調節および動きのメカニズムは脳内においてリンクしている（Ｄ．Ｂ．ＤｉｎｅｒおよびＤ．Ｈ．Ｆｅｎｄｅｒの「Ｈｕｍａｎ  ｅｎｇｉｎｅｅｒｉｎｇ  ｉｎ  ｓｔｅｒｅｏｓｃｏｐｉｃ  ｖｉｅｗｉｎｇ  ｄｅｖｉｃｅｓ」，１９９３，Ｐｌｅｎｕｍ  Ｐｒｅｓｓ，Ｎｅｗ  Ｙｏｒｋ，ＩＳＢＮ０−３０６−４４６６７−７、およびＭ．Ｍｏｎ−Ｗｉｌｌｉａｍｓ，Ｊ．Ｐ．Ｗａｎｎ，Ｓ．Ｒｕｓｈｔｏｎの「Ｄｅｓｉｇｎ  ｆａｃｔｏｒｓ  ｉｎｖｉｒｔｕａｌ  ｒｅａｌｉｔｙ  ｄｉｓｐｌａｙｓ」Ｊｏｕｒｎａｌ  ｏｆＳＩＤ，３／４，１９９５を参照されたい）。これは観察者に対してなんらかの努力を要求し、また、より深い深度が知覚されるにはより大きな努力が要求される。本発明は、制御すべき重要な変数は知覚深度であり、この値が大きくなればなるほどより多くのストレスが観察者の視覚系にかかることに立脚するものである。
【０００８】
現在、２つの画像間の差がカメラの水平方向の平行移動に起因する画像ディスパリティだけとなるように位置された２つのカメラを用いて、画像を捕獲することが広く推奨されている（Ｓｔｅｒｅｏ  Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓａｎｄ  Ｏｔｈｅｒ  Ｔｒｕｅ  ３Ｄ  Ｔｅｃｈｎｏｌｏｇｉｅｓ、Ｄ．ＭｃＡｌｉｓｔｅｒ，Ｐｒｉｎｃｅｔｏｎ  Ｕｎｉｖｅｒｓｉｔｙ  Ｐｒｅｓｓ，１９９３におけるＬ．Ｈｏｄｇｅｓ，Ｄ．ＭｃＡｌｌｉｓｔｅｒの「Ｃｏｍｐｕｔｉｎｇ  Ｓｔｅｒｅｏｓｃｏｐｉｃ  Ｖｉｅｗｓ」ｐｐ７１〜８８、Ａ．Ｒ．Ｒａｏ，Ａ．Ｊａｉｍｅｓの「Ｄｉｇｉｔａｌ  ｓｔｅｒｅｏｓｃｏｐｉｃ  ｉｍａｇｉｎｇ」ＳＰＩＥ  Ｖｏｌ  ３６３９，ｐｐ１４４〜１５４，１９９９年、およびＲ．Ａｋｋａの「Ｃｏｎｖｅｒｔｉｎｇ  ｅｘｉｓｔｉｎｇ  ａｐｐｌｉｃａｔｉｏｎｓ  ｔｏ  ｓｕｐｐｏｒｔ  ｈｉｇｈ  ｑｕａｌｉｔｙ  ｓｔｅｒｅｏｓｃｏｐｙ」，ＳＰＩＥ  Ｖｏｌ  ３６３９，ｐｐ２９０〜２９９，１９９９を参照されたい）。この構成は、通常平行カメラシステムと呼ばれる。これにより、台形歪（これはカメラが平行でない場合、２つの画像の垂直方向の次元が各画像の一端から他端にわたって変化するために生じる）および付随する垂直方向のディスパリティ（すなわち２つの画像が重なる場合、垂直方向のディスパリティが画像にわたって変化する）に起因する観察者の不快感を回避する。さらに、物理カメラの場合、光学装置および感光性媒体は、異常輝度または幾何学歪を回避するように組合わされなければならない。後者の２つの課題は、特定のカメラ設計に属する問題であり、本明細書中ではさらなる考察はしない。
【０００９】
図２に示すように、平行カメラからの画像は、画像ディスパリティ中に捕獲された深度範囲がディスプレイ平面の前後方向の両方において一致するように加工されなければならない。これは、オフセットセンサまたはレンズの後方のフィルム、歪んだカメラ台（コンピュータグラフィックスの場合）または画像クロッピングの使用を必要とする。このような調節をしなければ、画像中のすべての深度はディスプレイ平面の前方で知覚されることになる。
【００１０】
図２は、画像のエッジをクロップするか、または非対称のカメラ台の使用により、平行カメラからの画像が調節される必要があることを示す。後者は、多くのコンピュータグラフィックスシステムにおいて可能であり、または物理カメラ内において像感受性材料（例えば、ＣＣＤまたはフィルム）を一方の側にオフセットすることで達成され得る。
【００１１】
以下のファクタが、知覚深度に直接影響する。すなわち、
ディスプレイ表面の後方の深度の場合の非クロスディスパリティ
Ｆ＝Ｚ／（（Ｅ／ｄｆ）−１）と、
ディスプレイ表面の前方の深度の場合のクロスディスパリティ
Ｎ＝Ｚ／（（Ｅ／ｄｎ）＋１）
とである。これらの式から知覚深度はスクリーンディスパリティ、観察者の目の間隔Ｅ、およびディスプレイ観察距離Ｚに依存していることが分かる。他の方法はこれらの変数を近似するかまたは無視してきたが、本発明における新規な方法においてはこれらの変数を十分に考慮する。
【００１２】
スクリーンディスパリティ（ｄｎまたはｄｆ）は、画像ディスパリティによって決定されるので重要である。画像ディスパリティは、カメラパラメータおよび場面の深度を含む画像捕獲環境によって決定される。本発明は、カメラパラメータを制御することで画像ディスパリティ、ひいてはスクリーンディスパリティならびに知覚深度を、制御しようとするものである。カメラパラメータを制御するための様々な方法が従来から提唱されているが、知覚深度を直接制御するという課題を考慮したものはなく、ターゲットディスプレイに対して快適な近知覚深度限界および遠知覚深度限界のようなパラメータを近似することがしばしばである。
【００１３】
Ｓ．Ｋｉｔｒｏｓｓｅｒの「Ｐｈｏｔｏｇｒａｐｈｙ  ｉｎ  ｔｈｅ  ｓｅｒｖｉｃｅ  ｏｆ  Ｓｔｅｒｅｏｓｃｏｐｙ」，Ｊｏｕｒｎａｌ  ｏｆ  ｉｍａｇｉｎｇ  ｓｃｉｅｎｃｅ  ａｎｄ  ｔｅｃｈｎｏｌｏｇｙ，４２（４），２９５〜３００，１９９８年において、スライドルール型計算機が記載されており、これにより所与のカメラの詳細および場面の近距離および遠距離についてカメラ間隔の選択を可能にする。この技術は異なる観察者の目の間隔を考慮しておらず、最大画像ディスパリティは所定値に設定されている。この技術は、特定のディスプレイを用いた場合にユーザに見える知覚深度を考慮し得ない（先に論じたように、これが立体視画像の快適さを評価する際の重要な変数となる）。
【００１４】
Ｌ．Ｌｉｐｔｏｎの「Ｆｏｕｎｄａｔｉｏｎｓ  ｏｆ  ｔｈｅ  Ｓｔｅｒｅｏｓｃｏｐｉｃ  Ｃｉｎｅｍａ，Ａ  Ｓｔｕｄｙ  ｉｎ  Ｄｅｐｔｈ」，Ｖａｎ  Ｎｏｓｔｒａｎ  Ｒｅｉｎｈｏｌｄ  Ｃｏｍｐａｎｙ，１９８２年において、Ｌｉｐｔｏｎはカメラを位置決めする際に関与する数学的処理を調べ、所与の収束距離およびレンズの焦点距離に対して最大および最小の物体距離を与える、異なるフィルムフォーマットのための１組の表を提供している。収束カメラが使用される場合を想定しており、最大スクリーンディスパリティはスクリーン平面の前方にある物体とスクリーン平面の後方にある物体とについて同じである。２組の最大物体距離が計算される。すなわち第１の最大物体距離として、観察者の目のわずかな相違が許容される場合（典型的には１度）、第２の最大物体距離として、相違が全く許容されない場合である。これらの制限は、この方法が常に快適な画像の生成を保証する妨げとなる。収束カメラを想定していることにより、垂直方向のディスパリティがいくぶんか画像内に存在するため、多くの観察者は得られる画像が観察するには不快であると感じることになる。
【００１５】
インターネットのサイトｈｔｔｐ：／／ｗｗｗ．ｅｌｓａ．ｃｏｍ／ｅｕｒｏｐｅ／ｐｒｅｓｓ／ｒｅｌｅａｓｅｓ／１９９９／ｇｒａｐｈｉｃｓ／ｒｅｖｅｌａｔｏ．ｈｔｍ，において、Ｅｌｓａは「Ｄｙｎａ−Ｚ」と呼ばれるシステムを紹介している。このシステムは、動的に「立体感（ｓｐａｔｉａｌ  ｅｆｆｅｃｔ）」を調節する。現在このシステムの動作方法の詳細は現在不明であるが、リアルタイムコンピュータグラフィックスに制限される。
【００１６】
近知覚深度限界および遠知覚深度限界がどのようにあるべきかという課題は、既存のヒューマンファクタ研究によりある程度解決され、ＳＬＥ  ＶＰＩディスプレイの場合、以下の研究から遠限界が＋６０ｍｍ、近限界が−５０ｍｍという典型的な実働値を推論することが可能である。
【００１７】
Ａ．Ｗｏｏｄｓ，Ｔ．Ｄｏｃｈｅｒｔｙ，Ｒ．Ｋｏｃｈの「Ｉｍａｇｅ  Ｄｉｓｔｏｒｔｉｏｎｓ  ｉｎ  Ｓｔｅｒｅｏｓｃｏｐｉｃ  Ｖｉｄｅｏ  Ｓｙｓｔｅｍｓ」，ＳＰＩＥ  Ｓｔｅｒｅｏｓｃｏｐｉｃ  Ｄｉｓｐｌａｙｓ  ａｎｄ  Ａｐｐｌｉｃａｔｉｏｎｓ  ＩＶ，１９９３年，３６〜４８において、Ｗｏｏｄｓは、立体カメラ構成における歪みの原因ならびに立体画像を生成する場合に必要なヒューマンファクタ考慮事項を論じている。これらの実験は、立体視ディスプレイ上に快適に表示し得るスクリーンディスパリティには制限があるということを示している。観察距離８００ｍｍの１６”ディスプレイについて、実験の１０人の被験者すべてが観察可能な最大値は、１０ｍｍスクリーンディスパリティが限界であることが分かった。
【００１８】
Ｙ．Ｙｅｈ，Ｌ．Ｄ．Ｓｉｌｖｅｒｓｔｅｒｎ，「Ｌｉｍｉｔｓ  ｏｆ  Ｆｕｓｉｏｎ  ａｎｄ  Ｄｅｐｔｈ  Ｊｕｄｇｅｍｅｎｔ  ｉｎ  Ｓｔｅｒｅｏｓｃｏｐｉｃ  Ｃｏｌｏｒ  Ｄｉｓｐｌａｙｓ」，Ｈｕｍａｎ  Ｆａｃｔｏｒｓ，３２（１），１９９０，４５〜６０において、Ｙｅｈは両眼融像の制限を決定するために実行された実験の結果を示ている。短期間の快適な観察では、アーク２７分の最大ディスパリティが許容可能であることが見出されている。観察の期間が長くなるにつれて、より大きなディスパリティを観察するように適応することが可能であるが、これは、立体視ディスプレイの長期間の快適な観察に大きなディスパリティが適すことを示すわけではない。
【００１９】
Ｓ．Ｐａｓｔｏｏｒの「Ｈｕｍａｎ  Ｆａｃｔｏｒｓ  ｉｎ  ３Ｄ  Ｉｍａｇｉｎｇ」において、Ｐａｓｔｏｏｒによる実験は、アークの３５分までのディスパリティはまったく不快さをもたらさないことを示している。
【００２０】
【課題を解決するための手段】
本発明は、少なくとも１つの（実際のまたはシミュレートされた）カメラを用いて（実際のまたはシミュレートされた）場面の立体画像を生成する方法を提供する。この立体画像がユーザによってディスプレイ上で観察するとき、３Ｄ画像であるという印象を創出する。画像が捕獲されるそれぞれの位置においてカメラ軸は、他の全ての位置におけるカメラ軸と平行となり、場面の深度はディスプレイ上の画像の最大知覚深度上に写像され、ユーザに快適な観察を提供するように最大知覚深度が選択される。
【００２１】
本方法はディスプレイのパラメータを使用する。ディスプレイのパラメータは、ディスプレイの前方にある物体の最大知覚深度Ｎおよびディスプレイの後方にある物体の最大知覚深度Ｆを含む。
【００２２】
本方法は、ユーザの目の間隔Ｅおよびディスプレイからの観察者の距離Ｚを使用する。
【００２３】
本発明の実施形態において、カメラからゼロディスパリティ平面までの距離Ｚ’は、Ｎ値およびＦ値、またカメラから場面中の最も近い表面までの距離Ｎ’値およびカメラから場面中の最も遠い表面までの距離Ｆ’値に基づいて計算される。
【００２４】
本発明のさらなる実施形態において、カメラからゼロディスパリティ平面までの距離Ｚ’を指定し、Ｎ’値およびＦ’値（上記に定義）もまた指定される。最適なＮ’およびＦ’を固定し、新しい値がＮ値およびＦ値に基づいて別のＮ’およびＦ’用に計算される。
【００２５】
Ｎ’、Ｆ’およびＺ’のうち任意の１つが他の２つの値に基づいて計算される。
【００２６】
本発明のさらなる実施形態において、最大クロスディスパリティｄＮおよび最大非クロスディスパリティｄＦは、Ｎ、ユーザの目の間隔、およびユーザからディスプレイまでの距離Ｚから計算される。
【００２７】
本発明のさらなる実施形態において、立体画像を生成するために使用されるカメラ間隔Ａは、ＮおよびＦに基づいて計算され、所望の知覚深度（Ｎ＋Ｆ）を達成する。
【００２８】
本発明のさらなる実施形態において、カメラの視野は平行なカメラ位置の使用の結果としてクロップされる前記画像の一部をを考慮に入れて調節される。
【００２９】
本発明のさらなる実施形態において、カメラ間隔を固定にしてカメラの所望の焦点距離が計算され、所望の知覚深度（Ｎ＋Ｆ）を達成する。
【００３０】
本発明のさらなる実施形態において、Ｎ’値およびＦ’値（上記に定義）を測定する際に、カメラの焦点距離ｆが考慮される。
【００３１】
本発明のさらなる実施形態において、カメラ間隔Ａは本明細書中で規定される倍率Ｓ倍したユーザの目の間隔Ｅに制限される。
【００３２】
また本発明は、上述の方法を実行するのに適応した計算デバイスを提供する。
【００３３】
また本発明は、このような計算デバイスを備えたカメラまたはカメラシステムを提供する。
【００３４】
快適な観察を可能とする立体視３Ｄ画像を生成するために、（実際のまたは合成の）カメラの位置決めには細心の注意を必要とする。立体視ディスプレイは、制限された知覚深度範囲のみを表示し得る。しかし一方で、捕獲されるべき場面中にはほとんどあらゆる深度範囲が存在し得る。本発明の新規な方法は、立体視画像を捕獲するための平行カメラの正確な位置決めを可能にし、場面の深度をディスプレイの知覚深度制限に正確に一致させる。画像に対して意図された立体視ディスプレイに関する情報が、ディスプレイの観察者、捕獲されるべき場面、および使用されるべきカメラタイプに関する情報と共に使用される。
【００３５】
撮像される場面内の選択された深度範囲が、立体視３Ｄディスプレイ上の予め規定された知覚深度範囲に正確に写像される。これにより、立体視３Ｄ画像を観察する際に、ヒューマンファクタを考慮することによって規定されるような快適な知覚深度を決して越えることがないことを確実にする。
【００３６】
知覚深度範囲の近限界および遠限界は独立に設定され得ることにより、ユーザに見える深度効果の量の正確な制御を可能にする。これにより、観察者によるクロススクリーンディスパリティおよび非クロススクリーンディスパリティの知覚の変化に対して、画像を適応させることを可能にし、３Ｄ画像コンポジションの正確な技巧的制御を可能にする。
【００３７】
近似法または試行錯誤法と比較して、本発明におけるカメラ制御のための新規な方法は、場面が規定された知覚深度範囲に常に写像されることを確実にする。これにより、多くの画像調節を必要としない使い易い方法となり、観察される深度が快適な限度内にあることを確実にする。
【００３８】
本発明における新規な方法は、ソフトウェアまたはハードウェア的に実行され得、それにより物理的デジタルまたは写真カメラ、または合成コンピュータグラフィックカメラの制御を可能にする。
【００３９】
既知のフィルム平面に対して深度測定を行い（物理的カメラの場合）、レンズアパーチャ位置の各位置を評価するという問題を避ける。これはアパーチャがユーザに目に見えない移動をするズームレンズにおいて特に重要である。
【００４０】
カメラのアパーチャが即時に計算され得、このことは特にリアルタイムのコンピュータグラフィックスおよびビデオカメラの制御に有効である。特に、従来の方法においてスライドルールまたは印刷された結果の表を用いていたのと比較して有効である。
【００４１】
平行カメラは支持されている。このことは、単純な数学的な式を用いることが可能であり、演算要求および制御変数の数を減少し得ることを意味している。
【００４２】
本発明による立体画像を生成するための方法は、少なくとも１つの（実際のまたはシミュレートされた）カメラを用いて（実際のまたはシミュレートされた）場面の立体画像を生成するための方法であって、該立体画像は、ユーザによってディスプレイ上で観察されたとき３Ｄ画像であるという印象を創出し、画像が捕獲される各位置においてカメラ軸は他の全ての位置における該カメラ軸と平行であり、該場面の深度が該ディスプレイ上の該画像の最大知覚深度に写像され、該最大知覚深度が該ユーザに快適な観察を提供するように選択される。
【００４３】
本発明による立体画像を生成するための方法は、前記方法が前記ディスプレイのパラメータを利用し、該パラメータは、該ディスプレイの前方にある物体の前記最大知覚深度Ｎおよび該ディスプレイの後方にある物体の最大知覚深度Ｆを含み、また該方法が前記ユーザの目の間隔Ｅおよび該ディスプレイから観察者の距離Ｚを利用してもよい。
【００４４】
本発明による立体画像を生成するための方法は、前記カメラからゼロディスパリティ平面までの距離Ｚ’がＮ値およびＦ値、また該カメラから前記場面中の最も近い表面までの距離Ｎ’値および該カメラから該場面中の最も遠い表面までの距離Ｆ’値に基づいて計算されてもよい。
【００４５】
本発明による立体画像を生成するための方法は、前記カメラからゼロディスパリティ平面までの距離Ｚ’が指定され、Ｎ’値およびＦ’値（請求項３で定義）も指定され、最適なＮ’およびＦ’が固定され、新しい値が他のＮ’およびＦ’に対して前記ＮおよびＦ値に基づいて計算されてもよい。
【００４６】
本発明による立体画像を生成するための方法は、Ｎ’、Ｆ’およびＺ’（請求項３で定義）のうち任意の１つが他の２つの値に基づいて計算される、請求項２または３に記載の方法。
【００４７】
本発明による立体画像を生成するための方法は、最大クロスディスパリティｄＮおよび最大非クロスディスパリティｄＦがＮ、Ｆ、前記ユーザの目の間隔Ｅ、および該ユーザから前記ディスプレイまでの前記距離Ｚから計算されてもよい。
【００４８】
本発明による立体画像を生成するための方法は、前記立体画像を生成するために使用されるカメラ間隔ＡがＮおよびＦに基づいて計算され、所望の知覚深度（Ｎ＋Ｆ）を達成してもよい。
【００４９】
本発明による立体画像を生成するための方法は、前記カメラの視野が平行なカメラ位置の使用の結果としてクロップされる前記画像の一部を考慮するように調節されてもよい。
【００５０】
本発明による立体画像を生成するための方法は、前記カメラ間隔が固定であり、前記カメラの所望の焦点距離を計算して前記所望の知覚深度（Ｎ＋Ｆ）を達成してもよい。
【００５１】
本発明による立体画像を生成するための方法は、前記Ｎ’値およびＦ’値（請求項４で定義）を測定する際に前記カメラの焦点距離が考慮されてもよい。
【００５２】
本発明による立体画像を生成するための方法は、前記カメラ間隔Ａが、本明細書中で定義される倍率Ｓ倍された前記ユーザの目の間隔Ｅに制限されてもよい。
【００５３】
本発明による立体画像を生成するための方法は、立体視画像対が所定のカメラ間隔を用いて生成され、該画像を分析することにより該画像内の相同点間におけるディスパリティを算出し、次いで該ディスパリティを用いて該カメラ間隔を調節してもよい。
【００５４】
本発明による立体画像を生成するための方法は、前記立体視画像対が第１のディスプレイ上での表示のために生成され、前記画像が第２のディスプレイ上での表示に適合するように前記カメラ間隔が調節されてもよい。
【００５５】
本発明による立体画像を生成するための方法は、方法を実行するように構成された計算デバイスであってもよい。
【００５６】
本発明による立体画像を生成するための方法は、計算デバイスを含むカメラまたはカメラシステムであってもよい。
【００５７】
以下に添付の図面を参照しながら本発明の実施形態を説明するが、そのような説明は例示目的のみにおいてなされる。
【００５８】
【発明の実施の形態】
立体視ディスプレイに表示され得る深度範囲は制限されるが、任意の特定の場面において視認可能な深度は、ほとんどあらゆる範囲をカバーし得る。従って、例えば立体写真を撮る場合、または立体視コンピュータグラフィック画像を生成（すなわちコンピュータシミュレート）する場合に、物理的な場面深度から知覚ディスプレイ深度への写像を制御する方法を必要とする。
【００５９】
第１の実施形態として、単数または複数の物理的カメラで撮られた立体写真において、カメラ間隔Ａが他の入力データから計算される場合について説明する。
【００６０】
本発明者らは、撮影者がカメラ位置および焦点距離（ズーム）を含む所望のビューを構成した後に、ターゲットディスプレイに対して正しいディスパリティ範囲を捕獲するために左右の画像をどの程度離して撮るべきか知りたい場合を考える。このことは、撮影者がショットを撮る前にズームおよび位置を設定することによってショットを構成する、典型的な写真撮影に自然に当てはまる。
【００６１】
まず、ディスプレイの詳細および観察者が必要である。これらのパラメータ（図３を参照）は、以下を含む。
ディスプレイのパラメータ
Ｎ  ディスプレイ平面の前方にある任意の物体の最大知覚深度
Ｆ  ディスプレイ平面の後方にある任意の物体の最大知覚深度
Ｗ  ディスプレイの観察領域または画像が表示される部分領域の物理的幅
Ｚ  ディスプレイの観察距離
観察者のパラメータ
Ｅ  観察者の目の間隔
典型的にはこれらは各ディスプレイタイプに対して固定である。カメラ仕様はＥを適切に設定することにより（平均的な観察者の場合約６０ｍｍに設定され得る）、特定の観察者に対して合わせられてもよい。
【００６２】
これにより、ＮおよびＦから許容可能な最大クロススクリーンディスパリティおよび最大非クロススクリーンディスパリティ計算することが可能になる。すなわち、
ｄＮ＝ＮＥ／（Ｚ−Ｎ）  クロスディスパリティ
ｄＦ＝ＦＥ／（Ｚ＋Ｆ）  非クロスディスパリティ
である。これらの式は、図３に示される幾何学的構成から導かれる。ｄＮ／ｄＦ比は後の段階で使用される。
【００６３】
次にカメラおよび場面（図４を参照）の既知のパラメータを入れなければならない。これらのパラメータは以下である。
場面のパラメータ
Ｎ’  カメラから場面中の最も近い可視表面までの距離
Ｆ’  カメラから場面中の最も遠い可視表面までの距離
カメラのパラメータ
Ｗｆ  カメラの撮像領域の幅
ｆ  選択されたビューを捕獲するのに必要とされるカメラ／レンズの焦点距離
この情報から、ゼロディスパリティ平面（ＺＤＰ）（幅Ｗ’を有する「仮想ディスプレイ」としても知られる。図６を参照）までの距離Ｚ’が計算され得る。これは、写真が撮られた際のカメラから、ディスプレイの平面内にあるように見える物体までの距離である。カメラに対してＺ’より近い任意の物体はディスプレイと観察者との間にあるように見える。カメラに対してＺ’より遠い任意の物体はディスプレイの後方にあるように見える。
【００６４】
場面中の深度はディスプレイ上において許容可能な深度に写像されるので、ｄＮ’／ｄＦ’  比はｄＮ／ｄＦ（本発明者らはＲと呼ぶ）に等しい。ｄＮ’およびｄＦ’は以下の式によって与えられる。
【００６５】
【数１】
0003568195.tif 000002
ここでＡは未知数であり、従って、
【００６６】
【数２】
0003568195.tif 000003
与式を再度整理すると、
【００６７】
【数３】
0003568195.tif 000004
となり、ｄＮ＝ｄＦの場合、この式はＺ’＝２／（１／Ｎ’＋１／Ｆ’）と簡略化される。
【００６８】
物理的カメラを用いて焦点距離を正確に変化させることは困難であり得る。従って、カメラ間隔はｆが変化しないものと仮定して計算される。得られる画像は、クロップされ、撮影者によって入力される実際の設定よりもわずかに小さな視野をカバーする立体視画像をもたらす。クロップされる量は、ディスプレイが現実世界に写像されたときのカメラ間隔Ａに等しい。
【００６９】
ディスプレイを現実世界に写像するために、倍率Ｓを計算する。ゼロディスパリティ平面までの距離Ｚ’は既知であり、視野θは容易に計算され、カメラから距離Ｚ’において捕獲される場面の領域の幅が得られる。計算された深度Ｚ’における捕獲された場面の幅は、仮想ディスプレイの実効幅Ｗ’（図６を参照）にカメラ間隔を加えたものに等しい。
θ＝２ｔａｎ−１（Ｗｆ／２ｆ）
（Ｗ’＋Ａ）＝２Ｚ’ｔａｎ（θ／２）＝Ｚ’Ｗｆ／ｆ    ［７］
次に、現実世界の空間に写像されたときのディスプレイと物理的ディスプレイ自体との間の倍率Ｓを計算する：
Ｓ＝（Ｗ’＋Ａ）／（Ｗ＋Ａ／Ｓ）＝Ｚ’Ｗｆ／ｆ（Ｗ＋Ａ／Ｓ）    ［８］
また式［３］から
【００７０】
【数４】
0003568195.tif 000005
となり、従って、
【００７１】
【数５】
0003568195.tif 000006
および
【００７２】
【数６】
0003568195.tif 000007
となり、Ａ／Ｓを式［８］に代入すると、
Ｓ＝Ｚ’Ｗｆ／ｆ（Ｗ＋ｄＮＮ’／（Ｚ’−Ｎ’））
となる。従って、所望のカメラ間隔Ａは以下の式によって与えられる。
【００７３】
【数７】
0003568195.tif 000008
ｄＮ’またはｄＦ’から計算されるＡの値が一致することが示され得る。
【００７４】
左右の画像のうちある割合がクロップされるとき、正しい立体視画像が得られる。同じ割合が左の画像の左エッジおよび右の画像の右エッジから取り除かれる。クロップする割合は、以下の式によって与えられる。
ｃｒｏｐ  ｐｒｏｐｏｒｔｉｏｎ＝Ａ／（Ｗ’＋Ａ）    ［１３］
この方法におけるステップを図５のフロー図に要約する。
【００７５】
入力する値すべてが独立であり、立体視カメラのパラメータを計算する前に随時任意の順番で測定され得る。後で述べるように、正確な結果を確実に得るためには実際のカメラの慎重な較正が必要とされ得る。
【００７６】
この方法は、スライドレール上の単一のデジタルスチルカメラ（例えばＫｏｄａｋ  ＤＣＳ３）を用いて立体写真を撮るための装置の一部として首尾よく使用されている。カメラは、その光軸がスライドレールに対して直角となるように較正される。ビューが構成され、焦点距離がカメラから電子的または物理的に読み取られる。ターゲットディスプレイに対して快適な画像を撮るために必要とされる軸間の間隔は、例えばカメラ計算機を用いて計算される。左右の画像は、レールに沿ってカメラを必要な距離スライドすることによって、この値を用いて捕獲する。この装置を用いて様々なターゲットディスプレイのための快適な画像の捕獲に成功している。
【００７７】
上記の計算は、距離Ｎ’およびＦ’がカメラのピンホール点から測定されることを仮定している。実際のカメラを用いた場合はフィルム平面に対して測定する方がより容易なので、計算を実行する前にｆをＮ’およびＦ’から減算すべきである。
【００７８】
第１の実施形態の変形として、Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓソフトウェアで生成された立体視画像に対して、カメラ間隔が他の入力データから計算される実施形態が可能である。
【００７９】
この場合、測定された距離の全ては適切な点に対して測定されるため、先の段落で記述したようにｆの分だけ調節する必要はない。実際、焦点距離よりも視野の方が規定されている可能性が高いので、θを直接上式［７］に代入してもよい。
【００８０】
第１の実施形態のさらなる変形として、下記のようにＺ’がすでに選択されている実施形態が可能である。
【００８１】
１．ゼロディスパリティ平面Ｚ’および最小距離Ｎ’が特定される場合、得られるＦ’は以下のように計算される。
【００８２】
【数８】
0003568195.tif 000009
このＦ’がカメラから可視表面に対して許容可能な最大距離であるという警告が、計算を実行するデバイスからユーザに対して自動的に与えられる。
【００８３】
２．ゼロディスパリティ平面Ｚ’および最大距離Ｆ’が特定される場合、得られるＮ’は以下のように計算される。
【００８４】
【数９】
0003568195.tif 000010
このＮ’がカメラから可視表面に対して許容可能な最小距離であるという警告が、計算を実行するデバイスからユーザに対して自動的に与えられる。
【００８５】
３．ゼロディスパリティ平面Ｚ’、最小距離Ｎ’および最大距離Ｆ’が特定される場合、Ｎ’、Ｚ’およびＦ’の任意の組み合わせをディスプレイの許容される知覚深度範囲（すなわちＮ＋Ｆ）に対して写像することは不可能であるので、さらなる措置がとられなければならない。
【００８６】
Ｚ’に入力される値が変化しないと仮定すると、システムは最適なＮ’またはＦ’のいずれかを選択して固定し、その後他方の変数の調節された値を計算しなければならない。
【００８７】
システムは式［１４］および［１５］からＮ’およびＦ’の別の値（本明細書中でＮ＊およびＦ＊と呼ぶ）を計算し、それらの値を初期値と比較する。Ｎ’、Ｚ’およびＦ＊の範囲の方がＮ’、Ｚ’およびＦ’よりも大きいか、あるいはＮ＊、Ｚ’およびＦ’の範囲の方が大きいかのいずれかである。
【００８８】
Ｆ＊＞Ｆ’ならばＺ’およびＮ’がカメラパラメータの計算に使用され、Ｆ＊はＦ’に取って代わり、Ｎ＊＜Ｎ’ならばＺ’およびＦ’がカメラパラメータの計算に使用され、Ｎ＊がＮ’に取って代わる。
【００８９】
これは従って、場面の深度範囲がディスプレイのための快適な知覚深度範囲に写像されることを確実にする。
【００９０】
次に第２の実施形態として、実際のカメラ（θまたはｆを変化させる場合）を用いて撮られる立体写真について、カメラ間隔が他の入力データから計算される場合を説明する。
【００９１】
専用設計の立体カメラ、正確に制御されるカメラ、またはＣｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓカメラを用いてビューを設定した後にカメラの視野を変更できる場合、撮影者の最初に選択したものにより近いビューが得られる。
【００９２】
この場合、式［１］および［６］は上述したように導かれる。この場合、後にクロップされる過剰な画像幅を含むように視野が広げられる。
Ｗ’＝２Ｚ’ｔａｎ（θ／２）＝Ｚ’Ｗｆ／ｆ    ［１６］
Ｗ’が既知であるように、Ｗ（実際のディスプレイ幅）も既知である。このことによりディスプレイと現実世界との間の縮尺が得られる。
Ｓ＝Ｗ’／Ｗ    ［１７］
次に最大ディスパリティｄＮおよびｄＦは、仮想ディスプレイのサイズに一致するように一定にスケールアップされ、ｄＮ’およびｄＦ’の値を与える。これらからカメラ間隔Ａは以下のように計算される。
【００９３】
【数１０】
0003568195.tif 000011
最終段階は、画像捕獲のための新しい視野を計算することである。平行な軸を有するカメラから計算されるディスパリティを有する立体視画像を得るためには、仮想ディスプレイの幅にカメラ間隔を加えた領域を捕獲しなければならない。新しい視野θ’は、
θ’＝２ｔａｎ−１（（Ｗ’＋Ａ）／（２＊Ｚ’））    ［２０］
となり、これから、焦点距離の新しい値、すなわちｆ’＝Ｗｆ／２ｔａｎ（θ’／２）    ［２１］
が得られる。こうして必要とされるカメラパラメータ全て、すなわちθ’およびＡが得られた。
【００９４】
先と同じように、距離Ｎ’およびＦ’がカメラのピンホール点から測定されると仮定する。それらＮ’およびＦ’がフィルム平面から測定される場合、Ａおよびθの計算が実行される前にｆを減算しなければならない。続いて、焦点距離がこの計算によって変化するので、帰納的計算が必要とされる。帰納的計算において、Ｎ’およびＦ’の入力値からｆを減算することで新しいＮ’およびＦ’が計算される。これらの新しい値は、式［６］に代入され、式［１６］後の全ての段階が収束するまで繰り返される。帰納式を解いて、帰納することなく正しい結果を得る単一の計算式を与えることも可能である。
【００９５】
本方法におけるステップを図６のフロー図に要約する。
【００９６】
第２の実施形態の変形として、Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓソフトウェアで生成される立体視画像について、カメラ間隔が他の入力データから計算される場合が可能である（θ（またはｆ）が変化し得る場合）。
【００９７】
コンピュータグラフィックスカメラを用いると全てが通常ピンホール点の周りに集中する。従って、焦点距離の変化に対する補正は通常不必要であり、帰納的計算も不必要である。
【００９８】
通常、θがｆの代わりに代入される。従ってＷｆは不必要となり、新しい値θ’のみが計算される必要があり、ｆの次の計算は必要でなくなる。
【００９９】
コンピュータグラフィックス法は、ＳｍａｒｔＳｔｅｒｅｏソフトウェアパッケージにとして実現されており、静止画像、映画シーケンスおよびリアルタイムのコンピュータグラフィックスを生成するために使用されている。これらから、快適な観察の立体視画像を繰り返し生成する、使い易い立体視画像生成が得られている。例えば、Ｋｉｎｅｔｉｘの３Ｄ  Ｓｔｕｄｉｏ  Ｍａｘソフトウェアのパッケージカメラ制御スクリプトの生成により、静止画像およびＱｕｉｃｋＴｉｍｅ映画フォーマットで再生される映画シーケンスの両方が生成され得る。
【０１００】
第１および第２の実施形態の変形として狭い深度範囲のみが場面内に存在するときに、深度の拡張を避けるためにカメラ間隔を制限する実施形態が可能である。
【０１０１】
ある場面において、ディスプレイ上の許容可能な知覚深度の範囲よりも小さいような極めて小さな深度範囲が捕獲される場合、場面深度がディスプレイ深度に写像されるようにカメラ間隔が調節されたとき、物体は拡がって見える。
【０１０２】
これは、倍率（Ｓ）倍した目の間隔（Ｅ）の最大値にカメラ間隔（Ａ）を固定することによって、回避し得る。
【０１０３】
または、物体それ自体ではなくて物体の周りの体積を捕獲するように場面深度範囲を設定し、この体積がオルソスコピックになるようにすることが望ましい。
【０１０４】
コンピュータグラフィックスの合成カメラおよび物理的カメラの両方の場合において、知覚深度は正確に場面深度に一致し得る。このオルソスコピックの場合には、極めて大きなまたは極めて小さな場面深度が快適な知覚深度範囲に写像される場合と比較して、知覚深度の深度歪みは最小となる。
【０１０５】
第３の実施形態として、焦点距離（ズーム）の視野が他の入力から計算される場合を説明する。
【０１０６】
カメラ間隔が固定の場合、ズームを調整することによってディスプレイ上の所望の快適な知覚深度を達成し得る。
【０１０７】
ズームがカメラ間隔を変更することによって制御される場合（おそらく、カメラに同時に立体視画像を捕獲するためのレンズが２つ（またはそれ以上）ある場合など）の立体視カメラの設計に有利である。他の例としては、固定間隔（例えばＡＧＦＡカメラ＋Ｐｅｎｔａｘ画像スプリッタ）が存在するが、異なる場面の深度範囲のに合致するようにズームがある範囲に渡って調節され得る場合である。これはまた、ズームを制御する方が間隔を制御するよりも容易であり得るような特定のビデオカメラアダプタにおいても同様である。また、ズームは正確に制御されるが、間隔が正確に制御されない場合にも、利点を有するかもしれない。間隔が設定されて測定され、ターゲットディスプレイ上の快適な知覚深度範囲に場面深度範囲を正確に合致させるようにズームが調節される。
【０１０８】
捕獲して立体視ディスプレイに写像するための特定の深度が存在し、カメラ間隔（Ａ）が特定されている場合は、捕獲される視野（またはレンズの焦点距離）を特定することにより、選択された制限内で立体視ディスプレイ上に表示される深度範囲を確実にしなければならない。
【０１０９】
この場合における適切な立体視カメラパラメータを計算するために、以下の方法が使用される。
【０１１０】
先の実施形態で述べたように、カメラ間隔が計算される場合（Ｚ’が代入されていなければ）、Ｚ’値（式［１］から［６］）すなわちＺＤＰまでの距離を計算されたい。
【０１１１】
このケースの場合はカメラ間隔Ａは既知であるので、ｄＮ’値またはｄＦ’値が計算される（式［３］および［４］）。倍率Ｓは以下によって与えられる。
Ｓ＝ｄＮ’／ｄＦ’    ［２２］
ディスプレイサイズＷを現実世界Ｗ’＝ＳＷに縮尺し、以下の式から視野を計算する。
θ’＝２ｔａｎ−１（（Ｗ’＋Ａ）／２Ｚ’）    ［２３］
この場合、Ｎ’およびＦ’の測定はカメラのピンホールに対して行われると仮定する。これらの距離は、測定するのが困難であり、従ってより現実的な測定としてはカメラのフィルム平面に対してなされるべきである。レンズの焦点距離を考慮するために帰納的計算が実行され得、それにより焦点距離が測定された距離から減算され（Ｎ’およびＦ’の新しい値が得られる）、これらの値が式［６］に代入される。次いでθ’の値が式［２２］以降の式から計算される（そして焦点距離（ズーム）に変換される）。この新しい焦点距離を用いて、結果が収束するまで再帰的に測定値を補正する。焦点距離の適切な初期値は、観察者に見えるようなディプレイの視野を与えるために必要な焦点距離である。帰納式を解いて、帰納することなく正しい結果を得る単一の計算式を与えることも可能である。
【０１１２】
本方法のステップを図７のフロー図に要約する。
【０１１３】
Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓカメラを用いた極めて単純なシステムにおいては、間隔を指定し、最初に構成されたビューからカメラを適切な方法でオフセットすることをユーザにまかせるだけでもよい。
【０１１４】
より改良された使い易い解決法は、ユーザが位置および方向の情報をＣＧカメラに供給することである。そうすることによりカメラパラメータを計算するシステムが、左右のカメラの正しい位置、方向および視野を計算し得る。次に、これをユーザがＣＧソフトウェアに入力するか、ＣＧソフトウェアに直接読み込まれるスクリプトに書き込むか、あるいはプログラミングＡＰＩから直接グラフィックスソフトウェアに返す。
【０１１５】
いくつかのＣｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓシステム（ＡＰＩ／ソフトウェア／スクリプト言語等）では、「観察台」の指定が可能である。これは観察者から画像のエッジ（現実世界の空間内での）までのオフセットを指定するものであり、上述したようなクロッピングを直接画像生成に組み込むことを可能にする。観察者がディスプレイの前方中央に位置する場合、左目用の画像の左側エッジに対するオフセット（現実世界の空間内での）は、
ｆｒｕｓｔＬ＝−（Ｗ’／２−Ａ／２）    ［２４］
となる。左目用の画像の右側のエッジに対するオフセットは、
ｆｒｕｓｔＲ＝（Ｗ’／２＋Ａ／２）    ［２５］
となる。上下のオフセットは（Ｈ’は現実世界に合わせて縮尺されたディスプレイ高さである）、
ｆｒｕｓｔＴ＝Ｈ’／２    ［２６］
ｆｒｕｓｔＢ＝Ｈ’／２    ［２７］
となる。右目についての対応する値は、
ｆｒｕｓｔＬ＝（Ｗ’／２＋Ａ／２）およびｆｒｕｓｔＲ＝（Ｗ’／２−Ａ／２）［２８］
である。ｆｒｕｓｔＬおよびｆｒｕｓｔＢは式［２６］および［２７］に同じである。
【０１１６】
これらの値は通常クリッピング近傍平面ＣＮ（例えばＯｐｅｎＧＬにおける）を用いて指定される。この表現を換算するためには、上記の値をｃＮ／Ｚ’倍する。
【０１１７】
このタイプの制御は、ＶＲＭＬモデルビューアー内で使用されるＳｍａｒｔＳｔｅｒｅｏ  ＯｐｅｎＧＬ  ＡＰＩにおいて、場面が常に観察にとって快適であることを確実にするために実施されている。
【０１１８】
次に、観察者がディプレイの前方中央に位置しない場合のカメラパラメータを説明する。
【０１１９】
観察者の位置を追跡する方法を何も用いない場合、ディスプレイに対する観察者の位置について仮定をたてなければならない。もし観察者の位置がわかっているならば、それを用いることによりディスプレイの前方中央に位置しない場合により少ない歪みの立体視画像を与えるようにカメラパラメータを変化させ得る。
【０１２０】
ディスプレイの中央に対する観察者の位置は、次のように（Ｘ，Ｙ，Ｚ）として指定される（ここでＸおよびＹはディスプレイ平面に平行であり、Ｚはディスプレイから垂直に離れる方向である）。｜Ｚ｜をカメラパラメータの計算において用いられる。
【０１２１】
ディスプレイに対する観察者の位置ＸおよびＹを、カメラパラメータの計算によるＳ倍の縮尺または、やはりカメラパラメータの計算によるＡ／Ｅ倍の縮尺を行うことによって、現実世界の座標系に移さなければならない（ｘ＝ＸＳまたはｘ＝ＸＡ／Ｅおよびｙ＝ＹＳまたはｙ＝ＹＡ／Ｅ）。
【０１２２】
Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓカメラの場合、観察台を用いて指定すれば（式［２４］から［２８］）、左目の観察台は以下のように計算される。
ｆｒｕｓｔＬ＝−（Ｗ’／２−Ａ／２＋ｘ）
ｆｒｕｓｔＲ＝（Ｗ’／２＋Ａ／２−ｘ）    ［２９］
ｆｒｕｓｔＴ＝（Ｈ’／２−ｙ）
ｆｒｕｓｔＢ＝−（Ｈ’／２＋ｙ）
右目の観察台は以下のように計算される。
ｆｒｕｓｔＬ＝−（Ｗ’／２＋Ａ／２＋ｘ）
ｆｒｕｓｔＲ＝（Ｗ’／２−Ａ／２＋ｘ）    ［３０］
ｆｒｕｓｔＴ＝（Ｈ’／２−ｙ）
ｆｒｕｓｔＢ＝−（Ｈ’／２＋ｙ）
観察台がクリッピング近傍平面を用いて指定される場合、これらの値はｃＮ／Ｚ’倍される。
【０１２３】
このさらなる計算は、ユーザの頭の位置を追跡し、観察者が頭を動かすのに従いビューを更新できるようなコンピュータグラフィックスシステムによって駆動されるディスプレイシステムにおいて、有用である。
【０１２４】
次に、入力値が２つの既存の写真間の最大ディスパリティおよび最小ディスパリティである場合の計算を説明する。
【０１２５】
これは、画像の立体視対をハードウェア的またはソフトウェア的な方法によって分析することにより、画像内の相同点間におけるディスパリティを見出す場合である。この場合、ディスパリティを使用中のディスプレイに対して規定される範囲内に適合させるために必要なカメラ間隔の変化および画像クロッピングの変化を示すために、何らかの方法が必要とされる。
【０１２６】
先に述べたように、意図されたディスプレイデバイスの詳細は既知であるため、ディスプレイ上の許容可能なディスパリティの範囲は（ｄＦ−ｄＮ）と計算され得る。これらはまた、ディスプレイ幅で除算することによってディスプレイ幅の所定の割合に変換される。
【０１２７】
画像に存在する最大ディスパリティｄＦ’および最小ディスパリティｄＮ’が得られ、これらを用いて立体視画像中に存在する範囲を得る。ここでディスパリティの範囲は（ｄＦ’−ｄＮ’）である。これらの値は多くの形（おそらくピクセルディスパリティまたは画像幅の所定の割合として）で提供され得る。ピクセルディスパリティが提供される場合、ピクセル単位の画像幅もまた、以下の式に代入されなければならない。
【０１２８】
ｄＮ、ｄＦ、ｄＮ’およびｄＦ’がここからディスプレイ幅および画像幅の割合に変換されるとする。また、ディスパリティが得られる画像は平行カメラを用いて撮られたものであり、クロップされていないものとする。
【０１２９】
入力画像中においてスクリーン平面上にあるべき（従ってゼロディスパリティを有する）点のディスパリティは、画像の測定値から予め定められるかまたは以下の方法で計算される。
ｄＺ’＝（ｄＮ’＋（ｄＮ／ｄＦ）＊ｄＦ’）    ［３１］
あるいは、ｄＺ’が特定される場合、不明のパラメータｄＮ’またはｄＦ’のいずれか１つが以下の式の１つから計算され得る。
ｄＮ’＝（ｄＮ／ｄＦ）（ｄＺ’−ｄＦ’）＋ｄＺ’    ［３２］
ｄＦ’＝ｄＺ’−（ｄＦ／ｄＮ）（ｄＮ’−ｄＺ’）      ［３３］
３つのパラメータ全てが特定される場合、ｄＺ’はそのままにし、観察パラメータについて少なくとも同じ深度範囲をカバーするために、上述したのと同様の方法で（Ｚ’はすでに選択されている）ｄＮ’およびｄＦ’を再計算する。ディスパリティの変化はカメラ間隔の変化に対して線形であるので、、捕獲された画像のディスパリティ範囲をディスプレイ上で許容されるディスパリティ範囲に合致させるように、現在のカメラ間隔を縮尺しなければならない。この後、画像のクロッピングを変更することにより、物体が正しい深度で現れるようにＺＤＰを調節しなければならない。左画像の左側および右画像の右側から画像の所定の割合をクロップしなければならない。
【０１３０】
入力画像から任意の量をクロッピングすることによって、ディスパリティによって表される画像の割合が変化する。現実には実際のディスパリティは、
（１／（１／−ｃｒｏｐ  ｐｒｏｐｏｒｔｉｏｎ））
によって縮尺される。
【０１３１】
この関係を規定する式を解いた後、倍率は、
Ｓ＝−ｄＮ／（ｄＮ’（ｄＮ＋１）−ｄＮ’）    ［３４］
となる。画像のうちクロップすべき割合は、
Ｃｒｏｐｐｉｎｇ＝−ＳｄＺ’    ［３５］
と計算される。
【０１３２】
Ａが既知である場合（ユーザによって入力されるかまたは上述した方法を用いて計算されるかによる）、縮尺後の値（Ｓ＊Ａ）がユーザに対して出力され得る。
【０１３３】
ディスパリティを得るために使用される画像がすでにクロップされている場合、もっとも簡潔な解決法は、非クロップ画像の割合としてディスパリティ比を計算することである。そうでなければ画像幅の割合としてカメラ間隔が既知でなければならない。これはＺ’、Ｗ’等が既知であることを仮定している。これらが既知の場合、非クロップ幅は既知であり、上述した方法が使用される。式［３２］によって特定されたクロッピング部が非クロップ画像から取り除かれるが、最初に画像に適用されるクロッピングよりも多くてもよいし、または少なくてもよい。
【０１３４】
カメラ間隔（Ａ）が変化し得ない（おそらく固定ヘッドのカメラなどにおいて）場合、画像ディスパリティをディスプレイディスパリティに一致させる別の方法は、カメラの焦点距離（または視野）を変更することである。
【０１３５】
距離Ｎ’における点のディスパリティは、
ｄＮ＝Ａｆ／Ｎ’    ［３６］
となる。従ってＡおよびＮ’が固定であれば、ｄＮを倍率Ｓ倍することは、焦点距離ｆを同じ倍率だけ縮尺することを要求する。
【０１３６】
ｄＮを変更するために必要な倍率は、式［３４］を用いて計算され、この場合もやはり式［３５］からディスプレイ上の正しい範囲に一致するようにディスパリティを調節するために必要なクロッピングが得られる。
【０１３７】
次にカメラの物理的制限を説明する。
【０１３８】
実際のカメラを用いる場合、レンズが設定され得る焦点距離の範囲には制限があり、またカメラ間隔にも制限がある。これらのプロトコルを用いた実際のシステムでは、要求される設定がハードウェアの制限外である場合はこれを認識してユーザに示さなければならない。
【０１３９】
次に、カメラが移動する場合、あるいは場面またはビデオ画像が変化する場合におけるこの方法の使用を説明する。
【０１４０】
場面が変化している場合、２つの選択肢がある。
１．見える可能性がある最大深度を決め、全体を通して使用される１組のカメラパラメータを決定する。
２．場面内に見える深度を、各新しい立体視ピクチャを撮る前に決定する。
【０１４１】
選択肢１）は、場面内に存在する深度の範囲に関して何らかの決定を必要とする点が制約となる。場面の変化が予測不可能である場合には、深度はこれを越えてしまうことがあり、立体視画像が観察するのに不快な画像となる可能性がある。
【０１４２】
選択肢２）の場合、場面内の深度を決定する何らかの方法が必要とされる。コンピュータグラフィックスシステムの場合、大抵の３Ｄグラフィックスレンダリング法に共通であるように、深度バッファを用いることによりフレーム内に表示される深度全ての読み出しが可能になる。１つのフレームに対する深度バッファを用いて、次のフレームに存在し得る深度を決定することができる。これは場面の変化が漸進的である場合に非常に効果的な方法である。
【０１４３】
コンピュータグラフィックスを用いたさらなる別の方法は、立体視バージョンのレンダリングの前に１度現在のフレームをレンダリングすることである。この予備レンダリングを用いて、深度情報を提供することができる。この画像は観察には用いないので、レンダリングを遅くする大部分のグラフィックス効果（テクスチャおよび照明等）はオフにしてもよい。また、さらにレンダリング時間を減少するために、必要とされる画像よりも小さく画像を描いてもよい。
【０１４４】
どのような深度測定システムを用いても、物体が測定スペースに出入りする際にカメラ間隔またはズームに飛躍が起こり得る。予備レンダリング法を用いて拡大した視野を使用することによって、後のフレームで生じる可能性が高い深度変化の予想を可能にし、ズームまたはカメラ間隔の変化を時間の経過につれ平滑にすることを可能にし、さらに観察者にもたらすストレスを減少する。
【０１４５】
立体視画像が実際のカメラ（ビデオカメラであってもよい）によって捕獲されている場合、何らかの形のレンジファインダ用いて各フレームを撮影する際に距離を測定してもよい（例えば、カメラオートフォーカスシステムまたはレーザレンジファインダ）。あるいは、次のフレームのパラメータを推定するためにコンピュータビジョン法を用いて画像を処理し、フレーム毎に存在する深度を測定する。この場合もやはり何らかの形のレンジファインダを用いることにより後の深度変化の予測が可能になる。
【０１４６】
立体視画像に存在する深度範囲を決定するために立体視画像を処理することによって、より多くの写真を撮ることなく、同じ場面の新しいビューを表すように画像を変化させる可能性が与えられる。
【０１４７】
次に、実際のカメラのフォーカス情報の使用を説明する。
【０１４８】
Ｋｏｄａｋ  ＤＣＳ３デジタルカメラは「視野深度」というフォーカス法を有しており、それにより撮影者は近接する物体、遠方の物体に焦点を合わせ、次いで場面をフレーミングし、写真を撮る。カメラは、画像内の視野の深度が撮影者によって選択された近フォーカス距離および遠フォーカス距離に一致するように、シャッタースピードおよびアパーチャが設定されるようにする。これはカメラを用いて深度範囲を測定することのみに関し、立体視ディスプレイの深度の設定には関係しない。
【０１４９】
計算に必要な詳細のうちのいくつかを捉えるために、実際のカメラにおける任意の同様のオートフォーカスシステムからの情報を用いてもよい。これは、場面内の近地点および遠地点までの距離を直接測定するのが困難な場合（特に距離が長い場合）に有効である。
【０１５０】
この情報を使用するための１つの方法は、３回フォーカスを合わせることである。
１．最も近い点にフォーカスを合わせ、その情報を記録する（例えばシャッターリリースを半分だけ押すなど）。
２．最も遠い点にフォーカスを合わせ、その情報を記録する（もう１度半分だけ押す）
３．なるべくカメラを遠くまで動かしすぎないようにしながら、所望のショットを設定する。ＦＯＶ／ｆを必要とされる値に調節し、カメラの向きが正しいことを確認する。
【０１５１】
次いでオートフォーカスシステムによって測定された距離が、最も近い点および最も遠い点までの距離として、カメラプロトコルへの入力用に用いられる。レンズ焦点距離が自動的にレンズから得られるか、またはレンズ間隔がユーザに設定されｆが一致するように調節されるカメラの場合には、自動的に調節される。入力されるべき残りの詳細はディスプレイのパラメータのみである。デフォルトの設定がビルトインされる（例えばメニュー選択の形にする）か、またはカメラがプログラム可能な場合には新しいディスプレイの設定がカメラにダウンロードされ得る。
【０１５２】
撮影者にマルチヘッドカメラのカメラレンズをカメラレンズ（またはレンズ上のマーカ）が撮影者の目の前に来るように移動してもらい、その間隔を測定することにより、撮影者の目の間隔の測定をすることも可能である。
【０１５３】
場面の実際の深度を測定するために使用され得る多くの方法が存在する。これらは、任意のタイプのレンジファインダ、実際のカメラのオートフォーカス機構、テープ測定、立体視画像対のディスパリティ評価、レーザ／超音波レンジファインダ、を含む。
【０１５４】
ＣＧソフトウェアを用いた場合、深度は、レイトレー、深度バッファの使用、あるいは物体またはその境界箱状領域までの距離を直接計算することによって見出され得る。コンピュータグラフィックスの文献において、最も近い表面および最も遠い表面を見出すための多くの解決法が提供されている。
【０１５５】
次に物理的カメラの較正を説明する。
【０１５６】
入力または計算された焦点距離値を視野値に変換する場合、正確なパラメータが変換に使用されるように注意しなければならない。
【０１５７】
上述の方法を用いて立体写真を撮るために使用される任意の実際のカメラは、真の焦点距離に対して正確に較正されるべきである。真の焦点距離がレンズから読み取られた値と異なる場合、誤った間隔または焦点距離が計算され、得られる画像に誤差を生じる。
【０１５８】
デジタルカメラの場合には、ＣＣＤの幅を指定する（実際には幅全部は使用し得ないが）。カメラ間隔法に詳細を入力する場合にこれを考慮にいれなければならない。
【０１５９】
カメラを較正する１つの方法は、カメラから既知の距離で定規（視野全体を水平方向にクロスするように置かれた）を写真に撮ることである。写された部分（Ｌ）の幅をカメラ（Ｃ）から定規までの距離とを組合せることによって、視野の計算が可能になる。また任意の所定の焦点距離（レンズ／イメージングソフトウェアから読み取った）における実効フィルム／ＣＣＤ幅は、以下のように容易に計算される。
θ＝２ｔａｎ−１（Ｌ／２Ｃ）
Ｗｆ＝Ｌｆ／Ｃ
またカメラのレンズの焦点距離が変化するに従い較正も変化することに注意されたい。従ってθおよびＷｆはいくつか異なったズーム設定で計算されるべきである。
【０１６０】
次に、観察に使用されるディスプレイがカメラパラメータの計算で仮定したディスプレイと異なる場合に観察される画像の調節について開示する。
【０１６１】
観察に使用されるディスプレイが異なっている場合、または観察者の目の間隔が異なっていると分かっている場合であっても、捕獲後に新しいディスプレイ上の知覚深度を調節するように画像を調節し得る。画像が縮尺／クロップされ得るので、これにより画像の質が下がり得る。従って通常まず正しい画像を第１の表面に捕獲することが最良である。
【０１６２】
調節を達成するために、立体視対においてディスパリティに基づいてカメラ間隔を調節するために説明した方法が使用される。観察されるべき画像内のディスパリティは、画像対と共にディスパリティを記録しておくか、または画像を解析してディスパリティを見出すことによって、提供されなければならない。
【０１６３】
次いで式［３４］を用いて画像の倍率を得る。この倍率はフルスクリーンサイズに対してスクリーン上の画像のサイズを減少（または増加）させるために使用される。次いで式［３５］を用いて画像のオフセットを提供し、知覚深度が新しいディスプレイに必要とされる範囲に適合することを確実にする。
【０１６４】
次にマルチビュー画像捕獲システムを説明する。
【０１６５】
マルチビュー画像捕獲システムの場合、全てのカメラの焦点距離が同一でなければなく、そうでなければいくつかの画像対が垂直方向のディスパリティを有し、観察者に不快をもたらす可能性がある。
【０１６６】
また、マルチビューシステムにおける画像は、ある状況においては左目で観察されるが、観察者がディスプレイに対して移動した時には右目で観察されるかもしれない。これは、画像のクロッピングによっては任意の所望の知覚深度分布を得ることができないことを意味する。すなわち深度の全てがディスプレイ平面の前方に現れなければならない。各画像対において見える深度応じてカメラ間隔を変更することにより、表示される量を調節することが可能である。場面の深度変化によるカメラ間隔の変化はすべて漸進的でなければならない（動的カメラ制御の場合）。
【０１６７】
ディスプレイが追跡される場合、知覚深度範囲を調節するために画像がリアルタイムでクロップされるように構成することも可能である。
【０１６８】
次に、「フレームキャンセル」の回避について説明する。
【０１６９】
フレームキャンセルは、ディスプレイ平面の前方に現れるべき物体が画像のエッジにある場合に生じる。脳は、画像のエッジから外れる物体の深度を、スクリーンの境界の後方にあるものとして解釈し、従って、スクリーン平面の後ろに深度があるように解釈する（もしスクリーンの前方にあるならば見えるはずだからである）。これは、知覚深度範囲がディスプレイの規定された制限内にある場合でも、不快な画像を生成し得る。
【０１７０】
この矛盾は、このような領域を検出し、スクリーンエッジにある物体をディスプレイ平面の後ろに位置させるように場面入力パラメータを調節することによって回避し得る。画像エッジにおける最も近い物体までの距離を決定し、Ｚ’をこの距離に設定するために、画像を解析する必要がある。あるいは、任意の他の測定方法がカメラ内（またはカメラ外）で使用されてもよい。
【０１７１】
スクリーンエッジのディスパリティが測定されるか、または画像が撮られた後に調節される場合、ディスパリティが規定されている際にカメラパラメータを調節するための上述した方法が使用される。ｄＮ’は画像のエッジにある物体の最小ディスパリティであり、ｄＦ’もまた画像から測定される。ｄＮは０に設定され、ｄＦは前述のようにディスプレイから計算される。
【０１７２】
次に、正確な測定が困難な場合における近似の使用を説明する。
【０１７３】
正確な測定が困難な場合、近似を用いて有用な結果を得ることができる。
・「典型的な」観察者は通常６０ｍｍの目の間隔を有すると考えられる。
・追跡を行わない限り、ディスプレイから観察者への実際の距離（Ｚ）は未知であり、設計上の観察距離が使用される。
・広く適用可能な状況におけるカメラパラメータの予め計算された組を使用し得る。例えば、以下に対してカメラを計算する。
【０１７４】
・「極めて遠い物体」（おそらく１０００ｍから無限の場面深度）
・「遠い物体」（おそらく１００ｍから無限の場面深度）
・「中間の範囲」（おそらく１０ｍから１００ｍの場面深度）
・「近い範囲」（おそらく０．５ｍから１０ｍの場面深度）
となる。
【０１７５】
深度写像は、測定値が正確な場合に期待されるような正確な写像にはならないが、場面に実際に存在する全ての深度がリストに挙げられたより幅広いカテゴリの制限内にあることを確実にするような適切な深度範囲を評価することは、簡便である。
【０１７６】
少なくとも１つの（実際のまたはシミュレートされた）カメラを用いて（実際のまたはシミュレートされた）場面の立体画像を生成するための方法であって、その立体画像はユーザによってディスプレイ上で観察されたとき３Ｄ画像であるという印象を創出する。本方法において、場面の深度がディスプレイ上の画像の最大知覚深度に写像され、最大知覚深度はユーザに快適な観察を提供するように選択される。
【０１７７】
【発明の効果】
近似法または試行錯誤法と比較して、本発明におけるカメラ制御をするための方法は、場面が規定された知覚深度範囲に常に写像されることを確実にし、多くの画像調節を必要としない使い易い方法となり、観察される深度が快適な限度内にあることを確実にする。また、知覚深度範囲の近限界および遠限界は独立に設定され得ることにより、ユーザに見える深度効果の量の正確な制御を可能にする。これにより、観察者によるクロススクリーンディスパリティおよび非クロススクリーンディスパリティの知覚の変化に対して、画像を適応させることを可能にし、３Ｄ画像コンポジションの正確な技巧的制御を可能にする。
【図面の簡単な説明】
【図１】図１は、立体画像における深度知覚に関与する変数を示す。
【図２】図２は、平行カメラを使用する場合に必要とされる調節を示す（例えば、画像クロッピングや、物理的カメラ内においてＣＣＤまたはフィルムなどの像感受性材料を一方の側へのオフセットなど）。
【図３】図３は、立体視ディスプレイの観察幾何学的構成を示す。
【図４】図４は、場面の画像の捕獲に関する幾何学的構成を示す。
【図５】図５は、視野／焦点距離が固定の場合のカメラ間隔の計算を示すフロー図である。
【図６】図６は、視野／焦点距離が固定でない場合のカメラ間隔の計算を示すフロー図である。
【図７】図７は、カメラ間隔が固定の場合の視野／焦点距離の計算を示すフロー図である。
【図１】
0003568195.tif 000012
【図２】
0003568195.tif 000013
【図３】
0003568195.tif 000014
【図４】
0003568195.tif 000015
【図５】
0003568195.tif 000016
【図６】
0003568195.tif 000017
【図７】
0003568195.tif 000018