(57)【要約】      （修正有）【課題】３Ｄ映像コンテンツを異なる視聴条件へ簡単な構成で適応させる方法及び手段を提供する。【解決手段】３Ｄ映像コンテンツをディスプレイへ調整・適応させる方法は、立体画像のペアを取出すステップ１０と、立体画像のペアに対する最大視差値（ｄmax（ｔ））を取得するステップ１１と、取得された最大視差値（ｄmax（ｔ））を使用して立体画像のペアに対する最大許容シフト（ｈMAX（ｔ））を決定するステップ１２と、決定された最大許容シフト（ｈMAX（ｔ））を使用して立体画像のペアの左の画像及び右の画像に対する実際のシフト（ｈ（ｔ）／２）を計算するステップ１３と、−計算された実際のシフト（ｈ（ｔ）／２）に従って左の画像及び右の画像を移動するステップ１４と、を含む。【選択図】図６
2012085284.tif 000002
【特許請求の範囲】
【請求項１】
ディスプレイに対し３Ｄ映像コンテンツを調整する方法であって、
立体画像のペアを取出すステップと、
前記立体画像のペアに対する最大視差値（ｄmax（ｔ））を取得するステップと、
前記取得された最大視差値（ｄmax（ｔ））を使用して、前記立体画像のペアに対する最大許容シフト（ｈMAX（ｔ））を決定するステップと、
前記決定された最大許容シフト（ｈMAX（ｔ））を使用して、前記立体画像のペアの左の画像及び右の画像に対する実際のシフト（ｈ（ｔ）／２）を計算するステップと、
前記計算された実際のシフト（ｈ（ｔ）／２）に従って、前記左の画像及び前記右の画像を移動するステップと、
を備えたことを特徴とする方法。
【請求項２】
前記立体画像のペアの前記左の画像及び前記右の画像に対する実際のシフト（ｈ（ｔ）／２）を計算するステップにおいて、ユーザが設定可能なシフト調節パラメータ（α）を用いることを特徴とする請求項１に記載の方法。
【請求項３】
前記最大許容シフト（ｈMAX（ｔ））を決定するステップの前に、最大視差値（ｄmax（ｔ））に対して時間的なフィルタリングを実行するステップをさらに備えたことを特徴とする請求項１又は２に記載の方法。
【請求項４】
前記時間的なフィルタリングは、カルマンフィルタによって実行されることを特徴とする請求項３に記載の方法。
【請求項５】
前記最大視差値（ｄmax（ｔ））は、前記立体画像のペアに関連するメタデータから取得されるか、又は視差推定により取得されることを特徴とする請求項１ないし４のいずれかに記載の方法。
【請求項６】
前記移動した左の画像及び前記移動した右の画像をディスプレイへ送信するステップか、前記移動した左の画像及び前記移動した右の画像を記憶媒体へ格納するステップをさらに備えたことを特徴とする請求項１ないし５のいずれかに記載の方法。
【請求項７】
ディスプレイに対し３Ｄ映像コンテンツを調整する装置であって、
立体画像のペアを取出す入力部と、
前記立体画像のペアに対する最大視差値（ｄmax（ｔ））を取得する視差決定ユニットと、
前記取得された最大視差値（ｄmax（ｔ））から前記立体画像のペアに対する最大許容シフト（ｈMAX（ｔ））を決定する（１２）最大シフト決定ユニットと、
前記決定された最大許容シフト（ｈMAX（ｔ））から前記立体画像のペアの左の画像及び右の画像に対する実際のシフト（ｈ（ｔ）／２）を計算する実シフト計算ユニットと、
前記計算された実際のシフト（ｈ（ｔ）／２）に従って前記左の画像及び前記右の画像を移動させる画像移動ユニットと、
を備えたことを特徴とする装置。
【請求項８】
前記実シフト計算ユニットに接続されて、シフト調節パラメータ（α）を設定するユーザインターフェイスをさらに備え、当該パラメータは前記立体画像のペアの前記左の画像及び前記右の画像に対する前記実際のシフト（ｈ（ｔ）／２）を計算する際に用いられることを特徴とする請求項７に記載の装置。
【請求項９】
前記視差決定ユニットの下流に設けられ、前記最大許容シフト（ｈMAX（ｔ））を決定する前に、前記最大視差値（ｄmax（ｔ））の空間的なフィルタリングを実行する時間フィルタをさらに備えたことを特徴とする請求項７又は８に記載の装置。
【請求項１０】
前記時間フィルタは、カルマンフィルタであることを特徴とする請求項９に記載の装置。
【請求項１１】
前記最大視差値（ｄmax（ｔ））は、前記立体画像のペアに関連するメタデータからメタデータ評価ユニットによって、又は視差推定部によって取得されることを特徴とする請求項７ないし１０のいずれかに記載の装置。
【請求項１２】
前記移動した左の画像及び前記移動した右の画像をディスプレイへ送信する第１の出力部、及び／又は、前記移動した左の画像と前記移動した右の画像を記憶媒体へ格納する第２の出力部をさらに備えたことを特徴とする請求項７ないし１１のいずれかに記載の装置。
【請求項１３】
ディスプレイに対し３Ｄ映像コンテンツを調整する請求項７に記載の装置と、
前記装置に接続されて、シフト調節パラメータ（α）を設定するユーザインターフェイスと
を備えた含むシステムであって、
前記パラメータは、立体画像のペアの左の画像及び右の画像に対する実際のシフト（ｈ（ｔ）／２）を計算する際に前記装置内において用いられることを特徴とするシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３Ｄ映像コンテンツを表示する技術分野に関し、さらに詳細には様々な視聴条件下で表示できるようにするための３Ｄ映像コンテンツの調整に関する。
【背景技術】
【０００２】
３Ｄ映像の制作内容は、例えば劇場での映画の上映や、家庭用の３Ｄテレビのディスプレイ上での表示など、対象となる視聴条件によって大部分が決定される。制作中に考慮される主な要素は、対象となるスクリーンの幅および視聴者とスクリーンとの距離となる。
【０００３】
特定の視聴条件用に作られた３Ｄ映像コンテンツを異なる視聴条件下で提供しなければならない場合、３Ｄ映像コンテンツはこれら新しい視聴条件に適合するよう修正・調整しなければならない。そうしなければ、３Ｄ効果が低くなったり、不快感及び視覚疲労を感じたりするため、３Ｄ体験の質はかなり低くなる。この問題にもかかわらず、現在一般的に言って何の調整も行われていない状況にある。例えば、３Ｄテレビのディスプレイ上で３Ｄ映画の抜粋又は予告編を放映する場合、非常に粗末な３Ｄ効果しか得られないことがある。
【０００４】
現在の３Ｄ映画市場の成長に伴って、このような３Ｄ映像コンテンツの調整は、３Ｄ−ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）及び３Ｄ−ＢＤ（ＢｌｕＲａｙ  Ｄｉｓｃ）を複製及び配布する際の重要な課題となるだろう。すなわち、同じ３Ｄ映像コンテンツに対して複数のマスタを扱わなければならない事態を回避することが最終目的である。
【０００５】
今日において、３Ｄ映像コンテンツの調整のため、対象となる視聴条件に対する理想的なカメラ位置に配置された新しい「仮想の」ビュー・画面を合成するというアプローチ・技術が、最も重点を置いて検討されてきた。このビュー合成はシーンのショットの構成を変更することなく満足する３Ｄ効果を可能にする。しかしながら、ビュー合成は計算処理の面で複雑かつ高コストである。低品質の視差マップの使用した場合、合成されたビューには許容できないアーチファクトが発生するので、このようなビュー合成の場合は、カラー映像ビューと共に高品質の視差マップの配信が必要となる。コンピュータによって作成・処理されたコンテンツ（ＣＧコンテンツ）に対しては必要な視差マップの生成が比較的容易であったとしても、自然の映像コンテンツでは困難な仕事である。したがって、現在のところ視差推定からビュー合成まで実行することができる信頼できる技術は存在しなかった。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
視差推定用の改善された解決手段が提供可能としても、依然として、例えば３Ｄセットトップボックス用などのための手頃であまり複雑でない調整方法が望まれる。
【０００７】
従って、本発明の目的は３Ｄ映像コンテンツを異なる視聴条件へ調整・適応させることができ且つ低複雑度で実装・実施できる解決手段を提案することである。
【課題を解決するための手段】
【０００８】
本発明によれば、目的は３Ｄ映像コンテンツをディスプレイへ適応させる方法によって達成され、方法は、
−立体画像のペアを取出すステップと、
−立体画像のペアに対する最大視差値を取得するステップと、
−取得された最大視差値を使用して立体画像のペアに対する最大許容シフトを決定するステップと、
−決定された最大許容シフトを使用して立体画像のペアの左の画像及び右の画像に対する実際のシフトを計算するステップと、
−計算された実際のシフトに従って左の画像及び右の画像を移動するステップと、を有している。
【０００９】
同様に、３Ｄ映像コンテンツをディスプレイへ適応させるための装置は、
−立体画像のペアを取出す入力部と、
−立体画像のペアに対する最大視差値を取得する視差決定ユニットと、
−取得された最大視差値から立体画像のペアに対する最大許容シフトを決定する最大シフト決定ユニットと、
−決定された最大許容シフトから立体画像のペアの左の画像及び右の画像に対する実際のシフトを計算する実シフト計算ユニットと、
−計算された実際のシフトに従って左の画像及び右の画像を移動する画像移動ユニットと、を有している。
【００１０】
本発明はフレーム毎にビュー移動を実行することにより３Ｄコンテンツを調整すること（適応させること）を提案する。３Ｄ効果はスクリーンに関してシーンを後方へ動かすことによって、即ちビューを遠くに動かすことによって増加する。この目的のために、３Ｄ映画を３Ｄテレビへ適応させるべく、左ビューは左へ移動され、右ビューは右へ移動される。移動は映画監督が当初選んだものに比較してシーン構造を変更するが、３Ｄ効果は最適化される。コンテンツに適合したリアルタイム制御、より具体的には各立体画像のペアの視差量に適合したリアルタイム制御は、得られた深度が視覚的に快適な領域にあることを保証するように実行される。この目的のために、効果的には、最も高い視差値が各立体画像のペアに対して送信される。他の方法としては最も高い視差値は各立体画像のペアに対して送信された完全な視差マップ内の最大値を検索することによって得られる。さらに他の方法としては、最も高い視差値は視差推定機能によって得られる。この場合、視差推定の粗い、ブロックベースの実装・実施で十分である。
【００１１】
本発明による解決手段は３Ｄ映像コンテンツの表示装置への確実かつ高速な調整・適応を可能にする。３Ｄ効果は低品質な深度マップが使用された場合に計算処理の面で高価でかつ有害な、深度に基づく合成を実装・実施せずに、視聴者に快適さを与えながら最適化される。
【００１２】
好ましくは、連続的な移動のステップは時間的なフィルタリングによって補完される。フィルタリングは例えばカルマンフィルタによるフィルタリングであり、表示調整後の時間的な動きを滑らかにするための二次的なフィルタリングである。時間的なフィルタリングは得られる３Ｄコンテンツ内の迷惑でいらいらする３Ｄアーチファクトを防ぐことができる。そのようなアーチファクトは深度推定が必要な場合に特に起こりうる。自然のコンテンツに対しては、視差マップは最終的な深度知覚を害するおそれのあるフレーム毎の推定誤差を含むようになる。時間的なフィルタリングによって画素シフトのなめらかな変化が達成される。それ自身の深度マップを備えているＣＧＩ（Ｃｏｍｐｕｔｅｒ−Ｇｅｎｅｒａｔｅｄ  Ｉｍａｇｅｒｙ）コンテンツに対しては、時間的なフィルタリングは実行される必要はない。
【００１３】
好ましくは、視聴者は、例えばボリューム又はコントラストのバーに似たインターフェイスによって左のビュー及び右のビューのシフト（移動量）を調節することができる。
【００１４】
好ましくは、移動された左の画像及び移動された右の画像はディスプレイへ直接送信される。あるいは、移動された左の画像及び移動された右の画像は後に表示されるために記憶媒体へ格納される。
【００１５】
さらなる理解のために本発明は図面を参照して以下の記載においてより詳細に説明される。本発明はこの例示的な実施形態に限定されず、特定の特徴は特許請求の範囲に定義された本発明の範囲から離れない範囲で適切に組み合わされ、及び／又は変更・変形されることも可能である。
【図面の簡単な説明】
【００１６】
【図１】立体画像のペアを示す図である。
【図２】図１に示す立体画像のペアの深度マップを示す図である。
【図３】輻輳と調節の不調和を説明する図である。
【図４】映画館の映画のシーンに対する深度の状況を示す図である。
【図５】映画のシーンが家庭用の３Ｄテレビのパネルに表示された場合の深度の状況を示す図である。
【図６】本発明による調整・適応方法を示すフローチャートである。
【図７】本発明による調整・適応方法を実行する装置を示す概略図である。
【発明を実施するための形態】
【００１７】
図１は立体画像のペアを示す図である。画像のペアは、左のビュー４０及び右のビュー５０からなる。画像４０及び画像５０の各々は、１０２４ピクセルの幅及び７６８ピクセルの高さを有している。２つの画像４０、５０は、ｔc＝１０センチメートルのカメラ間距離及びｆ＝２２４０ピクセルの焦点距離を有するカメラのペアによって撮影された。カメラ支持部から収束面までの距離は、Ｚconv＝＋∞であった。ニアクリッピングプレーンは、Ｚnear＝４．４８メートルに位置しており、ファークリッピングプレーンは、Ｚfar＝１１２．０６メートルに位置していた。画像４０、５０における対象物までの最大距離はＺmax≒１２メートル、最小距離はＺmin≒５メートルであった。
【００１８】
図１の立体画像のペアの深度マップ（ｄｅｐｔｈ  ｍａｐ）４１、５１を図２に示す。ニアクリッピングプレーンに位置した対象物は真っ白な値に対応する。従って、ファークリッピングプレーンに位置した対象物は真っ黒な値に対応する。所定の深度Ｚに対して視差ｄ（Ｚ）は、以下の式により与えられる。
【００１９】
【数１】
2012085284.tif 000003
【００２０】
Ｚconv＝＋∞のとき、上記の式は以下のように簡素化される。
【００２１】
【数２】
2012085284.tif 000004
【００２２】
従って、Ｚconv＝＋∞に対する最大視差は負、即ちｄmax＜０である。上記の式を使用すると、最小の深度（ｄｅｐｔｈ）Ｚminは、最小視差ｄmin≒−４４．８ピクセルとなり、最大の深度Ｚmaxは最大視差ｄmax≒−１８．７ピクセルとなる。一般にスクリーンの後方に位置する（Ｚ＞Ｚconvである）対象物に対して視差・像差は正であり、スクリーンの前方に位置する（Ｚ＜Ｚconvである）対象物に対して視差・像差は負である。
【００２３】
日常生活において３次元の対象物を見るためには、人の目は２つのことをする必要がある。第１に目は輻輳運動しなければならず、換言すれば、目は投影画像が常に両網膜の中心になるように内側又は外側に少し回転しなければならない。第２に目はレンズ・角膜の形状を調節しなければならず、換言すれば、網膜上で画像の焦点を合わせるためにレンズ・角膜の形状を変えなければならない。しかしながら人工的な３Ｄによると、輻輳と調節の不調和が発生してしまう。視聴者は、光がスクリーンから反射される距離（一つの距離）において焦点を合わせなければならないが、３Ｄ対象物の空間的位置である別の距離にあわせて輻輳運動もしなければならない。この輻輳と調節の不調和により、頭痛及び他の不快感を覚えることとなる。
【００２４】
この輻輳と調節の不調和を図３に概略的に示す。視聴者の２つの目は両眼間距離ｔeだけ離れており、幅Ｗscreenのスクリーン１上において焦点を合わせる。視聴者がスクリーン１の面内に位置する対象物６にあわせて輻輳運動する限り、輻輳と調節の不調和はない。この場合、輻輳距離Ｄconvは目の調節距離と等しい。しかしながら、視聴者がスクリーンの前方に位置する対象物６‘又はスクリーンの後方に位置する対象物６“にあわせ輻輳運動すると、輻輳距離Ｄconvは目の調節距離と異なることとなる。
【００２５】
この輻輳と調節の不調和のため、対象物を配置することができる深度範囲を制限する下限視差範囲及び上限視差範囲が存在する。下限視差範囲は、対象物を表示することができるスクリーンの前方側の最大距離を指定し、上限視差範囲はスクリーンの後方への対応する距離を指定する。
【００２６】
図４は、映画館の映画のシーンに対する深度の状況を示す。図には、現実の世界における対象物の深度に対する視聴者によって知覚される深度を示す。図４は、特に処理しない通常の映画館の映画シーンによるものであり、換言すれば撮影された深度と視聴者によって知覚される深度との間には線形の関係が存在する。この図において、黒の太線１は映画館のスクリーンの位置に対応している。通常は、映画館のスクリーンは視聴者から１０メートルの距離に位置する。ダークグレー（濃い灰色）の太線２は負の視差値に対する下限視差の境界値（下限値）に対応する。映画館においてスクリーンは視聴者から十分離れているため上限視差の境界値（上限値）はない。視聴者は調節の苦痛を感じることなく無限・遠くの画像を見ることができる。検討中の映画のシーンには特別な３Ｄ効果がないので、即ち立体的な歪みがないので、黒の破線３で示された視聴者によって知覚される深度は、撮影された対象物の深度に対応する。
【００２７】
図５は、映画のシーンが家庭用の３Ｄテレビのパネル（ディスプレイ）に表示された場合の深度の状況を示している。この場合、スクリーンまでの距離は通常の場合約３メートルに変わる。その結果、上限視差範囲（上限値）が発生する。上限視差範囲（上限値）をライトグレー（薄い灰色）の線４によって示す。視覚的に快適な領域が制限されているため、映画館において達成される３Ｄ効果と同程度の３Ｄ効果を得ることは不可能である。実際に家庭において視聴者の位置はスクリーンへ近接しすぎている。結果としてスクリーン上に目を合わせながら無限・遠くの画像を見ることにより視覚疲労を覚えることとなる。何の調整も実行されなければ、映画のシーンは、黒の破線３に示すように３Ｄ効果を低下させることとなる。本発明では、スクリーンの後方のさらに奥へシーンを移動させるので、視覚的に快適な領域を超えることなく、深度知覚を増加させることが可能となる。これを黒の一点鎖線５によって示す。
【００２８】
以下に、図５において黒の一点鎖線５で示すように深度知覚を改善するために実行される調整・適応処理の原理（基本的な考え方）を説明する。
【００２９】
視差ｄmax（ｔ）を有するフレームｔの立体画像のペアを例として考える。値ｄmax（ｔ）は、立体画像のペアの画素（ピクセル）における最も高い視差値を示す。ｄmax（ｔ）＞０と推定する。値ｄmax（ｔ）は、立体画像のペアに対するメタデータとして送信されるか、立体画像のペアに対して送信された完全な視差マップ内の最大値を検索することにより得られる。代替例として視差推定機能は、３Ｄテレビのディスプレイ内か、又は接続されたセットトップボックス内で実装・実施される。この場合、粗い、ブロックベースの実装で十分である。
【００３０】
以下を考える。
【００３１】
【数３】
2012085284.tif 000005
【００３２】
Ｎrowは線毎の画素数を示し、Ｗscreenは家庭用のスクリーンの幅（単位はメートル）であり、ｔeは視聴者の両眼間距離を示す。大人の場合ｔe＝０．０６５メートルであり、子供の場合ｔe＝０．０４メートルである。
【００３３】
Ｄを視聴者から３Ｄテレビのスクリーンまでの距離とする。これら視聴条件に対して許容される最も高い視差量
【００３４】
【数４】
2012085284.tif 000006
【００３５】
は以下の式により与えられる。
【００３６】
【数５】
2012085284.tif 000007
【００３７】
値１／Ｍ（単位はジオプタ）はセットトップボックス又は３Ｄテレビのディスプレイの製造者によって認められている輻輳と調節の不調和の許容範囲に対応する。好ましくは、ＨＤＭＩ接続はこの目的のために使用される。
【００３８】
従って、フレームｔに対する最大許容シフトｈMAX（ｔ）は以下の式により与えられる。
【００３９】
実際のシフトｈ（ｔ）は視聴者の好みによって０とｈMAX（ｔ）との間の任意の値であってもよく、左のビューについては左側へｈ（ｔ）／２ピクセルのシフトが生じ、右のフレームについては右側へｈ（ｔ）／２ピクセルのシフトが生じる。好ましくは、視聴者はボリューム又はコントラストのバーに似たインターフェイスによってシフトを変える（調節）することができる。この調節は係数αによって表現され、αは例えば０と１の間の値である。
【００４０】
実際には６０ピクセル以下、即ちビュー毎に３０ピクセルのシフト値ｈ（ｔ）が得られる。これは許容値である水平解像度の約３パーセントに対応する。
【００４１】
時間的なフィルタリング機能がｄmaxのなめらかな時間的変化のために実装することも好ましい。例えばカルマンフィルタによるフィルタリングのような時間的なフィルタリングが実行可能であり、フィルタリングは視聴者には知覚不可能なままである。
【００４２】
本発明による調整方法を図６に示す。最初のステップ１０において、立体画像のペアを受信する。続いて、立体画像のペアと共に送信されたメタデータから又は視差推定によって、最大視差値ｄmax（ｔ）がステップ１１において取得される。次のステップ１２において最大許容シフトｈMAX（ｔ）が、例えば上記のように決定される。値ｈMAX（ｔ）から、ユーザ設定可能なシフト調節パラメータαから、フレームに対する最終シフトｈ（ｔ）が（正確には左の画像及び右の画像に対するシフト値ｈ（ｔ）／２が）ステップ１３において計算される点でさらに有利である。左の画像及び右の画像は最終シフトに従ってステップ１４において移動され、ステップ１５においてディスプレイへ送信されるか、ステップ１６において記憶媒体に格納される。
【００４３】
図７に、本発明による調整方法を実行する装置２０を概略的に示す。装置２０は、立体画像のペアをステップ１０において受信する入力部２１を含む。視差決定ユニット２２は、ステップ１１において、メタデータ評価ユニット３２を使用して立体画像のペアと共に送信されたメタデータから、又は視差推定部３３を使用して視差推定によって、最大視差値ｄmax（ｔ）を取得する。視差決定ユニット２２の下流にある時間フィルタ３１（このフィルタは必須ではない）は、最大視差値ｄmax（ｔ）に対して時間的なフィルタリングを行なう。最大シフト決定ユニット２３は、ステップ１２において最大許容シフトｈMAX（ｔ）を決定する。好ましくは、装置２０は視聴者がシフト調節パラメータαを設定できるようにするユーザインターフェイス２４を有している。実シフト計算ユニット２５は、シフト調節パラメータαを考慮し、フレームに対する最終シフトｈ（ｔ）を（正確には左の画像及び右の画像に対するシフト値ｈ（ｔ）／２を）計算する。画像移動ユニット２６は、ステップ１４において左の画像及び右の画像を最終シフトに従って移動させる。最後に、出力部２７、２８は、ステップ１５において移動された画像をディスプレイへ送信するために設けられるか、記憶媒体３０へ移動された画像を格納するために設けられる。外見上、異なるユニットは単一のユニットに組み込まれていてもよい。これは破線の長方形によって示されている。また、ユーザインターフェイス２４は装置２０に統合される必要はない。入力部を介してユーザインターフェイス２４を装置２０へ接続することも同様に可能である。例えば、本発明による調整方法がセットトップボックスにおいて実行される場合、ユーザインターフェイス２４は、接続されたディスプレイ又はパーソナルコンピュータによって提供してもよく、調節パラメータαをセットトップボックスへ送信してもよい。
【図３】
2012085284.tif 000008
【図４】
2012085284.tif 000009
【図５】
2012085284.tif 000010
【図６】
2012085284.tif 000011
【図７】
2012085284.tif 000012
【図１】
2012085284.tif 000013
【図２】
2012085284.tif 000014
【外国語明細書】
2012085284000001.pdf