(57)【要約】【課題】  調整可能視差方向による３次元レンダリングを提供する。【解決手段】  本開示は、観察者向けのレンダリングされた３次元コンテンツを判断する方法１に関する。本方法は、少なくとも基準ビュー８を含む基準コンテンツ（Ｒｅｆ＿Ｃ）を入力すること２と、表示装置の基準軸Ｘに対する観察者の眼配向θに関係する少なくとも１つの情報を入力すること４と、レンダリングされたビュー６を基準ビュー８と表示装置の基準軸Ｘに対する観察者の眼配向θに関係する情報とに応じて判断すること５と、を含む。【選択図】      図４
2017163528.tif 000002
【特許請求の範囲】
【請求項１】
観察者向けのレンダリングされた３次元コンテンツを判断する方法（１）であって、
少なくとも基準ビュー（８）を含む基準コンテンツ（Ｒｅｆ＿Ｃ）を入力すること（２）と、
表示装置の基準軸（Ｘ）に対する前記観察者の眼配向（θ）に関する少なくとも１つの情報を入力すること（４）と、
レンダリングされたビュー（６）を前記基準ビュー（８）と前記表示装置の前記基準軸（Ｘ）に対する前記観察者の眼配向（θ）に関する前記情報とに応じて決定すること（５）と、
前記基準ビューと前記レンダリングされたビューとを組み合わせることにより、前記レンダリングされた３次元コンテンツを生成することと、を含む方法。
【請求項２】
前記基準コンテンツ（Ｒｅｆ＿Ｃ）は、前記基準ビュー（８）内の奥行きを描写する奥行きマップ（ＺＬ）、または少なくとも１つの所与ビュー（９）と前記基準ビュー（８）との間の視差に関する情報、または少なくとも１つの所与ビュー（９）を含み、
前記レンダリングされたビュー（６）を判断すること（５）もまた、前記奥行きマップ（ＺＬ）または視差に関する前記情報または前記少なくとも１つの所与ビュー（９）に応じたものである、請求項１に記載の方法（１）。
【請求項３】
前記基準コンテンツ（Ｒｅｆ＿Ｃ）は、前記表示装置の前記基準軸（Ｘ）と角度を形成する少なくとも１つの傾斜軸に沿った前記基準ビュー（８）の隠蔽部分（３）に関する遮蔽情報（ＶＯ）を含み、
前記レンダリングされたビュー（６）を判断すること（５）もまた前記遮蔽情報（ＶＯ）に応じたものである、請求項１または２に記載の方法（１）。
【請求項４】
前記遮蔽情報（ＶＯ）は、前記表示装置の前記基準軸（Ｘ）と角度を形成する少なくとも２つの傾斜軸に沿った前記基準ビュー（８）の隠蔽部分（３）に関する、請求項３に記載の方法（１）。
【請求項５】
判断すること（５）は、前記基準ビュー（８）、前記奥行きマップ（ＺＬ）または視差に関する前記情報、前記遮蔽情報（ＶＯ）、および前記表示装置の前記基準軸（Ｘ）に対する前記観察者の眼配向（θ）に関係する前記情報に応じて補間することからなる、請求項３または４に記載の方法（１）。
【請求項６】
補間することは、
前記レンダリングされたビュー（６）の奥行きマップ（ＺＲ）を前記基準ビュー奥行きマップ（ＺＬ）から判断することと、
前記遮蔽マップ情報（ＶＯ）に基づき前記基準ビュー（８）の隠蔽部分（３）を判断することとを含む、請求項５に記載の方法（１）。
【請求項７】
補間することは前記レンダリングされたビュー（６）の各画素の色を前記基準ビュー（８）内の当該画素の色に基づき判断することを含む、請求項６に記載の方法（１）。
【請求項８】
前記基準ビュー（８）は前記観察者の左眼または右眼からのビューに対応し、判断すべき前記レンダリングされたビュー（６）は前記観察者の反対の眼からのビューに対応し、
前記基準ビュー内の位置（ｕＬ，ｖＬ）に位置するオブジェクトの前記レンダリングされたビュー（６）内の位置（ｕＲ，ｖＲ）は次式により与えられ：
【数１】
2017163528.tif 000014
ここで、
【数２】
2017163528.tif 000015
はベースラインベクトルの水平および垂直成分であり、
【数３】
2017163528.tif 000016
はＢ＊ｃｏｓθに等しく
【数４】
2017163528.tif 000017
はＢ＊ｓｉｎθに等しく、Ｂは前記観察者の眼間の距離であり、
ここで、ＺＬ（ｕＬ，ｖＬ）は前記位置（ｕＬ，ｖＬ）における奥行き値に対応し、ｆｕとｆｖそれぞれは、前記観察者の眼配向を感知するようにされたセンサ上の水平および垂直方向密度と焦点長との積である、請求項１〜７のいずれか一項に記載の方法（１）。
【請求項９】
前記基準コンテンツ（Ｒｅｆ＿Ｃ）は明視野データを含む、請求項１〜８のいずれか一項に記載の方法（１）。
【請求項１０】
前記基準コンテンツ（Ｒｅｆ＿Ｃ）は複数の所与ビュー（９）を含み、
判断すること（５）は前記レンダリングされたビュー（６）を前記基準コンテンツ（Ｒｅｆ＿Ｃ）と前記表示装置の前記基準軸（Ｘ）に対する前記観察者の眼配向（θ）に関する情報とに応じて前記所与ビュー（９）の中から選択することからなる、請求項３〜４のいずれか一項に記載の方法（１）。
【請求項１１】
観察者向けのレンダリングされた３次元コンテンツを判断するための装置（７）であって、レンダリングされたビュー（６）を
少なくとも基準ビュー（８）を含む基準コンテンツ（Ｒｅｆ＿Ｃ）と、
表示装置の基準軸（Ｘ）に対する前記観察者の眼配向（θ）に関する少なくとも１つの情報とに応じて判断する（５）モジュール（１６）を含む装置（７）。
【請求項１２】
前記表示装置の前記基準軸（Ｘ）に対する前記観察者の眼配向（θ）を判断するようにされた少なくとも１つのセンサ（１３）を含む請求項１１に記載の装置（７）。
【請求項１３】
レンダリングされたビュー（６）を
少なくとも基準ビュー（８）を含む基準コンテンツ（Ｒｅｆ＿Ｃ）と、
表示装置の基準軸（Ｘ）に対する観察者の眼配向（θ）に関係する少なくとも１つの情報とに応じて判断する（５）モジュール（１６）を含むレンダリングされた３次元コンテンツを判断するための装置（７）を含む明視野捕捉装置（１５）。
【請求項１４】
通信ネットワークからダウンロード可能なおよび／またはコンピュータにより読み取り可能なおよび／またはプロセッサ（１０）により実行可能な媒体に記録されたコンピュータプログラム製品であって、請求項１〜１０のいずれか一項に記載の方法（１）を実施するためのプログラムコード命令を含むコンピュータプログラム製品。
【請求項１５】
その上に記録されるとともにプロセッサ（１０）により実行されることができるコンピュータプログラム製品であって請求項１〜１０のいずれか一項に記載の方法（１）を実施するためのプログラムコード命令を含むコンピュータプログラム製品を含む非一時的コンピュータ可読キャリア媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示の分野は３次元（３Ｄ）レンダリングに関する。
【０００２】
より具体的には、本開示はレンダリングされたビューを３Ｄ表示装置に対するユーザーの頭の配向に関する情報に応じて適合化する方法に関する。
【背景技術】
【０００３】
この章は、読者を以下に記載および／または請求される本開示の様々な態様に関係し得る技術の様々な態様へ案内するように意図されている。この論述は、本開示の様々な態様のより良い理解を容易にするために読者に背景情報を提供することに役立つと考えられる。したがって、これらの陳述はこの観点から読まれるべきであって従来技術の承認として読まれるべきではないということを理解すべきである。
【０００４】
この技術分野において最近なされた無数の改善にもかかわらず、３Ｄレンダリングは集中的研究の対象のままであり、依然として未解決の多くの課題を有し得る。背景技術の捕捉システムは通常、水平方向にアライメントされた３Ｄカメラ装置群（またはミラー群の実装によるものと等価と考えられる）で構成される。結果として、３Ｄビュー間の水平方向視差（ｈｏｒｉｚｏｎｔａｌ  ｄｉｓｐａｒｉｔｙ）だけが評価され得る。
【０００５】
特に３Ｄの水準を調整するためにビュー補間のいくつかのアルゴリズムが開発されている。この補間は図１により例示するようにもっぱら水平方向に行われる。この動作を行うのに必要な入力フォーマットはビューの水平方向視差（または奥行き）を含まなければならない。このフォーマットは、例えばマルチビュー＋奥行き（すなわち左右３Ｄビューとこれらのビュー間のピクセル当たり視差を符号化する視差マップ）のためのものであり得る。
【０００６】
Ｐｈｉｌｉｐｓ／Ｄｉｍｅｎｃｏは「Ｌａｙｅｒｅｄ  Ｄｅｐｔｈ  ｖｉｄｅｏ−ＬＤＶ」と名付けられたフォーマットを提案した（図２参照）。このフォーマットは、中央カメラに対応する映像ビュー、このビューに関連付けられた奥行きマップ、遮蔽レイヤ（ｏｃｃｌｕｓｉｏｎ  ｌａｙｅｒ）およびその奥行きマップを含む。このフォーマットはＤｉｍｅｎｃｏマルチビューモニタの入力フォーマットの１つである。この情報のおかげで、モニタは中央ビューの周辺ビューを補間し得る。これらの周辺ビューは、周辺カメラ（図２の点線カメラ）により取得されるであろう水平方向にシフトされたビューに対応する。
【０００７】
前景オブジェクトの背後のいくつかのエリアは中央ビュー内で遮蔽される。これらのエリアは周辺ビュー補間により遮蔽解除されるだろう。これらの背景エリアは遮蔽レイヤとその奥行きマップとのおかげで再構築される。例えば、仮想左点線カメラに対応するビューは馬の左側の背景情報により再構築されることになる（図３）。
【０００８】
補間されたビューの位置範囲（中央カメラから仮想カメラまでの距離に対応する）は遮蔽レイヤ内の情報量に依存する。前景オブジェクトの背後の利用可能情報が多ければ多いほど、中央ビューから補間されるビューは遠くなり得る。
【０００９】
この従来技術の例では、水平方向情報だけが利用可能であるので、水平方向ビュー補間だけが行われ得る。したがって、３Ｄ効果は、眼軸が水平方向であれば満足にレンダリングされ得るだけである。
【００１０】
したがって、背景技術全体にわたる改善を示す３Ｄレンダリング方法を提供することが望ましいだろう。
【発明の概要】
【００１１】
本明細書における「一実施形態」、「実施形態」、「例示的実施形態」への参照は、記載された実施形態が特定の特徴、構造または特性を含み得るがすべての実施形態が必ずしも特定の特徴、構造または特性を含むとは限らないかもしれないということを示す。さらに、このような語句は必ずしも同じ実施形態を指さない。さらに、特定の特徴、構造または特性が実施形態に関連して記載される場合、明示的に記載されてもされなくても他の実施形態に関連したこのような特徴、構造、または特性に影響を与えることは当業者の知るところである。
【課題を解決するための手段】
【００１２】
本技術の１つの特定の実施形態では、観察者向けのレンダリングされた３次元コンテンツを判断する方法が開示される。前記方法は、
・基準ビューを含む基準コンテンツを入力することと、
・表示装置の基準軸に対する観察者の眼配向に関する少なくとも１つの情報を入力することと、
・レンダリングされたビューを基準ビューと表示装置の基準軸に対する観察者の眼配向に関する情報とに応じて判断することと、を含む。
【００１３】
以下の説明では、用語「基準ビュー」は「レンダリングされたビュー」を判断するために基準として使用される固定ビューを指す。このような「レンダリングされたビュー」は計算プロセスまたは選択プロセスのいずれかにより判断され得る。したがって、用語「レンダリングされたビュー」はこの判断ステップから生じたビューを指す。「レンダリングされた３次元コンテンツ」は基準ビューとレンダリングされたビュー両方の組み合わせであり、観測されたシーンの３次元ビューを立体視により観察者へ提供する。本開示の一実施形態では、基準ビューは観察者の左眼からのビュー（「左ビュー」とも呼ばれる）に対応し、判断すべきレンダリングされたビューは観察者の右眼からのビュー（「右ビュー」とも呼ばれる）に対応する。当業者は、別の実施形態ではこのような対応関係が逆転され得、このとき観察者の右眼が基準ビューを見るということを理解することになる。別の実施形態では、このようなビューはまた、任意のオブジェクト例えば無人機に取り付けられインターフェースユニットを介しオペレータと少し離れて接続されたセンサに割り振られ得る。
【００１４】
本開示による方法は、表示装置の基準軸に対する観察者の眼配向に従ってこのシーンの３次元のレンダリングされたビューを適合化することにより観測シーンを考察する異なる手法に依存する。このようにして、観察者が自身の頭を傾けると、本方法の実施形態は、シーンを３次元で観測する錯覚を生成するために、適応化されたレンダリングされたコンテンツが観察者の眼に向けられることを判断できるようにする。考慮される観察者の眼軸の方向は実際には、表示装置の基準軸と比較される表示画面上へのこの軸の投影である。
【００１５】
一実施形態では、本方法は表示装置の基準軸に対する観察者の眼配向に関係する情報に応じて視差方向を判断することを含み、レンダリングされたビューを判断することもまた視差方向に応じたものである。
【００１６】
一実施形態では、基準コンテンツは、基準ビュー内の奥行きを描写する奥行きマップ、または少なくとも１つの所与ビューと基準ビューとの間の視差に関する情報、または少なくとも１つの所与ビューを含み、レンダリングされたビューを判断するステップもまた、奥行きマップ、または視差に関する情報、または少なくとも１つの所与ビューに応じたものである。
【００１７】
用語「奥行きマップ」は、ある視点から観測されたシーンの距離に関係する情報を含む画像（この場合、基準ビューまたはレンダリングされたビューのいずれか）を指す。用語「視差（ｄｉｓｐａｒｉｔｙまたはｐａｒａｌｌａｘ）」は２つの異なるビュー上の当該画素間の表示装置（すなわち光センサ）上のずれを指す。従来技術から知られているように、立体画像内の奥行き認識を可能にする視差マップと奥行きマップとを切り替えることが可能である。用語「所与ビュー」は基準ビューと同じシーンのオブジェクトを描写するビューであるが別の視点からのビューを指す。
【００１８】
基準ビュー［．．．］、奥行きビュー［．．．］、視差に関する情報［．．．］を含む基準コンテンツという表現に直面すると、当業者は、これらの異なるデータは、入力された基準コンテンツの一部、または背景技術から知られた方法および／または当業者の一般知識に基づく基準コンテンツから明らかに導出または抽出され得る情報のいずれかであるということを理解する。したがって、同じ表現で、用語「含む：ｃｏｍｐｒｉｓｉｎｇ」は「含む：ｉｎｃｌｕｄｉｎｇ、または以下のデータが抽出され得る」という表現により置換され得る。例えば、当業者は明らかに、複数のビューを含む基準コンテンツから少なくともこれらのビューのうちの２つの間の視差に関する情報を抽出することができるようになる。
【００１９】
このような方法は、奥行きマップ、または視差に関する情報、または少なくとも１つの所与ビューの利用のおかげで、満足なレンダリングされたコンテンツ品質を保持する一方で入力データのサイズを制限することによる低計算複雑性を特徴とする。
【００２０】
一実施形態では、基準コンテンツは表示装置の基準軸と一定角度を形成する傾斜軸に沿った基準ビューの隠蔽部分に関する遮蔽情報（ｏｃｃｌｕｓｉｏｎ  ｉｎｆｏｒｍａｔｉｏｎ）を含み、レンダリングされたビューを判断するステップもまた遮蔽情報に応じたものである。
【００２１】
用語「遮蔽情報」は、ある視点（例えば基準ビュー内の）からは隠蔽または遮蔽されるが、当該オブジェクトに従って一方向または別の方向に移動すると露見され得るシーンのいくつかの部分に関する情報を指す。したがって、このような方法は、適切なレンダリングされた３次元コンテンツを判断するために、表示装置の基準軸とは別の方向に沿った情報を考慮することによるそしてそれらと観察者の眼配向に関する情報とを組み合わせて利用することによる背景技術の範囲外の技術に立脚している。このような方法はまた、遮蔽情報の利用のおかげで、満足なレンダリングされたコンテンツ品質を保持する一方で入力データのサイズを制限することによる低計算複雑性を特徴とする。
【００２２】
一実施形態では、遮蔽情報は、表示装置の基準軸と角度を形成する少なくとも２つの傾斜軸に沿った基準ビューの隠蔽部分に関する。
【００２３】
認識される３Ｄ効果の品質は通常、考慮される方向の数と共に増加する。したがって、遮蔽情報により考慮される方向を加えることで、判断すべきレンダリングされたビューの品質を改善できるようにする。
【００２４】
一実施形態では、判断することは、基準ビュー、奥行きマップ、または視差に関する情報、遮蔽情報、および表示装置の基準軸に対する観察者の眼配向に関係する情報に応じて補間することからなる。
【００２５】
従来技術の教示とは逆に、本開示のこの実施形態による方法は、単一基準ビューだけを必要とし、入力される基準コンテンツのサイズを低減できるようにし、本方法の複雑性を低減する一方でより良好な補間品質を特徴とする。
【００２６】
一実施形態では、補間することは、
・基準ビュー奥行きマップから、奥行き、またはレンダリングされたビューの視差マップを判断することと、
・レンダリングされたビューの隠蔽部分を遮蔽情報に基づき判断することと、を含む。
【００２７】
このような方法は、遮蔽情報の利用のおかげで、満足なレンダリングされたコンテンツ品質を保持できるようにする。
【００２８】
別の実施形態では、レンダリングされたビューの隠蔽部分を判断することは、イン・ペインティング（ｉｎ−ｐａｉｎｔｉｎｇ）技術のおかげで、基準ビューの遮蔽されたエリアを補間することからなる。したがって、遮蔽情報はこのような方法を行うために必要とされない。
【００２９】
一実施形態では、補間することはさらに、レンダリングされたビューの各画素の色を基準ビュー内の当該画素の色に基づき判断することを含む。
【００３０】
一実施形態では、基準ビューは観察者の左眼または右眼からのビューに対応し、判断すべきレンダリングされたビューは観察者の反対の眼からのビューに対応し、基準ビュー内の位置（ｕＬ，ｖＬ）に位置するオブジェクトのレンダリングされたビュー内の位置（ｕＲ，ｖＲ）は次式より与えられる：
【数１】
2017163528.tif 000003
【００３１】
ここで、
【数２】
2017163528.tif 000004
はベースラインベクトルの水平および垂直成分であり、
【数３】
2017163528.tif 000005
はＢ＊ｃｏｓθに等しく
【数４】
2017163528.tif 000006
はＢ＊ｓｉｎθに等しく、Ｂは観察者の眼間の距離であり、θは観察者の眼配向である。ここでＺＬ（ｕＬ，ｖＬ）は位置（ｕＬ，ｖＬ）における奥行き値に対応し、ｆｕとｆｖそれぞれは焦点長と観察者の眼配向を感知するようにされたセンサ上の水平および垂直方向密度との積である。
【００３２】
一実施形態では、基準コンテンツは明視野データを含む。
【００３３】
このような明視野データは、基準ビューを含むまたはその抽出を可能にし、関連奥行きマップの抽出または判断を可能にし、異なる方向からのいくつかのビューおよび／またはいくつかの方向の前景オブジェクトの隠蔽部分を描写する遮蔽マップを含み得る。別の実施形態では、基準ビューに関連付けられた隠蔽データは異なる視差方向を有する複数の所与ビューから抽出され得る。したがって、認識された３Ｄ効果の品質は著しく改善される。
【００３４】
一実施形態では、基準コンテンツは複数の所与ビューを含み、判断することは、レンダリングされたビューを基準コンテンツと表示装置の基準軸に対する観察者の眼配向に関係する情報とに応じて所与ビューの中から選択することからなる。
【００３５】
用語「複数の所与ビュー」は、基準ビューと比較して異なる視差方向を有する潜在的なレンダリングされたビューを指す。本開示の方法を実施する際、所与ビューのうちの１つは、一方では視差方向と水平軸とにより形成される角度と他方では眼軸と３Ｄ表示装置の基準軸とにより形成される角度との差を最小限にするように選択される。このような選択することは容易に計算されるが、観察者の眼配向に対し余り適応化されないレンダリングされたビュー結果を潜在的にもたらし得る。
【００３６】
本開示はまた、観察者向けのレンダリングされた３次元コンテンツを判断するための装置に関する。本装置は、レンダリングされたビューを
・少なくとも基準ビューを含む基準コンテンツと、
・表示装置の基準軸に対する観察者の眼配向に関係する少なくとも１つの情報とに応じて判断するためのモジュールを含む。
【００３７】
当業者は、これまでここで説明した方法上で実施される有利な技術的特徴のそれぞれが本装置上で実施され、したがって関連付けられた技術的利点を与え得るということを理解することになる。
【００３８】
一実施形態では、本装置は、表示装置の基準軸に対する観察者の眼配向を判断するようにされた少なくとも１つのセンサを含む。
【００３９】
このようなセンサは、特定マーカを備えた専用眼鏡、ジャイロスコープ、その配向だけでなく観察者の顔も検知するカメラベースシステム、または従来技術から知られた任意の他の技術を指す。
【００４０】
一実施形態では、本装置は、基準ビューおよび／またはレンダリングされたビューを表示するために立体的または自動立体的表示装置を含む。
【００４１】
したがって、この実施形態による装置は以下の形式であり得る：
・頭部装着型ディスプレイ、仮想網膜ディスプレイ、
・そのレンダリングされたコンテンツが能動３Ｄビューア（例えばシャッタシステム）または受動３Ｄビューア（例えば偏光システム）に関連するように適合化された表示装置を実現するシステム（例えばモニタテレビまたは可動式ディスプレイ）、干渉フィルタシステムまたはカラー立体写真システム、
・レンチキュラーレンズ、パララックスバリアまたはマイクロレンズアレイを具現化する固定または可動自動立体ディスプレイ。
【００４２】
上記リストは例示として与えられており、本開示の範囲を制限しないということを理解すべきである。
【００４３】
本開示はまた、レンダリングされたビューを
・少なくとも基準ビューを含む基準コンテンツと、
・表示装置の基準軸に対する観察者の眼配向に関係する少なくとも１つの情報とに応じて判断するためのモジュールを含むレンダリングされた３次元コンテンツを判断するための装置を含む明視野捕捉装置に関する。
【００４４】
本開示はまた、通信ネットワークからダウンロード可能なコンピュータプログラム製品および／またはコンピュータにより読み取り可能なおよび／またはプロセッサにより実行可能な媒体に記録されたコンピュータプログラム製品であってレンダリングされた３次元コンテンツを判断する方法を実施するためのプログラムコード命令を含むコンピュータプログラム製品に関する。
【００４５】
本開示はまた、非一時的コンピュータ可読キャリア媒体上に記録されプロセッサにより実行されることができるコンピュータプログラム製品であって、レンダリングされた３次元コンテンツを判断する方法を実施するためのプログラムコード命令を含むコンピュータプログラム製品を含む非一時的コンピュータ可読キャリア媒体に関する。
【００４６】
明示的に説明されないが、本実施形態は任意の組み合わせまたは副組み合わせで採用され得る。
【００４７】
本発明は、一例として記載されるが保護の範囲を制限しない以下の説明と添付図面とを参照してより良く理解される。
【図面の簡単な説明】
【００４８】
【図１】従来技術から知られた水平方向眼のビュー合成を示す線図である。
【図２】従来技術から知られた水平方向眼のビュー合成を示す線図である。
【図３】従来技術から知られたＬＤＶフォーマットからのビュー再構成を示す線図である。
【図４】本開示の一実施形態によるレンダリングされた３次元コンテンツを判断する方法を行う際に実施される連続ステップのフローチャートである。
【図５】認識された奥行きと立体ペアの観察者の左右目像間の視差との関係を示す線図である。
【図６】観察者の眼の軸方向に依存した一組の左右ビューを示す線図である。
【図７】眼軸と水平軸との角度θが範囲［−９０°，＋９０°］にある３つの異なるケースを示す線図である。
【図８】本開示の第１の実施形態によるレンダリングされた３次元コンテンツを判断する方法を行う際に実施される連続ステップのフローチャートである。
【図９】本開示の第２の実施形態によるレンダリングされた３次元コンテンツを判断する方法を行う際に実施される連続ステップのフローチャートである。
【図１０】左ビューと視差方向と水平軸との角度が範囲［−９０°，＋９０°］にある一組の所与ビューとを示す線図である。
【図１１】本開示の一実施形態によるレンダリングされた３次元コンテンツを判断するための装置の例を示す概略ブロック図である。
【００４９】
添付図面内の構成要素は、必ずしも正確な縮尺ではなく、むしろ本開示の原理を示すことに重点が置かれている。
【発明を実施するための形態】
【００５０】
本開示は、レンダリングされた３次元コンテンツを観察者の眼配向θに応じて判断する方法１に関する。本開示のいくつかの実施形態の多くの特定の詳細が、このような実施形態の完全な理解を与えるために以下の明細書および図１〜図９に記載される。本開示は追加実施形態を有し得るまたは以下の明細書に説明する詳細のいくつかが無しに実施され得るということを理解すべきである。
【００５１】
図４に示すように、このような方法１は、
・少なくとも基準ビュー８を含む基準コンテンツＲｅｆ＿Ｃを入力するステップ２と、
・表示装置の基準軸Ｘに対する観察者の眼配向θに関する少なくとも１つの情報を入力するステップ４と、
・レンダリングされたビュー６を基準ビュー８と表示装置の基準軸Ｘに対する観察者の眼配向θに関する情報とに応じて判断するステップ５と、を含む。
【００５２】
以下の説明では、基準ビュー８は「左ビュー」とも呼ばれる観察者の左眼からのビューに対応し、判断すべきレンダリングされたビュー６は「右ビュー」とも呼ばれる観察者の右眼からのビューに対応する。別の実施形態では、このような対応関係は逆転され得、このとき観察者の右眼は基準ビューを見る。別の実施形態では、このようなビューはまた、任意のオブジェクト例えば無人機に取り付けられインターフェースユニットを介しオペレータと少し離れて接続されたセンサに割り振られ得る。
【００５３】
図５は、認識された奥行きＺｐと観察者の左右眼像間の視差Ｐとの関係を示す。ここで、Ｚｐは認識された奥行き、ｔｅは眼間距離、ＺＳは観察者からスクリーンまでの距離である。このようにして、認識された奥行きＺｐと、視差Ｐと、スクリーンまでの距離ＺＳとの関係は次のように表される：
【数５】
2017163528.tif 000007
【００５４】
ここで、ｄは送信された視差情報、ＷＳはスクリーンの幅、Ｎｃｏｌはスクリーンの画素列の数である。
【００５５】
例示として、本開示の３つの特定の実施形態について説明する。それぞれは、レンダリングされたビュー６を補間することまたは選択することのいずれかにより判断するステップ５の別の実施形態を説明する。
【００５６】
１  本開示の第１の実施形態
本開示の第１の実施形態では、左ビュー８と右ビュー６の両方を含むレンダリングされた３次元コンテンツを判断する方法１のレンダリングされたビュー６を判断するステップ５は補間ステップからなる。
【００５７】
図６は、表示装置の基準軸Ｘに対する観察者の眼の軸方向の配向に依存した一組の左右ビュー（８；６）を示す。前景オブジェクトは四角により象徴化される。この実施形態では、右ビュー６は補間され、左ビュー８は固定基準と考えられる。
【００５８】
ステップ２で入力された基準コンテンツＲｅｆ＿Ｃは、左ビュー８と、当該奥行きマップＺＬと、左ビュー内でマスクされるが右ビュー６を再構築するために必要とされる情報を含む遮蔽マップＶＯとで構成される。
【００５９】
補間ステップ５．１は眼軸θの配向に依存するので、遮蔽マップＶＯは単一傾斜軸に沿ったものだけではなくすべての方向の遮蔽情報を優先的に含む。一実施形態では、ステップ２で入力される基準コンテンツＲｅｆ＿Ｃは、左ビュー８と、当該奥行きマップＺＬと、すべての方向の前景オブジェクトの隠蔽部分を描写する遮蔽マップＶＯとを含む明視野データ（例えば逆多重化明視野像）である。別の実施形態では、遮蔽情報は低減数の方向へ制限され得、一方では基準コンテンツのサイズを低減し、他方では補間されたレンダリングされたビュー６の品質に影響を与える。代替的に、基準ビュー８内で隠蔽されるデータは、遮蔽マップＺ０内で提供される代わりに異なる視差方向を有する複数の所与ビュー９から抽出され得る。この場合、ステップ２で入力された基準コンテンツＲｅｆ＿Ｃは遮蔽マップＺ０を明示的には含まないが、この遮蔽マップまたは等価物が複数の所与ビュー９から抽出される。左ビュー８内の位置（ｕＬ，ｖＬ）に位置する前景オブジェクトの右ビュー６内の位置（ｕＲ，ｖＲ）は次式（１）により与えられる：
【数６】
2017163528.tif 000008
【００６０】
ここで、
【数７】
2017163528.tif 000009
はベースラインの水平および垂直成分であり、
【数８】
2017163528.tif 000010
はＢ＊ｃｏｓθに等しく
【数９】
2017163528.tif 000011
はＢ＊ｓｉｎθに等しく、Ｂは観察者の眼間の距離である。ここで、ＺＬ（ｕＬ，ｖＬ）は位置（ｕＬ，ｖＬ）における奥行き値に対応し、ｆｕとｆｖそれぞれは観察者の眼配向を感知するようにされたセンサ上の水平および垂直方向密度と焦点長との積である。
【００６１】
図７に示すように、ベクトル
【数１０】
2017163528.tif 000012
は表示装置の基準軸Ｘに対する眼軸の配向から計算される。図６は眼軸と基準軸Ｘとの角度θが範囲［−９０°、＋９０°］である４つの異なるケースを示す。表示装置または任意の他の装置に取り付けられたセンサが、角度θ、またはこの角度θを導出できるようにする任意の他の情報を測定するように構成され得る。例えば、特定マーカを備えた専用眼鏡、ジャイロスコープ、またはその配向だけでなく観察者の顔も検知するカメラベースシステムが眼配向センサとして使用され得る。測定されると、角度θは、方法１を実施する装置７においてステップ４で入力される。
【００６２】
図８に示すように、補間ステップ５を実行するために、装置７は最初に、ステップ５．１において、レンダリングされたビュー６の奥行きマップＺＲを基準ビュー奥行きマップＺＬからまたは基準ビュー８と少なくとも１つの所与ビュー９との間で計算された視差マップから判断する。このようにして、左ビュー８の画素毎に、対応点の２次元（２Ｄ）位置が式（１）を元に判断される。次に、この奥行き値は、奥行き値が２つの対応点間で不変のままであるという仮定に基づき、次式により表されるように右ビュー内の最近接画素に割り振られる：
ＺＲ（ｕＲ，ｖＲ）＝ＺＬ（ｕＬ，ｖＬ）
【００６３】
次に、右ビュー６の画素毎に、装置７は次式により左ビュー８内の対応点の２Ｄ位置を判断する：
【数１１】
2017163528.tif 000013
【００６４】
次に、装置７は、ステップ５．２において、左ビュー８内の対応点の色から右ビュー６の各画素の色を判断する。
【００６５】
色判断ステップ５．２に続いて、位置判断ステップの終わりに奥行き値を得なかった画素は、左ビュー内に隠された遮蔽解除エリア３に対応する。次に、欠落した奥行きデータは、ステップ５．３において、位置判断ステップ出力からの隣接利用可能奥行きデータ（ｎｅｉｇｈｂｏｒｉｎｇ  ａｖａｉｌａｂｌｅ  ｄｅｐｔｈ  ｄａｔａ）から補間される。次に、遮蔽マップＶＯの当該画素は、補間された右ビュー６内のこれらの遮蔽解除エリア３を埋めるためにステップ５．４において使用される。代替的に、基準コンテンツＲｅｆ＿Ｃが遮蔽マップＶＯを含まない場合、補間された右ビュー６内の遮蔽解除エリア３をステップ５．４において埋めることは隣接利用可能画素の補間により行われる。
【００６６】
次に、左ビュー８と右ビュー６両方の組み合わせが、観察者の眼配向θに適応化されたレンダリングされた３次元コンテンツを形成する。
【００６７】
この実施形態によると、視差マップが基準コンテンツＲｅｆ＿Ｃ内に提供される。しかし、別の実施形態では、この視差マップは、入力ステップ２後に基準ビュー８と少なくとも１つの所与ビュー９とに基づき計算される可能性がある。この場合、視差マップは基準コンテンツＲｅｆ＿Ｃ内で必須ではない。
【００６８】
２  本開示の第２の実施形態
本開示の第２の実施形態では、図９に示すように、レンダリングされた右ビュー６を判断するステップ５は、レンダリングされた右ビュー６を表示装置の基準軸Ｘに対する観察者の眼配向θに応じて複数の所与ビュー９の中から選択するステップを含む。この実施形態では、所与ビュー９は、図９に示すように、左ビュー８と比較して異なる視差方向を有する一組の潜在的右ビューで構成される。これらの視差方向のそれぞれは表示装置の基準軸Ｘと角度θ’を形成する。
【００６９】
ステップ４における観察者の眼配向θの入力に続いて、装置７は、基準軸Ｘと視差方向とにより形成される角度（角度θ’）と基準軸Ｘと眼軸とにより形成される角（角度θ）との差を最小限にするように所与ビュー９のうちの１つを選択する。
【００７０】
３  本開示の第３の実施形態
本開示の第３の実施形態では、ステップ２で入力されるコンテンツは、基準ビュー８と表示装置の基準軸Ｘに対する観察者眼軸配向θとからなる。観察者眼配向θは判断すべきレンダリングされたビュー６の視差方向に対応する。
【００７１】
この実施形態によると、奥行きマップＺＬが最初に、Ｚ．Ｚｈａｎｇによる２０１１年ＩＣＩＰ会議：「ＶＩＳＵＡＬ  ＰＥＲＴＩＮＥＮＴ  ２Ｄ−ＴＯ−３Ｄ  ＶＩＤＥＯ  ＣＯＮＶＥＲＳＩＯＮ  ＢＹ  ＭＵＬＴＩ−ＣＵＥ  ＦＵＳＩＯＮ」に記載のように、基準ビュー８と観察者眼軸配向θとに応じて推定される。
【００７２】
次に、レンダリングされたビュー６が、本開示の第１の実施形態の説明に記載のように、基準ビュー８と奥行きマップＺＬとに応じて補間される（段落１を参照）。
【００７３】
４  本開示の一実施形態による装置
図１０は、本開示の一実施形態によるレンダリングされた３次元コンテンツを判断するための装置の例を示す概略ブロック図である。
【００７４】
図１０に示す装置７は、バス１４により接続されるプロセッサ１０、格納ユニット１１、インターフェースユニット１２およびセンサ１３を含む。当然、コンピュータ装置７の構成要素は、バス１４を使用するバス接続以外の接続により接続され得る。
【００７５】
プロセッサ１０は装置７の動作を制御する。格納ユニット１１は、プロセッサ１０により実行される少なくとも１つのプログラムと、基準コンテンツＲｅｆ＿Ｃに含まれるデータ、プロセッサ１０により行われる計算により使用されるパラメータ、プロセッサ１０により行われる計算の中間データ、等々を含む様々なデータとを格納する。格納ユニット１１は特には、基準コンテンツＲｅｆ＿Ｃおよび観察者眼軸配向θの成分を格納し得る。プロセッサ１０は、任意の既知で好適なハードウェア、またはソフトウェア、またはハードウェアとソフトウェアの組み合わせにより形成され得る。例えば、プロセッサ１０は、処理回路などの専用ハードウェアにより、またはそのメモリ内に格納されたプログラムを実行するＣＰＵ（中央処理装置）などのプログラム可能処理ユニットにより、形成され得る。
【００７６】
格納ユニット１１は、任意の好適な記憶装置、またはコンピュータ読み取り可能なやり方でプログラム、データなどを格納することができる手段により形成され得る。格納ユニット１１の例としては、半導体メモリ装置などの非一時的コンピュータ可読記憶媒体、およびリード／ライトユニット中にロードされる磁気的、光学的、または磁気光学的記録媒体が挙げられる。プログラムは、プロセッサ１０に、図４を参照して上に説明した本開示の一実施形態によるレンダリングされた３次元コンテンツを判断することを実行させる。
【００７７】
インターフェースユニット１２は装置７と外部装置との間のインタフェースを提供する。インターフェースユニット１２はケーブルまたは無線通信を介し外部装置と通信し得る。この実施形態では、外部装置は明視野捕捉装置１５であり得る。この場合、明視野データは、明視野捕捉装置１５からインターフェースユニット１２を通して装置７へ入力され、次に、格納ユニット１１内に格納され得る。
【００７８】
装置７と明視野捕捉装置１５は、ケーブルまたは無線通信を介し互いに通信し得る。
【００７９】
図１０は１つのプロセッサ１０だけが示されるが、当業者は、このようなプロセッサが、レンダリングされたビュー６を表示装置の基準軸Ｘに対する観察者の眼配向θに応じて判断する５ために基準コンテンツおよび観察者の眼配向θの異なる成分を処理するモジュール１６などの本開示の実施形態による装置７により行われる機能を具現化する異なるモジュールおよびユニットを含み得るということを理解することになる。このモジュールはまた、互いに通信および協働するいくつかのプロセッサ１０で具現化され得る。
【００８０】
当業者により理解されるように、本原理の態様はシステム、方法またはコンピュータ可読媒体として具現化され得る。したがって、本原理の態様は、完全にハードウェア実施形態、完全にソフトウェア実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、またはソフトウェア態様とハードウェア態様とを組み合わせる実施形態の形式を採り得る。
【００８１】
本原理が１つまたはいくつかのハードウェア部品により実施される場合、ハードウェア部品は中央処理ユニットなどの集積回路であるプロセッサおよび／またはマイクロプロセッサおよび／または特定用途向け集積回路（ＡＳＩＣ）および／または特定用途命令セットプロセッサ（ＡＳＩＰ）および／またはグラフィック処理装置（ＧＰＵ）および／または物理的処理ユニット（ＰＰＵ）および／またはデジタルシグナルプロセッサ（ＤＳＰ）および／または画像処理プロセッサおよび／またはコプロセッサおよび／または浮動小数点ユニットおよび／またはネットワークプロセッサおよび／またはオーディオプロセッサおよび／またはマルチコアプロセッサを含むということに注目し得る。さらに、ハードウェア部品はまた、無線信号を受信または送信するベースバンドプロセッサ（例えばメモリユニットとファームウェアを含む）および／または無線電子回路（アンテナを含み得る）を含み得る。一実施形態では、ハードウェア部品は、ＩＳＯ／ＩＥＣ１８０９２／ＥＣＭＡ−３４０，ＩＳＯ／ＩＥＣ２１４８１／ＥＣＭＡ−３５２，ＧＳＭＡ，ＳｔｏＬＰａＮ，ＥＴＳＩ／ＳＣＰ（Ｓｍａｒｔ  Ｃａｒｄ  Ｐｌａｔｆｏｒｍ），ＧｌｏｂａｌＰｌａｔｆｏｒｍ（すなわち、ａ  ｓｅｃｕｒｅ  ｅｌｅｍｅｎｔ）などの１つまたは複数の標準規格に準拠する。変形形態では、ハードウェア部品は高周波識別子（ＲＦＩＤ：Ｒａｄｉｏ−ｆｒｅｑｕｅｎｃｙ  ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）タグである。一実施形態では、ハードウェア部品は、ブルートゥース通信および／またはＷｉ−ｆｉ通信および／またはジグビー通信および／またはＵＳＢ通信および／またはファイヤワイヤ通信および／またはＮＦＣ（近接場のための）通信を可能にする回路を含む。
【００８２】
さらに、本原理の態様はコンピュータ可読記憶媒体の形式を採り得る。１つまたは複数のコンピュータ可読記憶媒体の任意の組み合わせが利用され得る。
【００８３】
したがって、例えば、任意のフローチャート、フローダイアグラム、状態遷移図、擬似コードなどが、コンピュータ可読記憶媒体内に実質的に表されしたがってコンピュータまたはプロセッサ（このようなコンピュータまたはプロセッサが明示的に示されても示されなくても）により実行され得る様々な処理を表すということが理解される。
【００８４】
本開示は１つまたは複数の例を参照して説明されたが、当業者は、変更は、本開示および／または添付特許請求項の範囲から逸脱することのない形式および詳細でもってなされ得るということを認識することになる。
【符号の説明】
【００８５】
６  レンダリングされた（右）ビュー
７  コンピュータ装置
８  基準（左）ビュー
９  所与ビュー
１０  プロセッサ
１１  格納ユニット
１２  インターフェースユニット
１３  センサ
１４  バス
１５  明視野捕捉装置
【図１】
2017163528.tif 000018
【図２】
2017163528.tif 000019
【図３】
2017163528.tif 000020
【図４】
2017163528.tif 000021
【図５】
2017163528.tif 000022
【図６】
2017163528.tif 000023
【図７】
2017163528.tif 000024
【図８】
2017163528.tif 000025
【図９】
2017163528.tif 000026
【図１０】
2017163528.tif 000027
【図１１】
2017163528.tif 000028
【外国語明細書】
2017163528000001.pdf