(57)【要約】【課題】  両目の位置の目座標を調整する３次元（３Ｄ）レンダリング方法及び装置を提供する。【解決手段】  一実施形態による３Ｄレンダリング方法は、ユーザの映像からユーザの両目の位置の目座標を検出し、光の屈折によるクロストークを減少させる仮想の目の位置に対応するよう両目の位置の目座標を調整し、調整された目座標を用いてユーザの両目に対する３Ｄレンダリングを行う。【選択図】      図４
2018085724.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの映像から前記ユーザの両目の位置の目座標を検出するステップと、
光の屈折によるクロストークを減少させる仮想の目の位置に対応するよう前記両目の位置の目座標を調整するステップと、
前記調整された目座標を用いて前記ユーザの両目に対する３Ｄレンダリングを行うステップと、
を含む、３Ｄレンダリング方法。
【請求項２】
前記両目の位置の目座標を調整するステップは、前記両目の位置誤差を許容する範囲に対応する瞳孔間距離内で前記両目の位置の目座標を調整するステップを含む、請求項１に記載の３Ｄレンダリング方法。
【請求項３】
前記両目の位置の目座標を調整するステップは、
前記両目の位置の目座標に対応する単一フレームの一部ピクセルである第１ピクセルに対してスネルの法則を適用するステップと、
前記第１ピクセルにスネルの法則を適用した結果に基づいて、前記両目の位置の目座標を調整するステップと、
を含む、請求項１に記載の３Ｄレンダリング方法。
【請求項４】
前記第１ピクセルにスネルの法則を適用した結果に基づいて前記両目の位置の目座標を調整するステップは、
前記第１ピクセルに対してスネルの法則を適用した第１結果値を算出するステップと、
前記第１ピクセルに対し近軸近似を適用した第２結果値を算出するステップと、
前記第１結果値と前記第２結果値との間の差に基づいて前記両目の位置の目座標を調整するステップと、
を含む、請求項３に記載の３Ｄレンダリング方法。
【請求項５】
前記第１結果値と前記第２結果値との間の差に基づいて前記両目の位置の目座標を調整するステップは、
前記第１結果値と前記第２結果値との間の差に基づいた評価関数を決定するステップと、
前記評価関数を最小化させる仮想の両目の位置を算出するステップと、
前記仮想の両目の位置によって前記両目の位置の目座標を調整するステップと、
を含む、請求項４に記載の３Ｄレンダリング方法。
【請求項６】
前記第１ピクセルは、３Ｄディスプレイの側部に位置するピクセルを含む、請求項３に記載の３Ｄレンダリング方法。
【請求項７】
前記両目の位置の目座標を調整するステップは、前記ユーザの両目の位置の目座標のうちＸ座標を調整する予め定義された第１関数、前記ユーザの両目の位置の目座標のうちＺ座標を調整する予め定義された第２関数、及び前記ユーザの両目の位置の目座標に対応する調整された目座標を予め格納するルックアップテーブルのうち少なくとも１つを用いて前記ユーザの両目の位置の目座標を調整するステップを含む、請求項１に記載の３Ｄレンダリング方法。
【請求項８】
前記第１関数は、前記両目の位置の目座標のうちＺ座標により変化する第１パラメータ、及び３Ｄディスプレイの画面中心とイメージセンサとの間の距離に基づいた第２パラメータに基づいて前記Ｘ座標を調整する、請求項７に記載の３Ｄレンダリング方法。
【請求項９】
前記第１パラメータは、
１以下の値を有し、
前記両目の位置が前記３Ｄディスプレイの画面に近づくほど小さくなり、前記両目の位置が前記３Ｄディスプレイの画面から遠ざかるほど大きくなる、請求項８に記載の３Ｄレンダリング方法。
【請求項１０】
前記第２関数は、前記両目の位置の目座標のうちＸ座標により変化する第３パラメータ、及び前記Ｘ座標により変化する第４パラメータに基づいて前記Ｚ座標を調整する、請求項７に記載の３Ｄレンダリング方法。
【請求項１１】
前記第３パラメータは、
前記両目の位置が３Ｄディスプレイの画面の側部に行くほど小さくなり、
前記両目の位置が前記３Ｄディスプレイの画面の中心に行くほど大きくなり、
前記両目の位置が前記３Ｄディスプレイの画面の中心に行くほど１に近接する値を有する、請求項１０に記載の３Ｄレンダリング方法。
【請求項１２】
前記第４パラメータは、
前記両目の位置が３Ｄディスプレイの画面の側部に行くほど大きくなり、
前記両目の位置が前記３Ｄディスプレイの画面の中心に行くほど小さくなり、
前記両目の位置が前記３Ｄディスプレイの画面の中心に行くほど０に近接する値を有する、請求項１０に記載の３Ｄレンダリング方法。
【請求項１３】
前記ユーザの両目の位置の目座標を検出するステップは、
モバイル装置のイメージセンサを用いて前記ユーザの顔映像を取得するステップと、
前記ユーザの顔映像の視点を追跡して前記イメージセンサを基準とする前記ユーザの両目の位置の目座標を検出するステップと、
を含む、請求項１に記載の３Ｄレンダリング方法。
【請求項１４】
請求項１ないし１３のいずれか一項に記載の方法を実行するプログラムを格納したコンピュータ読み出し可能な記録媒体。
【請求項１５】
３Ｄレンダリング装置において、
ユーザの映像からユーザの両目の位置の目座標を検出するイメージセンサと、
光の屈折によるクロストークを減少させる仮想の目の位置に対応するよう前記両目の位置の目座標を調整し、前記調整された目座標を用いて前記ユーザの両目に対する３Ｄレンダリングを行うプロセッサと、
を含む、３Ｄレンダリング装置。
【請求項１６】
前記プロセッサは、前記両目の位置誤差を許容する範囲に対応する瞳孔間距離内で前記両目の位置の目座標を調整する、請求項１５に記載の３Ｄレンダリング装置。
【請求項１７】
前記プロセッサは、前記検出された両目の位置の目座標に対応する単一フレームの一部ピクセルである第１ピクセルに対してスネルの法則を適用し、前記第１ピクセルにスネルの法則を適用した結果に基づいて前記両目の位置の目座標を調整する、請求項１５に記載の３Ｄレンダリング装置。
【請求項１８】
前記プロセッサは、前記第１ピクセルに対して前記スネルの法則を適用した第１結果値を算出し、前記第１ピクセルに対して近軸近似を適用した第２結果値を算出し、前記第１結果値と前記第２結果値との間の差に基づいて前記両目の位置の目座標を調整する、請求項１７に記載の３Ｄレンダリング装置。
【請求項１９】
前記プロセッサは、前記第１結果値と前記第２結果値との間の差に基づいた評価関数を決定し、前記評価関数を最小化させる仮想の両目の位置を算出し、前記仮想の両目の位置によって前記両目の位置の目座標を調整する、請求項１８に記載の３Ｄレンダリング装置。
【請求項２０】
前記第１ピクセルは、３Ｄディスプレイの側部に位置するピクセルを含む、請求項１７に記載の３Ｄレンダリング装置。
【請求項２１】
前記プロセッサは、前記ユーザの両目の位置の目座標のうちＸ座標を調整する予め定義された第１関数、前記ユーザの両目の位置の目座標のうちＺ座標を調整する予め定義された第２関数、及び前記ユーザの両目の位置の目座標に対応する調整された目座標を予め格納するルックアップテーブルのうち少なくとも１つを用いて前記ユーザの両目の位置の目座標を調整する、請求項１５に記載の３Ｄレンダリング装置。
【請求項２２】
前記第１関数は、前記両目の位置の目座標のうちＺ座標により変化する第１パラメータ及び３Ｄディスプレイの画面中心と前記イメージセンサとの間の距離に基づいた第２パラメータに基づいて前記Ｘ座標を調整する、請求項２１に記載の３Ｄレンダリング装置。
【請求項２３】
前記第１パラメータは、
１以下の値を有し、
前記両目の位置が前記画面に近づくほど小さくなり、前記両目の位置が前記画面から遠ざかるほど大きくなる、請求項２２に記載の３Ｄレンダリング装置。
【請求項２４】
前記第２関数は、前記両目の位置の目座標のうちＸ座標により変化する第３パラメータ及び前記Ｘ座標により変化する第４パラメータに基づいて前記Ｚ座標を調整する、請求項２１に記載の３Ｄレンダリング装置。
【請求項２５】
前記第３パラメータは、
前記両目の位置が３Ｄディスプレイの画面の側部に行くほど小さくなり、
前記両目の位置が前記３Ｄディスプレイの画面の中心に行くほど大きくなり、
前記両目の位置が前記３Ｄディスプレイの画面の中心に行くほど１に近接する値を有する、請求項２４に記載の３Ｄレンダリング装置。
【請求項２６】
前記第４パラメータは、
前記両目の位置が３Ｄディスプレイの画面の側部に行くほど大きくなり、
前記両目の位置が前記３Ｄディスプレイの画面の中心に行くほど小さくなり、
前記両目の位置が前記３Ｄディスプレイの画面の中心に行くほど０に近接する値を有する、請求項２４に記載の３Ｄレンダリング装置。
【請求項２７】
前記イメージセンサは、前記ユーザの顔映像を取得し、
前記プロセッサは、前記ユーザの顔映像の視点を追跡して前記イメージセンサを基準とする前記ユーザの両目の位置の目座標を検出する、請求項１５に記載の３Ｄレンダリング装置。
【請求項２８】
前記３Ｄレンダリング装置はモバイル装置を含む、請求項１５に記載の３Ｄレンダリング装置。
【請求項２９】
ユーザの映像から前記ユーザの両目の位置の目座標を受信するステップと、
バックライトユニットからパネルを通過する光の屈折に基づいて調整された目座標を生成するステップと、
前記調整された目座標に基づいて前記両目の３Ｄレンダリングを行うステップと、
を含む、３次元レンダリング方法。
【請求項３０】
前記調整された目座標を生成するステップは、
前記目座標に対応する単一フレーム内のピクセルの一部である第１ピクセルにスネルの法則を適用するステップと、
前記スネルの法則を前記第１ピクセルに適用した結果に基づいて、前記目座標を調整することによって前記調整された目座標を生成するステップと、
を含む、請求項２９に記載の３Ｄレンダリング方法。
【請求項３１】
前記調整された目座標を生成するステップは、
前記スネルの法則を前記第１ピクセルに適用して第１結果値を算出するステップと、
前記第１ピクセルに近軸近似を適用して第２結果値を算出するステップと、
前記第１結果値と前記第２結果値との間の差に基づいて前記目座標を調整するステップと、
を含む、請求項３０に記載の３Ｄレンダリング方法。
【請求項３２】
ユーザの映像から前記ユーザの両目の位置の目座標を受信し、バックライトユニットからパネルを通過する光の屈折に基づいて調整された目座標を生成し、前記調整された目座標に基づいて前記両目の３Ｄレンダリングを行うプロセッサを含む、３次元レンダリング装置。
【請求項３３】
前記プロセッサは、前記目座標に対応する単一フレーム内のピクセルの一部である第１ピクセルにスネルの法則を適用し、前記スネルの法則を前記第１ピクセルに適用した結果に基づいて前記目座標を調整することによって前記調整された目座標を生成する、請求項３２に記載の３Ｄレンダリング装置。
【請求項３４】
前記プロセッサは、前記スネルの法則を前記第１ピクセルに適用して第１結果値を算出し、前記第１ピクセルに近軸近似を適用して第２結果値を算出し、前記第１結果値と前記第２結果値との間の差に基づいて前記目座標を調整する、請求項３３に記載の３Ｄレンダリング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
以下の実施形態はレンダリング方法及び装置に関し、より具体的に、ユーザの目のための３Ｄレンダリング方法及び装置に関する。
【背景技術】
【０００２】
商用化されている多くの３次元ディスプレイ装置は、ユーザの両目に互いに異なる映像を再生することによって立体感又は深度感を与える原理に基づく。ここで、左目には左目のための左側映像を再生し、右目には右目のための右側映像を再生することが通常である。しかし、様々な理由により、左目に対して右目のための右側映像が入ってきて、右目に左目のための左側映像が入ってくる「クロストーク（ｃｒｏｓｓｔａｌｋ）」が発生する可能性がある。クロストークは、ディスプレイ装置の画質低下を発生させ得る。一般的に、スネルの法則を適用して３Ｄレンダリングを行う場合、ディスプレイで発生するクロストークを解決できるが、スネルの法則に用いられる複雑な三角関数によって演算量が多いことから性能の低い装置ではリアルタイムに実現し難い。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
一側面によれば、モバイル装置のような小さい画面の側方視聴時に画面の片方でクロストークが発生する問題を解決することにある。
【０００４】
一側面によれば、画面の側方視聴時に検出された実際の目の目座標を調整された目座標に変更することによってクロストークが除去され、画面の中央部分と側部の光線が変更された両目の座標に適するよう出力することにある。
【０００５】
一側面によれば、全てのピクセルに対してスネルの法則を適用して算出する代わりに、単一フレームを構成する多くのピクセルについて近軸近似に基づいて算出速度を高速化する一方、近軸近似による誤差について、単一フレームの一部ピクセルに対するスネルの法則の算出結果を用いて調整することにある。
【課題を解決するための手段】
【０００６】
一側面によれば、３Ｄレンダリング方法は、ユーザの映像から前記ユーザの両目の位置の目座標を検出するステップと、光の屈折によるクロストークを減少させる仮想の目の位置に対応するよう前記両目の位置の目座標を調整するステップと、前記調整された目座標を用いて前記ユーザの両目に対する３Ｄレンダリングを行うステップとを含む。
【０００７】
前記両目の位置の目座標を調整するステップは、前記両目の位置誤差を許容する範囲に対応する瞳孔間距離内で前記両目の位置の目座標を調整するステップを含み得る。
【０００８】
前記両目の位置の目座標を調整するステップは、前記両目の位置の目座標に対応する単一フレームの一部ピクセルである第１ピクセルに対してスネルの法則を適用するステップと、前記第１ピクセルにスネルの法則を適用した結果に基づいて、前記両目の位置の目座標を調整するステップとを含み得る。
【０００９】
前記第１ピクセルにスネルの法則を適用した結果に基づいて前記両目の位置の目座標を調整するステップは、前記第１ピクセルに対してスネルの法則を適用した第１結果値を算出するステップと、前記第１ピクセルに対し近軸近似を適用した第２結果値を算出するステップと、前記第１結果値と前記第２結果値との間の差に基づいて前記両目の位置の目座標を調整するステップとを含み得る。
【００１０】
前記第１結果値と前記第２結果値との間の差に基づいて前記両目の位置の目座標を調整するステップは、前記第１結果値と前記第２結果値との間の差に基づいた評価関数を決定するステップと、前記評価関数を最小化させる仮想の両目の位置を算出するステップと、前記仮想の両目の位置によって前記両目の位置の目座標を調整するステップとを含み得る。
【００１１】
前記第１ピクセルは、３Ｄディスプレイの側部に位置するピクセルを含み得る。
【００１２】
前記両目の位置の目座標を調整するステップは、前記ユーザの両目の位置の目座標のうちＸ座標を調整する予め定義された第１関数、前記ユーザの両目の位置の目座標のうちＺ座標を調整する予め定義された第２関数、及び前記ユーザの両目の位置の目座標に対応する調整された目座標を予め格納するルックアップテーブルのうち少なくとも１つを用いて前記ユーザの両目の位置の目座標を調整するステップを含み得る。
【００１３】
前記第１関数は、前記両目の位置の目座標のうちＺ座標により変化する第１パラメータ、及び３Ｄディスプレイの画面中心とイメージセンサとの間の距離に基づいた第２パラメータに基づいて前記Ｘ座標を調整し得る。
【００１４】
前記第１パラメータは、１以下の値を有し、前記両目の位置が前記３Ｄディスプレイの画面に近づくほど小さくなり、前記両目の位置が前記３Ｄディスプレイの画面から遠ざかるほど大きくなる。
【００１５】
前記第２関数は、前記両目の位置の目座標のうちＸ座標により変化する第３パラメータ、及び前記Ｘ座標により変化する第４パラメータに基づいて前記Ｚ座標を調整し得る。
【００１６】
前記第３パラメータは、前記両目の位置が３Ｄディスプレイの画面の側部に行くほど小さくなり、前記両目の位置が前記３Ｄディスプレイの画面の中心に行くほど大きくなり、前記両目の位置が前記３Ｄディスプレイの画面の中心に行くほど１に近接する値を有し得る。
【００１７】
前記第４パラメータは、前記両目の位置が３Ｄディスプレイの画面の側部に行くほど大きくなり、前記両目の位置が前記３Ｄディスプレイの画面の中心に行くほど小さくなり、前記両目の位置が前記３Ｄディスプレイの画面の中心に行くほど０に近接する値を有し得る。
【００１８】
前記ユーザの両目の位置の目座標を検出するステップは、モバイル装置のイメージセンサを用いて前記ユーザの顔映像を取得するステップと、前記ユーザの顔映像の視点を追跡して前記イメージセンサを基準とする前記ユーザの両目の位置の目座標を検出するステップとを含み得る。
【００１９】
一実施形態によると、３Ｄレンダリング装置は、ユーザの映像からユーザの両目の位置の目座標を検出するイメージセンサと、光の屈折によるクロストークを減少させる仮想の目の位置に対応するよう前記両目の位置の目座標を調整し、前記調整された目座標を用いて前記ユーザの両目に対する３Ｄレンダリングを行うプロセッサとを含む。
【００２０】
前記プロセッサは、前記両目の位置誤差を許容する範囲に対応する瞳孔間距離内で前記両目の位置の目座標を調整し得る。
【００２１】
前記プロセッサは、前記検出された両目の位置の目座標に対応する単一フレームの一部ピクセルである第１ピクセルに対してスネルの法則を適用し、前記第１ピクセルにスネルの法則を適用した結果に基づいて前記両目の位置の目座標を調整し得る。
【００２２】
前記プロセッサは、前記第１ピクセルに対して前記スネルの法則を適用した第１結果値を算出し、前記第１ピクセルに対して近軸近似を適用した第２結果値を算出し、前記第１結果値と前記第２結果値との間の差に基づいて前記両目の位置の目座標を調整し得る。
【００２３】
前記プロセッサは、前記第１結果値と前記第２結果値との間の差に基づいた評価関数を決定し、前記評価関数を最小化させる仮想の両目の位置を算出し、前記仮想の両目の位置によって前記両目の位置の目座標を調整し得る。
【００２４】
前記第１ピクセルは、３Ｄディスプレイの側部に位置するピクセルを含み得る。
【００２５】
前記プロセッサは、前記ユーザの両目の位置の目座標のうちＸ座標を調整する予め定義された第１関数、前記ユーザの両目の位置の目座標のうちＺ座標を調整する予め定義された第２関数、及び前記ユーザの両目の位置の目座標に対応する調整された目座標を予め格納するルックアップテーブルのうち少なくとも１つを用いて前記ユーザの両目の位置の目座標を調整し得る。
【００２６】
前記第１関数は、前記両目の位置の目座標のうちＺ座標により変化する第１パラメータ及び３Ｄディスプレイの画面中心と前記イメージセンサとの間の距離に基づいた第２パラメータに基づいて前記Ｘ座標を調整し得る。
【００２７】
前記第１パラメータは、１以下の値を有し、前記両目の位置が前記画面に近づくほど小さくなり、前記両目の位置が前記画面から遠ざかるほど大きくなる。
【００２８】
前記第２関数は、前記両目の位置の目座標のうちＸ座標により変化する第３パラメータ及び前記Ｘ座標により変化する第４パラメータに基づいて前記Ｚ座標を調整し得る。
【００２９】
前記第３パラメータは、前記両目の位置が３Ｄディスプレイの画面の側部に行くほど小さくなり、前記両目の位置が前記３Ｄディスレイの画面の中心に行くほど大きくなり、前記両目の位置が前記３Ｄディスプレイの画面の中心に行くほど１に近接する値を有し得る。
【００３０】
前記第４パラメータは、前記両目の位置が３Ｄディスプレイの画面の側部に行くほど大きくなり、前記両目の位置が前記３Ｄディスプレイの画面の中心に行くほど小さくなり、前記両目の位置が前記３Ｄディスプレイの画面の中心に行くほど０に近接する値を有し得る。
【００３１】
前記イメージセンサは、前記ユーザの顔映像を取得し、前記プロセッサは、前記ユーザの顔映像の視点を追跡して前記イメージセンサを基準とする前記ユーザの両目の位置の目座標を検出し得る。
【００３２】
前記３Ｄレンダリング装置はモバイル装置を含み得る。
【００３３】
一実施形態によると、３次元レンダリング方法は、ユーザの映像から前記ユーザの両目の位置の目座標を受信するステップと、バックライトユニットからパネルを通過する光の屈折に基づいて調整された目座標を生成するステップと、前記調整された目座標に基づいて前記両目の３Ｄレンダリングを行うステップとを含む。
【００３４】
前記調整された目座標を生成するステップは、前記目座標に対応する単一フレーム内のピクセルの一部である第１ピクセルにスネルの法則を適用するステップと、前記スネルの法則を前記第１ピクセルに適用した結果に基づいて、前記目座標を調整することによって前記調整された目座標を生成するステップとを含み得る。
【００３５】
前記調整された目座標を生成するステップは、前記スネルの法則を前記第１ピクセルに適用して第１結果値を算出するステップと、前記第１ピクセルに近軸近似を適用して第２結果値を算出するステップと、前記第１結果値と前記第２結果値との間の差に基づいて前記目座標を調整するステップとを含み得る。
【００３６】
一実施形態によると、３次元レンダリング装置は、ユーザの映像から前記ユーザの両目の位置の目座標を受信し、バックライトユニットからパネルを通過する光の屈折に基づいて調整された目座標を生成し、前記調整された目座標に基づいて前記両目の３Ｄレンダリングを行うプロセッサを含む。
【００３７】
前記プロセッサは、前記目座標に対応する単一フレーム内のピクセルの一部である第１ピクセルにスネルの法則を適用し、前記スネルの法則を前記第１ピクセルに適用した結果に基づいて前記目座標を調整することによって前記調整された目座標を生成し得る。
【００３８】
前記プロセッサは、前記スネルの法則を前記第１ピクセルに適用して第１結果値を算出し、前記第１ピクセルに近軸近似を適用して第２結果値を算出し、前記第１結果値と前記第２結果値との間の差に基づいて前記目座標を調整し得る。
【発明の効果】
【００３９】
モバイル装置のような小さい画面の側方視聴時に画面の片方でクロストークが発生する問題を解決できる。
【００４０】
画面の側方視聴時に検出された実際の目の目座標を調整された目座標に変更することによってクロストークが除去され、画面の中央部分と側部の光線が変更された両目の座標に適するように出力され得る。
【００４１】
全てのピクセルに対してスネルの法則を適用して算出する代わりに、単一フレームを構成する多くのピクセルについては近軸近似に基づいて算出速度を高速化できる。
【図面の簡単な説明】
【００４２】
【図１】一実施形態に係る３Ｄレンダリング装置の動作を説明するための図である。
【図２Ａ】３Ｄレンダリング装置の画面の側方から観測した映像及び一実施形態により目の目座標を調整した映像を示す図である。
【図２Ｂ】３Ｄレンダリング装置の画面の側方から観測した映像及び一実施形態により目の目座標を調整した映像を示す図である。
【図３Ａ】一実施形態に係る目の位置の目座標の調整前後の、左目に対応する映像に対する光線の変化を示す図である。
【図３Ｂ】一実施形態に係る目の位置の目座標の調整前後の、左目に対応する映像に対する光線の変化を示す図である。
【図４】一実施形態に係る３Ｄレンダリング方法を示したフローチャートである。
【図５】一実施形態により両目の位置の目座標を調整する方法を示したフローチャートである。
【図６】一実施形態に係る３Ｄレンダリング装置の３Ｄディスプレイの構造を示す図である。
【図７】一実施形態に係る数学的モデルによってユーザの両目の位置の目座標を調整する方法を説明するための図である。
【図８】一実施形態に係る数学的モデルによってユーザの両目の位置の目座標を調整する方法を説明するための図である。
【図９】一実施形態に係る経験的方法によってユーザの両目の位置の目座標を調整する方法を説明するための図である。
【図１０】一実施形態に係る経験的方法によってユーザの両目の位置の目座標を調整する方法を説明するための図である。
【図１１】一実施形態に係る経験的方法によってユーザの両目の位置の目座標を調整する方法を説明するための図である。
【図１２】一実施形態によりユーザの両目の位置の目座標を算出する方法を示したフローチャートである。
【図１３】一実施形態に係る３Ｄレンダリング装置のブロック図である。
【図１４Ａ】一実施形態に係る３Ｄレンダリング装置の模式図である。
【図１４Ｂ】一実施形態に係る３Ｄレンダリング装置の模式図である。
【発明を実施するための形態】
【００４３】
本明細書で開示されている特定の構造的又は機能的説明は単に実施形態を説明するための目的として例示されたものであり、実施形態は様々な異なる形態で実施され、本明細書に説明された実施形態に限定されることはない。
【００４４】
第１又は第２などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に第２構成要素は第１構成要素にも命名することができる。
【００４５】
いずれかの構成要素が他の構成要素に「結合されて」いると言及された場合、その次の構成要素に直接的に結合されてもよく、又は中間に他の構成要素が存在することもあり得ると理解されなければならない。一方、いずれかの構成要素が他の構成要素に「直接結合されて」いるか「直接接続されて」いると言及される場合には、中間に他の構成要素が存在しないものとして理解されなければならない。構成要素間の関係を説明する表現、例えば「〜間に」と「すぐ〜の間に」、又は「〜に隣接する」と「〜に直接に隣接する」などのように解釈されなければならない。
【００４６】
単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
【００４７】
異なるように定義されない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
【００４８】
以下、実施形態を添付する図面を参照しながら詳細に説明する。各図に提示された同一の参照符号は同一の部材を示す。下記で説明される実施形態は、ライトフィールド（ｌｉｇｈｔ  ｆｉｅｌｄ）表示方式のためのレンダリングに使用され得る。ライトフィールド方式は３次元映像を表現する方式であって、例えば、３Ｄテレビ、３Ｄモニター、３Ｄデジタル情報ディスプレイ（Ｄｉｇｉｔａｌ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｄｉｓｐｌａｙ：ＤＩＤ）、及び３Ｄモバイル機器などに適用される。
【００４９】
図１は、一実施形態に係る３Ｄレンダリング装置の動作を説明するための図である。図１を参照すると、３Ｄレンダリング装置１００の構成が示されている。
【００５０】
３Ｄレンダリング装置１００は、一定の空間に存在する点から様々な方向に出力される光線をそのまま表現する。３Ｄレンダリング装置１００は、実際の物体が一点で様々な方向に光線を生成したり反射する原理を用いる。「レンダリング」は、３次元空間上にライトフィールドを生成するためにパネル１０１に表示される映像を生成する動作又は３Ｄ光学装置と目の位置に適するように入力映像を再構成する動作である。例えば、「レンダリング」は、３次元空間上にライトフィールドを生成するためにパネル１０１に含まれたピクセル又はサブピクセルの値を決定する動作である。３Ｄレンダリング装置１００はライトフィールドレンダリング装置である。
【００５１】
光学レイヤ１０３は、レンチキュラレンズ（Ｌｅｎｔｉｃｕｌａｒ  Ｌｅｎｓ）、パララックスバリア（Ｐａｒａｌｌｅｘ  Ｂａｒｒｉｅｒ）、レンズアレイ及びマイクロレンズアレイなどの光学フィルタを含む。また、光学レイヤ１０３は、方向性バックライトユニットを含む。実施形態で光学レイヤ１０３は、前述した光学フィルタに限定されることなく、３Ｄディスプレイの前面又は後面に配置される全ての形態の光学レイヤを含む。
【００５２】
パネル１０１に含まれたサブピクセルから出力される光線方向は、光学レイヤ１０３により決定される。各サブピクセルから出力される光線は、光学レイヤ１０３を通過しながら特定方向に放射される。このような過程を介して３Ｄレンダリング装置１００は立体映像又は多視点映像を表現し得る。３Ｄレンダリング装置１００の光学的特性は、パネル１０１に含まれたサブピクセルの光線方向に関連する特性を含む。
【００５３】
光学レイヤ１０３は、複数の光学エレメント１０４，１０５を含む。それぞれの光学エレメントは３Ｄ画素と称される。１つの３Ｄ画素は、様々な方向に他の情報を含む光線を出力する。例えば、光学レイヤ１０３に含まれた１つの３Ｄ画素で１５×４方向の光線１１０が出力されてもよい。ライトフィールドレンダリング装置１００では、複数の３Ｄ画素を用いて３次元空間上の点が表現され得る。
【００５４】
ここで、パネル１０１のサブピクセルの構造によりパネル１０１内のサブピクセルの位置及び／又はの大きさが変わるため、パネル１０１のサブピクセル構造に応じてパネル１０１内の各サブピクセルから出力される光線方向が変わり得る。
【００５５】
図２Ａ及び図２Ｂは、３Ｄレンダリング装置の画面の側方で観測した映像及び一実施形態により目の位置の目座標を調整した映像を示す図である。図２Ａを参照すると、３Ｄレンダリング装置の画面の側方でクロストークが発生する場合の目の位置及び映像が示されている。以下で眼球形態の記号
2018085724.tif 000003
は実際の目の位置を示し、円中にｘマークが表示された記号
2018085724.tif 000004
は光の屈折によるクロストークを減少させる仮想の目の位置に対応する補正された目の位置を示す。他の実施形態によると、円の中にｘマークが表示された記号
2018085724.tif 000005
は光の屈折によるクロストークを減少させる仮想の目の位置に調整された目の位置を示す。
【００５６】
ユーザ（又は、視聴者）が画面の正面で視聴する場合、側部の光線は大きい屈折を有するようになる。この場合、光屈折特性を考慮して、スネルの法則を適用してレンダリングを行ったり、近軸近似によるレンダリングを行う。近軸近似によるレンダリングは、演算量が少ないことから演算量が多いスネルの法則ベースのレンダリングに比べて電力消費を減らし得る。
【００５７】
近軸近似によるレンダリングの場合、例えば、４０インチ以上の大画面の正面からの視聴時に画面の側部で光線の屈折が大きくてクロストークが発生する。一方、モバイル装置のように１０インチ以下の小さい画面では、近軸仮定によるレンダリングを適用してもクロストークが発生しない。これは画面が小さくて側部で発生する光線の屈折が小さいためである。
【００５８】
ここで、クロストークは、上述したように決定された目に決定した映像ではない他の映像が入ったことを意味する。例えば、３Ｄディスプレイで左目には左側映像（例えば、縦列紋）のみが見られなければならないが、図２Ａに示すように、３Ｄディスプレイの特定位置（側部）で左目に右側映像（例えば、横じま）が入ることになるとクロストークが発生したという。以下、「左側映像」は、クロストークが発生しない正常な場合に左目に見えるべき映像を意味し、「右側映像」は、クロストークが発生しない正常な場合に右目に見えるべき映像を意味するものと理解される。
【００５９】
ただし、モバイル装置であっても、例えば、ユーザがタブレットを手にもって斜めに視聴する場合のように、画面中央ではない側方で視聴する場合、図２Ａに示すように小さい画面の片方の側部にクロストークが発生する可能性がある。
【００６０】
図２Ａにおいて、小さい画面の片方の側方で視聴時に画面反対側の側部光線の屈折が大きくなるためクロストークが発生する可能性がある。大画面で視聴するとき発生するクロストークと小さい画面で視聴するとき発生するクロストークの間の差異点は、小さい画面の場合にディスプレイの片方の側部でのみクロストークが発生することである。
【００６１】
図２Ｂを参照すると、一実施形態に係る３Ｄレンダリング装置の画面の側部で発生するクロストークを除去するために目の位置の目座標を補正又は調整した場合を示す図である。
【００６２】
一般的に３Ｄディスプレイは、検出された目座標の誤差がある程度許容されるよう設計及びレンダリングを行う。一実施形態ではこのように誤差がある程度許容される範囲内で目座標を変更し得る。誤差がある程度許容される範囲は、例えば、瞳孔間距離（Ｉｎｔｅｒ  Ｐｕｐｉｌ  Ｄｉｓｔａｎｃｅ：ＩＰＤ）であり得る。
【００６３】
図２Ｂにおいて、画面中央部分の光線は屈折が小さいことから、左目に左側映像が入ってくる。しかし、画面側部の光線は屈折が大きいことから、左目に右側映像が入ってくる。これによって、画面の片方端にクロストークが発生する可能性がある。
【００６４】
図２Ｂにおいて、画面中央部分の左側映像に該当する光線は、図２Ａに比べて若干右側に回転する。しかし、図２Ｂにおいて、画面の側部の左側映像に該当する光線は図２Ｂに比べて大きく右側に回転することが確認される。
【００６５】
一実施形態では、画面の側方視聴時に検出された実際の目の位置の目座標を、調整された目座標に変更することでロストークが除去され、画面の中央部分と側部の光線が変更された両目の座標に適するように出力され得る。
【００６６】
図３は、一実施形態に係る目の位置の目座標の調整前後の、左目に対応する映像に対する光線の変化を示す図である。図３Ａには画面の中央部分の左側映像に該当する光線が示され、図３Ｂには画面の側部の左側映像に該当する光線が示されている。
【００６７】
図３において、実線は目座標を変更する前に目に映る光線を示し、点線は目座標を変更した後に目に映る光線を示す。目の位置の誤差許容範囲（例えば、瞳孔間距離（ＩＰＤ））内で目座標を変更する場合、画面中央と画面側部で同時に左側映像の光線のみが見える区間が発生する。一実施形態では、このように画面中央と画面側部で同時に左側映像の光線のみが見える区間に左側の目を位置させることで、画面の側部にクロストークを発生しないようにする。
【００６８】
目の位置の目座標は、例えば、目の位置追跡を行うカメラ、又はイメージセンサを基準とする目の位置に応じて変更される値（目座標値）を相違に適用して決定することができる。
【００６９】
図４は、一実施形態に係る３Ｄレンダリング方法を示したフローチャートである。図４を参照すると、一実施形態に係る３Ｄレンダリング装置は、ステップＳ４１０において、ユーザの映像からユーザの両目の位置の目座標を検出する。
【００７０】
３Ｄレンダリング装置は、３Ｄディスプレイを用いてユーザの左目に左側映像を出力し、右目に右側映像を出力するよう入力映像を再構成する。そのため、３Ｄレンダリング装置は、視点追跡に基づいて３Ｄディスプレイからユーザの目がどこにあるかを確認する。３Ｄレンダリング装置は、例えば、３Ｄディスプレイの上端部に配置されたカメラを用いてユーザの顔映像を取得し、カメラを基準とする両目の位置の目座標を検出する。
【００７１】
又は、３Ｄレンダリング装置がモバイル装置で構成される場合、３Ｄレンダリング装置は、モバイル装置のイメージセンサを用いてユーザの顔映像を取得し、ユーザの顔映像の視点を追跡してイメージセンサを基準とするユーザの両目の位置の目座標を検出する。３Ｄレンダリング装置がユーザの両目の位置の目座標を検出する方法の一例については図１２を参照して説明する。
【００７２】
ステップＳ４２０において、３Ｄレンダリング装置は、両目の位置の目座標を補正する。３Ｄレンダリング装置は、例えば、両目の位置誤差を許容する範囲である瞳孔間距離（Ｉｎｔｅｒ  Ｐｕｐｉｌ  Ｄｉｓｔａｎｃｅ：ＩＰＤ）内で両目の位置の目座標を調整する。３Ｄレンダリング装置は、例えば、数学的モデル（Ｍａｔｈｅｍａｔｉｃａｌ  Ｍｏｄｅｌ）によって両目の位置の目座標を補正又は調整したり、又は経験的方法（Ｈｅｕｒｉｓｔｉｃ  Ｍｅｔｈｏｄ）によって両目の位置の目座標を補正又は調整する。３Ｄレンダリング装置は、数学的モデル又は経験的方法によってクロストークが示されないように、ユーザの両目の位置の目座標を変更して補正し得る。
【００７３】
３Ｄレンダリング装置が数学的モデルを用いて両目の位置の目座標を調整する方法については図５〜図８を参照して説明し、３Ｄレンダリング装置が経験的方法によって両目の位置の目座標を調整する方法については図９〜図１１を参照して説明することにする。
【００７４】
３Ｄレンダリング装置は、例えば、予め定義された補正関数又は予め定義されたルックアップテーブルなどを用いる経験的方法によって、ユーザの両目の位置の目座標を調整する。補正関数は、ユーザの両目の位置の目座標のうちＸ座標を調整する予め定義された第１関数、ユーザの両目の位置の目座標のうちＺ座標を調整する予め定義された第２関数、及びユーザの両目の位置の目座標のうちＸ座標及びＺ座標を調整する予め定義された第３関数などを含む。３Ｄレンダリング装置が第１関数によって両目の位置の目座標を調整する方法については図９を参照し、第２関数によって両目の位置の目座標を調整する方法については図１０を参照し、第３関数によって両目の位置の目座標を調整する方法については図１１を参照して説明する。
【００７５】
ルックアップテーブルは、ユーザの両目の位置の目座標に対応する調整された目座標を予め格納する。ここで、ユーザの両目の位置の目座標に対応する調整された目座標は、例えば、数学的モデルによって算出された目座標であり得る。
【００７６】
ステップＳ４３０において、３Ｄレンダリング装置は、ステップＳ４２０で調整された目座標を用いてユーザの両目に対する３Ｄレンダリングを行う。３Ｄレンダリングは演算量を減らすために、例えば、近軸近似（ｐａｒａｘｉａｌ  ａｐｐｒｏｘｉｍａｔｉｏｎ）によって実行される。
【００７７】
図５は、一実施形態により両目の位置の目座標を調整する方法を示したフローチャートである。図５を参照すると、一実施形態に係る３Ｄレンダリング装置は、両目の位置の目座標に対応する単一フレームの一部ピクセルである第１ピクセルに対してスネルの法則（Ｓｎｅｌｌ’ｓ  ｒｅｆｒａｃｔｉｏｎ  ｌａｗ）を適用した第１結果値を算出する（Ｓ５１０）。第１ピクセルは、３Ｄディスプレイの側部又は３Ｄディスプレイのエッジに位置するピクセルを含む。
【００７８】
３Ｄレンダリング装置は、第１ピクセルに対して近軸近似を適用した第２結果値を算出する（Ｓ５２０）。近軸近似は、スネルの法則に使用されるサイン値を排し、テイラー公式に基づいて一次式などにより近似したものとして理解される。近軸近似を適用する場合、近似値は、光軸に近くて平行するよう入射される光線のみが残る。３Ｄレンダリング装置が第１結果値及び第２結果値を算出する方法については図７を参照して説明する。
【００７９】
３Ｄレンダリング装置は、第１結果値と第２結果値との間の差に基づいた評価関数を用いて両目の位置の目座標を補正又は調整する。
【００８０】
３Ｄレンダリング装置は、第１結果値と第２結果値との間の差に基づいた評価関数を最小化させる仮想の両目の位置を算出する（Ｓ５３０）。
【００８１】
３Ｄレンダリング装置は、ステップ５３０で算出された仮想の両目の位置によって両目の位置の目座標を調整する（Ｓ５４０）。３Ｄレンダリング装置が評価関数を用いて両目の位置の目座標を調整する方法については図８を参照して説明する。
【００８２】
例示的な実施形態によれば、第１結果値は、スネルの法則をフレームの全てのピクセルではなく、単一フレームのピクセルの一部のみに適用することで算出される。言い換えれば、一例によると、第１ピクセルはピクセルの一部分に対応し、単一フレームの全てのピクセルに対応しないことがあるため、コンピュータリソースの利用が改善される。
【００８３】
一実施形態によれば、第１結果値は、第１結果値と第２結果値との間の差に基づいた評価関数を用いて目座標を補正するために利用され、直接的又は個別的には使用されない。
【００８４】
図６は、一実施形態に係る３Ｄレンダリング装置の３Ｄディスプレイの構造を示す図である。図６を参照すると、３Ｄディスプレイ６００のいずれか１つのピクセル６３０を通過する光線（〇で囲まれた１及び〇で囲まれた２；以下、光線１及び光線２）が示されている。３Ｄディスプレイ６００は、無眼鏡３Ｄディスプレイである。
【００８５】
３Ｄディスプレイ６００は、バリアプレーン（Ｂａｒｒｉｅｒ  ｐｌａｎｅ）６０１、ピクセルプレーン（Ｐｉｘｅｌｓ  ｐｌａｎｅ）６０３、及びサーフィスプレーン（Ｓｕｒｆａｃｅ  ｐｌａｎｅ）６０５を含む。
【００８６】
バリアプレーン６０１は、ピクセルから出力される光線が通過する前述した光学レイヤに該当し、例えば、レンチキュラレンズ、パララックスバリア、レンズアレイ、及びマイクロレンズアレイなどの光学フィルタを含む。また、バリアプレーン６０１は、方向性バックライトユニットを含む。バリアプレーン６０１は、前述した光学フィルタ以外にも、３Ｄディスプレイ６００の前面又は後面に配置され得る全ての形態の光学レイヤを含む。
【００８７】
ピクセルプレーン６０３は、ピクセルを含むパネルに該当する。ピクセルプレーン６０３に含まれたピクセルから出力される光線方向は、バリアプレーン６０１によって決定される。ピクセルそれぞれから出力される光線は、特定方向に放射されて立体映像又は多視点映像を表現する。３Ｄレンダリング装置の光学的特性は、ピクセルの光線方向に関連する特性を含む。
【００８８】
３Ｄレンダリング装置は、バリアプレーン６０１に含まれたいずれか１つのピクセルの光線方向に対応するピクセルプレーン６０３のピクセル６３０を通過する光線（例えば、光線１）の方向が属する視点領域に対応するコンテンツをユーザの両目のうち１つの目に対応するよう決定する。ユーザのいずれか１つの目（例えば、右目）の位置は
【００８９】
【数１】
2018085724.tif 000006
のように表現され得る。
【００９０】
３Ｄディスプレイ６００は、カメラ（又はイメージセンサ）６１０を含む。カメラ６１０は、３Ｄディスプレイ６００の上端部又は一側面に位置する。カメラ６１０の位置は
【００９１】
【数２】
2018085724.tif 000007
のように表現され得る。３Ｄディスプレイ６００のピクセルプレーン６０３に含まれたピクセルの位置は
【００９２】
【数３】
2018085724.tif 000008
のように表現され得る。
【００９３】
３Ｄディスプレイ６００で発生した光線１はスネルの法則により実際の目の位置
【００９４】
【数４】
2018085724.tif 000009
に対応し、光線２は近軸近似によって補正された光線である。ここで、スネルの法則による実際の光線１と近軸近似によって調整された光線２との間には誤差が発生し、このような誤差は３Ｄディスプレイ６００の映像画質を低下させるクロストークを発生させる。
【００９５】
スネルの法則による実際の光線１と近軸近似によって調整された光線２との間に発生する誤差を算出する方法については図７を参照して説明する。
【００９６】
図７〜図８は、一実施形態に係る数学的モデルによってユーザの両目の位置の目座標を調整する方法を説明するための図である。
【００９７】
図７を参照すると、３Ｄレンダリング装置が第１ピクセルに対してスネルの法則を適用した第１結果値及び第１ピクセルに対して近軸近似を適用した第２結果値を算出する方法が示されている。
【００９８】
スネルの法則は、光（光線）が光学的性質が異なる透明な２つの物質間の境界を通過する時に屈折される方向を決定する。
【００９９】
バリアプレーン（ｌ）６０１の位置
【０１００】
【数５】
2018085724.tif 000010
で出力された光線がピクセルプレーンｐ６０３の
【０１０１】
【数６】
2018085724.tif 000011
及びサーフィスプレーンｓ６０５の
【０１０２】
【数７】
2018085724.tif 000012
を経て出力されると仮定する。また、入射角度
【０１０３】
【数８】
2018085724.tif 000013
に入射した光線が媒質
【０１０４】
【数９】
2018085724.tif 000014
を経て媒質
【０１０５】
【数１０】
2018085724.tif 000015
（空気）に通過した場合、スネルの法則による光線の屈折角度を
【０１０６】
【数１１】
2018085724.tif 000016
近軸近似による光線の屈折角度を
【０１０７】
【数１２】
2018085724.tif 000017
と仮定する。
【０１０８】
バリアプレーン６０１とピクセルプレーン６０３との間の距離はｇ、バリアプレーン６０１とサーフィスプレーン６０５との間の距離はｔである。また、ピクセル６３０で出力された光線に対してスネルの法則を適用した結果値に該当する目の位置は
【０１０９】
【数１３】
2018085724.tif 000018
になり、近軸近似を適用した結果値に該当する目の位置は
【０１１０】
【数１４】
2018085724.tif 000019
になる。
【０１１１】
ここで、光線の入射角度
【０１１２】
【数１５】
2018085724.tif 000020
は下記の数式（１）のように示すことができる。
【０１１３】
【数１６】
2018085724.tif 000021
また、スネルの法則による光線の屈折角度
【０１１４】
【数１７】
2018085724.tif 000022
は下記の数式（２）によって求めることができ、近軸近似による光線の屈折角度を
【０１１５】
【数１８】
2018085724.tif 000023
は下記の数式（３）によって求めることができる。
【０１１６】
【数１９】
2018085724.tif 000024
一実施形態に係る３Ｄレンダリング装置は、全てのピクセルに対してスネルの法則を適用して算出する代わりに、単一フレームを構成する多くのピクセルに対しては近軸近似によって算出速度を高速化し、近軸近似による誤差について、単一フレームの一部ピクセルに対するスネルの法則の算出結果を用いて調整し得る。
【０１１７】
図８を参照すると、３Ｄレンダリング装置がスネルの法則を適用した場合の目の位置
【０１１８】
【数２０】
2018085724.tif 000025
及び近軸近似を適用した場合の目の位置
【０１１９】
【数２１】
2018085724.tif 000026
によって両目の位置の目座標を調整する方法が示されている。
【０１２０】
３Ｄディスプレイの表面、言い換えれば、サーフィスプレーンｓ６０５の位置
【０１２１】
【数２２】
2018085724.tif 000027
を通過した光線に対してスネルの法則を適用した場合の目の位置が
【０１２２】
【数２３】
2018085724.tif 000028
であり、近軸近似を適用した場合の目の位置が
【０１２３】
【数２４】
2018085724.tif 000029
であり、実際の目の位置は
【０１２４】
【数２５】
2018085724.tif 000030
であると仮定する。
【０１２５】
例えば、実際の目の位置
【０１２６】
【数２６】
2018085724.tif 000031
からスネルの法則を適用した場合の目の位置
【０１２７】
【数２７】
2018085724.tif 000032
までの距離を
【０１２８】
【数２８】
2018085724.tif 000033
実際の目の位置
【０１２９】
【数２９】
2018085724.tif 000034
から近軸近似を適用した場合の目の位置
【０１３０】
【数３０】
2018085724.tif 000035
までの距離を
【０１３１】
【数３１】
2018085724.tif 000036
とすると、各ピクセルに対するＳｎｅｌｌ−ｔｏ−Ｐａｒａｘｉａｌ間の距離差（Ｄｉｆｆ）は下記の数式（４）ののように求めることができる。
【０１３２】
【数３２】
2018085724.tif 000037
ここで、３Ｄレンダリング装置は数式（４）によって求めた距離差（Ｄｉｆｆ）に基づいた評価関数を用いて両目の位置の目座標を調整できる。
【０１３３】
評価関数は、例えば、下の数式（５）のように表現し得る。
【０１３４】
【数３３】
2018085724.tif 000038
３Ｄレンダリング装置は、単一フレームの全てのピクセルに対して数式（５）の評価関数を最小化させる仮想の両目の位置を算出し、仮想の両目の位置によって両目の位置の目座標を調整する。
【０１３５】
数式（５）の評価関数は、単一フレームの側部に位置する一部のピクセルに対して適用する場合、下記の数式（６）のように簡略化され得る。
【０１３６】
【数３４】
2018085724.tif 000039
関連技術では、全てのピクセルに対してスネルの法則の算出が求められ、総ピクセル数と同じ数の演算が求められる。対照的に、一実施形態では、近軸近似によって演算を行い、目座標を補正するための算出量を大幅減少させることができる。
【０１３７】
また、一実施形態によれば、スネルの法則によってピクセルの一部に対する評価を行って目座標を補正する間、評価を１回のみ行って目座標Ａを示す情報がＢに補正され、ＡがＢに補正された後に目座標Ａが入力されれば、目座標Ａは直接Ｂに補正され得る。言い換えれば、一実施形態によれば、時間ごとにスネルの法則の演算を行う必要がない。
【０１３８】
一実施形態によれば、全てのピクセルにスネルの法則を適用して算出を行う代わりに、単一フレームで多くのピクセルに対する近軸近似によって算出速度を向上させることができる。
【０１３９】
また、一実施形態によれば、スネルの法則に用いられる複雑な三角関数による算出量を減少させれば、単一フレームの一部のピクセルに対するスネルの法則の算出結果に基づいて近軸近似による誤差を補正することで消費電力を節減することができる。したがって、性能の低い装置でリアルタイムにクロストークの発生を防止できるという利点がある。
【０１４０】
図９〜図１１は、一実施形態に係る経験的方法（Ｈｅｕｒｉｓｔｉｃ  Ｍｅｔｈｏｄ）によってユーザの両目の位置の目座標を調整する方法を説明するための図である。一実施形態に係る３Ｄレンダリング装置は、予め定義された第１関数、予め定義された第２関数、及びユーザの両目の位置の目座標に対応する調整された目座標を予め格納するルックアップテーブルのうち少なくとも１つを用いる経験的方法によってユーザの両目の位置の目座標を調整する。
【０１４１】
図９を参照すると、予め定義された第１関数
【０１４２】
【数３５】
2018085724.tif 000040
を用いてユーザの両目の位置の目座標のうちＸ座標の値を調整した結果が示されている。
【０１４３】
第１関数の各パラメータに対する説明に前もって、目の座標系はカメラ（又はイメージセンサ）を原点に適用し、目の座標は一般的にＸ（横方向）、Ｙ（縦方向）、Ｚ（カメラ正面方向）の形に表現され得る。
【０１４４】
第１関数
【０１４５】
【数３６】
2018085724.tif 000041
で、ｘは調整前の目座標のうちＸ座標値を示し、ｆ（ｘ）は調整後の目座標のうちＸ’座標値を示す。
【０１４６】
ここで、第１パラメータａは１より小さい値を有し、目の目座標のうちＺ座標に影響を受ける。言い換えれば、ａは目の目座標のうちＺ座標により変化する。例えば、ａは両目の位置が画面（あるいは、カメラ）に近づくほど小さくなり、両目の位置が画面から遠ざかるほど大きくなる。ａは１以下の値を有し、目の位置が画面から遠ざかる場合、１に近接する値を有するようになる。第２パラメータｂは、３Ｄディスプレイの画面中心とカメラ（あるいは、イメージセンサ）間の距離を示す。
【０１４７】
図９に示された９１０は、近距離に対し第１関数を適用した結果グラフであり、９３０は遠距離に対して第１関数を適用した結果グラフである。
【０１４８】
グラフ９１０によって、目の位置が画面に近づくほど第１パラメータ値が小さくなることが把握される。また、グラフ９３０によって目の位置が画面から遠ざかるほど第１パラメータ値が大きくなって１に近づくことが把握される。
【０１４９】
９５０を参照すると、実際の目座標が第１関数によって調整された目の座標に変更されることが確認される。
【０１５０】
図１０を参照すると、予め定義された第２関数
【０１５１】
【数３７】
2018085724.tif 000042
を用いてユーザの両目の位置の目座標のうちＺ座標の値を調整した結果１０００が示されている。
【０１５２】
第２関数
【０１５３】
【数３８】
2018085724.tif 000043
でｚは調整前の目座標のうちＺ座標値を示し、ｆ（ｚ）は調整後の目座標のうちＺ’座標値を示す。
【０１５４】
ここで、第３パラメータｃは、両目の位置の目座標のうちＸ座標により変化する。ｃは１より小さい値を有し、目の目座標のうちＸに影響を受ける。例えば、ｃは両目の位置が画面の側部に行くほど小さくなり、両目の位置が画面の中心に行くほど大きくなる。ｃは、両目の位置が画面の中心に行くほど１に近接する値を有する。
【０１５５】
第４パラメータｄもｃと同様に、目の目座標のうちＸ座標に影響を受ける。第４パラメータｄは０よりも大きい値を有する。例えば、ｄは目の位置が画面の側部に行くほど大きくなり、目の位置が画面中心に行くほど小さくなる。第４パラメータは、両目の位置が画面の中心に行くほど０に近接する値を有するようになる。
【０１５６】
図１１を参照すると、第１関数
【０１５７】
【数３９】
2018085724.tif 000044
及び第２関数
【０１５８】
【数４０】
2018085724.tif 000045
を同時に用いて目の位置の目座標のうちにＸ値とＺ値を同時に調整した結果１１００が示されている。
【０１５９】
図１２は、一実施形態によりユーザの両目の位置の目座標を算出する方法を示したフローチャートである。両目の位置の目座標を算出する方法は、３Ｄレンダリング装置又は１つ以上のプロセッサとカメラあるいはイメージセンサを含む別途の目追跡器によって実行され得る。
【０１６０】
図１２を参照すると、ステップＳ１２１０において、３Ｄレンダリング装置はカメラあるいはイメージセンサからユーザの映像を取得する。
【０１６１】
ステップＳ１２２０において、３Ｄレンダリング装置はステップＳ１２１０で取得されたユーザの映像から顔領域を検出する。ユーザの映像は、例えば、２Ｄ映像であってもよい。３Ｄレンダリング装置は、例えば、顔映像学習によって取得したデータをベースにユーザの映像に顔領域が含まれるか否かを判断して顔領域を検出する。
【０１６２】
ステップＳ１２３０において、３Ｄレンダリング装置は、ステップＳ１２２０で検出された顔領域から特徴点を検出する。３Ｄレンダリング装置は、顔内部の目、鼻、口などの境界の部分に該当する特徴点を検出する。３Ｄレンダリング装置は、例えば、顔領域の特徴点に対する学習によって予め取得したデータをベースに顔領域から特徴点を検出する。
【０１６３】
ステップＳ１２４０において、３Ｄレンダリング装置は、ステップＳ１２３０で検出された特徴点をベースに瞳孔中心に対する特徴点を決定（又は、検出）する。例えば、予め学習されたデータが瞳孔中心に対して定義された特徴点を含んでいれば、３Ｄレンダリング装置は、予め学習されたデータを用いてステップＳ１２３０で検出された特徴点中の瞳孔に該当する特徴点を決定する。もし、予め学習されたデータがなければ、３Ｄレンダリング装置は目周辺の特徴点の平均値を用いて瞳孔中心に対する特徴点を決定する。
【０１６４】
ステップＳ１２５０において、３Ｄレンダリング装置は、ステップＳ１２４０で決定された瞳孔中心に対する特徴点を用いてユーザの目の位置の目座標を算出する。３Ｄレンダリング装置は、カメラの位置を基準とするユーザの３次元の目の位置の目座標Ｘ、Ｙ、Ｚを算出する。ステップＳ１２４０で決定された瞳孔中心に対する特徴点は映像内の２Ｄ座標に示され得る。３Ｄレンダリング装置は、例えば、映像でカメラを基準としてユーザの顔方向と目の間の距離（瞳孔間距離）を用いて２Ｄ座標を３Ｄ座標に変換する。ここで、ユーザの顔方向は、映像処理によって算出され、目の間の距離は人の平均瞳孔間の距離である６５ｍｍを用いる。
【０１６５】
例示的な実施形態によれば、スネルの法則を用いた評価の後に、目座標の補正結果を近似することによって取得された目座標補正式又は経験的方法によって取得されたルックアップテーブルが考慮される。
【０１６６】
例示的な実施形態によれば、入力された目座標を変更することによって一実施形態で説明した評価関数が最小化される目座標が決定されたり発見され得る。例示的な実施形態によれば、入力された目座標は左側から右側に、上方から下方に、そして、前から後に順次設定されてもよく、入力された目座標それぞれに基づいて評価関数が最小化される新しい目座標が算出されて格納されてもよい。
【０１６７】
例示的な実施形態によれば、算出された新しい目座標はルックアップテーブルに格納されてもよい。
【０１６８】
例示的な実施形態によれば、メモリ使用量の過剰な増加を防止するため、数個の特定の目の位置のみが評価されてもよく、残りについては補間が行われてもよい。
【０１６９】
例示的な実施形態によれば、ルックアップテーブルの結果は、線形方程式のように示されてもよく、ルックアップテーブルの結果は上述した経験的方法で言及した線形方程式と類似してもよい。
【０１７０】
本明細書で記述されたように、目座標は目座標に対応する補正された目座標を予め格納するルックアップテーブルに基づいた経験的方法を使用して補正又は調整され得る。
【０１７１】
例示的な実施形態によれば、ルックアップテーブルに固定的に格納された補正された目座標を有する必要がなく、目座標を補正する過程を行う前にルックアップテーブルに格納された目補正座標を動的に変更することが可能になる。
【０１７２】
例示的な実施形態によれば、ルックアップテーブルを使用することで、複雑な算出なしにルックアップテーブルから補正された座標が発見され、したがって、複雑な算出に必要な電力消費を減らし得る。
【０１７３】
図１３は、一実施形態に係る３Ｄレンダリング装置のブロック図である。図１３を参照すると、一実施形態に係る３Ｄレンダリング装置１３００は、イメージセンサ１３１０、プロセッサ１３２０、及びメモリ１３３０を含む。イメージセンサ１３１０、プロセッサ１３２０、及びメモリ１３３０はバス１３０５により通信する。
【０１７４】
イメージセンサ１３１０は、ユーザの映像からユーザの両目の位置の目座標を検出する。イメージセンサ１３１０は、ユーザの顔映像を取得する。プロセッサ１３２０は、ユーザの顔映像の視点を追跡してイメージセンサ１３１０を基準とするユーザの両目の位置の目座標を検出する。
【０１７５】
プロセッサ１３２０は、両目の位置の目座標を調整し、調整された目座標を用いてユーザの両目に対する３Ｄレンダリングを行う。プロセッサ１３２０は、両目の位置誤差を許容する範囲である瞳孔間距離内で両目の位置の目座標を変更する。プロセッサ１３２０は、検出された両目の位置の目座標に対応する単一フレームの一部ピクセルである第１ピクセルに対してスネルの法則を適用し、第１ピクセルにスネルの法則を適用した結果に基づいて両目の位置の目座標を調整する。第１ピクセルは、３Ｄディスプレイの側部に位置するピクセルを含む。
【０１７６】
プロセッサ１３２０は、第１ピクセルに対してスネルの法則を適用した第１結果値を算出し、第１ピクセルに対して近軸近似を適用した第２結果値を算出し、第１結果値と第２結果値との間の差に基づいた評価関数を用いて両目の位置の目座標を調整する。プロセッサ１３２０は、評価関数を最小化させる仮想の両目の位置を算出して仮想の両目の位置により両目の位置の目座標を調整する。
【０１７７】
その他にも、プロセッサ１３２０は、図４ないし図１２を参照して前述した少なくとも１つの方法又は少なくとも１つの方法に対応するアルゴリズムを行ってもよい。プロセッサ１３２０は、プログラムを実行して３Ｄレンダリング装置１３００を制御する。プロセッサ１３２０によって実行されるプログラムコードは、メモリ１３３０に格納される。３Ｄレンダリング装置１３００は、入出力装置（図示せず）によって外部装置（例えば、パーソナルコンピュータ又はネットワーク）に接続されてデータを交換する。３Ｄレンダリング装置１３００は、テレビ、スマートテレビ、スマートフォンなどの様々な電子システムを含む。
【０１７８】
メモリ１３３０は、調整された目座標及びユーザの両目に対する３Ｄレンダリング結果などを格納する。メモリ１３３０は、揮発性メモリ又は不揮発性メモリであってもよい。
【０１７９】
３Ｄレンダリング装置１３００は、通信インターフェース１３４０をさらに含んでもよい。通信インターフェース１３４０は、３Ｄレンダリング結果を送信する。例えば、３Ｄレンダリング結果は、３Ｄディスプレイに送信されてもよい。図面に図示していないが、３Ｄレンダリング装置１３００は、３Ｄディスプレイをさらに含んでもよい。この場合、３Ｄレンダリング結果は、通信インターフェース１３４０を通じることなく直接３Ｄディスプレイに表示され得る。
【０１８０】
図１４Ａ及び図１４Ｂは、一実施形態に係る３Ｄレンダリング装置がモバイル装置で構成される場合にモバイル装置の模式図である。上述した３Ｄレンダリング方法は、レンダリング時の演算量が少なくて、タブレット、又はスマートフォンのように電力消費が小さいモバイル装置に適用可能である。
【０１８１】
モバイル装置１４００は、電源装置１４１０、光学装置１４２０、イメージング装置１４３０、駆動装置１４４０、及びパネル１４５０を含む。図１４Ａはモバイル装置１４００の上端部を示し、図１４Ｂはモバイル装置１４００の正面を示す。
【０１８２】
電源装置１４１０は、モバイル装置１４００全体に電源を供給する装置である。電源装置は様々なバッテリを含む。
【０１８３】
光学装置１４２０は、光線を特定方向に分離できる装置である。光学装置１４２０は、例えば、パララックスバリア又はレンチキュラレンズで構成する。光学装置１４２０がレンチキュラレンズで構成される場合、レンチキュラレンズはパネル１４５０の前方に位置する。
【０１８４】
イメージング装置１４３０は、ユーザの目の目座標を検出する。イメージング装置１４３０は、例えば、ＣＩＳ（ＣＭＯＳ  Ｉｍａｇｅ  Ｓｅｎｓｏｒ）、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）などのようなイメージセンサを含む。図１４に示されたｂはカメラ中心、言い換えれば、イメージング装置１４３０の中心とユーザの目が位置する画面中心間の差を示す。
【０１８５】
駆動装置１４４０は、一実施形態に係る３Ｄレンダリング方法を行う。駆動装置１４４０は、前述した第１関数、第２関数又は第１関数と第２関数の組合せを適用してカメラから取得された目の目座標を変更し、近軸仮定してレンダリングを行ってもよい。駆動装置１４４０は、例えば、ソフトウェア（Ｓ／Ｗ）で視点追跡ベースの３Ｄレンダリングを行ってもよい。駆動装置１４４０は、プロセッサ（Ａｐｐｌｉｃａｔｉｏｎ  Ｐｒｏｃｅｓｓｏｒ）を含む。プロセッサは、駆動装置１４４０に搭載されたＯＳ（Ｏｐｅｒａｔｉｏｎ  Ｓｙｓｔｅｍ）を駆動して全ての演算を行う。
【０１８６】
パネル１４５０は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）のようにＲＧＢ映像を表現できる装置である。
【０１８７】
以上述した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組合せで具現される。例えば、実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ  ｌｏｇｉｃ  ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ  ｌｏｇｉｃ  ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当該技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ  ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが分かる。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ  ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。
【０１８８】
ソフトウェアは、コンピュータプログラム、コード、命令、又はこれらのうちの１つ以上の組合せを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは１つ以上のコンピュータ読み取り可能な記録媒体に格納される。
【０１８９】
本実施形態による方法は、多様なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明の動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
【０１９０】
上述したように実施形態をたとえ限定された図面によって説明したが、当技の術分野で通常の知識を有する者であれば、前記に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順序で実行されたり、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組合わせられたり、他の構成要素又は均等物によって置き換えたり置換されても適切な結果を達成することができる。したがって、他の具現、他の実施形態、及び請求範囲と均等なものも後述する請求範囲の範囲に属する。
【符号の説明】
【０１９１】
１３００：３Ｄレンダリング装置
１３０５：バス
１３１０：イメージセンサ
１３２０：プロセッサ
１３３０：メモリ
１３４０：通信インターフェース
【図１】
2018085724.tif 000046
【図２Ａ】
2018085724.tif 000047
【図２Ｂ】
2018085724.tif 000048
【図３Ａ】
2018085724.tif 000049
【図３Ｂ】
2018085724.tif 000050
【図４】
2018085724.tif 000051
【図５】
2018085724.tif 000052
【図６】
2018085724.tif 000053
【図７】
2018085724.tif 000054
【図８】
2018085724.tif 000055
【図９】
2018085724.tif 000056
【図１０】
2018085724.tif 000057
【図１１】
2018085724.tif 000058
【図１２】
2018085724.tif 000059
【図１３】
2018085724.tif 000060
【図１４Ａ】
2018085724.tif 000061
【図１４Ｂ】
2018085724.tif 000062