(57)【要約】【課題】  複数のユーザのためのレンダリング方法及び装置を提供すること。【解決手段】  第１のユーザの両眼の位置及び第２のユーザの両眼の位置をピクセルに対応する視点領域にマッピングし、マッピングされた第１のユーザの両眼の位置及びマッピングされた第２のユーザの両眼の位置に基づいて、ピクセルの値を決定する複数のユーザのためのレンダリング方法及び装置を提供する。【選択図】      図３
2017038367.tif 000002
【特許請求の範囲】
【請求項１】
複数のユーザのためのレンダリング方法であって、
第１のユーザの両眼の位置及び第２のユーザの両眼の位置をピクセルに対応する視点領域にマッピングするステップと、
前記マッピングされた第１のユーザの両眼の位置及び前記マッピングされた第２のユーザの両眼の位置に基づいて、前記ピクセルの値を決定するステップと、
を含む、レンダリング方法。
【請求項２】
前記視点領域は、パネルに属した前記ピクセルと光学層に属した光学素子のペアに対応するビューコーンを含む、請求項１に記載のレンダリング方法。
【請求項３】
前記マッピングするステップは、前記ピクセルと光学層に属する複数の光学素子との間の相対的な位置による繰り返し特性に基づいて、前記第１のユーザの両眼の位置及び前記第２のユーザの両眼の位置を前記視点領域にマッピングするステップを含む、請求項１又は２に記載のレンダリング方法。
【請求項４】
前記決定するステップは、
前記ピクセルの光線方向が前記第１のユーザに対応する場合、前記第１のユーザの両眼の位置に立体画像が再生されるように前記ピクセルの値を決定するステップと、
前記光線方向が前記第２のユーザに対応する場合、前記第２のユーザの両眼のうち少なくとも片方の眼の位置に前記立体画像の左側の画像又は右側の画像が再生されるように前記ピクセルの値を決定するステップと、
を含む、請求項１ないし３のうち何れか１項に記載のレンダリング方法。
【請求項５】
前記光線方向は、前記ピクセル及び光学層に含まれた光学素子によって伝播される光線方向を含む、請求項４に記載のレンダリング方法。
【請求項６】
前記決定するステップは、
前記ピクセルの光線方向が前記マッピングされた第１のユーザの左眼の位置に対応する場合、立体画像の左側の画像に基づいて前記ピクセルの値を決定するステップと、
前記光線方向が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記立体画像の右側の画像に基づいて前記ピクセルの値を決定するステップと、
を含む、請求項１ないし３のうち何れか１項に記載のレンダリング方法。
【請求項７】
前記決定するステップは
前記ピクセルの光線方向が前記マッピングされた第２のユーザの左眼の位置に対応し、前記マッピングされた第２のユーザの左眼の位置が前記マッピングされた第１のユーザの左眼の位置に対応する場合、前記第１のユーザのための立体画像の左側の画像に基づいて前記ピクセルの値を決定するステップと、
前記光線方向が前記マッピングされた第２のユーザの左眼の位置に対応し、前記マッピングされた第２のユーザの左眼の位置が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記立体画像の右側の画像に基づいて前記ピクセルの値を決定するステップと、
を含む、請求項１ないし３のうち何れか１項に記載のレンダリング方法。
【請求項８】
前記決定するステップは、
前記ピクセルの光線方向が前記マッピングされた第２のユーザの左眼の位置に対応し、前記マッピングされた第２のユーザの右眼の位置が前記マッピングされた第１のユーザの左眼の位置に対応する場合、前記第１のユーザのための立体画像の左側の画像又は前記左側の画像よりさらに左側の視点の画像に基づいて前記ピクセルの値を決定するステップと、
前記光線方向が前記マッピングされた第２のユーザの左眼の位置に対応し、前記マッピングされた第２のユーザの右眼の位置が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記左側の画像又は前記立体画像の右側の画像に基づいて前記ピクセルの値を決定するステップと、
を含む、請求項１ないし３のうち何れか１項に記載のレンダリング方法。
【請求項９】
前記決定するステップは、
前記ピクセルの光線方向が前記マッピングされた第２のユーザの右眼の位置に対応し、前記マッピングされた第２のユーザの右眼の位置が前記マッピングされた第１のユーザの左眼の位置に対応する場合、前記第１のユーザのための立体画像の左側の画像に基づいて前記ピクセルの値を決定するステップと、
前記光線方向が前記マッピングされた第２のユーザの右眼の位置に対応し、前記マッピングされた第２のユーザの右眼の位置が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記立体画像の右側の画像に基づいて前記ピクセルの値を決定するステップと、
を含む、請求項１ないし３のうち何れか１項に記載のレンダリング方法。
【請求項１０】
前記決定するステップは、
前記ピクセルの光線方向が前記マッピングされた第２のユーザの右眼の位置に対応し、前記マッピングされた第２のユーザの左眼の位置が前記マッピングされた第１のユーザの左眼の位置に対応する場合、前記第１のユーザのための立体画像の左側の画像又は前記立体画像の右側の画像に基づいて前記ピクセルの値を決定するステップと、
前記光線方向が前記マッピングされた第２のユーザの右眼の位置に対応し、前記マッピングされた第２のユーザの左眼の位置が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記右側の画像又は前記右側の画像よりさらに右側の視点の画像に基づいて前記ピクセルの値を決定するステップと、
を含む、請求項１ないし３のうち何れか１項に記載のレンダリング方法。
【請求項１１】
前記決定するステップは、前記マッピングされた第１のユーザの両眼の位置及び前記マッピングされた第２のユーザの両眼の位置が前記視点領域内に配置される順序、及び前記マッピングされた第１のユーザの両眼の位置及び前記マッピングされた第２のユーザの両眼の位置の間の距離のうち少なくとも１つに基づいて、前記ピクセルの値を決定するステップを含む、請求項１ないし３のうち何れか１項に記載のレンダリング方法。
【請求項１２】
前記決定するステップは、
前記マッピングされた第１のユーザの両眼の位置及び前記マッピングされた第２のユーザの両眼の位置に基づいて、前記視点領域を複数のサブ視点領域に分割するステップと、
前記ピクセルの光線方向に対応するサブ視点領域のコンテンツに基づいて、前記ピクセルの値を決定するステップと、
を含む、請求項１ないし３のうち何れか１項に記載のレンダリング方法。
【請求項１３】
前記決定するステップは、
前記複数のサブ視点領域の中から前記第１のユーザのための第１のサブ視点領域のコンテンツを決定するステップと、
前記第１のサブ視点領域のコンテンツに基づいて、前記複数のサブ視点領域の中から前記第２のユーザのための第２のサブ視点領域のコンテンツを決定するステップと、
をさらに含む、請求項１２に記載のレンダリング方法。
【請求項１４】
複数のユーザのためのレンダリング方法であって、
第１のユーザの両眼の位置に立体画像が再生されるように第１のピクセルの値を決定するステップと、
前記第１のユーザの両眼の位置及び第２のユーザの両眼の位置の間の相関関係に基づいて、前記第２のユーザの両眼の位置に前記立体画像に関連する画像が再生されるように前記第１のピクセル以外の第２のピクセルの値を決定するステップと、
を含む、レンダリング方法。
【請求項１５】
前記立体画像に関連する画像は、
前記立体画像と、
前記立体画像の左側の画像と、
前記立体画像の右側の画像と、
前記立体画像より左側の視点の立体画像と、
前記立体画像より右側の視点の立体画像と、
のうち少なくとも１つを含む、請求項１４に記載のレンダリング方法。
【請求項１６】
前記第２のピクセルの値を決定するステップは、前記第２のユーザの両眼の位置のうち少なくとも１つに前記立体画像の左側の画像又は右側の画像が再生されるように、前記第２のピクセルの値を決定するステップを含む、請求項１４又は１５に記載のレンダリング方法。
【請求項１７】
前記相関関係は、前記第１のユーザの両眼の位置と前記第２のユーザの両眼の位置が予め決定した視点領域にマッピングされる場合、前記マッピングされた位置が配置される順序及び前記マッピングされた位置の間の距離のうち少なくとも１つを含む、請求項１４ないし１６のうちの何れか１項に記載のレンダリング方法。
【請求項１８】
ハードウェアと結合して請求項１ないし請求項１７のうちいずれか１つの項の方法をレンダリング装置に実行させるために記憶媒体に格納されたコンピュータプログラム。
【請求項１９】
複数のユーザのためのレンダリング装置であって、
第１のユーザ及び第２のユーザを撮影するセンサと、
前記第１のユーザの両眼の位置及び前記第２のユーザの両眼の位置をピクセルに対応する視点領域にマッピングし、前記マッピングされた第１のユーザの両眼の位置及び前記マッピングされた第２のユーザの両眼の位置に基づいて、前記ピクセルの値を決定するプロセッサと、
を含む、レンダリング装置。
【請求項２０】
前記プロセッサは、
前記ピクセルの光線方向が前記マッピングされた第１のユーザの左眼の位置に対応する場合、立体画像の左側の画像に基づいて前記ピクセルの値を決定し、
前記光線方向が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記立体画像の右側の画像に基づいて前記ピクセルの値を決定する、請求項１９に記載のレンダリング装置。
【請求項２１】
前記プロセッサは、
前記ピクセルの光線方向が前記マッピングされた第２のユーザの左眼の位置に対応し、前記マッピングされた第２のユーザの左眼の位置が前記マッピングされた第１のユーザの左眼の位置に対応する場合、前記第１のユーザのための立体画像の左側の画像に基づいて前記ピクセルの値を決定し、
前記光線方向が前記マッピングされた第２のユーザの左眼の位置に対応し、前記マッピングされた第２のユーザの左眼の位置が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記立体画像の右側の画像に基づいて前記ピクセルの値を決定する、請求項１９に記載のレンダリング装置。
【請求項２２】
前記プロセッサは、
前記ピクセルの光線方向が前記マッピングされた第２のユーザの左眼の位置に対応し、前記マッピングされた第２のユーザの右眼の位置が前記マッピングされた第１のユーザの左眼の位置に対応する場合、前記第１のユーザのための立体画像の左側の画像又は前記左側の画像よりさらに左側の視点の画像に基づいて前記ピクセルの値を決定し、
前記光線方向が前記マッピングされた第２のユーザの左眼の位置に対応し、前記マッピングされた第２のユーザの右眼の位置が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記左側の画像又は前記立体画像の右側の画像に基づいて前記ピクセルの値を決定する、請求項１９に記載のレンダリング装置。
【請求項２３】
前記プロセッサは、
前記ピクセルの光線方向が前記マッピングされた第２のユーザの右眼の位置に対応し、前記マッピングされた第２のユーザの右眼の位置が前記マッピングされた第１のユーザの左眼の位置に対応する場合、前記第１のユーザのための立体画像の左側の画像に基づいて前記ピクセルの値を決定し、
前記光線方向が前記マッピングされた第２のユーザの右眼の位置に対応し、前記マッピングされた第２のユーザの右眼の位置が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記立体画像の右側の画像に基づいて前記ピクセルの値を決定する、請求項１９に記載のレンダリング装置。
【請求項２４】
前記プロセッサは、
前記ピクセルの光線方向が前記マッピングされた第２のユーザの右眼の位置に対応し、前記マッピングされた第２のユーザの左眼の位置が前記マッピングされた第１のユーザの左眼の位置に対応する場合、前記第１のユーザのための立体画像の左側の画像又は前記立体画像の右側の画像に基づいて前記ピクセルの値を決定し、
前記光線方向が前記マッピングされた第２のユーザの右眼の位置に対応し、前記マッピングされた第２のユーザの左眼の位置が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記右側の画像又は前記右側の画像よりさらに右側の視点の画像に基づいて前記ピクセルの値を決定する、請求項１９に記載のレンダリング装置。
【請求項２５】
前記プロセッサは、前記マッピングされた第１のユーザの両眼の位置及び前記マッピングされた第２のユーザの両眼の位置が前記視点領域内に配置される順序、及び前記マッピングされた第１のユーザの両眼の位置及び前記マッピングされた第２のユーザの両眼の位置の間の距離のうち少なくとも１つに基づいて、前記ピクセルの値を決定する、請求項１９に記載のレンダリング装置。
【請求項２６】
前記プロセッサは、前記マッピングされた第１のユーザの両眼の位置及び前記マッピングされた第２のユーザの両眼の位置に基づいて前記視点領域を複数のサブ視点領域に分割して、前記ピクセルの光線方向に対応するサブ視点領域のコンテンツに基づいて前記ピクセルの値を決定する、請求項１９に記載のレンダリング装置。
【請求項２７】
前記プロセッサは、前記複数のサブ視点領域の中から前記第１のユーザのための第１のサブ視点領域のコンテンツを決定し、前記第１のサブ視点領域のコンテンツに基づいて前記複数のサブ視点領域の中から前記第２のユーザのための第２のサブ視点領域のコンテンツを決定する、請求項２６に記載のレンダリング装置。
【請求項２８】
プロセッサと、
前記プロセッサによって実行されるコンピュータ読み取り可能な命令を含むメモリと、
を含み、
前記プロセッサは、
第１のユーザに画像を見せるためのディスプレイの領域に関連する第１の視覚領域を決定し、
第２のユーザの眼の位置を第２の視覚領域から前記第１の視覚領域に変換し、
前記第２のユーザの眼の変換された位置及び前記第１のユーザの実際の眼の位置に基づいて領域の値を決定する、装置。
【請求項２９】
前記コンピュータ読み取り可能な命令は、前記プロセッサによって実行されるとき、前記プロセッサに前記画像をレンダリングして前記領域が前記画像の一部に対応する部分を表示するように決定された値を有するようにする、請求項２８に記載の装置。
【請求項３０】
前記画像は、複数のビュー画像及び前記コンピュータ読み取り可能な命令を含む立体画像であり、
前記プロセッサによって実行されるとき、前記プロセッサに立体画像から複数の画像のうちの１つ以上の画像、変換された位置及び実際の位置の間の関係、及び領域の光線方向に基づいて領域の値を決定するようにし、
前記光線方向は、
ディスプレイに関連する光学素子の中心を介して前記領域から光線が通過する方向である、請求項２８に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、レンダリング方法及び装置に関し、より具体的には、複数のユーザのためのレンダリング方法及び装置に関する。
【背景技術】
【０００２】
現在商用化されている多くの３Ｄ表示装置は、ユーザの両眼に互いに異なる画像を再生することによって奥行き知覚を与える原理を用いる。このような方式は、ユーザに両眼差の情報を与えるだけで、焦点調節、運動視差などの単眼深さ認識（ｍｏｎｏｃｕｌａｒ  ｄｅｐｔｈ  ｒｅｃｏｇｎｉｔｉｏｎ）の要因を伝達することができない。そのため、３次元画像が不自然であり、眼に疲労をもたらし得る。
【０００３】
疲労を感じさせない自然な３次元画像を表示する技術として光線の空間角度（ｓｐａｔｉｏ−ａｎｇｕｌａｒ）分布、すなわち、ライトフィールドを再生する３Ｄ表示技術がある。ここで、ライトフィールドは、物体から来る光線の位置別又は方向別分布をいう。このようなライトフィールドを任意の面から光学的に再生すると、その後ろに位置するユーザは、実物体がある時のような光線分布を経験するため、自然な物体の３次元画像を見ることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の一態様によれば、３Ｄ画像を視聴する第１のユーザの視聴環境を保障する一方で、第２のユーザに発生するクロストークを最小化して第２のユーザにも最大限に円滑に３Ｄ画像を提供する。
【課題を解決するための手段】
【０００５】
本発明の一実施形態に係る複数のユーザのためのレンダリング方法は、第１のユーザの両眼の位置及び第２のユーザの両眼の位置をピクセルに対応する視点領域にマッピングするステップと、前記マッピングされた第１のユーザの両眼の位置及び前記マッピングされた第２のユーザの両眼の位置に基づいて、前記ピクセルの値を決定するステップとを含む。ここで、前記ピクセルは、サブピクセルであってもよい。
【０００６】
前記視点領域は、パネルに属した前記ピクセルと光学層に属した光学素子のペアに対応するビューコーン（ｖｉｅｗ  ｃｏｎｅ）を含んでもよい。
【０００７】
前記マッピングするステップは、前記ピクセルと光学層に属する複数の光学素子との間の相対的な位置による繰り返し特性に基づいて、前記第１のユーザの両眼の位置及び前記第２のユーザの両眼の位置を前記視点領域にマッピングするステップを含んでもよい。
【０００８】
前記決定するステップは、前記ピクセルの光線方向が前記第１のユーザに対応する場合、前記第１のユーザの両眼の位置に立体画像が再生されるように前記ピクセルの値を決定するステップと、前記光線方向が前記第２のユーザに対応する場合、前記第２のユーザの両眼のうち少なくとも片方の眼の位置に前記立体画像の左側の画像又は右側の画像が再生されるように前記ピクセルの値を決定するステップとを含んでもよい。
【０００９】
前記光線方向は、前記ピクセル及び光学層に含まれた光学素子によって伝播（ｐｒｏｐａｇａｔｉｏｎ）される光線方向を含んでもよい。
【００１０】
前記決定するステップは、前記ピクセルの光線方向が前記マッピングされた第１のユーザの左眼の位置に対応する場合、立体画像の左側の画像に基づいて前記ピクセルの値を決定するステップと、前記光線方向が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記立体画像の右側の画像に基づいて前記ピクセルの値を決定するステップとを含んでもよい。
【００１１】
前記決定するステップは、前記ピクセルの光線方向が前記マッピングされた第２のユーザの左眼の位置に対応し、前記マッピングされた第２のユーザの左眼の位置が前記マッピングされた第１のユーザの左眼の位置に対応する場合、前記第１のユーザのための立体画像の左側の画像に基づいて前記ピクセルの値を決定するステップと、前記光線方向が前記マッピングされた第２のユーザの左眼の位置に対応し、前記マッピングされた第２のユーザの左眼の位置が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記立体画像の右側の画像に基づいて前記ピクセルの値を決定するステップとを含んでもよい。
【００１２】
前記決定するステップは、前記ピクセルの光線方向が前記マッピングされた第２のユーザの左眼の位置に対応し、前記マッピングされた第２のユーザの右眼の位置が前記マッピングされた第１のユーザの左眼の位置に対応する場合、前記第１のユーザのための立体画像の左側の画像又は前記左側の画像よりさらに左側の視点の画像に基づいて前記ピクセルの値を決定するステップと、前記光線方向が前記マッピングされた第２のユーザの左眼の位置に対応し、前記マッピングされた第２のユーザの右眼の位置が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記左側の画像又は前記立体画像の右側の画像に基づいて前記ピクセルの値を決定するステップとを含んでもよい。
【００１３】
前記決定するステップは、前記ピクセルの光線方向が前記マッピングされた第２のユーザの右眼の位置に対応し、前記マッピングされた第２のユーザの右眼の位置が前記マッピングされた第１のユーザの左眼の位置に対応する場合、前記第１のユーザのための立体画像の左側の画像に基づいて前記ピクセルの値を決定するステップと、前記光線方向が前記マッピングされた第２のユーザの右眼の位置に対応し、前記マッピングされた第２のユーザの右眼の位置が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記立体画像の右側の画像に基づいて前記ピクセルの値を決定するステップとを含んでもよい。
【００１４】
前記決定するステップは、前記ピクセルの光線方向が前記マッピングされた第２のユーザの右眼の位置に対応し、前記マッピングされた第２のユーザの左眼の位置が前記マッピングされた第１のユーザの左眼の位置に対応する場合、前記第１のユーザのための立体画像の左側の画像又は前記立体画像の右側の画像に基づいて前記ピクセルの値を決定するステップと、前記光線方向が前記マッピングされた第２のユーザの右眼の位置に対応し、前記マッピングされた第２のユーザの左眼の位置が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記右側の画像又は前記右側の画像よりさらに右側の視点の画像に基づいて前記ピクセルの値を決定するステップとを含んでもよい。
【００１５】
前記決定するステップは、前記マッピングされた第１のユーザの両眼の位置及び前記マッピングされた第２のユーザの両眼の位置が前記視点領域内に配置される順序、及び前記マッピングされた第１のユーザの両眼の位置及び前記マッピングされた第２のユーザの両眼の位置の間の距離のうち少なくとも１つに基づいて、前記ピクセルの値を決定するステップを含んでもよい。
【００１６】
前記決定するステップは、前記マッピングされた第１のユーザの両眼の位置及び前記マッピングされた第２のユーザの両眼の位置に基づいて、前記視点領域を複数のサブ視点領域に分割するステップと、前記ピクセルの光線方向に対応するサブ視点領域のコンテンツに基づいて、前記ピクセルの値を決定するステップとを含んでもよい。
【００１７】
前記決定するステップは、前記複数のサブ視点領域の中から前記第１のユーザのための第１のサブ視点領域のコンテンツを決定するステップと、前記第１のサブ視点領域のコンテンツに基づいて、前記複数のサブ視点領域の中から前記第２のユーザのための第２のサブ視点領域のコンテンツを決定するステップとをさらに含んでもよい。
【００１８】
本発明の一実施形態に係る複数のユーザのためのレンダリング方法は、前記第１のユーザの両眼の位置に立体画像が再生されるように第１のピクセルの値を決定するステップと、前記第１のユーザの両眼の位置及び前記第２のユーザの両眼の位置の間の相関関係に基づいて、前記第２のユーザの両眼の位置に前記立体画像に関連する画像が再生されるように前記第１のピクセル以外の第２のピクセルの値を決定するステップとを含む。
【００１９】
前記立体画像に関連する画像は、前記立体画像と、前記立体画像の左側の画像と、前記立体画像の右側の画像と、前記立体画像より左側の視点の立体画像と、前記立体画像より右側の視点の立体画像とのうち少なくとも１つを含んでもよい。
【００２０】
前記第２のピクセルの値を決定するステップは、前記第２のユーザの両眼の位置のうち少なくとも１つに前記立体画像の左側の画像又は右側の画像が再生されるように、前記第２のピクセルの値を決定するステップを含んでもよい。
【００２１】
前記相関関係は、前記第１のユーザの両眼の位置と前記第２のユーザの両眼の位置が予め定められた視点領域にマッピングされる場合、前記マッピングされた位置が配置される順序及び前記マッピングされた位置の間の距離のうち少なくとも１つを含んでもよい。
【００２２】
本発明の一実施形態に係る複数のユーザのためのレンダリング装置は、第１のユーザ及び第２のユーザを撮影するセンサと、前記第１のユーザの両眼の位置及び前記第２のユーザの両眼の位置をピクセルに対応する視点領域にマッピングし、前記マッピングされた第１のユーザの両眼の位置及び前記マッピングされた第２のユーザの両眼の位置に基づいて、前記ピクセルの値を決定するプロセッサとを含む。ここで、前記ピクセルはサブピクセルであってもよい。
【００２３】
前記プロセッサは、前記ピクセルの光線方向が前記マッピングされた第１のユーザの左眼の位置に対応する場合、立体画像の左側の画像に基づいて前記ピクセルの値を決定し、前記光線方向が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記立体画像の右側の画像に基づいて前記ピクセルの値を決定してもよい。
【００２４】
前記プロセッサは、前記ピクセルの光線方向が前記マッピングされた第２のユーザの左眼の位置に対応し、前記マッピングされた第２のユーザの左眼の位置が前記マッピングされた第１のユーザの左眼の位置に対応する場合、前記第１のユーザのための立体画像の左側の画像に基づいて前記ピクセルの値を決定し、前記光線方向が前記マッピングされた第２のユーザの左眼の位置に対応し、前記マッピングされた第２のユーザの左眼の位置が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記立体画像の右側の画像に基づいて前記ピクセルの値を決定してもよい。
【００２５】
前記プロセッサは、前記ピクセルの光線方向が前記マッピングされた第２のユーザの左眼の位置に対応し、前記マッピングされた第２のユーザの右眼の位置が前記マッピングされた第１のユーザの左眼の位置に対応する場合、前記第１のユーザのための立体画像の左側の画像又は前記左側の画像よりさらに左側の視点の画像に基づいて前記ピクセルの値を決定し、前記光線方向が前記マッピングされた第２のユーザの左眼の位置に対応し、前記マッピングされた第２のユーザの右眼の位置が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記左側の画像又は前記立体画像の右側の画像に基づいて前記ピクセルの値を決定してもよい。
【００２６】
前記プロセッサは、前記ピクセルの光線方向が前記マッピングされた第２のユーザの右眼の位置に対応し、前記マッピングされた第２のユーザの右眼の位置が前記マッピングされた第１のユーザの左眼の位置に対応する場合、前記第１のユーザのための立体画像の左側の画像に基づいて前記ピクセルの値を決定し、前記光線方向が前記マッピングされた第２のユーザの右眼の位置に対応し、前記マッピングされた第２のユーザの右眼の位置が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記立体画像の右側の画像に基づいて前記ピクセルの値を決定してもよい。
【００２７】
前記プロセッサは、前記ピクセルの光線方向が前記マッピングされた第２のユーザの右眼の位置に対応し、前記マッピングされた第２のユーザの左眼の位置が前記マッピングされた第１のユーザの左眼の位置に対応する場合、前記第１のユーザのための立体画像の左側の画像又は前記立体画像の右側の画像に基づいて前記ピクセルの値を決定し、前記光線方向が前記マッピングされた第２のユーザの右眼の位置に対応し、前記マッピングされた第２のユーザの左眼の位置が前記マッピングされた第１のユーザの右眼の位置に対応する場合、前記右側の画像又は前記右側の画像よりさらに右側の視点の画像に基づいて前記ピクセルの値を決定してもよい。
【００２８】
前記プロセッサは、前記マッピングされた第１のユーザの両眼の位置及び前記マッピングされた第２のユーザの両眼の位置が前記視点領域内に配置される順序、及び前記マッピングされた第１のユーザの両眼の位置及び前記マッピングされた第２のユーザの両眼の位置の間の距離のうち少なくとも１つに基づいて、前記ピクセルの値を決定してもよい。
【００２９】
前記プロセッサは、前記マッピングされた第１のユーザの両眼の位置及び前記マッピングされた第２のユーザの両眼の位置に基づいて前記視点領域を複数のサブ視点領域に分割して、前記ピクセルの光線方向に対応するサブ視点領域のコンテンツに基づいて前記ピクセルの値を決定してもよい。
【００３０】
前記プロセッサは、前記複数のサブ視点領域の中から前記第１のユーザのための第１のサブ視点領域のコンテンツを決定し、前記第１のサブ視点領域のコンテンツに基づいて前記複数のサブ視点領域の中から前記第２のユーザのための第２のサブ視点領域のコンテンツを決定してもよい。
【発明の効果】
【００３１】
３Ｄ画像を視聴する第１のユーザの視聴環境を保障する一方で、第２のユーザに発生するクロストークを最小化して第２のユーザにも最大限に円滑に３Ｄ画像を提供することができる。
【図面の簡単な説明】
【００３２】
【図１】本発明の一実施形態に係るライトフィールドレンダリング装置の動作を説明するための図である。
【図２】本発明の一実施形態に係るライトフィールドレンダリング装置の視覚領域が複数のビューアを含む場合を示す図である。
【図３】本発明の一実施形態に係るライトフィールドレンダリング方法を説明するための図である。
【図４】本発明の一実施形態に係るライトフィールドレンダリング方法を示したフローチャートである。
【図５】本発明の一実施形態に係るライトフィールドレンダリング装置がユーザの眼の位置を検出する過程を説明するための図である。
【図６】本発明の一実施形態に係るライトフィールドレンダリング装置がユーザの視線をマッピングする過程を説明するための図である。
【図７】本発明の一実施形態に係るビューコーンの大きさを決定する方法を説明するための図である。
【図８】本発明の一実施形態に係るライトフィールドレンダリング装置が光線方向の範囲を決定する過程を説明するための図である。
【図９】本発明の一実施形態に係るライトフィールドレンダリング装置が光線方向の範囲を決定する過程を説明するための図である。
【図１０】本発明の一実施形態に係るライトフィールドレンダリング装置が光線方向の範囲を決定する過程を説明するための図である。
【図１１】本発明の一実施形態に係るライトフィールドレンダリング装置がサブ視点領域ごとのコンテンツを決定する過程を説明するための図である。
【図１２】本発明の一実施形態に係るのライトフィールドレンダリング装置がサブ視点領域ごとのコンテンツを決定する過程を説明するための図である。
【図１３】本発明の一実施形態に係るライトフィールドレンダリング装置がサブ視点領域ごとのコンテンツを決定する過程を説明するための図である。
【図１４Ａ】本発明の一実施形態に係るライトフィールドレンダリング装置がサブ視点領域ごとのコンテンツを決定する過程を説明するための図である。
【図１４Ｂ】本発明の一実施形態に係るライトフィールドレンダリング装置がサブ視点領域ごとのコンテンツを決定する過程を説明するための図である。
【図１４Ｃ】本発明の一実施形態に係るライトフィールドレンダリング装置がサブ視点領域ごとのコンテンツを決定する過程を説明するための図である。
【図１５】本発明の一実施形態に係るライトフィールドレンダリング装置がサブ視点領域ごとのコンテンツを決定する過程を説明するための図である。
【図１６】本発明の一実施形態に係るライトフィールドレンダリング装置がサブピクセルの値を決定する過程を説明するための図である。
【図１７】本発明の他の実施形態に係るライトフィールドレンダリング方法を示したフローチャートである。
【図１８】本発明の他の実施形態に係るライトフィールドレンダリング方法を示したフローチャートである。
【図１９】本発明の一実施形態に係るライトフィールドレンダリング装置が２つの光学層を含む場合を示す図である。
【図２０】本発明の一実施形態に係るライトフィールドレンダリング装置のブロック図である。
【発明を実施するための形態】
【００３３】
以下、添付の図面を参照しながら、実施形態を詳細に説明する。各図面に提示された同一の参照符号は同一の部材を示す。下記において説明する本発明の実施形態は、ライトフィールド表示方式（ｌｉｇｈｔ  ｆｉｅｌｄ  ｄｉｓｐｌａｙ  ｍｅｔｈｏｄ）のためのレンダリングに用いられる。ライトフィールド表示方式は、３次元画像を表現する裸眼方式であって、例えば、３Ｄテレビ、３Ｄモニタ、３Ｄデジタル情報ディスプレイ（Ｄｉｇｉｔａｌ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｄｉｓｐｌａｙ：ＤＩＤ）、及び３Ｄモバイル機器などに適用される。
【００３４】
図１は、本発明の一実施形態に係るライトフィールドレンダリング装置の動作を説明するための図である。図１を参照すると、ライトフィールドレンダリング装置１００の構成が示されている。
【００３５】
ライトフィールドレンダリング装置１００は、一定の空間に存在する点から様々な方向に出力される光をそのまま表現する。ライトフィールドレンダリング装置１００は、実物体が一点から様々な方向に光を生成したり、又は反射する原理を用いる。「レンダリング」は、３次元空間上にライトフィールドを生成するために、パネル１０１に表示される画像を生成する動作であってもよい。例えば、「レンダリング」は、３次元空間上にライトフィールドを生成するために、パネル１０１に含まれたピクセル又はサブピクセルの値を決定する動作であってもよい。
【００３６】
ライトフィールドレンダリング装置１００は、ピクセルを含むパネル１０１及びピクセルから出力される光が通過する光学層１０３を含む。パネル１０１のピクセルを構成するサブピクセルの構造は多様に変形されてもよい。例えば、パネル１０１は、サブピクセルがストライプパターンで配列されたＲＧＢパネル、又は、サブピクセルがダイヤモンドパターンで配列されたペンタイルパネルなどであってもよい。
【００３７】
ライトフィールドレンダリング装置１００は、例えば、ペンタイルパネルに基づいて互いに異なる方向の光線を実現することができる。一般的なＲＧＢパネルは、１つのピクセルに互いに大きさが同一のＲ（ｒｅｄ）サブピクセル、Ｇ（ｇｒｅｅｎ）サブピクセル、及びＢ（ｂｌｕｅ）サブピクセルが含まれているサブピクセル構造を有する。一方、ペンタイルパネルに含まれたＲサブピクセル、Ｇサブピクセル、及びＢサブピクセルの大きさは互いに異なってもよい。１つのピクセル内において、ＧサブピクセルとＲサブピクセルは対角方向に配置されてもよい。また、１つのピクセル内において、ＧサブピクセルとＢサブピクセルは対角方向に配置されてもよい。１つのピクセル内のサブピクセルの配置は多様に変形されてもよい。また、Ｒサブピクセル、Ｇサブピクセル、及びＢサブピクセルのそれぞれの大きさ及び形態は多様に変形されてもよい。
【００３８】
光学層１０３は、レンチキュラレンズ（Ｌｅｎｔｉｃｕｌａｒ  Ｌｅｎｓ）、パララックスバリア（Ｐａｒａｌｌｅｘ  Ｂａｒｒｉｅｒ）、レンズアレイ、及びマイクロレンズアレイなどの光学フィルタを含んでもよい。また、光学層１０３は、方向性バックライトユニット（ｄｉｒｅｃｔｉｏｎａｌ  ｂａｃｋ  ｌｉｇｈｔ  ｕｎｉｔ）を含んでもよい。本発明の実施形態における光学層１０３は、前述した光学フィルタに限定されることなく、ディスプレイの前面又は後面に配置できる全ての形態の光学層を含んでもよい。
【００３９】
パネル１０１に含まれたサブピクセルから出力される光線方向は、光学層１０３を介して決定される。サブピクセルのそれぞれから出力される光は、光学層１０３を通過しながら特定方向に放射される。このような過程を介して、ライトフィールドレンダリング装置１００は、立体画像又は全ての視点画像を表現することができる。ライトフィールドレンダリング装置１００の光学的特性は、パネル１０１に含まれたサブピクセルの光線方向に関連する特性を含んでもよい。
【００４０】
光学層１０３は、複数の光学素子１０４，１０５を含む。それぞれの光学素子は３Ｄ画素と呼んでもよい。１つの３Ｄ画素は、様々な方向に他の情報を含む光線を出力することができる。例えば、光学層１０３に含まれた１つの３Ｄ画素から１５×４方向の光線１１０が出力されてもよい。ライトフィールドレンダリング装置１００は、複数の３Ｄ画素を用いて３次元空間上の点を表現することができる。
【００４１】
ここで、パネル１０１のサブピクセル構造によってパネル１０１内のサブピクセルの位置及び／又は大きさが変わるため、パネル１０１のサブピクセル構造によってパネル１０１内の各サブピクセルから出力される光線方向が変わり得る。
【００４２】
ライトフィールドレンダリング装置１００の他の詳細事項は図２０を参照して説明する。
【００４３】
図２は、本発明の一実施形態に係るライトフィールドレンダリング装置の視覚領域（ｖｉｅｗｉｎｇ  ａｒｅａ）が複数のビューアを含む場合を示す図である。ビューアは視聴者又はユーザ等と言及されてもよい。以下、説明の便宜のためにサブピクセル単位でレンダリングが行われる本発明の実施形態を説明する。しかし、本発明の実施形態に係るライトフィールドレンドレンダリング装置は、ピクセル単位でレンダリングが行われるように変形されてもよい。この場合、同一のピクセルに含まれたサブピクセルは、実質的に同一の光の進行方向を有するなどの相互関係があり得る。
【００４４】
図２を参照すると、パネル１０１のサブピクセルのそれぞれの光線方向が光学層１０３内のいずれか１つの光学素子の中心を通過する方向に向かって、サブピクセルのそれぞれの光線方向に沿って伝播される光が複数のビューア２１０，２３０の両眼に到達する状況が示されている。
【００４５】
複数のビューア２１０，２３０を考慮する前に、ライトフィールドレンダリング装置の視覚領域内にビューアが１人いる場合、ビューアの両眼に対応する画像は次のように決定してもよい。例えば、サブピクセルの光線方向に沿って伝播される光がビューアの右眼よりユーザの左眼にさらに近くに到達すると判断される場合、当該サブピクセルは、左側の画像に対応すると決定することができる。また、サブピクセルの光線方向に沿って伝播される光がユーザの左眼よりユーザの右眼にさらに近く到達すると判断される場合、当該サブピクセルは、右側の画像に対応すると決定することができる。
【００４６】
ライトフィールドレンダリング装置の視覚領域内に複数のビューア２１０，２３０がいて、複数のビューア２１０，２３０が独立的に視聴位置を決定すると仮定する。
【００４７】
複数のビューア２１０，２３０を含む視覚領域を表現しようとするには、広い視野角とその視野角内における各ビューアの両眼間隔に互いに異なる画像を表現できるように多くのビューの数又は光線の数が必要になる。いずれか１つのサブピクセルで表現するビューの数又は光線の数が多くなれば、結果的にライトフィールドレンダリング装置が表現する１つのビュー画像の解像度が低くなり得る。
【００４８】
また、いずれか１つのサブピクセルで表現するビューの数又は光線の数が多くなれば、複数のビューア２１０，２３０のそれぞれの視野角において多くのビュー又は多くの光線の間の干渉によるクロストークが発生し得る。
【００４９】
図３は、本発明の一実施形態に係るライトフィールドレンダリング方法を説明するための図である。図３を参照すると、本発明の一実施形態に係るライトフィールドレンダリング装置（以下、「レンダリング装置」）の視覚領域内に複数のビューア３１０，３３０があり、複数のビューア３１０，３３０が１つの視点領域でない互いに異なる視点領域３１５，３３５にある状況が示されている。レンダリング装置は、ソフトウェアモジュール、ハードウェアモジュール、又は、これらの様々な組み合わせで実現してもよい。
【００５０】
例えば、レンダリング装置は、図１及び図２０の構成要素の組む合わせを含んでもよい。本発明の他の実施形態におけるレンダリング装置は、例えば、図２０の２０１０のようなプロセッサ（例えば、特殊目的のプロセッサ）によって実現されてもよい。
【００５１】
レンダリング装置は、レンズを用いて互いに異なる方向の光線を実現することができる。ここで、パネル１０１は、画像を表現するサブピクセルで構成される。光学層１０３は、各サブピクセルから放射される光を特定方向に制限する役割をする光学素子の集合である。
【００５２】
本発明の一実施形態に係るレンダリング装置は、ビューアに優先順位を定めて、相対的に優先順位が高い（又は優先順位が最も高い）ビューアに優先的に画像を表現することができる。レンダリング装置は、各サブピクセルから放出される光線と複数ビューアの眼に向かう光線方向との関係を用いてどのビューアのどちらの眼にいかなるコンテンツを見せるようとするのかを決定することによって、複数ビューアに対応したライトフィールドレンダリングを実現することができる。以下、複数のビューアのうち優先順位が最も高いビューアを「第１のユーザ」と呼び、その次の優先順位のビューアを「第２のユーザ」と呼ぶことにする。
【００５３】
ビューアの優先順位は様々な方式で決定されてもよい。例えば、ビューアの優先順位は、ビューアのうちいずれか１人の入力を受信して決定されてもよい。このために、リモコン、スマートフォンなどの外部入力装置による入力、動作、又はジェスチャー認識による入力、音声認識による入力などの様々な方式の入力インターフェースが提供されてもよい。又は、顔認識方式を用いて自動的にビューアの優先順位が決定されてもよい。一例として、ビジョンセンサを介して複数のビューアの顔が認識され、認識されたビューア及び予め登録されたメインユーザのリストに基づいてビューアの優先順位が決定されてもよい。前述した方式は例示的な事項に過ぎず、ビューアの優先順位を決定する方式は多様に変形されてもよい。
【００５４】
複数のユーザがいる場合、レンダリング装置は、第１のユーザ３１０の左眼を基準として視点領域の幅ほどの領域を定義し、定義された領域内に全てのユーザの眼方向を表示することができる。ここで、第２のユーザ３３０の眼が第１の視点領域３１５に隣接する第２の視点領域３３５に存在すれば、レンダリング装置は、第２のユーザ３３０の眼の位置を第１の視点領域３１５に該当する方向に移して表示する。この過程を本明細書では、「視線マッピング過程（ｅｙｅ  ｄｉｒｅｃｔｉｏｎ  ｍａｐｐｉｎｇ  ｐｒｏｃｅｓｓ）」と呼ぶことにする。視線マッピング過程は図６を参照して説明する。
【００５５】
レンダリング装置は、１つの視点領域内にマッピングされた両眼に対する方向範囲の大きさ及び配列順序などを基に両眼に表現する画像（あるいはコンテンツ）を決定する。レンダリング装置は、例えば、両眼方向を基に光線方向の範囲に入射する光線にどのビュー画像（あるいはコンテンツ）を決定するかを決定することができる。この過程を本明細書では「コンテンツ決定過程（ｃｏｎｔｅｎｔ  ｄｅｔｅｒｍｉｎｉｎｇ  ｐｒｏｃｅｓｓ）」と呼ぶことにする。コンテンツ決定過程は図１１〜図１５を参照して説明する。
【００５６】
コンテンツ決定過程において、隣接する光線方向の範囲の中心方向が一定の大きさに近い場合、レンダリング装置は、互いに隣接する光線方向の範囲が互いに同じ画像（コンテンツ）を表現するように決定する場合がある。これは、隣接する光線方向の範囲の中心方向が一定の大きさに近い場合に互いに異なる画像を表現すことになれば、クロストークが大きく発生し得るからである。ここで、レンダリング装置は、第１のユーザ３１０が常に指定された３Ｄ画像（例えば、２番と３番のぺアの３Ｄ画像）を見れるようにすることによって第１のユーザ３１０のための画像は変更されないようにすることができる。また、レンダリング装置は、第１のユーザ３１０が指定された３Ｄ画像を見るための最小限の光線方向の範囲を定義し、最小限の光線方向の範囲より小さい方向範囲には画像が決定されないようにすることができる。
【００５７】
上述した過程を経て第１のユーザ３１０が常に指定された３Ｄ画像を見ることができるとき、レンダリング装置は、第１のユーザ３１０に提供される画像（コンテンツ）を表現するための最小限のピクセルリソースを除いた残りのピクセルリソースを第２のユーザ３３０を含む他のユーザのための画像（コンテンツ）を表現するのに用いることができる。
【００５８】
レンダリング装置は、光学層１０３とパネル１０１に含まれたサブピクセルの位置関係によって決定された、サブピクセルから放射される光線方向を含む光線方向の範囲において表現すべき画像（コンテンツ）に対するサブピクセルの値を決定することができる。以下、サブピクセルの値を決定する過程は図１６を参照して説明する。
【００５９】
本発明の一実施形態においては、パネルのサブピクセルのそれぞれが提供する視点領域が繰り返されることを利用して高解像度を実現することができる。また、本発明の一実施形態においては、第１のユーザ３１０と第２のユーザ３３０のどちらか片方の眼に同じ画像を表現することによって、ユーザ３１０，３３０のそれぞれの視野角内における多くのビュー又は多くの光線の間の干渉によるクロストークの発生を防止することができる。
【００６０】
図４は、本発明の一実施形態に係るライトフィールドレンダリング方法を示したフローチャートである。
【００６１】
図４を参照すると、本発明の一実施形態に係るレンダリング装置は、第１のユーザの両眼の位置及び第２のユーザの両眼の位置をディスプレイ領域（例えば、ピクセル）に対応する視点領域にマッピングする（Ｓ４１０）。ここで、視点領域は、パネルに属したピクセルと光学層に属した光学素子のペアに対応するビューコーン（ｖｉｅｗ  ｃｏｎｅ）を含んでもよい。レンダリング装置は、例えば、ピクセルと光学層に属する複数の光学素子の間の相対的な位置による繰り返し特性に基づいて、第１のユーザの両眼の位置及び第２のユーザの両眼の位置を視点領域にマッピングすることができる。
【００６２】
レンダリング装置は、マッピングされた第１のユーザの両眼の位置及びマッピングされた第２のユーザの両眼の位置に基づいて、ディスプレイ領域（例えば、ピクセル）の値を決定する（Ｓ４２０）。レンダリング装置は、例えば、ピクセルの光線方向が第１のユーザに対応する場合、第１のユーザの両眼の位置で立体画像が再生されるようにピクセルの値を決定することができる。また、レンダリング装置は、光線方向が第２のユーザに対応する場合、第２のユーザの両眼のうち少なくとも１つ眼の位置で立体画像の左側の画像又は右側の画像が再生されるようにピクセルの値を決定することができる。ここで、光線方向は、ピクセル及び光学層に含まれた光学素子によって伝播される光線方向を含んでもよい。
【００６３】
上述したようにレンダリング装置は、サブピクセル単位でレンダリングを行ってもよい。この場合、ステップＳ４１０及びステップＳ４２０に記述された「ピクセル」はサブピクセルとして理解されてもよい。本発明の一実施形態に係るレンダリング装置は、サブピクセルの光線方向がステップＳ４１０においてマッピングされたどのユーザのどちらの眼の位置に対応するかによって、例えば、下記の表１のようにサブピクセルの値を決定することができる。
【００６４】
以下、表１において、表示の簡略化のために第１のユーザの左眼を「１Ｌ」とし、第１のユーザの右眼を「１Ｒ」と表現し、第２のユーザの左眼を「２Ｌ」とし、第２のユーザの右眼を「２Ｒ」と表現した。また、表１において、マッピングされたユーザの眼の位置関係において用いられた記号
【００６５】
2017038367.tif 000003
は、当該記号の左側と右側に位置する各ユーザの眼の位置が対応することを示す。第１のユーザの眼の位置と第２のユーザの眼の位置とが画像分離表現（ｉｍａｇｅ  ｓｅｐａｒａｔｉｏｎ  ａｎｄ  ｄｉｓｐｌａｙ）のための最小間隔内に隣接した場合を示す。例えば、
【００６６】
2017038367.tif 000004
は、i）２Ｌと１Ｌとの間の距離、ii）２Ｌと１Ｒとの間の距離、iii）２Ｒと１Ｌとの間の距離、及びiv）２Ｒと１Ｒとの間の距離のうち２Ｌと１Ｌとの間の距離が最小の場合を示すことができる。
【００６７】
【表１】
2017038367.tif 000005
表１において、サブピクセルの光線方向が、マッピングされた第１のユーザの左眼の位置に対応する場合（光線方向：１Ｌ）、レンダリング装置は、立体画像の左側の画像（２ｎｄｖｉｅｗ）に基づいてサブピクセルの値を決定する。また、光線方向がマッピングされた第１のユーザの右眼の位置に対応する場合（光線方向：１Ｒ）、レンダリング装置は、立体画像の右側の画像（３ｒｄｖｉｅｗ）に基づいてサブピクセルの値を決定する。
【００６８】
サブピクセルの光線方向がマッピングされた第２のユーザの左眼の位置に対応する場合（光線方向：２Ｌ）、ユーザの間の眼の位置関係によってサブピクセルの値を決定する。例えば、マッピングされた第２のユーザの左眼の位置がマッピングされた第１のユーザの左眼の位置に対応する場合
【００６９】
2017038367.tif 000006
レンダリング装置は、第１のユーザのための立体画像の左側の画像（２ｎｄｖｉｅｗ）に基づいてサブピクセルの値を決定する。ここで、第１のユーザの左眼１Ｌには、２ｎｄｖｉｅｗが再生されるように保障されなければならないため、第２のユーザの左眼２Ｌのためのサブピクセルの値は、２ｎｄｖｉｅｗに基づいて決定される。また、マッピングされた第２のユーザの左眼の位置がマッピングされた第１のユーザの右眼の位置に対応する場合
【００７０】
2017038367.tif 000007
レンダリング装置は、第１のユーザのための立体画像の右側の画像に基づいてサブピクセルの値を決定する。ここで、第１のユーザの右眼１Ｒには、３ｒｄｖｉｅｗが再生されるように保障されなければならないため、第２のユーザの左眼２Ｌのためのサブピクセルの値は、３ｒｄｖｉｅｗに基づいて決定される。
【００７１】
また、マッピングされた第２のユーザの右眼の位置がマッピングされた第１のユーザの左眼の位置に対応する場合
【００７２】
2017038367.tif 000008
レンダリング装置は、第１のユーザのための立体画像の左側の画像又は左側の画像よりさらに左側の視点の画像に基づいてサブピクセルの値を決定する。ここで、第１のユーザの左眼１Ｌには、２ｎｄｖｉｅｗが再生されるように保障されなければならないため、第２のユーザの右眼２Ｒにも２ｎｄｖｉｅｗが再生されなければならない。この場合、第２のユーザの左眼２Ｌのためのサブピクセルの値は、１ｓｔｖｉｅｗ又は２ｎｄｖｉｅｗに基づいて決定される。
【００７３】
一例として、ユーザの間の相対的位置関係によって第２のユーザに立体画像を提供することが可能であれば、第２のユーザの左眼２Ｌのためのサブピクセルの値は、１ｓｔｖｉｅｗに基づいて決定される。この場合、第２のユーザの右眼２Ｒには２ｎｄｖｉｅｗが再生され、第２のユーザの左眼２Ｌには１ｓｔｖｉｅｗが再生されるため、第２のユーザは立体画像を視聴することができる。他の例として、ユーザの間の相対的位置関係によって第２のユーザに立体画像を提供することが不可能であれば、第２のユーザの左眼２Ｌのためのサブピクセルの値は２ｎｄｖｉｅｗに基づいて決定される。この場合、第２のユーザの右眼２Ｒ及び左眼２Ｌの両眼に２ｎｄｖｉｅｗが再生されるため、第２のユーザは単画像を視聴することができる。
【００７４】
また、マッピングされた第２のユーザの右眼の位置がマッピングされた第１のユーザの右眼の位置に対応する場合
【００７５】
2017038367.tif 000009
レンダリング装置は、左側の画像又は立体画像の右側の画像に基づいてサブピクセルの値を決定する。ここで、第１のユーザの右眼１Ｒには、３ｒｄｖｉｅｗが再生されるように保障されなければならないため、第２のユーザの右眼２Ｒにも３ｒｄｖｉｅｗが再生されなければならない。この場合、第２のユーザの左眼２Ｌのためのサブピクセルの値は、２ｎｄｖｉｅｗ（立体画像）又は３ｒｄｖｉｅｗ（単画像）に基づいて決定される。
【００７６】
サブピクセルの光線方向がマッピングされた第２のユーザの右眼の位置に対応する場合（光線方向：２Ｒ）、ユーザの間の眼の位置関係によってサブピクセルの値を決定する。例えば、マッピングされた第２のユーザの右眼の位置がマッピングされた第１のユーザの左眼の位置に対応する場合
【００７７】
2017038367.tif 000010
レンダリング装置は、第１のユーザのための立体画像の左の画像（２ｎｄｖｉｅｗ）に基づいてサブピクセルの値を決定する。また、マッピングされた第２のユーザの右眼の位置がマッピングされた第１のユーザの右眼の位置に対応する場合
【００７８】
2017038367.tif 000011
レンダリング装置は、立体画像の右側の画像（３ｒｄｖｉｅｗ）に基づいてサブピクセルの値を決定する。また、マッピングされた第２のユーザの左眼の位置が前記マッピングされた第１のユーザの左眼の位置に対応する場合
【００７９】
2017038367.tif 000012
レンダリング装置は、第１のユーザのための立体画像の左の画像（２ｎｄｖｉｅｗ）又は立体画像の右側の画像（３ｒｄｖｉｅｗ）に基づいてサブピクセルの値を決定する。また、マッピングされた第２のユーザの左眼の位置がマッピングされた第１のユーザの右眼の位置に対応する場合
【００８０】
2017038367.tif 000013
レンダリング装置は、右側の画像（３ｒｄｖｉｅｗ）又は右側の画像よりさらに右側の視点の画像（４ｔｈｖｉｅｗ）に基づいてサブピクセルの値を決定する。
【００８１】
本発明の一実施形態に係るサブピクセルの値を決定する方法は、上述したようなユーザの数が２人の場合だけでなく３人以上の場合にも同一に適用することができる。ここで、３人以上のユーザのためのサブピクセルの値は、上述のユーザが２人の場合と同じ方式で決定することができる。
【００８２】
前記及び以下の説明の観点から、レンダリング装置は、i）立体画像から複数の画像のうちの１つ以上の画像、ii）第２のユーザ（例えば、ユーザ６３０の眼の変換された位置）及び第１のユーザ（例えば、ユーザ５１０の実際の眼の位置）の間の関係、及びiii）領域の光線方向（ここで、光線方向は、光線が領域からディスプレイに関連する、例えば、光学層１０３からの光学素子の中心を経て通過する方向）に基づいて領域（例えば、ピクセル又はサブピクセル）の値を決定することができる。
【００８３】
本発明の一実施形態において、光線方向にマッピングされる各ユーザの眼の位置及び各ユーザの眼の間の関係によって発生し得る様々な状況に関しては、図１３〜図１５を参照する。以下においては、ユーザの両眼の位置をサブピクセルに対応する視点領域でマッピングする前に、図５を参照してユーザの眼の位置を検出する方法を説明する。
【００８４】
図５は、本発明の一実施形態に係るライトフィールドレンダリング装置がユーザの眼の位置を検出する過程を説明するための図である。図５を参照すると、本発明の一実施形態に係るレンダリング装置のパネル１０１に含まれたサブピクセル１０２から第１のユーザ５１０に向かう方向が光学層１０３に含まれた光学素子１０４の領域を通過して、第２のユーザ５３０に向かう方向が光学素子１０５の領域を通過する状況が示されている。
【００８５】
サブピクセル１０２は、様々な方向に光を出力してもよい。光が出力される方向は光線方向と呼ぶ。サブピクセル１０２から出力される光は、光学層１０３を通過しながら光線方向が量子化される形態で出力されてもよい。例えば、サブピクセル１０２から出力される光線方向は、光学層１０３に含まれた光学素子１０４，１０５のそれぞれの中心を通過する方向に量子化されてもよい。
【００８６】
ここで、サブピクセル１０２から第１のユーザ５１０の左眼１Ｌ（５１３）に向かう第１の方向５０１と、第１のユーザ５１０の右眼１Ｒ（５１６）に向かう第２の方向５０２が光学素子１０４の領域を通過すると仮定する。また、サブピクセル１０２から第２のユーザ５３０の左眼２Ｌ（５３３）に向かう第３の方向５０３と第２のユーザ５３０の右眼２Ｒ（５３６）に向かう第４の方向５０４が光学素子１０５の領域を通過すると仮定する。
【００８７】
レンダリング装置は、第１のユーザ５１０の両眼５１３，５１６の位置を含む第１の情報及び第２のユーザ５３０の両眼５３３，５３６の位置を含む第２の情報を受信してもよい。レンダリング装置は、例えば、各ユーザの両眼の位置を追跡するセンサからユーザの両眼の位置に関する情報を含む信号を受信することができる。また、レンダリング装置は、サブピクセル１０２から各ユーザの両眼に向かう方向を各ユーザの眼の位置を用いて決定することができる。
【００８８】
レンダリング装置は、ユーザの両眼に向かう方向に基づいて、パネル１０１に含まれたサブピクセル１０２が各ユーザの左眼と右眼のうちどちらの眼に対応するかを決定することができる。
【００８９】
レンダリング装置は、例えば、サブピクセル１０２の光線方向を算出してもよい。例えば、サブピクセル１０２から出力された光線は、光学層１０３内の光学素子１０４，１０５の中心を通過する方向に伝播してもよい。レンダリング装置は、パネル１０１と光学層１０３の間の距離、パネル１０１内のサブピクセル１０２の位置、及び光学層１０３内の素子のうちサブピクセル１０２から出力された光線が通過する光学素子１０４，１０５の位置のうち少なくとも１つに基づいて、サブピクセル１０２の光線方向を算出してもよい。以下、サブピクセルから出力された光は、ＬＥＤのように自主的に発光するサブピクセルから出力される光だけでなく、ＬＣＤのようにバックライトの光を透過させるサブピクセルから出力される光を全て含んでもよい。
【００９０】
サブピクセル１０２の光線方向によって伝播される光は、第１のユーザ５１０又は第２のユーザ５３０の視点に対応してもよい。レンダリング装置は、サブピクセル１０２の光線方向によって伝播される光が到達する位置に対応するユーザの視点を選択してもよい。
【００９１】
以上、レンダリング装置がサブピクセルの光線方向に基づいてサブピクセルに対応する視点及びサブピクセルに対応する領域を決定する動作方式を説明したが、本発明の実施形態は、レンダリング装置がテーブル（例えば、ルックアップテーブル（Ｌｏｏｋｕｐ  Ｔａｂｌｅ：ＬＵＴ））からサブピクセルに対応する視点及びサブピクセルに対応する領域を取得する動作方式に変形してもよい。
【００９２】
例えば、全ての視点画像を撮影する距離、全ての視点画像を撮影する画角、全ての視点画像を撮影する方向、又は、全ての視点画像のためのカメラパラメータなど、全ての視点画像を撮影する条件が標準化される場合、任意のサブピクセルに対応する視点及び当該サブピクセルに対応する領域は定められてもよい。テーブルは、パネル１０１のサブピクセルの構造によって、パネル１０１に含まれたサブピクセルに対応する視点及び領域に関連する情報を格納してもよい。この場合、レンダリング装置は、テーブルを参照することによって、サブピクセルに対応する視点及びサブピクセルに対応する領域を決定することができる。
【００９３】
図６は、本発明の一実施形態に係るライトフィールドレンダリング装置がユーザの視線をマッピングする過程を説明するための図である。
【００９４】
図６を参照すると、サブピクセルから複数のユーザの両眼に向かう方向を１つのビューコーンに対応する方向にマッピングした結果が示されている。
【００９５】
図６において、第１のユーザ５１０の左眼に向かう第１の方向５０１と、第１の方向５０１が光学層１０３を通過する第１の位置６０１から１つの光学素子１０４の幅ほど離れた第２の位置６０２を定義する。ここで、パネル１０１のサブピクセル１０２と光学層１０３に含まれた光学素子１０４に対応する方向範囲を視覚領域（例えば、「ビューコーン６５０」）として定義する。言い換えると、サブピクセル１０２を中心に第１の位置６０１を通過する方向５０１とサブピクセル１０２を中心に第２の位置６０２を通過する方向６０５との間の方向範囲をビューコーン６５０として定義する。
【００９６】
レンダリング装置は、例えば、光学層１０３のパターン周期と、光学層１０３とサブピクセル１０２が位置するパネル１０１との間の距離を用いてビューコーンの大きさを決定することができる。レンダリング装置がビューコーンの大きさを決定する方法は図７を参照して説明する。
【００９７】
レンダリング装置は、サブピクセル１０２から放出された光線が複数のユーザ５１０，５３０の眼に向かう方向を算出し、光線が各ユーザの眼に向かう方向を１つのビューコーンに対応する方向にマッピングする。
【００９８】
レンダリング装置は、各サブピクセルから複数のユーザのそれぞれの眼に向かう方向を算出する。ここで、レンダリング装置は、最も優先順位が高いユーザの眼方向（例えば、第１のユーザ５１０の左眼１Ｌ（５１３）の方向）を基準として１つのビューコーン６５０に該当する方向範囲を定める。レンダリング装置は、ビューコーン６５０に該当する方向範囲内にないユーザ（例えば、第２のユーザ５３０）の眼方向をビューコーン６５０の方向範囲内にマッピングする。
【００９９】
言い換えると、レンダリング装置は、視覚領域（例えば、図３のビューコーン３３５）から他の視覚領域（例えば、ビューコーン（図３の３１５又は図６の６５０））に第２のユーザの眼の位置を変換させることができる。レンダリング装置は、第２のユーザの変換された眼の位置６３３，６３６及び第１のユーザの実際の眼の位置５１３，５１６に基づいてサブピクセル１０２の値をすることができる。
【０１００】
図５において説明したように、第２のユーザ５３０の左眼２Ｌ（５３３）と右眼２Ｒ（５３６）に伝播される光は、光学素子１０５の領域を通過したものであるため、ビューコーン６５０内に存在しないものを見ることができる。この場合、第２のユーザ５３０の両眼に提供される光が光学素子１０５の領域を通過する代わりに光学素子１０４の領域を通過することに変換されれば、第２のユーザ５３０は、第２のユーザ６３０によって見える位置に変換される。これと共に、第２のユーザ５３０の左眼２Ｌ（５３３）の位置は新しい位置２Ｌ’（６３３）に変換され、第２のユーザ５３０の右眼２Ｒ（５３６）の位置は新しい位置２Ｒ’（６３６）に変換される。また、第３の方向５０３は新しい第３の方向６０３に、第４の方向５０４は新しい第４の方向６０４に変換される。
【０１０１】
このように変換できる理由は、サブピクセル１０２から光学素子１０５を通過する光線と第３の方向５０３、第４の方向５０４との間の関係が、サブピクセル１０２から光学素子１０４を通過する光線と新しい第３の方向６０３、新しい第４の方向６０４との間の関係が同じだからである。
【０１０２】
レンダリング装置は、サブピクセル１０２から第１のユーザ５１０と第２のユーザ５３０の両眼に向かう方向５０１，５０２，５０３，５０４をビューコーン６５０内にマッピングして最終的に方向５０１，５０２，６０３，６０４を得てもよい。
【０１０３】
１つのビューコーンを基準として各ユーザの眼方向をマッピングした後、レンダリング装置は、マッピングされた方向を基準として両眼に見える画像を表現する光線方向の範囲を決定してもよい。光線方向の範囲は、例えば、所望する（又は予め定義された）方向の差ほどの幅を有した範囲として決定することができる。光線方向の範囲を決定する方法は、図８〜図１０を参照して説明する。以下、ビューコーン６５０内にマッピングされた第２のユーザ６３０の位置を中心にレンダリング装置の動作を説明する。
【０１０４】
図７は、本発明の一実施形態に係るビューコーンの大きさを決定する方法を説明するための図である。
【０１０５】
図７を参照すると、ビューコーン７１０及びビューコーン７１０内における第１のユーザの両眼７０１，７０２の位置及び第２のユーザの両眼７０３，７０４７０５，７０６の位置が示されている。
【０１０６】
第１のユーザの両眼７０１，７０２は、最適な視聴距離において左眼７０１と右眼７０２との間に１ＩＰＤの間隔を有する。ここで、ＩＰＤ（Ｉｎｔｅｒ−Ｐｕｐｉｌ  Ｄｉｓｔａｎｃｅ）は、両眼の瞳孔中心の間の距離を示す。第２のユーザの両眼７０３，７０４，７０５，７０６が第１のユーザの両眼の間に位置しない場合においても、第１のユーザのどちらか片方の眼を基準に、最小の分離可能な間隔（ｍｉｎｉｍｕｍ  ｓｅｐａｒａｂｌｅ  ｄｉｓｔａｎｃｅ）である０．５ＩＰＤ以上の差が必要である。「最小の分離可能な距離（間隔）」は、互いに異なるコンテンツの間にクロストークが発生しないようにするために（又はクロストークを減らすために）、所望する最小限の距離（間隔）として定義される。
【０１０７】
図７（ａ）のように、第２のユーザのどちらか片方の眼（左眼Ｌ２（７０３））が第１のユーザの両眼７０１，７０２の間の中央に位置する場合、第２のユーザの左眼Ｌ２（７０３）は、第１のユーザの両眼７０１，７０２のうちどちらか片方の眼と同様の画像が表現されることになる。
【０１０８】
例えば、第２のユーザの左眼Ｌ２（７０３）に第１のユーザの右眼Ｒ１（７０２）と同様の画像が表現されると仮定する。ここで、互いに異なる画像を表現される第１のユーザの左眼Ｌ１（７０１）と第２のユーザの左眼Ｌ２（７０３）には、画像を割り当ててもクロストークが発生しないように（又はクロストークを減らすために）、互いに最小の分離可能な間隔（例えば、０．５ＩＰＤ）を設定することができる。
【０１０９】
例えば、図７（ｂ）のように、ビューコーン７１０内に第１のユーザの両眼７０１，７０２と共に第２のユーザの両眼７０３，７０４を位置させようとする場合を説明する。
【０１１０】
ここで、第２のユーザの左眼７０３が第１のユーザの右眼７０２から０．５ＩＰＤよりもう少しさらに右側に離れた所に位置したり、又は、第２のユーザの右眼７０６が第１のユーザの左眼７０１よりもう少しさらに左側に離れた所に位置する場合、各ユーザの両眼のそれぞれのためのコンテンツがよく分離され得る。つまり、最適な視聴距離において３ＩＰＤ以上のビューコーンの大きさを有する場合、レンダリング装置は、２人のユーザのそれぞれのためのコンテンツをよく分離することができる。レンダリング装置は、２人のユーザのためのビューコーン７１０が最適な視聴距離において３ＩＰＤ以上の大きさを有するように決定することができる。
【０１１１】
図８は、本発明の一実施形態に係るレンダリング装置が光線方向の範囲を決定する過程を説明するための図である。図８を参照すると、レンダリング装置が各眼に向かう方向の間の中間値を境界として光線方向の範囲を決定する方法が示されている。
【０１１２】
レンダリング装置は、サブピクセル１０２から光学素子１０４を通過して各眼に向かう方向５０１，５０２，６０３，６０４，６０５の中間値に該当する方向８０１，８０２，８０３，８０４を各眼に該当する光線方向の範囲の境界として決定する。
【０１１３】
レンダリング装置は、例えば、第１のユーザ５１０の左眼５１３のための光線方向の範囲は、方向５０１〜８０１の領域と方向８０４〜６０５の領域として、第１のユーザ５１０の右眼５１６のための光線方向の範囲は、方向８０１〜８０２の領域として決定する。また、第２のユーザ６３０の左眼６３３のための光線方向の範囲は、方向８０２〜８０３の領域として、第２のユーザ６３０の右眼６３６のための光線方向の範囲は、方向８０３〜８０４の領域として決定する。
【０１１４】
以下、サブピクセル１０２に対応して所望する（又は予め決定した）視点領域（例えば、ビューコーン６５０）のうち各ユーザの眼のための光線方向の範囲の境界によって決定される一部領域を「サブ視点領域（ｓｕｂ−ｖｉｅｗ  ａｒｅａ）」と呼ぶことにする。例えば、方向５０１〜８０１の領域、方向８０４〜６０５の領域、方向８０１〜８０２の領域、方向８０２〜８０３の領域、方向８０３〜８０４の領域などがサブ視点領域に該当する。
【０１１５】
図９は、本発明の他の実施形態に係るレンダリング装置が光線方向の範囲を決定する過程を説明するための図である。
【０１１６】
図９を参照すると、レンダリング装置が各眼に向かう方向を中心に一定の大きさを有する領域を境界として光線方向の範囲を決定する方法が示されている。
【０１１７】
レンダリング装置は、第１のユーザの左眼５１３に向かう方向５０１を基準として右側に一定の大きさほど離れた方向９０１を決定し、方向５０１と同等に見える方向６０５を基準として左側に一定の大きさほど離れた方向９０２を決定する。
【０１１８】
ここで、サブピクセル１０２から放出される光線方向が方向５０１から方向９０１の間の領域と方向９０２から方向６０５の間の領域に該当する場合、サブピクセル１０２は、第１のユーザの左眼５１３に見える画像を表現することになり、方向５０１から方向９０１の間の領域と方向９０２から方向６０５の間の領域は、第１のユーザの左眼５１３のための光線方向の範囲と見ることができる。
【０１１９】
同様に、レンダリング装置は、第１のユーザの右眼５１６に向かう方向５０２を基準として左側に一定の大きさほど離れた方向９０３を決定し、方向５０２を基準として左側に一定の大きさほど離れた方向９０３と右側に一定大きさほど離れた方向９０４を決定する。
【０１２０】
図９において、方向９０３と方向５０２のと間の間隔と方向５０２と方向９０４のと間の間隔が異なることを確認することができる。これは、方向９０３と方向５０２との間の間隔ほどの方向５０２から右側に離れた方向が、第１のユーザ５１０の右眼５１６に向かう方向５０２と第２のユーザ６３０の左眼６３３に向かう方向６０３との中間に該当する方向よりさらに右側に向かってしまったからである。
【０１２１】
レンダリング装置は、眼の間の間隔が所望する（又は予め決定した）大きさほど確保できない場合、両眼に向かう各方向の中間方向を境界として決定してもよい。したがって、方向９０４は、方向５０２と方向６０３との中間方向に表現されてもよい。
【０１２２】
同様に、レンダリング装置は、第２のユーザ６３０の左眼６３３に向かう方向６０３を基準として左側と右側への光線方向の範囲の境界をそれぞれ方向９０４と方向９０５として決定してもよい。レンダリング装置は、第２のユーザ６３０の右眼６３６に向かう方向６０４を基準として左側と右側への光線方向の範囲の境界をそれぞれ方向９０６と方向９０７として決定してもよい。
【０１２３】
もし、図９において、ユーザの眼に向かう方向を中心に決定された光線方向の範囲の大きさが十分に大きくなければ、サブピクセル１０２から放出される光線方向がどのユーザの眼のための光線方向の範囲にも含まれない場合がある。この場合、サブピクセル１０２から放出される光は、どちらのユーザの眼のための画像表現にも使われない。
【０１２４】
図１０は、本発明の他の実施形態に係るレンダリング装置が光線方向の範囲を決定する過程を説明するための図である。図１０を参照すると、レンダリング装置が一度決定された光線方向の範囲に修正を加える場合が示されている。
【０１２５】
光線方向の範囲は、第１のユーザ５１０の視聴環境を優先するという意味で、一度決定された後にも修正を加えることができる。
【０１２６】
レンダリング装置は、第１のユーザ５１０の左眼５１３を中心に方向５０１〜１００１の領域、方向１００２〜６０５の領域を最小の表示領域（ｍｉｎｉｍｕｍ  ｄｉｓｐｌａｙ  ａｒｅａ）に設定することができる。ここで、「最小の表示領域」は、許容可能な最小の分離距離内にある領域として定義される。許容可能な最小の分離距離とは、許容可能な範囲のクロストークを発生させる最小距離であって、２つの位置の中央を基準として両側に互いに異なる画像を表現したとき、両側の位置全てに予め指定された一定水準以下のクロストークを発生させる最小距離を意味する。一般的にはクロストークを発生させない最小距離を設定する。
【０１２７】
ここで、最小の表示領域（方向１００２〜６０５の領域）は、例えば、図８において設定した方向５０１〜８０１の領域と方向８０４〜６０５の領域とに該当する光線方向の範囲に含まれる。したがって、レンダリング装置は、光線方向の範囲を修正することができない場合がある。
【０１２８】
上述のような方法によって、レンダリング装置は、第１のユーザ５１０の右眼５１６を中心に方向１００３〜１００４の領域を最小の表示領域として設定する。ここで、最小の表示領域（方向１００３〜１００４の領域）の一部が、例えば、図８において設定した光線方向の範囲を逸脱することになるため、レンダリング装置は、光線方向の範囲を修正することができる。ここで、修正される光線方向の範囲は、第１のユーザ５１０の右眼５１６と第２のユーザ６３０の左眼６３３の光線方向の範囲であってもよい。
【０１２９】
第１のユーザ５１０の右眼５１６のための光線方向の範囲は、方向８０１〜８０２の領域から方向８０１〜１００４の領域に拡張され、第２のユーザ６３０の左眼６３３のための光線方向の範囲は、方向８０２〜８０３領域から方向１００４〜８０３領域に縮小されてもよい。
【０１３０】
図１１は、本発明の一実施形態に係るレンダリング装置がサブ視点領域ごとのコンテンツを決定する過程を説明するための図である。
【０１３１】
本発明の一実施形態に係るレンダリング装置は、光線方向の範囲を決定する過程を経て決定された光線方向の範囲情報を用いて各光線方向の範囲にどんな画像を表現するかを決定する。レンダリング装置は、例えば、第１のユーザ５１０の左眼５１３と右眼５１６の光線方向の範囲に所望する（又は予め指定された）立体画像が表現されるように決定してもよい。レンダリング装置は、第１のユーザ５１０のために必要なサブピクセル以外に残ったリソースを用いて第２のユーザ６３０のための画像を表現してもよい。
【０１３２】
第１のユーザ５１０の両眼５１３，５１６にどんな画像を表現されるようにするかを決定した後、レンダリング装置は、第２のユーザ６３０の左眼６３３と右眼６３６の光線方向の範囲にどんな画像を表現させるかを決定してもよい。より効率的なリソースの利用のために、レンダリング装置は、第２のユーザ６３０の左眼６３３と右眼６３６のうち少なくとも片方の眼が第１のユーザ５１０の片方の眼で見れるコンテンツと同様のコンテンツを見れるようにしてもよい。
【０１３３】
レンダリング装置は、例えば、各光線方向の範囲とサブピクセル１０２から両眼に向かう方向の関係に基づいて、第２のユーザ６３０の左眼６３３と右眼６３６の光線方向の範囲にどんな画像を表現するかを決定することができる。レンダリング装置が各ユーザの両眼にどんな画像を表現するか決定する具体的な方法を図１２〜図１５を参照して説明する。
【０１３４】
図１２は、本発明の他の実施形態に係るレンダリング装置がサブ視点領域ごとのコンテンツを決定する過程を説明するための図である。
【０１３５】
図１２を参照すると、ビューコーン内における２人のユーザの両眼の位置関係によって各サブ視点領域ごとに表現される画像（コンテンツ）が示されている。
【０１３６】
１つのサブピクセルに対する入力画像１２１０は、１、２、３、４番の４つのビュー画像とする。ここで、４つのビュー画像のそれぞれは、それぞれ１ＩＰＤ離れた画像であって、隣接した番号の画像を左眼と右眼で視聴したとき、現在の一般的な立体画像のような程度の奥行き感を感じることができる。
【０１３７】
本発明の一実施形態においては、各サブピクセルに対して、第１のユーザのビューコーンを基準として第２のユーザの方向及び両眼方向の領域を区分する。また、第１のユーザに常に２番の画像と３番の画像のペアを提供し、第２のユーザには下記において説明する各場合に応じて対応する画像を提供する。
【０１３８】
図１２に示されたビューコーンにおいては、１つのサブピクセルから放出された光線方向が属する領域の画像をサブピクセルの値で表現することができる。
【０１３９】
以下においては、ビューコーン内における第１のユーザの左眼１Ｌと第１のユーザの右眼１Ｒ及び第２のユーザの左眼２Ｌと第２のユーザの右眼２Ｒの位置関係によって各ユーザの眼に対応して再生される画像を説明する。
【０１４０】
図１２（ａ）は、第２のビューアが３番の画像と４番の画像を視聴する場合を示し、図１２（ｂ）は、第２のビューアが２番の画像と３番の画像を視聴する場合を示し、図１２（ｃ）は、第２のビューアが１番の画像と２番の画像を視聴する場合を示す。
【０１４１】
例えば、図１２（ａ）のように、第２のユーザの左眼２Ｌと第１のユーザの右眼１Ｒが近くにあったり、又は第１のユーザの左眼１Ｌ、第１のユーザの右眼１Ｒ、第２のユーザの左眼２Ｌ、第２のユーザの右眼２Ｒの順に配置されており、第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間隔が第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間隔より小さいとする。この場合、レンダリング装置は、第１のユーザの左眼１Ｌに２番の画像が、第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌに３番の画像が、第２のユーザの右眼２Ｒに４番の画像が再生されるようにすることができる。図１２において、ビューコーンの右端に点線で表示された「１Ｌ」は、ビューコーン領域が繰り返される特徴によってビューコーンの左端にある第１のユーザの左眼１Ｌと同じ位置にあるといえる。
【０１４２】
図１２（ｂ）のように、第１のユーザの左眼１Ｌと第２のユーザの左眼２Ｌが２番の画像に対応するサブ視点領域内において近くにあり、第１のユーザの右眼１Ｒと第２のユーザの右眼２Ｒが３番の画像に対応するサブ視点領域内において近くにあると仮定する。この場合、レンダリング装置は、各ユーザの左眼１Ｌ，２Ｌが２番の立体画像を視聴し、各ユーザの右眼１Ｒ，２Ｒが３番の立体画像を視聴するようにすることができる。
【０１４３】
また、図１２（ｃ）のように、第１のユーザの左眼１Ｌと第２のユーザの右眼２Ｒが２番の画像に対応するサブ視点領域内において近くにあり、第１のユーザの左眼１Ｌ、第１のユーザの右眼Ｒ１、第２のユーザの左眼２Ｌ、第２のユーザの右眼２Ｒの順に配置されていると仮定する。この場合、レンダリング装置は、第１のユーザの左眼１Ｌ及び第２のユーザの右眼２Ｒにおいて２番の画像が再生され、第１のユーザの右眼Ｒ１において３番の画像が、第２のユーザの左眼２Ｌにおいて１番の画像が再生されるようにすることができる。
【０１４４】
以下、図１３〜図１５においては、図１２の（ａ）、（ｂ）、（ｃ）のような環境において、各ユーザの眼の位置によって視聴距離が類似したり、又は類似しない様々な場合を説明する。
【０１４５】
図１３〜図１５においては、ビューコーンの領域を長方形の幅で表現し、横方向の位置は、ビューコーン内の１つの方向で表現する。また、ビューコーン内に各ユーザの眼が該当する方向を横方向の位置で表現する。本発明の一実施形態に係るレンダリング装置は、ビューコーン内に位置する各ユーザの両眼の間の中心点に境界をひいて、境界の間の領域に適切な視点を決定する。
【０１４６】
以下、図１３〜図１５において、点線で表示された距離は、実線で表示された距離より短く示し、二点鎖線は、最小の分離可能な間隔を示す。
【０１４７】
本発明の一実施形態に係るコンテンツ（画像）を決定するための手段（ｐｏｌｉｃｙ）において、第１のユーザの両眼に対応して常に２番の画像と３番の画像が再生されるようにするため、レンダリング装置は、第１のユーザの左眼１Ｌには２番の画像を決定し、第１のユーザの右眼１Ｒには３番の画像を決定してもよい。これと共に、レンダリング装置は、なるべく第２のユーザにも３Ｄ画像を視聴できるように各サブ視点領域の画像を決定してもよい。
【０１４８】
図１３は、本発明の他の実施形態に係るレンダリング装置がサブ視点領域ごとの画像を決定する過程を説明するための図である。
【０１４９】
図１３を参照すると、図１２（ａ）のような環境において、レンダリング装置がユーザの眼の位置によって画像を決定する方法を説明するための様々な場合が示されている。
【０１５０】
［視聴距離が類似の場合］
【０１５１】
下記の図１３（ａ）及び図１３（ｂ）においては、第１のユーザと第２のユーザの視聴距離が類似し、ビューコーン内において、２人のビューアの両眼方向の間の間隔が類似する場合に発生し得る場合を説明する。
【０１５２】
図１３（ａ）を参照すると、ビューコーンの右端は、ビューコーン領域が繰り返される特徴によって、ビューコーンの左端にある第１のユーザの左眼１Ｌと同じ位置にあるといえる。
【０１５３】
第２のユーザの眼の位置によって、レンダリング装置は、例えば、第１のユーザの左眼１Ｌと第２のユーザの右眼２Ｒとの間の間隔と第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間の間隔のうちどちらが近いかによってサブ視点領域の画像を選択又は決定することができる。
【０１５４】
図１３（ａ）において、第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間の間隔がさらに狭いため、レンダリング装置は、第２のユーザの左眼２Ｌに対して３番の画像を決定し、第２のユーザの右眼２Ｒに対して４番の画像を決定して、第２のユーザが３番と４番のペアの３Ｄ画像を視聴するようにすることができる。
【０１５５】
図１３（ｂ）を参照すると、第２のユーザの左眼２Ｌが第１のユーザの両眼の間に移動して第２のユーザの左眼２Ｌが第１のユーザの右眼１Ｒの近くにある場合が示されている。この場合、図１３（ａ）と同様に、レンダリング装置は、第２のユーザの左眼２Ｌに対して３番の画像を決定し、第２のユーザの右眼２Ｒに対して４番の画像を決定して、第２のユーザが３番と４番のペアの３Ｄ画像を視聴するようにすることができる。
【０１５６】
［視聴距離が非類似の場合］
【０１５７】
上述にて説明した視聴距離が類似の場合とは異なって、２人のユーザが常に類似の視聴距離から視聴するという保障がないため、視聴距離が非類似の場合にレンダリング装置が画像を選択（決定）するという方法が要求される。以下においては、２人のユーザの間の視聴距離が非類似の様々な場合においてレンダリング装置が第２のユーザの画像を決定する方法を説明する。
【０１５８】
図１３（ｃ）及び図１３（ｄ）を参照すると、第２のユーザの左眼２Ｌが第１のユーザの両眼の間に存在し、第２のユーザの左眼２Ｌが第１のユーザの右眼１Ｒの近くにある場合が示されている。ここで、図１３（ｃ）は、第２のユーザの右眼２Ｒは第１のユーザの右眼１Ｒより右側にあり、第２のユーザの右眼２Ｒと第１のユーザの右眼１Ｒとの間隔が最小の分離可能な間隔（二点鎖線）より大きい場合を示し、図１３（ｄ）は、第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間隔も最小の分離可能な間隔より大きい場合を示す。
【０１５９】
図１３（ｃ）及び図１３（ｄ）におけるレンダリング装置は、第２のユーザの左眼２Ｌに対して３番の画像を決定し、第２のユーザの右眼２Ｒに対して４番の画像を決定して、第２のユーザが３番と４番のペアの３Ｄ画像を視聴するようにすることができる。
【０１６０】
図１３（ｅ）を参照すると、第２のユーザの左眼２Ｌが第１のユーザの右眼１Ｒより右側に存在し、第２のユーザの左眼２Ｌと第１のユーザの右眼１Ｒとの間の間隔が最小の分離可能な間隔より小さい場合が示されている。また、図１３（ｆ）を参照すると、第２のユーザの右眼２Ｒが第２のユーザの左眼２Ｌより右側に存在し、第１のユーザの左眼１Ｌと第２のユーザの右眼２Ｒとの間の間隔が最小の分離可能な間隔より大きい場合が示されている。図１３（ｅ）及び図１３（ｆ）におけるレンダリング装置は、第２のユーザの左眼２Ｌが３番の画像を視聴し、第２のユーザの右眼２Ｒに対して４番の画像を視聴するようにすることができる。図１３（ｆ）のように、第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間の間隔が最小の分離可能な間隔内の場合、レンダリング装置は、第１のユーザの視聴環境を保障するようにするため、第２のユーザの右眼２Ｒにクロストークが発生し得る。
【０１６１】
図１３（ｇ）を参照すると、第２のユーザの左眼２Ｌが第１のユーザの右眼１Ｒより右側に存在し、第２のユーザの左眼２Ｌと第１のユーザの右眼１Ｒとの間の間隔が最小の分離可能な間隔以上の場合が示されている。ここで、第２のユーザの右眼２Ｒと第２のユーザの左眼２Ｌとの間隔は最小の分離可能な間隔より大きく、第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間の間隔が第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間の間隔より小さいと仮定する。
【０１６２】
この場合、レンダリング装置は、第２のユーザの左眼２Ｌに対して第１のユーザの右眼１Ｒと同様の３番の画像を決定し、第２のユーザが３Ｄ画像を視聴できるようにするために、第２のユーザの右眼２Ｒに対して４番の画像を決定することができる。第２のユーザは３番と４番のペアの３Ｄ画像を視聴することができる。
【０１６３】
図１４は、本発明の他の実施形態に係るレンダリング装置がサブ視点領域ごとの画像を決定する過程を説明するための図である。
【０１６４】
図１４Ａ、図１４Ｂ、図及び１４Ｃを参照すると、図１２（ｂ）のような環境において、レンダリング装置がユーザの眼の位置によって画像を決定する方法を説明するための様々な場合が示されている。
【０１６５】
［視聴距離が類似の場合］
【０１６６】
図１４Ａ（ａ）を参照すると、第２のユーザの左眼２Ｌが第１のユーザの両眼１Ｌ，１Ｒの間に位置し、第２のユーザの左眼２Ｌが第１のユーザの左眼１Ｌにさらに近くにある場合が示されている。この場合、第２のユーザの左眼２Ｌが第１のユーザの左眼１Ｌと隣接するため、レンダリング装置は第２のユーザの左眼２Ｌに対して第１のユーザの左眼１Ｌと同様の２番の画像を決定することができる。また、レンダリング装置は、第２のユーザが円滑な３Ｄ画像を視聴できるように第２のユーザの右眼２Ｒに対して３番の画像を決定することができる。この場合、第１のユーザ及び第２のユーザの両方が２番の画像及び３番の画像を視聴することができる。
【０１６７】
図１４Ａ（ｂ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの両眼の間に位置し、第１のユーザの左眼１Ｌより第１のユーザの右眼１Ｒにさらに近くにある場合が示されている。この場合、第２のユーザの右眼２Ｒは、第１のユーザの右眼１Ｒに隣接するため、レンダリング装置は、第２のユーザの右眼２Ｒに対して第１のユーザの右眼１Ｒと同様の３番の画像を決定することができる。ここで、レンダリング装置は第２のユーザの左眼２Ｌに対して２番の画像を決定することができる。
【０１６８】
［視聴距離が非類似の場合］
【０１６９】
以下、図１４Ａ（ｃ）〜図１４Ａ（ｈ）においては、第２のユーザの左眼２Ｌが第１のユーザの左眼１Ｌと画像分離表現のための最小間隔内に存在する場合にレンダリング装置が第２のユーザの右眼２Ｒの位置によって画像を決定する過程を説明する。
【０１７０】
図１４Ａ（ｃ）を参照すると、第２のユーザの右眼２Ｒが第２のユーザの左眼２Ｌと第１のユーザの左眼１Ｌとの間に存在する場合が示されている。レンダリング装置は、このように分離表現可能な最小間隔内にあるユーザの眼が基本的に同じ画像を表現するようにすることができる。レンダリング装置は、第２のユーザの左眼２Ｌと右眼２Ｒに対して全て２番の画像を決定する。第２のユーザは２Ｄの２番の画像を視聴することができる。
【０１７１】
図１４Ａ（ｄ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの左眼１Ｌと右眼１Ｒとの間に位置し、第１のユーザの左眼１Ｌにさらに近い場合が示されている。この場合、第２のユーザの両眼２Ｌ，２Ｒが全て第１のユーザの左眼１Ｌに近いため、レンダリング装置は第２のユーザの両眼に対して全て２番の画像を決定することができる。
【０１７２】
図１４Ａ（ｅ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの左眼１Ｌと右眼１Ｒとの間に位置し、第１のユーザの右眼１Ｒにさらに近い場合が示されている。ここで、第２のユーザの左眼２Ｌは第１のユーザの左眼１Ｌに近く、第２のユーザの右眼２Ｒは第１のユーザの右眼１Ｒのさらに近くにある。したがって、レンダリング装置は、第２のユーザの左眼に対して２番の画像を、右眼に対して３番の画像を決定することができる。第２のユーザは第１のユーザと同様の２、３番のペアの３Ｄ画像を視聴することができる。
【０１７３】
図１４Ａ（ｆ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間にあり、第１のユーザの右眼１Ｒにさらに近い場合が示されている。この場合、レンダリング装置は、第２のユーザの左眼２Ｌに２番の画像を、右眼２Ｒに３番の画像を決定することができる。第２のユーザは第１のユーザと同様の２、３番のペアの３Ｄ画像を視聴することができる。
【０１７４】
図１４Ａ（ｇ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間にある場合が示されている。ここで、第２のユーザの右眼２Ｒは、第２のユーザの左眼２Ｌにさらに近いが、第２のユーザの右眼２Ｒと第２のユーザの左眼２Ｌとの間の間隔が画像分離表現のための最小間隔より大きい。この場合、第２のユーザの両眼２Ｌ，２Ｒは、分離表現が可能であるため、レンダリング装置は、第２のユーザの左眼２Ｌに対して２番の画像を、右眼２Ｒに対して３番の画像を決定することができる。第２のユーザは第１のユーザと同様の２、３番のペアの３Ｄ画像を視聴することができる。
【０１７５】
図１４Ａ（ｈ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間にあり、第１のユーザの右眼１Ｒより第２のユーザの左眼２Ｌにさらに近く、第２のユーザの左眼２Ｌと第２のユーザの右眼２Ｒとの間隔が分離表現のための最小間隔より小さい場合が示されている。この場合、第２のユーザの両眼２Ｌ，２Ｒは分離表現が不可能であるため、両眼に対して同一の画像を決定してから、欠陥（ａｒｔｉｆａｃｔ）を最小化した画像を表現する。したがって、レンダリング装置は、第２のユーザの両眼２Ｌ，２Ｒに対して全て２番の画像を決定する。第２のユーザは２Ｄの２番の画像を視聴することができる。
【０１７６】
以下、図１４Ａ（ｉ）〜図１４Ａ（ｍ）においては、第２のユーザの左眼２Ｌが第１のユーザの両眼１Ｌ，１Ｒの間に存在し、第１のユーザの右眼１Ｒより第１のユーザの左眼１Ｌにさらに近くにある場合にレンダリング装置が第２のユーザの右眼２Ｒの位置によって画像を決定する過程を説明する。
【０１７７】
図１４Ａ（ｉ）を参照すると、第２のユーザの右眼２Ｒが第２のユーザの左眼２Ｌと第１のユーザの右眼１Ｒとの間に存在し、第１のユーザの右眼１Ｒより第２のユーザの左眼２Ｌにさらに近い場合が示されている。この場合、第２のユーザの左眼２Ｌは第１のユーザの左眼１Ｌにさらに近いため、レンダリング装置は第２のユーザの左眼２Ｌに対して２番の画像を決定することができる。また、第２のユーザの右眼２Ｒは第２のユーザの左眼２Ｌにさらに近いため、レンダリング装置は第２のユーザの右眼２Ｒに対してもまた、２番の画像を決定することができる。
【０１７８】
ただし、図１４Ａ（ｉ）において、第２のユーザの右眼２Ｒと第１のユーザの右眼１Ｒとの間隔が最小の分離可能な間隔より小さい場合、レンダリング装置は、第１のユーザの右眼１Ｒを優先的にビューコーン内の表現範囲を決定してもよい。したがって、図１４Ａ（ｉ）において第１のユーザの右眼１Ｒと第２のユーザの右眼２Ｒとの間の２番と３番の画像の境界が中間ではなく片方に偏る理由はそのせいである。図１４Ａ（ｉ）においてビューコーンの大きさを見せるバー（Ｂａｒ）上に突出した四角形の幅は、第１のユーザの右眼１Ｒの中心から左方向に確保すべき最小範囲を表示する。
【０１７９】
図１４Ａ（ｊ）を参照すると、第２のユーザの右眼２Ｒが第２のユーザの左眼２Ｌと第１のユーザの右眼１Ｒとの間に存在し、第２のユーザの左眼２Ｌより第１のユーザの右眼１Ｒにさらに近くにある場合が示されている。この場合、レンダリング装置は、第２のユーザが第１のユーザと同様の２、３番のペアの３Ｄ画像を視聴するようにすることができる。但し、第２のユーザの左眼２Ｌと右眼２Ｒとの間の間隔が最小の分離可能な間隔より小さい場合、第２のユーザは一定量のクロストークが含まれた３Ｄ画像を視聴することになる。
【０１８０】
図１４Ａ（ｋ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの右眼１Ｒより右側に存在し、第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間の間隔が最小の分離可能な間隔より大きい場合が示されている。ここで、レンダリング装置は、第２のユーザが第１のユーザと同様の２、３番のペアの３Ｄ画像を視聴するようにすることができる。
【０１８１】
図１４Ａ（ｌ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの右眼１Ｒより右側に存在し、第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間隔が最小の分離可能な間隔より小さい場合が示されている。ここで、レンダリング装置は、第２のユーザの両眼２Ｌ，２Ｒに対して全て２番の画像を決定することができる。
【０１８２】
図１４Ａ（ｍ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの左眼１Ｌと第２のユーザの左眼２Ｌとの間に存在する場合が示されている。ここで、レンダリング装置は、第２のユーザの両眼２Ｌ，２Ｒに対して全て２番の画像を決定することができる。
【０１８３】
以下、図１４Ｂ（ａ）〜図１４Ｂ（ｄ）においては、第２のユーザの左眼２Ｌが第１のユーザの両眼１Ｌ，１Ｒの間に存在し、第１のユーザの左眼１Ｌより第１のユーザの右眼１Ｒにさらに近くにある場合にレンダリング装置が第２のユーザの右眼２Ｒの位置によって画像を決定する過程を説明する。
【０１８４】
図１４Ｂ（ａ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの左眼１Ｌと第１のユーザの右眼１Ｒとの間に存在する場合が示されている。ここで、レンダリング装置は、第２のユーザの両眼２Ｌ，２Ｒが全て３番の画像を視聴するようにすることができる。
【０１８５】
図１４Ｂ（ｂ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの右眼１Ｒより右側にあるが、第２のユーザの右眼２Ｒと第１のユーザの右眼１Ｒとの間の間隔が最小の分離可能な間隔より小さい場合が示されている。ここで、レンダリング装置は、第２のユーザの両眼２Ｌ，２Ｒに対して全て３番の画像を決定することができる。
【０１８６】
図１４Ｂ（ｃ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの右眼１Ｒより右側に存在し、第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間隔が最小の分離可能な間隔より小さい場合が示されている。この場合、第２のユーザの右眼２Ｒには、第１のユーザの左眼１Ｌと同様の２番の画像が表現されなければならない。レンダリング装置は、第２のユーザの左眼２Ｌに対して２番の画像を決定して第２のユーザの両眼が２Ｄ画像を視聴するようにすることができる。ここで、第２のユーザの左眼２Ｌと第１のユーザの右眼１Ｒとの間の間隔が最小の分離可能な間隔より小さければ、レンダリング装置は、第１のユーザの右眼１Ｒの視聴環境を保障しなければならないため、第２のユーザの左眼２Ｌにクロストークが発生し得る。
【０１８７】
図１４Ｂ（ｄ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの左眼１Ｌと第２のユーザの左眼２Ｌとの間にある場合が示されている。この場合、レンダリング装置は、第２のユーザの両眼が２番の画像を視聴するように画像を決定することができる。ここで、第２のユーザの左眼２Ｌと第１のユーザの右眼１Ｒとの間の間隔が最小の分離可能な間隔より小さければ、図１４Ｂ（ｃ）と同様に第２のユーザの左眼２Ｌにクロストークが発生し得る。
【０１８８】
以下、図１４Ｂ（ｅ）〜図１４Ｂ（ｈ）においては、第２のユーザの左眼２Ｌが第１のユーザの右眼１Ｒより右側に存在し、第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間の間隔が最小の分離可能な間隔より小さい場合にレンダリング装置が第２のユーザの右眼２Ｒの位置によって画像を決定する過程を説明する。
【０１８９】
図１４Ｂ（ｅ）を参照すると、第２のユーザの右眼２Ｒが第２のユーザの左眼２Ｌより右側に存在し、第２のユーザの右眼２Ｒと第２のユーザの左眼２Ｌとの間隔が最小の分離可能な間隔より小さい場合が示されている。この場合、レンダリング装置は、第２のユーザの両眼２Ｌ，２Ｒに対して全て３番の画像を決定して第２のユーザが２Ｄの３番の画像を視聴するようにすることができる。
【０１９０】
図１４Ｂ（ｆ）、（ｇ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの両眼１Ｌ，１Ｒの間に存在する場合が示されている。この場合、レンダリング装置は、第２のユーザの左眼２Ｌに対して第１のユーザの右眼１Ｒと同様の３番の画像を決定するが、第２のユーザの右眼２Ｒに対しては２番の画像を決定できないため、３番の画像を決定することができる。ここで、第１のユーザの視聴環境が保障されなければならないため、第１のユーザの左眼１Ｌと第２のユーザの右眼２Ｒとの間の間隔が最小の分離可能な間隔より小さければ、図１４Ｂ（ｆ）のような場合、第２のユーザの右眼２Ｒにクロストークが発生し得る。
【０１９１】
図１４Ｂ（ｈ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間に位置する場合が示されている。この場合、レンダリング装置は、第２のユーザの両眼に対して全て３番の画像を決定して第２のユーザが２Ｄの３番の画像を視聴するようにすることができる。
【０１９２】
以下、図１４Ｂ（ｉ）〜図１４Ｂ（ｋ）においては、第２のユーザの左眼２Ｌが第１のユーザの右眼１Ｒより右側に存在し、第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間の間隔が最小の分離可能な間隔より大きい場合にレンダリング装置が第２のユーザの右眼２Ｒの位置によって画像を決定する過程を説明する。
【０１９３】
図１４Ｂ（ｉ）を参照すると、第２のユーザの右眼２Ｒと第２のユーザの左眼２Ｌとの間の間隔が最小の分離可能な間隔より小さい場合が示されている。この場合、レンダリング装置は、第２のユーザの左眼２Ｌと第１のユーザの左眼１Ｌとの間の間隔と、第１のユーザの右眼１Ｒと第２のユーザの右眼２Ｒとの間の間隔とを比較して第２のユーザの右眼２Ｒに前記間隔がさらに小さい側の画像を決定することができる。図１４Ｂ（ｉ）においては、第１のユーザの右眼１Ｒと第２のユーザの右眼２Ｒとの間の間隔が第２のユーザの左眼２Ｌと第１のユーザの左眼１Ｌとの間の間隔よりさらに小さい。したがって、レンダリング装置は、第１のユーザの右眼１Ｒに決定された３番の画像を第２のユーザの両眼に対して決定して第２のユーザが２Ｄの３番の画像を視聴するようにすることができる。
【０１９４】
図１４Ｂ（ｊ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの両眼１Ｌ，１Ｒの間に位置し、第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間隔が第２のユーザの右眼２Ｒと第１のユーザの右眼１Ｒとの間隔より大きい場合が示されている。この場合、レンダリング装置は、第２のユーザの右眼２Ｒに対して、第１のユーザの右眼１Ｒに該当する３番の画像を決定し、３Ｄ表現のために、第２のユーザの左眼２Ｌに対して２番の画像を決定することができる。第２のユーザは、第１のユーザと同様の２、３番のペアの３Ｄ画像を視聴することができる。
【０１９５】
図１４Ｂ（ｋ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間に位置する場合が示されている。図１４Ｂ（ｋ）において、第１のユーザの右眼１Ｒと第２のユーザの右眼２Ｒとの間の間隔が第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間の間隔より近い。したがって、レンダリング装置は、第２のユーザの右眼２Ｒに対して第１のユーザの右眼１Ｒと同様の３番の画像を決定することができる。もし、第２のユーザの右眼２Ｒと第２のユーザの左眼２Ｌとの間の間隔が最小の分離可能な間隔より大きければ、レンダリング装置は、３Ｄ表現のために、第２のユーザの左眼２Ｌに対して２番の画像を決定してもよい。
【０１９６】
図１４Ｂ（ｋ）においては、第２のユーザの右眼２Ｒと第２のユーザの左眼２Ｌとの間の間隔が最小の分離可能な間隔より小さいため、レンダリング装置は、第２のユーザの左眼２Ｌに対して３番の画像を決定し、第２のユーザが２Ｄの３番の画像を視聴するようにすることができる。
【０１９７】
以下、図１４Ｃ（ａ）〜図１４Ｃ（ｄ）においては、第２のユーザの左眼２Ｌが第１のユーザの右眼１Ｒより右側に存在し、第２のユーザの左眼２Ｌと第１のユーザの右眼１Ｒとの間隔より第２のユーザの左眼２Ｌと第１のユーザの左眼１Ｌとの間隔がさらに近く、第２のユーザの左眼２Ｌと第１のユーザの左眼１Ｌとの間の間隔が最小の分離可能な間隔以上である場合にレンダリング装置が第２のユーザの右眼２Ｒの位置によって画像を決定する過程を説明する。
【０１９８】
図１４Ｃ（ａ）を参照すると、第２のユーザの右眼２Ｒが第２のユーザの左眼２Ｌと第１のユーザの左眼１Ｌとの間に存在し、第２のユーザの左眼２Ｌと第２のユーザの右眼２Ｒとの間の間隔が最小の分離可能な間隔以下である場合が示されている。
【０１９９】
この場合、第２のユーザの左眼２Ｌが第１のユーザの左眼１Ｌにさらに近いため、レンダリング装置は、第２のユーザの左眼２Ｌに第１のユーザの左眼１Ｌと同様の２番の画像を決定することができる。また、レンダリング装置は、第２のユーザの左眼２Ｌとの間隔が最小の分離可能な間隔より小さい第２のユーザの右眼２Ｒに対しても同様の２番の画像を決定することができる。第２のユーザは２Ｄの２番の画像を視聴することができる。
【０２００】
図１４Ｃ（ｂ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの左眼１Ｌと第１のユーザの右眼１Ｒとの間に存在し、第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間の間隔が第２のユーザの右眼２Ｒと第１のユーザの右眼１Ｒとの間の間隔より大きい場合が示されている。この場合、レンダリング装置は、第２のユーザの右眼２Ｒに対して第１のユーザの右眼１Ｒと同様の３番の画像を決定し、第２のユーザの左眼２Ｌに対して２番の画像を決定して、第２のユーザが２、３番のペアの３Ｄ画像を視聴するようにすることができる。
【０２０１】
図１４Ｃ（ｃ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間に存在し、第２のユーザの右眼２Ｒと第１のユーザの右眼１Ｒとの間の間隔が第２のユーザの右眼２Ｒと第２のユーザの左眼２Ｌとの間の間隔より小さい場合が示されている。この場合、レンダリング装置は、第２のユーザの右眼２Ｒに対して第１のユーザの右眼１Ｒと同様の３番の画像を決定し、第２のユーザの左眼２Ｌに対しては２番の画像を決定することができる。第２のユーザは２、３番のペアの３Ｄ画像を視聴することができる。
【０２０２】
図１４Ｃ（ｄ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間に存在し、第２のユーザの右眼２Ｒと第２のユーザの左眼２Ｌとの間の間隔が最小の分離可能な間隔より小さい場合が示されている。この場合、レンダリング装置は、第２のユーザの両眼に対して２番の画像を決定することができる。第２のユーザは２Ｄの２番の画像を視聴することができる。
【０２０３】
以下、図１４Ｃ（ｅ）〜図１４Ｃ（ｊ）においては、第２のユーザの左眼２Ｌが第１のユーザの右眼１Ｒより右側に存在し、第１のユーザの左眼１Ｌと第２のユーザの左眼２Ｌとの間の間隔が最小の分離可能な間隔より小さい場合にレンダリング装置が第２のユーザの右眼２Ｒの位置によって画像を決定する過程を説明する。
【０２０４】
図１４Ｃ（ｅ）を参照すると、第２のユーザの右眼２Ｒが第２のユーザの左眼２Ｌと第１のユーザの左眼１Ｌとの間にある場合が示されている。この場合、レンダリング装置は、第２のユーザの両眼に対する２番の画像を決定することができる。第２のユーザは２番の２Ｄ画像を視聴することができる。
【０２０５】
図１４Ｃ（ｆ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの左眼１Ｌと第１のユーザの右眼１Ｒとの間に存在し、第２のユーザの右眼２Ｒと第１のユーザの右眼１Ｒとの間の間隔より第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間の間隔がさらに小さい場合が示されている。この場合、第２のユーザの両眼が全て第１のユーザの左眼１Ｌにさらに近いため、レンダリング装置は、第２のユーザの両眼に対して２番の画像を決定する。第２のユーザは２Ｄの２番の画像を視聴することができる。
【０２０６】
図１４Ｃ（ｇ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの左眼１Ｌと第１のユーザの右眼１Ｒとの間に存在し、第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間の間隔が第２のユーザの右眼２Ｒと第１のユーザの右眼１Ｒとの間の間隔よりもさらに大きい場合が示されている。この場合、第２のユーザの右眼２Ｒは、第１のユーザの右眼１Ｒにさらに近いため、レンダリング装置は、第２のユーザの右眼２Ｒに対して３番の画像を決定することができる。また、第２のユーザの左眼２Ｌは、第１のユーザの左眼１Ｌにさらに近いため、レンダリング装置は、第２のユーザの左眼２Ｌに対する２番の画像を決定することができる。第２のユーザは第１のユーザと同様の２、３番のペアの３Ｄ画像を視聴することができる。
【０２０７】
図１４Ｃ（ｈ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間に存在し、第２のユーザの右眼２Ｒと第１のユーザの右眼１Ｒとの間の間隔が第２のユーザの右眼２Ｒと第２のユーザの左眼２Ｌとの間の間隔よりさらに小さい場合が示されている。この場合、レンダリング装置は、第２のユーザの右眼２Ｒに対して第１のユーザの右眼１Ｒと同様の３番の画像を決定し、第２のユーザの左眼２Ｌに対して第１のユーザの左眼１Ｌと同様の２番の画像を決定することができる。第２のユーザは第１のユーザと同様の２、３番のペアの３Ｄ画像を視聴することができる。
【０２０８】
図１４Ｃ（ｉ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間に存在し、第２のユーザの右眼２Ｒと第２のユーザの左眼２Ｌとの間隔が第２のユーザの右眼２Ｒと第１のユーザの右眼１Ｒとの間の間隔よりさらに小さいが、その間隔が最小の分離可能な間隔よりは大きい場合が示されている。この場合、レンダリング装置は、第２のユーザの右眼２Ｒに対しては第１のユーザの右眼１Ｒと同様の３番の画像を、第２のユーザの左眼２Ｌに対しては第１のユーザの左眼１Ｌと同様の２番の画像を決定することができる。第２のユーザは第１のユーザと同様の２、３番のペアの３Ｄ画像を視聴することができる。
【０２０９】
図１４Ｃ（ｊ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間に存在し、第２のユーザの右眼２Ｒと第２のユーザの左眼２Ｌとの間の間隔が最小の分離可能な間隔より小さい場合が示されている。この場合、レンダリング装置は、第２のユーザの両眼に対して第１のユーザの左眼１Ｌと同様の２番の画像を決定することができる。第２のユーザは２Ｄの２番の画像を視聴することができる。
【０２１０】
図１５は、本発明の他の実施形態に係るレンダリング装置がサブ視点領域ごとの画像を決定する過程を説明するための図である。
【０２１１】
図１５を参照すると、図１２（ｃ）のような環境において、レンダリング装置がユーザの眼の位置によって画像を決定する方法を説明するための様々な場合が示されている。
【０２１２】
以下、図１５（ａ）及び図１５（ｂ）においては、第１のユーザと第２のユーザとの視聴距離が類似して、ビューコーン内における２人のビューアの両眼方向の間の間隔が類似する場合に発生し得る場合を説明する。
【０２１３】
［視聴距離が類似の場合］
【０２１４】
図１５（ａ）を参照すると、第２のユーザの右眼２Ｒがビューコーンの右端にあるため、左端にある第１のユーザの左眼１Ｌと同じ位置にあるといえる。ここで、レンダリング装置は、第１のユーザの両眼が２、３番の画像を視聴するようにする。レンダリング装置は、第２のユーザの右眼２Ｒに対して第１のユーザの左眼１Ｌと同様の２番の画像を決定することができる。
【０２１５】
そうすると、第２のユーザの左眼２Ｌに対してどの画像を表現するかが残ることになる。ここで、レンダリング装置が第２のユーザの左眼２Ｌに対して１番の画像を決定すれば、第２のユーザは１、２番のペアの３Ｄ画像を視聴することができる。もし、レンダリング装置が第２のユーザの左眼２Ｌに対して２番の画像を決定すれば、第２のユーザは２番の画像を２Ｄで視聴してもよい。
【０２１６】
図１５（ｂ）を参照すると、第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間の間隔が第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間の間隔より小さい場合が示されている。レンダリング装置は、第２のユーザの右眼２Ｒに対して２番の画像を決定し、第２のユーザの左眼２Ｌに対しては１番の画像を決定することができる。
【０２１７】
図１５（ｃ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの両眼の間に位置し、第２のユーザの右眼２Ｒが第１のユーザの右眼１Ｒより左眼１Ｌにさらに近い場合が示されている。この場合、レンダリング装置は第２のユーザの右眼２Ｒに第１のユーザの左眼１Ｌと同様の２番の画像を決定することができる。レンダリング装置は第２のユーザの左眼２Ｌに対して１番の画像を決定することができる。第２のユーザは１、２番のペアの３Ｄ画像を視聴することができる。
【０２１８】
［視聴距離が非類似の場合］
【０２１９】
以下、図１５（ｄ）〜図１５（ｅ）においては、第２のユーザの左眼２Ｌが第１のユーザの右眼１Ｒより右側に存在し、第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間の間隔が最小の分離可能な間隔より小さい場合にレンダリング装置が第２のユーザの右眼２Ｒの位置によって画像を決定する過程を説明する。
【０２２０】
図１５（ｄ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの左眼１Ｌより左側に存在し、第１のユーザの左眼１Ｌとの間隔が最小の分離可能な間隔より小さく、第２のユーザの左眼２Ｌと第１のユーザの右眼１Ｒとの間の間隔より第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間の間隔が小さい場合が示されている。この場合、第２のユーザの右眼２Ｒが第１のユーザの左眼１Ｌと同様の２番の画像を表現しなければならないため、レンダリング装置は、第２のユーザの左眼２Ｌに対して１番の画像を決定することができる。ここで、第１のユーザの視聴環境が保障されなければならないため、第２のユーザの左眼２Ｌにおいてはクロストークが発生し得る。
【０２２１】
図１５（ｅ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの左眼１Ｌより右側に存在し、第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間隔が第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間の間隔より小さい場合が示されている。この場合、レンダリング装置は、第２のユーザの左眼２Ｌと第１のユーザの右眼１Ｒとの間の間隔と、第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間隔とを比較して第２のユーザの右眼２Ｒのための画像を決定することができる。
【０２２２】
ここで、第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間の間隔が第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間の間隔よりさらに小さい場合、レンダリング装置は、第２のユーザの右眼２Ｒに対して２番の画像を決定することができる。また、レンダリング装置は、３Ｄ表現のために、第２のユーザの左眼２Ｌに対しては１番の画像を決定することができる。ここで、第１のユーザの視聴環境を保障するために、第２のユーザの左眼２Ｌにおいてクロストークが発生し得る。
【０２２３】
以下、図１５（ｆ）〜図１５（ｇ）においては、第２のユーザの左眼２Ｌが第１のユーザの右眼１Ｒより右側に存在し、第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間の間隔が最小の分離可能な間隔より大きい場合にレンダリング装置が第２のユーザの右眼２Ｒの位置によって画像を決定する過程を説明する。
【０２２４】
図１５（ｆ）を参照すると、第１のユーザの右眼１Ｒと第２のユーザの左眼２Ｌとの間の間隔が第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間の間隔より大きい場合が示されている。この場合、レンダリング装置は、第２のユーザの右眼２Ｒに対して第１のユーザの左眼１Ｌと同様の２番の画像を決定し、３Ｄ表現のために、第２のユーザの左眼２Ｌに対して１番の画像を決定することができる。第２のユーザは１、２番のペアの３Ｄ画像を視聴することができる。
【０２２５】
図１５（ｇ）を参照すると、第１のユーザの両眼１Ｌ，１Ｒの間に第２のユーザの右眼２Ｒが位置し、第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間の間隔が第２のユーザの右眼２Ｒと第１のユーザの右眼１Ｒとの間の間隔より小さい場合が示されている。この場合、レンダリング装置は、第２のユーザの右眼２Ｒに対して、第１のユーザの左眼１Ｌに該当する２番の画像を決定し、３Ｄ表現のために、第２のユーザの左眼２Ｌに対して１番の画像を決定することができる。第２のユーザは１、２番のペアの３Ｄ画像を視聴することができる。
【０２２６】
以下、図１５（ｈ）〜図１５（ｉ）においては、第２のユーザの左眼２Ｌが第１のユーザの右眼１Ｒより右側に存在し、第２のユーザの左眼２Ｌと第１のユーザの右眼１Ｒとの間隔より第２のユーザの左眼２Ｌと第１のユーザの左眼１Ｌとの間隔がさらに近く、第２のユーザの左眼２Ｌと第１のユーザの左眼１Ｌとの間の間隔が最小の分離可能な間隔より大きい場合にレンダリング装置が第２のユーザの右眼２Ｒの位置によって画像を決定する過程を説明する。
【０２２７】
図１５（ｈ）を参照すると、第２のユーザの右眼２Ｒが第２のユーザの左眼２Ｌと第１のユーザの左眼１Ｌとの間に存在し、第２のユーザの左眼２Ｌとの間隔が最小の分離可能な間隔より大きい場合が示されている。この場合、第２のユーザの左眼２Ｌと右眼２Ｒに表現する画像が分離可能であるため、レンダリング装置は、第２のユーザの右眼２Ｒに対して第１のユーザの左眼１Ｌと同様の２番の画像を決定し、第２のユーザの左眼２Ｌに対して１番の画像を決定することができる。第２のユーザは１、２番のペアの３Ｄ画像を視聴することができる。
【０２２８】
図１５（ｉ）を参照すると、第２のユーザの右眼２Ｒが第１のユーザの両眼１Ｌ，１Ｒの間に存在し、第２のユーザの右眼２Ｒと第１のユーザの左眼１Ｌとの間の間隔が第２のユーザの右眼２Ｒと第１のユーザの右眼１Ｒとの間隔より小さい場合が示されている。この場合、レンダリング装置は、第２のユーザの右眼２Ｒに対して第１のユーザの左眼１Ｌと同様の２番の画像を決定し、第２のユーザの左眼２Ｌに対しては１番の画像を決定することができる。第２のユーザは１、２番のペアの３Ｄ画像を視聴することができる。
【０２２９】
図１６は、本発明の一実施形態に係るレンダリング装置がサブピクセルの値を決定する過程を説明するための図である。図１６を参照すると、サブピクセル１０２の光線方向１６１０が示されている。
【０２３０】
レンダリング装置は、サブピクセル１０２から放出された量子化された光線方向のうち全ての視点画像を構成する視点に対応する光線方向をサブピクセル１０２の光線方向として決定してもよい。レンダリング装置は、サブピクセルの光線方向に対応するサブ視点領域のコンテンツに基づいて、サブピクセルの値を決定してもよい。
【０２３１】
レンダリング装置は、サブピクセル１０２の光線方向の範囲に対応する複数のサブ視点領域のうち光線方向１６１０が属したサブ視点領域に対応するコンテンツを決定してもよい。
【０２３２】
例えば、図１６においては、第２のユーザの左眼６３３に向かう方向６０３が光線方向の範囲の境界に該当する方向１００４に非常に近いため、第１のユーザ５１０の右眼５１６に表現される画像と第２のユーザの左眼６３３に表現される画像が異なる場合、第２のユーザの左眼６３３にクロストークを発生させる可能性が高い。
【０２３３】
もし、第１のユーザ５１０の右眼５１６と第２のユーザの左眼６３３に対して同じ画像を提供すると同時に、第２のユーザの左眼６３３と右眼６３６に対して適切な立体画像を提供できれば、レンダリング装置は、第２のユーザ６３０に対して欠陥が少ない画像を提供することができる。したがって、レンダリング装置は、第１のユーザ５１０の右眼５１６と第２のユーザの左眼６３３が同じ画像を見れるようにコンテンツを設定することができる。
【０２３４】
ユーザの両眼に対する光線方向の範囲と両眼に表現するコンテンツが決定されれば、レンダリング装置は、最終的にサブピクセル１０２から放出された光線方向１６１０に対応する光がどちらの眼のための画像を表現するかを決定することができる。
【０２３５】
これは、上述にて決定された光線方向の範囲の中から光線方向１６１０を含むサブ視点領域を選択することによって決定されてもよい。図１６における光線方向１６１０は、第２のユーザ６３０の右眼６３６のための光線方向の範囲に属しているため、サブピクセル１０２は、第２のユーザ６３０の右眼６３６に対して見える画像を表現するように決定することができる。
【０２３６】
この過程において、サブピクセル１０２から放出された光線が属した光線方向が決定される場合、レンダリング装置は、コンテンツを決定する過程において、光線方向に属したユーザの眼に対してだけコンテンツを決定することができる。
【０２３７】
レンダリング装置は、上述のような過程をパネル１０１に属する全てのサブピクセルに対して行って第１のユーザ５１０に優先的に３Ｄ画像を提供し、第２のユーザ６３０に対しても最大限に円滑に３Ｄ画像を提供できるようにする。
【０２３８】
図１７は、本発明の他の実施形態に係るライトフィールドレンダリング方法を示したフローチャートである。図１７を参照すると、本発明の一実施形態に係るレンダリング装置は、第１のユーザの両眼の位置及び第２のユーザの両眼の位置をピクセルに対応する視点領域にマッピングする（Ｓ１７１０）。ここで、「両眼の位置をピクセルに対応する視点領域にマッピングする」とは、ユーザの両眼の位置を、処理しようとするいずれか１つのピクセルを基準とする１つのビューコーンに該当する視点領域にマッピングするという意味として理解されてもよい。また、サブピクセル単位でレンダリングが行われる場合、図１７において記述した「ピクセル」はサブピクセルとして理解されてもよい。
【０２３９】
レンダリング装置は、ステップＳ１７１０において、マッピングされた第１のユーザの両眼の位置及びマッピングされた第２のユーザの両眼の位置に基づいて、視点領域を複数のサブ視点領域に分割する（Ｓ１７２０）。レンダリング装置は、複数のサブ視点領域の中から第１のユーザのための第１のサブ視点領域のコンテンツを決定する（Ｓ１７３０）。
【０２４０】
レンダリング装置は、第１のサブ視点領域のコンテンツに基づいて、複数のサブ視点領域の中から第２のユーザのための第２のサブ視点領域のコンテンツを決定する（Ｓ１７４０）。レンダリング装置は、ピクセルの光線方向に対応するサブ視点領域のコンテンツに基づいて、ピクセルの値を決定する（Ｓ１７５０）。
【０２４１】
図１８は、本発明の他の実施形態に係るライトフィールドレンダリング方法を示したフローチャートである。図１８を参照すると、本発明の一実施形態に係るレンダリング装置は、第１のユーザの両眼の位置に基づいて、第１のユーザが立体画像を視聴するように第１のピクセルの値を決定する（Ｓ１８１０）。
【０２４２】
レンダリング装置は、第１のユーザの両眼の位置及び第２のユーザの両眼の位置の間の相関関係に基づいて、第２のユーザが立体画像に関連する画像を視聴するように第１のピクセル以外の第２のピクセルの値を決定する（Ｓ１８２０）。ここで、相関関係は、例えば、第１のユーザの両眼の位置と第２のユーザの両眼の位置が予め決定した視点領域にマッピングされる場合、マッピングされた位置が配置される順序及びマッピングされた位置の間の距離などを含んでもよい。
【０２４３】
一例として、立体画像に関連する画像は立体画像であってもよい。この場合、第２のユーザは第１のユーザが視聴する立体画像と同一の立体画像を視聴することができる。他の例として、立体画像に関連する画像は立体画像の左側の画像であってもよい。この場合、第２のユーザは第１のユーザが視聴する立体画像の左の画像に該当する単画像を視聴する。また他の例として、立体画像に関連する画像は立体画像の右側の画像であってもよい。この場合、第２のユーザは第１のユーザが視聴する立体画像の右側の画像に該当する単画像を視聴することができる。
【０２４４】
また他の例として、立体画像に関連する画像は立体画像より左側の視点の立体画像であってもよい。この場合、第２のユーザの右眼に対しては、第１のユーザが視聴する立体画像の左側の画像が再生され、第２のユーザの左眼に対しては、第１のユーザが視聴する立体画像の左側の画像よりさらに左側の視点の画像が再生され得る。また他の例として、立体画像に関連する画像は立体画像より右側の視点の立体画像であってもよい。この場合、第２のユーザの左眼に対しては、第１のユーザが視聴する立体画像の右側の画像が再生され、第２のユーザの右眼に対しては、第１のユーザが視聴する立体画像の右側の画像よりさらに右側の視点の画像が再生され得る。
【０２４５】
ステップＳ１８２０において、レンダリング装置は、例えば、第２のユーザの両眼の位置のうち少なくとも１つに立体画像の左側の画像又は右側の画像が再生されるように、第２のピクセルの値を決定する。本発明の実施形態は、ライトフィールドレンダリング装置で複数のユーザの両眼の位置に合うように画像を表現するレンダリングアルゴリズムを提供してもよい。
【０２４６】
サブピクセル単位でレンダリングが行われる場合、図１８において記述した「ピクセル」はサブピクセルとして理解されてもよい。
【０２４７】
図１９は、本発明の一実施形態に係るライトフィールドレンダリング装置の光学層がディスプレイの後面に位置する場合を示す図である。
【０２４８】
図１９を参照すると、光学層のパララックスバリア（Ｐａｒａｌｌａｘ  Ｂａｒｒｉｅｒ）１９１０が透過型パネル１９３０の後面に位置するライトフィールドレンダリング装置が示されている。図１のパネル１０１に対する光学層１０３と同様に、透過型パネル１９３０に対する後面のパララックスバリア１９１０は、光学層のユニット位置１９１１とパネル１９３０のサブピクセル１９３１の位置関係を用いてパネル１９３０のサブピクセル１９３１から放出される光の方向を制限することができる。
【０２４９】
この場合、レンダリング装置は、パララックスバリア１９１０に含まれたいずれか１つのユニット位置１９１１の光線方向と対応するパネル１９３０のサブピクセル１９３１を通過する光線方向１９５０が属したサブ視点領域に対応するコンテンツをユーザの両眼のうちいずれか１つに対応するように決定することができる。
【０２５０】
図２０は、本発明の一実施形態に係るレンダリング装置のブロック図である。
【０２５１】
図２０を参照すると、本発明の一実施形態に係るレンダリング装置２０００は、プロセッサ２０１０、センサ２０２０、及びメモリ２０３０を含む。プロセッサ２０１０、センサ２０２０、及びメモリ２０３０は、バス２０４０を介して通信する。
センサ２０２０は、第１のユーザ及び第２のユーザを撮影する。センサ２０２０は、例えば、画像センサであってもよい。プロセッサ２０１０は、第１のユーザの両眼の位置及び第２のユーザの両眼の位置をサブピクセルに対応する視点領域にマッピングし、マッピングされた第１のユーザの両眼の位置及びマッピングされた第２のユーザの両眼の位置に基づいて、サブピクセルの値を決定する。
【０２５２】
少なくとも１つの本発明の実施形態によれば、プロセッサ２０１０は、第１のユーザに対する画像を表示するディスプレイの領域に関連する第１の視覚領域を決定する。
【０２５３】
プロセッサ２０１０は、第２の視覚領域から第１の視覚領域に第２のユーザの眼の位置を変換する。
【０２５４】
プロセッサ２０１０は、第２のユーザの変換された眼の位置及び第１のユーザの実際の眼の位置に基づいて領域の値を決定する。
【０２５５】
プロセッサ２０１０は、領域が画像の対応する部分を表示するように決定された値を有するように画像をレンダリングする。
【０２５６】
少なくとも１つの本発明の実施形態によれば、画像は、複数のビュー画像を含む立体画像であり、プロセッサ２０１０は、i）複数のビュー画像のうち少なくとも１つの画像、ii）変換された位置及び実際の位置の間の関係、及びiii）領域の光線方向（光線方向は、光線がディスプレイに関連する光学素子の中心を介して領域から通過する方向）に基づいて領域の値を決定する。
【０２５７】
領域はピクセルであってもよく、第１の視覚領域はピクセルの第１のビューコーンであってもよい。第２の視覚領域はピクセルの第２のビューコーンであってもよい。
【０２５８】
そうでなければ、領域はピクセルのサブピクセルであってもよく、第１の視覚領域はサブピクセルの第１のビューコーンであってもよい。第２の視覚領域はサブピクセルの第２のビューコーンであってもよい。
プロセッサ２０１０は、図１〜図１９において上述した少なくとも１つの方法又は少なくとも１つの方法に対応するアルゴリズムを行ってもよい。図に示さなかったが、レンダリング装置２０００はメモリをさらに含んでもよい。メモリはプロセッサ２０１０で決定されたサブピクセルの値を格納してもよい。メモリは揮発性メモリ又は非揮発性メモリであってもよい。
【０２５９】
プロセッサ２０１０はプログラムを実行して、電子システムを制御する。プロセッサ２０１０によって実行されるプログラムコード（又は前記記述した動作及びアルゴリズムに対応するコンピュータ読み取り可能な命令）は、メモリに格納されてもよい。言い換えると、プロセッサ２０１０は、特殊目的プロセッサであってもよい。レンダリング装置２０００は、入出力装置（図示せず）を介して外部装置（例えば、パーソナルコンピュータ又はネットワーク）に接続され、データを交換してもよい。レンダリング装置２０００は、テレビ、スマートテレビなどの様々な電子システムを含んでもよい。
【０２６０】
プロセッサ２０１０がセンサ２０２０及びメモリ２０３０と共に装置内にあると示しているが、本発明の実施形態はこれに限定されない。
【０２６１】
例えば、プロセッサ２０１０は、バス２０４０を介してセンサ２０２０及びメモリ２０３０を含む外部装置とのインターフェースのための適切なデータインターフェース（ユニバーサルシリアルバスインターフェース（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ  ｉｎｔｅｒｆａｃｅ）、高精細度マルチメディアインターフェース（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）など）を有したドングルに接続される別途の装置で実現してもよい。
【０２６２】
また、センサ２０２０が外部装置の場合、プロセッサ２０１０及びメモリ２０３０はドングル内に実現されてもよい。
【０２６３】
上述した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、及び／又はハードウェア構成要素及びソフトウェア構成要素の組み合わせで具現される。
例えば、本実施形態で説明した装置、方法及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ  ｌｏｇｉｃ  ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ  ｌｏｇｉｃ  ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊眼的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及び前記オペレーティングシステム上で行われる１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当該技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ  ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが分かる。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ  ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。
【０２６４】
ソフトウェアは、コンピュータプログラム、コード、命令、又はこれらのうちの１つ以上の組み合わせを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは伝達される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは１つ以上のコンピュータ読み取り可能な記録媒体に格納される。
【０２６５】
本実施形態による方法は、多様なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合わせて含む。前記記録媒体及びプログラム命令は、本発明の眼的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含んでもよい。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。上述のハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
【０２６６】
上述したように、実施形態が限定された図面によって説明されたが、当技術分野における通常の知識を有する者であれば、前記の記載に基づいて様々な技術的修正及び変形が適用可能である。一例として、説明された技術が説明された方法と異なる順序で行われたり、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせたり、他の構成要素又は均等物によって代替、置換されても適切な結果が達成され得る。したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。
【符号の説明】
【０２６７】
１００：ライトフィールドレンダリング装置
１０１：パネル
１０３；光学層
１０４、１０５：複数の光漢元素
１１０：光線
【図７】
2017038367.tif 000014
【図１】
2017038367.tif 000015
【図２】
2017038367.tif 000016
【図３】
2017038367.tif 000017
【図４】
2017038367.tif 000018
【図５】
2017038367.tif 000019
【図６】
2017038367.tif 000020
【図８】
2017038367.tif 000021
【図９】
2017038367.tif 000022
【図１０】
2017038367.tif 000023
【図１１】
2017038367.tif 000024
【図１２】
2017038367.tif 000025
【図１３】
2017038367.tif 000026
【図１４Ａ】
2017038367.tif 000027
【図１４Ｂ】
2017038367.tif 000028
【図１４Ｃ】
2017038367.tif 000029
【図１５】
2017038367.tif 000030
【図１６】
2017038367.tif 000031
【図１７】
2017038367.tif 000032
【図１８】
2017038367.tif 000033
【図１９】
2017038367.tif 000034
【図２０】
2017038367.tif 000035