(57)【要約】【課題】  ３Ｄ映像提供方法及び装置を提供する。【解決手段】  ３Ｄ映像提供方法は、視聴者の目の位置を検出するステップと、前記検出された目の位置による３Ｄ映像を提供するステップとを含む。３Ｄ映像を提供するステップは、ディスプレイパネルに含まれたディスプレイピクセルに対応する映像ピクセル値を決定するステップと、ディスプレイピクセルから出力される光線方向と検出された目の位置に基づいてディスプレイピクセルに対応する輝度加重値を決定するステップと、ディスプレイピクセルに割り当てられた映像ピクセル値に前記輝度加重値を適用するステップと、前記輝度加重値が適用された映像ピクセル値を前記ディスプレイピクセルを介して出力するステップとを含む。【選択図】図１
2019054513.tif 000002
【特許請求の範囲】
【請求項１】
視聴者の目の位置を検出するステップと、
前記検出された目の位置による３Ｄ映像を提供するステップと、を含み、
前記３Ｄ映像を提供するステップは、
ディスプレイパネルに含まれたディスプレイピクセルに対応する映像ピクセル値を決定するステップと、
前記ディスプレイピクセルから出力される光線方向と前記検出された目の位置に基づいて、前記ディスプレイピクセルに対応する輝度加重値を決定するステップと、
前記ディスプレイピクセルに割り当てられた映像ピクセル値に前記輝度加重値を適用するステップと、
前記輝度加重値が適用された映像ピクセル値を前記ディスプレイピクセルを介して出力するステップと、
を含む３Ｄ映像提供方法。
【請求項２】
前記輝度加重値を決定するステップは、
前記光線方向の通過地点と前記視聴者の左眼の位置との間の距離に対応する第１基準値、及び前記光線方向と前記視聴者の右眼の位置との間の距離に対応する第２基準値のうち少なくとも１つに基づいて前記輝度加重値を決定し、前記光線方向の通過地点は、前記左眼の位置と前記右眼の位置とを通る直線を光線が横切る位置である、請求項１に記載の３Ｄ映像提供方法。
【請求項３】
前記輝度加重値を決定するステップは、
前記第１基準値及び前記第２基準値のうち少なくとも１つに基づいて、予め定義された互いに異なる輝度加重値のいずれか１つの輝度加重値を前記ディスプレイピクセルに対応する前記輝度加重値として決定する、請求項２に記載の３Ｄ映像提供方法。
【請求項４】
前記輝度加重値を決定するステップは、
前記左眼の位置を基準とする第１基準値範囲に前記第１基準値が含まれる場合、又は前記右眼の位置を基準とする第２基準値範囲に前記第２基準値が含まれる場合、第１輝度加重値を前記ディスプレイピクセルに対応する輝度加重値として決定する、請求項２に記載の３Ｄ映像提供方法。
【請求項５】
前記輝度加重値を決定するステップは、
前記第１基準値が前記第１基準値範囲に含まれず、前記第２基準値が前記第２基準値範囲に含まれない場合、第２輝度加重値を前記ディスプレイピクセルに対応する輝度加重値として決定し、
前記第１輝度加重値は前記第２輝度加重値よりも大きい、請求項４に記載の３Ｄ映像提供方法。
【請求項６】
前記第１基準値範囲の大きさは、前記第２基準値範囲の大きさと同一である、請求項４に記載の３Ｄ映像提供方法。
【請求項７】
前記第１基準値は、前記光線方向と前記ディスプレイピクセルから前記左眼に向かう方向との間の相違に対応し、
前記第２基準値は、前記光線方向と前記ディスプレイピクセルから前記右眼に向かう方向との間の相違に対応する、請求項２に記載の３Ｄ映像提供方法。
【請求項８】
前記第１基準値は、前記ディスプレイピクセルから前記左眼の位置に向かう線方向と前記光線方向間の角度、又は前記光線方向の通過地点と前記左眼の位置との間の距離に基づいて決定され、
前記第２基準値は、前記ディスプレイピクセルから前記右眼の位置に向かう線方向と前記光線方向間の角度、又は前記光線方向の通過地点と前記右眼の位置との間の距離に基づいて決定される、請求項７に記載の３Ｄ映像提供方法。
【請求項９】
前記映像ピクセル値に適用される前記輝度加重値に基づいて前記ディスプレイピクセルを介して出力される前記映像ピクセル値の輝度が調整される、請求項１ないし８のうち何れか一項に記載の３Ｄ映像提供方法。
【請求項１０】
前記映像ピクセル値を決定するステップは、
前記検出された目の位置に基づいて、左視点映像又は右視点映像のいずれか１つの映像ピクセル値を前記ディスプレイピクセルに割り当てる、請求項１ないし９のうち何れか一項に記載の３Ｄ映像提供方法。
【請求項１１】
前記映像ピクセル値を決定するステップは、
予め定義された左側輝度スケーリング値に基づいて、左視点映像の映像ピクセルの輝度範囲と右視点映像の映像ピクセルの右側輝度範囲を調整するステップと、
予め定義されたクロストーク補正値に基づいて、前記輝度範囲が調整された左視点映像の映像ピクセル及び右視点映像の映像ピクセルの輝度値を調整するステップと、
を含む、請求項１ないし９のうち何れか一項に記載の３Ｄ映像提供方法。
【請求項１２】
前記映像ピクセル値を決定するステップは、
前記光線方向の通過地点と右眼の位置との間の距離よりも前記光線方向の通過地点と左眼の位置との間の距離の方が短いことに基づいて、輝度値が調整された前記左視点映像の前記映像ピクセル値を前記ディスプレイピクセルに割り当てるステップと、
前記光線方向の通過地点と前記左眼の位置との間の距離よりも前記光線方向の通過地点と前記右眼の位置との間の距離の方が短いことに基づいて、輝度値が調整された前記右視点映像の前記映像ピクセル値を前記ディスプレイピクセルに割り当てるステップと、
をさらに含み、
前記光線方向の通過地点は、前記左眼の位置と前記右眼の位置とを通る直線を光線が横切る位置である、請求項１１に記載の３Ｄ映像提供方法。
【請求項１３】
請求項１ないし１２のうちいずれか一項に記載の３Ｄ映像提供方法を３Ｄ映像提供装置のコンピュータに実行させる命令を有するコンピュータプログラム。
【請求項１４】
視聴者の目の位置を検出するための視点位置検出器と、
前記検出された目の位置によるパネル映像を生成するプロセッサと、
前記パネル映像に基づいて３Ｄ映像を出力するディスプレイパネルと、を含み、
前記プロセッサは、
前記ディスプレイパネルのディスプレイピクセルから出力される光線方向と前記検出された目の位置とに基づいて、前記ディスプレイピクセルに対応する輝度加重値を決定し、
前記ディスプレイピクセルに割り当てられた映像ピクセル値に前記輝度加重値を適用し、
前記輝度加重値が適用された映像ピクセル値に基づいて前記パネル映像を生成する、３Ｄ映像提供装置。
【請求項１５】
前記プロセッサは、前記光線方向と前記視聴者の左眼の位置との間の近接する程度に対応する第１基準値、及び前記光線方向と前記視聴者の右眼の位置との間の近接する程度に対応する第２基準値のうち少なくとも１つに基づいて前記輝度加重値を決定する、請求項１４に記載の３Ｄ映像提供装置。
【請求項１６】
前記プロセッサは、前記第１基準値及び前記第２基準値のうち少なくとも１つに基づいて、予め定義された輝度加重値のうち予め定義された輝度加重値を前記ディスプレイピクセルに対応する前記輝度加重値として決定する、請求項１５に記載の３Ｄ映像提供装置。
【請求項１７】
前記プロセッサは、
予め定義された輝度スケーリング値に基づいて、左視点映像の映像ピクセルの左側輝度範囲と右視点映像の映像ピクセルの右側輝度範囲を調整し、
予め定義されたクロストーク補正値に基づいて、前記調整された左側輝度範囲に基づいて左視点映像の映像ピクセル輝度値をそれぞれ調整し、前記調整された右側輝度範囲に基づいて前記右視点映像の映像ピクセルの輝度値をそれぞれ調整する、請求項１４ないし１６のうち何れか一項に記載の３Ｄ映像提供装置。
【請求項１８】
前記プロセッサは、
前記光線方向の通過地点と右眼の位置との間の距離よりも前記光線方向の通過地点と左眼の位置との間の距離の方が短いことに基づいて、輝度値が調整された前記左視点映像の前記映像ピクセル値を前記ディスプレイピクセルに割り当て、
前記光線方向の通過地点と前記左眼の位置との間の距離よりも前記光線方向の通過地点と前記右眼の位置との間の距離の方が短いことに基づいて、輝度値が調整された前記右視点映像の前記映像ピクセル値を前記ディスプレイピクセルに割り当て、
前記光線方向の通過地点は、前記左眼の位置と前記右眼の位置とを通る直線を光線が横切る位置である、請求項１７に記載の３Ｄ映像提供装置。
【請求項１９】
前記ディスプレイパネルは、パララックスバリア又はレンチキュラレンズを含む、請求項１４に記載の３Ｄ映像提供装置。
【請求項２０】
視聴者の右側目の位置及び左側目の位置を検出するステップと、
前記検出された右側目の位置及び前記検出された左側目の位置に基づいて３Ｄ映像を提供するステップと、を含み、
前記３Ｄ映像を提供するステップは、
前記検出された右側目の位置及び前記検出された左側目の位置に基づいて、ディスプレイピクセルに左視点映像及び右視点映像のうち１つの映像ピクセル値を割り当てることで、ディスプレイパネルに含まれた前記ディスプレイピクセルに対応する映像ピクセルを決定するステップと、
予め定義された輝度スケーリング値に基づいて前記左視点映像の映像ピクセルの左側輝度範囲を調整し、前記右視点映像の映像ピクセルの右輝度範囲を調整するステップと、
予め定義されたクロストーク調整値に基づいて、前記調整された左側輝度範囲で前記左視点映像の前記映像ピクセルそれぞれの輝度値を調整し、前記調整された右輝度範囲で前記右視点映像の前記映像ピクセルそれぞれの輝度値を調整するステップと、
前記検出された右眼の位置及び前記検出された左眼の位置と前記ディスプレイピクセルから出力された光の光線方向に基づいて、前記ディスプレイピクセルに対応する輝度加重値を決定するステップと、
前記決定された輝度加重値を前記ディスプレイピクセルに対応する前記映像ピクセル値に適用するステップと、
前記決定された輝度加重値に前記ディスプレイピクセルを介して前記映像ピクセル値を出力するステップと、
を含む、３次元３Ｄ映像提供方法。
【請求項２１】
前記映像ピクセル値を決定するステップは、
前記光線方向の通過地点と前記右眼の位置との間の距離よりも前記光線方向の通過地点と前記左眼の位置との間の距離の方が短いことに基づいて、輝度値が調整された前記左視点映像の前記映像ピクセル値を前記ディスプレイピクセルに割り当てるステップと、
前記光線方向の通過地点と前記左眼の位置との間の距離よりも前記光線方向の通過地点と前記右眼の位置との間の距離の方が短いことに基づいて、輝度値が調整された前記右視点映像の前記映像ピクセル値を前記ディスプレイピクセルに割り当てるステップと、
を含み、
前記光線方向の通過地点は、前記左眼の位置と前記右眼の位置とを通る直線を光線が横切る位置である、請求項２０に記載の３次元３Ｄ映像提供方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の説明は、裸眼３Ｄディスプレイのための映像処理技術に関する。
【背景技術】
【０００２】
視聴者が３Ｄ（ｄｉｍｅｎｓｉｏｎａｌ）映像の立体感を認知するためには、視聴者の両眼に見える映像が相違していなければならない。視聴者の両眼に互いに異なる映像を見せるための方法として、偏光を用いた分割、時分割、原色の波長を相違にした波長分割などを用いて所望する映像をフィルタリングするメガネ（ｓｔｅｒｅｏｓｃｏｐｉｃ）方式、パララックスバリア（ｐａｒａｌｌａｘ  ｂａｒｒｉｅｒ）、レンチキュラレンズ（ｌｅｎｔｉｃｕｌａｒ  ｌｅｎｓ）、又は、方向性バックライトユニット（ｄｉｒｅｃｔｉｏｎａｌ  ｂａｃｋｌｉｇｈｔ  ｕｎｉｔ）などの３Ｄ光学素子を用いて映像を空間の特定視点ごとに見えるようにした裸眼式（ａｕｔｏｓｔｅｒｅｏｓｃｏｐｉｃ）方式が挙げられる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明の目的は、裸眼３Ｄディスプレイのための映像処理方法及び装置を提供することにある。
【課題を解決するための手段】
【０００４】
一実施形態に係る３Ｄ映像提供方法は、視聴者の目の位置を検出するステップと、前記検出された目の位置による３Ｄ映像を提供するステップと、を含み、前記３Ｄ映像を提供するステップは、ディスプレイパネルに含まれたディスプレイピクセルに対応する映像ピクセル値を決定するステップと、前記ディスプレイピクセルから出力される光線方向と前記検出された目の位置に基づいて、前記ディスプレイピクセルに対応する輝度加重値を決定するステップと、前記ディスプレイピクセルに割り当てられた映像ピクセル値に前記輝度加重値を適用するステップと、前記輝度加重値が適用された映像ピクセル値を前記ディスプレイピクセルを介して出力するステップとを含む。
【０００５】
前記輝度加重値を決定するステップは、前記光線方向の通過地点と前記視聴者の左眼の位置との間の距離に対応する第１基準値、及び前記光線方向と前記視聴者の右眼の位置との間の距離に対応する第２基準値のうち少なくとも１つに基づいて前記輝度加重値を決定し、前記光線方向の通過地点は、前記左眼の位置と前記右眼の位置とを通る直線を前記光が横切る位置であり得る。
【０００６】
前記輝度加重値を決定するステップは、前記第１基準値及び前記第２基準値のうち少なくとも１つに基づいて、予め定義された互いに異なる輝度加重値のいずれか１つの輝度加重値を前記ディスプレイピクセルに対応する前記輝度加重値として決定し得る。
【０００７】
前記輝度加重値を決定するステップは、前記左眼の位置を基準とする第１基準値範囲に前記第１基準値が含まれる場合、又は前記右眼の位置を基準とする第２基準値範囲に前記第２基準値が含まれる場合、第１輝度加重値を前記ディスプレイピクセルに対応する輝度加重値として決定し得る。
【０００８】
前記輝度加重値を決定するステップは、前記第１基準値が前記第１基準値範囲に含まれるず、前記第２基準値が前記第２基準値範囲に含まれない場合、第２輝度加重値を前記ディスプレイピクセルに対応する輝度加重値として決定し、前記第１輝度加重値は前記第２輝度加重値よりも大きい。
【０００９】
前記第１基準値範囲の大きさは、前記第２基準値範囲の大きさと同一であり得る。
【００１０】
前記第１基準値は、前記光線方向と前記ディスプレイピクセルから前記左眼に向かう方向との間の相違に対応し、前記第２基準値は、前記光線方向と前記ディスプレイピクセルから前記右眼に向かう方向との間の相違に対応し得る。
【００１１】
前記第１基準値は、前記ディスプレイピクセルから前記左眼の位置に向かう線方向と前記光線方向間の角度、又は前記光線方向の通過地点と前記左眼の位置との間の距離に基づいて決定され、前記第２基準値は、前記ディスプレイピクセルから前記右眼の位置に向かう線方向と前記光線方向間の角度、又は前記光線方向の通過地点と前記右眼の位置との間の距離に基づいて決定され得る。
【００１２】
前記映像ピクセル値に適用される前記輝度加重値に基づいて前記ディスプレイピクセルを介して出力される前記映像ピクセル値の輝度が調整され得る。
【００１３】
前記映像ピクセル値を決定するステップは、前記検出された目の位置に基づいて、左視点映像又は右視点映像のいずれか１つの映像ピクセル値を前記ディスプレイピクセルに割り当て得る。
【００１４】
前記映像ピクセル値を決定するステップは、予め定義された左側輝度スケーリング値に基づいて、前記左視点映像の映像ピクセルの輝度範囲と前記右視点映像の映像ピクセルの右側輝度範囲を調整するステップと、予め定義されたクロストーク補正値に基づいて、前記輝度範囲が調整された左視点映像の映像ピクセル及び右視点映像の映像ピクセルの輝度値を調整するステップとを含み得る。
【００１５】
前記映像ピクセル値を決定するステップは、前記光線方向の通過地点と前記右眼の位置との間の距離よりも前記光線方向の通過地点と前記左眼の位置との間の距離の方が短いことに基づいて、輝度値が調整された前記左視点映像の前記映像ピクセル値を前記ディスプレイピクセルに割り当てるステップと、前記光線方向の通過地点と前記左眼の位置との間の距離よりも前記光線方向の通過地点と前記右眼の位置との間の距離の方が短いこと、輝度値が調整された前記右視点映像の前記映像ピクセル値を前記ディスプレイピクセルに割り当てるステップとをさらに含み、前記光線方向の通過地点は、前記左眼の位置と前記右眼の位置とを通る直線を光線が横切る位置であり得る。
【００１６】
一実施形態に係るコンピュータで読み出し可能な格納媒体は、上記の方法を実行するための命令を格納し得る。一実施形態に係るコンピュータプログラムは、上記の方法を３Ｄ映像提供装置のコンピュータに実行させる命令を有する。
【００１７】
一実施形態に係る３Ｄ映像提供装置は、視聴者の目の位置を検出するための目の位置検出器と、前記検出された目の位置によるパネル映像を生成するプロセッサと、前記パネル映像に基づいて３Ｄ映像を出力するディスプレイパネルと、を含み、前記プロセッサは、前記ディスプレイパネルのディスプレイピクセルから出力される光線方向と前記検出された目の位置に基づいて、前記ディスプレイピクセルに対応する輝度加重値を決定し、前記ディスプレイピクセルに割り当てられた映像ピクセル値に前記輝度加重値を適用し、前記輝度加重値が適用された映像ピクセル値に基づいて前記パネル映像を生成する。
【００１８】
前記プロセッサは、前記光線方向と前記視聴者の左眼の位置との間の近接する程度に対応する第１基準値、及び前記光線方向と前記視聴者の右眼の位置との間の近接する程度に対応する第２基準値のうち少なくとも１つに基づいて前記輝度加重値を決定し得る。
【００１９】
前記プロセッサは、前記第１基準値及び前記第２基準値のうち少なくとも１つに基づいて、予め定義された輝度加重値のうち予め定義された輝度加重値を前記ディスプレイピクセルに対応する前記輝度加重値として決定し得る。
【００２０】
前記プロセッサは、予め定義された輝度スケーリング値に基づいて、前記左視点映像の映像ピクセルの左側輝度範囲と前記右視点映像の映像ピクセルの右側輝度範囲を調整し、予め定義されたクロストーク補正値に基づいて、前記調整された左側輝度範囲に基づいて左視点映像の映像ピクセル輝度値をそれぞれ調整し、前記調整された右側輝度範囲に基づいて前記右視点映像の映像ピクセルの輝度値をそれぞれ調整し得る。
【００２１】
前記プロセッサは、前記光線方向の通過地点と前記右眼の位置との間の距離よりも前記光線方向の通過地点と前記左眼の位置との間の距離の方が短いことに基づいて、輝度値が調整された前記左視点映像の前記映像ピクセル値を前記ディスプレイピクセルに割り当て、前記光線方向の通過地点と前記左眼の位置との間の距離よりも前記光線方向の通過地点と前記右眼の位置との間の距離の方が短いことに基づいて、輝度値が調整された前記右視点映像の前記映像ピクセル値を前記ディスプレイピクセルに割り当て、前記光線方向の通過地点は、前記左眼の位置と前記右眼の位置とを通る直線を光線が横切る位置であり得る。
【００２２】
前記ディスプレイパネルは、パララックスバリア又はレンチキュラレンズを含み得る。
【００２３】
一実施形態に係る３次元３Ｄ映像提供方法は、視聴者の右側目の位置及び左側目の位置を検出するステップと、前記検出された右側目の位置及び前記検出された左側目の位置に基づいて３Ｄ映像を提供するステップと、を含み、前記３Ｄ映像を提供するステップは、前記検出された右側目の位置及び前記検出された左側目の位置に基づいて、ディスプレイピクセルに前記左視点映像及び右視点映像のうち１つの映像ピクセル値を割り当てることで、ディスプレイパネルに含まれた前記ディスプレイピクセルに対応する映像ピクセルを決定するステップと、予め定義された輝度スケーリング値に基づいて前記左視点映像の映像ピクセルの左側輝度範囲を調整し、前記右視点映像の映像ピクセルの右輝度範囲を調整するステップと、予め定義されたクロストーク調整値に基づいて、前記調整された左側輝度範囲で前記左視点映像の前記映像ピクセルそれぞれの輝度値を調整し、前記調整された右輝度範囲で前記右視点映像の前記映像ピクセルそれぞれの輝度値を調整するステップと、前記検出された右眼の位置及び前記検出された左眼の位置と前記ディスプレイピクセルから出力された光の光線方向に基づいて、前記ディスプレイピクセルに対応する輝度加重値を決定するステップと、前記決定された輝度加重値を前記ディスプレイピクセルに対応する前記映像ピクセル値に適用するステップと、前記決定された輝度加重値に前記ディスプレイピクセルを介して前記映像ピクセル値を出力するステップとを含む。
【００２４】
前記映像ピクセル値を決定するステップは、前記光線方向の通過地点と前記右眼の位置との間の距離よりも前記光線方向の通過地点と前記左眼の位置との間の距離の方が短いことに基づいて、輝度値が調整された前記左視点映像の前記映像ピクセル値を前記ディスプレイピクセルに割り当てるステップと、前記光線方向の通過地点と前記左眼の位置との間の距離よりも前記光線方向の通過地点と前記右眼の位置との間の距離の方が短いことに基づいて、輝度値が調整された前記右視点映像の前記映像ピクセル値を前記ディスプレイピクセルに割り当てるステップとを含み、前記光線方向の通過地点は、前記左眼の位置と前記右眼の位置とを通る直線を光線が横切る位置であり得る。
【発明の効果】
【００２５】
本発明によれば、３Ｄ映像提供装置は、視聴者の左眼と右眼に互いに異なる映像を見せることによって、視聴者に３Ｄ映像の立体感を提供することができる。
【図面の簡単な説明】
【００２６】
【図１】一実施形態に係る３Ｄ映像提供装置を示す図である。
【図２】一実施形態に係る３Ｄ映像への変換過程を説明するための図である。
【図３】一実施形態に係る３Ｄ映像提供方法の動作を説明するためのフローチャートである。
【図４】一実施形態に係る３Ｄ映像提供方法の動作を説明するためのフローチャートである。
【図５】一実施形態に係る３Ｄ映像提供方法の動作を説明するためのフローチャートである。
【図６Ａ】一実施形態に係るディスプレイピクセルの光線方向と視聴者の目の位置に基づいて第１及び第２基準値を決定する一例を説明するための図である。
【図６Ｂ】一実施形態に係るディスプレイピクセルの光線方向と視聴者の目の位置に基づいて第１及び第２基準値を決定する一例を説明するための図である。
【図７】一実施形態に係る視点追跡型の裸眼３Ｄ表示装置で視点情報を併合することを説明するための図である。
【図８Ａ】一実施形態に係る視聴者の目の位置による輝度加重値を決定する一例を説明するための図である。
【図８Ｂ】一実施形態に係る視聴者の目の位置による輝度加重値を決定する一例を説明するための図である。
【図９Ａ】一実施形態に係る視聴者の目の位置による輝度加重値を決定する一例を説明するための図である。
【図９Ｂ】一実施形態に係る視聴者の目の位置による輝度加重値を決定する一例を説明するための図である。
【図１０】一実施形態に係る３Ｄ映像レンダリング装置の構成を示す図である。
【図１１】一実施形態に係る３Ｄ映像提供装置の構成を示す図である。
【図１２】一実施形態に係る３Ｄ映像提供方法を説明するフローチャートである。
【発明を実施するための形態】
【００２７】
実施形態に対する特定な構造的又は機能的な説明は単なる例示のための目的として開示されたものとして、様々な形態に変更されてもよい。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。
【００２８】
第１又は第２などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に第２構成要素は第１構成要素にも命名することができる。
【００２９】
単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
【００３０】
異なるように定義さがれない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
【００３１】
図１は、一実施形態に係る３Ｄ映像提供装置を示す図である。図１を参照すると、３Ｄ映像提供装置１１０は、３Ｄ映像を視聴者１２０に提供する。３Ｄ映像提供装置１１０は、入力映像を立体映像の３Ｄ映像に変換して出力する装置として、出力映像を空間の特定視点ごとに見えるようにする裸眼式３Ｄ表示装置である。３Ｄ映像提供装置１１０は、ディスプレイパネルに伝えられるパネル映像を生成する３Ｄレンダリング過程を行い、生成されたパネル映像を光学３Ｄ光学素子を介して立体映像に変換し出力する。ここで、ディスプレイパネルは、例えば、ＬＣＤ、ＬＥＤ又はＯＬＥＤなどのディスプレイモジュールを含み、３Ｄ光学素子は、パララックスバリア又はレンチキュラレンズなどを含む。３Ｄ映像提供装置１１０は、視聴者１２０の左眼と右眼に互いに異なる映像を見せることで、視聴者１２０に３Ｄ映像の立体感を提供し得る。３Ｄ映像提供装置１１０は、裸眼式で３Ｄ映像を出力できる様々なディスプレイ装置に該当する。例えば、３Ｄ映像提供装置１１０は、３Ｄテレビ、メガネ形態のウェアラブル装置、３Ｄ  ＨＵＤ（Ｈｅａｄ−Ｕｐ  Ｄｉｓｐｌａｙ）、モニタ、タブレットコンピュータ、スマートフォン、モバイル装置、又はスマート家電機器などの形態を有する。
【００３２】
図２は、一実施形態に係る３Ｄ映像への変換過程を説明するための図である。図２を参照すると、３Ｄ映像提供装置は、ディスプレイパネル２１０の各ディスプレイピクセル２１５から出力された光（又は、光線）を３Ｄ光学素子２２０を介して３次元空間に複数の視聴方向に出力する。ディスプレイピクセル２１５から出力される光線によって、ライトフィールドが形成される。ディスプレイピクセル２１５は、映像ピクセルのピクセル値を出力するディスプレイパネル２１０の構成単位であって、映像ピクセルは、パネル映像の構成単位として該当の映像ピクセルに対応するディスプレイピクセル２１５を介して出力する映像ピクセル値を有する。ディスプレイピクセル２１５はハードウェアの形態であり、映像ピクセルはデータの形態である。それぞれのディスプレイピクセル２１５から出力される光は、３Ｄ光学素子２２０によって特定の方向に伝達される。
【００３３】
３Ｄ光学素子２２０は、例えば、図２に示すようなレンチキュラレンズ又はパララックスバリア（図示せず）を含み、レンチキュラレンズ又はパララックスバリアは、ディスプレイパネル２１０に含まれたディスプレイピクセル２１５のアレイと斜めに交差するよう設計される。３Ｄ映像提供装置のような裸眼３Ｄディスプレイでは、視聴者の両眼５１，５２に互いに異なる視点の映像を照射することで視聴者は立体感を感じることができる。例えば、視聴者が左眼５１は第１視点映像を視聴し、右眼５２は第２視点映像を視聴することで、３Ｄ映像提供装置は視聴者に立体感のある３Ｄ映像を提供することができる。ここで、立体感は、両眼視差によって形成され得る。
【００３４】
３Ｄ映像提供装置が３Ｄ映像を提供するとき、３Ｄ映像提供装置は、カメラなどを用いて視聴者の視点（又は、目の位置）を追跡し、追跡された視点に基づいて３Ｄ映像をリアルタイムにレンダリングする。このように、３Ｄ映像提供装置は、視点追跡型裸眼３Ｄディスプレイとして機能する。視点追跡型裸眼３Ｄディスプレイの場合、視聴者の視聴位置に応じて３Ｄ映像をリアルタイムにレンダリングし、左視点映像及び右視点映像の２種類の視点映像を該当の視聴位置に出力する。
【００３５】
３Ｄ映像提供装置は、視聴者の視聴位置に応じてリアルタイムに３Ｄ映像をレンダリングし、リアルタイム処理を可能にする。パネル映像を構成している映像ピクセルのアレイは、左視点映像のピクセル値と右視点映像のピクセル値とが組合わせられた形態を有する。３Ｄ光学素子によって左視点映像及び右視点映像の２つの視点映像は、ライトフィールドを形成して視聴領域から出力される。視聴者の左眼には、複数の方向に出力された左視点映像が併合された映像が見え、右眼には、複数の方向に出力された右視点映像が併合された映像が見える。
【００３６】
以下で説明する実施形態は、視点追跡型裸眼３Ｄディスプレイにより出力される３Ｄ映像の画質を高めるために用いられる。例えば、実施形態は、視聴者の両眼に見えてしまう３Ｄ映像のクロストーク現象を低減させることができる。クロストーク現象は、右眼に見えなければならない映像が左眼に見えてしまうこと、及び／又は左眼に見えなければならない映像が右眼に見えてしまうことを示し、これは左眼に見えなければならない映像と右眼に見えなければならない映像との間の不完全な分離に起因する。一般に、裸眼３Ｄディスプレイでクロストーク形状の発生原因は大きく分けて２種類ある。第１に、ディスプレイで光が３Ｄ光学素子、接着剤又はディスプレイピクセル構造を通過するとき発生する回折や散乱によるオフセットクロストークが挙げられる。オフセットクロストークは、視聴者の位置とは関係なくディスプレイパネル全体に等しく示される傾向がある。第２に、３Ｄ光学素子の設計又は製造上で発生した誤差に起因した３Ｄピクセルクロストークが挙げられる。３Ｄピクセルクロストークは、例えば、パララックスバリアのスリットの大きさ、レンチキュラレンズの傾斜角、又はレンズ収差などの誤差によって発生する恐れがある。
【００３７】
上記のようなクロストーク現象は、３Ｄ映像の品質に大きい影響を及ぼすため、３Ｄ映像を実現するときクロストーク現象を低減させることが重要である。実施形態は、視点追跡型裸眼３Ｄディスプレイにおいて以下で説明する映像処理過程を用いてクロストーク現象を低減させ得る。実施形態の一側面によれば、輝度スケーリング値とクロストーク補正値がパラメータとして入力され、該当のパラメータに基づいて３Ｄレンダリングを行うことでオフセットクロストークの影響を減少させ、リアルタイムの処理を可能にする。また、各映像ピクセルごとにリアルタイムに３Ｄレンダリングを行う過程で輝度成分を適切に調整することにより、３Ｄピクセルクロストークの影響を減らし得る。また、実施形態の他の側面によれば、３Ｄレンダリングにおいて映像処理過程の複雑度を減らし、映像ピクセルごとの並列処理を介して高速処理を可能にする。以下、図面を参照して３Ｄ映像提供装置によって実行される３Ｄ映像提供方法について詳細に説明する。
【００３８】
図３〜図５は、一実施形態に係る３Ｄ映像提供方法の動作を説明するためのフローチャートである。
【００３９】
図３を参照すると、ステップＳ３１０において、３Ｄ映像提供装置は、視聴者の目の位置を検出する。３Ｄ映像提供装置は、カメラを用いて３Ｄ映像提供装置の前方を撮影し、撮影された映像を分析して視聴者の目の位置を決定する。例えば、３Ｄ映像提供装置は、カメラに撮影された映像から目領域に関する特徴点を検出し、検出された特徴点の位置に基づいて視聴者の目の位置を決定する。異なる例として、３Ｄ映像提供装置は、入力映像で目の位置を出力するよう学習されたニューラルネットワーク基盤の検出器を用いて目の位置を決定してもよい。３Ｄ映像提供装置は、上記の例の他の方式を用いて目の位置を検出してもよい。
【００４０】
ステップＳ３２０において、３Ｄ映像提供装置は、視聴者の目の位置による３Ｄ映像を提供する。先に説明したように、３Ｄ映像提供装置は、視点追跡型裸眼３Ｄディスプレイとして機能するため、視聴者の目の位置に基づいて３Ｄ映像をレンダリングする。同一のコンテンツを出力するとしても、視聴者の目の位置に応じてディスプレイパネルを介して出力されるパネル映像の構成が変わり得る。視聴者の目の位置に応じて現在のディスプレイピクセルに左視点映像の映像ピクセル値が割り当てられるか、そうでなければ、右視点映像の映像ピクセル値が割り当てられるかの有無が決定される。３Ｄ映像のレンダリングは、視聴者の左眼及び右眼の位置と各ディスプレイピクセルから出力される光線方向に基づいて各ディスプレイピクセルごとに個別的に実行される。３Ｄ映像提供装置が３Ｄ映像を提供する過程については、図４を参照して以下にてより詳細に説明する。
【００４１】
図４は、一実施形態に係る３Ｄ映像提供装置が３Ｄ映像を提供する過程をより具体的に説明するためのフローチャートである。図４を参照すると、ステップＳ４１０において、３Ｄ映像提供装置は、ディスプレイパネルのディスプレイピクセルに対応する映像ピクセル値を決定する。３Ｄ映像提供装置は、検出された目の位置に基づいて左視点映像又は右視点映像のいずれか１つの映像ピクセル値をそれぞれのディスプレイピクセルに割り当てる。例えば、現在のディスプレイピクセルから出力される光線方向（ディスプレイピクセルの光線方向）が視聴者の右眼よりも左眼の位置により近接していれば、該当のディスプレイピクセルには、左視点映像の映像ピクセル値が割り当てられる。反対に、現在のディスプレイピクセルの光線方向が視聴者の左眼よりも右眼の位置に、より近接していれば、該当のディスプレイピクセルには、右視点映像の映像ピクセル値が割り当てられる。
【００４２】
実施形態により、３Ｄ映像からクロストーク成分をさらに減らすために、一連の映像前処理過程を先に実行してもよい。例えば、３Ｄ映像提供装置は、入力映像である左視点映像及び右視点映像の映像ピクセル値の輝度範囲を調整し、オフセットクロストークの成分を低減させるためのクロストーク補正過程を行ってもよい。これについては、図５を参照して下記にてより詳細に説明する。
【００４３】
ステップＳ４２０において、３Ｄ映像提供装置は、ディスプレイピクセルの光線方向とステップＳ３１０で検出された目の位置に基づいて、各ディスプレイピクセルに対応する輝度加重値を決定する。例えば、現在のディスプレイピクセルの光線方向が左眼又は右眼の位置に近接する場合、３Ｄ映像提供装置は、現在のディスプレイピクセルによりも大きい輝度加重値を割り当てる。これとは異なって、現在のディスプレイピクセルの光線方向が左眼と右眼の位置からさらに遠い場合、又は該当の光線方向が左眼と右眼の間の中間位置により近接している場合、現在のディスプレイピクセルに相対的に小さい輝度加重値を割り当てる。
【００４４】
一実施形態に係る３Ｄ映像提供装置は、現在のディスプレイピクセルの光線方向と視聴者の左眼の位置との間の近接する程度を示す第１基準値、及び該当の光線方向と視聴者の右眼の位置との間の近接する程度を示す第２基準値のうちの１つ以上に基づいて輝度加重値を決定する。ここで、第１基準値は、現在のディスプレイピクセルの光線方向と現在のディスプレイピクセルから視聴者の左眼に向かう方向との間の差を示し、第２基準値は、現在のディスプレイピクセルの光線方向と現在のディスプレイピクセルから視聴者の右眼に向かう方向との間の差を示す。例えば、第１基準値は、現在のディスプレイピクセルから左眼の位置に向かう光線方向と、現在のディスプレイピクセルの光線方向間の角度θＬ又は該当の光線方向と左眼の位置との間の距離ｄＬに基づいて決定され、該当の光線方向と左眼の位置との間の距離ｄＬは、左眼の中心位置及び右眼の中心位置を通過する直線を、目線方向及び光線方向のそれぞれの方向が通過する通過地点の間の距離に対応し、第２基準値は、現在のディスプレイピクセルから右眼の位置に向かう線方向と現在のディスプレイピクセルの光線方向間の角度θＲ又は該当の光線方向と右眼の位置との間の距離ｄＲに基づいて決定される。ディスプレイピクセルの光線方向と左眼の位置が互いに近接するほど第１基準値は小さくなり、ディスプレイピクセルの光線方向と右眼の位置が互いに近接するほど第２基準値は小さくなる。
【００４５】
一実施形態に係る３Ｄ映像提供装置は、上記の第１基準値及び第２基準値のうちの１つ以上に基づいて、予め定義された互いに異なる輝度加重値のいずれか１つの輝度加重値をディスプレイピクセルに対応する輝度加重値として決定する。例えば、左眼の位置を基準とする第１基準値範囲に該当の第１基準値が含まれる場合、又は右眼の位置を基準とする第２基準値範囲に該当の第２基準値が含まれている場合、３Ｄ映像提供装置は、第１輝度加重値をディスプレイピクセルに対応する輝度加重値として決定する。反対に、第１基準値が第１基準値範囲に含まれることなく、第２基準値が第２基準値範囲に含まれない場合、３Ｄ映像提供装置は、第２輝度加重値をディスプレイピクセルに対応する輝度加重値として決定する。ここで、第１基準値範囲の大きさは、第２基準値範囲の大きさと同一であり、第１輝度加重値は、第２輝度加重値よりも大きくてもよい。第１基準値が第１基準値範囲に含まれること、又は第２基準値が第２基準値範囲に含まれることは、ディスプレイピクセルの光線方向が左眼又は右眼に近接することを示す。この場合、大きい輝度加重値が該当のディスプレイピクセルに割り当てられる。例えば、光線方向から右眼の位置までの距離と光線方向から左眼の位置までの距離との間の差｜ｄＲ−ｄＬ｜は基準値に対応してもよい。｜ｄＲ−ｄＬ｜が、０から瞳孔の間の範囲内であれば、対応する輝度加重値は、距離が０であるときの最小値５０％から、距離がＩＰＤ／２である１００％まで次第に増加し得る。同様に、輝度加重値は、角度間の差｜θＲ−θＬ｜における変化に基づいて適用される。１００％の輝度加重値が割り当てられる場合、映像ピクセル値の輝度を減らすことなく、本来の輝度そのままの映像ピクセル値が該当のディスプレイピクセルを介して出力される。
【００４６】
第１基準値が第１基準値範囲に含まれず、第２基準値が第２基準値範囲に含まれないことは、ディスプレイピクセルの光線方向が左眼及び右眼から遠いことを示す。この場合、小さい輝度加重値が該当のディスプレイピクセルに割り当てられる。例えば、５０％の輝度加重値が割り当てられる場合、映像ピクセル値の輝度を５０％に減らし、該当のディスプレイピクセルを介して出力する。また、ディスプレイピクセルの光線方向が左眼と右眼の間の中間位置に近接する場合にも小さい輝度加重値が割り当てられる。ここで、輝度加重値は、第１基準値又は第２基準値の大きさに応じて決定されてもよい。例えば、輝度加重値は、５０％、６０％、…、９０％及び１００％のように、予め定義された値のいずれか１つに決定されてもよく、予め定義された関数に基づいて決定されてもよい。このような過程を介して左眼に右視点映像が見えてしまったり、右眼に左視点映像が見えてしまうことが減少し、クロストークの現象を低減させ得る。
【００４７】
ステップＳ４３０において、３Ｄ映像提供装置は、ディスプレイピクセルに割り当てられた映像ピクセル値にステップＳ４２０で決定された輝度加重値を適用する。映像ピクセル値に適用される輝度加重値に応じてディスプレイピクセルを介して出力される映像ピクセル値の輝度が調整される。上記にて説明したように、例えば、輝度加重値が１００％である場合、本来の輝度そのままの映像ピクセル値が出力され、輝度加重値が１００％よりも小さい場合は、本来の輝度よりも小さい輝度の映像ピクセル値が出力される。
【００４８】
ステップＳ４４０において、３Ｄ映像提供装置は、輝度加重値が適用された映像ピクセル値をディスプレイピクセルを介して出力する。３Ｄ映像提供装置は、上記の過程を用いて各ディスプレイピクセルに対応する輝度加重値を決定し、輝度加重値が適用された映像ピクセル値をディスプレイピクセルを介して出力することで、クロストーク成分が減少した３Ｄ映像を出力することができる。
【００４９】
図５は、一実施形態に係るディスプレイピクセルに割り当てられる映像ピクセル値を決定する過程をより具体的に説明するためのフローチャートである。以下の説明のように、３Ｄ映像提供装置は、輝度スケーリング値とクロストーク補正値をパラメータとして入力され、オフセットクロストークを補正するために利用され得る。
【００５０】
図５を参照すると、ステップＳ５１０において、３Ｄ映像提供装置は、予め定義された輝度スケーリング値に基づいて、左視点映像の映像ピクセルの輝度範囲と右視点映像の映像ピクセルの輝度範囲を調整してマージン範囲を保持する。一実施形態に係る輝度スケーリング値は、映像ピクセルの最小輝度値と最大輝度値のうちの１つ以上に関する情報を含む。３Ｄ映像提供装置は、輝度スケーリング値に示された最小輝度値及び／又は最大輝度値に基づいて映像ピクセルの輝度範囲をスケーリングし得る。
【００５１】
例えば、映像ピクセルの輝度範囲が［０−２５５］であると仮定すれば、３Ｄ映像提供装置は、輝度スケーリング値に基づいて映像ピクセルの輝度範囲を［２０−２３０］にスケーリングし得る。スケーリングが実行された後、映像ピクセルの最小輝度値は２０以上に、最大輝度値は２３０以下に調整される。このようなスケーリングは、後で映像ピクセル値の調整過程で映像ピクセル値の余裕（ｍａｒｇｉｎ）範囲を確保するためである。
【００５２】
ステップＳ５２０において、３Ｄ映像提供装置は、予め定義されたクロストーク補正値に基づいて、ステップＳ３１０で輝度範囲が調整された左視点映像及び右視点映像の映像ピクセルの輝度値を調整する。３Ｄ映像提供装置は、ガンマ復号化によって映像ピクセルの映像ピクセル値をＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）カラー空間から輝度空間に変換して輝度値を抽出し、該当の輝度値にクロストーク補正値を適用して輝度値でクロストーク成分を差し引く（即ち、減少させる、又は何らかの因子を乗算する）。例えば、予め定義されたクロストーク補正値が３％であると仮定すると、該当のクロストーク補正値が輝度値に適用されることで輝度値で本来の輝度値の３％に該当する輝度値だけを差し引く。その後、３Ｄ映像提供装置は、ガンマ符号化を介してクロストーク補正値が適用された映像ピクセル値を輝度空間からＲＧＢカラー空間に再び変換する。ステップＳ５１０とステップＳ５２０の過程を経て、左視点映像及び右視点映像の映像ピクセルの輝度範囲がスケーリングされ、クロストーク補償のために輝度値が調整される。
【００５３】
ステップＳ５３０において、３Ｄ映像提供装置は、ディスプレイピクセルの光線方向が右眼と左眼のいずれに近接するかを決定する。ディスプレイピクセルの光線方向の通過地点が右眼よりも左眼の位置により近接している場合、ステップＳ５４０において、３Ｄ映像提供装置は、ステップＳ５２０を経て輝度値が調整された左視点映像の映像ピクセル値を該当のディスプレイピクセルに割り当てる。これとは逆に、ディスプレイピクセルの光線方向が左眼よりも右眼の位置により近接している場合、ステップＳ５５０において、３Ｄ映像提供装置は、輝度値が調整された右視点映像の映像ピクセル値を該当のディスプレイピクセルに割り当てる。３Ｄ映像提供装置は、このような映像ピクセル値の割当過程を全体のディスプレイピクセルそれぞれに対して実行し、その結果、パネル映像が生成され得る。
【００５４】
図６Ａ及び図６Ｂは、一実施形態に係るディスプレイピクセルの光線方向と視聴者の目の位置に基づいて第１及び第２基準値を決定する一例を説明するための図である。
【００５５】
図６Ａを参照すると、ディスプレイパネル６１０に含まれたディスプレイピクセル６１５から出力された光線は、３Ｄ光学素子によって特定の方向６１７に進行される。このようなディスプレイピクセル６１５の光線方向６１７は、３Ｄ光学素子の構造的な特徴によって定義される。視聴者の左眼６２０の位置と右眼６２５の位置が決定されれば、３Ｄ映像提供装置は、ディスプレイピクセル６１５の光線方向６１７とそれぞれの左眼６２０の位置及び右眼６２５の位置との間の近接する程度を示す第１基準値及び第２基準値を決定し得る。
【００５６】
例えば、３Ｄ映像提供装置は、左眼６２０の中心位置と右眼６２５の中心位置を通過する直線６３０上で光線方向６１７が通過する通過点を決定する。３Ｄ映像提供装置は、通過点の位置と左眼６２０の位置との間の距離差６４０を第１基準値として決定し、通過点の位置と右眼６２５の位置との間の距離差６４５を第２基準値として決定する。３Ｄ映像提供装置は、距離差６４０及び距離差６４５を比較し、左眼６２０と右眼６２５のうち、ディスプレイピクセル６１５の光線方向６１７により近接しているものを決定する。図６Ａの場合、距離差６４０が距離差６４５よりも小さいため、光線方向６１７は、左眼６２０により近接しているものと決定される。
【００５７】
図６Ｂを参照すると、第１基準値と第２基準値は角度差に基づいて決定される。例えば、ディスプレイピクセル６１５から左眼６２０の位置に向かう線６５０の方向と、ディスプレイピクセル６１５から出力される光線方向６１７がなしている角度６６０が第１基準値として決定され、ディスプレイピクセル６１５から右眼６２５の位置に向かう線６５５の方向と、ディスプレイピクセル６１５の光線方向６１７がなしている角度６６５が第２基準値として決定される。３Ｄ映像提供装置は、角度６６０及び角度６６５を比較し、左眼６２０と右眼６２５のうちディスプレイピクセル６１５の光線方向６１７により近接しているものを決定する。図６Ｂの場合、角度６６０が角度６６５よりも小さいため、光線方向６１７は左眼６２０により近接しているものと決定される。
【００５８】
図７は、一実施形態に係る視点追跡型の裸眼３Ｄ表示装置で視点情報を併合することを説明するための図である。図７を参照すると、視聴方向ごとの輝度プロファイル７０５、左視点と右視点に視点併合された後の輝度プロファイル７１７が図示されている。輝度プロファイル７０５で、点線グラフ７１０は、左視点映像が出力される各視聴方向の輝度分布特性を示し、実線グラフ７１５は、右視点映像が出力される各視聴方向の輝度分布特性を示す。輝度プロファイル７１７は、輝度プロファイル７０５に示された視聴方向ごとの輝度分布特性をそれぞれ左視点と右視点に併合して図示したものである。ここで、「Ａ」は視聴者の左眼の位置を示し、「Ｂ」は視聴者の右眼の位置を示す。左眼と右眼の位置に応じて視点情報を併合することでクロストークが低減される。ただし、輝度プロファイル７１７によれば、左眼に様々な視聴方向に出力された左視点映像の輝度成分７２０のみならず、右視点映像の輝度成分７２５も到達し得る。左眼の位置に到達する右視点映像の輝度成分７３０は、クロストーク成分に該当する。また、右眼に左視点映像の輝度成分７２０が到達すれば、右眼の位置に到達する左視点映像の輝度成分７３５もクロストーク成分に該当する。このようなクロストーク成分は、本明細書で提示された輝度加重値を用いることにより低減され得る。
【００５９】
図８Ａ〜図９Ｂは、一実施形態に係る視聴者の目の位置による輝度加重値を決定する一例を説明するための図である。
【００６０】
図８Ａを参照すると、ディスプレイパネル８１０から出力される３Ｄ映像は、視聴者の左眼８２０と右眼８２５に到達する。３Ｄ映像提供装置は、ディスプレイパネル８１０の各ディスプレイピクセルから出力される光線方向及び左眼８２０と右眼８２５の位置に基づいて、ディスプレイピクセルに左視点映像の映像ピクセル値又は右視点映像の映像ピクセル値を割り当てる過程を行う。図８Ａには、左眼８２０の位置で併合された左視点映像の輝度プロファイル８３０と、右眼８２５の位置で併合された右視点映像の輝度プロファイル８３５とが図示されている。図７を参照して説明したように、左眼８２０及び右眼８２５のそれぞれの位置では、意図していない視点映像が伝えられてクロストーク現象が発生する恐れがある。
【００６１】
図８Ｂを参照すると、３Ｄ映像提供装置は、ディスプレイピクセルに割り当てられる映像ピクセル値に輝度加重値を適用することで、クロストーク現象を低減させ得る。３Ｄ映像提供装置は、各ディスプレイピクセルの光線方向と左眼８２０及び右眼８２５の位置に基づいて、各ディスプレイピクセルに対応する輝度加重値の大きさを決定する。３Ｄ映像提供装置は、映像ピクセル値をディスプレイピクセルにマッピングするとき、ディスプレイピクセルの光線方向と左眼８２０及び右眼８２５の位置を比較し、該当の映像ピクセル値に適用される輝度加重値の大きさを決定する。一実施形態に係る３Ｄ映像提供装置は、光線方向が左眼８２０又は右眼８２５の位置に近接する場合は、映像ピクセル値の本来の輝度値を保持するよう輝度加重値の大きさを１００％に決定し、光線方向が左眼８２０又は右眼８２５の位置から遠い場合は、低い輝度加重値を適用して映像ピクセル値の輝度値を低くする。
【００６２】
一実施形態に係る３Ｄ映像提供装置は、ディスプレイピクセルの光線方向と左眼８２０と右眼８２５のそれぞれの位置に基づいて第１基準値及び第２基準値を決定し、第１基準値が左眼８２０の位置を中心とする第１基準値範囲に含まれる場合、又は、第２基準値が右眼８２５の位置を中心とする第２基準値範囲に含まれている場合、１００％の輝度加重値をディスプレイピクセルに割り当てられる映像ピクセル値に適用する。第１基準値が第１基準値範囲に含まれることなく、第２基準値が第２基準値範囲に含まれていない場合、１００％よりも低い輝度加重値（例えば、５０％）が該当の映像ピクセル値に適用され、本来の輝度値よりも低い輝度値の映像ピクセル値が出力される。このように、ディスプレイピクセルの光線方向と視聴者の左眼８２０と右眼８２５の位置に基づいて各ディスプレイピクセルに対応する輝度加重値を決定し、決定された輝度加重値を各ディスプレイピクセルを介して出力される映像ピクセル値に適用することで、左眼８２０と右眼８２５に直接映像を投射しないディスプレイピクセルの影響が減少しクロストーク成分が低減される。以下、輝度加重値８５０をそれぞれのディスプレイピクセルに適用した実施形態であって、左眼８２０の位置で併合された左視点映像の輝度プロファイル８４０と右眼８２５の位置で併合された右視点映像の輝度プロファイル８４５を示す。輝度プロファイル８４０，８４５と、図８Ａに示す輝度プロファイル８３０，８３５とを比較すると、輝度加重値を適用することにより、左眼８２０及び右眼８２５それぞれの位置でクロストーク成分が低下したことが分かる。
【００６３】
図９Ａは、輝度加重値を利用していない実施形態において、裸眼３Ｄ表示装置で右眼に見える視聴方向ごとの映像の相対的な輝度の大きさを示す図である。図９Ａを参照すると、右眼が概略的に視聴方向「３３」に近く位置していることが推定される。ここで、視聴方向は、裸眼３Ｄ表示装置の位置を基準とする視聴領域を、視聴者が裸眼３Ｄ表示装置から出力される３Ｄ映像を視聴できる複数の視聴方向に区分したものである。左眼よりも右眼により近接している視聴方向「２３」から「４５」に対応するディスプレイピクセルは、右視点映像の映像ピクセル値を出力する。右眼よりも左眼の位置により近接している視聴方向「２２」に対応するディスプレイピクセルは、左視点映像の映像ピクセル値を出力する。右眼には、視聴方向ごとに右視点映像の輝度成分９１０のみならず、左視点映像の輝度成分９２０も一部見える。右眼に見える左視点映像の輝度成分９２０はクロストーク現象を誘発する。このようなクロストーク現象は、本明細書で説明した輝度加重値を用いることで低減され得る。
【００６４】
図９Ｂは、一実施形態に係る視聴方向ごとに適用される輝度加重値の大きさと輝度加重値が適用された場合に右眼の位置で見える視聴方向ごとの右視点映像及び左視点映像の輝度成分の大きさを示す。図９Ｂを参照すると、光線方向によってディスプレイピクセルに適用される輝度加重値の大きさが連続的なグラフ９３０のように図示されている。また、輝度加重値が適用されるとき、右眼の位置で見える各視聴方向における右視点映像の輝度成分９１５と、各視聴方向における左視点映像の輝度成分９２５が図示されている。本実施形態では、ディスプレイピクセルの光線方向が左眼又は右眼に近接する場合に１００％の輝度加重値が適用され、該当の光線方向が左眼と右眼の中間位置（概略的に、視聴方向「２２」）の付近には５０％の低い大きさの輝度加重値が適用される。また、左眼と右眼の位置から遠い光線方向を有するディスプレイピクセルにも低い大きさの輝度加重値が適用される。このような輝度加重値の適用により、右眼に見える左視点映像の輝度成分９２０が減少してクロストーク現象は低減される。
【００６５】
図１０は、一実施形態に係る３Ｄ映像レンダリング装置の構成を示す図である。図１０を参照すると、３Ｄ映像レンダリング装置１０００は、入力情報に基づいてディスプレイパネルに伝えられるパネル映像を生成する。ここで、入力情報は、目の位置検出器によって検出された目の位置値、輝度スケーリング値、左視点映像の映像ピクセル値と右視点映像の映像ピクセル値、及びクロストーク補正値を含む。輝度スケーリング値及びクロストーク補正値は、視聴者が結果映像を見ながらその大きさを調整し得る値である。３Ｄ映像レンダリング装置１０００は、ディスプレイピクセルの光線方向と両眼の目の位置に基づいて映像ピクセル値に輝度加重値を適用し、クロストーク成分の減少されたパネル映像を生成する。３Ｄ映像レンダリング装置１０００は、上記のような映像処理をパネル映像の各映像ピクセルに対して実行し、各映像ピクセルに対する映像処理を並列的に実行し得る。
【００６６】
３Ｄ映像レンダリング装置１０００は、輝度スケーリング部１０１０、ガンマ復号化部１０２０、クロストーク補正部１０３０、ガンマ符号化部１０４０、レンダリング部１０５０、及び輝度加重値適用部１０６０を含む。３Ｄ映像レンダリング装置１０００は、本明細書で説明した３Ｄ映像提供装置に含まれて動作する。
【００６７】
輝度スケーリング部１０１０は、予め定義された輝度スケーリング値に基づいて左視点映像の映像ピクセル値と右視点映像が映像ピクセル値の輝度範囲を調整する。一実施形態に係る輝度スケーリング部１０１０は、輝度スケーリング値に定義された最小輝度値と最大輝度値の範囲で、映像ピクセル値の輝度範囲を線形変換し得る。このような過程を介して映像ピクセルの輝度範囲を減らし得る。
【００６８】
ガンマ復号化部１０２０は、輝度範囲の変換された映像ピクセル値をＲＧＢカラー空間に輝度空間に変換するためのガンマ復号化を行う。これは、視聴者の両眼にクロストーク成分がより加えらることが映像ピクセル値ではない、ディスプレイピクセルの輝度値に基づくためである。
【００６９】
クロストーク補正部１０３０は、低減しようとするクロストークの大きさ情報であるクロストーク補正値に基づいて、左視点映像及び右視点映像の映像ピクセルの輝度値を調整するクロストーク補正を行う。クロストーク補正部１０３０は、映像ピクセルの輝度値から該当のクロストーク補正値だけ輝度値を差し引く。例えば、クロストーク補正値が３％であれば、クロストーク補正部１０３０は、全体映像ピクセルの輝度値を３％だけ差し引く。これによってクロストーク現象を誘発するオフセットクロストーク成分を低減させることができる。
【００７０】
ガンマ符号化部１０４０は、ガンマ符号化を介してクロストーク補正が実行された映像ピクセル値を輝度空間からＲＧＢカラー空間に変換させ得る。そのため、クロストーク補正値の適用されたカラー値の映像ピクセル値を取得できる。実施形態により、各映像ピクセルに対してガンマ復号化とガンマ符号化が実行されるとき、カラーの歪曲を減らすために、ＲＧＢカラーそれぞれのガンマカーブ（ｇａｍｍａ  ｃｕｒｖｅ）が用いられてもよいし、１つのガンマカーブが用いられてもよい。
【００７１】
レンダリング部１０５０は、視聴者の両眼の目の位置値に基づいて、各ディスプレイピクセルにクロストーク補正が実行された映像ピクセル値を割り当てる。レンダリング部１０５０は、各ディスプレイピクセルの光線方向と左眼と右眼の位置に基づいて、３Ｄレンダリング過程で各ディスプレイピクセルが表示しなければならない映像ピクセル値が左視点映像のものであるか、右視点映像のものとであるかを決定する。レンダリング部１０５０は、ディスプレイピクセルの光線方向が右眼よりも左眼により近接している場合、該当のディスプレイピクセルに左視点映像の映像ピクセル値を割り当て、反対の場合は、該当のディスプレイピクセルに右視点映像の映像ピクセル値を割り当てる。ディスプレイピクセルの光線方向とそれぞれの左眼間の近接する程度を推定するために、レンダリング部１０５０は、ディスプレイピクセルの光線方向と該当のディスプレイピクセルから左眼に向かう方向間の差「Ｄ１」と、ディスプレイピクセルの光線方向と該当のディスプレイピクセルから右眼に向かう方向間の差「Ｄ２」とを比較する。
【００７２】
輝度加重値適用部１０６０は、各ディスプレイピクセルの光線方向と目の位置値に基づいて各ディスプレイピクセルに対応する輝度加重値を決定し、決定された輝度加重値を各ディスプレイピクセルに割り当てられた映像ピクセル値に適用する。一実施形態に係る輝度加重値は、光線方向が片目に近接するほど輝度加重値を高め、両眼から遠いほど、又は、両眼の中間位置に近接するほど輝度加重値を低くする。例えば、輝度加重値適用部１０６０は、ディスプレイピクセルの光線方向が左眼又は右眼の位置と近接する場合、該当のディスプレイピクセルに映像ピクセル値の本来の輝度値を保持するための輝度加重値を割り当てる。輝度加重値適用部１０６０は、ディスプレイピクセルの光線方向が左眼及び右眼の位置から遠い場合、左眼と右眼の中間位置に近接する場合、該当のディスプレイピクセルに映像ピクセル値の輝度値を低くするための輝度加重値を割り当てる。
【００７３】
上記のＤ１とＤ２が互いに類似する場合、ディスプレイピクセルの光線方向が両眼のいずれか一方と近くない状態を示し、該当のディスプレイピクセルが出力する映像ピクセル値は、視聴者が見る３Ｄ映像の輝度成分に対する寄与度が低く、クロストーク成分として示す可能性が大きい。したがって、低い輝度加重値を用いて、このようなケースに該当する映像ピクセル値の輝度値を低くすることによりクロストーク成分を低減させ得る。反対に、Ｄ１とＤ２との間の差が大きい場合は、ディスプレイピクセルの光線方向が両眼のいずれか一方と近接する状態を示し、該当のディスプレイピクセルが出力する映像ピクセル値は、視聴者が見る３Ｄ映像の輝度成分に対する寄与度が大きい可能性が高い。このようなケースに該当する映像ピクセル値の輝度値は、高い輝度加重値を用いて本来の輝度値を保持するようにする。
【００７４】
輝度加重値適用部１０６０は、各ディスプレイピクセルに割り当てられた輝度加重値を各ディスプレイピクセルに割り当てられた映像ピクセル値に適用し、クロストーク成分の低減されたパネル映像を生成し得る。
【００７５】
図１１は、一実施形態に係る３Ｄ映像提供装置の構成を示す図である。図１１を参照すると、３Ｄ映像提供装置１１００は、目の位置検出器１１１０、プロセッサ１１２０、メモリ１１３０、及びディスプレイパネル１１４０を含む。
【００７６】
目の位置検出器１１１０は、視聴者の目の位置を検出する。目の危機検出器は３Ｄ映像提供装置１１００に備えられ、視聴者の視点をリアルタイムに追跡するカメラを含む。一実施形態に係る目の位置検出器１１１０は、カメラによって撮影された映像から視聴者の目に対応する特徴点を検出し、検出された特徴点の位置に基づいて視聴者の目の位置を決定する。例えば、目の位置検出器１１１０は、左眼の瞳孔に対応する特徴点の中心位置を左眼の位置として決定し、右眼の瞳孔に対応する特徴点の中心位置を右眼の位置として決定する。異なる例として、目の位置検出器１１１０は、視聴者の顔領域が示された映像から左眼及び右眼それぞれの位置を出力するよう学習されたニューラルネットワークを用いて左眼及び右眼の位置を決定してもよい。目の位置検出器１１１０が視聴者の目の位置を検出する方法は上記の例に限定されることなく、様々な方法を用いて視聴者の目の位置を検出し得る。目の位置検出器１１１０は、キャプチャーされた映像又は算出された目の位置をプロセッサ１１２０に送信する。
【００７７】
プロセッサ１１２０は、３Ｄ映像提供装置１１００を制御し、前述した図１〜図１０を参照して説明された動作を行ってもよい。例えば、プロセッサ１１２０は、図３〜図５を参照して説明した各ステップを行ってもよい。プロセッサ１１２０は、検出された目の位置によるパネル映像を生成する。プロセッサ１１２０は、視聴者の左眼又は右眼に互いに異なる視点映像が見えるよう、互いに異なる視点映像に基づいてパネル映像を構成し得る。ここで、プロセッサ１１２０は、各ディスプレイピクセルから出力される光線方向と視聴者の両眼の位置に基づいて各ディスプレイピクセルに割り当てられる輝度加重値を決定し、輝度加重値を映像ピクセル値に適用してクロストーク成分が低減されたパネル映像を生成し得る。
【００７８】
また、プロセッサ１１２０は、図１０を参照して説明した３Ｄ映像レンダリング装置の各構成要素の機能を行うことができる。一実施形態に係るプロセッサ１１２０は、単一プロセッサ、マルチプロセッサ、ハードウェア加速器（ｈａｒｄｗａｒｅ  ａｃｃｅｌｅｒａｔｏｒ；ＨＷＡ）、グラフィック処理ユニット（Ｇｒａｐｈｉｃ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＧＰＵ）、又はその組合せなどにより多様に構成し得る。
【００７９】
メモリ１１３０は、視点映像（例えば、左視点映像及び右視点映像のステレオ映像）、パネル映像、プロセッサ１１２０の動作のための命令、各種の関数、数式及び演算結果などのようなデータを格納し得る。また、メモリ１１３０は、該当のデータをプロセッサ１１２０に送信したり、その他に、メモリ１１３０に格納されたデータをプロセッサ１１２０に送信する。
【００８０】
ディスプレイパネル１１４０は、プロセッサ１１２０によって生成されたパネル映像を３Ｄ映像に変換して出力する。ディスプレイパネル１１４０は、２Ｄ形態のパネル映像を３Ｄ映像に変換させるための３Ｄ光学素子、例えば、パララックスバリア又はレンチキュラレンズを含む。
【００８１】
図１２は、一実施形態に係る３Ｄ映像提供方法を説明するフローチャートである。図１２を参照すると、ステップＳ１２１０において、３Ｄ映像提供装置は、視聴者の目の位置を検出する。３Ｄ映像提供装置は、３Ｄ映像提供装置の前面映像をカメラを用いて撮影し、撮影された映像を分析することで視聴者の目の位置を検出する。例えば、３Ｄ映像提供装置カメラによって撮影された映像内の目領域に関する特徴点を検出し、検出された特徴点の位置に基づいて視聴者の目の位置を決定する。
【００８２】
ステップＳ１２２０において、３Ｄ映像提供装置は、所定の輝度スケーリング値に基づいて、左視点映像の映像ピクセルの輝度範囲を調整し、右視点映像の映像ピクセルの輝度範囲を調整し、マージン領域を保持する。
【００８３】
ステップＳ１２３０において、３Ｄ映像提供装置は、ステップＳ５１０で予め定義されたクロストーク調整値に基づいて調整された輝度範囲に左視点映像及び右視点映像の映像ピクセルそれぞれの輝度値を調整する。
【００８４】
ステップＳ１２４０において、３Ｄ映像提供装置は、ステップ１２１０で検出された目の位置及びディスプレイピクセルの光線方向に基づいて、ディスプレイピクセルに対応する輝度加重値を決定する。例えば、ディスプレイピクセルの光線方向が左眼又は右眼の位置により近接している場合、３Ｄ映像提供装置は、ディスプレイピクセルによりも大きい輝度加重値を割り当てる。反対に、ディスプレイピクセルの光線方向が左眼又は銀右眼の位置からさらに遠い場合、又は、ディスプレイピクセルの光線方向が左眼及び右眼の中間位置により近接している場合、３Ｄ映像提供装置は、さらに低い輝度値をディスプレイピクセルに割り当てる。
【００８５】
ステップＳ１２５０において、３Ｄ映像提供装置は、ステップ１２４０で決定された輝度加重値をディスプレイピクセルに対応する映像ピクセル値に適用する。ディスプレイピクセルを介して出力される映像ピクセル値の輝度は、映像ピクセル値に適用される輝度加重値に基づいて調整され得る。例えば、１００％輝度加重値の場合に、映像ピクセル値は本来の輝度に出力され得る。
【００８６】
ステップＳ１２６０において、３Ｄ映像提供装置は、ディスプレイピクセルを介して輝度加重値が適用される映像ピクセルを出力する。上述したように、３Ｄ映像提供装置は、それぞれのディスプレイピクセルに対応する輝度加重値を決定し、減少されたクロストークコンポーネントで３Ｄ映像を出力する対応するディスプレイを用いて決定された輝度加重値が適用される映像ピクセルを出力し得る。
【００８７】
以上述した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ  ｌｏｇｉｃ  ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ  ｌｏｇｉｃ  ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ  ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが把握する。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ  ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。
【００８８】
ソフトウェアは、コンピュータプログラム、コード、命令、又はこのうちの１つ以上の組合せを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに連結されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは１つ以上のコンピュータ読み取り可能な記録媒体に格納される。
【００８９】
本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＹＩＪＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
【００９０】
上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順序で実行されるし、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられてもよいし、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。
【００９１】
したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。
【符号の説明】
【００９２】
１１０：３Ｄ映像提供装置
１２０：視聴者
【図１】
2019054513.tif 000003
【図２】
2019054513.tif 000004
【図３】
2019054513.tif 000005
【図４】
2019054513.tif 000006
【図５】
2019054513.tif 000007
【図６Ａ】
2019054513.tif 000008
【図６Ｂ】
2019054513.tif 000009
【図７】
2019054513.tif 000010
【図８Ａ】
2019054513.tif 000011
【図８Ｂ】
2019054513.tif 000012
【図９Ａ】
2019054513.tif 000013
【図９Ｂ】
2019054513.tif 000014
【図１０】
2019054513.tif 000015
【図１１】
2019054513.tif 000016
【図１２】
2019054513.tif 000017