(57)【要約】【課題】映像を表示する表示デバイスと視聴者との相対的な位置を考慮した、視聴者の光刺激に対する瞳孔径の変化を判定する判定装置を提供する。【解決手段】判定装置は、映像を表示する表示デバイスに対する視聴者の位置を示す位置情報に基づき、映像データの１つのフレームの中の各画素の重み係数を求め、当該フレームの各画素の輝度値を対応する重み係数で重み付けして、重み付けされた映像データを出力する重み付け手段と、前記重み付けされた映像データの１フレームの中の各画素の輝度値に基づき、当該フレームからの光刺激の強度を算出する算出手段と、光刺激の強度と瞳孔径との関係を示すモデルデータに基づき、前記算出手段が算出した前記フレームの光刺激の強度に対応する瞳孔径を判定する判定手段と、を備えている。【選択図】図１
2017029401.tif 000002
【特許請求の範囲】
【請求項１】
映像を表示する表示デバイスに対する視聴者の位置を示す位置情報に基づき、映像データの１つのフレームの中の各画素の重み係数を求め、当該フレームの各画素の輝度値を対応する重み係数で重み付けして、重み付けされた映像データを出力する重み付け手段と、
前記重み付けされた映像データの１フレームの中の各画素の輝度値に基づき、当該フレームからの光刺激の強度を算出する算出手段と、
光刺激の強度と瞳孔径との関係を示すモデルデータに基づき、前記算出手段が算出した前記フレームの光刺激の強度に対応する瞳孔径を判定する判定手段と、
を備えていることを特徴とする判定装置。
【請求項２】
前記重み付け手段は、前記位置情報に基づき、前記表示デバイス上の基準位置を判定し、画素の重み係数を、当該画素と基準位置との距離に基づき求めることを特徴とする請求項１に記載の判定装置。
【請求項３】
前記基準位置は、前記表示デバイスの水平方向の位置であり、
前記重み付け手段は、画素の重み係数を、当該画素と基準位置との水平方向の距離に基づき求めることを特徴とする請求項２に記載の判定装置。
【請求項４】
画素の重み係数は、当該画素と基準位置との距離が大きくなると小さくなることを特徴とする請求項２又は３に記載の判定装置。
【請求項５】
前記位置情報は、前記視聴者から前記表示デバイスに引いた垂線が前記表示デバイスと交わる位置を示す情報を含み、前記基準位置は、前記視聴者から前記表示デバイスに引いた垂線が前記表示デバイスと交わる位置であることを特徴とする請求項２から４のいずれか１項に記載の判定装置。
【請求項６】
前記位置情報は、前記表示デバイスの所定位置と、前記視聴者から前記表示デバイスに引いた垂線が前記表示デバイスと交わる位置との水平方向の距離を示す第１情報を含むことを特徴とする請求項２から４のいずれか１項に記載の判定装置。
【請求項７】
前記重み付け手段は、前記第１情報に基づき、前記視聴者から前記表示デバイスに引いた垂線が前記表示デバイスと交わる位置を前記基準位置と判定することを特徴とする請求項６に記載の判定装置。
【請求項８】
前記位置情報は、前記視聴者と前記表示デバイスとの距離を示す第２情報と、前記視聴者の視線方向を示す第３情報をさらに含むことを特徴とする請求項６に記載の判定装置。
【請求項９】
前記重み付け手段は、前記第１情報、前記第２情報及び前記第３情報に基づき前記視聴者から前記視聴者の視線方向に引いた線が前記表示デバイスと交わる位置を判定して前記基準位置とすることを特徴とする請求項８に記載の判定装置。
【請求項１０】
判定装置において光刺激に対する瞳孔径の変化を判定する判定方法であって、
映像を表示する表示デバイスに対する視聴者の位置を示す位置情報に基づき、映像データの１つのフレームの中の各画素の重み係数を求め、当該フレームの各画素の輝度値を対応する重み係数で重み付けして、重み付けされた映像データを出力する重み付けステップと、
前記重み付けされた映像データの１フレームの中の各画素の輝度値に基づき、当該フレームからの光刺激の強度を算出する算出ステップと、
光刺激の強度と瞳孔径との関係を示すモデルデータに基づき、前記算出された前記フレームの光刺激の強度に対応する瞳孔径を判定する判定ステップと、
を含むことを特徴とする判定方法。
【請求項１１】
請求項１から１０のいずれか１項に記載の判定装置としてコンピュータを機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像を視聴している視聴者の感情推定を瞳孔径に基づき行うために必要な、光刺激に対する瞳孔径の変化を判定する技術に関する。
【背景技術】
【０００２】
例えば、映像を視聴している視聴者の感情を推定する方法の１つとして、視聴者の瞳孔径の変化を利用する方法がある。なお、瞳孔径が変化する要因としては、心理変化に起因するものと、眼球に対する光刺激の強さに起因するものがある。したがって、瞳孔径の変化から視聴者の感情を推定するには、視聴者の瞳孔径の変化から、光刺激に起因する部分を排除しなければならない。このためにはまず、光刺激に対する瞳孔径の変化を判定する必要がある。
【０００３】
非特許文献１は、多数の被験者について、光刺激の強さと瞳孔径との関係を測定してモデルデータを作成し、このモデルデータにより光刺激に対する瞳孔径を推定する構成を開示している。また、特許文献１は、被験者の視野近傍に光源を複数の設置し、瞳孔反応に対して必要とされる光強度のスレッショルド（瞳孔スレショルド）を決定する構成を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表平１０−５０００３２号公報
【非特許文献】
【０００５】
【非特許文献１】浅野他，"輝度変化に対する瞳孔面積変化モデル"，電子情報通信学会論文誌Ａ  Ｖｏｌ．Ｊ７７−Ａ，Ｎｏ．５，ｐｐ．７９４−８０１，１９９４年５月
【発明の概要】
【発明が解決しようとする課題】
【０００６】
近年、映像サービスの高解像度化、大画面化が進んでいる。高い体感品質を得るための適切な視距離は、現在サービスが提供されているハイビジョン映像では、３．０Ｈ程度であるが、将来の４Ｋ及び８Ｋサービスでは、それぞれ１．５Ｈ及び０．７５Ｈとされている。ここで、視距離とは、ディスプレイの画面の高さ（垂直方向の長さ）を１としたときの、ディスプレイから視聴者までの距離である。この様に、将来の４Ｋ及び８Ｋサービスでは、従来よりも短い視距離で視聴されることが予想される。
【０００７】
一方、瞳孔径に影響を与える光は、視線方向を中心に１０〜２０度程度の範囲からのものが支配的である。したがって、短い視距離で視聴する場合において、画面全体からの光に基づき瞳孔径の変化を判定すると誤差が大きくなる。しかしながら、非特許文献１及び特許文献１に記載の構成においては視聴者の位置に対する考慮がなされていない。
【０００８】
本発明は、映像を表示する表示デバイスと視聴者との相対的な位置を考慮した、視聴者の光刺激に対する瞳孔径の変化を判定する判定装置、判定方法及びプログラムを提供するものである。
【課題を解決するための手段】
【０００９】
本発明の一側面によると、判定装置は、映像を表示する表示デバイスに対する視聴者の位置を示す位置情報に基づき、映像データの１つのフレームの中の各画素の重み係数を求め、当該フレームの各画素の輝度値を対応する重み係数で重み付けして、重み付けされた映像データを出力する重み付け手段と、前記重み付けされた映像データの１フレームの中の各画素の輝度値に基づき、当該フレームからの光刺激の強度を算出する算出手段と、光刺激の強度と瞳孔径との関係を示すモデルデータに基づき、前記算出手段が算出した前記フレームの光刺激の強度に対応する瞳孔径を判定する判定手段と、を備えていることを特徴とする。
【発明の効果】
【００１０】
映像を表示する表示デバイスと視聴者との相対的な位置を考慮した、視聴者の光刺激に対する瞳孔径の変化を判定することができる。
【図面の簡単な説明】
【００１１】
【図１】一実施形態による判定装置の構成図。
【図２】一実施形態による判定装置での処理の説明図。
【図３】一実施形態による判定装置での処理の説明図。
【図４】一実施形態による判定装置での処理の説明図。
【発明を実施するための形態】
【００１２】
以下、本発明の例示的な実施形態について図面を参照して説明する。なお、以下の実施形態は例示であり、本発明を実施形態の内容に限定するものではない。また、以下の各図においては、実施形態の説明に必要ではない構成要素については図から省略する。
【００１３】
＜第一実施形態＞
図１は、本実施形態による判定装置の構成図である。重み付け部１には、視聴者が視聴する映像データと、当該映像データによる映像を表示するディスプレイに対する視聴者の位置情報が入力される。なお、視聴者の位置情報の詳細については後述する。重み付け部１は、映像データの１フレームの各画素について、視聴者の位置情報に基づき重み係数を求め、各画素の輝度値に重み係数を乗じることで、重み付けされた映像データを出力する。具体的には、図２に示す様に、重み付け部１は、視聴者の位置情報に基づきディスプレイ４の表示面（画面）の基準位置５を求める。基準位置５は、ディスプレイ４の表示面における水平方向の位置である。そして、重み付け部１は、基準位置５との水平方向における距離がｄである画素６の重み係数を、
ｗ（ｄ）＝α×ｅ（β×ｄ）
として求める。なお、α及びβは所定の定数である。但し、αは正の値であり、βは負の値である。つまり、重み係数は、距離ｄが大きくなる程、小さくなる値である。
【００１４】
続いて、本実施形態における視聴者の位置情報について図３を用いて説明する。図３は、ディスプレイ４及び視聴者７を上から見た図である。なお、図３において、線８は、ディスプレイ４の水平方向の中心位置である。本実施形態においては、視聴者７の位置からディスプレイ４の表示面に垂直に引いた線のディスプレイ４上での水平方向の位置と、ディスプレイの中心８との水平方向の距離Ｌを位置情報とする。したがって、重み付け部１は、位置情報に基づき基準位置５を判定でき、各画素の重み係数を求めることができる。なお、位置情報は、ディスプレイ４の中心ではなく、水平方向におけるいずれかの端部からの水平方向の距離としても良い。さらには、位置情報は、視聴者７からディスプレイ４に向けて引いた垂線がディスプレイ４と交わる位置を示す情報、つまり、基準位置５を示す情報であっても良い。なお、ディスプレイ４の大きさ等の情報は予め重み付け部１に設定されているものとする。また、視聴者７の位置情報については、視聴者７が特定の場所にいることを前提に固定的な値とすることもできるが、例えば、ディスプレイ４にセンサを設けて測定する構成とすることができる。
【００１５】
変換部２は、重み付けされた映像データの１フレームの各画素の輝度値の平均値Ｐを求め、この平均値Ｐから、当該フレームでの光刺激の強さＣを以下の式により求める。
Ｃ＝ａ×ｅ（ｂ×Ｐ）
なお、ａ及びｂは所定の定数である。判定部３には、予め多数の被験者に対する測定により求めた光刺激の強さと瞳孔径との関係を示すモデルデータが保存されている。そして、判定部３は、入力された光刺激の強さＣとモデルデータに基づき、入力された光刺激に対する瞳孔径を出力する。上記処理を、映像データのフレーム毎に繰り返すことで、判定部３は、瞳孔径の値を時系列に沿って出力し、よって、瞳孔径の変化を判定することができる。なお、本実施形態による判定装置３が出力する、各フレームに対する瞳孔径は、視聴者の実際の瞳孔径を表すものではない。これは、モデルデータは、多数の被験者に対する測定により求めたものであって、多数の被験者の平均的な瞳孔径を出力するものであるが、個々の視聴者の瞳孔径を特定できるものではないからである。しかしながら、感情推定を行うには、光刺激に対する瞳孔径の変化を特定してその影響を排除できれば良く、個々のフレームに対する視聴者の実際の瞳孔径を特定できなくとも問題にはならない。
【００１６】
以上、本実施形態によると、ディスプレイ４に対する視聴者の位置に応じた瞳孔径の変化を判定することができる。
【００１７】
＜第二実施形態＞
続いて、第二実施形態について第一実施形態との相違点を中心に説明する。本実施形態においては、視聴者の位置情報として、図４に示す様に、第一実施形態の距離Ｌに加えて視聴者７のディスプレイ４からの距離Ｈと、視聴者７のディスプレイ４に対する視線方向９を示す情報を使用する。視線方向９は、例えば、図４に示す様に、視聴者からディスプレイ４への垂線を基準とした角度θで表すことができる。したがって、重み付け部１は、基準位置５が、ディスプレイ４の表示面の水平方向の中心から距離（Ｌ＋Ｈ×ｔａｎθ）だけ水平方向に離れた位置であると判定できる。その他の処理は第一実施形態と同様である。なお、本実施形態において、視聴者７の視線方向は、例えば、視聴者７に眼球運動測定器などを取り付けることで取得する構成とすることができる。
【００１８】
なお、本発明による判定装置は、コンピュータを上記判定装置として動作させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。
【符号の説明】
【００１９】
１：重み付け部、２：変換部、３：判定部
【図１】
2017029401.tif 000003
【図２】
2017029401.tif 000004
【図３】
2017029401.tif 000005
【図４】
2017029401.tif 000006