(57)【要約】【課題】精度良く瞳孔領域を特定する特定装置を提供する。【解決手段】特定装置は、画像データが示す画像内の人の目を含む領域を検出する検出手段と、前記領域の画素それぞれについて、画素の色を示す情報から、指定された成分の値を判定する判定手段と、前記領域の画素それぞれについて、前記判定手段が判定した値を閾値と比較する比較手段と、前記比較手段による比較結果から前記人の目の瞳孔領域を特定する特定手段と、を備えている。【選択図】図１
2017051241.tif 000002
【特許請求の範囲】
【請求項１】
画像データが示す画像内の人の目を含む領域を検出する検出手段と、
前記領域の画素それぞれについて、画素の色を示す情報から、指定された成分の値を判定する判定手段と、
前記領域の画素それぞれについて、前記判定手段が判定した値を閾値と比較する比較手段と、
前記比較手段による比較結果から前記人の目の瞳孔領域を特定する特定手段と、
を備えていることを特徴とする瞳孔領域の特定装置。
【請求項２】
前記指定された成分は、赤、緑又は青の成分であることを特徴とする請求項１に記載の特定装置。
【請求項３】
前記指定された成分は、色差成分であることを特徴とする請求項１に記載の特定装置。
【請求項４】
前記指定された成分は、２つ以上の成分を含み、
前記判定手段は、前記２つ以上の成分の値をそれぞれ判定し、
前記比較手段は、前記２つ以上の成分それぞれについて、前記判定手段が判定した値と対応する閾値とを比較し、
前記特定手段は、前記２つ以上の成分それぞれについて前記人の目の瞳孔領域を特定し、前記２つ以上の成分それぞれについて特定した瞳孔領域の重複領域、又は、前記２つ以上の成分それぞれについて特定した瞳孔領域を合わせた領域を、前記人の目の瞳孔領域とすることを特徴とする請求項１に記載の特定装置。
【請求項５】
前記２つ以上の成分は、少なくとも赤、緑又は青の成分を含むことを特徴とする請求項４に記載の特定装置。
【請求項６】
前記２つ以上の成分は、少なくとも色差成分を含むことを特徴とする請求項４に記載の特定装置。
【請求項７】
前記領域の画素の前記指定された成分の値から前記閾値を決定する閾値決定手段をさらに備えていることを特徴とする請求項１から６のいずれか１項に記載の特定装置。
【請求項８】
前記領域の画素の内、瞳孔又は虹彩に対応する画素を判定し、前記瞳孔又は前記虹彩に対応する画素の前記指定された成分の値からから前記閾値を決定する閾値決定手段をさらに備えていることを特徴とする請求項１から６のいずれか１項に記載の特定装置。
【請求項９】
前記検出手段が検出した領域の解像度を増加させる処理を行う処理手段をさらに備えていることを特徴とする請求項１から８のいずれか１項に記載の特定装置。
【請求項１０】
画像データが示す画像内の人の目を含む領域を検出する検出ステップと、
前記領域の画素それぞれについて、画素の色を示す情報から、指定された成分の値を判定する判定ステップと、
前記領域の画素それぞれについて、前記判定ステップで判定した値を閾値と比較する比較ステップと、
前記比較ステップでの比較結果から前記人の目の瞳孔領域を特定する特定ステップと、
を備えていることを特徴とする瞳孔領域の特定方法。
【請求項１１】
請求項１から１０のいずれか１項に記載の特定装置としてコンピュータを機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像内の人物の瞳孔領域を特定する瞳孔特定技術に関する。
【背景技術】
【０００２】
例えば、視覚刺激に対する人の感情を推定する方法の１つとして、当該人の瞳孔径の変化を利用する方法がある。特許文献１は、高精度に瞳孔径を測定する装置を開示している。しかしながら、特許文献１に記載の構成は、被測定者に対する拘束性が強く、かつ、測定するための装置が複雑であり高価となる。一方、非特許文献１は、Ｗｅｂカメラで取得した画像データから、画像内の人の瞳孔径を特定する構成を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−７９３７４号公報
【非特許文献】
【０００４】
【非特許文献１】"Ｐｕｐｉｌ  ｄｅｔｅｃｔｉｏｎ  ｆｒｏｍ  ａｎ  ｅｙｅ  ｉｍａｇｅ"，［ｏｎｌｉｎｅ］，［平成２７年８月２５日検索］，インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｏｐｅｎｃｖ−ｃｏｄｅ.ｃｏｍ／ｔｕｔｏｒｉａｌｓ／ｐｕｐｉｌ−ｄｅｔｅｃｔｉｏｎ−ｆｒｏｍ−ａｎ−ｅｙｅ−ｉｍａｇｅ／＞
【発明の概要】
【発明が解決しようとする課題】
【０００５】
非特許文献１に記載の方法は、画像データから、当該画像データが示す画像内の人の目を含む矩形領域を検出し、当該矩形領域内の画素の輝度値が閾値以上であるか否かにより矩形領域内の画素を２値化し、これにより瞳孔領域を特定するというものである。矩形領域には、一般的に、瞳孔、虹彩、強膜（白目部分）及び肌が含まれるが、瞳孔はその他の領域より暗いため、閾値を適切に設定することで瞳孔領域を特定することができる。しかしながら、瞳孔領域をより精度良く特定することが望まれている。
【０００６】
本発明は、精度良く瞳孔領域を特定する特定装置、特定方法及びプログラムを提供するものである。
【課題を解決するための手段】
【０００７】
本発明の一側面によると、特定装置は、画像データが示す画像内の人の目を含む領域を検出する検出手段と、前記領域の画素それぞれについて、画素の色を示す情報から、指定された成分の値を判定する判定手段と、前記領域の画素それぞれについて、前記判定手段が判定した値を閾値と比較する比較手段と、前記比較手段による比較結果から前記人の目の瞳孔領域を特定する特定手段と、を備えていることを特徴とする。
【発明の効果】
【０００８】
本発明によると、精度良く瞳孔領域を特定することができる。
【図面の簡単な説明】
【０００９】
【図１】一実施形態による特定装置の構成図。
【図２】瞳孔領域と虹彩領域の輝度成分と赤色成分を示す図。
【図３】一実施形態による特定装置の構成図。
【図４】一実施形態による特定装置の構成図。
【発明を実施するための形態】
【００１０】
以下、本発明の例示的な実施形態について図面を参照して説明する。なお、以下の実施形態は例示であり、本発明を実施形態の内容に限定するものではない。また、以下の各図においては、実施形態の説明に必要ではない構成要素については図から省略する。
【００１１】
＜第一実施形態＞
図１は、本実施形態による特定装置の構成図である。目領域検出部１は、入力される画像データが示す画像の各フレームについて、フレーム内の人の目を含む矩形領域を判定する。なお、本実施形態において画像データは動画像データであるものとするが、静止画像データであっても良い。また、目を含む矩形領域の判定には公知の顔認識技術を使用することができる。解像度処理部２は、超解像技術を適用して矩形領域の解像度を高くする。なお、画像データそのものの解像度が高い場合には解像度処理部２を省略することもできる。色成分判定部３には、ユーザが指定する色成分を示す指定情報が入力され、色成分判定部３は、矩形領域内の各画素の色を示す情報から、指定情報で指定された色成分の値を判定して出力する。二値化部４には、ユーザが指定する閾値を示す閾値情報が入力され、二値化部４は、矩形領域内の各画素について、色成分判定部３が出力する、指定情報で指定された色成分の値が、閾値情報で指定された閾値より大きいか否かを判定し、矩形領域内の各画素の二値化情報を出力する。具体的には、画素の色成分の値が閾値より大きいと、二値化部４は、当該画素について"１"を出力し、画素の色成分の値が閾値以下であると、二値化部４は、当該画素について"０"を出力する。特定部５は、二値化部４が出力する矩形領域内の画素の値により瞳孔領域を特定する。
【００１２】
虹彩の色は、濃褐色、琥珀色、緑色、青色等、人によって様々である。青色等の輝度の高い虹彩であると、輝度に基づき閾値判定することで瞳孔領域を特定できるが、濃褐色等の輝度の低い虹彩の場合には、輝度に基づく閾値判定では精度良く瞳孔領域を特定できない。さらに、感情推定のために被験者に測定していることをあまり意識させない様にするには、被験者の目に対して光を当てて測定することは好ましくなく、よって、その場合には、青色等の輝度の高い虹彩であっても瞳孔領域の判定が難しくなる。図２（Ａ）及び（Ｂ）は、濃褐色の虹彩を持つ人の瞳孔及び虹彩に対応する各画素の輝度成分の値及び赤色成分の値の平均値を示している。なお、図２（Ａ）及び（Ｂ）の測定は、二人の被験者の目に照明を当てて撮影した画像についての値である。図２（Ａ）及び（Ｂ）から、例えば、濃褐色の虹彩の場合には、輝度成分の値より、赤色成分の値の方が、瞳孔と虹彩の値の差が大きく、よって、輝度成分より赤色成分の値を使用する方が瞳孔領域の特定に有利であることが分かる。
【００１３】
以上、本実施形態では、指定情報により瞳孔領域を特定するために使用する色成分を指定情報で指定する。指定する色成分は、例えば、赤色、青色、緑色のいずれかとすることができる。例えば、上述した様に、濃褐色の虹彩を持つ人である場合には、赤色（Ｒ）成分を指定情報で指定することで精度良く瞳孔領域を特定することができる。また、青色の虹彩を持つ人である場合には、青色（Ｂ）成分を指定情報で指定することで精度良く瞳孔領域を特定することができる。また、緑色（Ｇ）の虹彩を持つ人である場合には、緑色成分を指定情報で指定することで精度良く瞳孔領域を特定することができる。また、所謂、ＲＧＢのいずれかの色成分で指定するのではなく、例えば、ＹＵＶのＵ又はＶといった色差成分を指定情報で指定する構成であっても良い。また、特定部５は、特定した瞳孔領域から瞳孔の大きさを判定することができる。この処理を動画像の各フレームに対して行うことで瞳孔径の変化を判定することができ、これにより、視覚刺激に対する人の感情を推定することができる。
【００１４】
＜第二実施形態＞
続いて、第二実施形態について第一実施形態との相違点を中心に説明する。図３は、本実施形態による特定装置の構成図である。本実施形態では、指定情報として２つの成分を指定する。例えば、Ｒ（赤）及びＧ（緑）の２つの成分を指定する構成とすることができる。また、例えば、Ｒ（赤）及びＹ（輝度成分）の２つの成分を指定することができる。色成分判定部３は、目を含む矩形領域内の各画素について、指定情報で指定された各成分の値を、対応する二値化部に出力する。例えば、指定情報でＲとＧの２つの成分が指定されたとすると、色成分判定部３は、Ｒ成分を二値化部４１に出力し、Ｇ成分を二値化部４２に出力する。また、ユーザは、指定情報で指定した成分毎の閾値を閾値情報で指定する。つまり、二値化部４１はＲ成分の閾値を閾値情報として受け取り、二値化部４２はＧ成分の閾値を閾値情報として受け取る。二値化部４１及び二値化部４２は、閾値に基づき矩形領域内の各画素の二値化情報を特定部５に出力し、特定部５は、二値化部４１及び二値化部４２が出力する矩形領域内の画素の値により瞳孔領域を特定する。
【００１５】
例えば、特定部５は、二値化部４１が出力する二値化情報で特定される瞳孔領域と、二値化部４２が出力する二値化情報で特定される瞳孔領域の重複部分、つまり、二値化部４１及び４２が出力する二値化情報の論理積（ＡＮＤ）により特定され領域を瞳孔領域と判定することができる。或いは、特定部５は、二値化部４１が出力する二値化情報で特定される瞳孔領域と、二値化部４２が出力する二値化情報で特定される瞳孔領域を合わせた部分、つまり、二値化部４１及び４２が出力する二値化情報の論理和（ＯＲ）により特定され領域を瞳孔領域と判定することができる。例えば、瞳孔周辺に瞼による影が生じると、瞳孔領域の特定精度が劣化する。この場合、例えば、論理積により瞳孔領域を特定することで瞳孔領域の特定精度を向上させることができる。一方、角膜反射等により瞳孔境界付近が明るくなると、１つの成分の二値化情報では瞳孔である部分が瞳孔ではないと判定され得る。この場合、論理和により瞳孔領域を特定することで瞳孔領域の特定精度を向上させることができる。また、特定部５は、二値化部４１が出力する二値化情報で特定される瞳孔領域と、二値化部４２が出力する二値化情報で特定される瞳孔領域の平均領域を瞳孔領域と特定することもできる。
【００１６】
以上、本実施形態では、２つの成分を指定して瞳孔領域を判定する。これにより、瞳孔領域の特定精度を向上させることができる。このとき、少なくとも１つの成分については、第一実施形態にて述べた様に、ＲＧＢのいずれか、或いは、色差成分とする。なお、２つ以上の成分を指定する形態とすることもできる。
【００１７】
＜第三実施形態＞
続いて、第三実施形態について第一実施形態との相違点を中心に説明する。図４は、本実施形態による特定装置の構成図である。本実施形態では、ユーザが閾値を指定するのではなく、二値化部４が閾値を適応的に設定する。例えば、二値化部４は、入力される矩形領域内の全画素の指定情報で指定された成分の値の平均値を求めこれをＭとする。そして、閾値ＴｂをＴｂ＝α×Ｍ＋βにより求める。また、二値化部４は、入力される矩形領域内の画素の指定情報で指定された成分の値と所定の閾値を比較することで、まず、虹彩又は瞳孔に対応する画素を求める。なお、虹彩の周囲は、所謂、強膜（白目部分）であり、虹彩と強膜との境界は比較的容易に判定することができる。したがって、虹彩又は虹彩の内側の領域である瞳孔に対応する画素は比較的容易に判定することができる。そして、二値化処理部は、虹彩及び瞳孔に対応する全画素の指定情報で指定された成分の値の平均値を求めこれをＭとし、閾値ＴｂをＴｂ＝α×Ｍ＋βにより求めることもできる。なお、α及びβは所定の定数である。
【００１８】
以上、本実施形態では、二値化処理における閾値そのものを画像データから求める。これにより、ユーザが指定する閾値よりも適切な閾値を設定でき、よって、瞳孔領域の特定精度を向上させることができる。なお、本実施形態においても第二実施形態と同様に、複数の成分の値により瞳孔領域を特定することもできる。
【００１９】
なお、本発明による特定装置は、コンピュータを上記特定装置として動作させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。
【符号の説明】
【００２０】
３：色成分判定部、４：二値化部、５：判定部
【図１】
2017051241.tif 000003
【図２】
2017051241.tif 000004
【図３】
2017051241.tif 000005
【図４】
2017051241.tif 000006