(57)【要約】      （修正有）【課題】瞳孔を精度よく検出できる瞳孔検出装置及び瞳孔検出方法を提供する。【解決手段】瞳孔検出装置は、明瞳孔画像及び暗瞳孔画像から差分画像を生成する差分画像生成部２３と、差分画像を二値化した二値画像を生成する二値画像生成部２４と、暗瞳孔画像及び二値画像に基づいて、瞳孔を検出する瞳孔検出部２５と、を備える。【選択図】図２
2019111097.tif 000002
【特許請求の範囲】
【請求項１】
明瞳孔画像及び暗瞳孔画像から差分画像を生成する差分画像生成部と、
前記差分画像を二値化した二値画像を生成する二値画像生成部と、
前記暗瞳孔画像及び前記二値画像に基づいて、瞳孔を検出する瞳孔検出部と、
を備える瞳孔検出装置。
【請求項２】
前記瞳孔検出部は、前記二値画像に含まれる白画素の中から、前記暗瞳孔画像における輝度が第１閾値未満の複数の画素を候補画素として選択し、複数の前記候補画素の中から、前回検出された前記瞳孔との距離に基づいて、瞳孔画素を選択し、前記瞳孔画素に基づいて、前記瞳孔を検出する
請求項１に記載の瞳孔検出装置。
【請求項３】
前記瞳孔検出部は、前記二値画像に含まれる白画素の中から、前記暗瞳孔画像における輝度が小さい順に複数の画素を候補画素として選択し、複数の前記候補画素の中から、前回検出された瞳孔との距離に基づいて、瞳孔画素を選択し、前記瞳孔画素に基づいて、前記瞳孔を検出する
請求項１に記載の瞳孔検出装置。
【請求項４】
前記瞳孔検出部は、複数の前記候補画素の中から１つを第１選択候補画素として選択し、前記第１選択候補画素と前回検出された前記瞳孔との間の距離が第２閾値以上である場合、複数の前記候補画素から前記第１選択候補画素を除外する
請求項２又は請求項３に記載の瞳孔検出装置。
【請求項５】
前記瞳孔検出部は、複数の前記候補画素の中から１つを第２選択候補画素として選択し、前記第２選択候補画素と他の複数の前記候補画素との間の平均距離が第３閾値以上である場合、複数の前記候補画素から前記第２選択候補画素を除外する
請求項２から請求項４までのいずれか１項に記載の瞳孔検出装置。
【請求項６】
前記瞳孔検出部は、複数の前記候補画素の中から１つを第３選択候補画素として選択し、前記第３選択候補画素と他の複数の前記候補画素との間の平均距離が最小となる前記第３選択候補画素を、前記瞳孔画素として選択する
請求項２から請求項５までのいずれか１項に記載の瞳孔検出装置。
【請求項７】
前記暗瞳孔画像の各ラインの平均輝度を均一化する輝度補正部を更に備え、
前記瞳孔検出部は、輝度を補正された前記暗瞳孔画像と、前記二値画像と、に基づいて、前記瞳孔を検出する
請求項１から請求項６までのいずれか１項に記載の瞳孔検出装置。
【請求項８】
明瞳孔画像及び暗瞳孔画像から差分画像を生成する工程と、
前記差分画像を二値化した二値画像を生成する工程と、
前記暗瞳孔画像及び前記二値画像に基づいて、瞳孔を検出する工程と、
を含む瞳孔検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、瞳孔検出装置及び瞳孔検出方法に関する。
【背景技術】
【０００２】
従来、対象者の顔画像から瞳孔を検出する方法として、明瞳孔画像と暗瞳孔画像との差分画像を二値化した二値画像を利用する方法が知られている。理想的な二値画像では、対象者の瞳孔だけが白く表示されるため、瞳孔を容易に検出することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２５４６９１号公報
【特許文献２】特開２０１４−５２８１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、実際には、明瞳孔画像及び暗瞳孔画像の撮影時における、光源の位置や眼の表面状態の違いにより、二値画像に角膜反射像（プルキニエ像）などのノイズ（瞳孔以外で白く表示された部分）が含まれることがある。二値画像に含まれるノイズは、誤検出の原因となる。特に、撮影環境が明るい場合、瞳孔が収縮し、その輝度も低下するため、瞳孔とノイズとの区別が困難になり、誤検出が発生しやすくなる。
【０００５】
本発明は、上記の課題に鑑みてなされたものであり、瞳孔を精度よく検出することを目的とする。
【課題を解決するための手段】
【０００６】
一実施形態に係る瞳孔検出装置は、明瞳孔画像及び暗瞳孔画像から差分画像を生成する差分画像生成部と、前記差分画像を二値化した二値画像を生成する二値画像生成部と、前記暗瞳孔画像及び前記二値画像に基づいて、瞳孔を検出する瞳孔検出部と、
を備える。
【発明の効果】
【０００７】
本発明の各実施形態によれば、瞳孔を精度よく検出できる。
【図面の簡単な説明】
【０００８】
【図１】瞳孔検出装置のハードウェア構成の一例を示す図。
【図２】瞳孔検出装置の機能構成の一例を示す図。
【図３】顔画像の一例を示す図。
【図４】瞳孔検出装置が実行する処理の一例を示すフローチャート。
【図５】瞳孔検出装置が実行する処理の各工程で生成される画像の一例を示す図。
【図６】瞳孔検出部が実行する瞳孔検出処理の一例を示すフローチャート。
【図７】瞳孔検出処理の具体例を示す図。
【発明を実施するための形態】
【０００９】
以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重畳した説明を省略する。
【００１０】
一実施形態に係る瞳孔検出装置１００について、図１〜図７を参照して説明する。本実施形態に係る瞳孔検出装置１００は、顔画像から瞳孔Ｐを検出する装置である。瞳孔検出装置１００は、例えば、顔画像から視線を検出する視線検出装置に搭載される。視線検出装置は、瞳孔検出装置１００が検出した瞳孔Ｐに基づいて、視線を検出することができる。
【００１１】
まず、瞳孔検出装置１００のハードウェア構成について説明する。図１は、瞳孔検出装置１００のハードウェア構成の一例を示す図である。図１の瞳孔検出装置１００は、撮影装置１と、制御装置２と、を備える。
【００１２】
撮影装置１は、対象者の顔を撮影し、顔画像を取得する装置であり、制御装置２に接続される。撮影装置１は、対象者の顔を撮影可能な位置に配置される。図１の撮影装置１は、撮影部１１Ｌ，１１Ｒと、複数の光源１２Ｌ，１２Ｒと、を備える。
【００１３】
撮影部１１Ｌは、対象者の顔を撮影するカメラであり、図１における撮影装置１の左側に配置される。撮影部１１Ｒは、対象者の顔を撮影するカメラであり、図１における撮影装置１の右側に配置される。以下、撮影部１１Ｌ，１１Ｒを区別しない場合、撮影部１１と称する。
【００１４】
光源１２Ｌは、対象者の顔を撮影する際に、対象者の顔に所定のタイミングで光を照射する光源であり、撮影部１１Ｌの近傍に複数配置される。光源１２Ｒは、対象者の顔を撮影する際に、対象者の顔に所定のタイミングで光を照射する光源であり、撮影部１１Ｒの近傍に複数配置される。光源１２Ｌ，１２Ｒは、例えば、近赤外光を照射するＬＥＤ（Light Emitting Diode）であるが、これに限られない。以下、光源１２Ｌ，１２Ｒを区別しない場合、光源１２と称する。
【００１５】
なお、図１の例では、撮影装置１は、２つの撮影部１１を備えるが、１つ又は３つの撮影装置１を備えてもよい。撮影部１１が１つの場合、撮影装置１は、撮影部１１に対して略同軸の光源１２と非同軸の光源１２とをそれぞれ備えれば良い。また、図１の例では、撮影装置１は、それぞれ４つの光源１２Ｌ，１２Ｒを備えるが、光源１２Ｌ，１２Ｒの数は任意に設計可能である。
【００１６】
制御装置２は、撮影装置１を制御する装置であり、撮影装置１に接続される。具体的には、制御装置２は、撮影部１１による撮影及び光源１２の発光を制御する。また、制御装置２は、撮影装置１により取得された顔画像に基づいて、対象者の瞳孔Ｐを検出する。図１の制御装置２は、ＣＰＵ（Central Processing Unit）２０１と、ＲＯＭ（Read Only Memory）２０２と、ＲＡＭ（Random Access Memory）２０３と、ＨＤＤ（Hard Disk Drive）２０４と、入力装置２０５と、表示装置２０６と、を備える。また、制御装置２は、接続インタフェース２０７と、通信インタフェース２０８と、バス２０９と、を備える。
【００１７】
ＣＰＵ２０１は、プログラムを実行することにより、制御装置２の各ハードウェア構成を制御し、瞳孔検出装置１００の機能を実現する。
【００１８】
ＲＯＭ２０２は、ＣＰＵ２０１が実行するプログラムや各種のデータを記憶する。
【００１９】
ＲＡＭ２０３は、ＣＰＵ２０１に作業領域を提供する。
【００２０】
ＨＤＤ２０４は、ＣＰＵ２０１が実行するプログラムや各種のデータを記憶する。
【００２１】
入力装置２０５は、対象者を含むユーザの操作に応じた情報を制御装置２に入力する。入力装置２０５は、例えば、タッチパネル、キーボード、マウス、ハードウェアボタンなどである。
【００２２】
表示装置２０６は、ユーザの操作に応じた画面を表示する。表示装置２０６は、例えば、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイなどである。
【００２３】
接続インタフェース２０７は、制御装置２を撮影装置１に接続するためのインタフェースである。制御装置２は、接続インタフェース２０７を介して、撮影装置１を制御し、撮影装置１から顔画像（画像データ）を取得する。
【００２４】
通信インタフェース２０８は、制御装置２をインターネットやＬＡＮ（Local Area Network）などのネットワークに接続するためのインタフェースである。制御装置２は、通信インタフェース２０８を介して、ネットワーク上の外部装置と通信する。
【００２５】
バス２０９は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ＨＤＤ２０４、入力装置２０５、表示装置２０６、接続インタフェース２０７、及び通信インタフェース２０８を相互に接続する。
【００２６】
なお、図１の例では、制御装置２がＰＣ（Personal Computer）、サーバ、タブレット端末、及びスマートフォンなどのコンピュータにより構成される場合を想定している。しかしながら、制御装置２は、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specified Integrated Circuit）などのＩＣにより構成されてもよい。この場合、制御装置２は、ＨＤＤ２０４、入力装置２０５、及び表示装置２０６を備えない。
【００２７】
また、図１の例では、瞳孔検出装置１００は、撮影装置１を備えるが、撮影装置１を備えない構成も可能である。この場合、図１の制御装置２が瞳孔検出装置１００に相当する。瞳孔検出装置１００は、ネットワークや記憶媒体を介して、後述する明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤを取得すればよい。
【００２８】
次に、瞳孔検出装置１００の機能構成について説明する。図２は、瞳孔検出装置１００の機能構成の一例を示す図である。図２の瞳孔検出装置１００は、顔画像取得部２１と、輝度補正部２２と、差分画像生成部２３と、二値画像生成部２４と、瞳孔検出部２５と、を備える。これらの各機能構成は、制御装置２のＣＰＵ２０１がプログラムを実行し、瞳孔検出装置１００の各ハードウェア構成と協働することにより実現される。
【００２９】
顔画像取得部２１は、撮影装置１に対象者の顔を所定の撮影間隔で撮影させ、対象者の顔画像を取得する。撮影間隔は、例えば、１ｍｓｅｃ以上１００ｍｓｅｃ以下である。顔画像取得部２１は、顔画像として、明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤを取得する。
【００３０】
明瞳孔画像ＩｍＬは、対象者の瞳孔Ｐが明るく撮影された顔画像である。明瞳孔画像ＩｍＬは、光源１２から対象者の顔に光を照射した状態で、当該光源１２と略同軸の撮影部１１により対象者の顔を撮影することにより取得される。このように撮影することにより、光源１２からの光が、対象者の網膜により、撮影部１１の方向に反射するため、対象者の瞳孔Ｐが明るく撮影される。図１の撮影装置１では、光源１２Ｌから対象者の顔に光を照射した状態で、撮影部１１Ｌにより対象者の顔を撮影することにより、明瞳孔画像ＩｍＬが取得される。また、光源１２Ｒから対象者の顔に光を照射した状態で、撮影部１１Ｒにより対象者の顔を撮影することにより、明瞳孔画像ＩｍＬが取得される。
【００３１】
暗瞳孔画像ＩｍＤは、対象者の瞳孔Ｐが、明瞳孔画像ＩｍＬに比べて暗く撮影された顔画像である。暗瞳孔画像ＩｍＤは、光源１２から対象者の顔に光を照射した状態で、当該光源１２と非同軸の撮影部１１により対象者の顔を撮影することにより取得される。このように撮影することにより、光源１２からの光が、対象者の網膜により、撮影部１１とは異なる方向に反射するため、対象者の瞳孔Ｐが暗く撮影される。図１の撮影装置１では、光源１２Ｌから対象者の顔に光を照射した状態で、撮影部１１Ｒにより対象者の顔を撮影することにより、暗瞳孔画像ＩｍＤが取得される。また、光源１２Ｒから対象者の顔に光を照射した状態で、撮影部１１Ｌにより対象者の顔を撮影することにより、暗瞳孔画像ＩｍＤが取得される。
【００３２】
図３は、顔画像の一例を示す図である。図３（Ａ）は、明瞳孔画像ＩｍＬを示し、図３（Ｂ）は、暗瞳孔画像ＩｍＤを示している。図３に示すように、明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤの全体的な輝度（明るさ）は、略同様である。これに対して、明瞳孔画像ＩｍＬの瞳孔Ｐは、暗瞳孔画像ＩｍＤの瞳孔Ｐより輝度が大きい（明るい）。また、明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤの瞳孔Ｐの周囲には、輝度が略同様の角膜反射像Ｃがそれぞれ形成される。また、明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤにおける背景部分ＢＧ（対象者の顔の外側部分）は、対象者の顔より輝度が小さくなる。これは、背景部分ＢＧが対象者の顔より撮影部１１から遠いためである。顔画像取得部２１は、撮影装置１を制御することにより、図３の例のような明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤを取得する。以下、明瞳孔画像ＩｍＬの瞳孔Ｐを瞳孔ＰＬ、暗瞳孔画像ＩｍＤの瞳孔Ｐを瞳孔ＰＤと称し、これらを区別しない場合に、単に瞳孔Ｐと称する。また、明瞳孔画像ＩｍＬの角膜反射像Ｃを角膜反射像ＣＬ、暗瞳孔画像ＩｍＤの角膜反射像Ｃを角膜反射像ＣＤと称し、これらを区別しない場合に、単に角膜反射像Ｃと称する。
【００３３】
輝度補正部２２は、暗瞳孔画像ＩｍＤの輝度を補正し、暗瞳孔画像ＩｍＤにおける、顔の上下方向と平行な方向に延びる各ラインの平均輝度を均一化する。具体的には、輝度補正部２２は、各ラインの平均輝度γが所定の目標輝度αになるように、各ラインに含まれる各画素の輝度に係数βを乗算する。あるラインに対応する係数β（すなわち、あるラインに含まれる画素の輝度に乗算される係数β）は、目標輝度αを、当該ラインの平均輝度γで除算した値となる（β＝α／γ）。輝度補正部２２により輝度を補正された暗瞳孔画像ＩｍＤは、後述する二値画像ＩｍＢと共に、瞳孔Ｐの検出に利用される。
【００３４】
差分画像生成部２３は、明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤから差分画像ＩｍＳを生成する。差分画像生成部２３は、明瞳孔画像ＩｍＬの各画素の輝度から、暗瞳孔画像ＩｍＤの対応する各画素の輝度を減算することにより、差分画像ＩｍＳを生成する。明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤにノイズが含まれる場合、差分画像ＩｍＳは、瞳孔Ｐ及びノイズの輝度が大きく、他の部分の輝度が小さい画像となる。ここでいうノイズとは、顔画像の瞳孔Ｐの周囲に存在する輝点（周囲に対して相対的に輝度が大きい部分）である。ノイズは、角膜反射像Ｃを含むが、これに限られない。
【００３５】
瞳孔Ｐの周囲の輝点は、顔画像の撮影時に照射される、光源１２や外部光源からの光を、眼の表面が反射することにより形成される。上述の通り、明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤの撮影時に光を照射する光源１２の位置は異なる。また、明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤは撮影タイミングが異なるため、撮影時に光を照射する外部光源の位置が変化する。このため、明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤの輝点は、互いに異なる位置に形成される。
【００３６】
異なる位置に輝点が形成された明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤから差分画像ＩｍＳを生成し、当該差分画像ＩｍＳから二値画像ＩｍＢを生成すると、当該二値画像ＩｍＢにおいて、瞳孔Ｐだけでなく、輝点に対応する部分も白く表示されるおそれがある。輝点に対応する部分が白く表示されると、二値画像ＩｍＢにおける白部分（白く表示された部分）のうち、どの白部分が瞳孔Ｐであるかわかりにくくなり、瞳孔Ｐとして誤って輝点が検出されるおそれがある。このように、輝点は、瞳孔Ｐの誤検出を引き起こすノイズとなる。
【００３７】
二値画像生成部２４は、差分画像ＩｍＳを二値化することにより、差分画像ＩｍＳから二値画像ＩｍＢを生成する。二値画像ＩｍＢは、白画素（輝度が最大の画素）と、黒画素（輝度が最小の画素）と、からなる画像である。二値画像生成部２４は、差分画像ＩｍＳの各画素を、輝度が閾値以上の場合に白画素とし、輝度が閾値未満の場合に黒画素とすることにより、二値画像ＩｍＢを生成する。明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤにノイズが含まれる場合、二値画像ＩｍＢは、瞳孔Ｐ及びノイズが白く（白画素により）表示され、他の部分が黒く（黒画素により）表示された画像となる。
【００３８】
瞳孔検出部２５は、輝度を補正された暗瞳孔画像ＩｍＤと、二値画像ＩｍＢと、に基づいて、瞳孔Ｐを検出する。瞳孔Ｐを検出するとは、瞳孔Ｐの座標を検出することに相当する。瞳孔検出部２５による瞳孔検出方法については後述する。
【００３９】
次に、瞳孔検出装置１００が実行する処理について説明する。図４は、瞳孔検出装置１００が実行する処理の一例を示すフローチャートである。瞳孔検出装置１００は、図４の処理を、所定時間毎に実行する。以下では、瞳孔検出装置１００が対象者の左眼の瞳孔Ｐを検出する場合を例に説明するが、右眼の瞳孔Ｐも同様の方法で検出することができる。
【００４０】
図４に示すように、まず、顔画像取得部２１が、撮影装置１に所定の撮影間隔で対象者の顔を撮影させ、撮影装置１から明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤを取得する（ステップＳ１０１）。顔画像取得部２１は、取得した明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤを差分画像生成部２３に渡す。また、顔画像取得部２１は、取得した明瞳孔画像ＩｍＤを輝度補正部２２に渡す。
【００４１】
差分画像生成部２３は、明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤを受け取ると、受け取った明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤから、それぞれ対象者の左眼を検出する（ステップＳ１０２）。差分画像生成部２３は、既存の任意の方法を利用して、左眼を検出することができる。
【００４２】
次に、差分画像生成部２３は、明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤから、それぞれ左眼を含む部分を抽出する（ステップＳ１０３）。明瞳孔画像ＩｍＬから抽出した部分を部分画像ｉｍｌ、暗瞳孔画像ＩｍＤから抽出した部分を部分画像ｉｍｄと称する。差分画像生成部２３が抽出する部分画像ｉｍｌ，ｉｍｄの大きさは任意に設定可能である。瞳孔検出装置１００は、ステップＳ１０４以降の処理を、部分画像ｉｍｌ，ｉｍｄに対して実行する。これにより、瞳孔検出装置１００が実行する処理の速度を向上させることができる。なお、瞳孔検出装置１００は、部分画像ｉｍｌ，ｉｍｄを抽出せずに、明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤに対してステップＳ１０４以降の処理を行うことも可能である。
【００４３】
ここで、図５は、瞳孔検出装置１００が実行する処理の各工程で生成される画像の一例を示す図である。図５（Ａ）は、部分画像ｉｍｌ，ｉｍｄの一例を示す図である。図５（Ｂ）は、差分画像ＩｍＳの一例を示す図である。図５（Ｃ）は、二値画像ＩｍＢの一例を示す図である。図５（Ｄ）は、補正済み部分画像ｉｍｄａの一例を示す図である。
【００４４】
上述の通り、部分画像ｉｍｌ，ｉｍｄは、それぞれ明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤにおける左眼を含む部分である。したがって、図５（Ａ）に示すように、部分画像ｉｍｌには左眼の瞳孔ＰＬが含まれ、部分画像ｉｍｄには左眼の瞳孔ＰＤが含まれる。また、図５（Ａ）の例では、ノイズとして、部分画像ｉｍｌに角膜反射像ＣＬが含まれ、部分画像ｉｍｄに角膜反射像ＣＤが含まれている。また、図５（Ａ）の例では、部分画像ｉｍｌ，ｉｍｄの右端に、背景部分ＢＧが含まれている。差分画像生成部２３は、図３のような明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤから、図５（Ａ）のような部分画像ｉｍｌ，ｉｍｄをそれぞれ抽出する。
【００４５】
続いて、差分画像生成部２３は、抽出した部分画像ｉｍｌ，ｉｍｄから差分画像ＩｍＳを生成する（ステップＳ１０４）。これにより、図５（Ｂ）に示すように、瞳孔Ｐの輝度と、角膜反射像ＣＬ，ＣＤの位置ずれに応じて形成されたノイズＮの輝度と、が瞳孔Ｐの周囲の輝度より相対的に大きい差分画像ＩｍＳが生成される。瞳孔Ｐの輝度が大きいのは、瞳孔ＰＬの輝度が瞳孔ＰＤの輝度より大きいのに対して、瞳孔ＰＬの周囲（背景部分ＢＧを含む）の輝度と瞳孔ＰＤの周囲（背景部分ＢＧを含む）の輝度とが略同様のためである。差分画像生成部２３は、生成した差分画像ＩｍＳを二値画像生成部２４に渡す。
【００４６】
二値画像生成部２４は、差分画像ＩｍＳを受け取ると、受け取った差分画像ＩｍＳを二値化して二値画像ＩｍＢを生成する（ステップＳ１０５）。これにより、図５（Ｃ）のような二値画像ＩｍＢが生成される。図５（Ｃ）からわかるように、二値画像ＩｍＢの白部分は瞳孔Ｐ及びノイズＮに相当する。二値画像生成部２４は、生成した二値画像ＩｍＢを瞳孔検出部２５に渡す。
【００４７】
一方、輝度補正部２２は、暗瞳孔画像ＩｍＤを受け取ると、受け取った暗瞳孔画像ＩｍＤから、対象者の左眼を検出する（ステップＳ１０６）。輝度補正部２２は、既存の任意の方法を利用して、左眼を検出することができる。
【００４８】
次に、輝度補正部２２は、暗瞳孔画像ＩｍＤから、左眼を含む部分、すなわち、部分画像ｉｍｄを抽出する（ステップＳ１０７）。輝度補正部２２が抽出する部分画像ｉｍｄは、差分画像生成部２３が抽出する部分画像ｉｍｄと同様である。瞳孔検出装置１００は、ステップＳ１０８以降の処理を、部分画像ｉｍｄに対して実行する。これにより、瞳孔検出装置１００が実行する処理の速度を向上させることができる。なお、瞳孔検出装置１００は、部分画像ｉｍｄを抽出せずに、暗瞳孔画像ＩｍＤに対してステップＳ１０８以降の処理を行うことも可能である。また、図４の例では、輝度補正部２２及び差分画像生成部２３がそれぞれ部分画像ｉｍｄを抽出しているが、いずれか一方が部分画像ｉｍｄを抽出し、抽出した部分画像ｉｍｄを他方に渡してもよい。これにより、瞳孔検出装置１００が実行する処理の量を削減できる。
【００４９】
続いて、輝度補正部２２は、部分画像ｉｍｄの輝度を補正する（ステップＳ１０８）。具体的には、輝度補正部２２は、部分画像ｉｍｄから１つのラインを選択し、選択したラインの平均輝度γを算出し、当該平均輝度γで目標輝度αを除算して当該ラインに対応する係数βを算出し、当該ラインに含まれる各画素の輝度に当該係数βを乗算する。輝度補正部２２は、部分画像ｉｍｄに含まれる各ラインに対して上記の処理を実行することにより、部分画像ｉｍｄの各ラインの平均輝度γを目標輝度αに均一化する。これにより、輝度が補正された部分画像ｉｍｄである補正済み部分画像ｉｍｄａが生成される。
【００５０】
図５の例では、部分画像ｉｍｄの縦ライン（上下方向に延びるライン）の輝度が均一化される。これにより、図５（Ｄ）のような、補正済み部分画像ｉｍｄａが生成される。図５（Ｄ）からわかるように、輝度を補正することにより、補正済み部分画像ｉｍｄａは、部分画像ｉｍｄより、背景部分ＢＧの輝度が大きくなり、瞳孔ＰＤ及び角膜反射像ＣＤの輝度が小さくなる。輝度補正部２２は、補正済み部分画像ｉｍｄａを瞳孔検出部２５に渡す。
【００５１】
瞳孔検出部２５は、二値画像ＩｍＢ及び補正済み部分画像ｉｍｄａを受け取ると、受け取った二値画像ＩｍＢ及び補正済み部分画像ｉｍｄａに基づいて、瞳孔Ｐを検出する（ステップＳ１０９）。
【００５２】
ここで、瞳孔検出部２５による瞳孔検出方法について説明する。図６は、瞳孔検出部２５が実行する瞳孔検出処理の一例を示すフローチャートである。
【００５３】
図６に示すように、まず、瞳孔検出部２５は、二値画像ＩｍＢに含まれる白画素の中から、補正済み部分画像ｉｍｄａにおける輝度ｂが第１閾値未満である画素を、候補画素として選択する（ステップＳ２０１）。候補画素は、瞳孔Ｐに含まれる瞳孔画素ｐｐの候補となる画素である。以下、ステップＳ２０１で選択される瞳孔画素を、瞳孔画素ｐｃ１と称する。第１閾値は、候補画素ｐｃ１を選択するために予め設定された輝度の閾値である。第１閾値は、補正済み部分画像ｉｍｄａにおける瞳孔Ｐに含まれる画素の輝度より大きくなるように設定される。
【００５４】
具体的には、瞳孔検出部２５は、二値画像ＩｍＢから１つの白画素を選択し、選択した白画素と対応する補正済み部分画像ｉｍｄａの画素の輝度ｂを取得する。瞳孔検出部２５は、取得した輝度ｂが第１閾値未満である場合、当該白画素を候補画素ｐｃ１として選択し、取得した輝度ｂが第１閾値以上である場合、当該白画素を候補画素ｐｃ１として選択しない。瞳孔検出部２５は、二値画像ＩｍＢに含まれる各白画素について上記の処理を実行することにより、複数の候補画素ｐｃ１を選択する。
【００５５】
ここで選択される候補画素ｐｃ１は、二値画像ＩｍＢにおいて白画素であり、かつ、補正済み部分画像ｉｍｄａにおいて輝度が小さい画素である。このため、図５（Ｃ），（Ｄ）からわかるように、候補画素ｐｃ１として、瞳孔Ｐに含まれる画素と、角膜反射像ＣＬ，ＣＤに応じたノイズＮに含まれる画素と、が選択される。また、図５（Ｃ）では省略されているが、候補画素ｐｃ１には、角膜反射像ＣＬ，ＣＤ以外の輝点に応じたノイズＮに含まれる画素も含まれ得る。
【００５６】
なお、図６の例では、瞳孔検出部２５が、二値画像ＩｍＢに含まれる白画素のうち、輝度ｂが第１閾値未満である全ての白画素を候補画素ｐｃ１として選択する場合を想定しているが、輝度ｂが小さい順に所定の数の白画素を候補画素ｐｃ１として選択してもよい。これにより、瞳孔検出処理の処理量を削減できる。
【００５７】
また、ステップＳ２０１において、候補画素ｐｃ１が１つしか選択されなかった場合、瞳孔検出部２５は、選択された候補画素ｐｃ１を瞳孔画素ｐｐとして選択すればよい。
【００５８】
次に、瞳孔検出部２５は、各候補画素ｐｃ１の中の１つを第１選択候補画素ｐｃ１として選択し、第１選択候補画素ｐｃ１と、前回の瞳孔検出処理で検出された瞳孔Ｐと、の間の距離Ｌ１を算出する（ステップＳ２０２）。
【００５９】
瞳孔検出部２５は、各第１選択候補画素ｐｃ１の距離Ｌ１を算出すると、複数の候補画素ｐｃ１の中から、距離Ｌ１が第２閾値以上である第１選択候補画素ｐｃ１を除外する（ステップＳ２０３）。第２閾値は、第１選択候補画素ｐｃ１を除外するために予め設定された距離の閾値である。第２閾値は、所定時間の間に瞳孔Ｐが移動すると想定される想定距離より大きくなるように設定される。これにより、瞳孔Ｐから極端に離れた候補画素ｐｃ１が除外される。以下、ステップＳ２０３で除外されなかった候補画素ｐｃ１を、候補画素ｐｃ２と称する。
【００６０】
なお、ステップＳ２０２，Ｓ２０３の処理は、瞳孔検出装置１００が所定時間毎に瞳孔Ｐを検出する場合を想定している。したがって、瞳孔検出装置１００が、ユーザからの要求や何らかのイベントに応じて、不定期に瞳孔Ｐを検出する場合、ステップＳ２０２，Ｓ２０３の処理は省略される。この場合、ステップＳ２０１で選択された候補画素ｐｃ１を、候補画素ｐｃ２として利用すればよい。
【００６１】
また、ステップＳ２０３において、候補画素ｐｃ２が１つしか残らなかった場合、瞳孔検出部２５は、当該候補画素ｐｃ２を瞳孔画素ｐｐとして選択すればよい。
【００６２】
続いて、瞳孔検出部２５は、各候補画素ｐｃ２について、他の候補画素ｐｃ２との間の平均距離Ｌ２を算出する（ステップＳ２０４）。具体的には、瞳孔検出部２５は、複数の候補画素ｐｃ２の中から１つの候補画素ｐｃ２を選択し、選択した第２選択候補画素ｐｃ２と、選択しなかった他の候補画素ｐｃ２と、の間の平均距離Ｌ２を算出する。瞳孔検出部２５は、上記の処理を各候補画素ｐｃ２のそれぞれが第２選択候補画素ｐｃ２となるよう実行することにより、各第２選択候補画素ｐｃ２と各候補画素ｐｃ２の平均距離Ｌ２を算出する。
【００６３】
瞳孔検出部２５は、各第２選択候補画素ｐｃ２と各候補画素ｐｃ２の平均距離Ｌ２を算出すると、複数の候補画素ｐｃ２の中から、平均距離Ｌ２が第３閾値以上となっている第２選択候補画素ｐｃ２を除外する（ステップＳ２０５）。第３閾値は、第２選択候補画素ｐｃ２を除外するために予め設定された距離の閾値である。第３閾値は、瞳孔Ｐに含まれる第２選択候補画素ｐｃ２と候補画素ｐｃ２の平均距離Ｌ２と想定される想定距離より大きくなるように設定される。第３閾値は、例えば、瞳孔Ｐの平均直径であるが、これに限られない。これにより、瞳孔Ｐに含まれない候補画素ｐｃ２、すなわち、ノイズＮに含まれる候補画素ｐｃ２が、候補画素ｐｃ２から除外される。言い換えると、ここで除外されなかった候補画素ｐｃ２は、瞳孔Ｐに含まれる候補画素ｐｃ２であると考えられる。以下、ステップＳ２０５で除外されなかった候補画素ｐｃ２を、候補画素ｐｃ３と称する。
【００６４】
なお、ステップＳ２０４，Ｓ２０５の処理は、省略されてもよい。ステップＳ２０２，Ｓ２０３の処理が省略されず、ステップＳ２０４，Ｓ２０５の処理が省略された場合、ステップＳ２０３で選択された候補画素ｐｃ２を、候補画素ｐｃ３として利用すればよい。また、ステップＳ２０２〜Ｓ２０５の処理がいずれも省略された場合には、ステップＳ２０１で選択された候補画素ｐｃ１を、候補画素ｐｃ３として利用すればよい。
【００６５】
また、ステップＳ２０５において、候補画素ｐｃ３が１つしか選択されなかった場合、瞳孔検出部２５は、当該候補画素ｐｃ３を瞳孔画素ｐｐとして選択すればよい。
【００６６】
次に、瞳孔検出部２５は、各候補画素ｐｃ３について、他の候補画素ｐｃ３との間の平均距離Ｌ３を算出する（ステップＳ２０６）。具体的には、瞳孔検出部２５は、複数の候補画素ｐｃ３の中から１つの候補画素ｐｃ３を選択し、選択した第３選択候補画素ｐｃ３と、選択しなかった他の候補画素ｐｃ３と、の間の平均距離Ｌ３を算出する。瞳孔検出部２５は、上記の処理を各候補画素ｐｃ３のそれぞれが第３選択候補画素ｐｃ３となるよう実行することにより、各第３選択候補画素ｐｃ３と各候補画素ｐｃ３の平均距離Ｌ３を算出する。
【００６７】
瞳孔検出部２５は、各第３選択候補画素ｐｃ３と各候補画素ｐｃ３の平均距離Ｌ３を算出すると、平均距離Ｌ３が最小となった第３選択候補画素ｐｃ３を瞳孔画素ｐｐとして選択する（ステップＳ２０７）。
【００６８】
その後、瞳孔検出部２５は、二値画像ＩｍＢにおける瞳孔画素ｐｐを含む白部分の重心を瞳孔Ｐとして検出する（ステップＳ２０８）。なお、瞳孔画素ｐｐに基づく瞳孔Ｐの検出方法はこれに限られない。瞳孔検出部２５は、瞳孔画素ｐｐを瞳孔Ｐとして検出してもよいし、二値画像ＩｍＢにおける瞳孔画素ｐｐを基準とした所定範囲の白部分の重心を瞳孔Ｐとして検出してもよい。
【００６９】
ここで、図７は、瞳孔検出処理の具体例を示す図である。図７（Ａ）は、補正済み部分画像ｉｍｄａの具体例を示す図であり、図７（Ｂ）は、二値画像ＩｍＢの具体例を示す図であり、図７（Ｃ）は、瞳孔画素ｐｐの検出過程を示す部分画像ｉｍｄ上に示す図である。
【００７０】
図７の例では、まず、候補画素ｐｃ１として、画素ｐ１〜ｐ３及び画素群ｐ４が選択される（ステップＳ２０１）。画素ｐ１，ｐ２は、角膜反射像ＣＬ，ＣＤ以外のノイズＮに対応する画素であり、画素ｐ３は、角膜反射像ＣＬ，ＣＤに対応する画素であり、画素群ｐ４は、瞳孔Ｐに含まれる複数の画素の集合である。画素ｐ１〜ｐ３及び画素群ｐ４は、それぞれ距離Ｌ１を算出される（ステップＳ２０２）。
【００７１】
次に、各画素の距離Ｌ１に基づいて、候補画素ｐｃ１から、画素ｐ１，ｐ２が除外される（ステップＳ２０３）。言い換えると、候補画素ｐｃ１の中から、瞳孔Ｐに近い画素ｐ３及び画素群ｐ４が候補画素ｐｃ２として選択される。画素ｐ３及び画素群ｐ４は、平均距離Ｌ２を算出される（ステップＳ２０４）。
【００７２】
続いて、平均距離Ｌ２に基づいて、候補画素ｐｃ２の中から、画素ｐ３が除外される（ステップＳ２０５）。言い換えると、候補画素ｐｃ２の中から、画素群ｐ４が候補画素ｐｃ３として選択される。画素群ｐ４は、平均距離Ｌ３を算出される（ステップＳ２０６）。
【００７３】
なお、ステップＳ２０２，Ｓ２０３が省略された場合には、ステップＳ２０４，Ｓ２０５により、候補画素ｐｃ２から画素ｐ１，ｐ２が除外されるため、画素群ｐ４が候補画素ｐｃ３として選択されることに変わりはない。ただし、平均距離Ｌ２を算出するより、距離Ｌ１を算出する方が、処理量が少ないため、ステップＳ２０２，Ｓ２０３を実行することにより、瞳孔検出処理を高速化できる。
【００７４】
次に、平均距離Ｌ３に基づいて、候補画素ｐｃ３（画素群ｐ４）の中から、瞳孔Ｐに含まれる画素ｐ５が瞳孔画素ｐｐとして選択される（ステップＳ２０７）。その後、瞳孔画素ｐｐ（画素ｐ５）に基づいて、瞳孔Ｐが検出される（ステップＳ２０８）。このように、図６の瞳孔検出処理により、二値画像ＩｍＢがノイズＮを含む場合であっても、瞳孔Ｐを精度よく検出できる。
【００７５】
以上説明した通り、瞳孔検出装置１００は、輝度を補正された暗瞳孔画像ＩｍＤを利用することにより、二値画像ＩｍＢがノイズＮを含む場合であっても、瞳孔Ｐを精度よく検出できる。したがって、瞳孔検出装置１００は、撮影環境が明るく、二値画像ＩｍＢにおける瞳孔ＰとノイズＮとの区別が困難な場合であっても、瞳孔Ｐを精度よく検出できる。
【００７６】
なお、本実施形態において、瞳孔検出装置１００は、輝度補正部２２を備えない構成も可能である。この場合、瞳孔検出装置１００は、二値画像ＩｍＢ及び暗瞳孔画像ＩｍＤ（部分画像ｉｍｄ）に基づいて、瞳孔Ｐを検出すればよい。
【００７７】
ただし、輝度補正部２２により暗瞳孔画像ＩｍＤの輝度を補正することにより、瞳孔Ｐをより精度よく検出できる。これは、図５の例のように、暗瞳孔画像ＩｍＤに背景ＢＧが含まれる場合、背景ＢＧの輝度は小さいため、候補画素ｐｃ１として、背景ＢＧ上に形成されたノイズＮが選択される可能性が高まるためである。候補画素ｐｃ１としてノイズＮが多く選択されるほど、ノイズＮが瞳孔画素ｐｐとして選択される可能性が高くなる。すなわち、瞳孔Ｐに含まれる画素が候補画素ｐｐとして選択される可能性が低くなる。
【００７８】
これに対して、輝度補正部２２により暗瞳孔画像ＩｍＤの輝度を補正すると、背景ＢＧの輝度が大きくなり、候補画素ｐｃ１として、背景ＢＧ上に形成されたノイズＮが選択される可能性が低くなる。すなわち、瞳孔Ｐに含まれる画素が候補画素ｐｐとして選択される可能性が高くなる。したがって、瞳孔Ｐの検出精度を向上させることができる。
【００７９】
また、輝度補正部２２は、撮影環境（撮影時における対象者の周囲）の明るさに応じて、輝度補正処理を実行してもよい。具体的には、輝度補正部２２は、撮影環境の明るさが閾値以上の場合、本実施形態における輝度補正処理を実行し、撮影環境の明るさが閾値未満の場合、輝度補正処理を省略してもよい。輝度補正処理が省略された場合、瞳孔検出部２５は、輝度を補正された暗瞳孔画像ＩｍＤを利用しない従来の方法で瞳孔検出処理を実行してもよい。これは、撮影環境が明るい場合、対象者の瞳孔Ｐが収縮するため、瞳孔Ｐを誤検出する可能性が上昇するのに対して、撮影環境が暗い場合、対象者の瞳孔Ｐが拡大するため、瞳孔Ｐを誤検出する可能性が低下するためである。このように、撮影環境が明るい場合にのみ、輝度を補正された暗瞳孔画像ＩｍＤを利用して瞳孔検出処理を実行することにより、撮影環境が暗い場合に瞳孔検出装置１００の処理を軽減することができる。
【００８０】
なお、輝度補正部２２は、明瞳孔画像ＩｍＬや暗瞳孔画像ＩｍＤの平均輝度やイメージセンサの露光時間、ゲインを、周囲の明るさとして算出してもよいし、撮影環境の照度を計測する照度センサが計測した照度を、撮影環境の明るさとして取得してもよい。照度センサは、撮影装置１に搭載されていてもよいし、瞳孔検出装置１００とは別に設けられ、ネットワークを介して制御装置２に接続されていてもよい。
【００８１】
また、本実施形態における輝度補正処理を実行するかしないかについては、対象者の瞳孔Ｐの大きさや瞳孔Ｐの輝度に応じて決定してもよい。具体的には、輝度補正部２２は、前回検出された対象者の瞳孔Ｐの大きさや瞳孔Ｐの輝度が閾値以上の場合には本実施形態における輝度補正処理を実行し、閾値未満の場合には本実施形態における輝度補正処理を省略してもよい。
【００８２】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【００８３】
１：撮影装置
２：制御装置
１１：撮影部
１２：光源
２１：顔画像取得部
２２：輝度補正部
２３：差分画像生成部
２４：二値画像生成部
２５：瞳孔検出部
１００：瞳孔検出装置
ＩｍＬ：明瞳孔画像
ＩｍＤ：暗瞳孔画像
ｉｍｌ，ｉｍｄ：部分画像
ｉｍｄａ：補正済み部分画像
ＩｍＳ：差分画像
ＩｍＢ：二値画像
ＢＧ：背景部分
Ｐ：瞳孔
Ｎ：ノイズ
ｐ：画素
ｐｃ：候補画素
ｐｐ：瞳孔画素
【図１】
2019111097.tif 000003
【図２】
2019111097.tif 000004
【図３】
2019111097.tif 000005
【図４】
2019111097.tif 000006
【図５】
2019111097.tif 000007
【図６】
2019111097.tif 000008
【図７】
2019111097.tif 000009