(57)【要約】【課題】  瞳孔を精度よく検出する。【解決手段】  一実施形態に係る瞳孔検出装置は、明瞳孔画像及び暗瞳孔画像の少なくとも一方からノイズを除去するノイズ除去部と、前記明瞳孔画像及び前記暗瞳孔画像から差分画像を生成する差分画像生成部と、前記差分画像を二値化した二値画像を生成する二値画像生成部と、前記二値画像に基づいて、瞳孔を検出する瞳孔検出部と、を備える。【選択図】  図２
2019111096.tif 000002
【特許請求の範囲】
【請求項１】
明瞳孔画像及び暗瞳孔画像の少なくとも一方からノイズを除去するノイズ除去部と、
前記明瞳孔画像及び前記暗瞳孔画像から差分画像を生成する差分画像生成部と、
前記差分画像を二値化した二値画像を生成する二値画像生成部と、
前記二値画像に基づいて、瞳孔を検出する瞳孔検出部と、
を備える瞳孔検出装置。
【請求項２】
前記ノイズ除去部は、前記明瞳孔画像及び前記暗瞳孔画像の少なくとも一方に含まれる画素を対象画素として選択し、選択した前記対象画素の輝度を、当該対象画素を含む対象範囲に含まれる画素の輝度の中で最小の輝度に変更する
請求項１に記載の瞳孔検出装置。
【請求項３】
前記ノイズ除去部は、前記明瞳孔画像及び前記暗瞳孔画像の少なくとも一方に含まれる画素を対象画素として選択し、選択した前記対象画素の輝度を、当該対象画素を含む対象範囲に含まれる画素の輝度の中で２番目に小さい輝度に変更する
請求項１に記載の瞳孔検出装置。
【請求項４】
前記ノイズ除去部は、前記明瞳孔画像及び前記暗瞳孔画像の少なくとも一方から眼を検出し、当該眼を含む部分から前記ノイズを除去する
請求項１から請求項３までのいずれか１項に記載の瞳孔検出装置。
【請求項５】
前記ノイズ除去部は、前記明瞳孔画像及び前記暗瞳孔画像の取得時の撮影環境の明るさが閾値未満の場合、前記明瞳孔画像及び前記暗瞳孔画像の少なくとも一方からの前記ノイズの除去を省略する
請求項１から請求項４までのいずれか１項に記載の瞳孔検出装置。
【請求項６】
前記ノイズ除去部は、前回検出された瞳孔の大きさが閾値以上の場合、前記明瞳孔画像及び前記暗瞳孔画像の少なくとも一方からの前記ノイズの除去を省略する
請求項１から請求項５までのいずれか１項に記載の瞳孔検出装置。
【請求項７】
前記ノイズ除去部は、前回検出された瞳孔の輝度が閾値以上の場合、前記明瞳孔画像及び前記暗瞳孔画像からの前記ノイズの除去を省略する
請求項１から請求項６までのいずれか１項に記載の瞳孔検出装置。
【請求項８】
明瞳孔画像及び暗瞳孔画像の少なくとも一方からノイズを除去する工程と、
前記明瞳孔画像及び前記暗瞳孔画像から差分画像を生成する工程と、
前記差分画像を二値化した二値画像を生成する工程と、
前記二値画像に基づいて、瞳孔を検出する工程と、
を含む瞳孔検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、瞳孔検出装置及び瞳孔検出方法に関する。
【背景技術】
【０００２】
従来、対象者の顔画像から瞳孔を検出する方法として、明瞳孔画像と暗瞳孔画像との差分画像を二値化した二値画像を利用する方法が知られている。理想的な二値画像では、対象者の瞳孔だけが白く表示されるため、瞳孔を容易に検出することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２５４６９１号公報
【特許文献２】特開２０１４−５２８１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、実際には、明瞳孔画像及び暗瞳孔画像の撮影時における、光源の位置や眼の表面状態の違いにより、二値画像に角膜反射像（プルキニエ像）などのノイズ（瞳孔以外で白く表示された部分）が含まれることがある。二値画像に含まれるノイズは、誤検出の原因となる。特に、撮影環境が明るい場合、瞳孔が収縮し、その輝度も低下するため、瞳孔とノイズとの区別が困難になり、誤検出が発生しやすくなる。
【０００５】
本発明は、上記の課題に鑑みてなされたものであり、瞳孔を精度よく検出することを目的とする。
【課題を解決するための手段】
【０００６】
一実施形態に係る瞳孔検出装置は、明瞳孔画像及び暗瞳孔画像の少なくとも一方からノイズを除去するノイズ除去部と、前記明瞳孔画像及び前記暗瞳孔画像から差分画像を生成する差分画像生成部と、前記差分画像を二値化した二値画像を生成する二値画像生成部と、前記二値画像に基づいて、瞳孔を検出する瞳孔検出部と、を備える。
【発明の効果】
【０００７】
本発明の各実施形態によれば、瞳孔を精度よく検出できる。
【図面の簡単な説明】
【０００８】
【図１】瞳孔検出装置のハードウェア構成の一例を示す図。
【図２】瞳孔検出装置の機能構成の一例を示す図。
【図３】明瞳孔画像及び暗瞳孔画像の一例を示す図。
【図４】瞳孔検出装置が実行する処理の一例を示すフローチャート図。
【図５】瞳孔検出処理の各工程で生成される画像の一例を示す図。
【図６】ノイズ除去処理の一例を示すフローチャート。
【図７】部分画像の一例を示す図。
【発明を実施するための形態】
【０００９】
以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重畳した説明を省略する。
【００１０】
一実施形態に係る瞳孔検出装置１００について、図１〜図７を参照して説明する。本実施形態に係る瞳孔検出装置１００は、顔画像から瞳孔Ｐを検出する装置である。瞳孔検出装置１００は、例えば、顔画像から視線を検出する視線検出装置に搭載される。視線検出装置は、瞳孔検出装置１００が検出した瞳孔Ｐに基づいて、視線を検出することができる。
【００１１】
まず、瞳孔検出装置１００のハードウェア構成について説明する。図１は、瞳孔検出装置１００のハードウェア構成の一例を示す図である。図１の瞳孔検出装置１００は、撮影装置１と、制御装置２と、を備える。
【００１２】
撮影装置１は、対象者の顔を撮影し、顔画像を取得する装置であり、制御装置２に接続される。撮影装置１は、対象者の顔を撮影可能な位置に配置される。図１の撮影装置１は、撮影部１１Ｌ，１１Ｒと、複数の光源１２Ｌ，１２Ｒと、を備える。
【００１３】
撮影部１１Ｌは、対象者の顔を撮影するカメラであり、図１における撮影装置１の左側に配置される。撮影部１１Ｒは、対象者の顔を撮影するカメラであり、図１における撮影装置１の右側に配置される。以下、撮影部１１Ｌ，１１Ｒを区別しない場合、撮影部１１と称する。
【００１４】
光源１２Ｌは、対象者の顔を撮影する際に、対象者の顔に所定のタイミングで光を照射する光源であり、撮影部１１Ｌの近傍に複数配置される。光源１２Ｒは、対象者の顔を撮影する際に、対象者の顔に所定のタイミングで光を照射する光源であり、撮影部１１Ｒの近傍に複数配置される。光源１２Ｌ，１２Ｒは、例えば、近赤外光を照射するＬＥＤ（Light Emitting Diode）であるが、これに限られない。以下、光源１２Ｌ，１２Ｒを区別しない場合、光源１２と称する。
【００１５】
なお、図１の例では、撮影装置１は、２つの撮影部１１を備えるが、１つ又は３つの撮影装置１を備えてもよい。撮影部１１が１つの場合、撮影装置１は、撮影部１１に対して略同軸の光源１２と非同軸の光源１２とをそれぞれ備えれば良い。また、図１の例では、撮影装置１は、それぞれ４つの光源１２Ｌ，１２Ｒを備えるが、光源１２Ｌ，１２Ｒの数は任意に設計可能である。
【００１６】
制御装置２は、撮影装置１を制御する装置であり、撮影装置１に接続される。具体的には、制御装置２は、撮影部１１による撮影及び光源１２の発光を制御する。また、制御装置２は、撮影装置１により取得された顔画像に基づいて、対象者の瞳孔Ｐを検出する。図１の制御装置２は、ＣＰＵ（Central Processing Unit）２０１と、ＲＯＭ（Read Only Memory）２０２と、ＲＡＭ（Random Access Memory）２０３と、ＨＤＤ（Hard Disk Drive）２０４と、入力装置２０５と、表示装置２０６と、を備える。また、制御装置２は、接続インタフェース２０７と、通信インタフェース２０８と、バス２０９と、を備える。
【００１７】
ＣＰＵ２０１は、プログラムを実行することにより、制御装置２の各ハードウェア構成を制御し、瞳孔検出装置１００の機能を実現する。
【００１８】
ＲＯＭ２０２は、ＣＰＵ２０１が実行するプログラムや各種のデータを記憶する。
【００１９】
ＲＡＭ２０３は、ＣＰＵ２０１に作業領域を提供する。
【００２０】
ＨＤＤ２０４は、ＣＰＵ２０１が実行するプログラムや各種のデータを記憶する。
【００２１】
入力装置２０５は、対象者を含むユーザの操作に応じた情報を制御装置２に入力する。入力装置２０５は、例えば、タッチパネル、キーボード、マウス、ハードウェアボタンなどである。
【００２２】
表示装置２０６は、ユーザの操作に応じた画面を表示する。表示装置２０６は、例えば、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイなどである。
【００２３】
接続インタフェース２０７は、制御装置２を撮影装置１に接続するためのインタフェースである。制御装置２は、接続インタフェース２０７を介して、撮影装置１を制御し、撮影装置１から顔画像（画像データ）を取得する。
【００２４】
通信インタフェース２０８は、制御装置２をインターネットやＬＡＮ（Local Area Network）などのネットワークに接続するためのインタフェースである。制御装置２は、通信インタフェース２０８を介して、ネットワーク上の外部装置と通信する。
【００２５】
バス２０９は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ＨＤＤ２０４、入力装置２０５、表示装置２０６、接続インタフェース２０７、及び通信インタフェース２０８を相互に接続する。
【００２６】
なお、図１の例では、制御装置２がＰＣ（Personal Computer）、サーバ、タブレット端末、及びスマートフォンなどのコンピュータにより構成される場合を想定している。しかしながら、制御装置２は、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specified Integrated Circuit）などのＩＣにより構成されてもよい。この場合、制御装置２は、ＨＤＤ２０４、入力装置２０５、及び表示装置２０６を備えない。
【００２７】
また、図１の例では、瞳孔検出装置１００は、撮影装置１を備えるが、撮影装置１を備えない構成も可能である。この場合、図１の制御装置２が瞳孔検出装置１００に相当する。瞳孔検出装置１００は、ネットワークや記憶媒体を介して、後述する明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤを取得すればよい。
【００２８】
次に、瞳孔検出装置１００の機能構成について説明する。図２は、瞳孔検出装置１００の機能構成の一例を示す図である。図２の瞳孔検出装置１００は、顔画像取得部２１と、ノイズ除去部２２と、差分画像生成部２３と、二値画像生成部２４と、瞳孔検出部２５と、を備える。これらの各機能構成は、制御装置２のＣＰＵ２０１がプログラムを実行し、瞳孔検出装置１００の各ハードウェア構成と協働することにより実現される。
【００２９】
顔画像取得部２１は、撮影装置１に対象者の顔を所定の撮影間隔で撮影させ、対象者の顔画像を取得する。撮影間隔は、例えば、１ｍｓｅｃ以上１００ｍｓｅｃ以下である。顔画像取得部２１は、顔画像として、明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤを取得する。
【００３０】
明瞳孔画像ＩｍＬは、対象者の瞳孔Ｐが明るく撮影された顔画像である。明瞳孔画像ＩｍＬは、光源１２から対象者の顔に光を照射した状態で、当該光源１２と略同軸の撮影部１１により対象者の顔を撮影することにより取得される。このように撮影することにより、光源１２からの光が、対象者の網膜により、撮影部１１の方向に反射するため、対象者の瞳孔Ｐが明るく撮影される。明瞳孔画像ＩｍＬにおける瞳孔Ｐを瞳孔ＰＬとする。図１の撮影装置１では、光源１２Ｌから対象者の顔に光を照射した状態で、撮影部１１Ｌにより対象者の顔を撮影することにより、明瞳孔画像ＩｍＬが取得される。また、光源１２Ｒから対象者の顔に光を照射した状態で、撮影部１１Ｒにより対象者の顔を撮影することにより、明瞳孔画像ＩｍＬが取得される。
【００３１】
暗瞳孔画像ＩｍＤは、対象者の瞳孔Ｐが、明瞳孔画像ＩｍＬに比べて暗く撮影された顔画像である。暗瞳孔画像ＩｍＤは、光源１２から対象者の顔に光を照射した状態で、当該光源１２と非同軸の撮影部１１により対象者の顔を撮影することにより取得される。このように撮影することにより、光源１２からの光が、対象者の網膜により、撮影部１１とは異なる方向に反射するため、対象者の瞳孔Ｐが暗く撮影される。暗瞳孔画像ＩｍＤにおける瞳孔Ｐを瞳孔ＰＤとする。図１の撮影装置１では、光源１２Ｌから対象者の顔に光を照射した状態で、撮影部１１Ｒにより対象者の顔を撮影することにより、暗瞳孔画像ＩｍＤが取得される。また、光源１２Ｒから対象者の顔に光を照射した状態で、撮影部１１Ｌにより対象者の顔を撮影することにより、暗瞳孔画像ＩｍＤが取得される。
【００３２】
図３は、明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤの一例を示す図である。図３に示すように、明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤの全体的な輝度（明るさ）は、略同様である。これに対して、明瞳孔画像ＩｍＬの瞳孔ＰＬは、暗瞳孔画像ＩｍＤの瞳孔ＰＤより輝度が大きい（明るい）。また、明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤの瞳孔ＰＬ，ＰＤの周囲には、輝度が略同様の角膜反射像Ｃがそれぞれ形成される。明瞳孔画像ＩｍＬに形成される角膜反射像Ｃを角膜反射像ＣＬ、暗瞳孔画像ＩｍＤに形成される角膜反射像Ｃを角膜反射像ＣＤと称する。顔画像取得部２１は、撮影装置１を制御することにより、図３の例のような明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤを取得する。
【００３３】
ノイズ除去部２２は、明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤの少なくとも一方からノイズを除去する。ここでいうノイズとは、顔画像の瞳孔Ｐの周囲に存在する輝点（周囲に対して相対的に輝度が大きい部分）である。ノイズは、角膜反射像Ｃを含むが、これに限られない。
【００３４】
瞳孔Ｐの周囲の輝点は、顔画像の撮影時に照射される、光源１２や外部光源からの光を、眼の表面が反射することにより形成される。上述の通り、明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤの撮影時に光を照射する光源１２の位置は異なる。また、明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤは撮影タイミングが異なるため、撮影時に光を照射する外部光源の位置が変化する。このため、明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤの輝点は、互いに異なる位置に形成される。
【００３５】
異なる位置に輝点が形成された明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤから差分画像ＩｍＳを生成し、当該差分画像ＩｍＳから二値画像ＩｍＢを生成すると、当該二値画像ＩｍＢにおいて、瞳孔Ｐだけでなく、輝点に対応する部分も白く表示されるおそれがある。輝点に対応する部分が白く表示されると、二値画像ＩｍＢにおける白部分（白く表示された部分）のうち、どの白部分が瞳孔Ｐであるかわかりにくくなり、瞳孔Ｐとして誤って輝点が検出されるおそれがある。このように、輝点は、瞳孔Ｐの誤検出を引き起こすノイズとなる。
【００３６】
ノイズ除去部２２は、上記のような瞳孔Ｐの誤検出を抑制するために、明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤの少なくとも一方から予めノイズ（輝点）を除去する。ノイズの除去方法については後述する。
【００３７】
差分画像生成部２３は、少なくとも一方からノイズが除去された明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤから差分画像ＩｍＳを生成する。差分画像生成部２３は、明瞳孔画像ＩｍＬの各画素の輝度から、暗瞳孔画像ＩｍＤの対応する各画素の輝度を減算することにより、差分画像ＩｍＳを生成する。明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤにノイズが含まれる場合、差分画像ＩｍＳは、瞳孔Ｐ及びノイズの輝度が大きく、他の部分の輝度が小さい画像となる。これに対して、本実施形態では、明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤの少なくとも一方からノイズが除去されているため、差分画像ＩｍＳは、瞳孔Ｐの輝度が大きく、他の部分の輝度が小さい画像となる。
【００３８】
二値画像生成部２４は、差分画像ＩｍＳを二値化することにより、差分画像ＩｍＳから二値画像ＩｍＢを生成する。二値画像ＩｍＢは、白画素（輝度が最大の画素）と、黒画素（輝度が最小の画素）と、からなる画像である。二値画像生成部２４は、差分画像ＩｍＳの各画素を、輝度が閾値以上の場合に白画素とし、輝度が閾値未満の場合に黒画素とすることにより、二値画像ＩｍＢを生成する。明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤにノイズが含まれる場合、二値画像ＩｍＢは、瞳孔Ｐ及びノイズが白く（白画素により）表示され、他の部分が黒く（黒画素により）表示された画像となる。これに対して、本実施形態では、明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤからノイズが除去されているため、二値画像ＩｍＢは、瞳孔Ｐが白く（白画素により）表示され、他の部分が黒く（黒画素により）表示された画像、すなわち、ノイズを含まない画像となる。
【００３９】
瞳孔検出部２５は、二値画像ＩｍＢに基づいて、瞳孔Ｐを検出する。瞳孔Ｐを検出するとは、瞳孔Ｐの座標を検出することに相当する。瞳孔検出部２５は、二値画像ＩｍＢに含まれる白部分の中心や重心を、瞳孔Ｐの座標として検出する。
【００４０】
次に、瞳孔検出装置１００が実行する瞳孔検出処理について説明する。図４は、瞳孔検出処理の一例を示すフローチャートである。瞳孔検出装置１００は、図４の瞳孔検出処理を、所定時間毎に実行してもよいし、ユーザからの要求に応じて実行してもよい。以下では、瞳孔検出装置１００が対象者の左眼の瞳孔Ｐを検出する場合を例に説明するが、右眼の瞳孔Ｐも同様の方法で検出することができる。
【００４１】
図４に示すように、まず、顔画像取得部２１が、撮影装置１に所定の撮影間隔で対象者の顔を撮影させ、撮影装置１から明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤを取得する（ステップＳ１０１）。顔画像取得部２１は、取得した明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤをノイズ除去部２２に渡す。
【００４２】
ノイズ除去部２２は、明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤを受け取ると、受け取った明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤから、それぞれ対象者の左眼を検出する（ステップＳ１０２）。ノイズ除去部２２は、既存の任意の方法を利用して、左眼を検出することができる。
【００４３】
次に、ノイズ除去部２２は、明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤから、それぞれ左眼を含む部分を抽出する（ステップＳ１０３）。明瞳孔画像ＩｍＬから抽出した部分を部分画像ｉｍｌ、暗瞳孔画像ＩｍＤから抽出した部分を部分画像ｉｍｄと称する。ノイズ除去部２２が抽出する部分画像ｉｍｌ，ｉｍｄの大きさは任意に設定可能である。瞳孔検出装置１００は、ステップＳ１０５以降の処理を、部分画像ｉｍｌ，ｉｍｄに対して実行する。これにより、瞳孔検出処理の速度を向上させることができる。なお、瞳孔検出装置１００は、部分画像ｉｍｌ，ｉｍｄを抽出せずに、明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤに対してステップＳ１０５以降の処理を行うことも可能である。
【００４４】
ここで、図５は、瞳孔検出処理の各工程で生成される画像の一例を示す図である。図５（Ａ）は、部分画像ｉｍｌ，ｉｍｄの一例を示す図である。図５（Ｂ）は、ノイズが除去された部分画像ｉｍｌ´，ｉｍｄ´の一例を示す図である。図５（Ｃ）は、差分画像ＩｍＳの一例を示す図である。図５（Ｄ）は、二値画像ＩｍＢの一例を示す図である。
【００４５】
上述の通り、部分画像ｉｍｌ，ｉｍｄは、それぞれ明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤにおける左眼を含む部分である。したがって、図５（Ａ）に示すように、部分画像ｉｍｌには左眼の瞳孔ＰＬが含まれ、部分画像ｉｍｄには左眼の瞳孔ＰＤが含まれる。また、図５（Ａ）の例では、ノイズとして、部分画像ｉｍｌに角膜反射像ＣＬが含まれ、部分画像ｉｍｄに角膜反射像ＣＤが含まれている。ノイズ除去部２２は、図３のような明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤから、図５（Ａ）のような部分画像ｉｍｌ，ｉｍｄをそれぞれ抽出する。
【００４６】
続いて、ノイズ除去部２２は、部分画像ｉｍｌ，ｉｍｄからノイズを除去するか否か（ノイズ除去処理を実行するか否か）判定する（ステップＳ１０４）。ノイズ除去部２２は、例えば、撮影環境（撮影時における対象者の周囲）の明るさに応じて、ノイズ除去処理を実行するか否か判定する。具体的には、ノイズ除去部２２は、撮影環境の明るさが閾値以上の場合、ノイズ除去処理を実行すると判定し、撮影環境の明るさが閾値未満の場合、ノイズ除去処理を実行しない、すなわち、省略すると判定してもよい。これは、撮影環境が明るい場合、対象者の瞳孔Ｐが収縮するため、瞳孔Ｐを誤検出する可能性が上昇するのに対して、撮影環境が暗い場合、対象者の瞳孔Ｐが拡大するため、瞳孔Ｐを誤検出する可能性が低下するためである。このように、撮影環境が明るい場合にのみノイズ除去処理を実行することにより、撮影環境が暗い場合に瞳孔検出装置１００の処理を軽減することができる。
【００４７】
なお、ノイズ除去部２２は、明瞳孔画像ＩｍＬや暗瞳孔画像ＩｍＤの平均輝度やイメージセンサの露光時間、ゲインを、周囲環境の明るさとして算出してもよいし、撮影環境の照度を計測する照度センサが計測した照度を、撮影環境の明るさとして取得してもよい。照度センサは、撮影装置１に搭載されていてもよいし、瞳孔検出装置１００とは別に設けられ、ネットワークを介して制御装置２に接続されていてもよい。
【００４８】
また、ノイズ除去部２２は、対象者の瞳孔Ｐの大きさや輝度に応じて、ノイズ除去処理を実行するか否か判定してもよい。具体的には、前回検出された対象者の瞳孔Ｐの大きさや瞳孔Ｐの輝度が閾値未満の場合にはノイズ除去処理を実行すると判定し、閾値以上の場合にはノイズ除去処理を省略すると判定してもよい。
【００４９】
また、ノイズ除去部２２は、部分画像ｉｍｌ，ｉｍｄのそれぞれについて、ノイズを除去するか否か判定してもよい。この場合、部分画像ｉｍｌ，ｉｍｄごとに、ノイズを除去するか判定するための、周囲環境の明るさ、瞳孔Ｐの大きさ、及び瞳孔Ｐの輝度の閾値を設定すればよい。これにより、部分画像ｉｍｌ，ｉｍｄの一方からノイズを除去し、他方からはノイズを除去しない、という判定が可能となる。
【００５０】
ノイズ除去部２２は、ノイズ除去処理を省略すると判定した場合（ステップＳ１０４のＮＯ）、部分画像ｉｍｌ，ｉｍｄを差分画像生成部２３に渡す。この場合、処理はステップＳ１０６に進み、差分画像生成部２３は、部分画像ｉｍｌ，ｉｍｄから差分画像ＩｍＳを生成し、生成した差分画像ＩｍＳを二値画像生成部２４に渡す。
【００５１】
一方、ノイズ除去部２２は、ノイズ除去処理を実行すると判定した場合（ステップＳ１０４のＹＥＳ）、部分画像ｉｍｌ，ｉｍｄからノイズを除去する（ステップＳ１０５）。図５（Ａ）の例では、ノイズとして角膜反射像ＣＬ，ＣＤが除去される。これにより、図５（Ｂ）に示すように、角膜反射像ＣＬ，ＣＤを含まない部分画像ｉｍｌ´，ｉｍｄ´が生成される。ノイズ除去部２２は、ノイズが除去された部分画像ｉｍｌ´，ｉｍｄ´を差分画像生成部２３に渡す。なお、ノイズの除去方法については後述する。
【００５２】
なお、ノイズ除去部２２は、部分画像ｉｍｌ，ｉｍｄの一方からのみノイズを除去すると判定した場合、部分画像ｉｍｌ，ｉｍｄの一方からノイズを除去し、ノイズを除去した部分画像と、ノイズを除去していない部分画像と、を差分画像生成部２３に渡せばよい。例えば、ノイズ除去部２２は、部分画像ｉｍｄからのみノイズを除去すると判定した場合、部分画像ｉｍｄからノイズを除去し、ノイズを除去した部分画像ｉｍｄ´と、ノイズを除去していない部分画像ｉｍｌと、を差分画像生成部２３に渡せばよい。この場合、差分画像生成部２３は、部分画像ｉｍｌ，ｉｍｄ´から差分画像ＩｍＳを生成し、生成した差分画像ＩｍＳを二値画像生成部２４に渡す。ノイズ除去部２２が部分画像ｉｍｌからのみノイズを除去すると判定した場合も同様である。
【００５３】
差分画像生成部２３は、ノイズが除去された部分画像ｉｍｌ´，ｉｍｄ´を受け取ると、受け取った部分画像ｉｍｌ´，ｉｍｄ´から差分画像ＩｍＳを生成する（ステップＳ１０６）。これにより、図５（Ｃ）に示すように、瞳孔Ｐの輝度が周囲の輝度より相対的に大きい差分画像ＩｍＳが生成される。これは、瞳孔ＰＬの輝度が瞳孔ＰＤの輝度より大きいのに対して、瞳孔ＰＬの周囲の輝度と瞳孔ＰＤの周囲の輝度とは略同様のためである。差分画像生成部２３は、生成した差分画像ＩｍＳを二値画像生成部２４に渡す。
【００５４】
二値画像生成部２４は、差分画像ＩｍＳを受け取ると、受け取った差分画像ＩｍＳを二値化して二値画像ＩｍＢを生成する（ステップＳ１０７）。これにより、図５（Ｄ）のような二値画像ＩｍＢが生成される。図５（Ｄ）からわかるように、二値画像ＩｍＢの白部分は瞳孔Ｐに相当する。二値画像生成部２４は、生成した二値画像ＩｍＢを瞳孔検出部２５に渡す。
【００５５】
瞳孔検出部２５は、二値画像ＩｍＢを受け取ると、受け取った二値画像ＩｍＢに基づいて、瞳孔Ｐを検出する（ステップＳ１０８）。図５（Ｄ）の例では、二値画像ＩｍＢの白部分の中心や重心が、瞳孔Ｐの座標として検出される。
【００５６】
以上の処理により、瞳孔検出装置１００は、明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤに基づいて、対象者の左眼の瞳孔Ｐを検出することができる。なお、図５の例では、部分画像ｉｍｌ，ｉｍｄに基づいて瞳孔Ｐを検出したが、瞳孔検出装置１００は、部分画像ｉｍｌ，ｉｍｄを抽出せずに、明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤに基づいて瞳孔Ｐを検出してもよい。
【００５７】
次に、ノイズの除去方法について説明する。図６は、ノイズ除去部２２が実行するノイズ除去処理の一例を示すフローチャートである。図６のフローチャートは、図４のステップＳ１０５の内部処理に相当する。以下、部分画像ｉｍｌからノイズを除去する場合を例に説明するが、部分画像ｉｍｄについても同様の方法でノイズを除去することができる。
【００５８】
図６に示すように、まず、ノイズ除去部２２は、部分画像ｉｍｌに含まれる画素の中から、１つの画素を対象画素として選択する（ステップＳ２０１）。
【００５９】
次に、ノイズ除去部２２は、対象範囲Ｒに含まれる画素の輝度の中で最小の輝度を取得する（ステップＳ２０２）。ここでいう画素の輝度は、後述するステップＳ２０３で変更される前の輝度のことである。また、対象範囲Ｒは、対象画素を基準として予め設定された、対象画素を含む画素範囲である。対象範囲Ｒは、例えば、対象画素を含むｎ行ｍ列の矩形の画素範囲であるが、これに限られない。
【００６０】
続いて、ノイズ除去部２２は、対象画素の輝度を、ステップＳ２０２で取得した最小の輝度に変更する（ステップＳ２０３）。
【００６１】
その後、ノイズ除去部２２は、部分画像ｉｍｌに含まれる、対象画素として選択可能な全ての画素が、対象画素として選択されたか確認する（ステップＳ２０４）。対象画素として選択可能な画素とは、その画素を基準とした対象範囲Ｒが部分画像ｉｍｌに含まれる画素のことである。
【００６２】
ノイズ除去部２２は、対象画素として未選択の画素がある場合（ステップＳ２０４のＮＯ）、未選択の画素の中から次の対象画素を選択する（ステップＳ２０１）。一方、ノイズ除去部２２は、全ての画素が対象画素として選択された場合（ステップＳ２０４のＹＥＳ）、ノイズ除去処理を終了する。以上のノイズ除去処理は、いわゆる最小値フィルタに相当する。
【００６３】
ここで、図７は、部分画像ｉｍｌの一例を示す図である。図７（Ａ）は、ノイズ除去前の部分画像ｉｍｌを示す図であり、図７（Ｂ）は、ノイズ除去後の部分画像ｉｍｌ´を示す図である。図７（Ａ）の部分画像ｉｍｌは１０行１０列の画素を含む画像であり、図７（Ｂ）の部分画像ｉｍｌ´は８行８列の画素を含む画像であり、対象範囲Ｒは対象画素を中心とした３行３列の画素範囲である。図７の各画素には、その輝度が記載されている。部分画像ｉｍｌ，ｉｍｌ´におけるｎ行ｍ列の画素を、画素（ｎ，ｍ）と称する。例えば、部分画像ｉｍｌにおける画素（１，１）（左上の画素）の輝度は５４である。
【００６４】
部分画像ｉｍｌの画素（５，５）が対象画素として選択された場合、対象範囲Ｒは、画素（５，５）を中心とした、画素（４，４）から画素（６，６）までの３行３列の画素範囲となる。画素（５，５）の輝度（＝２０１）は、この対象範囲Ｒに含まれる画素の輝度の中で最小の輝度、すなわち、画素（６，４）の輝度（＝５０）に変更される。
【００６５】
ノイズ除去部２２がこのような輝度の変更を、対象画素を順次選択しながら繰り返すことにより、図７（Ａ）の部分画像ｉｍｌから図７（Ｂ）の部分画像ｉｍｌ´が生成される。図７の例では、対象範囲Ｒは対象画素を中心とした３行３列の画素範囲であるため、対象画素として選択可能な画素は、画素（２，２）から画素（９，９）までの８行８列の画素範囲に含まれる画素となる。このため、図７（Ｂ）に示すように、部分画像ｉｍｌ´は、８行８列の画素を含む画像となる。
【００６６】
図７からわかるように、ノイズ除去処理によって、部分画像ｉｍｌに含まれる輝点（画素（５，５））の輝度は、周囲の画素の輝度と同じ程度の輝度に変更される。このように、輝点の輝度を小さくすることは、部分画像ｉｍｌから輝点を除去することに相当する。一般に、瞳孔検出の妨げとなるノイズは、数画素程度の微小な輝点であるため、上記のノイズ除去処理によって、部分画像ｉｍｌから効果的にノイズを除去することができる。
【００６７】
以上説明した通り、瞳孔検出装置１００は、明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤから予めノイズを除去し、ノイズが除去された明瞳孔画像ＩｍＬ及び暗瞳孔画像ＩｍＤに基づいて、ノイズを含まない二値画像ＩｍＢを生成することができる。瞳孔検出装置１００は、ノイズを含まない二値画像ＩｍＢから瞳孔Ｐを検出するため、ノイズに起因する瞳孔Ｐの誤検出が抑制される。この結果、瞳孔検出装置１００は、瞳孔Ｐを精度よく検出することができる。
【００６８】
なお、差分画像ＩｍＳは明瞳孔画像ＩｍＬ−暗瞳孔画像ＩｍＤで生成される事から、明瞳孔画像ＩｍＬのノイズが差分画像ＩｍＳに残るのに対し、暗瞳孔画像ＩｍＤのノイズは差分画像ＩｍＳには残らない。このため、ノイズ除去処理は明瞳孔画像ＩｍＬのみに行ってもよい。
【００６９】
なお、図６のノイズ除去処理では、ノイズ除去部２２は、対象画素の輝度を、対象範囲Ｒに含まれる画素の輝度の中で最小の輝度に変更したが、対象範囲Ｒに含まれる画素の輝度の中で２番目に小さい輝度に変更してもよい。これにより、撮影部１１の異常による影響を抑制できる。例えば、撮影部１１のイメージセンサの一部が、故障により０しか出力しなくなった場合、当該イメージセンサに対応する顔画像の画素は、常に黒画素となる。この顔画像に図６のノイズ除去処理が実行されると、故障したイメージセンサに対応する画素の周囲は、常に黒部分となる。この黒部分と瞳孔Ｐとの少なくとも一部が重複している場合、瞳孔検出装置１００は、瞳孔Ｐを検出できなくなるおそれがある。対象画素の輝度を、対象範囲Ｒに含まれる画素の輝度の中で２番目に小さい輝度に変更することにより、撮影部１１の異常による上記のような影響を抑制できる。
【００７０】
またイメージセンサの異常が複数画素に及ぶ場合も考えられるため、対象画素の輝度を、対象範囲Ｒに含まれる画素の輝度の中でＮ番目に小さい輝度にしてもよい（Ｎは３以上、対象範囲Ｒに含まれる画素数−１以下）。
【００７１】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【００７２】
１：撮影装置
２：制御装置
１１：撮影部
１２：光源
２１：顔画像取得部
２２：ノイズ除去部
２３：差分画像生成部
２４：二値画像生成部
２５：瞳孔検出部
１００：瞳孔検出装置
ＩｍＬ：明瞳孔画像
ＩｍＤ：暗瞳孔画像
ｉｍｌ，ｉｍｄ：部分画像
ＩｍＳ：差分画像
ＩｍＢ：二値画像
Ｐ：瞳孔
Ｒ：対象範囲
【図１】
2019111096.tif 000003
【図２】
2019111096.tif 000004
【図３】
2019111096.tif 000005
【図４】
2019111096.tif 000006
【図５】
2019111096.tif 000007
【図６】
2019111096.tif 000008
【図７】
2019111096.tif 000009