(57)【要約】【課題】撮影されている対象者がサングラスを着用している場合であっても、画像処理によりその人の視線を推定することができる画像処理装置を提供すること。【解決手段】地表での太陽スペクトルが著しく低下する波長の近赤外光を照射する近赤外ＬＥＤ１２と、前記近赤外ＬＥＤ１２が照射する波長を透過する光学バンドパスフィルタ１３と、前記近赤外ＬＥＤ１２によって照らされた人間の顔を、前記光学バンドパスフィルタ１３を通して撮影するカメラ１４と、前記カメラ１４によって撮影された顔画像に対してデータ処理を行い、前記顔画像から瞳孔を検出する処理部１５と、を備える。【選択図】図１
2019101974.tif 000002
【特許請求の範囲】
【請求項１】
地表での太陽スペクトルが著しく低下する波長の近赤外光を照射する光源と、
前記光源が照射する波長を透過する光学フィルタと、
前記光源によって照らされた人間の顔を、前記光学フィルタを通して撮影するカメラと、
前記カメラによって撮影された顔画像に対してデータ処理を行い、前記顔画像から瞳孔を検出する処理部と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記処理部は、
ある走査方向にてエッジを検出するフィルタ処理を前記顔画像に施して、勾配の大きさが情報として保持されたエッジ画像を生成し、
３次元モデルの表面に仮想的に位置する円形状のサンプリング円が前記エッジ画像に投影された状態において、前記サンプリング円を構成する複数点それぞれに対応する前記エッジ画像中の位置ごとに、前記勾配の大きさをサンプリング値として抽出して尤度評価の対象とし、
複数の前記サンプリング円のうち、尤度が最大となる前記サンプリング円を瞳孔として検出する、
ことを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記処理部は、動的に半径が変化する前記サンプリング円を用いて、前記顔画像から瞳孔を検出する
ことを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記処理部は、時間の経過に応じて、前記サンプリング円の半径を変化させる、
ことを特徴とする画像処理装置。
【請求項５】
請求項３に記載の画像処理装置であって、
前記処理部は、前記尤度がある閾値よりも低下した場合、前記サンプリング円の半径を変化させる、
ことを特徴とする画像処理装置。
【請求項６】
請求項３に記載の画像処理装置であって、
可視光を検出する光センサをさらに備え、
前記処理部は、前記光センサにより検出される強度に基づいて、前記サンプリング円の半径を変化させる、
ことを特徴とする画像処理装置。
【請求項７】
請求項２から６のいずれか１項に記載の画像処理装置であって、
前記処理部は、
半径の異なる複数の円を同一の位置を中心点として配したサンプリング円を用い、
３次元モデルの表面に仮想的に位置する前記サンプリング円が、前記エッジ画像に投影された状態において、前記サンプリング円を構成する複数点それぞれに対応する前記エッジ画像中の位置ごとに、前記勾配の大きさをサンプリング値として抽出して尤度評価の対象とし、
複数の前記サンプリング円のうち、尤度が最大となる前記サンプリング円を瞳孔として検出する、
ことを特徴とする画像処理装置。
【請求項８】
請求項２から７のいずれか１項に記載の画像処理装置であって、
前記処理部は、前記サンプリング円を前記エッジ画像に投影する前段として、前記顔画像を二値化した二値化画像に対して瞳孔を模擬した黒丸画像をマッチングさせて最も尤度の大きかった黒丸画像の中心が位置する前記二値化画像上の座標を瞳孔の中心位置として、当該黒丸画像の半径を瞳孔の半径として、それぞれ抽出し、
前記瞳孔の半径が設定された前記サンプリング円を、前記エッジ画像上における前記瞳孔の中心位置の近傍に投影する、
ことを特徴とする画像処理装置。
【請求項９】
請求項８に記載の画像処理装置であって、
前記処理部は、前記二値化画像に対して動的に半径が変化する前記黒丸画像をマッチングさせる、
ことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に、人の顔などを撮影した画像に基づき目の特徴である視線などを推定するために利用可能な技術に関する。
【背景技術】
【０００２】
従来、人物の顔をカメラで撮影して得た画像のデータを処理して目の特徴を特定する画像処理装置が知られている（例えば特許文献１）。特許文献１の技術は、正確に瞳の領域を検出することを目的としている。
【０００３】
また、特許文献１に示された画像処理装置においては、顔画像の目がある目領域を、少なくとも目における縦方向に微分して輝度勾配を求める第２微分部４１と、目領域について、輝度勾配を２値化しエッジ点を抽出する２値化部４２と、目頭点および目尻点を両端点とし、該両端点と制御点とによって表現される曲線であって、かつ、上記エッジ点に適合する曲線を、上瞼または下瞼の輪郭を表す曲線として特定する瞼輪郭特定部４４とを備えている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１９０３５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
人の顔を撮影した動画から、画像処理によりその人の視線を推定するような装置においては、画像中から虹彩の領域または瞳孔の領域の中心座標を高精度に検出できることが望ましい。
【０００６】
しかし、特許文献１に記載されている手法では、撮影されている対象者がサングラスを着用している場合、画像中から虹彩または瞳孔を検出することは難しい。このため、画像処理によりその対象者の視線を推定することが難しかった。
【０００７】
本発明は、上述した事情に鑑みてなされたものであり、その目的は、撮影されている対象者がサングラスを着用している場合であっても、画像処理によりその人の視線を推定することができる画像処理装置を提供することにある。
【課題を解決するための手段】
【０００８】
前述した目的を達成するために、本発明に係る画像処理装置は、下記（１）〜（９）を特徴としている。
（１）
地表での太陽スペクトルが著しく低下する波長の近赤外光を照射する光源と、
前記光源が照射する波長を透過する光学フィルタと、
前記光源によって照らされた人間の顔を、前記光学フィルタを通して撮影するカメラと、
前記カメラによって撮影された顔画像に対してデータ処理を行い、前記顔画像から瞳孔を検出する処理部と、
を備えることを特徴とする画像処理装置。
（２）
上記（１）の構成の画像処理装置であって、
前記処理部は、
ある走査方向にてエッジを検出するフィルタ処理を前記顔画像に施して、勾配の大きさが情報として保持されたエッジ画像を生成し、
３次元モデルの表面に仮想的に位置する円形状のサンプリング円が前記エッジ画像に投影された状態において、前記サンプリング円を構成する複数点それぞれに対応する前記エッジ画像中の位置ごとに、前記勾配の大きさをサンプリング値として抽出して尤度評価の対象とし、
複数の前記サンプリング円のうち、尤度が最大となる前記サンプリング円を瞳孔として検出する、
ことを特徴とする画像処理装置。
（３）
上記（２）の構成の画像処理装置であって、
前記処理部は、動的に半径が変化する前記サンプリング円を用いて、前記顔画像から瞳孔を検出する
ことを特徴とする画像処理装置。
（４）
上記（３）の構成の画像処理装置であって、
前記処理部は、時間の経過に応じて、前記サンプリング円の半径を変化させる、
ことを特徴とする画像処理装置。
（５）
上記（３）の構成の画像処理装置であって、
前記処理部は、前記尤度がある閾値よりも低下した場合、前記サンプリング円の半径を変化させる、
ことを特徴とする画像処理装置。
（６）
上記（３）の構成の画像処理装置であって、
可視光を検出する光センサをさらに備え、
前記処理部は、前記光センサにより検出される強度に基づいて、前記サンプリング円の半径を変化させる、
ことを特徴とする画像処理装置。
（７）
上記（２）から（６）のいずれか１つの構成の画像処理装置であって、
前記処理部は、
半径の異なる複数の円を同一の位置を中心点として配したサンプリング円を用い、
３次元モデルの表面に仮想的に位置する前記サンプリング円が、前記エッジ画像に投影された状態において、前記サンプリング円を構成する複数点それぞれに対応する前記エッジ画像中の位置ごとに、前記勾配の大きさをサンプリング値として抽出して尤度評価の対象とし、
複数の前記サンプリング円のうち、尤度が最大となる前記サンプリング円を瞳孔として検出する、
ことを特徴とする画像処理装置。
（８）
上記（２）から（７）のいずれか１つの構成の画像処理装置であって、
前記処理部は、前記サンプリング円を前記エッジ画像に投影する前段として、前記顔画像を二値化した二値化画像に対して瞳孔を模擬した黒丸画像をマッチングさせて最も尤度の大きかった黒丸画像の中心が位置する前記二値化画像上の座標を瞳孔の中心位置として、当該黒丸画像の半径を瞳孔の半径として、それぞれ抽出し、
前記瞳孔の半径が設定された前記サンプリング円を、前記エッジ画像上における前記瞳孔の中心位置の近傍に投影する、
ことを特徴とする画像処理装置。
（９）
上記（８）の構成の画像処理装置であって、
前記処理部は、前記二値化画像に対して動的に半径が変化する前記黒丸画像をマッチングさせる、
ことを特徴とする画像処理装置。
【０００９】
上記（１）の構成の画像処理装置によれば、運転手の前方の物体が自然光（太陽光）を受けて反射した可視光がサングラス表面にて反射しても、光学フィルタによって遮断されてカメラに入射しない。このため、カメラによって撮影された画像においてサングラス表面に物体が映り込むことを抑制できる。また、カメラによって撮影された画像では、瞳孔と瞳孔を囲む虹彩との濃淡の差が、虹彩と虹彩を囲む強膜（しろ目）または限瞼（まぶた）との濃淡の差よりも顕著に表れる。このため、画像処理により検出の対象を瞳孔と定めることによって、人の視線を精度よく推定することができる。
上記（２）の構成の画像処理装置によれば、パーティクルフィルタを用いて瞳孔を検出することによって、精度良く瞳孔の領域を特定することができる。
上記（３）の構成の画像処理装置によれば、パーティクルフィルタの径を動的に変更することによって、縮小または拡大する瞳孔に追従してパーティクルフィルタの径を設定することができる。これにより、瞳孔の中心座標を高精度に検出することできる。
上記（４）の構成の画像処理装置によれば、パーティクルフィルタの径が定期的に更新されることによって、縮小または拡大する瞳孔に追従してパーティクルフィルタの径を設定することができる。これにより、瞳孔の中心座標を高精度に検出することできる。
上記（５）の構成の画像処理装置によれば、現在のパーティクルフィルタにより算出される尤度が低下した場合にパーティクルフィルタの径が更新されることによって、縮小または拡大する瞳孔に追従してパーティクルフィルタの径を設定することができる。これにより、瞳孔の中心座標を高精度に検出することできる。
上記（６）の構成の画像処理装置によれば、光センサから伝達される信号の大小に応じてパーティクルフィルタの径が選択されることによって、パーティクルフィルタの径が動的に変更される。このように周囲環境の明るさからパーティクルフィルタの径を動的に変更することによって、瞳孔の中心座標を高精度に検出することできる。
上記（７）の構成の画像処理装置によれば、瞳孔径が変化する前後において、変化する前では径の大きい（小さい）サンプリング円が瞳孔を捕捉し、他方、変化した後では径の小さい（大きい）サンプリング円が瞳孔を捕捉することができる。このように、瞳孔径の変化に対応して瞳孔の中心座標を高精度に検出することできる。
上記（８）の構成の画像処理装置によれば、テンプレートマッチングの手法を用いて、瞳孔の粗探索を行うことによって、その後の処理でパーティクルフィルタを散布する範囲を絞ることができる。これにより、精度良く瞳孔の領域を特定することができる。
上記（９）の構成の画像処理装置によれば、黒丸画像の径が動的に変更されることにより、瞳孔の粗探索の精度が向上する。これにより、複数のパーティクルフィルタを散布したときに瞳孔の形状に合うパーティクルフィルタの出現率が高まるため、瞳孔の中心座標を高精度に検出することできる。
【発明の効果】
【００１０】
本発明の画像処理装置によれば、撮影されている対象者がサングラスを着用している場合であっても、画像処理によりその人の視線を推定することができる。
【００１１】
以上、本発明について簡潔に説明した。更に、以下に説明される発明を実施するための形態（以下、「実施形態」という。）を添付の図面を参照して通読することにより、本発明の詳細は更に明確化されるであろう。
【図面の簡単な説明】
【００１２】
【図１】図１（ａ）、（ｂ）は、本発明の画像処理装置が車両に搭載された配置状態の具体例を示す図である。
【図２】図２は、地表での太陽光スペクトルを図である。
【図３】図３は、本発明に係る第１実施形態の画像処理装置が実施する視線検出アルゴリズムの概要を示すフローチャートである。
【図４】図４は、眼球の３Ｄ（三次元）モデルおよび２Ｄ（二次元）画像の関係を示す図である。
【図５】図５は、本発明に係る第１実施形態の画像処理装置が実施する瞳孔検出アルゴリズムにおける、画像から瞳孔を探索する処理の流れおよびデータの具体例である。
【図６】図６は、パーティクルフィルタを用いて瞳孔位置を検出するための処理を説明するフローチャートである。
【図７】図７は、図６に示した処理を実行する場合の処理データの具体例である。
【図８】図８は、実施例１の画像処理装置によるパーティクルフィルタの径を動的に変更するフローチャートを図８に示す。
【図９】図９（ａ）から（ｃ）は、図８に示すフローチャートを実施するなかで尤度が最も高いパーティクルフィルタと瞳孔との位置関係を表す模式図である。
【図１０】図１０は、実施例３の画像処理装置に用いるパーティクルフィルタの形状を説明する図である。
【図１１】図１１は、図１０に示したパーティクルフィルタを散布した模式図である。
【図１２】図１２は、実施例４の画像処理装置による黒丸画像の径を動的に変更するフローチャートである。
【発明を実施するための形態】
【００１３】
本発明の画像処理装置に関する具体的な実施の形態について、各図を参照しながら以下に説明する。
【００１４】
＜本発明の画像処理装置の概要＞
本発明の画像処理装置が車両に搭載された配置状態の具体例を図１（ａ）、（ｂ）に示す。
図１（ａ）、（ｂ）に示した例では、車両の車室内１０に近赤外ＬＥＤ（Light Emitting Diode）１２、光学バンドパスフィルタ（Band-Pass Filter）１３、カメラ１４および処理部１５が設置されている。具体的には、運転席に着座している人物１１、すなわち運転者の目の領域１１ａを含む顔などをカメラ１４によって撮影できるように、運転席前方のメータユニット内、あるいはコラムカバーの箇所に近赤外ＬＥＤ１２、光学バンドパスフィルタ１３、カメラ１４が設置されている。
【００１５】
近赤外ＬＥＤ１２は、近赤外光を放射する光源であり、人物１１に対して近赤外光を照射できる位置または角度に、運転席前方のメータユニット内あるいはコラムカバー等に配置される。近赤外ＬＥＤ１２が放射する近赤外光の波長は、９４０［ｎｍ］付近、１１００［ｎｍ］付近、１４００［ｎｍ］付近、１８００［ｎｍ］付近であることが好ましい。この数値が好ましい理由については、追って説明する。
【００１６】
また、光学バンドパスフィルタ１３は、近赤外ＬＥＤ１２が放射する近赤外光を透過し、それ以外の波長の光を遮断する光学素子である。光学バンドパスフィルタ１３は、図１（ｂ）に示すように、カメラ１４の撮影方向前方に設置されている。光学バンドパスフィルタ１３は、光学バンドパスフィルタ１３を透過した近赤外光のみがカメラ１４に入射する位置または角度に、運転席前方のメータユニット内あるいはコラムカバー等に配置される。
【００１７】
処理部１５は、カメラ１４が人物１１の顔を撮影した得られる二次元画像データを処理して、目の領域１１ａのデータから視線１１ｂの方向を示す情報を推定する。処理部１５が推定した視線１１ｂの情報は、代表例として、車両を運転する運転者が安全確認のための視線移動をしているかどうかを車載装置が認識するために利用できる。勿論、このような視線の情報は様々な用途に利用可能である。したがって、本発明の画像処理装置は、例えば図１中の処理部１５、あるいはその一部として構成することが想定される。
【００１８】
さて、本発明の画像処理装置は、近赤外ＬＥＤ１２及び光学バンドパスフィルタ１３を備える点、具体的には、近赤外ＬＥＤ１２が近赤外光を放射し、光学バンドパスフィルタ１３が同波長の近赤外光のみを透過する点、に特徴がある。本発明の特徴を説明するために、まずは、撮影されている対象者がサングラスを着用している場合に、特許文献１のような従来手法に潜在的に存在する課題について説明する。
【００１９】
従来手法によって撮影された、サングラスをかけた対象者の画像を詳細に見てみると、運転手の前方の物体（風景）がサングラスに映り込んでいることが確認された。これは、運転手の前方の物体が自然光（太陽光）を受けて反射した可視光が、サングラス表面にて反射しカメラに入射しているためである。このようなサングラスに映り込んだ物体の位置と、サングラスの奥に位置する運転手の眼の位置とが画像上で重なると、運転手の虹彩または瞳孔を検出する精度が著しく低下することを本発明者らは突き詰めた。
【００２０】
そこで、本発明者らは、地表での太陽光スペクトルに着目した。地表での太陽光スペクトルを図２に示す。図２には、参考までに大気圏外での太陽光スペクトルを記載している。図２から読み取れるように、地表での太陽光スペクトルは、可視光において放射照度がピークとなり、波長が長い近赤外光（７５０［ｎｍ］〜２５００［ｎｍ］）に向かうにつれて放射照度が減少することが分かる。特に、近赤外光では、放射照度が９４０［ｎｍ］付近、１１００［ｎｍ］付近、１４００［ｎｍ］付近、１８００［ｎｍ］付近の波長で著しく低下することが分かる。これを踏まえ、本発明者らは、地表での太陽光スペクトルが著しく低下する波長の近赤外光のみカメラ１４に入射するようにすれば、この波長における自然光は強度が低いために物体が自然光を受けて反射した光の強度も弱いために、撮影された画像においてサングラス表面に物体が映り込むことを抑制できる。一方で、近赤外ＬＥＤ１２によって照らされて対象者の顔を反射した近赤外光は充分な強度が得られる。これにより、運転手の虹彩または瞳孔を検出する精度が向上すると思い至った。この着想にしたがい発明した構成が、上述した図１（ａ）、（ｂ）に示す構成である。図１（ａ）、（ｂ）に示す構成であれば、運転手の前方の物体が自然光（太陽光）を受けて反射した可視光がサングラス表面にて反射しても、光学バンドパスフィルタ１３によって遮断されてカメラ１４にそもそも入射しない。また、光学バンドパスフィルタ１３を通過する波長では、物体が自然光を受けて反射した光の強度も弱い。こうして、カメラ１４によって撮影された画像においてサングラス表面に物体が映り込むことを抑制できる。尚、本発明の実施形態では、撮影された画像において物体が映り込む対象をサングラスとしたが、同様の現象はメガネにも確認される。このため、本発明によれば、撮影された画像においてメガネ表面に物体が映り込むことを抑制することができる。このため、本発明の効果を一般化すると次のようにいうことができる。すなわち、自然光（太陽光）を受けて反射する遮蔽物がカメラと人間の眼との間に有る場合、撮影された画像において遮蔽物表面に物体が映り込むことを抑制することができる。
【００２１】
本発明者らは図１（ａ）、（ｂ）に示す構成を用いて画像処理による視線推定方法の検証を進めたところ、図１（ａ）、（ｂ）に示す構成は瞳孔の検出により適しているとの知見を得た。これは、近赤外光が入射するカメラ１４によって撮影された画像では、瞳孔と瞳孔を囲む虹彩との濃淡の差が、虹彩と虹彩を囲む強膜（しろ目）または限瞼（まぶた）との濃淡の差よりも顕著に表れるためである。濃淡の差が顕著であることは、カメラ１４によって撮影された画像に対してエッジ抽出処理を行ったとき、精度よく瞳孔と虹彩との境界を抽出することができることに繋がる。こうして、図１（ａ）、（ｂ）に示す構成に示す本発明の画像処理装置によれば、画像処理により検出の対象を瞳孔と定めることによって、人の視線を精度よく推定することができる。以上、本発明の画像処理装置の概要を説明した。以降では、本発明に係る第１実施形態の画像処理装置について詳細に説明する。
【００２２】
＜本発明に係る第１実施形態の画像処理装置の詳細＞
＜視線検出アルゴリズムの概要＞
本発明に係る第１実施形態の画像処理装置が実施する視線検出アルゴリズムの概要を説明する。図３は、本発明に係る第１実施形態の画像処理装置が実施する視線検出アルゴリズムの概要を示すフローチャートである。画像処理装置のコンピュータが所定のプログラムを実行することにより、図３に示した視線検出アルゴリズムに従った動作が順次に行われる。
【００２３】
カメラ１４は、人物１１の顔を含む領域の映像を一定の周期で常時撮影し、映像の信号を出力する。画像処理装置のコンピュータは、ステップＳ１２でカメラ１４から映像の信号を１フレーム分取り込む。
【００２４】
そして次のステップＳ１３で、グレースケール化を含む、画像のデータ形式の変換、すなわち「下処理」を行う。例えば、１フレーム内の各画素位置毎に、輝度を「０〜２５５」の範囲の階調で表す８ビットデータを、撮影時のフレーム内走査方向に合わせて縦方向及び横方向に並べた二次元（２Ｄ）配列の画像データを生成する。
【００２５】
次のステップＳ１４では、例えば「Viola-Jones法」を用いて顔検出を行い、１フレームの二次元画像データの中から顔を含む領域を矩形の領域として抽出する。すなわち、顔の陰影差を特徴とし「Boosting」を用いた学習によって作成された検出器を使って顔の領域を抽出する。「Viola-Jones法」の技術は、例えば以下の文献に示されている。
「P.viola and M.J.Jones,"Rapid Object Detection Using a Boosted Cascade of Simple Features," IEEE CVPR(2001).」
【００２６】
次のステップＳ１５では、Ｓ１４で抽出した顔の矩形領域のデータの中から、例えば「Viola-Jones法」を用いて目の領域を検出する。
【００２７】
また、本第１実施形態では後述する眼球３Ｄモデルを用いるモデルベース手法によって視線を検出する場合を想定しているので、眼球中心を特定する必要がある。この眼球中心をステップＳ１６で推定する。ここでは、ステップＳ１５で検出した目の矩形領域の中心座標を眼球中心と仮定する。なお、例えば目尻、目頭位置に基づき眼球中心を決定する方法や、顔の特徴点より骨格を推定し同時に眼球中心位置を算出する方法を利用することも想定される。
【００２８】
ステップＳ１７では、Ｓ１５で検出した目の矩形領域のデータについて、テンプレートマッチングの手法を適用して、瞳孔の粗探索を行う。具体的には、目周辺を切り出した目画像を二値化した画像に対して、テンプレートとして黒丸画像をマッチングさせて最も尤度の大きかった黒丸画像の画像中心（黒丸の中心）の座標を目画像中の瞳孔の中心位置とし、最も尤度の大きかった黒丸画像の半径を目画像中の瞳孔の半径とする。なお、ステップＳ１７の処理は、目画像中の瞳孔の中心位置及び半径に関しておおよその目処をつけるために行うものである。
【００２９】
ステップＳ１８では、Ｓ１７で探索した瞳孔の中心位置及び半径を利用し、パーティクルフィルタの手法を適用して、より精度の高い瞳孔の中心位置及び半径を検出する。ステップＳ１８には本発明の特徴的な処理が含まれているので、この内容については後で詳細に説明する。
【００３０】
ステップＳ１３〜Ｓ１８の処理により、１フレームの画像について、眼球中心座標や瞳孔の中心位置の座標のデータが得られるので、その数値データをステップＳ１９で出力する。眼球中心座標および瞳孔の中心位置の座標により視線の方向を特定できる。また、カメラ１４が出力する映像が途切れるまで、ステップＳ１１〜Ｓ２０のループ状の処理を繰り返すことで、リアルタイムでの視線検出を実現する。
【００３１】
＜眼球３Ｄモデルの説明＞
眼球の３Ｄ（三次元）モデルおよび２Ｄ（二次元）画像の関係を図４に示す。
図４に示した眼球３Ｄモデル３０において、この眼球は眼球中心３１と、半径Ｒとで表される球体である。また、この眼球の表面に円形形状の虹彩３２があり、虹彩３２の中央に円形形状の瞳孔３３がある。
【００３２】
したがって、視線の方向は、眼球中心３１から虹彩３２または瞳孔３３の中央に向かう方向として特定でき、水平面内の基準方向に対する回転角度ヨー（yaw）、および上下方向の基準方向に対する回転角度ピッチ（pitch）により表すことができる。また、虹彩３２または瞳孔３３の中心座標は、眼球中心３１を基準とした場合、眼球半径Ｒ、ヨー（yaw）、およびピッチ（pitch）により表すことができる。
【００３３】
一方、カメラ１４が撮影する映像は特定の２次元平面を表している。したがって、カメラ１４の撮影で得た二次元画像３４を眼球３Ｄモデル３０に適用する場合には、二次元／三次元の相互変換を行う必要がある。そこで、例えば次の計算式を用いて変換する。
【００３４】
Ｘ＝−Ｒ×ｃｏｓ（ｐｉｔｃｈ）×ｓｉｎ（ｙａｗ）    ・・・（１）
Ｙ＝Ｒ×ｓｉｎ（ｐｉｔｃｈ）                         ・・・（２）
Ｘ：二次元画像平面上での眼球中心３１からのｘ方向の距離
Ｙ：二次元画像平面上での眼球中心３１からのｙ方向の距離
【００３５】
＜画像から瞳孔を探索する処理の詳細＞
＜処理の流れ＞
本発明に係る第１実施形態の画像処理装置が実施する瞳孔検出アルゴリズムの詳細を説明する。図５は、本発明に係る第１実施形態の画像処理装置が実施する瞳孔検出アルゴリズムにおける、画像から瞳孔を探索する処理の流れおよびデータの具体例である。
図５のステップＳ４１では、図４中のステップＳ１５の結果を利用して、１フレーム全体の二次元画像データの中から目およびその周辺の矩形領域を切り出して、データＤ４１を取得する。
【００３６】
図５のステップＳ４２では、ステップＳ４１で取得したデータＤ４１を画素毎の階調が黒／白の二値のみになるように二値化した二値化画像Ｄ４２を生成した後で、この二値化画像Ｄ４２に対して図３のステップＳ１７のテンプレートマッチングを実施する。すなわち、瞳孔の形状に似た黒丸形状の画像Ｄ４ｔをテンプレートとして利用し、このテンプレートを二値化画像Ｄ４２の画像上で走査しながら、特徴が尤も似ているおおよその瞳孔の位置Ｐ４１を探索し、その位置および瞳孔の半径または直径を特定する。
【００３７】
また、図５のステップＳ４３では、ステップＳ４１で取得した目のデータＤ４１に対してソーベルフィルタの処理を施す。具体的には、目のデータＤ４１を左から右に向かって水平方向に順次に走査し、輝度変化のない部分では黒（階調値：０）を出力し、輝度変化の勾配が大きいほど白（階調値：２５５）に近づくようにして、エッジを検出する。これにより、エッジを抽出した目画像のエッジ画像Ｄ４３が得られる。
【００３８】
図５のステップＳ４４では、ステップＳ４２の結果得られたおおよその瞳孔の位置近傍に、ステップＳ４３の結果得られた目画像のエッジ画像Ｄ４３に対してパーティクルフィルタの処理を実行する。
【００３９】
＜パーティクルフィルタによる瞳孔検出の処理＞
図５に示したステップＳ４４の詳細を図６に示す。すなわち、パーティクルフィルタを用いて瞳孔位置を検出するための処理を説明するフローチャートが図６に示されている。また、図６に示した処理を実行する場合の処理データの具体例を図７に示す。
【００４０】
図７中の二値化した二値化画像データＤ９１に対してステップＳ４２の粗探索を実行することにより、円形の瞳孔の領域９１が検出される。図６のステップＳ１８ａでは、ステップＳ１７またはＳ４２の粗探索で得られた瞳孔の中心位置を、第（１）式および第（２）式に基づき眼球３Ｄモデル３０の座標系（Ｒ、Ｐｐ、Ｐｙ）に変換し、瞳孔の中心位置を表す眼球回転角（Ｐｐ、Ｐｙ）を得る。
Ｒ：眼球半径
Ｐｐ：回転角ｐｉｔｃｈを表す変数
Ｐｙ：回転角ｙａｗ表す変数
【００４１】
したがって、粗探索で得た円形の瞳孔の領域９２の位置を、図７に示すように眼球３Ｄモデル３０Ａ上の眼球表面位置に反映することができる。
【００４２】
続いて、図６のステップＳ１８ｂでは、実際の瞳孔位置の候補を見つけるために必要な複数のパーティクルフィルタを粗探索で得た瞳孔の中心位置（Ｐｐ、Ｐｙ）の近傍に散布する。具体的には、乱数を用いて、例えば１００セットのサンプリング円９３を作成する。これらのサンプリング円９３は、図７に示すように眼球３Ｄモデル３０Ｂ上の眼球表面位置に反映することができる。各々のサンプリング円９３は、瞳孔の中心位置（Ｐｐ、Ｐｙ）に、それぞれ異なる乱数成分（Ｐpd、Ｐyd）を加算した位置を中心とする円形の領域である。
Ｐpd：回転角ｐｉｔｃｈに加算される乱数成分
Ｐyd：回転角ｙａｗに加算される乱数成分
また、各々のサンプリング円９３の半径としては、テンプレートマッチングによって用いた黒丸画像の半径を適用する。
【００４３】
１００セットのサンプリング円９３を作成する際には、正規分布に従ってランダムノイズを加えるように各乱数成分（Ｐpd、Ｐyd）を生成する。したがって、図７に示した眼球３Ｄモデル３０Ｂのように、瞳孔の領域９２の近傍の様々な位置に、サンプリング円９３がランダムに形成される。
【００４４】
図６のステップＳ１８ｃでは、１００セットのサンプリング円９３のそれぞれを、図７に示したエッジ画像Ｄ９２（図５中のエッジ画像Ｄ４３に相当）の平面に投影する。なお、瞳孔の領域９２や各サンプリング円９３の形状は円形であるが、各円の位置がカメラ１４の正面を向いている状態でない限り、眼球３Ｄモデル３０上の各円を二次元画像の平面に投影すると、傾斜した状態で投影されるため、二次元平面上では楕円形になる。そのため、便宜上、二次元平面上に投影されたサンプリング円９３をサンプリング楕円９４と称する。サンプリング楕円９４は、弧上の各位置に均等に割り当てられた複数点によって構成されている。
【００４５】
図６のステップＳ１８ｄでは、次に説明する「サンプリング処理」を実施する。すなわち、サンプリング楕円９４毎に、楕円を構成する各点（この例では総数が１２０点）のエッジ画像のエッジ強度（勾配の大きさ）を足し合わせ、その結果を一つのサンプリング楕円９４の尤度とする。
【００４６】
１００セットの全てのサンプリング楕円９４についてステップＳ１８ｃ、Ｓ１８ｄの処理を繰り返し、全ての処理が終了すると、ステップＳ１８ｅからＳ１８ｆに進む。ステップＳ１８ｆでは、１００セットのサンプリング楕円９４の中で、ステップＳ１８ｄで検出した尤度が最大の１つのサンプリング楕円９４を特定し、その位置および形状を実際の瞳孔の位置および形状として検出する。以上、本発明に係る第１実施形態の画像処理装置におけるパーティクルフィルタを用いた瞳孔検出の詳細を説明した。
【００４７】
＜本発明に係る第２実施形態の画像処理装置の詳細＞
＜瞳孔検出アルゴリズムの概要＞
続いて、本発明に係る第２実施形態の画像処理装置におけるパーティクルフィルタを用いた瞳孔検出アルゴリズムを説明する。第１実施形態で説明した瞳孔検出アルゴリズムでは、発明の理解を助けるため瞳孔の半径が変化する点については触れなかったが、実際には、周囲環境の明るくなれば瞳孔が縮小し暗くなれば瞳孔が拡大する。以後説明する本発明に係る第２実施形態では、瞳孔の半径の変化に対応することができる瞳孔検出アルゴリズムについて説明する。
【００４８】
＜実施例１：パーティクルフィルタの径を動的に変更する方法＞
実施例１では、眼球３Ｄモデル３０に散布するパーティクルフィルタに着目し、縮小または拡大する瞳孔に追従してパーティクルフィルタの径を動的に変更する方法について説明する。尚、実施例１におけるパーティクルフィルタを用いた瞳孔検出アルゴリズムは、パーティクルフィルタの径を動的に変更するフローが、第１実施形態の画像処理装置による瞳孔検出アルゴリズムに追加されたものである。このため、第１実施形態の画像処理装置による瞳孔検出アルゴリズムと重複する処理についての詳細な説明を省略する。実施例１の画像処理装置によるパーティクルフィルタの径を動的に変更するフローチャートを図８に示す。また、図８に示すフローチャートを実施するなかで尤度が最も高いパーティクルフィルタと瞳孔との位置関係を表す模式図を図９（ａ）から（ｃ）に示す。
【００４９】
図８に示すパーティクルフィルタの径を動的に変更するパーティクル径変更処理は、図６に示す瞳孔検出処理と並列的に実施される。このため、図８に示すパーティクル径変更処理では、図６に示す瞳孔検出処理で参照されるデータが利用される。また、図８に示すパーティクル径変更処理は、次の条件（１）または（２）を満たしたときに実行される。
（１）前回当該パーティクル径変更処理が実行されてから一定時間が経過した場合
（２）図６に示す瞳孔検出処理のステップＳ１８ｅで算出された複数のサンプリング楕円の尤度がいずれも所定の閾値を下回った場合
以下、図８に示すパーティクル径変更処理を詳細に説明する。
【００５０】
上述の条件（１）または（２）が満たされた場合、径φを２［ｍｍ］としたパーティクルフィルタを作成し（ステップＳ２８ａ）、作成したパーティクルフィルタを粗探索で得た瞳孔の中心位置（Ｐｐ、Ｐｙ）の近傍に複数散布してパーティクルフィルタそれぞれの尤度を算出する（ステップＳ２８ｂ）。ステップＳ２８ｂの処理については、図６を参照して説明したステップＳ１８ａからＳ１８ｅの処理と同様であるため、ここでの再度の説明を省略する。そして、複数のパーティクルフィルタのうち最も尤度が高いものを特定し、その尤度を保存する（ステップＳ２８ｃ）。その後、径φを２［ｍｍ］増加させたパーティクルフィルタを作成する（ステップＳ２８ｄ）。
【００５１】
続いて、径φが４［ｍｍ］とされた作成したパーティクルフィルタを粗探索で得た瞳孔の中心位置（Ｐｐ、Ｐｙ）の近傍に複数散布してパーティクルフィルタそれぞれの尤度を算出する（ステップＳ２８ｂ）。そして、複数のパーティクルフィルタのうち最も尤度が高いものを特定し、その尤度を保存する（ステップＳ２８ｃ）。その後、径φをさらに２［ｍｍ］増加させたパーティクルフィルタを作成する（ステップＳ２８ｄ）。
【００５２】
同様に、径φが６［ｍｍ］とされた作成したパーティクルフィルタを粗探索で得た瞳孔の中心位置（Ｐｐ、Ｐｙ）の近傍に複数散布してパーティクルフィルタそれぞれの尤度を算出する（ステップＳ２８ｂ）。そして、複数のパーティクルフィルタのうち最も尤度が高いものを特定し、その尤度を保存する（ステップＳ２８ｃ）。その後、径φが６［ｍｍ］に到達すると（ステップＳ２８ｅ、Ｙｅｓ）、ステップＳ２８ｃにおいて保存した、パーティクルフィルタの径φが２、４、６［ｍｍ］それぞれの場合の尤度を参照し、尤度が最も高いパーティクルフィルタの径φを、次回図６に示す瞳孔検出処理が実行される際のサンプリング円の径として設定する（ステップＳ２８ｆ）。こうして、図８に示すパーティクル径変更処理が終了する。尚、ステップＳ２８ｆが処理された時刻を記憶しておくことによって、上述の条件（１）の判別のための経過時間が計測される。
【００５３】
ここで、図９を参照して、径φが２、４、６［ｍｍ］それぞれの場合において、尤度が最も高いパーティクルフィルタと瞳孔との位置関係を説明する。尚、図９では、径φが２［ｍｍ］の円に瞳孔の領域９２が近い場合を示している。この場合において、図９（ａ）に示すように瞳孔の領域９２の近傍に径φが２［ｍｍ］のサンプリング円９３を散布した場合、瞳孔の領域９２の輪郭に円周の大部分が沿うように位置するサンプリング円９３が、尤度が最も高いものとして選ばれる。また、図９（ｂ）、（ｃ）に示すように瞳孔の領域９２の近傍に径φが４［ｍｍ］または６［ｍｍ］のサンプリング円９３を散布した場合、瞳孔の領域９２の輪郭に円周の一部分が沿うように位置するサンプリング円９３が、尤度が最も高いものとして選ばれる。このとき、径φが２、４、６［ｍｍ］のサンプリング円９３それぞれの尤度を比較した場合、瞳孔の領域９２に沿う距離が長い径φが２［ｍｍ］のサンプリング円９３が、最も尤度が高くなる。こうして、尤度が最も高いパーティクルフィルタの径φが選択されることによって、パーティクルフィルタの径が動的に変更される。このように縮小または拡大する瞳孔に追従してパーティクルフィルタの径を設定することにより、瞳孔の中心座標を高精度に検出することできる。
【００５４】
尚、ステップＳ２８ｆの処理において、尤度が最も高いパーティクルフィルタの径φを、次回図６に示す瞳孔検出処理が実行される際のサンプリング円の径として設定するとした。このときに、径φの異なるパーティクルフィルタのうちの最も高い尤度がある閾値を超えるか否かを判別するようにし、超えた場合に、その尤度が最も高いパーティクルフィルタの径φを、次回図６に示す瞳孔検出処理が実行される際のサンプリング円の径とするようにしてもよい。このようにすることで、径の異なるパーティクルフィルタがいずれも瞳孔の形状に沿っていない場合には、パーティクルフィルタの径φが選択されることを防ぐことができる。
【００５５】
また、本実施例１では、発明の理解を助けるため、ステップＳ２８ｄにおいて径φを２［ｍｍ］ずつ増加させたが、増加させる幅をさらに細かく設定することによって、より瞳孔の形状に沿ったパーティクルフィルタを設定することができる。また、ステップＳ２８ｄにおいて径φを増加させるのに代えて径φを減少させるようにしてもよい。この場合、ステップＳ２８ａではパーティクルフィルタの径φが取り得る上限値が設定される。
【００５６】
＜実施例２：パーティクルフィルタの径を周囲環境に応じて変更する方法＞
実施例１では画像処理によってパーティクルフィルタの径を設定する方法について説明したが、実施例２では瞳孔に挿し込む光の明るさに着目する。実施例２では、画像処理装置に光センサを接続して光センサから信号を入力するようにしておき、その信号の強度が大きい場合、つまり周囲環境が明るい場合、にはパーティクルフィルタの径を縮小し、その信号の強度が小さい場合、つまり周囲環境が暗い場合、にはパーティクルフィルタの径を拡大する。こうして、光センサから伝達される信号の大小に応じてパーティクルフィルタの径φが選択されることによって、パーティクルフィルタの径が動的に変更される。このように周囲環境の明るさからパーティクルフィルタの径を動的に変更することによっても、瞳孔の中心座標を高精度に検出することできる。
【００５７】
＜実施例３：多重円のパーティクルフィルタを利用する方法＞
実施例３では、眼球３Ｄモデル３０に散布するパーティクルフィルタに着目し、縮小または拡大する瞳孔に対応できるパーティクルフィルタの形状について説明する。尚、実施例３におけるパーティクルフィルタを用いた瞳孔検出アルゴリズムは、パーティクルフィルタの形状が異なる点を除き、第１実施形態の画像処理装置による瞳孔検出アルゴリズムと同様である。このため、第１実施形態の画像処理装置による瞳孔検出アルゴリズムと重複する処理についての詳細な説明を省略する。実施例３の画像処理装置に用いるパーティクルフィルタの形状を図１０に示す。また、図１０に示したパーティクルフィルタを散布した模式図を図１１に示す。
【００５８】
図１０に示したパーティクルフィルタＰＦは、半径の異なる３つのサンプリング円Ｃ１、Ｃ２、Ｃ３が同一の位置を中心点とする円形のパターンである。図１１に示すように、パーティクルフィルタＰＦは、サンプリング円Ｃ１、Ｃ２、Ｃ３が眼球３Ｄモデル３０に散布され、サンプリング楕円Ｄ１、Ｄ２、Ｄ３が二次元平面上のエッジ画像Ｄ９２に投影される。尚、図１１は、サンプリング円及びサンプリング楕円の形状を除き図７と同様であるため、ここでの詳細な説明を省略する。
【００５９】
このパーティクルフィルタＰＦは、サンプリング円Ｃ１、Ｃ２、Ｃ３毎に、円周上に均等な間隔で配置された多数のサンプリング点２０１、２０２、２０３を有している。また、各サンプリング円Ｃ１、Ｃ２、Ｃ３毎のサンプリング点２０１、２０２、２０３は、同数のサンプリング点が設定されており、径方向に並ぶよう放射状に配置されている。パーティクルフィルタＰＦの尤度を算出するにあたっては、各サンプリング円Ｃ１、Ｃ２、Ｃ３毎のサンプリング点２０１、２０２、２０３におけるエッジ画像のエッジ強度（勾配の大きさ）を足し合わせ、その結果を一つのパーティクルフィルタＰＦにおける尤度とする。
【００６０】
粗探索で得た瞳孔位置の近傍に複数のパーティクルを散布するにあたっては、瞳孔の領域９２の中心位置（Ｐｐ、Ｐｙ）に対してそれぞれ異なる乱数成分（Ｐpd、Ｐyd）を加算した位置が３つの円に共通する中心点となるよう、各々のサンプリング円Ｃ１、Ｃ２、Ｃ３を配置する。
【００６１】
この３つの円から構成されるパーティクルフィルタＰＦは、図１１に示したように二次元平面上のエッジ画像Ｄ９２にサンプリング楕円Ｄ１、Ｄ２、Ｄ３として投影される。
【００６２】
実施例３のパーティクルフィルタＰＦでは、３重に形成された各円によって、瞳孔径の変化に対応することができる。すなわち、ある時点ｔ１の画像フレームにおいて撮影された瞳孔が、次の時点ｔ２の画像フレームにおいて瞳孔径が変化したとしても、時点ｔ１で瞳孔を捉えていたサンプリング円（Ｃ１、Ｃ２、Ｃ３のいずれか）よりも大きいまたは小さいサンプリング円（Ｃ１、Ｃ２、Ｃ３のいずれか）が時点ｔ２における瞳孔を捉えることができる。このように、実施例３のパーティクルフィルタによれば、瞳孔径の変化に対応して瞳孔の中心座標を高精度に検出することできる。
【００６３】
＜実施例４：テンプレートマッチングに用いる黒丸画像の径を動的に変更する方法＞
実施例４では、目周辺を切り出した目画像を二値化した画像に対してマッチングを行う黒丸画像に着目し、縮小または拡大する瞳孔に追従して黒丸画像の径を動的に変更する方法について説明する。尚、実施例４における黒丸画像を用いた瞳孔検出アルゴリズムは、黒丸画像の径を動的に変更するフローが、実施例１の瞳孔検出アルゴリズムに追加されたものである。このため、実施例１の画像処理装置による瞳孔検出アルゴリズムと重複する処理についての詳細な説明を省略する。実施例４の画像処理装置による黒丸画像の径を動的に変更するフローチャートを図１２に示す。
【００６４】
図１２に示す黒丸画像の径を動的に変更する黒丸径変更処理は、図６に示す瞳孔検出処理と並列的に実施される。このため、図１２に示す黒丸径変更処理では、図６に示す瞳孔検出処理で参照されるデータが利用される。また、図８に示す黒丸径変更処理は、図８を参照して実施例１にて説明したステップＳ２８ｆの後のステップＳ２８ｇにおいて実行される。以下、ステップＳ２８ｇの処理について説明する。
【００６５】
ステップＳ２８ｆにて、尤度が最も高いパーティクルフィルタの径φが、次回図６に示す瞳孔検出処理が実行される際のサンプリング円の径として設定されると、次いで、尤度が最も高いパーティクルフィルタの径φを、次回図３のステップＳ１７に示す瞳孔粗探索が実行される際の黒丸画像の径として設定される（ステップＳ２８ｇ）。
【００６６】
こうして、尤度が最も高いパーティクルフィルタの径φに合わせて黒丸画像の径が選択されることによって、黒丸画像の径が動的に変更される。このように縮小または拡大する瞳孔に追従して黒丸画像の径を設定することにより、図３のステップＳ１７に示す瞳孔粗探索の精度が向上する。これは、図３のステップＳ１８においてパーティクルフィルタを散布する際の瞳孔の中心位置がより正確に得られることを意味する。これにより、複数のパーティクルフィルタを散布したときに瞳孔の形状に合うパーティクルフィルタ（つまり、より尤度が高いパーティクルフィルタ）の出現率が高まるため、瞳孔の中心座標を高精度に検出することできる。
【００６７】
また、別の見方をすれば、パーティクルフィルタを散布する個数を減らしたとしても瞳孔の中心座標を検出する精度を維持することできる、ともいうことができる。第１実施形態では１００セットのサンプリング円を散布する場合を説明したが、図３のステップＳ１７に示す瞳孔粗探索の精度が向上することにより、サンプリング円を散布する個数を２５セット、５０セットと減らすことができる。このような散布するサンプリング円の個数の削減は、瞳孔検出処理の演算量の削減に大きく寄与するため、瞳孔検出処理の高速化を実現することができる。
【００６８】
ここで、上述した本発明に係る画像処理装置の実施形態の特徴をそれぞれ以下［１］〜［９］に簡潔に纏めて列記する。
［１］
地表での太陽スペクトルが著しく低下する波長の近赤外光を照射する光源（近赤外ＬＥＤ１２）と、
前記光源（１２）が照射する波長を透過する光学フィルタ（光学バンドパスフィルタ１３）と、
前記光源（１２）によって照らされた人間の顔を、前記光学フィルタ（１３）を通して撮影するカメラ（１４）と、
前記カメラ（１４）によって撮影された顔画像に対してデータ処理を行い、前記顔画像から瞳孔を検出する処理部（１５）と、
を備えることを特徴とする画像処理装置。
［２］
上記［１］の構成の画像処理装置であって、
前記処理部（１５）は、
ある走査方向にてエッジを検出するフィルタ処理を前記顔画像に施して、勾配の大きさが情報として保持されたエッジ画像（Ｄ４３、Ｄ９２）を生成し、
３次元モデルの表面に仮想的に位置する円形状のサンプリング円（９３）が前記エッジ画像（Ｄ４３、Ｄ９２）に投影された状態において、前記サンプリング円（９３）を構成する複数点それぞれに対応する前記エッジ画像（Ｄ４３、Ｄ９２）中の位置ごとに、前記勾配の大きさをサンプリング値として抽出して尤度評価の対象とし、
複数の前記サンプリング円（９３）のうち、尤度が最大となる前記サンプリング円を瞳孔として検出する、
ことを特徴とする画像処理装置。
［３］
上記［２］の構成の画像処理装置であって、
前記処理部（１５）は、動的に半径が変化する前記サンプリング円（９３）を用いて、前記顔画像から瞳孔を検出する
ことを特徴とする画像処理装置。
［４］
上記［３］の構成の画像処理装置であって、
前記処理部は、時間の経過に応じて、前記サンプリング円（９３）の半径を変化させる、
ことを特徴とする画像処理装置。
［５］
上記［３］の構成の画像処理装置であって、
前記処理部は、前記尤度がある閾値よりも低下した場合、前記サンプリング円（９３）の半径を変化させる、
ことを特徴とする画像処理装置。
［６］
上記［３］の構成の画像処理装置であって、
可視光を検出する光センサをさらに備え、
前記処理部は、前記光センサにより検出される強度に基づいて、前記サンプリング円（９３）の半径を変化させる、
ことを特徴とする画像処理装置。
［７］
上記［２］から［６］のいずれか１つの構成の画像処理装置であって、
前記処理部（１５）は、
半径の異なる複数の円を同一の位置を中心点として配したサンプリング円（Ｃ１、Ｃ２、Ｃ３）を用い、
３次元モデルの表面に仮想的に位置する前記サンプリング円（Ｃ１、Ｃ２、Ｃ３）が、前記エッジ画像（Ｄ９２）に投影された状態において、前記サンプリング円（Ｃ１、Ｃ２、Ｃ３）を構成する複数点それぞれに対応する前記エッジ画像中の位置ごとに、前記勾配の大きさをサンプリング値として抽出して尤度評価の対象とし、
複数の前記サンプリング円（Ｃ１、Ｃ２、Ｃ３）のうち、尤度が最大となる前記サンプリング円を瞳孔として検出する、
ことを特徴とする画像処理装置。
［８］
上記［２］から［７］のいずれか１つの構成の画像処理装置であって、
前記処理部（１５）は、前記サンプリング円（９３）を前記エッジ画像（Ｄ４３、Ｄ９２）に投影する前段として、前記顔画像を二値化した二値化画像（Ｄ４２）に対して瞳孔を模擬した黒丸画像をマッチングさせて最も尤度の大きかった黒丸画像の中心が位置する前記二値化画像上の座標を瞳孔の中心位置として、当該黒丸画像の半径を瞳孔の半径として、それぞれ抽出し、
前記瞳孔の半径が設定された前記サンプリング円を、前記エッジ画像上における前記瞳孔の中心位置の近傍に投影する、
ことを特徴とする画像処理装置。
［９］
上記［８］の構成の画像処理装置であって、
前記処理部は、前記二値化画像（Ｄ４２）に対して動的に半径が変化する前記黒丸画像をマッチングさせる、
ことを特徴とする画像処理装置。
【符号の説明】
【００６９】
１１  人物
１２  近赤外ＬＥＤ
１３  光学バンドパスフィルタ
１４  カメラ
１５  処理部
３０  眼球３Ｄモデル
３１  眼球中心
３２  虹彩
３３  瞳孔
９３  サンプリング円
９４  サンプリング楕円
２０１、２０２、２０３  サンプリング点
Ｃ１、Ｃ２、Ｃ３  サンプリング円
Ｄ１、Ｄ２、Ｄ３  サンプリング楕円
【図１】
2019101974.tif 000003
【図２】
2019101974.tif 000004
【図３】
2019101974.tif 000005
【図４】
2019101974.tif 000006
【図５】
2019101974.tif 000007
【図６】
2019101974.tif 000008
【図７】
2019101974.tif 000009
【図８】
2019101974.tif 000010
【図９】
2019101974.tif 000011
【図１０】
2019101974.tif 000012
【図１１】
2019101974.tif 000013
【図１２】
2019101974.tif 000014