(57)【要約】      （修正有）【課題】カメラ画像から虹彩を精度検出する技術を提供する。【解決手段】虹彩検出装置１０は、赤外線カメラ２０にて撮影した画像の中から、円形の領域を虹彩候補として検出する虹彩候補検出部１３と、各虹彩候補の周辺の画像データを用いて、検出された虹彩候補を所定数の虹彩候補に絞り込む絞込部１４と、絞り込まれた所定数の虹彩候補の輪郭の勾配と虹彩のテンプレートとのマッチングにより、一の虹彩候補を虹彩として特定する虹彩特定部１５とを備える。【選択図】図１
2018045437.tif 000002
【特許請求の範囲】
【請求項１】
カメラにて撮影した画像の中から、円形の領域を虹彩候補として検出する虹彩候補検出部と、
各虹彩候補の周辺の画像データを用いて、検出された虹彩候補を所定数の虹彩候補に絞り込む絞込部と、
絞り込まれた所定数の虹彩候補の輪郭の勾配と虹彩のテンプレートとのマッチングにより、一の虹彩候補を虹彩として特定する虹彩特定部と、
を備える虹彩検出装置。
【請求項２】
前記虹彩特定部は、虹彩の位置に応じて異なるテンプレートを用いてマッチングを行う請求項１に記載の虹彩検出装置。
【請求項３】
前記虹彩特定部は、前記マッチングに代えて、前記虹彩候補検出部にて虹彩候補を求めたときの評価値に基づいて虹彩を特定する請求項１に記載の虹彩検出装置。
【請求項４】
カメラにて撮影した画像において、目の周辺の領域にＲＯＩを設定し、設定されたＲＯＩの中から虹彩を検出する請求項１乃至３のいずれかに記載の虹彩検出装置。
【請求項５】
虹彩検出装置によって、カメラにて撮影した画像の中から虹彩を検出する方法であって、
前記虹彩検出装置が、前記画像の中から円形の領域を虹彩候補として検出するステップと、
前記虹彩検出装置が、各虹彩候補の周辺の画像データを用いて、検出された虹彩候補を所定数の虹彩候補に絞り込むステップと、
前記虹彩検出装置が、絞り込まれた所定数の虹彩候補の輪郭の勾配と虹彩のテンプレートとのマッチングにより、一の虹彩候補を虹彩として特定するステップと、
を備える虹彩検出方法。
【請求項６】
カメラにて撮影した画像の中から虹彩を検出するためのプログラムであって、コンピュータに、
前記画像の中から円形の領域を虹彩候補として検出するステップと、
各虹彩候補の周辺の画像データを用いて、検出された虹彩候補を所定数の虹彩候補に絞り込むステップと、
絞り込まれた所定数の虹彩候補の輪郭の勾配と虹彩のテンプレートとのマッチングにより、一の虹彩候補を虹彩として特定するステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ画像から虹彩を検出する技術に関する。
【背景技術】
【０００２】
従来、運転中のドライバがハンドルから手を離すことなく車両機器を操作することを支援する手段として、ドライバの視線を用いる方法が提案されていた。そして、ドライバの視線を検出する方法として、ドライバの虹彩を検出する方法が知られていた（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２９７１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載された視線検出装置は、画像取得部から入力される画像データに対して、虹彩の中心位置を取得する虹彩検出部を備えている。しかし、現実には、虹彩の検出は容易ではなく、眼鏡等の装着品や、明暗の変化などによって虹彩検出を行えなかったり、検出された虹彩の位置がずれてしまう場合があった。
本発明は、上記背景に鑑み、カメラ画像から虹彩を精度良く検出する技術を提案する。
【課題を解決するための手段】
【０００５】
本発明の虹彩検出装置は、カメラにて撮影した画像の中から、円形の領域を虹彩候補として検出する虹彩候補検出部と、各虹彩候補の周辺の画像データを用いて、検出された虹彩候補を所定数の虹彩候補に絞り込む絞込部と、絞り込まれた所定数の虹彩候補の輪郭の勾配と虹彩のテンプレートとのマッチングにより、一の虹彩候補を虹彩として特定する虹彩特定部とを備える。
【０００６】
本発明者らの研究によれば、複数の虹彩候補を、周辺の画像データを用いて絞り込みを行うと、上位の所定数の虹彩候補の中に正解の虹彩が含まれる可能性が極めて高いことが分かった。そこで、本発明者らは、絞込部によって所定数の虹彩候補に絞り込み、その中から、絞込みの手法とは異なる手法で一の虹彩候補を特定する本発明を完成させた。この構成により、カメラ画像から精度良く虹彩を検出することができる。
【０００７】
本発明の虹彩検出装置において、前記虹彩特定部は、虹彩の位置に応じて異なるテンプレートを用いてマッチングを行ってもよい。
【０００８】
目を動かして左右を見る動作によって目の中での虹彩の位置が変わってくるが、虹彩の位置によって、虹彩がまぶたによって隠れる部分が異なる。例えば、虹彩が目の中央に位置しているときには、虹彩の上下の一部がまぶたに隠れるだけであるが、虹彩が右に位置しているときは、虹彩の上下のみならず右斜めから右にかけての部分もまぶたに隠れる。この場合に、右側についても虹彩のテンプレートとのマッチングを行うと、マッチング結果にまぶたの影響が出てしまう。本発明によれば、虹彩の位置に応じて異なるテンプレートを用いるので、適切なマッチングを行うことができる。
【０００９】
本発明の虹彩検出装置において、前記虹彩特定部は、前記マッチングに代えて、前記虹彩候補検出部にて虹彩候補を求めたときの評価値に基づいて虹彩を特定してもよい。
【００１０】
虹彩候補検出部は、円形の領域を虹彩候補として求めるが、虹彩候補を求めるときに用いた評価結果を利用することにより、絞り込まれた虹彩候補の中から虹彩を特定することができる。
【００１１】
本発明の虹彩検出装置は、カメラにて撮影した画像において、目の周辺の領域にＲＯＩを設定し、設定されたＲＯＩ（Region of Interest：関心領域）の中から虹彩を検出してもよい。
【００１２】
この構成により、設定されたＲＯＩの中だけで、虹彩の探索を行えばよいので、虹彩検出の処理を軽減できる。
【００１３】
本発明の虹彩検出方法は、虹彩検出装置によって、カメラにて撮影した画像の中から虹彩を検出する方法であって、前記虹彩検出装置が、前記画像の中から円形の領域を虹彩候補として検出するステップと、前記虹彩検出装置が、各虹彩候補の周辺の画像データを用いて、検出された虹彩候補を所定数の虹彩候補に絞り込むステップと、前記虹彩検出装置が、絞り込まれた所定数の虹彩候補の輪郭の勾配と虹彩のテンプレートとのマッチングにより、一の虹彩候補を虹彩として特定するステップとを備えてもよい。
【００１４】
本発明のプログラムは、カメラにて撮影した画像の中から虹彩を検出するためのプログラムであって、コンピュータに、前記画像の中から円形の領域を虹彩候補として検出するステップと、各虹彩候補の周辺の画像データを用いて、検出された虹彩候補を所定数の虹彩候補に絞り込むステップと、絞り込まれた所定数の虹彩候補の輪郭の勾配と虹彩のテンプレートとのマッチングにより、一の虹彩候補を虹彩として特定するステップとを実行させる。
【発明の効果】
【００１５】
本発明は、カメラ画像から精度良く虹彩を検出することができるという効果を有する。
【図面の簡単な説明】
【００１６】
【図１】第１の実施の形態の虹彩検出装置の構成を示す図である。
【図２】円検出フィルタを説明するための図である。
【図３】（ａ）Ｘ方向への勾配を求めるSobelフィルタを示す図である。（ｂ）Ｙ方向への勾配を求めるSobelフィルタを示す図である。
【図４】虹彩のテンプレートを示す図である。
【図５】虹彩検出装置の動作を示す図である。
【図６】虹彩候補検出部にて検出された複数の虹彩候補を、ＥＬＭモデルを用いて上位３位の候補まで絞り込んだときに、そのＴＯＰ３の候補のうちのいずれかが正解である率と、従来の検出率とを比較した結果を示す図である。
【図７】第２の実施の形態の虹彩のテンプレートを示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態の虹彩検出装置について図面を参照して説明する。
（第１の実施の形態）
図１は、第１の実施の形態の虹彩検出装置１０の構成を示す図である。虹彩検出装置１０は、赤外線カメラ２０に接続されている。赤外線カメラ２０は、例えば、自動車の車内においてドライバに向けて設置され、ドライバの顔または胸から上を撮影する。赤外線カメラ２０を用いているのは、夜間の運転中にもドライバの顔を適切に撮影することができるようにするためである。
【００１８】
虹彩検出装置１０は、入力部１１と、ＲＯＩ設定部１２と、虹彩候補検出部１３と、絞込部１４と、虹彩特定部１５と、出力部１６とを有している。入力部１１は、赤外線カメラ２０に接続されており、赤外線カメラ２０にて撮影したカメラ画像を入力する。
【００１９】
ＲＯＩ設定部１２は、入力部１１に入力された画像において、ドライバの顔や目の領域にＲＯＩを設定する機能を有する。カメラ画像から顔や目の領域を検出する方法としては、例えば、明るい領域を検出して顔の領域としてもよい。また、時刻ｔ−１の画像において、虹彩や目の領域が特定されている場合には、その位置および動きの情報を用いて時刻ｔの画像における目の領域を特定することとしてもよい。
【００２０】
虹彩候補検出部１３は、ＲＯＩの中から、円形の領域を検出し、虹彩の候補となる複数の領域を検出する。虹彩候補検出部１３は、円検出フィルタを用いて、カメラ画像の中から円径の領域を検出する。ここでは、正解の虹彩が虹彩候補から漏れないように、広く虹彩候補を検出する。
【００２１】
図２は、円検出フィルタの構成を示す図である。円検出フィルタは、円の領域２とその外側を取り囲む環状の領域１とからなる。なお、この円検出フィルタを構成する領域１、領域２の大きさは、ドライバと赤外線カメラ２０の距離等によって適切に設定する。赤外線カメラ２０に対するドライバの位置によって、カメラ画像に映る虹彩の領域の大きさが異なるからである。虹彩候補検出部１３は、円検出フィルタを１画素ずつずらして走査し、領域１と領域２の平均輝度値を求め、領域１の平均輝度と領域２の平均輝度との差（分離度η）が所定の閾値より大きい場合に、円形の領域を虹彩候補として検出する。分離度ηは、具体的には、次の式（１）によって求める。
【数１】
2018045437.tif 000003
【００２２】
なお、式（１）において、領域１と領域２の平均輝度の大小によって場合分けをしているのは、虹彩を検出する場合には、虹彩の領域２の方が、その外側の白目の領域１よりも輝度が低いからである。これにより、領域１の方が輝度が小さいときには計算を省略できるので、計算処理を軽減できる。
【００２３】
絞込部１４は、虹彩候補検出部１３にて検出された複数の虹彩候補を、虹彩候補の周辺の画像データを利用して、所定数（例えば、３つ）の虹彩候補に絞り込む機能を有する。虹彩候補検出部１３は、虹彩を中心とする多数（例えば、５０００枚）の目領域画像の正例を用いて、虹彩を含む画像の特徴を学習する。この学習には、ニューラルネットワークを用いることができ、好適には、Single Layer FeedForward Neural Networkの高速な学習スキームであるＥＬＭ（Extreme Learning Machine）を用いることができる。絞込部１４は、学習によって得られたＥＬＭのモデルを用いて、複数の虹彩候補を、上位の所定数の虹彩候補に絞り込む。
【００２４】
虹彩特定部１５は、絞り込まれた所定数の虹彩候補の中から、虹彩を特定する機能を有する。虹彩特定部１５は、虹彩を含む領域の画像にSobelフィルタを適用して、黒から白へ向かう輝度変化（勾配）の大きさと方向を求める。図３（ａ）は、Ｘ方向への勾配を求めるSobelフィルタの例を示し、図３（ｂ）はＹ方向への勾配と求めるSobelフィルタの例を示す図である。図３（ａ）及び図３（ｂ）に示すSobelフィルタによって、Ｘ方向およびＹ方向への勾配を求めた後、虹彩特定部１５は、次の式（２）によって勾配の大きさを求め、式（３）によって勾配の方向を求める。
【数２】
2018045437.tif 000004
【００２５】
次に、虹彩特定部１５は、絞込部１４によって絞り込まれた所定数の虹彩候補のそれぞれと、虹彩のテンプレートとのマッチングを行う。虹彩特定部１５は、虹彩テンプレートの各方向において、テンプレートの勾配と虹彩候補の勾配との差分をとり、差分の総和が最も小さい虹彩候補を虹彩として特定する。
【００２６】
図４は、虹彩のテンプレートを示す図である。虹彩のテンプレートは基本的には円形であり、円周の法線方向に勾配を有する。ただし、虹彩のテンプレートは、弧Ｌの部分に勾配の情報を持っており、上下の一部はテンプレートに含まれていない。これは目の上下のまぶたによって虹彩の一部が隠れているため、虹彩候補においてまぶた部分の勾配をマッチングに含めてしまうと、正確なマッチングを行えないからである。このようにまぶたによって隠れる部分について差分を計算しないことにより、まぶたの輪郭の勾配がマッチングへ影響しないようにできる。
【００２７】
なお、虹彩候補の大きさは、赤外線カメラ２０とドライバの位置関係等によって異なり、一定ではないので、マッチングを行う際には円周上の点数で割ることによって、差分の総和を正規化する。
【００２８】
出力部１６は、カメラ画像から求めた虹彩の位置およびその半径のデータを他のアプリケーションに出力する。他のアプリケーションは、虹彩の位置から視線の方向を求め、例えば、わき見運転を検知したり、車載機器の操作支援を行ったり、あるいは、車両とドライバの頷きインターフェース等に用いたりすることができる。
【００２９】
なお、虹彩検出装置１０のハードウェアは、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク等を有するコンピュータによって構成され、上記にて説明した各構成は、ＲＯＭに記載されたプログラムを読み出して実行することによって実現される。
【００３０】
図５は、虹彩検出装置１０によって虹彩を検出する動作を示すフローチャートである。虹彩検出装置１０は、赤外線カメラ２０にて撮影したドライバのカメラ画像の入力を受け付けると（Ｓ１１）、カメラ画像において、顔または目の周辺の画像を特定し、ＲＯＩを設定する（Ｓ１２）。次に、虹彩検出装置１０は、円検出フィルタを用いて、ＲＯＩの中から複数の虹彩候補を求める（Ｓ１３）。続いて、虹彩検出装置１０は、予め正例を用いて学習されたＥＬＭモデルを用いて、複数の虹彩候補を所定数の虹彩候補に絞り込む（Ｓ１４）。虹彩検出装置１０は、所定数の虹彩候補に対して、虹彩輪郭の勾配のマッチングを行って、虹彩を特定し（Ｓ１５）、特定された虹彩のデータを他のアプリケーションに対して出力する（Ｓ１６）。以上、第１の実施の形態の虹彩検出装置１０の構成および動作について説明した。
【００３１】
図６は、虹彩候補検出部１３にて検出された複数の虹彩候補を、ＥＬＭモデルを用いて上位３位の候補まで絞り込んだときに、そのＴＯＰ３の候補のうちのいずれかが正解である率と、従来の検出率とを比較した結果を示す図である。各グラフの角度は、カメラ画像を撮影したときのドライバの視線方向を示す。例えば、１８度はドライバ席側のドアミラーを見ている角度、−２７度はカーナビゲーション装置を見ている角度、−３６度は助手席側のドアミラーを見ている角度である。図６に示すように、−２７度までについては、絞込み結果の上位３位までのいずれかの候補が正解である可能性は、９０％を超えている。このように絞り込みを行う際に、所定数までの絞り込みを行うことにより、正解の虹彩候補を絞り込んだ候補内に残すことができる。そして、本実施の形態では、所定数に絞り込んだ候補の中から、勾配のマッチングを行うことにより、精度良く虹彩を検出することができる。
【００３２】
（第２の実施の形態）
次に、第２の実施の形態の虹彩検出装置について説明する。第２の実施の形態の虹彩検出装置の基本的な構成は、第１の実施の形態の虹彩検出装置１０と同じであるが、第２の虹彩検出装置は、虹彩特定部１５が、虹彩の位置に応じて異なるテンプレートを用いてマッチングを行う点が異なる。
【００３３】
図７は、第２の実施の形態の虹彩検出装置１０の虹彩特定部１５にて用いるテンプレートの例を示す図である。第２の実施の形態では、ドライバが右を見ている場合には、虹彩の上下は、右側の方がまぶたに隠れる割合が大きいので、図７に示すように右側（赤外線カメラ２０はドライバと対面して撮影しているのでカメラ画像では左側）が大きく欠けたテンプレートを用いる。右側を見ている場合には、図７とは逆の関係になる。このようにドライバが見ている方向によって異なる虹彩のテンプレートをいくつか準備しておき、虹彩の位置によって用いるテンプレートを変える。
【００３４】
このように、第２の実施の形態の虹彩検出装置１０は、ドライバが見ている方向に応じて、マッチングを行う虹彩のテンプレートを変更するので、ドライバの見ている方向にかかわらず、精度良く虹彩を検出できる。
【００３５】
以上、本発明の虹彩検出装置について、実施の形態を挙げて詳細に説明したが、本発明の虹彩検出装置は、上記した実施の形態に限定されるものではない。
【００３６】
上記した実施の形態では、虹彩特定部１５は、虹彩のテンプレートとのマッチングを行うことにより、絞り込まれた虹彩候補の中から虹彩を特定する例を挙げたが、虹彩候補検出部１３にて虹彩候補を求める際に計算した分離度ηに基づいて虹彩を特定してもよい。すなわち、分離度ηが最大の虹彩候補を虹彩として特定する。これにより、虹彩を特定する計算処理を軽減することができる。
【００３７】
上記した実施の形態では、虹彩検出装置１０が、赤外線カメラ２０にて撮影したカメラ画像から虹彩を検出する例を挙げたが、虹彩検出装置１０は、赤外線カメラ２０の画像に限らず、通常のカメラ画像から虹彩を検出することも可能である。その場合には、色の情報を用いることにより、例えば、肌色の領域を検出するなどして、ＲＯＩを設定することができる。
【００３８】
上記した実施の形態では、虹彩候補検出部１３が、円検出フィルタを用いて複数の虹彩候補を検出する例を挙げたが、複数の虹彩候補を検出する方法は円検出フィルタを用いる方法に限定されるものではない。例えば、Ｈｏｕｇｈ変換を用いて円を検出してもよい。
【産業上の利用可能性】
【００３９】
本発明は、カメラ画像から虹彩を検出する技術として有用である。
【符号の説明】
【００４０】
１０  虹彩検出装置
１１  入力部
１２  ＲＯＩ設定部
１３  虹彩候補検出部
１４  絞込部
１５  虹彩特定部
１６  出力部
２０  赤外線カメラ
【図１】
2018045437.tif 000005
【図２】
2018045437.tif 000006
【図３】
2018045437.tif 000007
【図４】
2018045437.tif 000008
【図５】
2018045437.tif 000009
【図６】
2018045437.tif 000010
【図７】
2018045437.tif 000011