(57)【要約】【課題】  瞳孔検出のロバスト性を向上させる。【解決手段】  一実施形態に係る瞳孔検出装置は、対象者の第１顔画像及び第２顔画像を取得する画像取得部と、前記第１顔画像の前記対象者の瞳孔を含む一部をテンプレート画像に設定するテンプレート画像設定部と、前記第２顔画像の一部である候補画像と、前記テンプレート画像と、の輝度差に応じたスコアを、複数の前記候補画像について算出するスコア算出部と、前記スコアに基づいて、複数の前記候補画像の中から検出用画像を選択する検出用画像選択部と、前記テンプレート画像及び前記検出用画像に基づいて、前記対象者の瞳孔を検出する瞳孔検出部と、を備える。【選択図】  図２
2019097807.tif 000002
【特許請求の範囲】
【請求項１】
対象者の第１顔画像及び第２顔画像を取得する画像取得部と、
前記第１顔画像の前記対象者の瞳孔を含む一部をテンプレート画像に設定するテンプレート画像設定部と、
前記第２顔画像の一部である候補画像と、前記テンプレート画像と、の輝度差に応じたスコアを、複数の前記候補画像について算出するスコア算出部と、
前記スコアに基づいて、複数の前記候補画像の中から検出用画像を選択する検出用画像選択部と、
前記テンプレート画像及び前記検出用画像に基づいて、前記対象者の瞳孔を検出する瞳孔検出部と、
を備える瞳孔検出装置。
【請求項２】
前記検出用画像選択部は、前記スコアが最も小さい前記候補画像を、前記検出用画像として選択する
請求項１に記載の瞳孔検出装置。
【請求項３】
前記検出用画像選択部は、前記スコアが最も小さく、かつ、前記スコアが閾値未満である前記候補画像を、前記検出用画像として選択する
請求項１に記載の瞳孔検出装置。
【請求項４】
前記検出用画像選択部は、最も小さい前記スコアが前記閾値以上である場合、前記テンプレート画像に対応する前記候補画像を、前記検出用画像として選択する
請求項１に記載の瞳孔検出装置。
【請求項５】
前記検出用画像選択部は、前記第１顔画像及び前記第２顔画像の輝度が高いほど、前記閾値を小さくする
請求項３又は請求項４に記載の瞳孔検出装置。
【請求項６】
前記瞳孔検出部は、前記テンプレート画像と前記検出用画像との差分画像を２値化した２値化画像に基づいて、前記瞳孔を検出する
請求項１から請求項５までのいずれか１項に記載の瞳孔検出装置。
【請求項７】
前記第１顔画像は、明瞳孔画像及び暗瞳孔画像の一方であり、前記第２顔画像は、前記明瞳孔画像及び前記暗瞳孔画像の他方である
請求項１から請求項６までのいずれか１項に記載の瞳孔検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、瞳孔検出装置に関する。
【背景技術】
【０００２】
近年、対象者の顔を撮影した明瞳孔画像及び暗瞳孔画像から対象者の瞳孔を検出し、検出した瞳孔の座標に基づいて、対象者の視線方向を推定する視線検出技術が利用されている。この視線検出技術では、瞳孔をより確実に検出するために、撮影タイミングが異なる明瞳孔画像と暗瞳孔画像との位置ずれを補正することが重要となる。従来、位置ずれを補正する方法として、明瞳孔画像及び暗瞳孔画像からそれぞれ特徴点（鼻孔など）を検出し、検出した特徴点の位置ずれの分だけ、明瞳孔画像及び暗瞳孔画像の位置を補正する方法が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２６８０２６号公報
【特許文献２】特開２００８−２９７０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の方法では、マスクなどにより特徴点（鼻孔など）が隠されていた場合、当該特徴点に基づいて明瞳孔画像及び暗瞳孔画像の位置ずれを補正できず、瞳孔を検出できないおそれがあった。すなわち、従来の方法では、瞳孔検出のロバスト性が低いという問題があった。
【０００５】
本発明は、上記の課題に鑑みてなされたものであり、瞳孔検出のロバスト性を向上させることを目的とする。
【課題を解決するための手段】
【０００６】
一実施形態に係る瞳孔検出装置は、対象者の第１顔画像及び第２顔画像を取得する画像取得部と、前記第１顔画像の前記対象者の瞳孔を含む一部をテンプレート画像に設定するテンプレート画像設定部と、前記第２顔画像の一部である候補画像と、前記テンプレート画像と、の輝度差に応じたスコアを、複数の前記候補画像について算出するスコア算出部と、前記スコアに基づいて、複数の前記候補画像の中から検出用画像を選択する検出用画像選択部と、前記テンプレート画像及び前記検出用画像に基づいて、前記対象者の瞳孔を検出する瞳孔検出部と、を備える。
【発明の効果】
【０００７】
本発明の各実施形態によれば、瞳孔検出のロバスト性の向上を実現できる。
【図面の簡単な説明】
【０００８】
【図１】瞳孔検出装置のハードウェア構成の一例を示す図。
【図２】瞳孔検出装置の機能構成の一例を示す図。
【図３】第１顔画像、第２顔画像、及びテンプレート画像の一例を示す図。
【図４】瞳孔検出装置が実行する処理の一例を示すフローチャート。
【発明を実施するための形態】
【０００９】
以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重畳した説明を省略する。
【００１０】
第１実施形態に係る瞳孔検出装置１００について、図１〜図４を参照して説明する。本実施形態に係る瞳孔検出装置１００は、対象者の顔を撮影した第１顔画像Ｉｍ１及び第２顔画像Ｉｍ２から対象者の瞳孔を検出する装置である。瞳孔検出装置１００の検出結果は、瞳孔の座標を利用して対象者の視線を検出する視線検出装置で利用される。
【００１１】
以下、瞳孔検出装置１００が、車両の運転者の瞳孔を検出する車載装置である場合を例に説明する。この場合、瞳孔検出装置１００が搭載された車両の運転者が、瞳孔検出装置１００の対象者に相当する。
【００１２】
まず、瞳孔検出装置１００のハードウェア構成について説明する。図１は、瞳孔検出装置１００のハードウェア構成の一例を示す図である。図１の瞳孔検出装置１００は、撮影装置１と、制御装置２と、を備える。
【００１３】
撮影装置１は、運転者の顔を撮影し、顔画像を取得する装置であり、制御装置２に接続される。撮影装置１は、運転者の顔を撮影可能な位置（運転席の前方）に配置される。図１の撮影装置１は、撮影部１１Ｌ，１１Ｒと、複数の光源１２Ｌ，１２Ｒと、を備える。
【００１４】
撮影部１１Ｌは、運転者の顔を撮影するカメラであり、図１における撮影装置１の左側に配置される。撮影部１１Ｒは、運転者の顔を撮影するカメラであり、図１における撮影装置１の右側に配置される。以下、撮影部１１Ｌ，１１Ｒを区別しない場合、撮影部１１と称する。
【００１５】
光源１２Ｌは、運転者の顔を撮影する際に、運転者の顔に所定のタイミングで光を照射する光源であり、撮影部１１Ｌの近傍に複数配置される。光源１２Ｒは、運転者の顔を撮影する際に、運転者の顔に所定のタイミングで光を照射する光源であり、撮影部１１Ｒの近傍に複数配置される。光源１２Ｌ，１２Ｒは、例えば、近赤外光を照射するＬＥＤ（Light Emitting Diode）であるが、これに限られない。以下、光源１２Ｌ，１２Ｒを区別しない場合、光源１２と称する。
【００１６】
なお、図１の例では、撮影装置１は、２つの撮影部１１を備えるが、１つ又は３つの撮影部１１を備えてもよい。撮影部１１が１つの場合、撮影装置１は、撮影部１１に対して略同軸の光源１２と非同軸の光源１２とをそれぞれ備えれば良い。また、図１の例では、撮影装置１は、それぞれ４つの光源１２Ｌ，１２Ｒを備えるが、光源１２Ｌ，１２Ｒの数は任意に設計可能である。
【００１７】
制御装置２は、撮影装置１を制御する装置であり、撮影装置１に接続される。具体的には、制御装置２は、撮影部１１による撮影及び光源１２の発光を制御する。また、制御装置２は、撮影装置１により取得された第１顔画像Ｉｍ１及び第２顔画像Ｉｍ２から運転者の瞳孔を検出する。
【００１８】
図１の制御装置２は、ＣＰＵ（Central Processing Unit）２０１と、ＲＯＭ（Read Only Memory）２０２と、ＲＡＭ（Random Access Memory）２０３と、ＨＤＤ（Hard Disk Drive）２０４と、入力装置２０５と、表示装置２０６と、を備える。また、制御装置２は、接続インタフェース２０７と、通信インタフェース２０８と、バス２０９と、を備える。
【００１９】
ＣＰＵ２０１は、プログラムを実行することにより、制御装置２の各ハードウェア構成を制御し、瞳孔検出装置１００の機能を実現する。
【００２０】
ＲＯＭ２０２は、ＣＰＵ２０１が実行するプログラムや各種のデータを記憶する。
【００２１】
ＲＡＭ２０３は、ＣＰＵ２０１に作業領域を提供する。
【００２２】
ＨＤＤ２０４は、ＣＰＵ２０１が実行するプログラムや各種のデータを記憶する。
【００２３】
入力装置２０５は、運転者を含むユーザの操作に応じた情報を制御装置２に入力する。入力装置２０５は、例えば、タッチパネル、キーボード、マウス、ハードウェアボタンなどである。
【００２４】
表示装置２０６は、運転者を含むユーザの操作に応じた画面を表示する。表示装置２０６は、例えば、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイなどである。
【００２５】
接続インタフェース２０７は、制御装置２を撮影装置１に接続するためのインタフェースである。制御装置２は、接続インタフェース２０７を介して、撮影装置１を制御し、撮影装置１から画像（画像データ）を取得する。
【００２６】
通信インタフェース２０８は、制御装置２をＣＡＮ（Controller Area Network）、インターネット、ＬＡＮ（Local Area Network）などのネットワークに接続するためのインタフェースである。制御装置２は、通信インタフェース２０８を介して、ネットワーク上の外部装置（ＥＣＵ（Electronic Control Unit）など）と通信する。
【００２７】
バス２０９は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ＨＤＤ２０４、入力装置２０５、表示装置２０６、接続インタフェース２０７、及び通信インタフェース２０８を相互に接続する。
【００２８】
なお、図１の例では、制御装置２が車載のコンピュータにより構成される場合を想定している。しかしながら、制御装置２は、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specified Integrated Circuit）などのＩＣにより、１チップで構成されてもよい。この場合、制御装置２は、ＨＤＤ２０４、入力装置２０５、及び表示装置２０６を備えない。また、制御装置２は、車両に搭載された撮影装置１とネットワークを介して接続されたＰＣ（Personal Computer）、サーバ、タブレット端末、スマートフォンなどのコンピュータにより構成されてもよい。
【００２９】
次に、瞳孔検出装置１００の機能構成について説明する。図２は、瞳孔検出装置１００の機能構成の一例を示す図である。図２の瞳孔検出装置１００は、画像取得部２１と、画像記憶部２２と、テンプレート画像設定部２３と、スコア算出部２４と、検出用画像選択部２５と、瞳孔検出部２６と、を備える。これらの各機能構成は、制御装置２のＣＰＵ２０１がプログラムを実行し、瞳孔検出装置１００の各ハードウェア構成と協働することにより実現される。
【００３０】
画像取得部２１は、撮影装置１を制御し、異なる撮影タイミングで運転者の顔を撮影した第１顔画像Ｉｍ１及び第２顔画像Ｉｍ２を取得する。具体的には、画像取得部２１は、撮影装置１に運転者の顔を所定の撮影間隔で撮影させ、当該撮影間隔で第１顔画像Ｉｍ１及び第２顔画像Ｉｍ２を取得する。撮影間隔は、例えば、１ｍｓｅｃ以上１００ｍｓｅｃ以下である。第１顔画像Ｉｍ１は、明瞳孔画像及び暗瞳孔画像の一方であり、第２顔画像Ｉｍ２は、明瞳孔画像及び暗瞳孔画像の他方である。
【００３１】
明瞳孔画像は、運転者の瞳孔が明るく撮影された顔画像である。明瞳孔画像は、光源１２から運転者の顔に光を照射した状態で、当該光源１２と略同軸の撮影部１１により運転者の顔を撮影することにより取得される。このように撮影することにより、光源１２からの光が、運転者の網膜により、撮影部１１の方向に反射するため、運転者の瞳孔が明るく撮影される。図１の撮影装置１では、光源１２Ｌから運転者の顔に光を照射した状態で、撮影部１１Ｌにより運転者の顔を撮影することにより、明瞳孔画像が取得される。また、光源１２Ｒから運転者の顔に光を照射した状態で、撮影部１１Ｒにより運転者の顔を撮影することにより、明瞳孔画像が取得される。
【００３２】
暗瞳孔画像は、運転者の瞳孔が、明瞳孔画像に比べて暗く撮影された顔画像である。暗瞳孔画像は、光源１２から運転者の顔に光を照射した状態で、当該光源１２と非同軸の撮影部１１により運転者の顔を撮影することにより取得される。このように撮影することにより、光源１２からの光が、運転者の網膜により、撮影部１１とは異なる方向に反射するため、運転者の瞳孔が暗く撮影される。図１の撮影装置１では、光源１２Ｌから運転者の顔に光を照射した状態で、撮影部１１Ｒにより運転者の顔を撮影することにより、暗瞳孔画像が取得される。また、光源１２Ｒから運転者の顔に光を照射した状態で、撮影部１１Ｌにより運転者の顔を撮影することにより、暗瞳孔画像が取得される。
【００３３】
画像記憶部２２は、第１顔画像Ｉｍ１、第２顔画像Ｉｍ２、テンプレート画像Ｉｍｔ、及び差分画像など画像を記憶する。
【００３４】
テンプレート画像設定部２３は、画像記憶部２２に記憶された第１顔画像Ｉｍ１の一部を、テンプレート画像Ｉｍｔに設定する。テンプレート画像Ｉｍｔは、後述するテンプレートマッチングに利用される画像である。テンプレート画像設定部２３は、第１顔画像Ｉｍ１における、運転者の瞳孔を含む任意のサイズの部分をテンプレート画像Ｉｍｔとして設定する。瞳孔を含むテンプレート画像Ｉｍｔを設定する方法として、機械学習や顔の輪郭の検出により、第１顔画像Ｉｍ１から顔を検出し、当該顔において瞳孔が含まれると考えられる部分（例えば、顔の上半分など）をテンプレート画像Ｉｍｔとして設定する方法が考えられる。なお、テンプレート画像Ｉｍｔは、サイズが小さい方が好ましい。これにより、テンプレートマッチングを高速化できる。
【００３５】
スコア算出部２４は、テンプレートマッチングにより、複数の第２顔画像Ｉｍ２の部分画像（以下「候補画像Ｉｍｃ」という。）について、テンプレート画像Ｉｍｔとの間の輝度差に応じたスコアを算出する。候補画像Ｉｍｃは、後述する検出用画像Ｉｍｄの候補となる画像である。スコア算出部２４は、第２顔画像Ｉｍ２の中から、テンプレート画像Ｉｍｔと同じサイズの部分画像を候補画像Ｉｍｃとして選択し、選択した候補画像Ｉｍｃと、テンプレート画像Ｉｍｔと、の差分画像を生成し、生成した差分画像の輝度の平均値や積算値を、当該候補画像Ｉｍｃのスコアとして算出する。候補画像Ｉｍｃとテンプレート画像Ｉｍｔとが類似するほど、差分画像の輝度は小さくなるため、スコアが小さくなる。すなわち、候補画像Ｉｍｃとテンプレート画像Ｉｍｔとが類似するほど、スコアは小さくなる。
【００３６】
差分画像は、明瞳孔画像から暗瞳孔画像を減算した画像である。明瞳孔画像が第１顔画像Ｉｍ１であり、暗瞳孔画像が第２顔画像Ｉｍ２である場合、差分画像は、テンプレート画像Ｉｍｔから第２顔画像Ｉｍ２の部分画像を減算した画像となる。逆に、暗瞳孔画像が第１顔画像Ｉｍ１であり、明瞳孔画像が第２顔画像Ｉｍ２である場合、差分画像は、暗瞳孔画像である第１顔画像Ｉｍ１からテンプレート画像Ｉｍｔを設定し、テンプレート画像Ｉｍｔから第２顔画像Ｉｍ２の部分画像を減算した画像となる。スコア算出部２４は、生成した差分画像を、当該差分画像に対応する候補画像Ｉｍｃの識別情報と対応付けて、画像記憶部２２に保存する。候補画像Ｉｍｃの識別情報は、当該候補画像Ｉｍｃを特定する位置情報（座標）を含む。
【００３７】
スコア算出部２４は、全ての候補画像Ｉｍｃに対応する差分画像を画像記憶部２２に保存してもよい。また、スコア算出部２４は、最小のスコアを有する候補画像Ｉｍｃに対応する差分画像だけを画像記憶部２２に保存してもよいし、最小のスコアを有する候補画像Ｉｍｃ及びテンプレート画像Ｉｍｔに対応する候補画像Ｉｍｃに対応する差分画像だけを画像記憶部２２に保存してもよい。テンプレート画像Ｉｍｔに対応する候補画像Ｉｍｃとは、テンプレート画像Ｉｍｔと位置が同一の候補画像Ｉｍｃのことである。このように、一部の候補画像Ｉｍｃに対応する差分画像だけを保存することにより、画像記憶部２２に要求される記憶容量を小さくすることができる。
【００３８】
スコア算出部２４は、候補画像Ｉｍｃを、第１顔画像Ｉｍ１におけるテンプレート画像Ｉｍｔの位置を基準としたマッチング範囲Ｒ内で、所定ピクセル（１ピクセル又は複数ピクセル）ずつずらしながら選択し、各候補画像Ｉｍｃのスコアを算出する。スコア算出部２４は、候補画像Ｉｍｃの識別情報と、当該候補画像Ｉｍｃのスコアと、を対応付けて検出用画像選択部２５に通知する。
【００３９】
図３は、第１顔画像Ｉｍ１、第２顔画像Ｉｍ２、及びテンプレート画像Ｉｍｔの一例を示す図である。図３の例では、第１顔画像Ｉｍ１における（ｎ１，ｍ１）から（ｎ２，ｍ２）までの矩形範囲がテンプレート画像Ｉｍｔとして設定され、第２顔画像Ｉｍ２における（ｎ１−ｐ，ｍ１−ｑ）から（ｎ２＋ｐ，ｍ２＋ｑ）までの矩形範囲がマッチング範囲Ｒとして設定されている。このように、マッチング範囲Ｒは、第１顔画像Ｉｍ１におけるテンプレート画像Ｉｍｔの位置を基準に設定される。
【００４０】
スコア算出部２４は、マッチング範囲Ｒの中で、テンプレート画像Ｉｍｔを所定ピクセルずつずらしながらスコアを算出する。言い換えると、スコア算出部２４は、マッチング範囲Ｒの中で、候補画像Ｉｍｃを所定ピクセルずつずらしながら選択し、選択した各候補画像Ｉｍｃのスコアを算出する。図３の例では、ｐ及びｑが２ピクセルであり、所定ピクセルが１ピクセルである場合、スコア算出部２４は、２５個の候補画像Ｉｍｃのスコアを算出することになる。
【００４１】
上述の通り、第１顔画像Ｉｍ１及び第２顔画像Ｉｍ２は、撮影タイミングが撮影間隔だけ異なるため、第１顔画像Ｉｍ１及び第２顔画像Ｉｍ２に含まれる運転者の顔は、図３の例のように、撮影間隔に応じてわずかに位置がずれる。瞳孔検出装置１００は、第１顔画像Ｉｍ１及び第２顔画像Ｉｍ２に含まれる顔の位置ずれを補正するために、テンプレート画像Ｉｍｔに最も類似する（スコアが最も小さい）候補画像Ｉｍｃを探索する。これは、テンプレート画像Ｉｍｔと、当該テンプレート画像Ｉｍｔに最も類似する候補画像Ｉｍｃと、の間の位置ずれが、第１顔画像Ｉｍ１及び第２顔画像Ｉｍ２に含まれる顔の位置ずれに相当すると考えられるためである。このため、マッチング範囲Ｒ（テンプレート画像Ｉｍｔに最も類似する候補画像Ｉｍｃの探索範囲）は、少なくとも顔の位置ずれの分だけ、テンプレート画像Ｉｍｔより広く設定されるのが好ましい。一方、マッチング範囲Ｒが広いほど、テンプレートマッチングに要する時間が長くなる。したがって、テンプレートマッチングを高速化するためには、マッチング範囲Ｒが狭いのが好ましい。
【００４２】
結果として、マッチング範囲Ｒは、テンプレート画像Ｉｍｔより顔の位置ずれの分だけ広く、かつ、できるだけ狭く設定されるのが好ましい。このようなマッチング範囲Ｒの設定が可能となるように、マッチング範囲Ｒは、撮影間隔が長いほど広く設定され、撮影間隔が短いほど狭く設定されるのが好ましい。スコア算出部２４は、撮影間隔に応じて、マッチング範囲Ｒを変更可能であってもよい。
【００４３】
検出用画像選択部２５は、スコア算出部２４が算出したスコアに基づいて、スコア算出部２４がスコアを算出した候補画像Ｉｍｃの中から、検出用画像Ｉｍｄを選択する。検出用画像Ｉｍｄは、運転者の瞳孔を検出するための画像である。検出用画像選択部２５は、検出用画像Ｉｍｄとして選択した候補画像Ｉｍｃの識別情報を、瞳孔検出部２６に通知する。
【００４４】
検出用画像Ｉｍｄを選択する第１の選択方法として、最も小さいスコアを有する候補画像Ｉｍｃを、検出用画像Ｉｍｄとして選択する方法が考えられる。第１の選択方法によれば、テンプレート画像Ｉｍｔと最も類似する候補画像Ｉｍｃを簡便に選択することができる。
【００４５】
検出用画像Ｉｍｄを選択する第２の選択方法として、スコアが最も小さく、かつ、当該スコアが閾値未満である候補画像Ｉｍｃを、検出用画像Ｉｍｄとして選択する方法が考えられる。第２の選択方法によれば、最も小さいスコアが閾値以上である場合、テンプレート画像Ｉｍｔに対応する候補画像Ｉｍｃが、検出用画像Ｉｍｄとして選択される。
【００４６】
第２の選択方法によれば、第１の選択方法より、瞳孔の検出精度を向上させることができる。理由は、以下の通りである。
【００４７】
車両の振動や運転者の動作により、第１顔画像Ｉｍ１及び第１顔画像Ｉｍ２に含まれる顔の位置ずれが大きい場合、各候補画像Ｉｍｃは、非類似のテンプレート画像Ｉｍｔと比較されるため、スコアが全体的に大きくなる。しかしながら、第１の選択方法では、このような場合であっても、スコアが最小の候補画像Ｉｍｃが検出用画像Ｉｍｄとして選択されてしまう。テンプレート画像Ｉｍｔと非類似の候補画像Ｉｍｃに基づいて瞳孔を検出すると、当該候補画像Ｉｍｃを利用せずに瞳孔を検出した場合より、かえって瞳孔の検出精度が低下するおそれがある。第２の選択方法によれば、スコアが最も小さい候補画像Ｉｍｃであっても、そのスコアが閾値以上である場合には、検出用画像Ｉｍｄとしては選択されないため、非類似の候補画像Ｉｍｃに起因する瞳孔の検出精度の低下を抑制することができる。
【００４８】
なお、第１顔画像Ｉｍ１及び第１顔画像Ｉｍ２に含まれる顔の位置ずれが小さい場合であっても、瞳孔の輝度差により、テンプレート画像Ｉｍｔに最も類似する候補画像Ｉｍｃのスコアが閾値より大きくなる場合が考えられる。この場合、第２の選択方法では、テンプレート画像Ｉｍｔに最も類似する候補画像Ｉｍｃが検出用画像Ｉｍｄとして選択されず、テンプレート画像Ｉｍｔに対応する候補画像Ｉｍｃが選択されるため、瞳孔の検出精度が低下するおそれがある。しかしながら、この場合には、そもそも位置ずれが小さいため、テンプレート画像Ｉｍｔに対応する候補画像Ｉｍｃに基づいて、瞳孔を精度よく検出可能であるため、瞳孔の検出精度の低下は十分に小さいと考えられる。
【００４９】
結果として、第２の選択方法によれば、第１の選択方法に比べて、テンプレート画像Ｉｍｔと非類似の候補画像Ｉｍｃに起因する瞳孔の検出精度の低下が抑制されるため、瞳孔の検出精度を向上させることができる。
【００５０】
検出用画像選択部２５は、第２の選択方法を採用する場合、撮影環境が明るいほど閾値を小さくし、撮影環境が暗いほど閾値を大きくするのが好ましい。これは、撮影環境が明るい場合、運転者の瞳孔が収縮し、テンプレート画像Ｉｍｔに最も類似する候補画像Ｉｍｃのスコアが小さくなると考えられるためである。検出用画像選択部２５は、撮影環境の明るさとして、第１顔画像Ｉｍ１及び第２顔画像Ｉｍ２の輝度の平均値や積算値などを利用することができる。
【００５１】
なお、検出用画像Ｉｍｄの選択方法は、第１の選択方法及び第２の選択方法に限られない。
【００５２】
瞳孔検出部２６は、テンプレート画像Ｉｍｔ及び検出用画像Ｉｍｄに基づいて、運転者の瞳孔を検出する。具体的には、瞳孔検出部２６は、テンプレート画像Ｉｍｔと検出用画像Ｉｍｄとの差分画像を生成し、当該差分画像を２値化した２値化画像を生成し、当該２値化画像に基づいて、運転者の瞳孔の座標を検出する。
【００５３】
瞳孔検出部２６は、検出用画像選択部２５から通知された識別情報に基づいて、第２顔画像Ｉｍ２から検出用画像Ｉｍｄを取得し、画像記憶部２２からテンプレート画像Ｉｍｔを取得し、取得したテンプレート画像Ｉｍｔ及び検出用画像Ｉｍｄに基づいて、２値化画像を生成することができる。
【００５４】
また、瞳孔検出部２６は、検出用画像選択部２５から通知された識別情報に基づいて、画像記憶部２２から、検出用画像Ｉｍｄとして選択された候補画像Ｉｍｃに対応する差分画像を取得してもよい。当該差分画像は、テンプレート画像Ｉｍｔ及び検出用画像Ｉｍｄに基づいて生成された差分画像に相当する。瞳孔検出部２６は、画像記憶部２２から取得した差分画像に基づいて２値化画像を生成することにより、瞳孔検出処理を高速化できる。
【００５５】
なお、検出用画像選択部２５が第１の選択方法を採用している場合、最小のスコアを有する候補画像Ｉｍｃに対応する差分画像だけを画像記憶部２２に保存しておけばよい。また、検出用画像選択部２５が第２の選択方法を採用している場合、最小のスコアを有する候補画像Ｉｍｃ及びテンプレート画像Ｉｍｔに対応する候補画像Ｉｍｃに対応する差分画像だけを画像記憶部２２に保存しておけばよい。これにより、瞳孔検出処理を高速化しつつ、画像記憶部２２に要求される記憶容量を小さくすることができる。
【００５６】
上述の通り、検出用画像選択部２５により、テンプレート画像Ｉｍｔと最も類似する候補画像Ｉｍｃが検出用画像Ｉｍｄとして選択されているため、テンプレート画像Ｉｍｔにおける瞳孔の位置と、検出用画像Ｉｍｄにおける瞳孔の位置と、は略一致する。このようなテンプレート画像Ｉｍｔ及び検出用画像Ｉｍｄに基づいて２値化画像を生成することにより、瞳孔検出部２６は、運転者の瞳孔が白く描画された２値化画像を生成することができる。瞳孔検出部２６は、白く描画された瞳孔の重心などを、瞳孔の座標として検出すればよい。瞳孔検出部２６が検出した瞳孔の座標は、後段の視線検出装置などで利用することができる。
【００５７】
次に、瞳孔検出装置１００が実行する処理について説明する。図４は、瞳孔検出装置１００が実行する処理の一例を示すフローチャートである。瞳孔検出装置１００は、図４の処理を所定の時間間隔で実行する。以下、検出用画像選択部２５が、第２の選択方法を採用している場合を例に説明する。
【００５８】
処理の実行タイミングが到来すると、画像取得部２１が、撮影装置１に所定の撮影間隔で運転者の明瞳孔画像及び暗瞳孔画像を撮影させ、第１顔画像Ｉｍ１及び第２顔画像Ｉｍ２を取得する（ステップＳ１０１）。画像取得部２１は、取得した第１顔画像Ｉｍ１及び第２顔画像Ｉｍ２を画像記憶部２２に保存する。
【００５９】
第１顔画像Ｉｍ１及び第２顔画像Ｉｍ２が画像記憶部２２に保存されると、テンプレート画像設定部２３が、画像記憶部２２に保存された第１顔画像Ｉｍ１の一部をテンプレート画像Ｉｍｔに設定する（ステップＳ１０２）。テンプレート画像Ｉｍｔの設定方法は上述の通りである。テンプレート画像設定部２３は、設定したテンプレート画像Ｉｍｔを画像記憶部２２に保存する。
【００６０】
テンプレート画像Ｉｍｔが画像記憶部２２に保存されると、スコア算出部２４が、画像記憶部２２に保存された第２顔画像Ｉｍ２の一部を候補画像Ｉｍｃとて選択する（ステップＳ１０３）。候補画像Ｉｍｃの選択方法は上述の通りである。
【００６１】
次に、スコア算出部２４は、選択した候補画像Ｉｍｃと、画像記憶部２２に保存されたテンプレート画像Ｉｍｔと、の差分画像を生成し、当該差分画像に基づいて、候補画像Ｉｍｃのスコアを算出する（ステップＳ１０４）。スコアの算出方法は上述の通りである。スコア算出部２４は、算出したスコアと、スコアを算出された候補画像Ｉｍｃの識別情報と、を検出用画像選択部２５に通知する。
【００６２】
続いて、スコア算出部２４は、候補画像Ｉｍｃがテンプレート画像Ｉｍｔに対応するか、すなわち、テンプレート画像Ｉｍｔ及び候補画像Ｉｍｃの位置が同一であるか確認する（ステップＳ１０５）。候補画像Ｉｍｃがテンプレート画像Ｉｍｔに対応する場合（ステップＳ１０５のＹＥＳ）、スコア算出部２４は、候補画像Ｉｍｃから生成した差分画像を、テンプレート画像Ｉｍｔに対応する候補画像Ｉｍｃに対応する差分画像として、当該候補画像の識別情報と対応付けて、画像記憶部２２に保存する（ステップＳ１０６）。
【００６３】
同様に、スコア算出部２４は、候補画像Ｉｍｃのスコアが、これまで算出したスコアの中で最小であるか確認する（ステップＳ１０７）。候補画像Ｉｍｃのスコアが最小である場合（ステップＳ１０７のＹＥＳ）、スコア算出部２４は、候補画像Ｉｍｃから生成した差分画像を、スコアが最小の候補画像Ｉｍｃに対応する差分画像として、当該候補画像の識別情報と対応付けて、画像記憶部２２に保存する（ステップＳ１０８）。スコアが最小の候補画像Ｉｍｃに対応する差分画像が既に保存されている場合、スコア算出部２４は、保存されている差分画像に新たな差分画像を上書き保存すればよい。なお、ステップＳ１０５，Ｓ１０７は順不同である。
【００６４】
その後、スコア算出部２４は、マッチング範囲Ｒ内で選択可能な全ての候補画像Ｉｍｃを選択したか確認する（ステップＳ１０９）。未選択の候補画像Ｉｍｃがある場合（ステップＳ１０９のＮＯ）、処理はステップＳ１０３に戻る。一方、全ての候補画像Ｉｍｃが選択済みの場合（ステップＳ１０９のＹＥＳ）、処理はステップＳ１１０に進む。これにより、マッチング範囲Ｒ内で選択可能な全ての候補画像Ｉｍｃのスコアが算出される。
【００６５】
マッチング範囲Ｒ内で選択可能な全ての候補画像Ｉｍｃのスコアが算出されると、検出用画像選択部２５は、スコア算出部２４から通知された複数のスコアの中で最小のスコアが、閾値未満であるか判定する（ステップＳ１１０）。最小のスコアが閾値未満である場合（ステップＳ１１０のＹＥＳ）、検出用画像選択部２５は、当該最小のスコアを有する候補画像Ｉｍｃを検出用画像Ｉｍｄとして選択する（ステップＳ１１１）。一方、最小のスコアが閾値以上である場合（ステップＳ１１０のＮＯ）、検出用画像選択部２５は、テンプレート画像Ｉｍｔに対応する候補画像Ｉｍｃを検出用画像Ｉｍｄとして選択する（ステップＳ１１２）。検出用画像選択部２５は、選択した検出用画像Ｉｍｄの識別情報を瞳孔検出部２６に通知する。
【００６６】
検出用画像Ｉｍｄの識別情報を通知されると、瞳孔検出部２６は、当該識別情報に基づいて、画像記憶部２２から、検出用画像Ｉｍｄとして選択された候補画像Ｉｍｃに対応する差分画像を取得する（ステップＳ１１３）。
【００６７】
その後、瞳孔検出部２６は、取得した差分画像に基づいて２値化画像を生成し、当該２値化画像に基づいて、運転者の瞳孔の座標を検出する（ステップＳ１１４）。
【００６８】
以上説明した通り、瞳孔検出装置１００は、対象者の特徴点（鼻孔など）を利用することなく、テンプレート画像Ｉｍｔと最も類似する検出用画像Ｉｍｄを選択し、テンプレート画像Ｉｍｔ及び検出用画像Ｉｍｄに基づいて対象者の瞳孔を検出することができる。テンプレート画像Ｉｍｔと最も類似する検出用画像Ｉｍｄを選択することは、第１顔画像Ｉｍ１及び第２顔画像Ｉｍ２の位置ずれを補正することに相当する。したがって、瞳孔検出装置１００は、対象者の特徴点がマスクなどにより隠れている場合であっても、第１顔画像Ｉｍ１及び第２顔画像Ｉｍ２の位置ずれを補正し、対象者の瞳孔を検出することができる。言い換えると、本実施形態によれば、明瞳孔画像及び暗瞳孔画像に基づく瞳孔検出のロバスト性を向上させることができる。
【００６９】
また、本実施形態によれば、テンプレート画像Ｉｍｔは、対象者の瞳孔を含めばよいため、そのサイズを小さく設定できる。また、マッチング範囲Ｒは撮影間隔に応じて狭く設定できる。このように、テンプレート画像Ｉｍｔを小さくし、マッチング範囲Ｒを狭くすることにより、テンプレートマッチングを高速化できる。
【００７０】
また、スコアを算出された候補画像Ｉｍｃに対応する差分画像は、スコアの算出時点で画像記憶部２２に保存されるため、瞳孔検出部２６は、画像記憶部２２に保存された差分画像を利用して瞳孔を検出することができる。言い換えると、瞳孔検出部２６は、検出用画像Ｉｍｄの選択後に改めて差分画像を生成する必要がない。したがって、本実施形態によれば、瞳孔検出処理を高速化できる。
【００７１】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【００７２】
１：撮影装置
２：制御装置
１１：撮影部
１２：光源
２１：画像取得部
２２：画像記憶部
２３：テンプレート画像設定部
２４：スコア算出部
２５：検出用画像選択部
２６：瞳孔検出部
１００：瞳孔検出装置
Ｉｍ１：第１顔画像
Ｉｍ２：第２顔画像
Ｉｍｔ：テンプレート画像
Ｉｍｃ：候補画像
Ｉｍｄ：検出用画像
Ｒ：マッチング範囲
【図１】
2019097807.tif 000003
【図２】
2019097807.tif 000004
【図３】
2019097807.tif 000005
【図４】
2019097807.tif 000006