(57)【要約】【課題】  対象者の注視領域を短時間で推定可能とする。【解決手段】  一実施形態に係る視線検出装置は、対象者の顔画像を取得する顔画像取得部と、前記顔画像に基づいて、前記対象者の視線方向を推定する視線方向推定部と、前記視線方向に基づいて、前記対象者が注視している注視点を推定する注視点推定部と、所定期間の間に推定された複数の前記注視点の分布に基づいて、予め設定された複数の基準点を更新する基準点更新部と、複数の前記基準点に対応してそれぞれ設定された複数の対象領域の中から、複数の前記注視点の分布に基づいて、前記対象者が注視している前記対象領域を注視領域として推定する注視領域推定部と、を備える。【選択図】  図２
2019109689.tif 000002
【特許請求の範囲】
【請求項１】
対象者の顔画像を取得する顔画像取得部と、
前記顔画像に基づいて、前記対象者の視線方向を推定する視線方向推定部と、
前記視線方向に基づいて、前記対象者が注視している注視点を推定する注視点推定部と、
所定期間の間に推定された複数の前記注視点の分布に基づいて、予め設定された複数の基準点を更新する基準点更新部と、
複数の前記基準点に対応してそれぞれ設定された複数の対象領域の中から、複数の前記注視点の分布に基づいて、前記対象者が注視している前記対象領域を注視領域として推定する注視領域推定部と、
を備える視線検出装置。
【請求項２】
前記基準点更新部は、前記所定期間の間に推定された複数の前記注視点の中で、前記基準点に対応して設定された更新領域に含まれる前記注視点に基づいて、前記基準点を更新する
請求項１に記載の視線検出装置。
【請求項３】
前記注視領域推定部は、前記注視点が分布している前記対象領域を、前記注視領域として推定する
請求項１又は請求項２に記載の視線検出装置。
【請求項４】
前記視線方向推定部は、前記顔画像から前記対象者の第１特徴点及び第２特徴点を検出し、前記第１特徴点及び前記第２特徴点の座標に基づいて、前記視線方向を推定する
請求項１から請求項３までのいずれか１項に記載の視線検出装置。
【請求項５】
前記対象領域ごとに前記第１特徴点及び前記第２特徴点の座標を記憶する座標記憶部を更に備え、
前記注視領域推定部は、前記視線方向推定部が前記顔画像から前記対象者の前記第１特徴点及び前記第２特徴点のいずれか一方を検出できない場合、前記視線方向推定部が検出した前記対象者の前記第１特徴点又は前記第２特徴点の座標と、前記座標記憶部に記憶された前記第１特徴点又は前記第２特徴点の座標と、に基づいて、前記注視領域を推定する
請求項４に記載の視線検出装置。
【請求項６】
前記複数の基準点は、所定のタイミングにリセットされる
請求項１から請求項５までのいずれか１項に記載の視線検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視線検出装置に関する。
【背景技術】
【０００２】
従来、車載の視線検出装置として、運転者の視線方向に基づいて、運転者の注視点を検出し、検出した注視点に基づいて、運転者が何を見ているか推定するものが提案されている。この視線検出装置によれば、運転者がどの車載装備品（ルームミラーやサイドミラーなど）を見ているかを推定することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２１０２３９号公報
【特許文献２】特開２０１０−３０３６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の視線検出装置では、検出された全ての注視点から、車載装備品に対応する注視点の領域を推定しなければならず、処理に時間がかかるという問題があった。
【０００５】
本発明は、上記の課題に鑑みてなされたものであり、対象者の注視領域を短時間で推定可能とすることを目的とする。
【課題を解決するための手段】
【０００６】
一実施形態に係る視線検出装置は、対象者の顔画像を取得する顔画像取得部と、前記顔画像に基づいて、前記対象者の視線方向を推定する視線方向推定部と、前記視線方向に基づいて、前記対象者が注視している注視点を推定する注視点推定部と、所定期間の間に推定された複数の前記注視点の分布に基づいて、予め設定された複数の基準点を更新する基準点更新部と、複数の前記基準点に対応してそれぞれ設定された複数の対象領域の中から、複数の前記注視点の分布に基づいて、前記対象者が注視している前記対象領域を注視領域として推定する注視領域推定部と、を備える。
【発明の効果】
【０００７】
本発明の各実施形態によれば、対象者の注視領域を短時間で推定することができる。
【図面の簡単な説明】
【０００８】
【図１】視線検出装置のハードウェア構成の一例を示す図。
【図２】視線検出装置の機能構成の一例を示す図。
【図３】仮想平面上に設定された対象領域の一例を示す図。
【図４】基準点及び対象領域の一例を示す図。
【図５】対象領域記憶部が記憶した対象領域情報の一例を示す図。
【図６】注視点、対象領域、及び更新領域の一例を示す図。
【図７】視線検出装置の動作の一例を示すフローチャート。
【図８】視線検出装置の機能構成の一例を示す図。
【図９】瞳孔及び角膜反射像の座標と対象領域との関係の一例を示す図。
【図１０】視線検出装置の動作の一例を示すフローチャート。
【発明を実施するための形態】
【０００９】
以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重畳した説明を省略する。
【００１０】
＜第１実施形態＞
第１実施形態に係る視線検出装置１００について、図１〜図７を参照して説明する。本実施形態に係る視線検出装置１００は、対象者の顔画像に基づいて、予め設定された複数の対象領域の中から、対象者が注視している注視領域を推定する装置である。
【００１１】
視線検出装置１００は、例えば、車両の運転者が注視している、車載装備品に対応する注視領域を推定する車載装置として利用される。この場合、視線検出装置１００が推定した注視領域は、運転者の注視領域に応じて運転者に注意喚起や情報提供を行う外部装置又は外部アプリケーションで利用される。
【００１２】
また、視線検出装置１００は、美術館の来場者が注視している、作品に対応する注視領域を推定するヘッドセットなどとして利用できる。この場合、視線検出装置１００が推定した注視領域は、来場者の注視領域に応じて来場者に作品の説明などを行う外部装置又は外部アプリケーションで利用される。
【００１３】
以下、視線検出装置１００が車載装置である場合を例に説明する。この場合、視線検出装置１００が搭載された車両の運転者が、視線検出装置１００の対象者に相当する。
【００１４】
まず、視線検出装置１００のハードウェア構成について説明する。図１は、視線検出装置１００のハードウェア構成の一例を示す図である。図１の視線検出装置１００は、撮影装置１と、制御装置２と、を備える。
【００１５】
撮影装置１は、運転者の顔を撮影し、顔画像を取得する装置であり、制御装置２に接続される。撮影装置１は、運転者の顔を撮影可能な位置（運転席の前方）に配置される。図１の撮影装置１は、撮影部１１Ｌ，１１Ｒと、複数の光源１２Ｌ，１２Ｒと、を備える。
【００１６】
撮影部１１Ｌは、運転者の顔を撮影するカメラであり、図１における撮影装置１の左側に配置される。撮影部１１Ｒは、運転者の顔を撮影するカメラであり、図１における撮影装置１の右側に配置される。以下、撮影部１１Ｌ，１１Ｒを区別しない場合、撮影部１１と称する。
【００１７】
光源１２Ｌは、運転者の顔を撮影する際に、運転者の顔に所定のタイミングで光を照射する光源であり、撮影部１１Ｌの近傍に複数配置される。光源１２Ｒは、運転者の顔を撮影する際に、運転者の顔に所定のタイミングで光を照射する光源であり、撮影部１１Ｒの近傍に複数配置される。光源１２Ｌ，１２Ｒは、例えば、近赤外光を照射するＬＥＤ（Light Emitting Diode）であるが、これに限られない。以下、光源１２Ｌ，１２Ｒを区別しない場合、光源１２と称する。
【００１８】
なお、図１の例では、撮影装置１は、２つの撮影部１１を備えるが、１つ又は３つの撮影部１１を備えてもよい。撮影部１１が１つの場合、撮影装置１は、撮影部１１に対して略同軸の光源１２と非同軸の光源１２とをそれぞれ備えれば良い。また、図１の例では、撮影装置１は、それぞれ４つの光源１２Ｌ，１２Ｒを備えるが、光源１２Ｌ，１２Ｒの数は任意に設計可能である。
【００１９】
制御装置２は、撮影装置１を制御する装置であり、撮影装置１に接続される。具体的には、制御装置２は、撮影部１１による撮影及び光源１２の発光を制御する。また、制御装置２は、撮影装置１により取得された顔画像に基づいて、運転者（対象者）の注視領域を推定する。図１の制御装置２は、ＣＰＵ（Central Processing Unit）２０１と、ＲＯＭ（Read Only Memory）２０２と、ＲＡＭ（Random Access Memory）２０３と、ＨＤＤ（Hard Disk Drive）２０４と、入力装置２０５と、表示装置２０６と、を備える。また、制御装置２は、接続インタフェース２０７と、通信インタフェース２０８と、バス２０９と、を備える。
【００２０】
ＣＰＵ２０１は、プログラムを実行することにより、制御装置２の各ハードウェア構成を制御し、視線検出装置１００の機能を実現する。
【００２１】
ＲＯＭ２０２は、ＣＰＵ２０１が実行するプログラムや各種のデータを記憶する。
【００２２】
ＲＡＭ２０３は、ＣＰＵ２０１に作業領域を提供する。
【００２３】
ＨＤＤ２０４は、ＣＰＵ２０１が実行するプログラムや各種のデータを記憶する。
【００２４】
入力装置２０５は、運転者を含むユーザの操作に応じた情報を制御装置２に入力する。入力装置２０５は、例えば、タッチパネル、キーボード、マウス、ハードウェアボタンなどである。
【００２５】
表示装置２０６は、運転者を含むユーザの操作に応じた画面を表示する。表示装置２０６は、例えば、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイなどである。
【００２６】
接続インタフェース２０７は、制御装置２を撮影装置１に接続するためのインタフェースである。制御装置２は、接続インタフェース２０７を介して、撮影装置１を制御し、撮影装置１から顔画像（画像データ）を取得する。
【００２７】
通信インタフェース２０８は、制御装置２をＣＡＮ（Controller Area Network）、インターネット、ＬＡＮ（Local Area Network）などのネットワークに接続するためのインタフェースである。制御装置２は、通信インタフェース２０８を介して、ネットワーク上の外部装置（ＥＣＵ（Electronic Control Unit）など）と通信する。
【００２８】
バス２０９は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ＨＤＤ２０４、入力装置２０５、表示装置２０６、接続インタフェース２０７、及び通信インタフェース２０８を相互に接続する。
【００２９】
なお、図１の例では、制御装置２が車載のコンピュータにより構成される場合を想定している。しかしながら、制御装置２は、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specified Integrated Circuit）などのＩＣにより、１チップで構成されてもよい。この場合、制御装置２は、ＨＤＤ２０４、入力装置２０５、及び表示装置２０６を備えない。また、制御装置２は、車両に搭載された撮影装置１とネットワークを介して接続されたＰＣ（Personal Computer）、サーバ、タブレット端末、スマートフォンなどのコンピュータにより構成されてもよい。
【００３０】
次に、視線検出装置１００の機能構成について説明する。図２は、視線検出装置１００の機能構成の一例を示す図である。図２の視線検出装置１００は、顔画像取得部２１と、視線方向推定部２２と、注視点推定部２３と、対象領域記憶部２４と、注視領域推定部２５と、基準点更新部２６と、を備える。これらの各機能構成は、制御装置２のＣＰＵ２０１がプログラムを実行し、視線検出装置１００の各ハードウェア構成と協働することにより実現される。
【００３１】
顔画像取得部２１は、撮影装置１を制御し、運転者の顔画像を取得する。具体的には、顔画像取得部２１は、撮影装置１に車両を運転中の運転者の顔を所定の撮影間隔で撮影させ、当該撮影間隔で運転者の顔画像を取得する。撮影間隔は、例えば、１ｍｓｅｃ以上１００ｍｓｅｃ以下である。顔画像取得部２１が取得する顔画像は、明瞳孔画像、暗瞳孔画像、及び無照明画像の少なくとも１つを含む。
【００３２】
明瞳孔画像は、運転者の瞳孔が明るく撮影された顔画像である。明瞳孔画像は、光源１２から運転者の顔に光を照射した状態で、当該光源１２と略同軸の撮影部１１により運転者の顔を撮影することにより取得される。このように撮影することにより、光源１２からの光が、運転者の網膜により、撮影部１１の方向に反射するため、運転者の瞳孔が明るく撮影される。図１の撮影装置１では、光源１２Ｌから運転者の顔に光を照射した状態で、撮影部１１Ｌにより運転者の顔を撮影することにより、明瞳孔画像が取得される。また、光源１２Ｒから運転者の顔に光を照射した状態で、撮影部１１Ｒにより運転者の顔を撮影することにより、明瞳孔画像が取得される。
【００３３】
暗瞳孔画像は、運転者の瞳孔が、明瞳孔画像に比べて暗く撮影された顔画像である。暗瞳孔画像は、光源１２から運転者の顔に光を照射した状態で、当該光源１２と非同軸の撮影部１１により運転者の顔を撮影することにより取得される。このように撮影することにより、光源１２からの光が、運転者の網膜により、撮影部１１とは異なる方向に反射するため、運転者の瞳孔が暗く撮影される。図１の撮影装置１では、光源１２Ｌから運転者の顔に光を照射した状態で、撮影部１１Ｒにより運転者の顔を撮影することにより、暗瞳孔画像が取得される。また、光源１２Ｒから運転者の顔に光を照射した状態で、撮影部１１Ｌにより運転者の顔を撮影することにより、暗瞳孔画像が取得される。
【００３４】
無照明画像は、光源１２から運転者の顔に光を照射しない状態で、撮影部１１により運転者の顔を撮影することにより取得される顔画像である。
【００３５】
視線方向推定部２２は、顔画像取得部２１が取得した顔画像に基づいて、運転者の視線方向を推定する。具体的には、視線方向推定部２２は、運転者の顔画像から１つ又は複数の特徴点を検出し、検出した特徴点の座標に基づいて視線方向を推定する。以下では、視線方向推定部２２が、運転者の顔画像から第１特徴点として瞳孔及び第２特徴点として角膜反射像（プルキニエ像）を検出し、検出した瞳孔及び角膜反射像の座標に基づいて、視線方向を推定する場合を例に説明するが、特徴点はこれに限られない。視線方向推定部２２は、視線方向の推定結果として、瞳孔の座標及び当該瞳孔からの視線の角度を出力する。
【００３６】
注視点推定部２３は、視線方向推定部２２が推定した視線方向に基づいて、予め設定された仮想平面Ｓ上における、運転者が注視している注視点ｐを推定する。具体的には、注視点推定部２３は、仮想平面Ｓと、推定された視線方向と、の交点（注視点ｐ）の座標を推定する。仮想平面Ｓは、運転者から見た前方視界と対応する、仮想的に設定された平面である。
【００３７】
対象領域記憶部２４は、対象領域Ｔに関する情報（以下「対象領域情報」という。）を記憶する。対象領域Ｔは、仮想平面Ｓ上に予め複数設定された領域である。各対象領域Ｔは、車載装備品と対応するように設定される。すなわち、対象領域Ｔは、対応する車載装備品を運転者が注視した際の注視点ｐが含まれるように設定される。
【００３８】
図３は、仮想平面Ｓ上に設定された対象領域Ｔの一例を示す図である。図３は、運転者から見た前方視界と共に、対象領域Ｔを設定された仮想平面Ｓを示している。図３の例では、仮想平面Ｓには、対象領域Ｔ１〜Ｔ６が設定されている。対象領域Ｔ１はルームミラーに対応し、対象領域Ｔ２は右サイドミラーに対応し、対象領域Ｔ３は左サイドミラーに対応し、対象領域Ｔ４はメータに対応し、対象領域Ｔ５は空調機器に対応し、対象領域Ｔ６は撮影装置１に対応する。なお、仮想平面Ｓに設定される対象領域Ｔは、図３の例に限られない。
【００３９】
複数の対象領域Ｔは、それぞれ基準点Ｒを基準として設定される。図４は、基準点Ｒ及び対象領域Ｔの一例を示す図である。図４の例では、横軸がＸ軸、縦軸がＹ軸、基準点Ｒの座標が（Ｘｒ，Ｙｒ）である。Ｘ軸とＹ軸との交点である原点は、仮想平面Ｓ上の任意の位置に設定可能である。また、図４の対象領域Ｔは、基準点Ｒを含む矩形の領域であり、左上頂点の座標が（Ｘｒ−ａ，Ｙｒ＋ｄ）、右上頂点の座標が（Ｘｒ＋ｂ，Ｙｒ＋ｄ）、左下頂点の座標が（Ｘｒ−ａ，Ｙｒ−ｃ）、右下頂点の座標が（Ｘｒ＋ｂ，Ｙｒ−ｃ）である。すなわち、対象領域Ｔは、基準点Ｒ（Ｘｒ，Ｙｒ）を基準として、パラメータａ〜ｄにより設定されている。パラメータａ〜ｄは、基準点Ｒに対する対象領域Ｔの範囲を示すパラメータである。対象領域情報には、対象領域の基準点Ｒの座標と、基準点Ｒに対する範囲を示すパラメータと、が含まれる。
【００４０】
対象領域記憶部２４は、対象領域Ｔごとに対象領域情報を記憶する。図５は、対象領域記憶部２４が記憶した対象領域情報の一例を示す図である。図５は、対象領域Ｔ１〜Ｔ３の対象領域情報を示しており、各対象領域情報には、基準点Ｒの座標と、パラメータａ〜ｄの値と、が含まれている。例えば、対象領域Ｔ１の基準点Ｒの座標は（Ｘ１，Ｙ１）であり、パラメータａ，ｂ，ｃ，ｄの値は、それぞれａ１，ｂ１，ｃ１，ｄ１である。
【００４１】
各対象領域Ｔの対象領域情報は、対応する車載装備品ごとに予め設定され、対象領域記憶部２４に記憶される。対象領域記憶部２４に記憶された基準点Ｒの座標（Ｘｒ，Ｙｒ）は、基準点Ｒの座標の初期値に相当し、基準点更新部２６により更新される。
【００４２】
なお、図３〜図５の例では、対象領域Ｔは、矩形の領域であったが、円形や楕円形の領域であってもよい。例えば、対象領域Ｔが円形の領域である場合、対象領域記憶部２４は、基準点Ｒに対する範囲を示すパラメータとして、対象領域Ｔの半径を記憶すればよい。
【００４３】
注視領域推定部２５は、注視点推定部２３が推定した注視点ｐに基づいて、対象領域記憶部２４に記憶された複数の対象領域Ｔの中から、運転者が注視している注視領域Ｇを推定する。具体的には、注視領域推定部２５は、注視点ｐが含まれる対象領域Ｔを、注視領域Ｇとして推定する。注視領域推定部２５による推定結果（推定された注視領域Ｇ）は、上述の通り、後段の装置やアプリケーションで利用することができる。
【００４４】
基準点更新部２６は、基準点Ｒを基準として設定された更新領域Ｕに含まれる、所定期間ｔ１の間に推定された注視点ｐの分布に基づいて、基準点Ｒを更新する。基準点Ｒの更新は、当該基準点Ｒを基準として設定された対象領域Ｔ及び更新領域Ｕの更新に相当する。更新領域Ｕは、対応する対象領域Ｔ（基準点Ｒが一致する対象領域Ｔ）を含むように設定される。更新領域Ｕは、対象領域Ｔと同一であってもよいし、対象領域Ｔより広くてもよい。更新領域Ｕが対象領域Ｔと異なる場合、更新領域Ｕの座標範囲を対象領域記憶部２４に記憶しておけばよい。また、基準点更新部２６により更新された基準点Ｒの座標は、対象領域記憶部２４に記憶される。
【００４５】
上述の通り、対象領域Ｔは、運転者が車載装備品を注視した際の注視点ｐを含むように予め設定される。しかしながら、運転者が車載装備品を注視した際の注視点ｐの位置には、運転者の体格、姿勢、目の状態（斜視など）に応じた個人差がある。このため、予め設定された対象領域Ｔが、運転者が車載装備品を注視した際の注視点ｐと正確に対応するとは限らない。言い換えると、運転者が車載装備品を注視した際の注視点ｐが、当該車載装備品と対応する対象領域Ｔの外側に位置する場合が考えられる。この場合、注視領域推定部２５は、注視点ｐに基づいて注視領域Ｇを精度よく推定することができない。
【００４６】
そこで、本実施形態では、基準点更新部２６が、運転者の実際の注視点ｐの分布に基づいて、基準点Ｒを更新する。これにより、運転者が車載装備品を注視した際の実際の注視点ｐと、当該車載装備品に対応する対象領域Ｔと、をより正確に対応させることができる。結果として、注視領域推定部２５は、注視領域Ｇを精度よく推定することができる。
【００４７】
ここで、図６は、注視点ｐ、対象領域Ｔ、及び更新領域Ｕの一例を示す図である。図６は、図３の右サイドミラーに対応する対象領域Ｔ２と、対象領域Ｔ２と対応する更新領域Ｕ２と、運転者が右サイドミラーを注視した際の注視点ｐ１〜ｐ１０と、を示している。注視点ｐ１〜ｐ１０は、運転者が所定期間ｔ１の間に右サイドミラーを注視した際の注視点ｐである。また、図６の例では、更新領域Ｕ２は対象領域Ｔ２より広く設定されている。また、図６（ａ）は、更新前の基準点Ｒ２に対応する対象領域Ｔ２及び更新領域Ｕ２を示し、図６（ｂ）は、更新後の基準点Ｒ２に対応する対象領域Ｔ２及び更新領域Ｕ２を示している。
【００４８】
図６（ａ）の例では、更新前の対象領域Ｔ２には、注視点ｐ３〜ｐ８が含まれている。このため、注視領域推定部２５は、注視点ｐ３〜ｐ８が検出された場合、注視領域Ｇは対象領域Ｔ２であると正しく推定する。しかしながら、注視点ｐ１，２，９，１０は対象領域Ｔ２には含まれないため、注視領域推定部２５は、注視点ｐ１，２，９，１０が検出された場合、注視領域Ｇは対象領域Ｔ２ではないと誤って推定する。
【００４９】
一方、図６（ａ）の例では、基準点更新部２６は、更新領域Ｕ２に含まれる注視点ｐ２〜ｐ９に基づいて、基準点Ｒ２を更新する。基準点更新部２６は、例えば、基準点Ｒ２を注視点ｐ２〜ｐ９の重心に更新するが、更新方法はこれに限られない。
【００５０】
基準点Ｒ２が更新されると、図６（ｂ）に示すように、対象領域Ｔ２は、基準点Ｒ２の移動に従って移動する。図６（ｂ）の例では、注視点ｐ１〜ｐ１０は対象領域Ｔ２に含まれるため、注視領域推定部２５は、注視点ｐ１〜ｐ１０に基づいて、注視領域Ｇが対象領域Ｔ２であると正しく推定することができる。
【００５１】
このように、基準点更新部２６が基準点Ｒを更新することにより、基準点Ｒ及び対象領域Ｔが、運転者が実際に車載装備品を注視した際の注視点ｐに追従して移動する。この対象領域Ｔに基づいて注視領域Ｇを推定することにより、注視領域推定部２５は、注視領域Ｇを精度よく推定することができる。
【００５２】
なお、基準点更新部２６は、基準点Ｒを更新するために、所定期間ｔ１の間に推定された注視点ｐの座標を一時的に記憶する。基準点更新部２６は、新たな注視点ｐの座標を記憶するたびに、記憶している注視点ｐの座標を古い方から順に消去すればよい。
【００５３】
次に、視線検出装置１００の動作について説明する。図７は、視線検出装置１００の動作の一例を示すフローチャートである。視線検出装置１００は、車両のエンジンの動作中、所定時間ｔ２ごとに、図７の動作を繰り返す。ここで、所定期間ｔ１は所定時間ｔ２のｎ倍であるものとする（ｔ１＝ｎ×ｔ２）。以下、図７の動作開始時点で、エンジンは始動済みであるものとする。
【００５４】
動作タイミングが到来すると、顔画像取得部２１は、撮影装置１を制御して、視線方向の推定に利用する運転者の顔画像を取得する（ステップＳ１０１）。視線方向の推定に利用する顔画像は、１つであってもよいし、複数であってもよい。顔画像取得部２１は、取得した顔画像を視線方向推定部２２に渡す。
【００５５】
視線方向推定部２２は、顔画像を受け取ると、当該顔画像から運転者の瞳孔及び角膜反射像を検出する（ステップＳ１０２）。視線方向推定部２２は、運転者の両目の瞳孔及び角膜反射像を検出してもよいし、いずれか一方の目の瞳孔及び角膜反射像を検出してもよい。
【００５６】
次に、視線方向推定部２２は、顔画像における瞳孔及び角膜反射像の座標に基づいて、運転者の視線方向を推定する（ステップＳ１０３）。視線方向推定部２２は、推定した視線方向（瞳孔の座標及び瞳孔からの角度）を注視点推定部２３に渡す。
【００５７】
注視点推定部２３は、運転者の視線方向を受け取ると、当該視線方向に基づいて、仮想平面Ｓ上における運転者の注視点ｐを推定する（ステップＳ１０４）。注視点推定部２３は、推定した新たな注視点ｐの座標を、注視領域推定部２５及び基準点更新部２６に渡す。
【００５８】
基準点更新部２６は、新たな注視点ｐの座標を受け取ると、対象領域記憶部２４を参照して、新たな注視点ｐがいずれかの更新領域Ｕに含まれているか確認する（ステップＳ１０５）。新たな注視点ｐがいずれの更新領域Ｕにも含まれていない場合（ステップＳ１０５のＮＯ）、基準点更新部２６は、新たな注視点ｐの座標を記憶し、記憶している最も古い注視点ｐの座標を削除し、動作を終了する。その後、視線検出装置１００の動作は、ステップＳ１０７に進む。
【００５９】
例えば、所定期間ｔ１は所定時間ｔ２の８倍（ｎ＝８）であり、基準点更新部２６が図６（ａ）の注視点ｐ２〜ｐ９を記憶しており、新たな注視点として注視点ｐ１０が推定された場合、基準点更新部２６は、注視点ｐ１０の座標を記憶し、注視点ｐ２の座標を削除し、動作を終了する。
【００６０】
一方、新たな注視点ｐがいずれかの更新領域Ｕに含まれている場合（ステップＳ１０５のＹＥＳ）、基準点更新部２６は、新たな注視点ｐの座標を記憶し、記憶している最も古い注視点ｐの座標を削除し、新たな注視点ｐと、一時的に記憶しているｎ−１個の注視点ｐのうち新たな注視点ｐと同じ更新領域Ｕに含まれている注視点ｐと、に基づいて、新たな注視点ｐが含まれている更新領域Ｕの基準点Ｒを更新する（ステップＳ１０６）。
【００６１】
例えば、ｎ＝８であり、基準点更新部２６が図６（ａ）の注視点ｐ１〜ｐ８を記憶しており、新たな注視点として注視点ｐ９が推定された場合、基準点更新部２６は、注視点ｐ９の座標を記憶し、注視点ｐ１の座標を削除し、注視点ｐ２〜ｐ９に基づいて、基準点Ｒ２を更新し（図６（ｂ）参照）、更新した基準点Ｒ２の座標を対象領域記憶部２４に保存し、動作を終了する。
【００６２】
これに対して、注視領域推定部２５は、新たな注視点ｐの座標を受け取ると、対象領域記憶部２４を参照して、新たな注視点ｐがいずれかの対象領域Ｔに含まれているか確認する（ステップＳ１０７）。新たな注視点ｐがいずれの対象領域Ｔにも含まれていない場合（ステップＳ１０７のＮＯ）、注視領域推定部２５は動作を終了する。その後、視線検出装置１００の動作は、ステップＳ１０９に進む。
【００６３】
例えば、新たな注視点ｐが図６（ａ）の注視点ｐ９である場合、注視領域推定部２５は、動作を終了する。この際、注視領域推定部２５は、推定結果を出力しなくてもよいし、注視領域Ｇに該当する対象領域Ｔはないという推定結果を出力してもよい。
【００６４】
一方、新たな注視点ｐがいずれかの対象領域Ｔに含まれている場合（ステップＳ１０７のＹＥＳ）、注視領域推定部２５は、新たな注視点ｐが含まれる対象領域Ｔが注視領域Ｇであると推定する（ステップＳ１０８）。
【００６５】
例えば、新たな注視点ｐが図６（ａ）の注視点ｐ８である場合、注視領域推定部２５は、注視領域Ｇは対象領域Ｔ２であると推定し、推定結果を出力する。
【００６６】
注視領域推定部２５が注視領域Ｇを推定した後、視線検出装置１００は、車両のエンジンが停止しているか確認する（ステップＳ１０９）。エンジンが停止していない場合（ステップＳ１０９のＮＯ）、視線検出装置１００は、今回の動作タイミングから所定時間ｔ２が経過するまで待機する（ステップＳ１１０のＮＯ）。所定時間ｔ２が経過すると（ステップＳ１１０のＹＥＳ）、視線検出装置１００は、顔画像取得部２１により、再び顔画像を取得する（ステップＳ１０１）。
【００６７】
一方、注視領域推定部２５が注視領域Ｇを推定した後、車両のエンジンが停止した場合（ステップＳ１０９のＹＥＳ）、対象領域記憶部２４は、基準点更新部２６により更新された基準点Ｒの座標を予め設定された初期値にリセットする（ステップＳ１１１）。これにより、視線検出装置１００の動作開始時の基準点Ｒは初期値に設定される。その後、視線検出装置１００は動作を終了する。
【００６８】
以上説明した通り、本実施形態によれば、視線検出装置１００は、予め設定された対象領域Ｔに注視点ｐが含まれるか否かという簡単な処理により、注視領域Ｇを推定することができる。したがって、視線検出装置１００は、検出された全ての注視点ｐに基づいて注視領域Ｇを推定する従来の視線検出装置に比べて、運転者（対象者）の注視領域Ｇを短時間で推定することができる。
【００６９】
また、視線検出装置１００は、基準点Ｒを更新することにより、更新領域Ｕ及び対象領域Ｔを運転者の実際の注視点ｐに追従して移動させることができるため、運転者の姿勢の変化などにより、運転者の実際の注視点ｐと、基準点Ｒの初期値と、が離れた場合であっても、運転者の実際の注視点ｐに対応するように、更新領域Ｕ及び対象領域Ｔを適切に設定することができる。結果として、視線検出装置１００は、基準点Ｒを精度よく更新し、注視領域Ｇを精度よく推定することができる。
【００７０】
なお、図７の例では、基準点Ｒの更新後、注視領域Ｇが推定される場合を例に説明したが、注視領域Ｇの推定後、基準点Ｒが更新されてもよい。また、基準点Ｒは、エンジンの停止時や運転者によるリセット操作時などのタイミングにリセットされてもよい。また、運転者を識別可能な場合には、対象領域記憶部２４に、運転者ごとに、更新後の基準点Ｒの座標が記憶されてもよい。これにより、エンジン始動時から、基準点Ｒを運転者に応じた最適な座標に設定できる。運転者を識別する方法として、運転者を識別する外部装置から運転者の識別情報を取得する方法や、顔画像取得部２１が取得した顔画像に基づいて運転者を識別する方法などが考えられる。また、基準点Ｒを更新する代わりに、所定期間ｔ１の間に推定された注視点ｐの分布に基づいて、推定される注視点ｐを補正することも可能である。これにより、基準点Ｒの更新と同様の効果が得られる。
【００７１】
＜第２実施形態＞
第２実施形態に係る視線検出装置１００について、図８〜図１０を参照して説明する。本実施形態では、顔画像から複数の特徴点の一部が検出できない場合であっても注視領域Ｇを推定可能な視線検出装置１００について説明する。なお、視線検出装置１００のハードウェア構成は第１実施形態と同様である。また、第１実施形態と同様に、特徴点は瞳孔及び角膜反射像であるものとする。
【００７２】
まず、視線検出装置１００の機能構成について説明する。図８は、本実施形態に係る視線検出装置１００の機能構成の一例を示す図である。図８の視線検出装置１００は、座標記憶部２７を備える。他の機能構成は第１実施形態と同様である。
【００７３】
座標記憶部２７は、視線方向推定部２２が顔画像から検出した運転者の瞳孔及び角膜反射像の座標を対象領域Ｔごとに記憶する。すなわち、瞳孔及び角膜反射像の座標は、当該瞳孔及び角膜反射像が検出された際に運転者が注視していた対象領域Ｔと対応付けて記憶される。瞳孔及び角膜反射像の座標に対応する対象領域Ｔの正解データとして、注視領域推定部２５の推定結果、すなわち、注視領域Ｇが利用される。例えば、ある動作タイミングに、注視領域Ｇが対象領域Ｔ２であると推定された場合、当該動作タイミングに検出された瞳孔及び角膜反射像の座標は、対象領域Ｔ２に対応する瞳孔及び角膜反射像の座標として記憶される。
【００７４】
図９は、瞳孔及び角膜反射像の座標と対象領域Ｔとの関係の一例を示す図である。図９の例では、横軸はｘ軸であり、縦軸はｙ軸であり、丸は瞳孔であり、四角は角膜反射像である。一般に、運転者がある対象領域Ｔを注視する場合、注視時の姿勢は毎回ほぼ同様である可能性が高い。このため、顔画像から検出される瞳孔及び角膜反射像の座標は、図９の例のように、運転者が注視する対象領域Ｔごとに類似すると考えられる。例えば、図９の例では、運転者が対象領域Ｔ１を注視する際の瞳孔及び角膜反射像の座標は、運転者が対象領域Ｔ２を注視する際の瞳孔及び角膜反射像の座標より、全体的に右上に位置している。
【００７５】
本実施形態では、顔画像から瞳孔が検出できなかった場合、注視領域推定部２５は、座標記憶部２７に記憶された図９のような対象領域Ｔごとの角膜反射像の座標と、顔画像から検出された角膜反射像の座標と、に基づいて、注視領域Ｇを推定する。同様に、顔画像から角膜反射像が検出できなかった場合、注視領域推定部２５は、座標記憶部２７に記憶された図９のような対象領域Ｔごとの瞳孔の座標と、顔画像から検出された瞳孔の座標と、に基づいて、注視領域Ｇを推定する。これにより、顔画像から瞳孔又は角膜反射像が検出できない場合であっても、注視領域Ｇを推定することができる。
【００７６】
次に、視線検出装置１００の動作について説明する。図１０は、視線検出装置１００の動作の一例を示すフローチャートである。図１０のフローチャートは、図７のフローチャートに、ステップＳ１１２〜Ｓ１１７を追加したものに相当する。図１０のステップＳ１０１〜Ｓ１１１は、図７と同様である。
【００７７】
本実施形態では、視線方向推定部２２は、顔画像から瞳孔及び角膜反射像の両方の検出に成功した場合（ステップＳ１１２のＹＥＳ）、検出した瞳孔及び角膜反射像の座標を対応付けて、座標記憶部２７に保存する（ステップＳ１１３）。以降、視線検出装置１００は、ステップＳ１０３〜Ｓ１０８の動作を実行する。
【００７８】
その後、注視領域推定部２５は、注視領域Ｇを推定すると（ステップＳ１０８）、当該注視領域Ｇとして推定した対象領域Ｔを、ステップＳ１１３で座標記憶部２７に保存した瞳孔及び角膜反射像の座標と対応付けて、座標記憶部２７に保存する（ステップＳ１１４）。以降、視線検出装置１００は、ステップＳ１０９〜Ｓ１１１の動作を実行する。
【００７９】
一方、視線方向推定部２２は、顔画像から瞳孔及び角膜反射像の両方の検出に失敗した場合（ステップＳ１１２のＮＯ，ステップＳ１１５のＹＥＳ）、動作を終了する。以降、視線検出装置１００は、ステップＳ１０９〜Ｓ１１１の動作を実行する。
【００８０】
他方、視線方向推定部２２は、顔画像から瞳孔及び角膜反射像のいずれか一方の検出のみ成功した場合（ステップＳ１１２のＮＯ，ステップＳ１１５のＮＯ）、検出した瞳孔又は角膜反射像の座標を注視領域推定部２５に渡す。ここでは瞳孔の検出に成功し、角膜反射像の検出に失敗したものとする。
【００８１】
注視領域推定部２５は、検出に成功した瞳孔の座標を受け取ると、座標記憶部２７を参照して、当該瞳孔に対応する対象領域Ｔがあるか確認する（ステップＳ１１６）。
【００８２】
検出した瞳孔に対応する対象領域Ｔは、例えば、検出した瞳孔から所定距離以内に位置する瞳孔を含む対象領域Ｔである。例えば、検出された瞳孔が図９の瞳孔Ｐ１であり、瞳孔Ｐ１から瞳孔Ｐ２までの距離が所定距離以内である場合、瞳孔Ｐ２に対応する対象領域Ｔ１が、瞳孔Ｐ１に対応する対象領域Ｔとなる。
【００８３】
また、検出した瞳孔に対応する対象領域Ｔは、その対象領域Ｔに対応する瞳孔の座標の重心が、検出した瞳孔から所定距離以内に位置する対象領域Ｔであってもよい。例えば、検出された瞳孔が図９の瞳孔Ｐ１であり、対象領域Ｔ１に対応する複数の瞳孔の重心が、瞳孔Ｐ１から所定距離以内に位置する場合、対象領域Ｔ１が瞳孔Ｐ１に対応する対象領域Ｔとなる。
【００８４】
検出した瞳孔に対応する対象領域Ｔがない場合（ステップＳ１１６のＮＯ）、注視領域推定部２５は動作を終了する。以降、視線検出装置１００は、ステップＳ１０９〜Ｓ１１１の動作を実行する。
【００８５】
一方、検出した瞳孔に対応する対象領域Ｔがある場合（ステップＳ１１６のＹＥＳ）、注視領域推定部２５は、検出した瞳孔に対応する対象領域Ｔが注視領域Ｇであると推定する（ステップＳ１１７）。以降、視線検出装置１００は、ステップＳ１０９〜Ｓ１１１の動作を実行する。
【００８６】
以上説明した通り、本実施形態によれば、視線検出装置１００は、顔画像から瞳孔及び角膜反射像のいずれか一方しか検出できなかった場合であっても、注視領域Ｇを推定することができる。したがって、注視領域Ｇをより確実に推定することができる。
【００８７】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【００８８】
１：撮影装置
２：制御装置
１１：撮影部
１２：光源
２１：顔画像取得部
２２：視線方向推定部
２３：注視点推定部
２４：対象領域記憶部
２５：注視領域推定部
２６：基準点更新部
２７：座標記憶部
１００：視線検出装置
Ｔ：対象領域
Ｕ：更新領域
Ｇ：注視領域
ｐ：注視点
Ｓ：仮想平面
Ｒ：基準点
【図１】
2019109689.tif 000003
【図２】
2019109689.tif 000004
【図３】
2019109689.tif 000005
【図４】
2019109689.tif 000006
【図５】
2019109689.tif 000007
【図６】
2019109689.tif 000008
【図７】
2019109689.tif 000009
【図８】
2019109689.tif 000010
【図９】
2019109689.tif 000011
【図１０】
2019109689.tif 000012