(57)【特許請求の範囲】
【請求項１】
切替え可能な複数の視線検出モードにおける一の視線検出モードとして視線検出対象者の視線推定対象の目を選択する推定対象選択部と、
前記一の視線検出モードにおける前記視線検出対象者の視線を推定する視線推定部と、
推定対象選択部の選択によって前記視線検出モードが切り替わる前の前記視線である第１視線と、前記視線検出モードが切り替わった後の前記視線である第２視線と、に基づき、前記視線検出モードが切り替わった後の前記第２視線の信頼度を決定する信頼度決定部と、
前記第２視線の情報と前記第２視線の前記信頼度とを出力する視線方向出力部と、を備える視線検出装置。
【請求項２】
前記信頼度決定部は、前記第１視線と前記第２視線との差が予め定められた値よりも大きい場合に、前記第２視線の前記信頼度を前記第１視線の信頼度よりも小さな値に決定する、請求項１に記載の視線検出装置。
【請求項３】
前記第１視線は、前記視線検出モードが切り替わる前の予め定められた第１時間内における前記視線の平均値である、請求項１に記載の視線検出装置。
【請求項４】
前記第２視線は、前記視線検出モードが切り替わった後の予め定められた第２時間内における前記視線の平均値である、請求項１に記載の視線検出装置。
【請求項５】
前記信頼度決定部は、前記視線検出モードが切り替わる前の予め定められた時間内における前記第１視線の変化に基づいて予測される前記視線の予測範囲内に前記第２視線が含まれてない場合に、前記第２視線の前記信頼度を前記第１視線の信頼度よりも小さな値に決定する、請求項１に記載の視線検出装置。
【請求項６】
前記信頼度決定部は、前記視線検出モードが右目から左目、または、左目から右目に切り替わった場合に前記第２視線の前記信頼度を決定する、請求項１に記載の視線検出装置。
【請求項７】
前記信頼度決定部は、前記視線検出モードが両目から片目、または、片目から両目に切り替わった場合に前記第２視線の前記信頼度を決定する、請求項１に記載の視線検出装置。
【請求項８】
前記視線検出対象者の画像を取得し、前記画像に基づき、前記視線検出対象者の顔の特徴を検出する顔特徴検出部と、
前記顔の特徴に基づき、前記視線検出対象者の顔の方向を推定する顔向き推定部と、をさらに備え、
前記推定対象選択部は、前記視線検出対象者の前記顔の方向に基づき、前記一の視線検出モードを選択する、請求項１に記載の視線検出装置。
【請求項９】
前記顔の特徴に基づき、瞳孔位置を検出する瞳孔検出部と、
前記瞳孔位置に基づき、前記視線検出対象者の正面視認時における瞳孔位置である瞳孔基準位置を決定する瞳孔基準位置決定部と、をさらに備え、
前記視線推定部は、前記推定対象選択部にて選択された前記一の視線検出モードにおける前記瞳孔位置と前記瞳孔基準位置との差に基づき、前記視線検出対象者の前記視線を推定する、請求項８に記載の視線検出装置。
【請求項１０】
切替え可能な複数の視線検出モードにおける一の視線検出モードとして視線検出対象者の視線推定対象の目を選択し、
前記一の視線検出モードにおける前記視線検出対象者の視線を推定し、
前記視線検出モードが切り替わる前の前記視線である第１視線と、前記視線検出モードが切り替わった後の前記視線である第２視線と、に基づき、前記視線検出モードが切り替わった後の前記第２視線の信頼度を決定し、
前記第２視線の情報と前記第２視線の前記信頼度とを出力する、視線検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視線検出装置および視線検出方法に関する。
【背景技術】
【０００２】
特許文献１には、運転者状態検出装置が開示されている。運転者状態検出装置は、運転手の目の基準位置を検出し、その基準位置に基づいて運転者の視認領域を判定する。運転者状態検出装置は、運転者の体格など個人的特徴によらず、精度の高い検出を実現している。【０００３】
特許文献２には、視線検出装置が開示されている。従来、顔が横を向いて片方の目が隠れたり、髪の毛に覆われて目が隠れたりすることにより視線検出精度は低下していた。そのような課題を解決するため、特許文献２に記載の視線検出装置は、目の表出の程度または顔の向きで表される信頼度に応じて、視線推定に使用する目(左目のみ、両目、右目のみ)を選択する手段を有する。視線検出装置は、その選択された目の視線を推定することにより、目の隠れが発生した場合においても、高精度な視線検出を可能としている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−６６０２３号公報
【特許文献２】特許第５６１８６８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
車両のセンターコンソール付近に取り付けられたカメラによって運転手の視線方向を推定する場合、カメラから遠い方の目(例えば、右ハンドル車両の運転手が視線検出の対象者である場合、その運転手の右目)の画像は小さく撮像される。また、顔の向きによってはカメラに対して目が隠れることがある。このような場合、視線の検出精度は低下する。よって、視線方向は、カメラに近い方の目によって検出されるのが妥当である。また、カメラから近い方の目の情報に基づき視線を算出することによって、視線検出の際の計算量も抑えられる。【０００６】
運転中に運転手の顔向きが変動し、カメラに近い方の目が切り替わる場合、視線推定の対象の目が切り替わる。例えば、右ハンドル車両の運転手が正面を向いて運転している最中に顔を助手席側のサイドミラーに向けた場合、視線推定の対象の目が左目から右目に切り替わる。視線推定の対象の目が切り替わったとしても、その切替え前後において、視線推定方向は連続的に変化することが期待される。しかし、運転手の左目および右目の各々の特徴が異なる場合、視線が連続的に変化しないことがある。不連続な変化は、視線推定に関して誤判定を引き起こす可能性がある。【０００７】
本発明は、以上のような課題を解決するためになされたものであり、視線検出の対象の目の切り替えが発生した際に、切り替え前後の視線の推定結果に関する信頼度を出力する視線検出装置の提供を目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る視線検出装置は、切替え可能な複数の視線検出モードにおける一の視線検出モードとして視線検出対象者の視線推定対象の目を選択する推定対象選択部と、一の視線検出モードにおける視線検出対象者の視線を推定する視線推定部と、推定対象選択部の選択によって視線検出モードが切り替わる前の視線である第１視線と、視線検出モードが切り替わった後の視線である第２視線と、に基づき、視線検出モードが切り替わった後の第２視線の信頼度を決定する信頼度決定部と、第２視線の情報と第２視線の信頼度とを出力する視線方向出力部と、を含む。
【発明の効果】
【０００９】
本発明によれば、視線検出の対象の目の切り替えが発生した際に、切り替え前後の視線の推定結果に関する信頼度を出力する視線検出装置の提供が可能である。【００１０】
本発明の目的、特徴、局面、および利点は、以下の詳細な説明と添付図面とによって、より明白になる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態１にける視線検出装置の構成を示すブロック図である。
【図２】実施の形態１にける視線検出装置が有する処理回路の一例を示す図である。
【図３】実施の形態１にける視線検出装置が有する処理回路の別の一例を示す図である。
【図４】実施の形態１にける視線検出装置の動作および視線検出方法を示すフローチャートである。
【図５】実施の形態２における視線検出装置およびそれに関連して動作する装置の構成を示すブロック図である。
【図６】実施の形態２における車両の内部を示す図である。
【図７】実施の形態２における車両の内部を示す図である。
【図８】実施の形態２における視線検出装置の動作および視線検出方法の一部を示すフローチャートである。
【図９】実施の形態２における視線検出装置の動作および視線検出方法の一部を示すフローチャートである。
【図１０】実施の形態２における視線検出装置の動作および視線検出方法の一部を示すフローチャートである。
【図１１】実施の形態２における視線検出装置の動作および視線検出方法の一部を示すフローチャートである。
【図１２】実施の形態２における視線検出対象者とカメラとの位置関係の一例を示す図である。
【図１３】実施の形態２における視線推定結果を示す図である。
【図１４】実施の形態２における視線推定結果を示す図である。
【図１５】実施の形態２における視線推定結果を示す図である。
【図１６】実施の形態２における視線推定結果を示す図である。
【図１７】実施の形態３における視線検出装置およびそれに関連して動作する装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１２】
＜実施の形態１＞
（視線検出装置の構成）
図１は、実施の形態１における視線検出装置１００の構成を示すブロック図である。
【００１３】
視線検出装置１００は、推定対象選択部１０、視線推定部２０、信頼度決定部３０および視線方向出力部４０を有する。
【００１４】
推定対象選択部１０は、切替え可能な複数の視線検出モードにおける一の視線検出モードとして視線検出対象者の視線推定対象の目を選択する。視線検出対象者とは、例えば、車両の搭乗者である。車両の搭乗者とは、例えば、運転手である。ただし、視線検出対象者は、それらに限定されるものではない。視線推定対象の目とは、右目、左目または両目である。
【００１５】
視線推定部２０は、推定対象選択部により選択された視線検出モードにおける視線検出対象者の視線を推定する。例えば、視線検出モードが右目である場合、視線推定部２０は視線検出対象者の右目の視線を推定する。視線検出モードが左目である場合、視線推定部２０は視線検出対象者の左目の視線を推定する。視線検出モードが両目である場合、視線推定部２０は視線検出対象者の両目の視線を推定する。
【００１６】
信頼度決定部３０は、推定対象選択部１０の選択によって視線検出モードが切り替わる前の視線である第１視線と、視線検出モードが切り替わった後の視線である第２視線と、に基づき、視線検出モードが切り替わった後の第２視線の信頼度を決定する。例えば、視線検出モードが右目から左目、または、左目から右目に切り替わった場合に、信頼度決定部３０は、第２視線の信頼度を決定する。または、例えば、視線検出モードが両目から片目、または、片目から両目に切り替わった場合に、信頼度決定部３０は、第２視線の信頼度を決定する。
【００１７】
視線方向出力部４０は、視線推定部２０にて推定された第２視線の情報と信頼度決定部３０にて決定された第２視線の信頼度を出力する。
【００１８】
図２は視線検出装置１００が有する処理回路９０の一例を示す図である。推定対象選択部１０、視線推定部２０、信頼度決定部３０および視線方向出力部４０の各機能は、処理回路９０により実現される。すなわち、処理回路９０は、推定対象選択部１０、視線推定部２０、信頼度決定部３０および視線方向出力部４０を有する。
【００１９】
処理回路９０が専用のハードウェアである場合、処理回路９０は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、またはこれらを組み合わせた回路等である。推定対象選択部１０、視線推定部２０、信頼度決定部３０および視線方向出力部４０の各機能は、複数の処理回路により個別に実現されてもよいし、１つの処理回路によりまとめて実現されてもよい。
【００２０】
図３は視線検出装置１００が有する処理回路の別の一例を示す図である。処理回路は、プロセッサ９１とメモリ９２とを有する。プロセッサ９１がメモリ９２に格納されるプログラムを実行することにより、推定対象選択部１０、視線推定部２０、信頼度決定部３０および視線方向出力部４０の各機能が実現される。例えば、プログラムとして記述されたソフトウェアまたはファームウェアがプロセッサ９１により実行されることにより各機能が実現される。すなわち、視線検出装置１００は、プログラムを格納するメモリ９２と、そのプログラムを実行するプロセッサ９１とを有する。
【００２１】
プログラムには、視線検出装置１００が、切替え可能な複数の視線検出モードにおける一の視線検出モードとして視線検出対象者の視線推定対象の目を選択し、一の視線検出モードにおける視線検出対象者の視線を推定し、視線検出モードが切り替わる前の視線である第１視線と、視線検出モードが切り替わった後の視線である第２視線と、に基づき、視線検出モードが切り替わった後の第２視線の信頼度を決定し、第２視線の情報と第２視線の信頼度とを出力する機能が記述されている。また、プログラムは、推定対象選択部１０、視線推定部２０、信頼度決定部３０および視線方向出力部４０の手順または方法をコンピュータに実行させるものである。
【００２２】
プロセッサ９１は、例えば、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）等である。メモリ９２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）等の、不揮発性または揮発性の半導体メモリである。または、メモリ９２は、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等、今後使用されるあらゆる記憶媒体であってもよい。
【００２３】
上述した推定対象選択部１０、視線推定部２０、信頼度決定部３０および視線方向出力部４０の各機能は、一部が専用のハードウェアによって実現され、他の一部がソフトウェアまたはファームウェアにより実現されてもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現する。
【００２４】
（視線検出装置の動作および視線検出方法）
図４は、実施の形態１にける視線検出装置１００の動作および視線検出方法を示すフローチャートである。
【００２５】
ステップＳ１にて、推定対象選択部１０は、視線検出対象者の視線推定対象の目を選択する。つまり、一の視線検出モードが選択される。
【００２６】
ステップＳ２にて、視線推定部２０は、視線検出対象者の視線を推定する。
【００２７】
ステップＳ３にて、信頼度決定部３０は、視線検出モードが切り替わったか否かを判定する。信頼度決定部３０は、視線検出モードが切り替わったと判定した場合、ステップＳ４が実行される。信頼度決定部３０は、視線検出モードが切り替わっていないと判定した場合、ステップＳ１が再び実行される。
【００２８】
ステップＳ４にて、信頼度決定部３０は、第１視線と第２視線とに基づき、第２視線の信頼度を決定する。
【００２９】
ステップＳ５にて、視線方向出力部４０は、第２視線の情報と第２視線の信頼度とを出力する。
【００３０】
（効果）
以上をまとめると、実施の形態１における視線検出装置１００は、切替え可能な複数の視線検出モードにおける一の視線検出モードとして視線検出対象者の視線推定対象の目を選択する推定対象選択部１０と、一の視線検出モードにおける視線検出対象者の視線を推定する視線推定部２０と、推定対象選択部１０の選択によって視線検出モードが切り替わる前の視線である第１視線と、視線検出モードが切り替わった後の視線である第２視線と、に基づき、視線検出モードが切り替わった後の第２視線の信頼度を決定する信頼度決定部３０と、第２視線の情報と第２視線の信頼度とを出力する視線方向出力部４０と、を含む。
【００３１】
以上の構成により、視線検出装置１００は、視線検出の対象の目の切り替えが発生した際に、切り替え前後の視線の推定結果に関する信頼度を出力することが可能である。左右の目のそれぞれの瞳孔位置は、個人の特徴（例えば斜視など）により異なる。視線検出モードが切り替わった場合、切り替え前後の各視線の連続性が保たれない場合がある。例えば、運転手の脇見を判定するシステムが、そのような不連続な視線の検出結果を使用した場合、脇見の判定を誤る可能性がある。実施の形態１における視線検出装置１００は、視線検出モードが切り替わった場合に視線の信頼度を出力することで、精度の高い視線検出を可能とする。
【００３２】
以上をまとめると、実施の形態１における視線検出方法は、切替え可能な複数の視線検出モードにおける一の視線検出モードとして視線検出対象者の視線推定対象の目を選択し、一の視線検出モードにおける視線検出対象者の視線を推定し、視線検出モードが切り替わる前の視線である第１視線と、視線検出モードが切り替わった後の視線である第２視線と、に基づき、視線検出モードが切り替わった後の第２視線の信頼度を決定し、第２視線の情報と第２視線の信頼度とを出力する、視線検出方法。
【００３３】
以上の構成により、視線検出方法は、視線検出の対象の目の切り替えが発生した際に、切り替え前後の視線の推定結果に関する信頼度を出力することが可能である。左右の目のそれぞれの瞳孔位置は、個人の特徴（例えば斜視など）により異なる。視線検出モードが切り替わった場合、切り替え前後の各視線の連続性が保たれない場合がある。例えば、運転手の脇見を判定するシステムが、そのような不連続な視線の検出結果を使用した場合、脇見の判定を誤る可能性がある。実施の形態１における視線検出方法は、視線検出モードが切り替わった場合に視線の信頼度を出力することで、精度の高い視線検出を可能とする。
【００３４】
＜実施の形態２＞
実施の形態２における視線検出装置および視線検出方法を説明する。なお、実施の形態１と同様の構成および動作については説明を省略する。
【００３５】
（視線検出装置の構成）
図５は、実施の形態２における視線検出装置１０１およびそれに関連して動作する装置の構成を示すブロック図である。図５には、視線検出装置１０１に関連して動作する装置として、画像取得装置１１０および視線情報利用装置１２０が示されている。視線検出装置１０１は、画像取得装置１１０にて取得された車両の運転手の画像に基づき、運転手の視線を検出する。
【００３６】
画像取得装置１１０は、視線検出対象者の画像を撮影する。画像取得装置１１０は、例えば、車両に搭載されたカメラである。図６および図７は、車両１の内部を示す図である。カメラ２は、車内の前方のセンターコンソールまたはその付近に設置されている。ここでは、車両１は右ハンドル車であり、視線検出対象者である運転手３が前方を向いた場合、カメラ２は左前方に位置する。カメラ２は、運転手３の顔の周辺の画像を取得できるように配置されている。カメラ２は、カメラ２の光軸２Ａが運転席の方向を向くように設置されている。ただし、カメラ２は、その光軸２ＡがＺ軸方向（車両１の前方と後方とを結ぶ方向）を向いて設けられていてもよい。カメラ２の光軸２ＡがＺ軸方向を向いていることにより、カメラ２は、運転手３および助手席の搭乗者の両方を撮影することができる。また、カメラ２は、運転手３の顔の周辺の画像を連続的に画像を撮影している、つまり映像を撮影している。以下、画像とは、映像を構成するフレームごとの画像のことである。
【００３７】
顔特徴検出部５０は、視線検出対象者の画像を画像取得装置１１０から取得する。顔特徴検出部５０は、その画像に基づき、視線検出対象者の顔の特徴を検出する。顔の特徴とは、例えば、顔を構成する器官などの所定の部位（所定の顔のパーツの位置）のことである。顔の特徴とは、例えば、目の位置である。
【００３８】
瞳孔検出部６０は、顔の特徴つまり目の位置に基づき、瞳孔位置を検出する。瞳孔位置とは、顔の画像において、目尻および目頭に対する瞳孔の中心位置のことである。
【００３９】
瞳孔基準位置決定部７０は、視線検出対象者の正面視認時における瞳孔位置である瞳孔基準位置を決定する。運転手３は運転中におおよそ正面方向つまり車両１の前方を向いているという仮定に基づき、瞳孔基準位置決定部７０は、複数の画像（複数のフレーム）から、瞳孔位置の度数分布を求める。その度数分布に基づき、瞳孔基準位置決定部７０は、運転手３の正面視認時における瞳孔基準位置を決定する。瞳孔基準位置決定部７０は、運転手３が正面方向を視認している画像に基づき、瞳孔位置の度数分布を作成することが好ましい。そのため、瞳孔基準位置決定部７０は、車両１の走行状態に応じて、検出された瞳孔位置を度数分布の作成のためのデータとして採用するか否かを判定してもよい。車両１の走行状態とは、車両１の速度または操舵角などである。例えば、瞳孔基準位置決定部７０は、車両１の速度が予め定められた速度以下の場合に検出された瞳孔位置を度数分布の作成のためのデータとして採用しない。または例えば、瞳孔基準位置決定部７０は、ハンドルが切られている状態で検出された瞳孔位置を度数分布の作成のためのデータとして採用しない。
【００４０】
顔向き推定部８０は、顔の特徴に基づき、視線検出対象者の顔の方向を推定する。
【００４１】
推定対象選択部１０は、視線検出対象者の顔の方向に基づき、視線検出モードを選択する。つまり、推定対象選択部１０は、運転手３の右目、左目または両目を視線検出モードとして選択する。
【００４２】
視線推定部２０は、推定対象選択部１０にて選択された視線検出モードにおける瞳孔位置と瞳孔基準位置との差に基づき、視線検出対象者の視線を推定する。例えば、視線検出モードが片目（右目もしくは左目）である場合、視線推定部２０は片目の瞳孔位置と瞳孔基準位置との差に基づき、視線を推定する。または例えば、視線検出モードが両目である場合、視線推定部２０は右目および左目のそれぞれの瞳孔位置と瞳孔基準位置との差に基づき、右目および左目のそれぞれの視線を推定する。右目の視線と左目の視線とが交わる位置が視線検出対象者によって注視されている位置である。
【００４３】
信頼度決定部３０は、推定対象選択部１０の選択によって視線検出モードが切り替わる前の視線である第１視線と、視線検出モードが切り替わった後の視線である第２視線と、に基づき、視線検出モードが切り替わった後の第２視線の信頼度を決定する。例えば、視線検出モードが右目から左目、もしくは、左目から右目に切り替わった場合に、信頼度決定部３０は、第２視線の信頼度を決定する。または、例えば、視線検出モードが片目から両目、もしくは、両目から片目に切り替わった場合に、信頼度決定部３０は、第２視線の信頼度を決定する。
【００４４】
信頼度決定部３０は、第２視線の信頼度を以下のように決定してもよい。例えば、信頼度決定部３０は、第１視線と第２視線との差が予め定められた値よりも大きい場合に、第２視線の信頼度を第１視線の信頼度よりも小さな値に決定する。つまり、信頼度決定部３０は、第１視線と第２視線との連続性が予め定められた基準を満たさない場合に、第２視線の信頼度を決定する。
【００４５】
信頼度決定部３０は、他の一例として、視線検出モードが切り替わる前の予め定められた第１時間内における第１視線と、視線検出モードが切り替わった後の予め定められた第２時間内における第２視線との差が予め定められた値よりも大きい場合に、第２視線の信頼度を第１視線の信頼度よりも小さな値に決定してもよい。または、例えば、信頼度決定部３０は、視線検出モードが切り替わる前の予め定められた時間内における第１視線の変化に基づいて予測される視線の予測範囲内に第２視線が含まれてない場合に、第２視線の信頼度を第１視線の信頼度よりも小さな値に決定してもよい。
【００４６】
視線方向出力部４０は、視線推定部２０にて推定された第２視線の情報と信頼度決定部３０にて決定された第２視線の信頼度を出力する。
【００４７】
視線情報利用装置１２０は、視線検出装置１０１にて推定された第２視線の情報と信頼度とを利用する。視線情報利用装置１２０は、例えば、運転者の脇見運転を防止するための警告装置である。
【００４８】
視線検出装置１０１、画像取得装置１１０および視線情報利用装置１２０のいずれかは、車両に搭載されるドライバーモニタリングシステムの一部を構成していてもよい。
【００４９】
視線検出装置１０１は、実施の形態１と同様の処理回路を有する。処理回路は、顔特徴検出部５０、顔向き推定部８０、瞳孔検出部６０、瞳孔基準位置決定部７０、推定対象選択部１０、視線推定部２０、信頼度決定部３０および視線方向出力部４０を有する。つまり、実施の形態２に記載の各部の機能は、処理回路により実現される。
【００５０】
（視線検出装置の動作および視線検出方法）
図８は、実施の形態２における視線検出装置１０１の動作および視線検出方法の一部を示すフローチャートである。より詳細には、図８は、視線検出対象者の顔の方向を推定する方法を示すフローチャートである。
【００５１】
ステップＳ１１にて、画像取得装置１１０は、視線検出対象者の画像を取得する。ここでは、画像取得装置１１０は、運転手３の顔周辺の画像を撮影する。
【００５２】
ステップＳ１２にて、顔特徴検出部５０は、顔周辺の画像に基づき、顔の特徴を検出する。ここでは、顔特徴検出部５０は、運転手３の顔周辺の画像に基づき、顔および顔のパーツ情報を取得する。
【００５３】
ステップＳ１３にて、顔特徴検出部５０は、特徴量を検出できたか否かを判定する。顔特徴検出部５０が特徴量を検出できたと判定した場合、ステップＳ１４が実行される。顔特徴検出部５０が特徴量を検出できていないと判定した場合、ステップＳ１１が再び実行される。ここでは、顔特徴検出部５０は、運転手３の顔および顔のパーツ情報を取得できたか否かを判定する。
【００５４】
ステップＳ１４にて、顔向き推定部８０は、顔の方向を推定する。ここでは、顔向き推定部８０は、運転手３の顔および顔のパーツ情報に基づき、運転手３の顔向きを推定する。
【００５５】
図９は、実施の形態２における視線検出装置１０１の動作および視線検出方法の一部を示すフローチャートである。より詳細には、図９は、瞳孔基準位置の決定方法を示すフローチャートである。
【００５６】
ステップＳ１１からステップＳ１３は、図８における各ステップと同様であるためそれらの説明は省略する。ただし、ステップＳ１３にて、顔特徴検出部５０が特徴量を検出できたと判定した場合、ステップＳ２１が実行される。
【００５７】
ステップＳ２１にて、瞳孔検出部６０は、顔および顔のパーツ情報に基づき、瞳孔位置を検出し、瞳孔基準位置決定部７０は、度数分布を作成する。
【００５８】
ステップＳ２２にて、瞳孔基準位置決定部７０は、瞳孔基準位置を決定するのに十分な度数分布が収集できたか否かを判定する。十分な度数分布が収集できたと判定された場合、ステップＳ２３が実行される。十分な度数分布が収集できていないと判定された場合、ステップＳ１１が再び実行される。この判定条件は、度数分布のプロット数や、度数分布の実施時間などで決定される。
【００５９】
ステップＳ２３にて、瞳孔基準位置決定部７０は、瞳孔基準位置を決定する。この際、瞳孔基準位置決定部７０は、瞳孔位置の度数分布に基づき、瞳孔の存在頻度が最も高い位置を算出し、その位置を運転手３の瞳孔基準位置に決定する。正面視認時の瞳孔位置は人ごとに異なるものの、この瞳孔基準位置の決定方法により、視線推定装置は個人の特徴に応じた瞳孔基準位置を決定することができる。
【００６０】
図１０は、実施の形態２における視線検出装置１０１の動作および視線検出方法の一部を示すフローチャートである。より詳細には、図１０は、視線検出モードの選択方法を示すフローチャートである。
【００６１】
ステップＳ３１にて、推定対象選択部１０は、カメラ２に対する顔の方向を算出する。
【００６２】
ステップＳ３２にて、推定対象選択部１０は、カメラ２に近い方の目を視線検出対象の目として選択する。
【００６３】
図１１は、実施の形態２における視線検出装置１０１の動作および視線検出方法の一部を示すフローチャートである。より詳細には、図１１は、視線の信頼度の決定方法を示すフローチャートである。
【００６４】
ステップＳ１１からステップＳ１３は、図８における各ステップと同様であるためそれらの説明は省略する。ただし、ステップＳ１３にて、顔特徴検出部５０が特徴量を検出できたと判定した場合、ステップＳ４１が実行される。
【００６５】
ステップＳ４１にて、視線推定部２０は、現在の視線検出モードにおける瞳孔位置を検出する。例えば、視線検出モードが左目である場合、視線推定部２０は、左目の瞳孔位置を検出する。
【００６６】
ステップＳ４２にて、視線推定部２０は、視線を推定する。例えば、視線推定部２０は、ステップＳ２３で決定された左目の瞳孔基準位置と、ステップＳ４１にて検出された左目の瞳孔位置との関係から視線を推定する。
【００６７】
ステップＳ４３にて、信頼度決定部３０は、視線検出モードが切り替わったか否かを判定する。つまり、信頼度決定部３０は、現在の視線検出モードと前回検出時の視線検出モードとが異なるか否かを判定する。この前回検出時の視線検出モードおよび前回検出時の視線検出モードにおいて推定された視線は、例えば、視線検出装置１０１の記憶部（図示せず）に格納されている。信頼度決定部３０は、その記憶部から前回検出時の視線検出モードを読み込み、上記の判定を行う。視線検出モードが切り替わったと判定された場合、ステップＳ４４が実行される。視線検出モードが切り替わっていないと判定された場合、ステップＳ１１が再び実行される。
【００６８】
ステップＳ４４にて、信頼度決定部３０は、視線検出モードが切り替わる前の第１視線と視線検出モードが切り替わった後の第２視線とが連続しているか否かを判定する。第１視線と第２視線とが連続していないと判定された場合、ステップＳ４５が実行される。第１視線と第２視線とが連続していると判定された場合、ステップＳ４６が実行される。
【００６９】
ステップＳ４５にて、信頼度決定部３０は、第２視線の信頼度を第１視線の信頼度よりも小さな値に決定する。つまり、信頼度決定部３０は、第２視線の信頼度を第１視線の信頼度よりも下げる。
【００７０】
ステップＳ４６にて、視線方向出力部４０は、第２視線の情報および第２視線の信頼度を出力する。また、第２視線の情報は、ステップＳ１４にて推定された顔の方向を含んでいてもよい。
【００７１】
（信頼度決定方法）
図１２は、実施の形態２における視線検出対象者である運転手３とカメラ２との位置関係の一例を示す図である。図１２における０°方向が、正面方向（車両１の前方）である。車両１が右ハンドル車の場合、９０°方向が助手席の位置する方向である。カメラ２は、上述したように、車両１のセンターコンソール付近に設置されている。図１２においては、視線検出モードとして左目が選択され、その左目の視線が推定されている。
【００７２】
図１３から図１６は、実施の形態２における視線推定結果を示す図である。時間の経過とともに、運転手３の視線が０°から９０°の方向に移動している。時間Ｔ１において、視線検出モードが切り替わる。例えば、ここでは、視線検出モードが左目から右目、または左目から両目に切り替わる。各図において、黒塗りの印が第１視線であり、白抜きの印が第２視線である。以下、１つの視線のデータが１つの画像に基づいて推定された視線として説明する。
【００７３】
図１３において、信頼度決定部３０は、第１視線と第２視線との差が予め定められた値よりも大きい場合に、第２視線の信頼度を第１視線の信頼度よりも小さな値に決定する。例えば、視線検出モードが切り替わる前の第１視線を基準として、予め定められた範囲Ａに第２視線が含まれる場合、信頼度決定部３０は、信頼度を１．０に決定する。また、予め定められた範囲Ｂに第２視線が含まれる場合、信頼度決定部３０は、信頼度を０．８に決定する。予め定められた範囲Ｃに第２視線が含まれる場合、信頼度決定部３０は、信頼度を０．５に決定する。予め定められた範囲Ｃの外側に第２視線が位置する場合、信頼度決定部３０は、信頼度を０に決定する。このような方法により、信頼度決定部３０は、第１視線と第２視線との連続性に基づく視線の信頼度を決定することができる。
【００７４】
図１４において、第１視線は、予め定められた第１時間内における視線の平均値である。予め定められた第１時間は、視線検出モードが切り替わる前の時間Ｔ０からＴ１までの期間である。第１視線は、その第１時間における３つの視線の平均値として算出されている。つまり、信頼度決定部３０は、予め定められた第１時間内における視線の平均値と、第２視線との差が予め定められた値よりも大きい場合に、第２視線の信頼度を第１視線の信頼度よりも小さな値に決定する。
【００７５】
図１５において、第２視線は、予め定められた第２時間内における視線の平均値である。予め定められた第２時間は、視線検出モードが切り替わった後の時間Ｔ１からＴ２までの期間である。第２視線は、その第２時間における３つの視線の平均値として算出されている。つまり、信頼度決定部３０は、第１視線と、予め定められた第２時間内における視線の平均値との差が予め定められた値よりも大きい場合に、第２視線の信頼度を第１視線の信頼度よりも小さな値に決定する。
【００７６】
また、図示は省略するが、予め定められた第１時間内における視線の平均値である第１視線と、予め定められた第２時間内における視線の平均値である第２視線との差が予め定められた値よりも大きい場合に、第２視線の信頼度を第１視線の信頼度よりも小さな値に決定してもよい。
【００７７】
図１６において、信頼度決定部３０は、視線検出モードが切り替わる前の予め定められた時間内における第１視線の変化に基づいて予測される視線の予測範囲Ｄ内に第２視線が含まれてない場合に、第２視線の信頼度を第１視線の信頼度よりも小さな値に決定してもよい。図１６において、予め定められた時間は、視線検出モードが切り替わる前の時間Ｔ０からＴ１までの期間である。信頼度決定部３０は、視線の予測範囲Ｄに第２視線が含まれる場合、例えば、信頼度を１．０に決定する。視線の予測範囲Ｄよりも外側に第２視線が位置する場合、信頼度決定部３０は、信頼度を１．０よりも小さな値に決定する。
【００７８】
（実施の形態２の変形例）
ステップＳ４２およびステップＳ４３の間にて、信頼度決定部３０は、ステップＳ４２にて推定された視線に関する信頼度である第１信頼度を決定してもよい。その後、ステップＳ４５にて、信頼度決定部３０は、第２視線に関する第１信頼度を補正するための第２信頼度を決定することにより、第２視線の信頼度を第１視線の信頼度よりも小さな値に決定してもよい。つまり、信頼度決定部３０は、第２視線の第１信頼度を第２信頼度で補正することにより、第２視線の信頼度を第１視線の信頼度よりも下げてもよい。
【００７９】
ステップＳ４６にて、視線方向出力部４０は、第２視線の情報および補正された第２視線の信頼度を出力する。また、第２視線の情報は、ステップＳ１４にて推定された顔の方向を含んでいてもよい。
【００８０】
以上をまとめると、実施の形態２における視線検出装置１０１の信頼度決定部３０は、第１視線と第２視線との差が予め定められた値よりも大きい場合に、第２視線の信頼度を第１視線の信頼度よりも小さな値に決定する。
【００８１】
このような構成により、視線検出装置１０１は、視線検出モードの切り替え前後の各視線の連続性が保たれない場合に、視線の信頼度を下げることで、精度の高い視線検出を可能とする。
【００８２】
また、実施の形態２における視線検出装置１０１において、第１視線は、視線検出モードが切り替わる前の予め定められた第１時間内における視線の平均値であってもよい。
【００８３】
このような構成により、視線検出装置１０１は、視線検出モードの切り替え前後の各視線の連続性が保たれない場合に、視線の信頼度を下げることで、精度の高い視線検出を可能とする。視線の平均値による信頼度の決定が可能であるため、信頼度決定の精度が向上する。
【００８４】
また、実施の形態２における視線検出装置１０１において、第２視線は、視線検出モードが切り替わった後の予め定められた第２時間内における視線の平均値であってもよい。
【００８５】
このような構成により、視線検出装置１０１は、視線検出モードの切り替え前後の各視線の連続性が保たれない場合に、視線の信頼度を下げることで、精度の高い視線検出を可能とする。視線の平均値による信頼度の決定が可能であるため、信頼度決定の精度が向上する。
【００８６】
また、実施の形態２における視線検出装置１０１の信頼度決定部３０は、視線検出モードが切り替わる前の予め定められた時間内における第１視線の変化に基づいて予測される視線の予測範囲内に第２視線が含まれてない場合に、第２視線の信頼度を第１視線の信頼度よりも小さな値に決定してもよい。
【００８７】
このような構成により、視線検出装置１０１は、視線検出モードの切り替え前後の各視線の連続性が保たれない場合に、視線の信頼度を下げることで、精度の高い視線検出を可能とする。第２視線の連続性を予測することが可能であるため、信頼度決定の精度が向上する。
【００８８】
また、実施の形態２における視線検出装置１０１の信頼度決定部３０は、視線検出モードが右目から左目、または、左目から右目に切り替わった場合に第２視線の信頼度を決定する。
【００８９】
このような構成により、視線検出装置１０１は、左右の目のそれぞれの瞳孔基準位置が異なる場合であっても、視線検出モードの切り替え前後において精度の高い視線検出を可能とする。
【００９０】
また、実施の形態２における視線検出装置１０１の信頼度決定部３０は、視線検出モードが両目から片目、または、片目から両目に切り替わった場合に第２視線の信頼度を決定してもよい。
【００９１】
このような構成により、視線検出装置１０１は、視線検出装置１０１は、左右の目のそれぞれの瞳孔基準位置が異なる場合であっても、視線検出モードの切り替え前後において精度の高い視線検出を可能とする。
【００９２】
また、実施の形態２における視線検出装置１０１は、視線検出対象者の画像を取得し、画像に基づき、視線検出対象者の顔の特徴を検出する顔特徴検出部５０と、顔の特徴に基づき、視線検出対象者の顔の方向を推定する顔向き推定部８０と、をさらに含む。推定対象選択部１０は、視線検出対象者の顔の方向に基づき、視線検出モードを選択する。
【００９３】
このような構成により、視線検出装置１０１は、精度の高い視線検出を可能とする。
【００９４】
また、実施の形態２における視線検出装置１０１は、顔の特徴に基づき、瞳孔位置を検出する瞳孔検出部６０と、瞳孔位置に基づき、視線検出対象者の正面視認時における瞳孔位置である瞳孔基準位置を決定する瞳孔基準位置決定部７０と、をさらに含む。視線推定部２０は、推定対象選択部１０にて選択された視線検出モードにおける瞳孔位置と瞳孔基準位置との差に基づき、視線検出対象者の視線を推定する。
【００９５】
このような構成により、視線検出装置１０１は、精度の高い視線検出を可能とする。
【００９６】
＜実施の形態３＞
各実施の形態にて示された視線検出装置は、ナビゲーション装置と、通信端末と、サーバと、これらにインストールされるアプリケーションの機能とを適宜に組み合わせて構築されるシステムにも適用することができる。ここで、ナビゲーション装置とは、例えば、ＰＮＤ（Portable Navigation Device）などを含む。通信端末とは、例えば、携帯電話、スマートフォンおよびタブレットなどの携帯端末を含む。
【００９７】
図１７は、実施の形態３における視線検出装置１００およびそれに関連して動作する装置の構成を示すブロック図である。
【００９８】
視線検出装置１００および通信装置１３０がサーバ３００に設けられている。視線検出装置１００は、車両１に設けられた画像取得装置１１０から通信装置１４０および通信装置１３０を介して視線検出対象者の画像を取得する。視線検出装置１００は、視線検出モードが切り替わった後の第２視線の情報と第２視線の信頼度とを各通信装置を介して視線情報利用装置１２０に出力する。
【００９９】
このように、視線検出装置１００がサーバ３００に配置されることにより、車載装置の構成を簡素化することができる。また、同様に、多数の視線推定の結果を蓄積して学習することができるため、視線推定および信頼度決定の精度が向上する。
【０１００】
また、視線検出装置１００の機能あるいは構成要素の一部がサーバ３００に設けられ、他の一部が車両１に設けられるなど、分散して配置されてもよい。
【０１０１】
なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。
【０１０２】
本発明は詳細に説明されたが、上記した説明は、全ての局面において、例示であって、本発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。
【符号の説明】
【０１０３】
１  車両、２  カメラ、３  運転手、１０  推定対象選択部、２０  視線推定部、３０  信頼度決定部、４０  視線方向出力部、５０  顔特徴検出部、６０  瞳孔検出部、７０  瞳孔基準位置決定部、８０  顔向き推定部、１００  視線検出装置。
【図１】
0006847323.tif 000002
【図２】
0006847323.tif 000003
【図３】
0006847323.tif 000004
【図４】
0006847323.tif 000005
【図５】
0006847323.tif 000006
【図６】
0006847323.tif 000007
【図７】
0006847323.tif 000008
【図８】
0006847323.tif 000009
【図９】
0006847323.tif 000010
【図１０】
0006847323.tif 000011
【図１１】
0006847323.tif 000012
【図１２】
0006847323.tif 000013
【図１３】
0006847323.tif 000014
【図１４】
0006847323.tif 000015
【図１５】
0006847323.tif 000016
【図１６】
0006847323.tif 000017
【図１７】
0006847323.tif 000018