(57)【要約】【課題】角膜反射中心の位置を検出できる場合と検出できない場合のそれぞれで得られる視線方向の検出結果について、検出方式の違いによる検出値の変動を抑えることができる視線検出装置を提供する。【解決手段】第１視線方向検出部による検出結果が得られる第１検出期間では第１視線方向検出部によって検出した第１検出データに基づいて推定視線方向データを算出し、第１視線方向検出部による検出結果が得られない第２検出期間では、第２視線方向検出部によって検出した第２検出データに基づいて推定視線方向データを算出する視線方向算出部を備え、この視線方向算出部は、第１検出期間から第２検出期間への切り替えにおいて、切り替え後の第２検出期間の推定視線方向データが、切り替え前の第１検出期間の推定視線方向データに対して連続的につながるように、切り替え後の第２検出期間の第２検出データに基づいて推定視線方向データを算出する。【選択図】図１
2017138645.tif 000002
【特許請求の範囲】
【請求項１】
対象者の顔を含む領域の画像を取得するカメラと、
前記画像における前記対象者の瞳孔中心の位置と角膜反射中心の位置に基づいて前記対象者の視線方向を検出する第１視線方向検出部と、
前記画像に基づいて、前記対象者の瞳孔中心の位置と角膜反射中心の位置によらずに、前記対象者の視線方向を検出する第２視線方向検出部と、
前記第１視線方向検出部による検出結果が得られる第１検出期間では前記第１視線方向検出部によって検出した第１検出データに基づいて推定視線方向データを算出し、前記第１視線方向検出部による検出結果が得られない第２検出期間では、前記第２視線方向検出部によって検出した第２検出データに基づいて推定視線方向データを算出する視線方向算出部とを備え、
前記視線方向算出部は、前記第１検出期間から前記第２検出期間への切り替えにおいて、切り替え後の前記第２検出期間の前記推定視線方向データが、切り替え前の前記第１検出期間の前記推定視線方向データに対して連続的につながるように、切り替え後の前記第２検出期間の前記第２検出データに基づいて前記推定視線方向データを算出することを特徴とする視線検出装置。
【請求項２】
前記視線方向算出部は、前記切り替え前の前記第１検出期間で最後に算出した前記推定視線方向データに対して、前記切り替え後の前記第２検出期間で検出した前記第２検出データを時系列順に、この第２検出データの単位時間あたりの変化量を加算することによって前記推定視線方向データを算出することを特徴とする請求項１に記載の視線検出装置。
【請求項３】
前記第１検出期間に対応する前記推定視線方向データは、前記第１視線方向検出部によって検出した第１検出データであることを特徴とする請求項１又は請求項２に記載の視線検出装置。
【請求項４】
前記第２視線方向検出部は、前記対象者の顔向きおよび眼の特徴点の座標に基づいて前記対象者の視線方向を検出することを特徴とする請求項１から請求項３のいずれか１項に記載の視線検出装置。
【請求項５】
前記眼の特徴点が、目頭、目尻、瞳孔のいずれかであることを特徴とする請求項４に記載の視線検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車の運転者その他の対象者の視線方向を検出可能な視線検出装置に関する。
【背景技術】
【０００２】
特許文献１に記載の視線検出装置は、撮像手段が出力した顔画像から、瞳孔の位置と角膜反射の位置を検出し、この検出結果に基づいて対象者の視線方向を検出する第１検出手段と、上記顔画像から所定部位、例えば目尻、鼻の頂部、輪郭のラインの位置を検出し、この所定部位の位置から視線方向を検出する第２検出手段とを有し、第１検出手段で視線方向を検出できないときは第２検出手段のみで視線方向を検出するというものである。これにより、角膜反射の位置を検出できない期間には、角膜以外の所定部位の位置に基づいて視線方向を推定し、この推定視線を用いることによって、角膜反射の位置を検出できない期間の視線方向検出を補間することを可能としている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−５５４２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の視線検出装置における第１検出手段と第２検出手段とでは、検出方式の違いにより、得られる視線方向の角度値に差が生じる。したがって、第１検出手段による検出から第２検出手段による検出への切り替え、および、第２検出手段による検出から第１検出手段による検出への切り替えのときに、視線方向の検出値が大きく変動してしまうこととなる。このため、検出した視線方向に基づいて対象者が乗車している車両の制御や各種の表示等を行う場合には、第１検出手段と第２検出手段の切り替えのたびに制御値、表示内容等が変動してしまうため、正確かつ安定した制御、表示等を継続することが難しくなる。
【０００５】
そこで本発明は、対象者の角膜反射中心の位置を検出できない場合にも視線方向を検出できるとともに、角膜反射の位置を検出できる場合と検出できない場合のそれぞれで得られる視線方向の検出結果について、検出方式の違いによる検出値の差分を排除することのできる視線検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の視線検出装置は、対象者の顔を含む領域の画像を取得するカメラと、画像における対象者の瞳孔中心の位置と角膜反射中心の位置に基づいて対象者の視線方向を検出する第１視線方向検出部と、画像に基づいて、対象者の瞳孔中心の位置と角膜反射中心の位置によらずに、対象者の視線方向を検出する第２視線方向検出部と、第１視線方向検出部による検出結果が得られる第１検出期間では第１視線方向検出部によって検出した第１検出データに基づいて推定視線方向データを算出し、第１視線方向検出部による検出結果が得られない第２検出期間では、第２視線方向検出部によって検出した第２検出データに基づいて推定視線方向データを算出する視線方向算出部とを備え、視線方向算出部は、第１検出期間から第２検出期間への切り替えにおいて、切り替え後の第２検出期間の推定視線方向データが、切り替え前の第１検出期間の推定視線方向データに対して連続的につながるように、切り替え後の第２検出期間の第２検出データに基づいて推定視線方向データを算出することを特徴としている。
これにより、対象者の角膜反射中心の位置を検出できない第２検出期間でも視線方向を検出できるとともに、角膜反射中心の位置を検出できる第１検出期間と検出できない第２検出期間とのそれぞれで得られる視線方向の検出結果について、検出方式の違いによる検出値の変動を抑えることが可能となる。
【０００７】
本発明の視線検出装置において、視線方向算出部は、切り替え前の第１検出期間で最後に算出した推定視線方向データに対して、切り替え後の第２検出期間で検出した第２検出データを時系列順に、この第２検出データの単位時間あたりの変化量を加算することによって推定視線方向データを算出することが好ましい。
これにより、第１検出期間から第２検出期間への切り替えにおいて、切り替え後の第２検出期間の推定視線方向データを、切り替え前の第１検出期間の推定視線方向データに対して連続的につなぐことができる。
【０００８】
本発明の視線検出装置において、第１検出期間に対応する推定視線方向データは、第１視線方向検出部によって検出した第１検出データであることが好ましい。
これにより、第１検出期間についての推定視線方向データの算出を容易かつ迅速に行うことが可能となり、視線方向算出部にかかる負担を軽減することができる。
【０００９】
本発明の視線検出装置において、第２視線方向検出部は、対象者の顔向きおよび眼の特徴点に基づいて対象者の視線方向を検出することが好ましい。ここで、眼の特徴点は目頭、目尻、瞳孔のいずれかであることが好ましい。
これにより、対象者の角膜反射中心の位置の検出ができない場合であっても、一定の精度で視線方向を検出することができ、さらにこの検出結果に基づいて推定視線方向データを算出することができる。
【発明の効果】
【００１０】
本発明によると、対象者の角膜反射中心の位置を検出できない場合にも視線方向を検出でき、さらに、角膜反射中心の位置を検出できる場合と検出できない場合のそれぞれで得られる視線方向の検出結果について、検出方式の違いによる検出値の変動を抑えることが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る視線検出装置の構成を示すブロック図である。
【図２】第１視線方向検出部によって検出された第１検出データと第２視線方向検出部によって検出された第２検出データを例示する図である。
【図３】図２のＩＩＩ部分の拡大図である。
【図４】図２に示す視線方向データＬ１、Ｌ２に基づいて作成された推定視線方向データＬ３を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態に係る視線検出装置について図面を参照しつつ詳しく説明する。図１は、本実施形態の視線検出装置１０の構成を示すブロック図である。図１に示すように、視線検出装置１０は、制御部２０と、受像部２１と、第１視線方向検出部２２と、第２視線方向検出部２３と、視線方向算出部２４と、記憶部２５とを備える。
【００１３】
受像部２１は、例えば、１組の光源とカメラからなり、連続して複数のフレーム画像を順に取得する。受像部２１の光源とカメラは、制御部２０によって動作が制御され、取得された複数のフレーム画像は順に制御部２０へ出力され、記憶部２５に保存される。制御部２０においては、対象者の顔を含むフレーム画像から対象者の顔画像を検出し、記憶部２５に保存する。
【００１４】
第１視線方向検出部２２は、制御部２０による制御にしたがって、受像部２１が取得したフレーム画像から検出された顔画像において眼の部分の画像を抽出し、この画像から得られる、瞳孔中心の位置と角膜反射中心の位置に基づいて対象者の視線方向を検出する。視線方向検出部２２による視線方向の検出結果は制御部２０へ出力され、記憶部２５に保存される。
この視線方向の検出は、例えば、眼球内での光吸収率が低い波長の光を射出する光源と、眼を含む顔を撮影するカメラとのセットを、一定距離置いて２組配置し、これらの光源を点灯したときに２つのカメラで得られる明瞳孔画像と暗瞳孔画像に基づいて、瞳孔中心値と角膜反射光中心値を算出し、これらの値から視線方向を算出する。この場合は受像部２１として２組の光源とカメラを用意してもよいし、受像部２１とは別に光源とカメラを用意してもよい。
【００１５】
第２視線方向検出部２３は、対象者の瞳孔中心の位置と角膜反射中心の位置によらずに、顔画像に基づいて対象者の視線方向を検出する。より具体的には、第２視線方向検出部２３は、まず、制御部２０による制御にしたがって、受像部２１が取得したフレーム画像から検出された顔画像における、眼、口、耳、鼻、顔の輪郭などの特徴点の情報、例えば位置や面積を検出する。次に、第２視線方向検出部２３は、特徴点の検出結果を、記憶部２５に保存されたデータベースと照合し、この照合結果に基づいて顔向きを検出し、顔向きの検出結果および眼の特徴点、例えば、目頭、目尻、瞳孔の座標に基づいて対象者の視線方向を算出する。第２視線方向検出部２３による視線方向の検出結果は制御部２０へ出力され、記憶部２５に保存される。
【００１６】
視線方向算出部２４は、第１視線方向検出部２２による検出結果と第２視線方向検出部２３による検出結果に基づいて対象者の視線方向を算出する。具体的には、第１視線方向検出部２２による検出結果が得られる第１検出期間では第１視線方向検出部によって検出した第１検出データに基づいて推定視線方向データを算出し、第１視線方向検出部２２による検出結果が得られない第２検出期間では、第２視線方向検出部２３によって検出した第２検出データに基づいて推定視線方向データを算出する。
ここで、第１視線方向検出部２２による検出状態に拘わらず、第２視線方向検出部２３による視線方向の検出は常時行うことが好ましい。これにより、第１視線方向検出部２２による検出と第２視線方向検出部２３による検出を途切れなく切り替えることが可能となる。
【００１７】
視線方向算出部２４においては、少なくとも第１検出期間から第２検出期間への切り替えにおいて、切り替え後の第２検出期間の推定視線方向データが、切り替え前の第１検出期間の推定視線方向データに対して連続的につながるように、切り替え後の第２検出期間の第２検出データに基づいて推定視線方向データを算出する。ここで、第１検出期間に対応する推定視線方向データは、第１検出期間において第１視線方向検出部によって検出した第１検出データをそのまま用いてもよいが、第２検出期間から第１検出期間へ切り替える場合は、第１検出期間から第２検出期間への切り替えと同様に、切り替え後の第１検出期間の推定視線方向データが、切り替え前の第２検出期間の推定視線方向データに対して連続的につながるように、切り替え後の第１検出期間の第１検出データに基づいて推定視線方向データを算出するようにしてもよい。
【００１８】
推定視線方向の算出について、図２〜図４を参照しつつ説明する。ここで、図２は、第１視線方向検出部２２によって検出された第１検出データＬ１と第２視線方向検出部２３によって検出された第２検出データＬ２を例示する図である。図３は、図２のＩＩＩ部分の拡大図である。図４は、図２に示す視線方向データＬ１、Ｌ２に基づいて作成された推定視線方向データＬ３を示す図である。図２〜図４において、横軸は経過時間であり、縦軸は視線方向を示す角度であり、視線方向データの検出は時刻ｔ１から開始しているものとする。
【００１９】
ここで、第１視線方向検出部２２による視線方向の検出と、第２視線方向検出部２３による視線方向の検出は、視線検出装置１０の起動とともに開始されるが、視線方向算出部２４による推定視線方向の算出は、第１視線方向検出部２２による検出結果が出力されたとき、すなわち対象者の視線方向が角度Ｘ〜−Ｘの範囲にあるときに開始される。
【００２０】
図２においては、二点鎖線で示す第１検出データＬ１は、角度Ｘ〜−Ｘの範囲（Ｘは正数）で変化しており、時刻ｔ２〜ｔ３の時間においてこの範囲を超えると、対象者の顔が受像部２１のカメラに対して横向きに近づくために対象者の角膜反射中心の位置の検出が困難となり、これによって第１検出データＬ１の検出ができなくなっている。ここで、角度Ｘは、正面方向に対する角度であって、例えば３０度であり、右向き３０度がＸ、左向き３０度が−Ｘである。ここで、正面方向は、対象者が車両の運転者である場合は、例えば車両の前後方向である。
【００２１】
図２に示す例では、視線方向が角度Ｘ〜−Ｘの範囲内にある第１検出期間、すなわち、時刻ｔ１〜ｔ２の期間、および時刻ｔ３以降の時間において第１検出データＬ１が検出されており、視線方向が角度Ｘ〜−Ｘの範囲から外れる時刻ｔ２〜ｔ３の期間（第２検出期間）では第１検出データＬ１は検出されない。なお、図２〜図４において、時刻ｔ２とｔ４の間隔、および、時刻ｔ４とｔ５の間隔は、理解を容易にするために広い間隔で表示している。
【００２２】
図２〜図４において破線で示す第２検出データＬ２は、角膜反射中心の位置の検出の可否に拘わらず、顔画像上の特徴点情報を得ることができれば検出可能であるため、全時間範囲で検出されている。また、検出方式の違いにより、第２検出データＬ２の曲線は、第１検出データＬ１の曲線を下側に差分ａ（ａは正数）だけシフトした形となっている。
【００２３】
なお、図２では差分ａが正数である例を示しているが、第２検出データＬ２の曲線が第１検出データＬ１の曲線を上側にシフトした形、すなわち差分ａが負数である場合においても本実施形態と同様の手順で推定視線方向データを算出することができる。
【００２４】
図２と図３に示すように、第２検出データＬ２は、時刻ｔ２からｔ４までの単位時間に変化量ｂだけ増加しており、時刻ｔ４からｔ５までの単位時間に変化量ｃだけ増加している。なお、変化量ｂ、ｃは共に正数であり、また、時刻ｔ２からｔ４の時間、および、時刻ｔ４からｔ５までの時間は、受像部２１によってフレーム画像を取得する時間間隔に対応する。
【００２５】
視線方向算出部２４においては、第１検出データＬ１が得られた時刻ｔ１〜ｔ２の第１検出期間については第１検出データＬ１をそのまま推定視線方向データとし、第１検出データＬ１が得られない時刻ｔ２からｔ３の第２検出期間については、次の手順で推定視線方向データを算出し、この推定視線方向データと第１検出データＬ１を対象者の推定視線方向データＬ３として出力する。
【００２６】
推定視線方向データＬ３は、まず、第１検出期間の最後である時刻ｔ２における角度Ｘに対して、最初の単位時間である時刻ｔ２〜ｔ４までの第２検出データＬ２の変化量ｂを加算することによって算出する。次に、変化量ｂの加算後の角度値に対して、次の単位時間である時刻ｔ４〜ｔ５までの第２検出データＬ２の変化量ｃを加算し、さらに、この加算後の値に対して次の単位時間に対応する第２検出データＬ２の変化量を順に、すなわち時系列順に加算していくことによって作成する。したがって、第２検出期間の時刻ｔにおける推定視線方向データは、直前の時刻ｔ−１のデータを用いると次式で表される。
時刻ｔにおける推定視線方向データＬ３＝（時刻ｔ−１における推定視線方向データＬ３）＋（時刻ｔ−１から時刻ｔの間の第２検出データＬ２の変化量）
【００２７】
時刻ｔ３以降の第１検出期間における推定視線方向データについては、図２に示すように第１検出データＬ１の曲線と第２検出データＬ２の曲線が差分ａだけシフトした同じ形状を有しているのであれば、この第１検出期間に検出した第１検出データＬ１をそのまま用いることができる。
【００２８】
なお、時刻ｔ２〜ｔ３の第２検出期間における推定視線方向データの算出は、上述のように単位時間あたりの変化量を順次加算することに代えて、時刻ｔ２〜ｔ３の第２検出期間における第２検出データを差分ａだけ上側へシフトさせることによって行っても良い。このように算出した推定視線方向データは、時刻ｔ２〜ｔ３の前後の第１検出期間（時刻ｔ１〜ｔ２および時刻ｔ３以降）に対応する推定視線方向データと連続するようにつながる。
【００２９】
以上のように構成されたことから、上記実施形態によれば、次の効果を奏する。
（１）視線方向算出部２４は、第１検出期間から第２検出期間への切り替えにおいて、切り替え後の第２検出期間の推定視線方向データが、切り替え前の第１検出期間の推定視線方向データに対して連続的につながるように、切り替え後の第２検出期間の第２検出データに基づいて推定視線方向データを算出している。これにより、対象者の角膜反射中心の位置を検出できない第２検出期間でも視線方向を検出できるだけでなく、角膜反射中心の位置を検出できる第１検出期間と検出できない第２検出期間とのそれぞれで得られる視線方向の検出結果について、検出方式の違いによる検出値の差分を排除することができ、検出期間の切り替えがあっても推定視線方向が変動することを抑えることが可能となる。
（２）視線方向算出部２４は、切り替え前の第１検出期間で最後に算出した推定視線方向データに対して、切り替え後の第２検出期間で最初に検出した第２検出データから順に、この第２検出データの単位時間あたりの変化量を加算することによって推定視線方向データを算出している。これにより、第１検出期間から第２検出期間への切り替えにおいて、切り替え後の第２検出期間の推定視線方向データを、切り替え前の第１検出期間の推定視線方向データに対して連続的につなぐことが可能となる。
（３）第１視線方向検出部２２によって検出した第１検出データを第１検出期間に対応する推定視線方向データとすると、第１検出期間についての推定視線方向データの算出を容易かつ迅速に行うことが可能となり、視線方向算出部２４にかかる負担を軽減することができる。
（４）第２検出期間において、対象者の顔向きおよび眼の座標に基づいて対象者の視線方向を検出するため、対象者の角膜反射中心の位置の検出ができない場合であっても、一定の精度で視線方向を検出することができ、さらにこの検出結果に基づいて推定視線方向データを算出することができる。
本発明について上記実施形態を参照しつつ説明したが、本発明は上記実施形態に限定されるものではなく、改良の目的または本発明の思想の範囲内において改良または変更が可能である。
【産業上の利用可能性】
【００３０】
以上のように、本発明に係る視線検出装置は、車の運転者等の対象者が顔を横に向けたときなどのように角膜反射中心の位置を検出できない場合と、角膜反射中心の位置を検出できる場合とで視線方向の検出値の変動を抑えることができる点で有用である。
【符号の説明】
【００３１】
１０    視線検出装置
２０    制御部
２１    受像部
２２    第１視線方向検出部
２３    第２視線方向検出部
２４    視線方向算出部
２５    記憶部
【図１】
2017138645.tif 000003
【図２】
2017138645.tif 000004
【図３】
2017138645.tif 000005
【図４】
2017138645.tif 000006