(57)【要約】【課題】簡易な構成での視線（起点及び視線方向）の検出を可能とする視線検出装置を提供すること。【解決手段】人物の視線を検出する視線検出装置において、人物の顔を撮影する撮像部１０と、所定のパターン光を前記人物の顔に投影する投影部２０と、撮像部１０及び投影部２０による前記パターン光の投影の有無を制御する制御部３０と、前記撮像部により撮影された人物の顔の画像から視線を検出する視線検出処理部４０と、を装備する。【選択図】図１
2019159982.tif 000002
【特許請求の範囲】
【請求項１】
人物の顔を撮影する撮像部と、
所定のパターン光を前記人物の顔に投影する投影部と、
前記撮像部及び前記投影部による前記パターン光の投影の有無を制御する制御部と、
前記撮像部により撮影された人物の顔の画像から視線を検出する視線検出処理部と、
を含んで構成されていることを特徴とする視線検出装置。
【請求項２】
前記視線検出処理部が、
前記撮像部により撮影された、前記パターン光が投影されていない前記顔の画像を用いて前記人物の目における瞳孔中心を算出する第１の算出部と、
前記撮像部により撮影された、前記パターン光が投影された前記顔の画像を用いて前記人物の目における角膜反射像の位置を算出する第２の算出部と、
前記撮像部により撮影された、前記パターン光が投影された前記顔の画像を用いて前記顔の所定部位の３次元位置ベクトルを算出する第３の算出部と、
を含んで構成されていることを特徴とする請求項１記載の視線検出装置。
【請求項３】
前記人物の目における瞳孔中心の経時的変化を検出して眼球運動を算出する第４の算出部と、
前記顔の所定部位の３次元位置ベクトルから顔の表面形状を検出し、この表面形状の向きの経時的変化に基づいて、前記人物の頭部運動を算出する第５の算出部と、
を備え、算出された前記眼球運動及び前記頭部運動を用いてＶＯＲ（Vestibulo-Ocular Reflex）を検出することを特徴とする請求項１又は請求項２記載の視線検出装置。
【請求項４】
前記人物の顔の所定部位の３次元位置ベクトルから前記人物の顔の表面形状を算出する第６の算出部を備え、算出された前記人物の顔の表面形状を用いて顔認証を行うことを特徴とする請求項１〜３のいずれかの項に記載の視線検出装置。
【請求項５】
前記パターン光における所定のパターンが、場所ごとに異なる、２値模様となっていることを特徴とする請求項１〜４のいずれかの項に記載の視線検出装置。
【請求項６】
前記投影部は、非可視の所定の波長域の光により前記パターン光を投影するものであり、
前記撮像部は、前記所定の波長域に感度を有するものであり、
さらに前記所定の波長域の光を照射する照明を備えていることを特徴とする請求項１〜５のいずれかの項に記載の視線検出装置。
【請求項７】
前記投影部を点灯し、人物の顔にパターン光を投影するステップと、
前記撮像部で前記パターン光が投影された顔を撮影するステップと、
前記ステップで撮影された撮影画像を前記視線検出処理部に出力するステップと、
前記投影部を消灯するステップと、
前記撮像部で前記パターン光が投影されていない顔を撮影するステップと、
前記ステップで撮影された撮影画像を前記視線検出処理部に出力するステップと、
を含んでいることを特徴とする請求項１記載の視線検出装置の制御方法。
【請求項８】
前記投影部を点灯し、前記照明を消灯するステップと、
前記撮像部で前記パターン光が投影された顔を撮影するステップと、
前記ステップで撮影された撮影画像を前記視線検出処理部に出力するステップと、
前記投影部を消灯し、前記照明を点灯するステップと、
前記撮像部で前記パターン光が投影されていない顔を撮影するステップと、
前記ステップで撮影された撮影画像を前記視線検出処理部に出力するステップと、
を含んでいることを特徴とする請求項６記載の視線検出装置の制御方法。
【請求項９】
請求項１〜６のいずれかの項に記載の視線検出装置を用いた視線検出のための角膜反射像位置の検出方法であって、
撮影画像と瞳孔中心位置を受取るステップと、
前記瞳孔中心位置近傍に探索領域を設定するステップと、
前記探索領域における画素を１画素ずつ走査するステップと、
走査した結果が、輝度の極大値になっているか否かを判断するステップと、
輝度のダイナミックレンジが閾値以上であると判断すれば、その値を極大値として採用するステップと、
瞳孔中心からの距離が最も近い極大値を示す画素の位置を角膜反射像の位置として出力するステップと、
を含んでいることを特徴とする角膜反射像位置の検出方法。
【請求項１０】
輝度の最大値と最小値との差をダイナミックレンジとするものであることを特徴とする請求項９記載の角膜反射像位置の検出方法。
【請求項１１】
輝度の最大値と中央値との差をダイナミックレンジとするものであることを特徴とする請求項９記載の角膜反射像位置の検出方法。
【請求項１２】
輝度分布における採用し得る極大値がないと判断した場合には、前フレームの角膜反射像位置を出力するステップを含んでいることを特徴とする請求項９〜１１のいずれかの項に記載の角膜反射像位置の検出方法。
【請求項１３】
輝度分布における採用し得る極大値がないと判断した場合には、過去のフレームから予測される現在の角膜反射像位置を出力するステップを含んでいることを特徴とする請求項９〜１１のいずれかの項に記載の角膜反射像位置の検出方法。
【請求項１４】
輝度分布における採用し得る極大値が一つと判断すれば、その位置を角膜反射像位置として出力するステップを含んでいることを特徴とする請求項９〜１１のいずれかの項に記載の角膜反射像位置の検出方法。
【請求項１５】
請求項１〜６のいずれかの項に記載の視線検出装置を用いた視線検出のための角膜反射像の位置の検出処理を少なくとも１つのコンピュータに実行させるためのコンピュータプログラムであって、
前記少なくとも１つのコンピュータに、
撮影画像と瞳孔中心位置を受取るステップと、
前記瞳孔中心位置近傍に探索領域を設定するステップと、
前記探索領域における画素を１画素ずつ走査するステップと、
走査した結果が、輝度の極大値になっているか否かを判断するステップと、
輝度のダイナミックレンジが閾値以上であると判断すれば、その値を極大値として採用するステップと、
瞳孔中心からの距離が最も近い極大値を示す画素の位置を角膜反射像の位置として出力するステップと、
を実行させることを特徴とする角膜反射像の位置の検出のためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、ドライバモニタリングシステムに搭載され、あるいは作業現場等に設置されて利用される視線検出のための視線検出装置、またＶＯＲ（Vestibulo-Ocular Reflex：前庭動眼反射）測定、あるいは顔認証も可能な視線検出装置、該視線検出装置の制御方法、角膜反射像位置の検出方法、及びコンピュータプログラムに関する。
【背景技術】
【０００２】
特許文献１には、プルキニエ像（本願における角膜反射像）を検出することにより視線方向を検出する視線検出装置が開示されており、
この視線検出装置は、表示部と、広角カメラと、照明光源と、赤外カメラと、入力部と、記憶媒体アクセス装置と、記憶部と、制御部とを備え、
ユーザの顔を撮影した画像を生成する撮像部から、ユーザの顔までの距離を推定し、  前記撮像部とユーザの眼を照明する光源間の間隔に対する、前記撮像部からユーザの顔までの距離の比に応じて、ユーザの眼の瞳孔全体が前記光源からの光により明るくなる明瞳孔状態となるか否かを判定し、明瞳孔状態とならないと判定した場合に、前記画像から前記光源の角膜反射像とユーザの瞳孔重心とを検出し、該瞳孔重心と前記角膜反射像との位置関係に応じてユーザの視線方向または注視位置を検出しようとしている。
【０００３】
［発明が解決しようとする課題］
特許文献１記載の視線検出装置では、視線方向を検出するのに、広角カメラと、赤外カメラと、照明光源とを必須の構成要件としており、二台のカメラが装備されている。このため、視線検出装置の製作費が高くなり、また、視線検出装置も大形化してしまうといった課題があった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−６７１０２号公報
【発明の概要】
【課題を解決するための手段及びその効果】
【０００５】
本発明は上記課題に鑑みなされたものであって、簡易な構成での視線（起点及び視線方向）の検出を可能とする視線検出装置、該視線検出装置の制御方法、角膜反射像位置の検出方法、及びコンピュータプログラムを提供することを目的としている。
【０００６】
上記目的を達成するために本開示に係る視線検出装置（１）は、
人物の視線を検出する視線検出装置であって、
人物の顔を撮影する撮像部と、
所定のパターン光を前記人物の顔に投影する投影部と、
前記撮像部及び前記投影部による前記パターン光の投影の有無を制御する制御部と、
前記撮像部により撮影された人物の顔の画像から視線を検出する視線検出処理部と、
を含んで構成されていることを特徴としている。
【０００７】
上記視線検出装置（１）によれば、前記パターン光を前記人物の顔に投影しながら撮影することにより、例えば、一つの撮像部（上記従来例におけるカメラに相当）であっても、視線検出のための撮影を実施することが可能となる。視線検出装置を構成するのに、一つの前記撮像部で済ますことができれば、装置の製作費の削減及び装置の小形化を図ることも可能となる。
【０００８】
また、本開示に係る視線検出装置（２）は、上記視線検出装置（１）において、
前記視線検出処理部が、
前記撮像部により撮影された、前記パターン光が投影されていない前記顔の画像を用いて前記人物の目における瞳孔中心を算出する第１の算出部と、
前記撮像部により撮影された、前記パターン光が投影された前記顔の画像を用いて前記人物の目における角膜反射像の位置を算出する第２の算出部と、
前記撮像部により撮影された、前記パターン光が投影された前記顔の画像を用いて前記顔の所定部位の３次元位置ベクトルを算出する第３の算出部と、
を含んで構成されていることを特徴としている。
【０００９】
上記視線検出装置（２）によれば、撮像部が一つであっても、前記視線検出処理部により、瞳孔中心の算出、角膜反射像の位置の算出、前記顔の所定部位の３次元位置ベクトルの算出を実施することができる。これらの算出結果を用いれば視線（起点及び視線方向）の検出が可能となる。
【００１０】
また、本開示に係る視線検出装置（３）は、上記視線検出装置（１）又は（２）において、
前記人物の目における瞳孔中心の経時的変化を検出して眼球運動を算出する第４の算出部と、
前記顔の所定部位の３次元位置ベクトルから顔の表面形状を検出し、この顔表面形状の向きの経時的変化に基づいて、前記人物の頭部運動を算出する第５の算出部と、
を備え、算出された前記眼球運動及び前記頭部運動を用いてＶＯＲ（Vestibulo-Ocular Reflex）を検出することを特徴としている。
【００１１】
頭部運動により誘発されるＶＯＲは、頭部運動時にそれとほぼ同じ速さで眼球を反転させ、網膜像のブレを抑制する不随意的眼球運動である。
上記視線検出装置（３）によれば、眼球運動を算出する第４の算出部及び頭部運動を算出する第５の算出部を備えていることから、頭部運動時にそれとほぼ同じ速さで眼球を反転させ、網膜像のブレを抑制する不随意的眼球運動であるＶＯＲの算出も可能となる。
【００１２】
また、本開示に係る視線検出装置（４）は、上記視線検出装置（１）〜（３）のいずれかにおいて、
前記人物の顔の所定部位の３次元位置ベクトルから前記人物の顔の表面形状を算出する第６の算出部を備え、算出された前記人物の顔の表面形状を用いて顔認証を行うことを特徴としている。
【００１３】
上記視線検出装置（４）によれば、前記人物の顔の表面形状を算出することができる第６の算出手段を備えていることから、顔の表面形状に基づく顔認証をすることも可能となる。
【００１４】
また、本開示に係る視線検出装置（５）は、上記視線検出装置（１）〜（４）のいずれかにおいて、
前記パターン光における所定のパターンが、場所ごとに異なる、２値模様となっていることを特徴としている。
【００１５】
上記視線検出装置（５）によれば、前記パターン光が、場所ごとに異なる、例えば、白黒の２値模様から構成されていることから、場所ごとの３次元位置ベクトルの確定が容易となり、検出を素早く行えるようになり、視線の検出、ＶＯＲの検出、あるいは顔認証を短時間で行えるようになる。
【００１６】
また、本開示に係る視線検出装置（６）は、上記視線検出装置（１）〜（５）のいずれかにおいて、
前記投影部は、非可視の所定の波長域の光により前記パターン光を投影するものであり、
前記撮像部は、前記所定の波長域に感度を有するものであり、
さらに前記所定の波長域の光を照射する照明を備えていることを特徴としている。
【００１７】
非可視の所定の波長域の光としては、例えば、近赤外光を挙げることができる。近赤外光は、赤外線のうち、波長が短く、0.7〜2.5マイクロメートル程度の光線をいい、暗視カメラの照明装置、赤外線通信、静脈認証などに用いられる。
近赤外帯域の波長は、人の目では認識されないため、人に取って邪魔となることはなく、上記視線検出装置（６）によれば、撮影に必要な近赤外光の光量を確保して自然光の光量が不足していても高い精度で視線の検出、ＶＯＲの検出、あるいは顔認証を行うことが可能となる。
【００１８】
また、本開示に係る視線検出装置の制御方法（１）は、前記視線検出装置（１）の制御方法であって、
前記投影部を点灯し、人物の顔にパターン光を投影するステップと、
前記撮像部で前記パターン光が投影された顔を撮影するステップと、
該ステップで撮影された撮影画像を前記視線検出処理部に出力するステップと、
前記投影部を消灯するステップと、
前記撮像部で前記パターン光が投影されていない顔を撮影するステップと、
該ステップで撮影された撮影画像を前記視線検出処理部に出力するステップと、
を含んでいることを特徴としている。
【００１９】
上記視線検出装置の制御方法（１）によれば、撮像部が一つであっても、前記投影部を点灯した状態での撮影画像から角膜反射像位置の検出及び眼の３次元位置ベクトルの検出が可能となり、他方、前記投影部を消灯した状態での撮影画像から瞳孔中心の検出が可能となり、容易な制御で、視線検出のための撮影を実施することができることとなる。
【００２０】
また、本開示に係る視線検出装置の制御方法（２）は、前記視線検出装置（６）の制御方法であって、
前記投影部を点灯し、前記照明を消灯するステップと、
前記撮像部で前記パターン光が投影された顔を撮影するステップと、
前記ステップで撮影された撮影画像を前記視線検出処理部に出力するステップと、
前記投影部を消灯し、前記照明を点灯するステップと、
前記撮像部で前記パターン光が投影されていない顔を撮影するステップと、
該ステップで撮影された撮影画像を前記視線検出処理部に出力するステップと、
を含んでいることを特徴としている。
【００２１】
上記視線検出装置の制御方法（２）によれば、撮像部が一つであっても、パターン光を照射する前記投影部を点灯し、パターン光を照射しない前記照明を消灯した状態での、前記撮像部での撮影画像から角膜反射像位置の検出及び眼の３次元位置ベクトルの検出が可能となり、他方、前記投影部を消灯し、前記照明を点灯した状態での、前記撮像部での撮影画像から瞳孔中心の検出が可能となり、容易な制御で、視線検出のための撮影を実施することが可能となる。
また、非可視の所定の波長域の光は、人の目では認識されないため、撮影に必要な前記照明の光量を十分に確保して高精度に視線の検出、ＶＯＲの検出、あるいは顔認証を行うことができることとなる。
【００２２】
また、本開示に係る角膜反射像位置の検出方法（１）は、上記視線検出装置（１）〜（６）のいずれかを用いた視線検出のための角膜反射像位置の検出方法であって、
撮影画像と瞳孔中心位置を受取るステップと、
前記瞳孔中心位置近傍に探索領域を設定するステップと、
前記探索領域における画素を１画素ずつ走査するステップと、
走査した結果が、輝度の極大値になっているか否かを判断するステップと、
輝度のダイナミックレンジが閾値以上であると判断すれば、その値を極大値として採用するステップと、
瞳孔中心からの距離が最も近い極大値を示す画素の位置を角膜反射像の位置として出力するステップと、
を含んでいることを特徴としている。
【００２３】
上記角膜反射像位置の検出方法（１）によれば、前記投影部による光量が低くても、視線を検出するために用いられる角膜反射像位置の検出を確実に行うことができる。
【００２４】
また、本開示に係る角膜反射像位置の検出方法（２）は、上記角膜反射像位置の検出方法（１）において、輝度の最大値と最小値との差をダイナミックレンジとするものであることを特徴としている。
【００２５】
上記角膜反射像位置の検出方法（２）によれば、前記投影部による光量が低くても、視線を検出するために用いられる角膜反射像位置を確実に絞り込むことができる。
【００２６】
また、本開示に係る角膜反射像位置の検出方法（３）は、上記角膜反射像位置の検出方法（１）において、輝度の最大値と中央値との差をダイナミックレンジとするものであることを特徴としている。
【００２７】
上記角膜反射像位置の検出方法（３）によれば、前記投影部による光量が低くても、視線を検出するために用いられる角膜反射像位置の検出を、よりノイズに対して強いものとすることができる。
【００２８】
また、本開示に係る角膜反射像位置の検出方法（４）は、上記角膜反射像位置の検出方法（１）〜（３）のいずれかにおいて、
輝度分布における採用し得る極大値がないと判断した場合には、前フレームの角膜反射像位置を出力するステップを含んでいることを特徴としている。
【００２９】
上記角膜反射像位置の検出方法（４）によれば、輝度分布における採用し得る極大値がないと判断される場合であっても、視線を検出するために用いられる角膜反射像位置の出力を失敗なく確実に行うことができる。
【００３０】
また、本開示に係る角膜反射像位置の検出方法（５）は、上記角膜反射像位置の検出方法（１）〜（３）のいずれかにおいて、
輝度分布における採用し得る極大値がないと判断した場合には、過去のフレームから予測される現在の角膜反射像位置を出力するステップを含んでいることを特徴としている。
【００３１】
前記過去のフレームは、例えば過去の数フレームであってもよい。
上記角膜反射像位置の検出方法（５）によれば、輝度分布における採用し得る極大値がないと判断され、また、人物が動いているような場合であっても、視線を検出するために用いられる角膜反射像位置の出力をより妥当に行うことができる。
【００３２】
また、本開示に係る角膜反射像位置の検出方法（６）は、上記角膜反射像位置の検出方法（１）〜（３）のいずれかにおいて、
輝度分布における採用し得る極大値が一つと判断すれば、その位置を角膜反射像の位置として出力するステップを含んでいることを特徴としている。
【００３３】
上記角膜反射像位置の検出方法（６）によれば、検出処理を簡略化して、ソフト的処理の負担を軽減することができる。
【００３４】
また、本開示に係るコンピュータプログラム（１）は、上記視線検出装置（１）〜（６）のいずれかを用いた視線検出のための角膜反射像の位置の検出処理を少なくとも１つのコンピュータに実行させるためのコンピュータプログラムであって、
前記少なくとも１つのコンピュータに、
撮影画像と瞳孔中心位置を受取るステップと、
前記瞳孔中心位置近傍に探索領域を設定するステップと、
前記探索領域における画素を１画素ずつ走査するステップと、
走査した結果が、輝度の極大値になっているか否かを判断するステップと、
輝度のダイナミックレンジが閾値以上であると判断すれば、その値を極大値として採用するステップと、
瞳孔中心からの距離が最も近い極大値を示す画素の位置を角膜反射像の位置として出力するステップと、
を実行させることを特徴としている。
【００３５】
上記コンピュータプログラム（１）によれば、前記投影部による光量が低くても、前記少なくとも１つのコンピュータに、視線を検出するために用いられる角膜反射像の位置の検出を確実に行なわせることができる。
【図面の簡単な説明】
【００３６】
【図１】実施の形態に係る視線検出装置の一例を示す機能構成ブロック図である。
【図２】実施の形態に係る視線検出装置の一例におけるカメラ・プロジェクタ制御部が行う処理動作を示すフローチャートである。
【図３】実施の形態に係る視線検出装置の変形構成例の一例を示す機能構成ブロック図である。
【図４】実施の形態に係る視線検出装置の変形構成例におけるカメラ・プロジェクタ制御部が行う処理動作を示すフローチャートである。
【図５】実施の形態に係る視線検出装置における視線検出処理部の機能構成の一例を示すブロック図である。
【図６】実施の形態に係る視線検出装置における視線検出処理部が行う処理動作の概略を示すフローチャートである。
【図７】（ａ）（ｂ）は、実施の形態に係る視線検出装置における視線検出処理部が行う眼の３次元位置ベクトル算出方法を説明するための模式的概略斜視図である。
【図８】（ａ）（ｂ）は、角膜反射像検出の従来の方法を説明するための模式的概略図である。
【図９】（ａ）（ｂ）は、実施の形態に係る視線検出装置における視線検出処理部が行う角膜反射像検出処理を説明するためのパターン光投影状況を示す模式的概略図である。
【図１０】実施の形態に係る視線検出装置における視線検出処理部が行う処理において、パターン光の黒領域が角膜反射像位置に重なった場合の、角膜反射像周辺の輝度分布（水平方向）を示したグラフである。
【図１１】（ａ）（ｂ）（ｃ）は、実施の形態に係る視線検出装置における視線検出処理部が行う処理において、パターン光の黒領域が角膜反射像位置に重なった場合の、角膜反射像を含み、上下方向に少しずれた周辺の輝度分布（水平方向）を示したグラフである。
【図１２】実施の形態に係る視線検出装置における視線検出処理部が行う角膜反射像位置検出処理動作を示すフローチャートである。
【発明を実施するための形態】
【００３７】
以下、本発明に係る、例えば、ドライバモニタリングシステムに搭載され、あるいは作業現場等に設置されて利用される視線（起点及び視線方向）測定のための視線検出装置、またＶＯＲ（Vestibulo-Ocular Reflex：前庭動眼反射）測定、あるいは顔認証も可能な視線検出装置、該視線検出装置の制御方法、角膜反射像位置の検出方法、及びコンピュータプログラムの実施の形態を図面に基づいて説明する。
【００３８】
［適用例］
本発明は、例えば、視線検出装置に適用される。従来の視線検出装置では、視線方向を検出するのに、広角カメラと、赤外カメラと、照明光源とを必須の構成要件としており、二台のカメラが装備されている。このため、視線検出装置の製作費が高くなり、また、視線検出装置も大形化してしまっていた。
本発明に係る視線検出装置では、パターン光を人物の顔に投影しながら撮影することにより、一つの撮像部（上記従来例におけるカメラに相当）であっても、視線検出のための撮影を実施することが可能となり、簡易な構成での視線（起点及び視線方向）の検出が可能となる。
図１は、実施の形態に係る視線検出装置の一例を示す機能構成ブロック図である。
視線検出装置１は、例えば、車両の運転者の運転動作をモニタリングするためのドライバモニタリングシステム（図示せず）に組み込まれ、装備されるものであり、該ドライバモニタリングシステムにおける車載装置側に搭載される。
【００３９】
車載装置には、例えば、車両の慣性力を検出する慣性センサ、位置検出部としてのＧＰＳ（Global Positioning System）受信機、音声出力部としてのスピーカなどが装備される。その他、通信部、外部インターフェース（外部Ｉ／Ｆ）なども通常装備される。
【００４０】
慣性センサには、車両の角速度を検出する角速度センサが含まれている。角速度センサには、少なくとも鉛直軸回り（ヨー方向）の回転に応じた角速度、すなわち、車両の左右方向への回転（旋回）に応じた角速度データを検出可能なセンサ、例えば、ジャイロセンサ（ヨーレートセンサともいう）が採用されている。
【００４１】
また、角速度センサには、鉛直軸回りの１軸ジャイロセンサの他、左右方向の水平軸回り（ピッチ方向）の角速度も検出する２軸ジャイロセンサ、さらには、前後方向の水平軸回り（ロール方向）の角速度も検出する３軸ジャイロセンサも採用され得る。これらジャイロセンサには、振動式ジャイロセンサ、その他、光学式、機械式のジャイロセンサ等がある。
【００４２】
また、慣性センサは、車両の加速度を検出する加速度センサを含んで構成され、角速度センサと加速度センサとが一つのパッケージに搭載されてもよい。加速度センサには、ＸＹＺ軸の３方向の加速度を検出する３軸加速度センサがよく採用されるが、２軸、１軸の加速度センサであってもよい。
【００４３】
ＧＰＳ受信機は、アンテナを介して人工衛星からのＧＰＳ信号を所定周期で受信し、現在の位置情報（緯度、経度、高度）を検出する。ＧＰＳ受信機で検出された位置情報は、位置検出時刻と対応付けて位置情報記憶部に記憶される。なお、車両の自車位置を検出する装置は、ＧＰＳ受信機に限定されるものではなく、例えば、日本の準天頂衛星、ロシアのグロナス（GLONASS）、欧州のガリレオ（Galileo）、中国のコンパス（Compass）等の他の衛星測位システムに対応した測位装置であってもよい。
【００４４】
通信部は、通信ネットワークを介してサーバ装置にデータ出力などを行うための通信モジュールを含んで構成される。
【００４５】
外部インターフェースは、例えば、車外を撮影する車外カメラなどの車載機器（図示せず）との間でデータや信号の授受を行うためのインターフェース回路や接続コネクタなどを含んで構成される。
【００４６】
車載装置が搭載される車両は、特に限定されないが、本適用例では、各種の事業を営む事業者が管理する車両が対象とされ得る。例えば、運送事業者が管理するトラック、バス事業者が管理するバス、タクシー事業者が管理するタクシー、カーシェアリング事業者が管理するカーシェア車両、レンタカー事業者が管理するレンタカーなどが対象とされ得る。
【００４７】
車載装置は、例えば、通信ネットワークを介してサーバ装置と通信可能に接続される。通信ネットワークには、基地局を含む携帯電話網（３Ｇ／４Ｇ）や無線ＬＡＮ（Local Area Network）などの無線通信網が含まれ、公衆電話網などの有線通信網、インターネット、又は専用網なども含まれ得る。
【００４８】
また、車両を管理する事業者の端末装置（以下、事業者端末という。）は、通信ネットワークを介してサーバ装置と通信可能に接続される。事業者端末は、通信機能を備えたパーソナルコンピュータであってもよいし、携帯電話、スマートフォン、又はタブレット端末などの携帯情報端末などであってもよい。
【００４９】
サーバ装置は、車載装置で取得された車両の運転者の顔の向き及び／又は視線の向きなどの情報（以下、向き情報ともいう）を蓄積し、該向き情報に基づいて、運転者の安全確認動作を評価する処理などを行う。サーバ装置は、例えば、交差点進入時刻より前の所定時間と、交差点進入時刻より後の所定時間とにおける運転者の安全確認動作をそれぞれ評価する処理などを行い、これら評価結果を記憶する。
【００５０】
そして、事業者端末から要求があった場合に、車両の運転者の安全確認動作の評価結果などの情報を、通信ネットワークを介して事業者端末に提供する処理を行う。
【００５１】
［構成例］
実施の形態に係る視線検出装置１は、図１に示したように、例えば、カメラ部１０、パターン光を照射するプロジェクタ部２０、カメラ部１０及びプロジェクタ部２０を制御するカメラ・プロジェクタ制御部３０、視線の検出処理を実行する視線検出処理部４０、及び記憶部５０を含んで構成されている。
【００５２】
カメラ部１０で運転者の顔の画像が撮影され、撮影された顔画像が視線検出処理部４０で処理され、視線が検出される。本実施の形態に係る視線検出装置１では、図示していないが、視線検出の他、運転者の眼球運動及び頭部運動を検出してＶＯＲを算出することも、顔の３次元形状を高い精度で算出して顔認証を行うことも可能となっている。
【００５３】
カメラ部１０は、例えば、図示しない、レンズ部、撮像素子部、インターフェース部、これら各部を制御する制御部などを含んで構成されている。前記撮像素子部は、例えば、ＣＣＤ(Charge Coupled Device)、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)などの撮像素子、フィルタ、マイクロレンズなどを含んで構成されている。前記撮像素子部は、可視領域の光を受けて撮影画像を形成できるものを含む他、紫外線又は赤外線を受けて撮影画像を形成できるＣＣＤ、ＣＭＯＳ、或いはフォトダイオード等の赤外線センサであってもよい。カメラ部１０は、単眼カメラで構成されている。
カメラ部１０は所定のフレームレート（例えば、毎秒３０〜６０フレーム）で画像を撮影し、カメラ部１０で撮影された画像のデータがカメラ・プロジェクタ制御部３０を介して視線検出処理部４０へ出力される。
【００５４】
プロジェクタ部２０は、ＬＥＤ(Light Emitting Diode)などの発光素子を含み、また、昼夜を問わず運転者の状態を撮影できるように近赤外ＬＥＤなどを含んで構成されていてもよい。
また、プロジェクタ部２０では、運転者の顔の表面にパターン光を照射できるようにパターン光照射部（図示せず）を含んで構成されている。このパターン光照射部は、カメラ・プロジェクタ制御部３０からの制御信号により制御されている。
ここで、パターン光照射部によるパターン光は特に限定されない。測距用に適したものであればどのようなパターン光であっても差し支えない。特に測距に適した優れたパターン光としては、本件出願人が先に出願した、パターン光が場所ごとに異なる、白黒の２値模様となっている、特願2016-202682号に記載のパターン光を挙げることができる。
【００５５】
カメラ・プロジェクタ制御部３０は、例えば、ＣＰＵ(Central Processing Unit)、メモリなどを含んで構成され、例えばメモリに記憶されている所定のプログラムを読み出して、ＣＰＵが解釈実行することにより後述の働きを実現する。カメラ・プロジェクタ制御部３０は、前記撮像素子部やプロジェクタ部２０を制御して、プロジェクタ部２０からパターン光（例えば、近赤外線など）を照射させ、前記撮像素子部でその反射光を撮影する制御などを行う。
【００５６】
視線検出処理部４０は、例えば、ＣＰＵ、メモリなどを含んで構成され、例えばメモリに記憶されている所定のプログラムを読み出して、ＣＰＵが解釈実行することにより後述の働きを実現する。視線検出処理部４０は、カメラ部１０で撮影された画像データを用いて視線検出処理を行い、フレームごとの視線検出結果を前記ドライバモニタリングシステムにおける車載装置側の制御部に出力すると共に、記憶部５０に出力して記憶させる処理を行う。また、視線検出処理部４０は、記憶部５０に記憶された前フレームにおける角膜反射像位置等を読み出し、必要に応じて読み出した角膜反射像位置に基づく視線検出処理を行い、該視線検出結果を前記ドライバモニタリングシステムにおける車載装置側の制御部に出力する処理も行う。
【００５７】
記憶部５０は、例えば、Random Access Memory（ＲＡＭ）、Read Only Memory（ＲＯＭ）、フラッシュメモリ、ソリッドステートドライブ（ＳＳＤ）、ハードディスクドライブ（ＨＤＤ）など、１つ以上の記憶装置で構成されている。また、記憶部５０は、メモリーカードなどの着脱可能な記憶装置を含んで構成されていてもよい。なお、ＲＡＭ及びＲＯＭをカメラ・プロジェクタ制御部３０に含ませる構成としてもよい。
【００５８】
図２は、実施の形態に係るカメラ・プロジェクタ制御部３０における、カメラ部１０による撮影、及びプロジェクタ部２０の点灯、消灯制御を示すフローチャートである。
本制御動作は、例えば、カメラ部１０での撮影が実施されるタイミングで実行される。
【００５９】
まず、ステップＳ１では、プロジェクタ部２０が点灯され、パターン光が運転者の顔に照射される。次に、ステップＳ２では、角膜反射像位置検出及び眼の３次元位置ベクトル算出のための、パターン光が照射された運転者の顔の撮影がカメラ部１０により行われる。
【００６０】
その後、ステップＳ３では、カメラ部１０で撮影された画像が視線検出処理部４０に出力され、次に、ステップＳ４では、プロジェクタ部２０が消灯される。
その後、ステップ５では、瞳孔中心検出のための、パターン光が照射されていない運転者の顔の撮影がカメラ部１０により行われる。
その後、ステップ６において、カメラ部１０で撮影された画像が視線検出処理部４０に出力された後、ステップＳ１に戻り、これらのステップが所定のタイミングで繰り返し実行される。
【００６１】
［変形構成例］
変形構成例に係る視線検出装置１Ａでは、図３に示したように、例えば、視線検出装置１におけるカメラ部１０に代えて近赤外カメラ部１０Ａが採用されており、パターン光を照射するプロジェクタ部２０に代えて近赤外プロジェクタ部２０Ａが採用されている。さらに瞳孔の検出を可能にする近赤外照明２０Ｂを備えている。その他のカメラ・プロジェクタ制御部３０、視線の検出処理を実行する視線検出処理部４０、及び記憶部５０は図１に示した視線検出装置１と同様に構成されている。
近赤外カメラ部１０Ａで運転者の画像が撮影され、撮影された画像が視線検出処理部４０で処理され、視線が検出される。変形構成例に係る視線検出装置１Ａにおいても、視線検出の他、運転者の眼球運動及び頭部運動を検出してＶＯＲを算出することも、顔の３次元形状を高精度に算出して顔認証を行うことも可能となっている。
近赤外カメラ部１０Ａにおいても所定のフレームレート（例えば、毎秒３０〜６０フレーム）で画像を撮影し、近赤外カメラ部１０Ａで撮影された画像のデータがカメラ・プロジェクタ制御部３０を介して視線検出処理部４０へ出力されるようになっている。
【００６２】
近赤外カメラ部１０Ａは、例えば、図示しない、レンズ部、撮像素子部、インターフェース部、これら各部を制御する制御部などを含んで構成されている。前記撮像素子部は、例えば、ＣＣＤ(Charge Coupled Device)、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)などの撮像素子、フィルタ、マイクロレンズなどを含んで構成されている。前記撮像素子部は、近赤外線を受けて撮影画像を形成できるＣＣＤ、ＣＭＯＳ、或いはフォトダイオード等の近赤外線センサであってもよい。近赤外カメラ部１０Ａは、単眼カメラでもよいし、ステレオカメラであってもよい。
【００６３】
近赤外プロジェクタ部２０Ａは、ＬＥＤ(Light Emitting Diode)などの発光素子を含んで構成されている。
また、近赤外プロジェクタ部２０Ａでは、運転者の顔の表面にパターン光を照射できるようにパターン光照射部（図示せず）を含んで構成されている。このパターン光照射部は、カメラ・プロジェクタ制御部３０からの制御信号により制御されている。
ここでも、パターン光照射部によるパターン光は特に限定されない。測距用に適したものであればどのようなパターン光であっても差し支えない。特に測距に適した優れたパターン光としては、本件出願人が先に出願した、特願2016-202682号に記載のパターン光を挙げることができる。
【００６４】
カメラ・プロジェクタ制御部３０は、例えば、ＣＰＵ、メモリ、画像処理回路などを含んで構成され、例えばメモリに記憶されている所定のプログラムを読み出して、ＣＰＵが解釈実行することにより後述の働きを実現する。カメラ・プロジェクタ制御部３０は、前記撮像素子部や近赤外プロジェクタ部２０Ａを制御して、近赤外プロジェクタ部２０Ａから近赤外線のパターン光を照射させ、前記撮像素子部でその反射光を撮影する制御などを行う。近赤外カメラ部１０Ａは所定のフレームレート（例えば、毎秒３０〜６０フレーム）で画像を撮影し、近赤外カメラ部１０Ａで撮影された画像のデータがカメラ・プロジェクタ制御部３０を介して視線検出処理部４０へ出力されるようになっている。
【００６５】
視線検出処理部４０は、近赤外カメラ部１０Ａで撮影された画像データを用いて後述の視線検出処理を行い、フレームごとの視線検出結果を前記ドライバモニタリングシステムにおける車載装置側の制御部に出力すると共に、記憶部５０に出力して記憶させる処理を行う。また、視線検出処理部４０は、記憶部５０に記憶された前フレームにおける角膜反射像位置等を読み出し、必要に応じて読み出した角膜反射像位置に基づく視線検出処理を行い、該視線検出結果を前記ドライバモニタリングシステムにおける車載装置側の制御部に出力する処理も行う。
【００６６】
図４は、変形構成例に係るカメラ・プロジェクタ制御部３０における、近赤外カメラ部１０Ａによる撮影、近赤外プロジェクタ部２０Ａ、及び近赤外照明２０Ｂの点灯、消灯制御を示すフローチャートである。
本制御動作は、例えば、近赤外カメラ部１０Ａでの撮影が実施されるタイミングで実行される。
【００６７】
ステップＳ１１では、近赤外プロジェクタ部２０Ａが点灯され、パターン光が運転者の顔に照射される一方、瞳孔検出用の近赤外照明２０Ｂが消灯される。次に、ステップＳ１２では、角膜反射像位置検出及び眼３次元位置ベクトル算出のための、パターン光が照射された運転者の顔の撮影が近赤外カメラ部１０Ａにより実施される。
【００６８】
次に、ステップＳ１３において、近赤外カメラ部１０Ａで撮影された画像が視線検出処理部４０に出力され、次にステップＳ１４においては、近赤外プロジェクタ部２０Ａが消灯される一方、瞳孔中心検出のための近赤外照明２０Ｂが点灯される。
次に、ステップ１５では、瞳孔中心検出のための、パターン光が照射されていない運転者の顔の撮影が近赤外カメラ部１０Ａにより実施される。
次に、ステップ１６においては、近赤外カメラ部１０Ａで撮影された画像が視線検出処理部４０に出力された後、ステップＳ１１に戻り、これらのステップが所定のタイミングで繰り返し実行される。
【００６９】
［視線検出処理部の構成例］
図５は、実施の形態に係る図１及び図３における視線検出処理部４０の機能構成ブロック図を示しており、視線検出処理部４０は、カメラ画像受取部４１、瞳孔中心検出部４２、角膜反射像位置検出部４３、眼の３次元位置ベクトル算出部４４、視線算出部４５、及び記憶部・Ｉ／Ｆ４６を含んで構成されている。
カメラ画像受取部４１は撮影画像を受取ると、プロジェクタ部２０消灯時の撮影画像を瞳孔中心検出部４２に送信する一方、プロジェクタ部点灯時の撮影画像を角膜反射像位置検出部４３、及び眼の３次元位置ベクトル算出部４４に送信する。
瞳孔中心検出部４２では、受取った撮影画像を基に瞳孔中心を検出し、検出した瞳孔中心の位置を示す第１の座標値を角膜反射像位置検出部４３、及び視線算出部４５に送信する。
角膜反射像位置検出部４３では、受取った撮影画像を基に角膜反射像を検出し、検出した角膜反射像の位置を示す第２の座標値を視線算出部４５に送信する。
眼の３次元位置ベクトル算出部４４では、受取った撮影画像を基に眼の３次元位置ベクトルを算出し、算出した眼の３次元位置ベクトルを視線算出部４５に送信する。
視線算出部４５では、送信されてきた瞳孔中心座標値、角膜反射像の座標値、及び眼の３次元位置ベクトルに基づいて視線（視線の起点、視線方向）を算出し、前記ドライバモニタリングシステムにおける車載装置側の制御部に出力する一方、現フレームの角膜反射像の座標値を記憶部４６に送信してメモリし、前フレームの角膜反射像の座標値を記憶部４６から呼び出す処理を行う。
【００７０】
図６は、構成例３に係る視線検出処理部４０における視線検出処理動作を示すフローチャートである。
本処理動作は、例えば、カメラ部１０での撮影が実施され、撮影画像を受け取ったタイミングで実行される。
【００７１】
まず、ステップＳ２１において、カメラ画像受取部４１がカメラ部１０での撮影画像を受け取る。次にステップＳ２２において、受け取った撮影画像に基づいて瞳孔中心検出部４２が瞳孔の輪郭から瞳孔中心を検出する。
一方、ステップＳ２３においては、パターン光が照射された撮影画像に基づいて眼の３次元位置ベクトル算出部４４が眼までの３次元位置ベクトルを算出する。次にステップＳ２４において、ステップＳ２２において検出された瞳孔中心、及びパターン光が照射された撮影画像に基づいて角膜反射像位置検出部４３が角膜反射像の位置を検出する。
【００７２】
次に、ステップＳ２５において、ステップＳ２２において検出された瞳孔中心、ステップＳ２４において検出された角膜反射像の位置、及びステップＳ２３において算出された眼の３次元位置ベクトルに基づいて、視線算出部４５が視線（視線起点、視線方向）を算出して視線を決定し、前記ドライバモニタリングシステムにおける車載装置側の制御部に出力する。
また、ステップＳ２６において、検出された角膜反射像の位置を記憶部４６に書き込む処理を行った後、ステップＳ２１に戻り、これらのステップが所定のタイミングで繰り返し実行される。
【００７３】
図７（ａ）（ｂ）は、実施の形態に係る視線検出装置における視線検出処理部４０が行う眼の３次元位置ベクトル算出方法を説明するための模式的概略斜視図である。
図７（ａ）は、人物の顔にパターン光が照射された状態を示している。
パターン光が照射されると、眼の３次元位置ベクトル算出部４４では、受取った撮影画像を基にカメラからの３次元位置ベクトルを算出し、算出した３次元位置ベクトルから図７（ｂ）に示すような３次元顔形状の図を作成する。
【００７４】
図８（ａ）（ｂ）は、角膜反射像検出の従来の方法を説明するための図であり、図８（ａ）は、照明の照射により目の瞳孔近傍に角膜反射像が形成されている状態を示している。このように角膜反射像は周辺と比べると輝度が極端に高くなっている。そのため瞳孔近傍の画像処理を行い、瞳孔近傍の高輝度画素の集合を抽出し、その重心位置を角膜反射像位置として確定する（図８（ｂ））手法が用いられている。
【００７５】
図９（ａ）（ｂ）は、実施の形態に係る視線検出装置における視線検出処理部が行う角膜反射像検出処理を説明するためのパターン光投影状況を示す模式的概略図である。
図９（ａ）は、角膜反射像がパターン光の白領域にある場合の状況を示しており、図９（ｂ）は、角膜反射像がパターン光の黒領域にある場合の状況を示している。
パターン光の黒領域が角膜反射像の位置に重なると角膜反射像の輝度が低下しているのがわかる。そのため、角膜反射像が高輝度であることを前提とした従来の手法は本実施の形態には適用できないことがわかる。
【００７６】
図１０は、図９（ｂ）に示したように、パターン光の黒領域が角膜反射像位置に重なった場合の、角膜反射像周辺の輝度分布（水平方向）を示したグラフである。パターン光の黒領域が角膜反射像位置に重なると角膜反射像の輝度が低下するとは言え、角膜反射像位置では、ある程度急峻なピークが現れ、輝度値が極大となっていることがわかる。
【００７７】
図１１（ａ）〜（c）は、パターン光の黒領域が角膜反射像の位置に重なった場合の、角膜反射像を含む、上下方向に少しずれた周辺の輝度分布（水平方向）を示したグラフである。
図１１（ａ）〜（c）に示したような状況もあり得ることから、角膜反射像の位置の検出を、図１２に示すフローチャートに基づく検出とした。
【００７８】
図１２は、視線検出処理部が行う角膜反射像位置の検出処理動作を示すフローチャートである。
まず、ステップＳ３１において、プロジェクタ部点灯時の撮影画像と瞳孔中心座標値を受け取る。次にステップＳ３２では、瞳孔中心近傍に探索領域を設定する。次にステップＳ３３では、探索領域の画素を１画素ずつ走査する。ここで走査とは、画像を多くの点に分解し，それぞれの点の明暗などを電気信号に変換するために，一定の順序で各点をたどることを意味している。
【００７９】
次に、ステップＳ３４では、輝度分布における採用し得る極大値となっているか否かが判断される。ステップＳ３４において、輝度分布において採用し得る極大値となっていると判断されれば、次にステップＳ３５に進み、ステップＳ３５では、輝度のダイナミックレンジＤＲが閾値以上であるか否かが判断され、ダイナミックレンジＤＲが閾値以上であると判断されれば、次にステップＳ３６に進み、その値を極大値として採用する処理が行われる。ここでダイナミックレンジＤＲには、輝度の最大値と最小値との差が採用されている。
他方、ステップＳ３４において、輝度分布において採用し得る極大値となっていないと判断されれば、次にステップＳ３７に進み、ステップＳ３７では、全画素の走査が完了したか否かが判断される。
また、ステップＳ３５において、輝度のダイナミックレンジＤＲが閾値以上ではないと判断された場合、及びステップＳ３６において、その値を極大値として採用する処理が行われた後もステップＳ３７に進む。
【００８０】
ステップＳ３７において、全画素の走査が完了していないと判断されれば、ステップＳ３３に戻り、他方、ステップＳ３７において、全画素の走査が完了したと判断されれば、次にステップＳ３８に進む。
ステップＳ３８では、輝度分布における採用し得る極大値がない場合か否かが判断される。ステップＳ３８において、輝度分布における採用し得る極大値がない場合と判断されれば、ステップＳ３９に進み、前フレームの角膜反射像位置が出力される。
【００８１】
ステップＳ３８において、輝度分布における採用し得る極大値がある場合と判断されれば、次にステップＳ４０に進み、ステップＳ４０では、輝度分布における採用し得る極大値が一つか否かが判断される。ステップＳ４０において、輝度分布における採用し得る極大値が一つと判断されれば、次にステップＳ４１に進み、ステップＳ４１では、その位置が角膜反射像位置として出力される。
【００８２】
他方、ステップＳ４０において、輝度分布における採用し得る極大値が一つではないと判断されれば、次にステップＳ４２に進み、採用し得る極大値を瞳孔中心からの距離でソートする処理が行われる。次に、ステップＳ４３では、瞳孔中心からの距離が最も近い極大値位置を角膜反射像位置として出力する処理が行われる。
【００８３】
上記したような処理を行うことにより、角膜反射像位置の検出が正確に行われる。
なお、上記したステップＳ３１〜ステップＳ４３の処理は、図６に示した、視線検出処理のステップＳ２４における角膜反射像位置の検出処理の内容を詳しく説明したものとなっている。
【００８４】
ここでは、眼３次元位置ベクトルの算出方法の詳細は記載しないが、パターン光を用いた詳細な３次元位置ベクトルの算出方法は、本件出願人が先に出願した特願2016-202682号に詳細に記載されており、例えば、該出願明細書記載の方法を採用することができる。
【００８５】
パターン光を用いた詳細な３次元位置ベクトルの測定により、カメラ部１０，１０Ａから眼までの正確な距離が求まると共に、顔表面の３次元点群が得られ、この点群に顔表面のモデルをフィッティングさせれば、顔の向きを求めることができる。
瞳孔中心と角膜反射像を用いた視線の算出は、視線の顔の向き方向からのずれを算出しているので、３次元位置ベクトルの測定により、顔の向きを正確に求めておけば、視線方向が正確に求まることに繋がる。
【００８６】
また、前記フィッティングを毎フレーム行えば、顔の向きの経時変化を算出することができ、これにより頭部運動を正確に算出することもできることとなる。
また、カメラ部１０，１０Ａにおける撮影画像により、瞳孔が検出され、瞳孔の経時変化を検出すれば眼球運動を正確に求めることができる。
一方、頭部運動により誘発されるＶＯＲは、頭部運動時にそれとほぼ同じ速さで眼球を反転させ、網膜像のブレを抑制する不随意的眼球運動である。
実施の形態に係る視線検出装置１によれば、上記したように、頭部運動を正確に算出することができ、また、眼球運動を正確に求めることもできることから、ＶＯＲ測定装置としても使用することができることとなる。
【００８７】
また、実施の形態に係る視線検出装置１は、人物の顔表面の３次元形状も正確に検出できることから、顔の形状特徴を把握して顔認証を実施することができ、人物の顔認証装置としても使用できることとなる。
【００８８】
視線の算出方法としては、例えば、「大野健彦他、“２点補正による簡易キャリブレーションを実現した視線測定システム”、情報処理学会論文誌、Ｖｏｌ．４４，Ｎｏ．４，ｐｐ．1136-1149（2003）」に詳細に紹介されており、当該論文記載の方法を採用してもよい。なお、本発明における視線の算出方法は、この論文に記載された方法に限定されず、他の方法でもよい。
【００８９】
また、ＶＯＲ測定の詳細については、「西山潤平他、“前庭動眼反射による眠気予兆検出”、生体医工学学会論文誌、Ｖｏｌ．４８，Ｎｏ．１，ｐｐ．1-10（2010，Feb．）」に詳細に紹介されており、当該論文記載の方法を採用することができる。なお、本発明におけるＶＯＲの測定方法は、この論文に記載された方法に限定されず、他の方法でもよい。
【００９０】
以上、本発明の実施の形態を詳細に説明したが、上記説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく、種々の改良や変更を行うことができることは言うまでもない。
【００９１】
上記実施の形態では、ドライバモニタリングシステムに搭載されて利用される視線測定のための視線検出装置を例に挙げて説明したが、別の実施の形態では、工場などにおける作業現場等に設置されて利用される視線測定のための視線検出装置であってもよい。
【００９２】
また、上記実施の形態では、ステップＳ３５におけるダイナミックレンジＤＲには、輝度の最大値と最小値との差が採用されたが、別の実施の形態では、輝度の最大値と中央値との差をダイナミックレンジＤＲに採用してもよい。かかる設定により、視線を検出するために用いられる角膜反射像位置の検出を、よりノイズに対して強いものとすることができる。
【００９３】
また、上記実施の形態では、ステップＳ３８において、輝度分布における採用し得る極大値がないと判断されれば、ステップＳ３９において、前フレームの角膜反射像位置が出力される処理がなされたが、別の実施の形態では、ステップＳ３８において、輝度分布における採用し得る極大値がないと判断されれば、ステップＳ３９において、過去のフレーム、例えば過去の数フレームから予測される現在の角膜反射像位置を出力するようにしてもよい。かかる処理にすれば、人物が動いているような場合であっても、視線を検出するために用いられる角膜反射像位置の出力をより妥当に行うことができる。
【００９４】
［付記］
本発明の実施の形態は、以下の付記の様にも記載され得るが、これらに限定されない。（付記１）
投影部を点灯し、人物の顔にパターン光を投影するステップ（Ｓ１）と、
撮像部で前記パターン光が投影された顔を撮影するステップ（Ｓ２）と、
ステップ（Ｓ２）で撮影された撮影画像を視線検出処理部に出力するステップ（Ｓ３）と、
投影部を消灯するステップ（Ｓ４）と、
撮像部で前記パターン光が投影されていない顔を撮影するステップ（Ｓ５）と、
ステップ（Ｓ５）で撮影された撮影画像を視線検出処理部に出力するステップ（Ｓ６）と、
を含んでいることを特徴とする視線検出装置（１）の制御方法。
【００９５】
（付記２）
視線検出装置（１）〜（６）のいずれかに記載の視線検出装置を用いた視線検出のための角膜反射像位置の検出方法であって、
撮影画像と瞳孔中心位置を受取るステップ（Ｓ３１）と、
前記瞳孔中心位置近傍に探索領域を設定するステップ（Ｓ３２）と、
前記探索領域における画素を１画素ずつ走査するステップ（Ｓ３３）と、
走査した結果が、輝度の極大値になっているか否かを判断するステップ（Ｓ３４）と、
輝度のダイナミックレンジが閾値以上であると判断すれば、その値を極大値として採用するステップ（Ｓ３６）と、
瞳孔中心からの距離が最も近い極大値を示す画素の位置を角膜反射像の位置として出力するステップ（Ｓ４３）と、
を含んでいることを特徴とする角膜反射像位置の検出方法。
【００９６】
（付記３）
視線検出装置（１）を用いた視線検出のための角膜反射像の位置の検出処理を少なくとも１つのコンピュータに実行させるためのコンピュータプログラムであって、
少なくとも１つのコンピュータに、
撮影画像と瞳孔中心位置を受取るステップ（Ｓ３１）と、
瞳孔中心位置近傍に探索領域を設定するステップ（Ｓ３２）と、
探索領域における画素を１画素ずつ走査するステップ（Ｓ３３）と、
走査した結果が、輝度の極大値になっているか否かを判断するステップ（Ｓ３４）と、
輝度のダイナミックレンジが閾値以上であると判断（Ｓ３５）すれば、その値を極大値として採用するステップ（Ｓ３６）と、
瞳孔中心からの距離が最も近い極大値を示す画素の位置を角膜反射像の位置として出力するステップ（Ｓ４３）と、
を実行させることを特徴とする角膜反射像の位置の検出のためのコンピュータプログラム。
【符号の説明】
【００９７】
１  視線検出装置
１０  カメラ部
１０Ａ  近赤外カメラ部
２０  プロジェクタ部
２０Ａ  近赤外プロジェクタ部
２０Ｂ  近赤外照明
３０  カメラ・プロジェクタ制御部
４０  視線検出処理部
４１  カメラ画像受取部
４２  瞳孔中心検出部
４３  角膜反射像位置検出部
４４  眼の３次元位置ベクトル算出部
４５  視線算出部
４６  記憶部
【図１】
2019159982.tif 000003
【図２】
2019159982.tif 000004
【図３】
2019159982.tif 000005
【図４】
2019159982.tif 000006
【図５】
2019159982.tif 000007
【図６】
2019159982.tif 000008
【図７】
2019159982.tif 000009
【図８】
2019159982.tif 000010
【図９】
2019159982.tif 000011
【図１０】
2019159982.tif 000012
【図１１】
2019159982.tif 000013
【図１２】
2019159982.tif 000014