(57)【要約】【課題】視線方向の検出精度や検出処理速度を高めるために必要なキャリブレーションに関する制約を低減する技術を提供する。【解決手段】視線方向検出装置は、判定部と、生成部と、再開部と、を備える。前記判定部は、視線方向検出に関するキャリブレーションの中断の有無を判定する。前記生成部は、前記判定部によって中断有りと判定された場合に前記キャリブレーションの途中データを生成する。前記再開部は、前記キャリブレーションの途中データに基づく内容で前記キャリブレーションを再開する。【選択図】図１
2019046240.tif 000002
【特許請求の範囲】
【請求項１】
視線方向検出に関するキャリブレーションの中断の有無を判定する判定部と、
前記判定部によって中断有りと判定された場合に前記キャリブレーションの途中データを生成する生成部と、
前記キャリブレーションの途中データに基づく内容で前記キャリブレーションを再開する再開部と、
を備える、視線方向検出装置。
【請求項２】
前記キャリブレーションの途中データは個人識別情報を含む、請求項１に記載の視線方向検出装置。
【請求項３】
前記キャリブレーションの途中データを保存する保存部を備える、請求項１又は請求項２に記載の視線方向検出装置。
【請求項４】
前記キャリブレーションの途中データをサーバーに送信する送信部と、
前記キャリブレーションの途中データを前記サーバーから受信する受信部と、を備え、
前記再開部は、前記受信部によって受信された前記キャリブレーションの途中データに基づく内容で前記キャリブレーションを再開する、請求項１又は請求項２に記載の視線方向検出装置。
【請求項５】
前記キャリブレーションの途中データのうち、どの区間が正常であるかを判定する正常判定部を備え、
前記再開部は、前記正常判定部によって正常であると判定された区間に基づく内容で前記キャリブレーションを再開する、請求項１〜４のいずれか一項に記載の視線方向検出装置。
【請求項６】
前記判定部は、前記キャリブレーションの最中の視線方向検出結果に基づいて、前記キャリブレーションの中断の有無を判定する、請求項１〜５のいずれか一項に記載の視線方向検出装置。
【請求項７】
前記判定部は、前記視線方向検出装置が搭載される車両の状況に基づいて、前記キャリブレーションの中断の有無を判定する、請求項１〜６のいずれか一項に記載の視線方向検出装置。
【請求項８】
前記視線方向検出装置が搭載される車両の状況に基づいて、前記キャリブレーションの再開を提案する提案部を備える、請求項１〜７のいずれか一項に記載の視線方向検出装置。
【請求項９】
視線方向検出装置のキャリブレーション方法であって、
視線方向検出に関するキャリブレーションの中断の有無を判定する判定工程と、
前記判定部によって中断有りと判定された場合に前記キャリブレーションの途中データを生成する生成工程と、
前記キャリブレーションの途中データに基づく内容で前記キャリブレーションを再開する再開工程と、
を備える、キャリブレーション方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視線方向を検出する技術に関する。
【背景技術】
【０００２】
車両の安全運転を支援することを目的としてドライバの状態を監視するドライバモニタシステムの開発が近年進んでいる。ドライバモニタシステムの検出対象の一つとして、ドライバの視線方向がある。
【０００３】
視線方向の代表的な検出手法として、（１）基準点を目頭、動点を虹彩の中心にして基準点に対する動点の位置に基づいて視線方向を検出する方法（「目頭−虹彩法」とも称される）、（２）基準点を角膜反射点（プルキンエ像）、動点を瞳孔の中心にして基準点に対する動点の位置に基づいて視線方向を検出する方法（「瞳孔−角膜反射法」とも称される）等がある。
【０００４】
「目頭−虹彩法」には、可視光カメラでの撮影画像を用いて実現することができるため安価であるというメリットがある反面、表情の変化等によって目頭の位置が変化するため視線方向の検出精度が低いというデメリットがある。
【０００５】
一方、「瞳孔−角膜反射法」には、角膜反射点は正確に検出し易いため視線方向の検出精度が高いというメリットがある反面、角膜反射点の撮影に赤外光源と赤外線カメラが必要であるため高価であるというデメリットがある。
【０００６】
なお、人間が注視した対象物は網膜の中心から外れた中心窩で結像するため、人間の視線方向は虹彩や瞳孔の中心の向きから若干ずれた方向になる。そして、その若干のずれには個人差がある。したがって、どのような視線方向の検出手法を用いたとしても、視線方向の検出精度や検出処理速度を高めるためにはキャリブレーションが必要である。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−３０３６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
一般的な視線方向検出装置のキャリブレーションでは、複数の固定注視ポイントをユーザーが順番に注視するか、移動する注視ポイントをユーザーが目で追って注視する必要がある。このため、視線方向検出装置のキャリブレーションの開始から完了までには或る程度の時間が必要となる。
【０００９】
視線方向検出装置でドライバの視線を検出する場合、車両の発進前に視線方向検出装置のキャリブレーションを行うことが望ましいが、車両の発進前に視線方向検出装置のキャリブレーションを行うと、視線方向検出装置のキャリブレーションの開始から完了までに要する時間分だけ車両の発進が遅くなってしまうという問題がある。
【００１０】
なお、特許文献１で提案されている視線方向検出のキャリブレーションは、或る一箇所に設けられた車載装置の注視という一方向の視線状態に限られた瞬間的に処理が完了するキャリブレーションである。このため、特許文献１で提案されている視線方向検出のキャリブレーションは、キャリブレーションの開始から完了までに要する時間に関する問題を有していないが、複数の固定注視ポイントをユーザーが順番に注視するか、移動する注視ポイントをユーザーが目で追って注視する等の開始から完了までに或る程度の時間を要するキャリブレーションへの適用が不可能であるという問題を有する。
【００１１】
本発明は、上記の課題に鑑み、視線方向の検出精度や検出処理速度を高めるために必要なキャリブレーションに関する制約を低減する技術を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明に係る視線方向検出装置は、視線方向検出に関するキャリブレーションの中断の有無を判定する判定部と、前記判定部によって中断有りと判定された場合に前記キャリブレーションの途中データを生成する生成部と、前記キャリブレーションの途中データに基づく内容で前記キャリブレーションを再開する再開部と、を備える構成（第１の構成）である。
【００１３】
また、上記第１の構成の視線方向検出装置において、前記キャリブレーションの途中データは個人識別情報を含む構成（第２の構成）であってもよい。
【００１４】
また、上記第１又は第２の構成の視線方向検出装置において、前記キャリブレーションの途中データを保存する保存部を備える構成（第３の構成）であってもよい。
【００１５】
また、上記第１又は第２の構成の視線方向検出装置において、前記キャリブレーションの途中データをサーバーに送信する送信部と、前記キャリブレーションの途中データを前記サーバーから受信する受信部と、を備え、前記再開部は、前記受信部によって受信された前記キャリブレーションの途中データに基づく内容で前記キャリブレーションを再開する構成（第４の構成）であってもよい。
【００１６】
また、上記第１〜第４いずれかの構成の視線方向検出装置において、前記キャリブレーションの途中データのうち、どの区間が正常であるかを判定する正常判定部を備え、前記再開部は、前記正常判定部によって正常であると判定された区間に基づく内容で前記キャリブレーションを再開する構成（第５の構成）であってもよい。
【００１７】
また、上記第１〜第５いずれかの構成の視線方向検出装置において、前記判定部は、前記キャリブレーションの最中の視線方向検出結果に基づいて、前記キャリブレーションの中断の有無を判定する構成（第６の構成）であってもよい。
【００１８】
また、上記第１〜第６いずれかの構成の視線方向検出装置において、前記判定部は、前記視線方向検出装置が搭載される車両の状況に基づいて、前記キャリブレーションの中断の有無を判定する構成（第７の構成）であってもよい。
【００１９】
また、上記第１〜第７いずれかの構成の視線方向検出装置において、前記視線方向検出装置が搭載される車両の状況に基づいて、前記キャリブレーションの再開を提案する提案部を備える構成（第８の構成）であってもよい。
【００２０】
本発明に係るキャリブレーション方法は、視線方向検出装置のキャリブレーション方法であって、視線方向検出に関するキャリブレーションの中断の有無を判定する判定工程と、前記判定部によって中断有りと判定された場合に前記キャリブレーションの途中データを生成する生成工程と、前記キャリブレーションの途中データに基づく内容で前記キャリブレーションを再開する再開工程と、を備える構成（第９の構成）である。
【発明の効果】
【００２１】
本発明によれば、視線方向の検出精度や検出処理速度を高めるために必要なキャリブレーションの中断と再開が可能になるので、視線方向の検出精度を高めるために必要なキャリブレーションに関する制約を低減することができる。
【図面の簡単な説明】
【００２２】
【図１】第１実施形態に係る視線方向検出装置の構成を示す図
【図２】固定注視ポイントを示す図
【図３Ａ】第１実施形態に係る視線方向検出装置のキャリブレーション動作を示すフローチャート
【図３Ｂ】中断有無の第２判定例に関する動作例を示すフローチャート
【図３Ｃ】正常判定部の動作例を示すフローチャート
【図４】固定注視ポイントを示す図
【図５】固定注視ポイントを示す図
【図６】第２実施形態に係る視線方向検出装置の構成を示す図
【図７】第２実施形態に係る視線方向検出装置のキャリブレーション動作を示すフローチャート
【発明を実施するための形態】
【００２３】
以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。
【００２４】
＜１．第１実施形態に係る視線方向検出装置の構成＞
図１は、第１実施形態に係る視線方向検出装置の構成を示す図である。第１実施形態に係る視線方向検出装置１０１（以下、視線方向検出装置１０１と略す）は、車両に搭載される。
【００２５】
視線方向検出装置１０１を搭載する車両の室内には、赤外線カメラ１、赤外光発光装置２、ディスプレイ３、メータ４、スピーカ５、マイク６、開始スイッチ７、中断スイッチ８、及び再開スイッチ９が設けられ、視線方向検出装置１０１に接続される。なお、赤外線カメラ１、赤外光発光装置２、ディスプレイ３、メータ４、スピーカ５、マイク６、開始スイッチ７、中断スイッチ８、及び再開スイッチ９の一部又は全部が視線方向検出装置１０１に組み込まれてもよい。
【００２６】
赤外線カメラ１は、ドライバの顔を撮影する。赤外光発光装置２は、ドライバの顔に赤外光を照射する。赤外線カメラ１及び赤外光発光装置２は例えば車両のステアリングに設置される。
【００２７】
ディスプレイ３は、画像を表示する。ディスプレイ３としては、例えば、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、画像を車両のフロントガラスに投影するヘッドアップディスプレイ等を用いることができる。メータ４は、車両の速度、車両のエンジン回転数、車両の燃料残量等を表示する。
【００２８】
スピーカ５は、視線方向検出装置１０１からの音声信号を音声に変換する。マイク６は、音声を音声信号に変換して視線方向検出装置１０１に送る。マイク６はドライバが発する音声を主として集音する。
【００２９】
開始スイッチ７は、ドライバが視線方向検出装置１０１に対してキャリブレーションの開始を指示するための機械式スイッチである。中断スイッチ８は、ドライバが視線方向検出装置１０１に対してキャリブレーションの中断を指示するための機械式スイッチである。再開スイッチ９は、ドライバが視線方向検出装置１０１に対してキャリブレーションの再開を指示するための機械式スイッチである。これらの機械式スイッチの代わりに例えば液晶ディスプレイや有機ＥＬディスプレイの画面上に配置されるタッチパネル等を用いてもよい。
【００３０】
視線方向検出装置１０１は、装置全体を制御する制御部としてマイクロコンピュータを備える。詳細には、視線方向検出装置１０１は、演算処理を行うことで各種の制御機能を実現するＣＰＵ１１と、各種のデータを記憶する不揮発性メモリ１２と、演算処理の作業領域となるＲＡＭ１３と、を備える。不揮発性メモリ１２は、例えばハードディスクやフラッシュメモリで構成される。視線方向検出装置１０１の各部を制御する機能は、不揮発性メモリ１２に予め記憶されるプログラム１２ａに従ってＣＰＵ１１が演算処理を実行することによって実現される。
【００３１】
視線方向検出装置１０１は、赤外線カメラ１で撮影された画像データを処理する画像処理部１４を備える。本実施形態では、画像処理部１４はハードウェア回路である。画像処理部１４は、赤外線カメラ１から入力される画像データの信号に対して所定の画像処理を行い、所定の形式のデジタル画像データを生成する。所定の画像処理には、例えば、Ａ／Ｄ変換、輝度補正、コントラスト補正等が含まれる。画像処理部１４で処理された画像データは、赤外線カメラ１で得られた撮影映像として、例えばＭＰＥＧ−４形式でＲＡＭ１３に記憶される。
【００３２】
その他、ＣＰＵ１１には、不図示のＣＡＮ（Controller Area Network）バスを介して、各種ＥＣＵ（Electronic Control Unit）、各種センサ、各種車載機器から提供される車両状況情報が入力される。車両状況情報には、例えば、操舵情報、ブレーキ情報、アクセル情報、位置情報、ドア開閉情報等が含まれてよい。さらに、ＣＰＵ１１には、不図示のＣＡＮを介して、ナビゲーション装置等から提供される地図情報が入力される。
【００３３】
ＣＰＵ１１は、視線方向演算部１１ａと、開始部１１ｂと、判定部１１ｃと、生成部１１ｄと、再開部１１ｅと、ＨＭＩ（Human Machine Interface）制御部１１ｆと、個人識別部１１ｇと、正常判定部１１ｈと、提案部１１ｉと、を備える。
【００３４】
視線方向演算部１１ａは、ＲＡＭ１３に記憶されている画像データから角膜反射点（プルキンエ像）に対する動点を瞳孔の中心の位置を求め、不揮発性メモリ１２に記憶されている完了キャリブレーションデータ１２ｃ又は標準キャリブレーションデータ１２ｄを用いてドライバの視線方向を検出する。ドライバの視線方向は、例えばドライバの前方にドライバと正対する仮想平面を仮想的に設け、ドライバの視線方向ベクトルが仮想平面を貫く位置の座標（二次元座標）で表すことができる。視線方向演算部１１ａによって検出されたドライバの視線方向の利用方法は特に限定されないが、例えば自動運転から手動運転に切り替えて良いか否かの判断材料として用いることができる。
【００３５】
開始部１１ｂは、ドライバによる開始スイッチ７の操作やマイク６を用いた開始指示の音声入力に応じて、キャリブレーションを開始する。本実施形態では、キャリブレーションは、図２に丸数字で示された９個の固定注視ポイントを数字の順番でドライバが注視することで完了する。なお、各固定注視ポイントでのデータサンプリング回数は１回でもよいが、所定の複数回にして平均値を求めるようにすることが望ましい。固定注視ポイントの位置は、例えばディスプレイ３やメータ４を用いてドライバに知らせるとよい。固定注視ポイントの注視する順番は、注視する固定注視ポイントの順次表示やスピーカ５を用いた音声ガイダンスによって、ドライバに知らせるとよい。
【００３６】
判定部１１ｃは、キャリブレーションの中断の有無を判定する。具体的な判定方法例については後述する。
【００３７】
生成部１１ｄは、判定部１１ｃによって中断有りと判定された場合に、キャリブレーションの開始から中断までの間におけるキャリブレーションに関するデータである「途中キャリブレーションデータ１２ｂ」を生成し、「途中キャリブレーションデータ１２ｂ」を不揮発性メモリ１２に記憶させる。例えば、４個の固定注視ポイントについてドライバの注視が終わった段階でキャリブレーションが中断されると、４個の固定注視ポイントに関するサンプリングデータで「途中キャリブレーションデータ１２ｂ」が生成される。
【００３８】
また、生成部１１ｄは、キャリブレーションが完了すると、「完了キャリブレーションデータ１２ｃ」を生成し、「完了キャリブレーションデータ１２ｃ」を不揮発性メモリ１２に記憶させる。本実施形態では、９個の固定注視ポイントに関するサンプリングデータで「完了キャリブレーションデータ１２ｃ」が生成される。
【００３９】
再開部１１ｅは、ドライバによる再開スイッチ９の操作やマイク６を用いた再開指示の音声入力に応じて、「途中キャリブレーションデータ１２ｂ」に基づく内容でキャリブレーションを再開する。例えば、４個の固定注視ポイントに関するサンプリングデータで「途中キャリブレーションデータ１２ｂ」が生成されていた場合、５番目の固定注視ポイントからキャリブレーションが再開される。５番目の固定注視ポイントからキャリブレーションが再開された後に、例えば更に２個の固定注視ポイントについてドライバの注視が終わった段階でキャリブレーションが再度中断されると、「途中キャリブレーションデータ１２ｂ」は更新され、６個の固定注視ポイントに関するサンプリングデータで「途中キャリブレーションデータ１２ｂ」が生成される。
【００４０】
ＨＭＩ制御部１１ｆは、ディスプレイ３への出力、メータ４への出力、スピーカ５への出力、マイク６からの入力、開始スイッチ７からの入力、及び中断スイッチ８からの入力、再開スイッチ９からの入力を処理する。
【００４１】
個人識別部１１ｇは、ドライバの個人識別を行う。個人識別の方法としては、例えば顔認証や指紋認証を用いることができる。この場合、顔の特徴や指紋の特徴が個人識別情報となる。また、例えばドライバ固有の操作部（例えば四名の識別を可能とする場合には４つの機械式スイッチや４つのタッチパネル上の選択キー）を設け、そのドライバ固有の操作部に対する操作に基づいて、個人識別部１１ｇがドライバの個人識別を行ってもよい。
【００４２】
個人識別情報は、「途中キャリブレーションデータ１２ｂ」及び「完了キャリブレーションデータ１２ｃ」それぞれに含まれる。これにより、個々のドライバに対してキャリブレーションの中断、再開、完了が可能となる。そして、特定のドライバに対して一度キャリブレーションが完了すると、その特定のドライバに関しては再度のキャリブレーションは不要となる。
【００４３】
なお、本実施形態とは異なり、ＣＰＵ１１が個人識別部１１ｇを備えない構成であってもよい。この場合、単一のドライバに関するキャリブレーションが想定されていることになる。
【００４４】
正常判定部１１ｈは、「途中キャリブレーションデータ１２ｂ」のうち、どの区間（どのサンプリングデータ）が正常であるかを判定する。例えば、正常判定部１１ｈによって正常でないと判定された区間は、キャリブレーションデータが再開されたときに再度サンプリングを行うようにすればよい。これにより、「完了キャリブレーションデータ１２ｃ」がより適切なデータとなり、視線方向の検出精度が向上する。具体的な判定方法例については後述する。
【００４５】
提案部１１ｉは、車両の状況に基づいてキャリブレーションの再開を提案する。例えばディスプレイ３やメータ４を用いた表示やスピーカ５を用いた音声で提案すればよい。例えば、提案部１１ｉは、車両の速度、車両のシフト、車両の位置、地図情報等に基づいてキャリブレーションを再開しても危険が少ない状況であると判断した場合に、キャリブレーションの再開を提案すればよい。提案部１１ｉの提案により、ドライバがキャリブレーション再開の機会を逸する可能性が低くなり、結果的にキャリブレーション完了までに要する期間を短縮することができる。
【００４６】
＜２．第１実施形態に係る視線方向検出装置の動作＞
図３Ａは、視線方向検出装置１０１のキャリブレーション動作を示すフローチャートである。
【００４７】
キャリブレーションが開始されると、判定部１１ｃが、キャリブレーションの中断の有無を判定する（ステップＳ１０）。なお、中断スイッチ８が押された場合以外にキャリブレーションの中断有りと判定する場合には、キャリブレーションを中断することをディスプレイ３、メータ４、スピーカ５等を用いて報知することが望ましい。
【００４８】
（中断有無の第１判定例）
例えば、中断スイッチ８が押された場合には、判定部１１ｃは、キャリブレーションの中断有りと判定する。
【００４９】
（中断有無の第２判定例）
また例えば、固定注視ポイントの注視において固定注視ポイントの仮想平面上座標と視線方向を表す仮想平面上座標（視線方向座標）との距離が閾値Ｔ１より大きいサンプリングデータ数が所定値Ｖ１以上になった場合に、判定部１１ｃは、キャリブレーションの中断有りと判定する。図３Ｂは、この判定の動作例を示すフローチャートである。図３Ｂに示すフローチャートの処理は固定注視ポイント毎に実行される。判定部１１ｃは各パラメータＣ、ＥＣ、ＳＣを０にする（ステップＳ１０１）。次に、判定部１１ｃは固定注視ポイントの仮想平面上座標（Ｘｎ，Ｙｎ）を取得する（ステップＳ１０２）。次に、判定部１１ｃは不揮発性メモリ１２から「標準キャリブレーションデータ１２ｄ」を読み込む（ステップＳ１０３）。次に、判定部１１ｃは、「標準キャリブレーションデータ１２ｄ」を用いて、サンプリング回数Ｃ回目の視線方向座標（Ｘｃ，Ｙｃ）を演算する（ステップＳ１０４）。そして、判定部１１ｃは、固定注視ポイントの仮想平面上座標（Ｘｎ，Ｙｎ）とサンプリング回数Ｃ回目の視線方向座標（Ｘｃ，Ｙｃ）との距離が上記閾値Ｔ１より大きいか否かを判定する（ステップＳ１０５）。上記距離が上記閾値Ｔ１より大きければ、判定部１１ｃは、パラメータＥＣ及びパラメータＣをそれぞれ１つインクリメントし（ステップＳ１０６）、エラー回数を示すパラメータＥＣが上記所定値Ｖ１以上であるか否かを判定する（ステップＳ１０７）。パラメータＥＣが上記所定値Ｖ１以上でなければステップＳ１０４に戻る。パラメータＥＣが上記所定値Ｖ１以上であれば、判定部１１ｃは、キャリブレーションの中断有りと判定し（ステップＳ１０８）、その後図３Ｂのフロー動作を終了する。一方、上記距離が上記閾値Ｔ１より大きくなければ、判定部１１ｃは、パラメータＳＣ及びパラメータＣをそれぞれ１つインクリメントし（ステップＳ１０９）、成功回数を示すパラメータＳＣが規定値Ｖ２以上であるか否かを判定する（ステップＳ１１０）。パラメータＳＣが上記規定値Ｖ２以上でなければステップＳ１０４に戻る。パラメータＳＣが上記規定値Ｖ２以上であれば、図３Ｂのフロー動作を終了する。図３Ｂのフロー動作によると、例えば図４に示すように１番の固定注視ポイントを注視している際に、１番の固定注視ポイントを中心とし半径Ｒ１の値が上記閾値Ｔ１である仮想平面上の円Ｃ１の外に視線方向を表す仮想平面上座標が現れるサンプリングデータ数が上記所定値Ｖ１以上になった場合に、判定部１１ｃは、キャリブレーションの中断有りと判定する。
【００５０】
この判定では、ドライバがキャリブレーションの途中でキャリブレーション以外の行動（例えば車両の運転開始）を行った場合を想定しており、ドライバがキャリブレーション以外の行動を行った場合に、判定部１１ｃは、キャリブレーションの中断有りと判定することができる。
【００５１】
また、この判定を実行する際には、「完了キャリブレーションデータ１２ｃ」がまだ生成されていないため、視線方向演算部１１ａは視線方向を表す仮想平面上座標の演算において「標準キャリブレーションデータ１２ｄ」を用いる。「標準キャリブレーションデータ１２ｄ」は、人の平均的なキャリブレーションデータである。なお、「標準キャリブレーションデータ１２ｄ」の代わりに、「途中キャリブレーションデータ１２ｂ」を用いてもよい。「途中キャリブレーションデータ１２ｂ」は、２つ以上の固定注視ポイントに関するサンプリングデータによって構成されている場合に利用することができる。人の角膜形状がほぼ左右対称且つほぼ上下対称であることから、その対称性を利用して「途中キャリブレーションデータ１２ｂ」から擬似的な「完了キャリブレーションデータ１２ｃ」を生成し、その擬似的な「完了キャリブレーションデータ１２ｃ」を用いるようにすればよい。
【００５２】
（中断有無の第３判定例）
また例えば、ドライバが車両を運転していると推定される場合に、判定部１１ｃは、キャリブレーションの中断有りと判定する。これにより、安全が確保出来ない状態でのキャリブレーションの続行を防止することができる。例えば、操舵情報、ブレーキ情報、アクセル情報によってドライバが車両を運転しているか否かを推定すればよい。ただし、運転中であっても緩やかな下り坂等を走行している際に操舵、ブレーキ操作、アクセル操作のいずれもが行われない場合もあるため、車両の位置によってドライバが車両を運転しているか否かを推定し、車両の位置が変化しているときにドライバが車両を運転していると推定すればよい。
【００５３】
（中断有無の第４判定例）
また例えば、ドア開閉情報に基づいて車両のドアが閉じた状態から開いた状態に変化したことを認識した場合に、判定部１１ｃは、キャリブレーションの中断有りと判定する。これにより、ドライバが前方を向いていない可能性が高い状態でのキャリブレーションの続行を防止することができる。
【００５４】
ステップＳ１０の判定によってキャリブレーションの中断無しと判定された場合、後述するステップＳ４０に移行する。一方、ステップＳ１０の判定によってキャリブレーションの中断有りと判定された場合、生成部１１ｄは、「途中キャリブレーションデータ１２ｂ」を生成し（ステップＳ２０）、「途中キャリブレーションデータ１２ｂ」を不揮発性メモリ１２に不揮発的に記憶（保存）させる（ステップＳ２１）。不揮発性メモリ１２が「途中キャリブレーションデータ１２ｂ」を保存しているので、後述する第２実施形態のようなサーバーとの通信機能が不要である。
【００５５】
ここで、正常判定部１１ｈは、固定注視ポイントの注視において固定注視ポイントの仮想平面上座標と視線方向を表す仮想平面上座標との距離が許容値Ａ１より大きいサンプリングデータを正常でないと判定する。図３Ｃは、この判定の動作例を示すフローチャートである。図３Ｃに示すフローチャートの処理はサンプリングデータ毎に実行される。正常判定部１１ｈは固定注視ポイントの仮想平面上座標（Ｘｎ，Ｙｎ）を取得する（ステップＳ２０１）。次に、正常判定部１１ｈは不揮発性メモリ１２から「標準キャリブレーションデータ１２ｄ」を読み込む（ステップＳ２０２）。次に、正常判定部１１ｈは、「標準キャリブレーションデータ１２ｄ」を用いて、視線方向座標（Ｘ，Ｙ）を演算する（ステップＳ２０３）。そして、正常判定部１１ｈは、固定注視ポイントの仮想平面上座標（Ｘｎ，Ｙｎ）と視線方向座標（Ｘ，Ｙ）との距離が上記許容値Ａ１より大きいか否かを判定する（ステップＳ２０４）。上記距離が上記許容値Ａ１より大きければ、正常判定部１１ｈは、今回の判定対象であるサンプリングデータを正常でないと判定し（ステップＳ２０５）、その後図３Ｃのフロー動作を終了する。一方、上記距離が上記許容値Ａ１より大きくなければ、正常判定部１１ｈは、今回の判定対象であるサンプリングデータを正常であると判定し（ステップＳ２０６）、その後図３Ｃのフロー動作を終了する。図３Ｃのフロー動作によると、例えば図５に示すように１番の固定注視ポイントを注視している際に、正常判定部１１ｈは、１番の固定注視ポイントを中心とし半径Ｒ１の値が上記許容値Ａ１である仮想平面上の円Ｃ１の外に視線方向を表す仮想平面上座標が現れるサンプリングデータを正常でないと判定する。なお、上記許容値Ａ１は上記閾値Ｔ１よりも小さい。
【００５６】
ステップＳ２１の処理が終わると、ＣＰＵ１１は、再開部１１ｅによってキャリブレーションが再開されたか否かを判定する（ステップＳ３０）。
【００５７】
再開部１１ｅによってキャリブレーションが再開されていなければ、ＣＰＵ１１はステップＳ３０の判定を継続する。一方、再開部１１ｅによってキャリブレーションが再開されれば、ステップＳ４０に移行する。
【００５８】
ステップＳ４０において、ＣＰＵ１１は、キャリブレーションが完了したか否かを判定する。
【００５９】
キャリブレーションが完了していなければ、ステップＳ１０に戻る。一方、キャリブレーションが完了すれば、生成部１１ｄは、「完了キャリブレーションデータ１２ｃ」を生成し（ステップＳ５０）、「完了キャリブレーションデータ１２ｃ」を不揮発性メモリ１２に不揮発的に記憶（保存）させる（ステップＳ５１）。ステップＳ５１の処理終了によって図３Ａのフロー動作が終了する。
【００６０】
上述した図３Ａのフロー動作によって、キャリブレーションの中断及び再開が可能になる。これにより、視線方向検出装置のキャリブレーションの開始から完了までに要する時間分だけ車両の発進が遅くなってしまうという問題を解消することができる。例えば、赤信号による車両の小刻みな停止時間を利用して、キャリブレーション作業を進行させることができる。また、１回のエンジン始動からエンジン停止までの期間（１トリップ）でキャリブレーションの中断及び再開が行えるだけでなく、複数のトリップを通じてキャリブレーションの中断及び再開を繰り返してキャリブレーション作業を進行させることもできる。したがって、視線方向の検出精度を高めるために必要なキャリブレーションに関する制約を低減することができる。
【００６１】
＜３．第２実施形態＞
図６は、第２実施形態に係る視線方向検出装置の構成を示す図である。第２実施形態に係る視線方向検出装置１０２（以下、視線方向検出装置１０２と略す）は、視線方向検出装置１０１に通信部１５を追加した構成である。通信部１５は、サーバーセンターに設けられるサーバー２００と通信を行う。
【００６２】
第１実施形態において視線方向検出装置１０１の不揮発性メモリ１２に保存されていた「途中キャリブレーションデータ」、「完了キャリブレーションデータ」、及び「標準キャリブレーションデータ」は、本実施形態ではサーバー２００に保存される。なお、「標準キャリブレーションデータ」は、サーバー２００ではなく、視線方向検出装置１０２の不揮発性メモリ１２に保存してもよい。
【００６３】
図７は、視線方向検出装置１０２のキャリブレーション動作を示すフローチャートである。図７に示すフローチャートは、図３Ａに示すフローチャートのステップＳ２１及びＳ５１をそれぞれステップＳ２２及びステップＳ５２に置換し、ステップＳ３０とステップＳ４０との間にステップＳ３１を追加したものである。
【００６４】
本実施形態では、ステップＳ２０の処理が終わると、通信部１５は、「途中キャリブレーションデータ」をサーバー２００に送信する（ステップＳ２２）。そして、キャリブレーションが再開されるときに、通信部１５は、ドライバの個人識別情報をサーバー２００に送信することで、サーバー２００に送信したドライバの個人識別情報に対応する「途中キャリブレーションデータ」を要求し、要求した「途中キャリブレーションデータ」をサーバー２００から受信する（ステップＳ３１）。
【００６５】
「途中キャリブレーションデータ」がサーバー２００に保存されているため、「途中キャリブレーションデータ」を生成した視線方向検出装置１０２を搭載する車両と、キャリブレーションを再開する視線方向検出装置１０２を搭載する車両とが異なる車両であっても、図７に示すフロー動作を実現することができる。したがって、本実施形態は、第１実施形態よりも利便性が高い。
【００６６】
また、本実施形態では、ステップＳ５０の処理が終わると、通信部１５は、「完了キャリブレーションデータ」をサーバー２００に送信する（ステップＳ５２）。そして、視線方向演算部１１ａがドライバの視線方向を検出する場合に、通信部１５は、ドライバの個人識別情報をサーバー２００に送信することで、サーバー２００に送信したドライバの個人識別情報に対応する「完了キャリブレーションデータ」を要求し、要求した「完了キャリブレーションデータ」をサーバー２００から受信する。これにより、一度キャリブレーションが完了すると、視線方向検出装置１０２を搭載する複数の車両で「完了キャリブレーションデータ」を共用することができる。したがって、本実施形態は、第１実施形態よりも利便性が高い。
【００６７】
＜４．変形例＞
上記実施形態は、全ての点で例示であって、制限的なものではないと考えられるべきであり、本発明の技術的範囲は、上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。
【００６８】
例えば、上述した実施形態では、「瞳孔−角膜反射法」を用いてドライバの視線方向を検出しているが、例えば「目頭−虹彩法」等の他の手法を用いてドライバの視線方向を検出してもよい。
【００６９】
また、上述した実施形態では、９個の固定注視ポイントをドライバが順番に注視するキャリブレーションが採用されているが、固定注視ポイントの個数は９個以外の複数であってもよい。固定注視ポイントの個数を増やすほど、視線方向の検出精度は向上するが、キャリブレーションに要する時間が増加することになる。したがって、このトレードオフの関係を考慮して固定注視ポイントの個数を決定すればよい。
【００７０】
また、複数の固定注視ポイントをドライバが順番に注視するキャリブレーションの代わりに、移動する注視ポイントをドライバが目で追って注視するキャリブレーションを採用してもよい。
【符号の説明】
【００７１】
１１ｃ  判定部
１１ｄ  生成部
１１ｅ  再開部
１１ｈ  正常判定部
１１ｉ  提案部
１２  不揮発性メモリ
１５  通信部
１０１  第１実施形態に係る視線方向検出装置
１０２  第２実施形態に係る視線方向検出装置
２００  サーバー
【図１】
2019046240.tif 000003
【図２】
2019046240.tif 000004
【図３Ａ】
2019046240.tif 000005
【図３Ｂ】
2019046240.tif 000006
【図３Ｃ】
2019046240.tif 000007
【図４】
2019046240.tif 000008
【図５】
2019046240.tif 000009
【図６】
2019046240.tif 000010
【図７】
2019046240.tif 000011