(57)【要約】【課題】車両の運転開始時から、視線検出部による視線を高精度に検出することを可能とする。【解決手段】実施形態の視線検出装置は、一例として、車両の運転者の視線を検出する視線検出部と、運転者の視界に対して、個人認証用のパターン画像を表示させるパターン画像表示制御部と、運転者による車両の運転開始前に、視線検出部により検出される視線の移動パターンと、所定の移動パターンとを比較して、運転者の個人認証処理を実行する個人認証部と、視線検出部により検出される視線の移動パターンと所定の移動パターンとの比較結果に基づいて、視線検出部により検出される視線のキャリブレーションを実行するキャリブレーション処理部と、を備える。【選択図】図４
2020071773.tif 000002
【特許請求の範囲】
【請求項１】
車両の運転者の視線を検出する視線検出部と、
前記運転者の視界に対して、個人認証用のパターン画像を表示させるパターン画像表示制御部と、
前記運転者による前記車両の運転開始前に、前記視線検出部により検出される視線の移動パターンと、所定の移動パターンとを比較して、前記運転者の個人認証処理を実行する個人認証部と、
前記視線検出部により検出される視線の移動パターンと前記所定の移動パターンとの比較結果に基づいて、前記視線検出部により検出される視線のキャリブレーションを実行するキャリブレーション処理部と、
を備える視線検出装置。
【請求項２】
前記個人認証部は、前記運転者の個人認証処理に成功した場合、前記車両の駆動部を始動させる請求項１に記載の視線検出装置。
【請求項３】
前記個人認証部は、さらに、所定の回数連続して前記所定の移動パターンと異なる移動パターンの視線が前記視線検出部により検出された場合、前記車両の駆動部の始動を禁止する請求項２に記載の視線検出装置。
【請求項４】
前記個人認証部は、前記所定の回数連続して前記所定の移動パターンと異なる移動パターンの視線が前記視線検出部により検出された場合、撮像部によって前記運転者の顔を撮像して得られる撮像画像を記憶部に保存する請求項３に記載の視線検出装置。
【請求項５】
前記車両の周囲に存在する障害物を検出する障害物検出部をさらに備え、
前記パターン画像表示制御部は、さらに、前記運転者による前記車両の運転開始後、前記運転者の視界に対して、検出された前記障害物の位置を示す障害物情報を表示させ、
前記キャリブレーション処理部は、さらに、前記運転者の視界における前記障害物情報の位置と、前記視線検出部により検出される視線とを比較して、前記視線検出部により検出される視線のキャリブレーションを実行する請求項１から４のいずれか一に記載の視線検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、視線検出装置に関する。
【背景技術】
【０００２】
ＨＵＤ（Head  Up  Display）に表示される画像に基づいて運転者の視線の検出処理のキャリブレーションを実行する技術、運転者がルームミラーやサイドミラー等の車両の設備を見ている際に運転者の視線の検出処理のキャリブレーションを実行する技術、車両の周囲のオブジェクトを運転者が注視しているか否かに基づいて運転者の視線の検出処理のキャリブレーションを実行する技術等が開発されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１８３４７３号公報
【特許文献２】特開２０１０−０３０３６１号公報
【特許文献３】特開２０１７−００４１１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ＨＵＤに表示される画像に基づく運転者の視線の検出処理のキャリブレーションは、ＨＵＤに対する画像の表示範囲が、運転者が車両の運転中に視線を向けなければならない範囲と比較して狭いため、運転者の視線の検出処理のキャリブレーションの精度が低くなる。
【０００５】
また、車両の設備や車両の周囲のオブジェクトを運転者が見ている際に運転者の視線の検出処理のキャリブレーションを行う技術は、車両の運転中のみ可能であるため、十分なキャリブレーションが行われるまでは、視線の検出精度が低いまま車両が運転されることになる。
【０００６】
そこで、実施形態の課題の一つは、運転開始時から高精度に視線を検出することが可能な視線検出装置を提供することである。
【課題を解決するための手段】
【０００７】
実施形態の視線検出装置は、一例として、車両の運転者の視線を検出する視線検出部と、運転者の視界に対して、個人認証用のパターン画像を表示させるパターン画像表示制御部と、運転者による車両の運転開始前に、視線検出部により検出される視線の移動パターンと、所定の移動パターンとを比較して、運転者の個人認証処理を実行する個人認証部と、視線検出部により検出される視線の移動パターンと所定の移動パターンとの比較結果に基づいて、視線検出部により検出される視線のキャリブレーションを実行するキャリブレーション処理部と、を備える。よって、一例として、車両の運転開始時から、視線検出部によって視線を高精度に検出することができる。
【０００８】
また、実施形態の視線検出装置は、一例として、個人認証部は、運転者の個人認証処理に成功した場合、車両の駆動部を始動させる。よって、一例として、車両の盗難を防止することができる。
【０００９】
また、実施形態の視線検出装置は、一例として、個人認証部は、さらに、所定の回数連続して所定の移動パターンと異なる移動パターンの視線が視線検出部により検出された場合、車両の駆動部の始動を禁止する。よって、一例として、車両の盗難をより効果的に防止することができる。
【００１０】
また、実施形態の視線検出装置は、一例として、個人認証部は、所定の回数連続して所定の移動パターンと異なる移動パターンの視線が視線検出部により検出された場合、撮像部によって運転者の顔を撮像して得られる撮像画像を記憶部に保存する。よって、一例として、記憶部に記憶される撮像画像に含まれる顔画像に基づいて、車両の盗難等の不正行為を行おうとした運転者の特定が可能となる。
【００１１】
また、実施形態の視線検出装置は、一例として、車両の周囲に存在する障害物を検出する障害物検出部をさらに備え、パターン画像表示制御部は、さらに、運転者による車両の運転開始後、運転者の視界に対して、検出された障害物の位置を示す障害物情報を表示させ、キャリブレーション処理部は、さらに、運転者の視界における障害物情報の位置と、視線検出部により検出される視線とを比較して、視線検出部により検出される視線のキャリブレーションを実行する。よって、一例として、視線検出部によってより高精度に視線を検出することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、第１の実施形態にかかる視線検出装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。
【図２】図２は、第１の実施形態にかかる車両が有する撮像装置の配置の一例を示す図である。
【図３】図３は、第１の実施形態にかかる車両の機能構成の一例を示すブロック図である。
【図４】図４は、第１の実施形態にかかる車両が有するＥＣＵの機能的構成の一例を示すブロック図である。
【図５】図５は、第１の実施形態にかかる車両のＥＣＵにより検出される視線のキャリブレーションの流れの一例を示すフローチャートである。
【図６】図６は、第１の実施形態にかかる車両による運転者の個人認証処理の一例を説明するための図である。
【図７】図７は、第２の実施形態にかかる車両が有するＥＣＵの機能的構成の一例を示すブロック図である。
【図８】図８は、第２の実施形態にかかる車両のＥＣＵにより検出されるキャリブレーションの流れの一例を示すフローチャートである。
【図９】図９は、第２の実施形態にかかる車両による障害物情報の表示処理の一例を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によって実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも１つを得ることが可能である。
【００１４】
本実施形態にかかる視線検出装置を搭載する車両は、内燃機関（エンジン）を駆動源とする自動車（内燃機関自動車）であっても良いし、電動機（モータ）を駆動源とする自動車（電気自動車、燃料電池自動車等）であっても良いし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であっても良い。また、車両は、種々の変速装置、内燃機関や電動機の駆動に必要な種々の装置（システム、部品等）を搭載可能である。また、車両における車輪の駆動に関わる装置の方式、個数、レイアウト等は、種々に設定可能である。
【００１５】
（第１の実施形態）
図１は、第１の実施形態にかかる視線検出装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。図２は、第１の実施形態にかかる車両が有する撮像装置の配置の一例を示す図である。図１に示されるように、車両１は、車体２と、操舵部４と、モニタ装置１１と、を備える。
【００１６】
車体２は、運転者（不図示）が乗車する車室２ａを有する。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４等が設けられている。操舵部４は、例えば、ダッシュボード（インストルメントパネル）１２から突出したステアリングホイールである。
【００１７】
また、車室２ａ内のダッシュボード１２の車幅方向すなわち左右方向の中央部には、モニタ装置１１が設けられている。モニタ装置１１には、表示装置８（図３参照）や音声出力装置９（図３参照）が設けられている。表示装置８は、例えば、ＬＣＤ（Liquid  Crystal  Display）や、ＯＥＬＤ（Organic  Electroluminescent  Display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置は８、例えば、タッチパネル等、透明な操作入力部１０（図３参照）で覆われている。
【００１８】
乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置において手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。
【００１９】
また、図２に示すように、ハンドルコラム２０２には、ドライバモニタカメラ２０１が設置されている。このドライバモニタカメラ２０１は、例えば、ＣＣＤ（Charge  Coupled  Device）カメラ等である。ドライバモニタカメラ２０１は、座席２ｂに着座する運転者３０２の顔が、視野中心に位置するように、視野角および姿勢が調整されている。このドライバモニタカメラ２０１は、運転者３０２の顔を順次撮像し、撮像により得た画像についての画像データを順次出力する。
【００２０】
また、図１に示されるように、車両１は、四輪車（四輪自動車）であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。さらに、本実施形態では、これら四つの車輪３は、いずれも操舵されうるように（転舵可能に）設けられている。
【００２１】
また、図１に示されるように、車両１は、複数の撮像部１５（車載カメラ）を搭載する。本実施形態では、車両１は、例えば、４つの撮像部１５ａ〜１５ｄを搭載する。撮像部１５は、ＣＣＤまたはＣＩＳ（CMOS  Image  Sensor）等の撮像素子を有するデジタルカメラである。撮像部１５は、所定のフレームレートで車両１の周囲を撮像可能である。そして、撮像部１５は、車両１の周囲を撮像して得られた撮像画像を出力する。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には、例えば、１４０°〜２２０°の範囲を撮像可能である。また、撮像部１５の光軸は、斜め下方に向けて設定されている場合もある。
【００２２】
具体的には、撮像部１５ａは、例えば、車体２の後側の端部に位置し、トランクリッドの下方の壁部に設けられている。そして、撮像部１５ａは、車両１の周囲のうち、当該車両１の後方の領域を撮像可能である。撮像部１５ｂは、例えば、車体２の右側の端部に位置し、右側のドアミラーに設けられている。そして、撮像部１５ｂは、車両１の周囲のうち、当該車両の側方の領域を撮像可能である。撮像部１５ｃは、例えば、車体２の前側、すなわち、車両１の前後方向の前方側の端部に位置し、フロントバンパやフロントグリル等に設けられている。そして、撮像部１５ｃは、車両１の周囲のうち、当該車両１の前方の領域を撮像可能である。撮像部１５ｄは、例えば、車体２の左側、すなわち、車幅方向の左側の端部に位置し、左側のドアミラーに設けられている。そして、撮像部１５ｄは、車両１の周囲のうち、当該車両１の側方の領域を撮像可能である。
【００２３】
次に、図３を用いて、本実施形態にかかる車両の機能構成について説明する。図３は、第１の実施形態にかかる車両の機能構成の一例を示すブロック図である。図３に例示されるように、車両１は、ＥＣＵ（Electronic  Control  Unit）１４、モニタ装置１１、操舵システム１３、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（Controller  Area  Network）として構成されている。
【００２４】
操舵システム１３は、電動パワーステアリングシステムやＳＢＷ（Steer  By  Wire）システム等である。操舵システム１３は、アクチュエータ１３ａおよびトルクセンサ１３ｂを有する。そして、操舵システム１３は、ＥＣＵ１４等によって電気的に制御され、アクチュエータ１３ａを動作させて、操舵部４に対して、トルクを付加して操舵力を補うことによって、車輪３を転舵する。トルクセンサ１３ｂは、運転者が操舵部４に与えるトルクを検出し、その検出結果をＥＣＵ１４に送信する。
【００２５】
ブレーキシステム１８は、車両１のブレーキのロックを制御するＡＢＳ（Anti-lock  Brake  System）、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：Electronic  Stability  Control）、ブレーキ力を増強させてブレーキをアシストする電動ブレーキシステム、およびＢＢＷ（Brake  By  Wire）を含む。
【００２６】
ブレーキシステム１８は、アクチュエータ１８ａおよびブレーキセンサ１８ｂを有する。ブレーキシステム１８は、ＥＣＵ１４等によって電気的に制御され、アクチュエータ１８ａを介して、車輪３に制動力を付与する。ブレーキシステム１８は、左右の車輪３の回転差等から、ブレーキのロック、車輪３の空回り、および横滑りの兆候等を検出して、ブレーキのロック、車輪３の空回り、および横滑りを抑制する制御を実行する。ブレーキセンサ１８ｂは、制動操作部の可動部としてのブレーキペダルの位置を検出する変位センサであり、ブレーキペダルの位置の検出結果をＥＣＵ１４に送信する。
【００２７】
舵角センサ１９は、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。本実施形態では、舵角センサ１９は、ホール素子等で構成され、操舵部４の回転部分の回転角度を操舵量として検出し、その検出結果をＥＣＵ１４に送信する。アクセルセンサ２０は、加速操作部の可動部としてのアクセルペダルの位置を検出する変位センサであり、その検出結果をＥＣＵ１４に送信する。
【００２８】
シフトセンサ２１は、変速操作部の可動部（バー、アーム、ボタン等）の位置を検出するセンサであり、その検出結果をＥＣＵ１４に送信する。車輪速センサ２２は、ホール素子等を有し、車輪３の回転量や単位時間当たりの車輪３の回転数を検出するセンサであり、その検出結果をＥＣＵ１４に送信する。
【００２９】
ＥＣＵ１４は、コンピュータ等で構成され、ハードウェアとソフトウェアが協働することにより、車両１の制御全般を司る。具体的には、ＥＣＵ１４は、例えば、ＣＰＵ（Central  Processing  Unit）１４ａ、ＲＯＭ（Read  Only  Memory）１４ｂ、ＲＡＭ（Random  Access  Memory）１４ｃ、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ（Solid  State  Drive、フラッシュメモリ）１４ｆ等を有している。ＣＰＵ１４ａは、車両１全体の制御を行う。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行できる。
【００３０】
ＲＯＭ１４ｂは、各種プログラムおよび当該プログラムの実行に必要なパラメータ等を記憶する。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、車両１の外部を撮像可能に設けられた撮像部１５の撮像で得られた画像データを用いた画像処理や、表示装置で表示される画像データの合成等を実行する。音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置で出力される音声データの処理を実行する。ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。
【００３１】
ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（Digital  Signal  Processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（Hard  Disk  Drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。
【００３２】
図４は、第１の実施形態にかかる車両が有するＥＣＵの機能的構成の一例を示すブロック図である。図４に示されるように、ＥＣＵ１４は、パターン画像記憶部４００、画像取得部４０１、視線検出部４０２、パターン画像表示制御部４０３、個人認証部４０４、およびキャリブレーション処理部４０５を主に備えている。図４に示す、画像取得部４０１、視線検出部４０２、パターン画像表示制御部４０３、個人認証部４０４、およびキャリブレーション処理部４０５は、ＥＣＵ１４が有するＣＰＵ１４ａが、ＲＯＭ１４ｂに記憶されたプログラムを実行することで実現される。これらの構成は、ハードウェアで実現するように構成しても良い。
【００３３】
パターン画像記憶部４００は、ＳＳＤ１４ｆ等の不揮発性の記憶媒体により実現され、車両１のフロントウィンドウ等のユーザの視界に表示する個人認証用のパターン画像（以下、個人認証用パターン画像と言う）を記憶する。ここで、個人認証用パターン画像は、車両１の運転者３０２の認証に用いるパターン画像であり、例えば、複数のシンボル（例えば、点）が予め設定されたパターンで配置された画像である。
【００３４】
画像取得部４０１は、ドライバモニタカメラ２０１により運転者３０２を撮像して得られる撮像画像を取得する。
【００３５】
視線検出部４０２は、車両１の運転者３０２の視線を検出する。本実施形態では、視線検出部４０２は、画像取得部４０１により取得される撮像画像から、運転者３０２の目の画像を検出し、検出した目の画像に基づいて、運転者３０２の視線を検出する。
【００３６】
パターン画像表示制御部４０３は、運転者３０２の視界に対して、個人認証用パターン画像を表示させる。本実施形態では、パターン画像表示制御部４０３は、パターン画像記憶部４００から、個人認証用パターン画像を読み出し、当該読み出した個人認証用パターン画像を、車両１のフロントウィンドウ全体に表示させる。
【００３７】
例えば、パターン画像表示制御部４０３は、複数の点が予め設定されたパターンで配置された画像を個人認証用パターン画像として表示させる場合、個人認証用パターン画像に含まれる各点が車両１のフロントウィンドウ全体に分散するように、個人認証用パターン画像をフロントウィンドウに表示させる。
【００３８】
本実施形態では、パターン画像表示制御部４０３は、運転者３０２による車両１の運転開始前（車両１のエンジンの始動前）に、個人認証用パターン画像を運転者３０２の視界に対して表示させるものとする。
【００３９】
本実施形態では、パターン画像表示制御部４０３は、車両１のフロントウィンドウに個人認証用パターン画像を表示させる例について説明したが、運転者３０２の視界に対して個人認証用パターン画像を表示させるものであれば、これに限定するものではない。例えば、パターン画像表示制御部４０３は、車両１がＨＵＤ（Head  Up  Display）を有する場合には、個人認証用パターン画像をＨＵＤに対して表示させても良い。また、パターン画像表示制御部４０３は、車両１がプロジェクタを有する場合には、車両１のフロントウィンドウ等に設けられるスクリーンに対して、個人認証用パターン画像を投影させても良い。
【００４０】
個人認証部４０４は、運転者３０２による車両１の運転開始前に、視線検出部４０２により検出される視線の移動パターンと、所定の移動パターンとを比較して、運転者３０２の個人認証処理を実行する。ここで、所定の移動パターンは、予め設定された、運転者３０２が視線を移動させるパターンである。
【００４１】
本実施形態では、車両１の運転者３０２毎の所定の移動パターンが、ＳＳＤ１４ｆ等の不揮発性の記憶媒体に保存されているものとする。個人認証部４０４は、個人認証用パターン画像上において検出される視線の移動パターンが、ＳＳＤ１４ｆに記憶される所定の移動パターンのいずれかと一致するか否かにより、運転者３０２の個人認証処理を実行する。
【００４２】
そして、個人認証部４０４は、視線検出部４０２により検出される視線の移動パターンと、所定の移動パターンとが一致した場合には、運転者３０２の個人認証に成功したと判断する。この場合、個人認証部４０４は、車両１の駆動部（例えば、エンジン、モータ）を始動させる。
【００４３】
一方、個人認証部４０４は、視線検出部４０２により検出される視線の移動パターンと、所定の移動パターンとが一致しなかった場合には、運転者３０２の個人認証に失敗したと判断する。この場合、個人認証部４０４は、車両１の駆動部を始動させない。これにより、車両１の盗難を防止することができる。
【００４４】
運転者３０２の個人認証は、画像取得部４０１により取得される撮像画像に含まれる顔画像に基づいて行うことも可能であるが、当該顔画像に基づく運転者３０２の個人認証は、その精度が不十分なことがある。そのため、視線検出部４０２により検出される視線の移動パターンを用いて個人認証を行うことにより、運転者３０２の個人認証の精度を向上させ、車両１の盗難をより効果的に防止することができる。
【００４５】
また、個人認証部４０４は、所定の回数連続して、所定の移動パターンと異なる移動パターンの視線が視線検出部４０２により検出された場合（言い換えると、運転者３０２の個人認証処理が予め設定される回数連続して失敗した場合）、車両１の駆動の始動をロック（禁止）する。これにより、所定の移動パターンと一致する移動パターンの視線が視線検出部４０２により検出されるまで、運転者３０２の個人認証処理が繰り返されることを防止できるので、車両１の盗難をより効果的に防止することができる。ここで、所定の回数は、予め設定された回数であり、運転者３０２が任意に設定可能である。
【００４６】
ここで、車両１の駆動部の始動をロックするとは、運転者３０２の個人認証処理が所定の回数連続して失敗した場合に、その後に、視線検出部４０２により検出される視線の移動パターンが、所定の移動パターンと一致したとしても、車両１の駆動部を始動させないことである。
【００４７】
さらに、個人認証部４０４は、所定の回数連続して、所定の移動パターンと異なる移動パターンの視線が視線検出部４０２により検出された場合、画像取得部４０１により取得した撮像画像（言い換えると、視線検出部４０２による運転者３０２の視線の検出に用いた撮像画像）を、ＳＳＤ１４ｆ等の不揮発性の記憶媒体に保存する。これにより、ＳＳＤ１４ｆに記憶される撮像画像に含まれる顔画像に基づいて、車両１の盗難等の不正行為を行おうとした運転者３０２の特定が可能となる。
【００４８】
キャリブレーション処理部４０５は、運転者３０２の車両１の運転開始前に、視線検出部４０２により検出される視線の移動パターンと、所定の移動パターンとの比較結果に基づいて、視線検出部４０２により検出される視線のキャリブレーションを実行する。これにより、車両１の運転開始前に、運転者３０２の視界に表示された個人認証用パターンに対する運転者３０２の視線の移動パターンを利用して、視線検出部４０２により検出される視線のキャリブレーションが実行可能となる。その結果、車両１の運転開始時から、視線検出部４０２による視線を高精度に検出することができる。
【００４９】
ここで、視線検出部４０２により検出される視線のキャリブレーションは、視線検出部４０２により検出される視線の移動パターンと所定の移動パターンとを比較すること、視線検出部４０２により検出される視線の移動パターンと所定の移動パターンとを比較しその差分を検出すること、または、視線検出部４０２により検出される視線の移動パターンと所定の移動パターンとを比較してその差分を検出しかつ当該検出した差分に基づいて視線検出部４０２による視線の検出結果を調整することである。
【００５０】
次に、図５および図６を用いて、本実施形態にかかる車両１のＥＣＵ１４により検出される視線のキャリブレーションの流れの一例について説明する。図５は、第１の実施形態にかかる車両のＥＣＵにより検出される視線のキャリブレーションの流れの一例を示すフローチャートである。図６は、第１の実施形態にかかる車両による運転者の個人認証処理の一例を説明するための図である。
【００５１】
車両１のイグニッションキーまたはスタートボタンによって、車両１の駆動部の始動が指示されると、車両１の駆動部の始動に先立って、パターン画像表示制御部４０３は、パターン画像記憶部４００から個人認証用パターン画像を読み出し、当該読み出した個人認証用パターン画像を、車両１のフロントウィンドウ全体に表示させる（ステップＳ５０１）。
【００５２】
例えば、パターン画像表示制御部４０３は、図６に示すように、９つの点Ｐ１〜Ｐ９を含む個人認証用パターン画像Ｇを、車両１のフロントウィンドウＷに表示させる。その際、パターン画像表示制御部４０３は、図６に示すように、個人認証用パターン画像Ｇが含む各点Ｐ１〜Ｐ９がフロントウィンドウＷ全体に分散するように、当該個人認証用パターン画像ＧをフロントウィンドウＷに表示させることが好ましい。
【００５３】
図５に戻り、個人認証用パターン画像が車両１のフロントウィンドウに表示されると、画像取得部４０１は、ドライバモニタカメラ２０１により運転者３０２を撮像して得られる撮像画像を取得する（ステップＳ５０２）。視線検出部４０２は、画像取得部４０１により取得される撮像画像に基づいて、運転者３０２の視線を検出する（ステップＳ５０３）。
【００５４】
個人認証部４０４は、視線検出部４０２により検出される視線の移動パターンと、所定の移動パターンとを比較して、運転者３０２の個人認証処理を実行する（ステップＳ５０４）。具体的には、個人認証部４０４は、ＳＳＤ１４ｆから、所定の移動パターンを読み出す。ここで、移動パターンは、例えば、個人認証用パターン画像が含む複数の点のうち少なくとも２点を一筆書きで結ぶ視線の移動パターンである。
【００５５】
次いで、個人認証部４０４は、視線検出部４０２により検出される視線の移動パターンと、所定の移動パターンとを比較する。例えば、個人認証部４０４は、図６に示すように、視線検出部４０２により検出される一筆書きの視線の移動パターン６０１と、個人認証用パターン画像が含む９つの点Ｐ１〜Ｐ９のうち複数の点（例えば、点Ｐ１，Ｐ２，Ｐ３，Ｐ５，Ｐ７，Ｐ８，Ｐ９）を一筆書きで結ぶ所定の移動パターン６０２とを比較する。
【００５６】
そして、個人認証部４０４は、視線検出部４０２により検出される視線の移動パターン６０１と、所定の移動パターン６０２とが一致した場合には、運転者３０２の認証に成功したと判断し、車両１の駆動部を始動させる。本実施形態では、個人認証部４０４は、所定の移動パターン６０２を基準とする、視線検出部４０２により検出される視線の移動パターン６０１の位置のずれが、予め設定された許容範囲内である場合、視線検出部４０２により検出される視線の移動パターン６０１と、所定の移動パターン６０２とが一致したと判断するものとする。
【００５７】
一方、個人認証部４０４は、視線検出部４０２により検出される視線の移動パターン６０１と、所定の移動パターン６０２とが一致しなかった場合には、運転者３０２の認証に失敗したと判断し、車両１の駆動部を始動させない。本実施形態では、個人認証部４０４は、所定の移動パターン６０２を基準とする、視線検出部４０２により検出される視線の移動パターン６０１の位置のずれが、予め設定された許容範囲外である場合、視線検出部４０２により検出される視線の移動パターン６０１と、所定の移動パターン６０２とが一致しないと判断する。
【００５８】
図５に戻り、個人認証部４０４は、運転者３０２の個人認証処理が成功したか否かを判断する（ステップＳ５０５）。運転者３０２の個人認証処理が失敗した場合（ステップＳ５０５：Ｎｏ）、個人認証部４０４は、運転者３０２の個人認証処理が所定の回数連続して失敗したか否かを判断する（ステップＳ５０６）。言い換えると、個人認証部４０４は、所定の回数連続して、所定の移動パターンと異なる移動パターンの視線が視線検出部４０２により検出されたか否かを判断する。
【００５９】
運転者３０２の個人認証処理が所定の回数連続して失敗していない場合（ステップＳ５０６：Ｎｏ）、個人認証部４０４は、ステップＳ５０４に戻り、再び、運転者３０２の個人認証処理を実行する。一方、運転者３０２の個人認証処理が所定の回数連続して失敗した場合（ステップＳ５０６：Ｙｅｓ）、個人認証部４０４は、車両１の駆動部の始動をロックする（ステップＳ５０７）。さらに、個人認証部４０４は、視線検出部４０２により運転者３０２の視線の検出に用いた撮像画像を、ＳＳＤ１４ｆに保存する（ステップＳ５０８）。
【００６０】
また、ステップＳ５０５において、運転者３０２の個人認証処理に成功したと判断した場合（ステップＳ５０５：Ｙｅｓ）、個人認証部４０４は、車両１の駆動部を始動させる（ステップＳ５０９）。さらに、キャリブレーション処理部４０５は、視線検出部４０２により検出される視線の移動パターンと、所定の移動パターンとの比較結果に基づいて、視線検出部４０２により検出される視線のキャリブレーションを実行する（ステップＳ５１０）。
【００６１】
本実施形態では、運転者３０２の個人認証処理に成功したと判断した場合、車両１の駆動部の始動させた後に、視線検出部４０２により検出される視線のキャリブレーションを実行しているが、運転者３０２の車両の運転開始前に、視線検出部４０２により検出される視線のキャリブレーションを実行するものであれば、これに限定するものではない。例えば、運転者０３２の個人認証処理に成功した場合、キャリブレーション処理部４０５は、車両１の駆動部の始動に先立って、視線検出部４０２により検出される視線のキャリブレーションを実行しても良い。
【００６２】
このように、第１の実施形態にかかる車両１によれば、車両１の運転開始前に、運転者３０２の視界に表示された個人認証用パターンに対する運転者３０２の視線の移動パターンを利用して、視線検出部４０２により検出される視線のキャリブレーションが実行可能となるので、車両１の運転開始時から、視線検出部４０２によって視線を高精度に検出することができる。
【００６３】
（第２の実施形態）
本実施形態は、車両の周囲に存在する障害物を検出し、運転者による車両の運転開始後、運転者の視界に対して、検出された障害物の位置を示す障害物情報を表示させ、運転者の視界における障害物情報の位置と、検出される運転者の視線とを比較して、検出される視線のキャリブレーションを実行する例である。以下の説明では、第１の実施形態と異なる構成について説明する。
【００６４】
図７は、第２の実施形態にかかる車両が有するＥＣＵの機能的構成の一例を示すブロック図である。図７に示されるように、本実施形態では、ＥＣＵ７００は、パターン画像記憶部４００、画像取得部７０１、視線検出部４０２、パターン画像表示制御部７０２、個人認証部４０４、キャリブレーション処理部７０３、および障害物検出部７０４を主に備えている。図７に示す、画像取得部７０１、視線検出部４０２、パターン画像表示制御部７０２、個人認証部４０４、キャリブレーション処理部７０３、および障害物検出部７０４は、ＥＣＵ７００が有するＣＰＵ１４ａが、ＲＯＭ１４ｂに記憶されたプログラムを実行することで実現される。これらの構成は、ハードウェアで実現するように構成しても良い。
【００６５】
画像取得部７０１は、車両１の運転開始後、撮像部１５によって車両１の周囲を撮像して得られる撮像画像（以下、周囲撮像画像と言う）を取得する。本実施形態では、画像取得部７０１は、撮像部１５の撮像により得られる周囲撮像画像を取得しているが、車両１が有するＬＩＤＡＲ（Light  Detection  and  Ranging）、ＴＯＦ（Time  Of  Flight）カメラ、ミリ波レーダー、超音波センサ等によって計測した車両１と周辺の物体との間の距離の測定結果を表す画像を周囲撮像画像として取得しても良い。
【００６６】
障害物検出部７０４は、車両１の周囲に存在する障害物を検出する。本実施形態では、障害物検出部７０４は、画像取得部７０１により取得される周囲撮像画像に基づいて、車両１の周囲に存在する障害物を検出する。
【００６７】
パターン画像表示制御部７０２は、運転者３０２による車両１の運転開始後、障害物検出部７０４によって障害物が検出されると、運転者３０２の視界に対して、障害物情報を表示させる。ここで、障害物情報は、障害物検出部７０４により検出される障害物の位置を示す情報である。本実施形態では、パターン画像表示制御部７０２は、車両１のフロントウィンドウ上における、障害物検出部７０４により検出した障害物に対応する対応位置に対して、運転者３０２に対して当該検出した障害物に対して視線を向けることを促す画像を障害物情報として表示させる。ここで、対応位置は、フロントウィンドウ上において運転者３０２が障害物を視認可能な位置である。
【００６８】
キャリブレーション処理部７０３は、対応位置と、視線検出部４０２により検出される視線とを比較して、視線検出部４０２により検出される視線のキャリブレーションを実行する。これにより、車両１の運転開始後においても、視線検出部４０２により検出される視線のキャリブレーションが実行可能となるので、視線検出部４０２によってより高精度に視線を検出することができる。
【００６９】
次に、図８および図９を用いて、本実施形態にかかる車両１のＥＣＵ７００により検出される視線のキャリブレーションの流れの一例について説明する。図８は、第２の実施形態にかかる車両のＥＣＵにより検出されるキャリブレーションの流れの一例を示すフローチャートである。図９は、第２の実施形態にかかる車両による障害物情報の表示処理の一例を示す図である。
【００７０】
個人認証部４０４によって車両１の駆動部が始動され、運転者３０２による車両１の運転が開始されると、画像取得部７０１は、撮像部１５によって車両１の周囲を撮像して得られる周囲撮像画像を取得する（ステップＳ８０１）。また、障害物検出部７０４は、取得される周囲撮像画像に基づいて、車両１の周囲に存在する障害物を検出する（ステップＳ８０２）。障害物検出部７０４によって車両１の周囲に存在する障害物が検出されなかった場合（ステップＳ８０３：Ｎｏ）、ステップＳ８０１に戻る。
【００７１】
一方、障害物検出部７０４によって車両１の周囲に存在する障害物が検出された場合（ステップＳ８０３：Ｙｅｓ）、パターン画像表示制御部７０２は、車両１のフロントウィンドウ上における、検出された障害物に対応する対応位置に対して、障害物情報を表示させる（ステップＳ８０４）。
【００７２】
例えば、パターン画像表示制御部７０２は、図９に示すように、車両１のフロントウィンドウＷ上において運転者３０２が障害物９０１（例えば、他の車両）を視認可能な対応位置９０２に対して、障害物９０１を囲む枠９０３を障害物情報として表示させる。これにより、パターン画像表示制御部７０２は、フロントウィンドウＷ上における障害物情報が表示された位置に対して、運転者３０２が視線を向けることを促す。
【００７３】
図８に戻り、車両１のフロントウィンドウに対して障害物情報が表示されると、キャリブレーション処理部７０３は、フロントウィンドウ上において障害物情報が表示された対応位置と、視線検出部４０２により検出される視線とを比較して、当該視線のキャリブレーションを実行する（ステップＳ８０５）。
【００７４】
例えば、キャリブレーション処理部７０３は、図９に示すように、視線検出部４０２により検出される視線９０４と、障害物９０１の位置（または、対応位置９０２）とを比較して、その差分を検出する。そして、キャリブレーション処理部７０３は、検出した差分に基づいて、視線検出部４０２による視線の検出結果を調整するキャリブレーションを実行する。
【００７５】
このように、第２の実施形態にかかる車両１によれば、車両１の運転開始後においても、視線検出部４０２により検出される視線のキャリブレーションが実行可能となるので、視線検出部４０２によってより高精度に視線を検出することができる。
【符号の説明】
【００７６】
１  車両
１４  ＥＣＵ
１４ａ  ＣＰＵ
１４ｂ  ＲＯＭ
１４ｃ  ＲＡＭ
１４ｆ  ＳＳＤ
１５  撮像部
２０１  ドライバモニタカメラ
４００  パターン画像記憶部
４０１，７０１  画像取得部
４０２  視線検出部
４０３，７０２  パターン画像表示制御部
４０４  個人認証部
４０５，７０３  キャリブレーション処理部
７０４  障害物検出部
【図１】
2020071773.tif 000003
【図２】
2020071773.tif 000004
【図３】
2020071773.tif 000005
【図４】
2020071773.tif 000006
【図５】
2020071773.tif 000007
【図６】
2020071773.tif 000008
【図７】
2020071773.tif 000009
【図８】
2020071773.tif 000010
【図９】
2020071773.tif 000011