(57)【要約】      （修正有）【課題】運転直後から運転者の視線を高品位に検出することができる技術を提供する。【解決手段】車両用運転支援装置は、撮像画像から運転者の視線を検出する視線検出部と、運転開始前に、所定箇所に視線を誘導する視線誘導部を備える。視線誘導部によって、所定箇所に誘導された運転者の撮像画像から、運転者固有の視線情報を検出し、検出した運転者固有の視線情報を校正値として用いて、運転中に検出する上記運転者の視線情報を校正することにより、院展直後から運転者の視線を高品位に検出する。【選択図】図１
2019095892.tif 000002
【特許請求の範囲】
【請求項１】
車両の運転者を撮像する撮像部と、
上記撮像部が撮像した画像から上記運転者の視線情報を検出する視線検出部と、
上記運転者による運転開始前に、上記運転者の視線を所定箇所に誘導する視線誘導部と、を備え、
上記視線検出部は、
上記視線誘導部によって上記所定箇所に視線が誘導された上記運転者の撮像画像から上記運転者固有の視線情報を検出し、検出した上記運転者固有の視線情報を校正値として用いて、運転中に検出する上記運転者の視線情報を校正する
ことを特徴とする車両用運転支援装置。
【請求項２】
上記視線誘導部は、車両におけるバックミラー部、サイドミラー部、表示部、およびメーターパネル部を含む運転補助装置に、上記運転者の視線を誘導することを特徴とする請求項１に記載の車両用運転支援装置。
【請求項３】
上記運転者の眼球に向けて近赤外光を照射する光源を備え、
上記撮像部は、近赤外波長を撮像可能なイメージセンサを備えていることを特徴とする請求項１または２に記載の車両用運転支援装置。
【請求項４】
上記撮像部は、上記運転者を撮像可能な位置にそれぞれ配置された複数の撮像ユニットを備えていることを特徴とする請求項１から３の何れか一項に記載の車両用運転支援装置。
【請求項５】
上記複数の撮像ユニットは、互いに同期して動作することを特徴とする請求項４に記載の車両用運転支援装置。
【請求項６】
上記視線誘導部は、上記表示部に表示する誘導情報によって上記運転者の視線を所定箇所に誘導することを特徴とする請求項２から５の何れか一項に記載の車両用運転支援装置。
【請求項７】
上記視線誘導部は、音声出力部を介して出力する音声ガイダンスによって、上記運転者の視線を所定箇所に誘導することを特徴とする請求項１から６の何れか一項に記載の車両用運転支援装置。
【請求項８】
上記視線誘導部は、自動車運行前の点検及び座席の調整の少なくとも何れかを促す内容を提示することによって上記運転者の視線を所定箇所に誘導し、
上記視線検出部は、上記運転者による上記点検及び座席の調整の少なくとも何れかの際の眼球の動きを上記視線情報として検出し、検出した上記視線情報を上記校正値として用いることを特徴とする請求項１から７の何れか一項に記載の車両用運転支援装置。
【請求項９】
請求項１に記載の車両用運転支援装置としてコンピュータを機能させるための車両用運転支援プログラムであって、上記視線検出部、および上記視線誘導部としてコンピュータを機能させるための車両用運転支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用運転支援装置、および車両用運転支援プログラムに関する。
【背景技術】
【０００２】
従来、運転者の状態を検知し、居眠りやよそ見運転等を警告する運転支援装置が知られている（例えば、特許文献１参照）。特許文献１に記載の運転支援装置では、運転者の運転中のデータを蓄積し、統計的手法により運転者の状態を検知して、運転者に居眠りやよそ見運転等を警告している。また、運転者の顔の向きから運転者の視線を推定する技術も知られている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−２４４８９２号公報（１９８８年９月１４日公開）
【特許文献２】特開２０１７−１５１６９４号公報（２０１７年８月３１日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述のような従来技術は、運転直後から運転者の視線を高品位に検出することができないという問題がある。
【０００５】
本発明の一態様は、運転直後から運転者の視線を高品位に検出することができる技術を実現することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の一態様に係る車両用運転支援装置は、車両の運転者を撮像する撮像部と、上記撮像部が撮像した画像から上記運転者の視線情報を検出する視線検出部と、上記運転者による運転開始前に、上記運転者の視線を所定箇所に誘導する視線誘導部と、を備え、上記視線検出部は、上記視線誘導部によって上記所定箇所に視線が誘導された上記運転者の撮像画像から上記運転者固有の視線情報を検出し、検出した上記運転者固有の視線情報を校正値として用いて、運転中に検出する上記運転者の視線情報を校正する構成である。
【発明の効果】
【０００７】
本発明の一態様によれば、運転直後から運転者の視線を高品位に検出することができる。
【図面の簡単な説明】
【０００８】
【図１】実施形態１に係る車両用運転支援装置１００の概略構成を示すブロック図である。
【図２】実施形態１に係る車両用運転支援装置１００の各部の配置構成を示した模式図である。
【図３】（ａ）〜（ｅ）は、撮像部１０によって撮像された同一運転者の撮像画像の例を示す図である。
【図４】（ａ）および（ｂ）は撮像部１０によって撮像された異なる運転者の撮像画像の例を示す図である。
【図５】実施形態２に係る車両用運転支援装置２００の各部の配置構成を示した模式図である。
【図６】実施形態３に係る車両用運転支援装置３００の各部の配置構成を示した模式図である。
【図７】実施形態４に係る車両用運転支援装置４００の概略構成を示すブロック図である。
【図８】実施形態４に係る車両用運転支援装置４００の各部の配置構成を示した模式図である。
【発明を実施するための形態】
【０００９】
〔実施形態１〕
以下、本発明の実施形態１について、詳細に説明する。図１は、実施形態１に係る車両用運転支援装置１００の概略構成を示すブロック図である。車両用運転支援装置１００は、運転者が居眠り運転や、よそ見運転等の危険運転をしていないか監視する為に、車両の運転者の視線を検出する装置である。
【００１０】
〔車両用運転支援装置１００の構成〕
図１に示すように、車両用運転支援装置１００は、制御部３０、撮像部１０、光源２０、表示部７０を含んでいる。車両用運転支援装置１００の各部は、詳細については後述するが、車両の内部に適宜に配設されている。
【００１１】
制御部３０は、車両用運転支援装置１００の各部を統括的に制御する機能を備えている演算装置である。制御部３０は、例えば１つ以上のプロセッサ（例えばＣＰＵなど）が、１つ以上のメモリ（例えばＲＡＭやＲＯＭなど）に記憶されているプログラムを実行することで車両用運転支援装置１００の各構成要素を制御する。
【００１２】
撮像部１０は、例えばＣＭＯＳやＣＣＤ等のイメージセンサと、レンズとが組み合わされたモジュールである。また、撮像部１０は、光源２０の照射光と、周囲光との波長を分離するためのバンドパスフィルターを搭載していてもよい。なお、撮像部１０のイメージセンサには、光源２０が照射する光の波長を撮像可能なイメージセンサが用いられる。
【００１３】
光源２０は、撮像部１０で車両の運転者を撮像するための光源であり、車両の運転者にとって、運転に支障のない８００〜１０００ｎｍの近赤外波長の光を照射する。
【００１４】
表示部７０は、後述する表示制御部３４の制御に応じて画像をディスプレイ表示することができるディスプレイデバイスである。
【００１５】
〔制御部３０の構成〕
制御部３０は、撮像制御部３１、視線誘導部３２、視線検出部３３、表示制御部３４を含んでいる。
【００１６】
撮像制御部３１は、光源２０の発光と、撮像部１０による撮像と、を制御する。撮像制御部３１は、光源２０の発光を制御して、光源２０からの光を撮像対象である車両の運転者、特に運転者の眼球に向けて照射する。撮像制御部３１は、光源２０からの光が照射された運転者、特に運転者の眼球を撮像する。
【００１７】
視線誘導部３２は、運転者による車両の運転開始前に、運転者の視線を所定箇所に誘導する。視線誘導部３２は、例えば、表示制御部３４の機能により表示部７０に表示する、運転者の視線を所定箇所に誘導するための誘導情報を生成する。視線誘導部３２は、例えば、メーターパネル部９０、バックミラー部４０、右サイドミラー部５０、左サイドミラー部６０、メーターパネル部９０（図２参照）と順に運転者の視線を誘導するための誘導情報を生成する。
【００１８】
視線検出部３３は、撮像部１０が撮像した画像から運転者の視線情報を検出する。また、視線検出部３３は、詳細については後述するが、視線誘導部３２によって所定箇所に視線が誘導された運転開始前の運転者の撮像画像から運転者固有の視線情報を検出する。視線検出部３３は、運転開始前の運転者の撮像画像から検出した運転者固有の視線情報を運転者の視線の初期値とする。視線検出部３３は、この運転者の視線の初期値を校正値として用いて、運転中に検出する運転者の視線情報を校正する。
【００１９】
視線検出部３３は、例えば、視線誘導部３２によって視線が誘導された各所定箇所での運転者の撮像画像から検出した視線の、誘導箇所間での視線の移動量を記憶する。そして、視線検出部３３は、各誘導箇所間での視線の移動量に基づいて、運転者の視野（例えば１８０度）における視線移動校正値を算出する。
【００２０】
視線検出部３３は、例えば、バックミラー部４０と左右のサイドミラー部５０，６０とに視線が誘導されたときの運転者の視線の移動量からその間の視線移動量を外挿することにより校正値を算出してもよい。そして、視線検出部３３は、この外挿を含む値である視線移動校正値に基づいて、視線移動の判定を実施（コリレーション）し、校正値を運転中の視線移動量に適用することで、判定品位を向上する。
【００２１】
表示制御部３４は、視線誘導部３２生成した運転者の視線を所定箇所に誘導するための誘導情報を表示部７０に出力してディスプレイ表示する制御を行う。
【００２２】
〔車両における各部の配置構成〕
図２は、車両８における車両用運転支援装置１００の各部の配置構成を模式的に示した図である。図２に示すように、車両８は、スピードメータ、油圧、バッテーリ電圧、およびその他アラートを表示する部分であるメーターパネル部９０と、ハンドル装置８０とを備えている。また、車両８には、バックミラー部４０、右サイドミラー部５０、左サイドミラー部６０、およびメーターパネル部９０を含む運転補助装置が備えられている。
【００２３】
メーターパネル部９０は、運転者の顔より下方向に配設されている。バックミラー部４０は、運転者の顔より上方向に配設されている。右サイドミラー部５０は、運転者の顔より右方向に配設されている。左サイドミラー部６０は、運転者の顔より左方向に配設されている。
【００２４】
撮像部１０は、ハンドル装置８０を操作する運転手の顔が対向する位置に設けられているのが望ましい。撮像部１０は、例えば、メーターパネル部９０内に配置することができる。撮像部１０をメーターパネル部９０内に配置する構成では、撮像部１０は、運転者の顔より下方向から運転者を撮像する。
【００２５】
光源２０は、撮像部１０の近傍に設けられ、撮像部１０の撮像対象に向けて光を照射する。
【００２６】
制御部３０は、例えばメーターパネル部９０の近傍のインストルメントパネル内部に配置されている。
【００２７】
表示部７０は、例えばセンターコンソールに設けられている。
【００２８】
〔校正値を算出する処理〕
車両用運転支援装置１００は、車両８の運転を運転者が開始する前に、まず、運転中に検出する運転者の視線情報を校正するための校正値を算出する。図３（ａ）〜（ｅ）は、校正値を算出する際に撮像部１０によって撮像された同一運転者の撮像画像の例を示す図である。図４（ａ）、（ｂ）は異なる運転者の撮像画像の例を示す図である。
【００２９】
制御部３０は、視線誘導部３２の機能より、運転者による運転開始前に、運転者の視線を所定の複数箇所に順に誘導するとともに、各箇所に所定時間（例えば１秒から１０秒の間の任意の時間）視線を送るように指示する。視線誘導部３２は、例えば、１番目にメーターパネル部９０に運転者の視線を誘導する。また、この際に撮像制御部３１は、光源２０により近赤外光を運転者の眼球に照射し、撮像部１０により運転者を撮像する。図３（ａ）は、メーターパネル部９０に視線が誘導された運転者の撮像画像の例を示している。
【００３０】
視線誘導部３２は、２番目にバックミラー部４０に運転者の視線を誘導し、３番目に右サイドミラー部５０に運転者の視線を誘導し、４番目に左サイドミラー部６０に運転者の視線を誘導し、最後にメーターパネル部９０に運転者の視線を誘導することで、運転者の視線が一巡するべく誘導する。また、視線誘導部３２は、すべての誘導箇所への運転者の視線の誘導を完了した後、視線誘導動作が完了した旨を表示部７０に表示する情報によって運転者に通知してもよい。
【００３１】
撮像制御部３１は、視線誘導部３２による各誘導箇所において、光源２０により近赤外光を運転者の眼球に照射し、撮像部１０により運転者を撮像する。
【００３２】
図３（ｂ）は、バックミラー部４０に視線が誘導された運転者の撮像画像の例を示している。図３（ｃ）は、右サイドミラー部５０に視線が誘導された運転者の撮像画像の例を示している。図３（ｄ）は、左サイドミラー部６０に視線が誘導された運転者の撮像画像の例を示している。そして、図３（ｅ）は、最後に再びメーターパネル部９０に視線が誘導された運転者の撮像画像の例を示している。
【００３３】
視線検出部３３は、各誘導箇所に視線が誘導された運転者の撮像画像から運転者の左右の眼球の向きや、眼球の動きを含む視線情報を検出する。メーターパネル部９０、バックミラー部４０、右サイドミラー部５０、左サイドミラー部６０の位置は既知である。そのため、視線検出部３３は、これらの位置と、左右の眼球の向き、および動きの少なくともいずれか一方を参照して、運転者の視線情報を検出する。
【００３４】
メーターパネル部９０、バックミラー部４０、右サイドミラー部５０、および左サイドミラー部６０に視線を送り、各部を確認する一連の動作は、運転者の運転開始前に行う通常の点検作業として違和感がない。よって、運転開始前の運転者の視線情報を検出するための上記の一連の処理を、自動車運行前の点検を促す内容として運転者に提示することによって運転者の視線をこれらの所定箇所に誘導し、点検の際の眼球の動きを視線情報として検出することで、運転者の負荷となる事なく、運転者の視線の初期値である校正値の検出を行うことができる。
【００３５】
なお、視線誘導部３２が運転者の視線を誘導する箇所は、表示部７０、およびハンドル装置８０を含んでもよい。また、視線誘導部３２が運転者の視線を複数個所に誘導する際の誘導する順番は、任意の順番にて構成されてもよい。なお、視線誘導部３２が運転者の視線を誘導する箇所は、任意のマーク（例えば星印等）で分かりやすく表示されていてもよい。
【００３６】
視線検出部３３は、各誘導箇所で撮像した画像から検出した視線情報である運転者固有の眼球の動き（眼球の移動量）を校正値として登録する。なお、視線検出部３３は、運転開始前には毎回、運転者固有の校正値を上記一連の処理を行って算出してもよい。また、視線検出部３３は、校正値を運転者と対応付けて記憶し、撮像部１０が撮像した運転者の撮像画像から運転者を特定し、既存の運転者であれば、改めて校正値を算出することなく、２回目以降の運転開始時には、登録済みの校正値を用いる構成であってもよい。
【００３７】
図４（ａ）、（ｂ）は、バックミラー部４０に視線が誘導されている異なる運転者の撮像画像の例を示す図である。図４（ａ）はある運転者の視線情報を示しており、図４（ｂ）は他の運転者の視線情報を示す。このように、各運転補助装置に視線を送った際の視線の移動量は運転者の座高や頭の動かし方などにより運転者毎に異なる。そのため、運転者固有の視線情報を校正値として用いることでより高品位に運転者の視線情報を検出することができる。
【００３８】
また、同一運転者でも、座席の設定位置や座り方等により各運転補助装置に視線を送った際の視線の移動量が運転回毎に異なる場合がある。よって、制御部３０は運転開始前に毎回校正値を算出する構成とすることで、より高品位に運転者の視線を検出することができる。
【００３９】
また、視線誘導部３２は、自動車運行前に、運転者に座席の前後や高さ位置の調整を促す内容の誘導情報を提示することによって、運転者の視線をメーターパネル部９０、バックミラー部４０、右サイドミラー部５０、および左サイドミラー部６０等の所定箇所に誘導してもよい。そして、視線検出部３３は、運転者による座席の調整の際の眼球の動きを視線情報として検出し、運転者の視線の初期値である校正値とする構成であってもよい。
【００４０】
視線誘導部３２は、自動車運行前に、運転者にバックミラー部４０や左右のサイドミラー部５０，６０の位置の調整を促す内容の誘導情報を提示することによって、運転者の視線を所定箇所に誘導してもよい。そして、視線検出部３３は、運転者によるバックミラー部４０や左右のサイドミラー部５０，６０の調整の際の眼球の動きを視線情報として検出し、運転者の視線の初期値である校正値とする構成であってもよい。
【００４１】
また、制御部３０は、複数の運転者毎に、各運転者の視線の初期値である校正値を記憶するとともに、各運転者の運転中に視線検出部３３の機能により検出した視線情報を蓄積する構成であってもよい。制御部３０は、蓄積した運転者の視線情報を参照して、各運転者の視線の癖などを分析し、分析結果に基づいて、安全運転へのアドバイス等の情報提供を行ってもよい。また、複数の運転者毎に視線情報が蓄積されるため、車両８の所有者は、車両８を家族や友人に貸し出した時や、運転を交代してもらった時に、他の運転者がどの様な運転をしているかを視線情報を振り返ることで知ることが可能となる。
【００４２】
また、車両用運転支援装置１００と、ナビゲーションシステムとを連携する事で、地図上のわき見をしやすい箇所、見通しの悪い箇所、事故多発箇所等の安全補助を行う必要がある箇所を特定し、その箇所に近づいたら運転者の視線情報を検出して、適切な安全運転へのアドバイス等の情報提供を行ってもよい。
【００４３】
このように車両用運転支援装置１００では、視線誘導部３２によって所定箇所に視線が誘導された運転開始前の運転者の撮像画像から運転者固有の視線情報が検出され、検出された運転者固有の視線情報が運転者の視線の初期値とされる。そして、視線検出部３３は、この運転者の視線の初期値を校正値として用いて、運転中に検出する運転者の視線情報を校正する。これにより、運転者固有の初期値を正確に取得することができる。また、運転者固有の初期値を校正値として用いて、運転中に検出する運転者の視線情報を校正することにより運転中の視線の計算量が軽減されるとともに、運転開始直後から、高品位に運転者の視線情報を検出することができる。よって、運転開始直後から、品位の高い運転者情報を運転者に提供することができる。
【００４４】
また、高品位に運転者の視線情報を検出することができるため、例えば交通事故を起こした際の運転者の視線情報を解析することで、運転者がよそ見運転をしていたのか等の事故解析が可能となる。また、高品位に運転者の視線情報を検出することができるため、例えば居眠り運転をしている等の運転者の運転状況の解析が可能となり、安全運転へのアドバイス等の情報提供が可能となる。
【００４５】
例えば、高速道路上を運転中に運転者の視線が正面からズレてきていることが視線検出部３３によって検出された場合には、疲労によって運転者の姿勢が変化している等といった運転者の運転状況の解析が可能となる。また、例えば、運転中に運転者の視線が定まっていないことが視線検出部３３によって検出された場合には、運転者がイライラを感じているといった運転者の運転状況の解析が可能となる。そして、運転者の運転状況の解析結果に基づいて、よそ見の警告や休憩を促すアナウンスを流す等、安全運転の補助をきめ細かく実行することができる。
【００４６】
〔実施形態２〕
本発明の実施形態２について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。また、実施形態２に係る車両用運転支援装置２００の概略構成は、図１に示した車両用運転支援装置１００と同様であり、その説明を省略する。
【００４７】
図５は、車両８における、車両用運転支援装置２００の各部の配置構成を模式的に示した図である。
【００４８】
図５に示すように、車両用運転支援装置２００は、撮像部が複数の撮像ユニット１０、２１０、２２０、２３０を含んで構成されている点で実施形態１の車両用運転支援装置１００とは異なる。
【００４９】
車両用運転支援装置２００は、運転者に対向する位置に配置された撮像ユニット１０に加え、例えば、表示部７０の上部に配置された撮像ユニット２１０、右サイドミラー部５０の上部（ピラー部）に配置された撮像ユニット２２０、左サイドミラー部６０の上部（ピラー部）に配置された撮像ユニット２３０、バックミラー部４０に配置された撮像ユニット２４０を備えている。
【００５０】
このように、撮像部１０で運転者を撮像するよりも、運転者をあらゆる角度から撮像することが可能となる。なお、複数の撮像ユニット１０，２１０，２２０，２３０，２４０のそれぞれは、運転者を撮像可能な位置に設けられていれば良く、その設置位置、または設置数は上述した位置及び数に限定されない。
【００５１】
撮像制御部３１は、複数の撮像ユニット１０，２１０，２２０，２３０，２４０が互いに同期して撮像動作を行うように制御する。
【００５２】
視線検出部３３は、複数の撮像ユニット１０，２１０，２２０，２３０，２４０のそれぞれが同じタイミングで撮像した、別角度からの撮像画像を用いて、運転者固有の視線情報を検出することができる。よって、校正値をより高精度に求めることができ、高品位に運転者の視線情報を検出することができる。
【００５３】
〔実施形態３〕
本発明の実施形態３について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。また、実施形態３に係る車両用運転支援装置３００の概略構成は、図１に示した車両用運転支援装置１００と同様であり、その説明を省略する。
【００５４】
図６は、車両８における、車両用運転支援装置３００の各部の配置構成を模式的に示した図である。
【００５５】
図６に示すように、車両用運転支援装置３００は、音声出力部である右スピーカ部３１０、および左スピーカ部３２０を含んで構成されている点で実施形態１の車両用運転支援装置１００とは異なる。
【００５６】
視線誘導部３２は、表示部７０に表示する誘導情報によって運転者の視線を所定箇所に誘導する、および、左右のスピーカ部３１０，３２０から出力する音声ガイダンスによって運転者の視線を所定箇所に誘導する、の少なくとも何れか一方の誘導方法で、運転者の視線を所定箇所に誘導する。表示部７０に表示する誘導情報によって運転者の視線を所定箇所に誘導する方法では、運転者は所定箇所に視線を送った後、次に視線を送る箇所を確認する為に、表示部７０の表示を確認する必要がある。一方で、左右のスピーカ部３１０，３２０から出力する音声ガイダンスによって運転者の視線を所定箇所に誘導する方法では、運転者は表示部７０の表示を確認することなく、音声ガイダンスに従って視線を所定箇所に送ることができる。左右のスピーカ部３１０，３２０から出力する音声ガイダンスによって運転者の視線を所定箇所に誘導する方法を採用することで、複数個所に運転者の視線を誘導する一巡の動作にかかる時間を短縮することができる。よって、運転者による運転開始前に、より短い時間で視線情報を校正するための校正値を算出することができる。
【００５７】
なお、図示は省略するが、撮像部１０や、バックミラー部、左右のサイドミラー部５０，６０、及び、メーターパネル部９０等の各視線誘導箇所の近傍に、パイロットランプを設置してもよい。そして、視線誘導部３２は、これらのパイロットランプを順次点灯させることで運転者の視線を誘導しても良い。このように、表示部７０に表示する誘導情報、および、左右のスピーカ部３１０，３２０から出力する音声ガイダンスの少なくとも何れか一方に、パイロットランプの点灯を併用することにより、より確実に運転者の視線を所定箇所へ誘導することができる。
【００５８】
〔実施形態４〕
本発明の実施形態４について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
【００５９】
図７は、車両用運転支援装置４００の概略構成を示すブロック図である。図８は、車両８における、車両用運転支援装置４００の各部の配置構成を模式的に示した図である。
【００６０】
図７および図８に示すように、車両用運転支援装置４００は、制御部４３０がバックミラー制御部４３５を含むとともに、バックミラー部４１０と、左サイドミラー撮像部４４０と含んで構成されている点で実施形態１の車両用運転支援装置１００とは異なる。
【００６１】
制御部４３０は、バックミラー制御部４３５の機能により、バックミラー部４１０の後述する左サイドミラー視線検知時作動部４１１と、ウィンカー作動時作動部４１２と、の作動を制御する。
【００６２】
左サイドミラー撮像部４４０は、撮像部１０と同様、例えばＣＭＯＳやＣＣＤ等のイメージセンサと、レンズとが組み合わされたモジュールである。左サイドミラー撮像部４４０は、撮像制御部３１の制御に応じて、左サイドミラー部６０に映る鏡像と同一の画像を撮像する。
【００６３】
なお、ハンドル装置８０が車両８の進行方向に対して左側に配置されている車両においては、左サイドミラー撮像部４４０に代えて、右サイドミラー部５０の近傍に撮像部が設けられているのが望ましい。
【００６４】
バックミラー部４１０は、左サイドミラー視線検知時作動部４１１と、ウィンカー作動時作動部４１２と、を含んでいる。左サイドミラー視線検知時作動部４１１、およびウィンカー作動時作動部４１２は、バックミラー部４１０に内蔵された、例えば液晶ディスプレイ等の表示装置である。左サイドミラー視線検知時作動部４１１、およびウィンカー作動時作動部４１２は、バックミラー制御部４３５の制御に応じて、画像を表示可能に構成されている。
【００６５】
（車両用運転支援装置４００の動作）
車両用運転支援装置４００は、実施形態１で説明した車両用運転支援装置１００と同様に、運転者による運転開始前に、運転者固有の視線情報を校正値として検出する一連の動作を実行する。運転者による車両８の運転中には、運転開始前に算出した校正値を用いて、高品位に運転中の運転者の視線情報が検出される。
【００６６】
制御部４３０は、視線検出部３３の機能により、車両８を運転中の運転者が左サイドミラー部６０に所定時間（例えば、１秒から３秒）視線を送っていることを検出すると、撮像制御部３１の機能により、左サイドミラー撮像部４４０の撮像画像を取得する。制御部４３０は、バックミラー制御部４３５の機能により、左サイドミラー撮像部４４０の撮像画像をバックミラー部４１０の一部である左サイドミラー視線検知時作動部４１１に表示する。バックミラー制御部４３５は、左サイドミラー視線検知時作動部４１１への左サイドミラー撮像部４４０の撮像画像の表示動作を所定時間（例えば１秒から１０秒）保持する。
【００６７】
このように、左サイドミラー部６０の鏡像と同様の画像を左サイドミラー撮像部４４０により撮像し、撮像画像をバックミラー部４１０の少なくとも一部に表示することができる。よって、運転者にとって確認し難い、運転者から遠い左横方向および左横後方の情報をバックミラー部４１０に表示された左サイドミラー撮像部４４０により撮像画像により確認することが出来、運転の安全性が向上する。
【００６８】
また、運転者が左車線への車線変更のためにウィンカーを作動した場合、制御部４３０は、左サイドミラー撮像部４４０の撮像画像を、バックミラー部４１０の一部であるウィンカー作動時作動部４１２に表示する。ウィンカー作動時作動部４１２は、図８に示すように、左サイドミラー視線検知時作動部４１１よりも広い表示領域を有する。
【００６９】
この構成によれば、左車線への車線変更時に、運転者にとって確認し難い、運転者から遠い左横方向および左横後方の情報を、ウィンカー作動時作動部４１２に表示された左サイドミラー撮像部４４０の撮像画像により確認することができる。よって、運転者は車線変更側の情報を容易に確認することができ、より安全な車線変更およびカーブが可能となる。
【００７０】
なお、ウィンカー作動時作動部４１２への左サイドミラー撮像部４４０の撮像画像の表示は、視線検出部３３により、運転者が左サイドミラー部６０に所定時間（例えば、１秒から３秒）視線を送っていることを検出した後に行われてもよい。これにより、運転者が左サイドミラー部６０をきちんと確認したうえで左車線への車線変更を行おうとしていることを確認することができ、安全運転の補助を適切に行うことができる。
【００７１】
〔ソフトウェアによる実現例〕
車両用運転支援装置１００の制御ブロック（特に撮像制御部３１、視線誘導部３２、視線検出部３３、および表示制御部３４）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
【００７２】
後者の場合、車両用運転支援装置１００は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【００７３】
〔まとめ〕
本発明の態様１に係る車両用運転支援装置（１００）は、車両（８）の運転者を撮像する撮像部（１０）と、上記撮像部（１０）が撮像した画像から上記運転者の視線情報を検出する視線検出部（３３）と、上記運転者による運転開始前に、上記運転者の視線を所定箇所に誘導する視線誘導部（３２）と、を備え、上記視線検出部（３３）は、上記視線誘導部（３２）によって上記所定箇所に視線が誘導された上記運転者の撮像画像から上記運転者固有の視線情報を検出し、検出した上記運転者固有の視線情報を校正値として用いて、運転中に検出する上記運転者の視線情報を校正する構成である。
【００７４】
上記の構成によれば、運転開始前に校正値を算出し、算出した校正値を用いて運転中に検出する運転者の視線情報を校正するため、運転直後から運転者の視線を高品位に検出することができる。
【００７５】
本発明の態様２に係る車両用運転支援装置（１００）は、上記の態様１において、上記視線誘導部（３２）は、車両（８）におけるバックミラー部（４０）、サイドミラー部（５０，６０）、表示部（７０）、およびメーターパネル部（９０）を含む運転補助装置に、上記運転者の視線を誘導する構成としてもよい。
【００７６】
上記の構成によれば、運転者が運転中に目視で確認する運転補助装置のそれぞれに運転者の視線を誘導して校正値を算出するため、運転者固有の校正値を精度良く算出することができる。よって、運転直後から運転者の視線を高品位に検出することができる。
【００７７】
本発明の態様３に係る車両用運転支援装置（１００）は、上記の態様１または２において、上記運転者の眼球に向けて近赤外光を照射する光源（２０）を備え、上記撮像部（１０）は、近赤外波長を撮像可能なイメージセンサを備えている構成としてもよい。
【００７８】
上記の構成によれば、運転者の運転の妨げとなることなく、運転者の眼球に向けて光源（２０）の光を照射して、眼球の画像を撮像することができ、眼球の動きや移動量を正確に検出することができる。
【００７９】
本発明の態様４に係る車両用運転支援装置（２００）は、上記の態様１から３の何れか一項において、上記撮像部（１０）は、上記運転者を撮像可能な位置にそれぞれ配置された複数の撮像ユニット（１０，２１０，２２０，２３０，２４０）を備えている構成としてもよい。
【００８０】
上記の構成によれば、別角度からの撮像画像を用いて、運転者固有の視線情報を検出することができる。よって、校正値をより高精度に求めることができ、運転直後から運転者の視線を高品位に検出することができる。
【００８１】
本発明の態様５に係る車両用運転支援装置（２００）は、上記の態様４において、上記複数の撮像ユニット（１０，２１０，２２０，２３０，２４０）は、互いに同期して動作する構成としてもよい。
【００８２】
上記の構成によれば、同じタイミングで撮像した、別角度からの撮像画像を用いて、運転者固有の視線情報を検出することができるため、運転直後から運転者の視線を高品位に検出することができる。
【００８３】
本発明の態様６に係る車両用運転支援装置は、上記の態様２から５の何れか一項において、上記視線誘導部は、上記表示部に表示する誘導情報によって上記運転者の視線を所定箇所に誘導する構成としてもよい。
【００８４】
上記の構成によれば、運転者にとって分かりやすく、運転者の視線を、所定箇所に誘導することができる。
【００８５】
本発明の態様７に係る車両用運転支援装置は、上記の態様１から６の何れか一項において、上記視線誘導部は、音声出力部を介して出力する音声ガイダンスによって、上記運転者の視線を所定箇所に誘導する構成としてもよい。
【００８６】
上記の構成によれば、運転者にとって分かりやすく、運転者の視線を、所定箇所に誘導することができる。また、複数個所の運転者の視線を誘導する際には、誘導時間を短縮することができ、運転開始前の校正値の算出動作の時間短縮を図ることができる。
【００８７】
本発明の態様８に係る車両用運転支援装置（１００）は、上記の態様１から７の何れか一項において、上記視線誘導部（３２）は、自動車運行前の点検及び座席の調整の少なくとも何れかを促す内容を提示することによって上記運転者の視線を所定箇所に誘導し、上記視線検出部は、上記運転者による上記点検及び座席の調整の少なくとも何れかの際の眼球の動きを上記視線情報として検出し、検出した上記視線情報を上記校正値として用いる構成としてもよい。
【００８８】
上記の構成によれば、校正値をより高精度に求めることができ、運転直後から運転者の視線を高品位に検出することができる。
【００８９】
本発明の各態様に係る車両用運転支援装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記車両用運転支援装置が備える各部（ソフトウェア要素）として動作させることにより上記車両用運転支援装置をコンピュータにて実現させる車両用運転支援装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【００９０】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【符号の説明】
【００９１】
８  車両
１０、２１０、２２０、２３０、２４０  撮像ユニット
１０  撮像部
２０  光源
３０、４３０  制御部
７０  表示部
３１  撮像制御部
３３  視線検出部
３２  視線誘導部
４０、４１０  バックミラー部
５０  右サイドミラー部
６０  左サイドミラー部
９０  メーターパネル部
１００、２００、３００、４００  車両用運転支援装置
３１０  右スピーカ部（音声出力部）
３２０  左スピーカ部（音声出力部）
【図１】
2019095892.tif 000003
【図２】
2019095892.tif 000004
【図３】
2019095892.tif 000005
【図４】
2019095892.tif 000006
【図５】
2019095892.tif 000007
【図６】
2019095892.tif 000008
【図７】
2019095892.tif 000009
【図８】
2019095892.tif 000010