(57)【要約】【課題】運転者の視線に生じる特徴を容易に取得することができる視線推定システムを提供する。【解決手段】視線推定システムは、車両の運転者の視線を推定する。視線推定システムは、視線検出部１１で検出した運転者Ｄの視線ＳＬと、該視線ＳＬが検出されたときに関与情報取得部２１０で取得した関与情報とに基づいて、関与情報に対応する記憶部４０に予め保持された関与情報を選択する選択処理を行うとともに、選択処理で選択した関与情報に関連付けられた視線情報から取得した運転者Ｄの視線の分布と、視線検出部１１で検出した視線ＳＬを含み該視線ＳＬの検出時を含む所定の期間内での視線の分布との差分を抽出する差分抽出部３３と、差分抽出部３３で抽出した差分に基づいて視線ＳＬを推定する視線推定部３４とを備える。【選択図】図１
2018097398.tif 000002
【特許請求の範囲】
【請求項１】
車両の運転者の視線を推定する視線推定システムであって、
前記車両の進行方向に対する運転者の視線を検出する視線検出部と、
前記車両の走行に関与する情報である関与情報を取得する関与情報取得部と、
前記視線検出部が予め検出した前記運転者の視線と、該運転者の視線を検出したときの該運転者が運転する車両の走行に関与する前記関与情報とを関連付けた情報、及び、他の前記視線検出部が予め検出した前記運転者の視線と、該運転者の視線を検出したときの該運転者が運転する車両の走行に関与する前記関与情報とを関連付けた情報の少なくとも一方である視線情報を予め保持している保持部と、
前記視線検出部で検出した前記運転者の視線と、該視線が検出されたときに前記関与情報取得部で取得した前記関与情報とに基づいて、該関与情報に対応する前記保持部に予め保持された前記関与情報を選択する選択処理を行うとともに、該選択処理で選択した前記関与情報に関連付けられた前記視線情報から取得した前記運転者の視線の分布と、前記視線検出部で検出した前記視線を含み該視線の検出時を含む所定の期間内での前記視線の分布との差分を抽出する差分抽出部と、
前記差分抽出部で抽出した差分に基づいて視線を推定する視線推定部とを備える
ことを特徴とする視線推定システム。
【請求項２】
前記関与情報には車速が含まれており、
前記選択処理は、前記車速が所定の速度範囲内にあることを条件に含んでいる
請求項１に記載の視線推定システム。
【請求項３】
前記車両の位置情報を取得する位置情報取得部をさらに備え、
前記関与情報には位置情報が含まれ、前記選択処理は、前記位置情報が所定の距離範囲内にあることを条件に含んでいる
請求項１又は２に記載の視線推定システム。
【請求項４】
前記保持部はさらに、地図情報を保持しており、
前記地図情報上の位置であって前記位置情報に基づいて特定される位置から取得される走行環境に関する情報を前記関与情報に含んでいる
請求項３に記載の視線推定システム。
【請求項５】
前記視線検出部で検出した運転者の視線があることを前記差分として検出したとき、当該運転者の視線がある方向にある事象を前記地図情報に基づいて推定する
請求項４に記載の視線推定システム。
【請求項６】
前記視線検出部で検出した前記運転者の視線と、前記関与情報取得部で取得した前記関与情報とを関連付けて生成した前記視線情報を前記保持部に追加するために登録する情報登録部をさらに備える
請求項１〜５のいずれか一項に記載の視線推定システム。
【請求項７】
前記保持部に保持された複数の前記視線情報のなかから特定の前記関与情報に関連付けられた１又は複数の前記視線情報を取得し、この取得した１又は複数の前記視線情報に含まれている運転者の視線の分布に関する学習を行うとともに、前記学習を行った結果を前記特定の関与情報に関連付けて前記保持部に保持させる視線情報学習部を備える
請求項１〜６のいずれか一項に記載の視線推定システム。
【請求項８】
前記視線情報学習部は、前記特定の関与情報を、前記関与情報取得部が取得した前記関与情報とし、前記運転者の視線の分布に関する学習を、前記取得した視線情報に含まれている前記運転者の視線に前記視線検出部が検出した運転者の視線を加えて行う
請求項７に記載の視線推定システム。
【請求項９】
前記視線情報学習部は、各方向に対して視線の向けられる頻度を条件に含んで前記学習を行う
請求項７又は８に記載の視線推定システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の運転者の視線を推定する視線推定システムに関する。
【背景技術】
【０００２】
近年、カメラで撮影された車両運転者の顔画像から視線を推定する技術の研究開発が盛んに行われている。そして、車両運転者の視線の方向から脇見や安全確認不履行などを検出して警報を行う装置、車両運転者の視線の方向から次の行動や意図を予測して車両動作を制御する装置、又は、車両運転者の視線の方向にある事象に関する情報を提供する装置等への応用が期待されている。そこで例えば、運転者の視線を推定する技術の一例が特許文献１に記載されている。
【０００３】
特許文献１に記載の技術は、車両運転者の顔画像から顔の向きと目の向きを検出してカメラを基準とした視線方向を推定するとともに、このカメラを基準とした視線方向の時系列変化から車両運転者が正面であると認識しているものと仮定される基準正面を推定する。そして、この基準正面を用いてカメラを基準とした視線方向を補正した上で視線信号として出力する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２１０２３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の技術によれば、運転者の視線方向が高い精度で推定されるようになる。
ところで、運転者の視線に生じる特徴に基づき運転支援の内容を特定することは、運転支援の精度を高めるうえで有効である。また、運転者の視線に生じる特徴に基づき運転者が注目している事象に関する情報を提供することは、提供する情報の有益性を高めるうえで有効である。これらの例のように、運転者の視線に生じた特徴を用いることは、車両で実行される各種の情報処理において、その要請が高まる一方である。しかしながら、車両が走行している環境の状況や、その状況における車両の状態など、車両の走行に関与する情報の差異に応じて運転者の視線は頻繁に変化するものであるため、こうした変化が頻繁である運転者の視線からそれに生じる特徴を取得することは容易ではない。
【０００６】
本発明は、このような実情に鑑みてなされたものであり、その目的は、運転者の視線に生じる特徴を容易に取得することができる視線推定システムを提供することにある。
【課題を解決するための手段】
【０００７】
以下、上記課題を解決するための手段及びその作用効果を記載する。
上記目的を達成するために視線推定システムは、車両の運転者の視線を推定する視線推定システムであって、前記車両の進行方向に対する運転者の視線を検出する視線検出部と、前記車両の走行に関与する情報である関与情報を取得する関与情報取得部と、前記視線検出部が予め検出した前記運転者の視線と、該運転者の視線を検出したときの該運転者が運転する車両の走行に関与する前記関与情報とを関連付けた情報、及び、他の前記視線検出部が予め検出した前記運転者の視線と、該運転者の視線を検出したときの該運転者が運転する車両の走行に関与する前記関与情報とを関連付けた情報の少なくとも一方である視線情報を予め保持している保持部と、前記視線検出部で検出した前記運転者の視線と、該視線が検出されたときに前記関与情報取得部で取得した前記関与情報とに基づいて、該関与情報に対応する前記保持部に予め保持された前記関与情報を選択する選択処理を行うとともに、該選択処理で選択した前記関与情報に関連付けられた前記視線情報から取得した前記運転者の視線の分布と、前記視線検出部で検出した前記視線を含み該視線の検出時を含む所定の期間内で前記視線の分布との差分を抽出する差分抽出部と、前記差分抽出部で抽出した差分に基づいて視線を推定する視線推定部とを備えることを特徴とする。
【０００８】
このような構成によれば、関与情報が対応する２つの視線の分布、すなわち保持部に保持されている視線情報に含まれている運転者の視線の分布と、視線検出部が検出した運転者の視線の分布とが比較される。これにより、保持部に保持されている運転者の視線の分布に対して、検出した運転者の視線の分布にある相違が差分として容易に抽出される。こうした差分は、保持部に保持されている運転者の視線の分布を基準としたとき、視線検出部で検出した運転者の視線が新規である方向、逆に、不足する方向を運転者の視線に生じている特徴として明確にする。そして、差分から運転者の視線が推定され、例えば、推定された運転者の視線に基づいて、運転者に運転支援に関する機能を提供したり、運転者が注目している事象に関する情報を提供したりすることができるようになる。
【０００９】
また、経時的変化を含む視線同士を比較して差分を得ることにより、時間的経過がある範囲において保持部の視線の分布と、検出された視線の分布との差分を得ることができる。こうした時間的経過のある差分は、進路変更をする場合であったり、ランドマークを見ることができる区間であったりするとき、視線に生じた特徴をより適切に得ることができるようになる。
【００１０】
また、取得される１つ１つの視線の精度が高くないとしても、複数の視線の分布を利用することで精度が平均化されて取得される差分の精度向上が図られるようにもなる。
好ましい構成として、前記関与情報には車速が含まれており、前記選択処理は、前記車速が所定の速度範囲内にあることを条件に含んでいる。
【００１１】
このような構成によれば、車速が所定の速度範囲内にあることを条件に含むかたちで保持された関与情報が取得した関与情報に対応するか否かが判定される。よって、車速が類似した条件下で運転者の視線に生じた特徴が判定されるようになる。また、車速の差によって抽出の精度に生じる影響の軽減された差分の取得が可能になる。
【００１２】
好ましい構成として、前記車両の位置情報を取得する位置情報取得部をさらに備え、
前記関与情報には位置情報が含まれ、前記選択処理は、前記位置情報が所定の距離範囲内にあることを条件に含んでいる。
【００１３】
このような構成によれば、位置情報が所定の距離範囲内にあることを条件に含むかたちで保持された関与情報が取得した関与情報に対応するか否かが判定される。よって、位置が類似した条件下で視線に生じた特徴が判定されるようになる。また、位置の差によって抽出の精度に生じる影響の軽減された差分の取得が可能になる。
【００１４】
好ましい構成として、前記保持部はさらに、地図情報を保持しており、前記地図情報上の位置であって前記位置情報に基づいて特定される位置から取得される走行環境に関する情報を前記関与情報に含んでいる。
【００１５】
このような構成によれば、位置情報に加えて、地図情報から得られる走行環境に関する情報が関与情報に含まれることから、保持部に保持された関与情報と、取得した関与情報との対応関係について判定される精度が高められるようになる。これにより、視線の分布の差分から得られる視線に生じる特徴についてもその妥当性がより向上されるようになる。
【００１６】
好ましい構成として、前記視線検出部で検出した運転者の視線があることを前記差分として検出したとき、当該運転者の視線がある方向にある事象を前記地図情報に基づいて推定する。
【００１７】
このような構成によれば、地図情報に基づいて基準とする視線に対して相違している視線のある方向に存在する事象が推定される。よって、推定された事象に対応する情報提供などが可能になる。
【００１８】
好ましい構成として、前記視線検出部で検出した前記運転者の視線と、前記関与情報取得部で取得した前記関与情報とを関連付けて生成した前記視線情報を前記保持部に追加するために登録する情報登録部をさらに備える。
【００１９】
このような構成によれば、保持部に視線情報が蓄積されるようになることから、こうして蓄積された視線情報が保持部から選択されることによって差分の判定精度の向上が期待されるようになる。
【００２０】
好ましい構成として、前記保持部に保持された複数の前記視線情報のなかから特定の前記関与情報に関連付けられた１又は複数の前記視線情報を取得し、この取得した１又は複数の前記視線情報に含まれている運転者の視線の分布に関する学習を行うとともに、前記学習を行った結果を前記特定の関与情報に関連付けて前記保持部に保持させる視線情報学習部を備える。
【００２１】
このような構成によれば、保持部に保持された視線情報に含まれている運転者の視線の分布が特定の関与情報に関連するもの同士で学習される。こうして学習された関与情報と、取得した視線情報との比較によれば差分がより高い精度で得られる。
【００２２】
好ましい構成として、前記視線情報学習部は、前記特定の関与情報を、前記関与情報取得部が取得した前記関与情報とし、前記運転者の視線の分布に関する学習を、前記取得した視線情報に含まれている前記運転者の視線に前記視線検出部が検出した運転者の視線を加えて行う。
【００２３】
このような構成によれば、保持部から取得した関与情報に関連する運転者の視線に、視線検出部で取得した運転者の視線が加えられて学習されるようになる。こうして取得した運転者の視線を含んで学習することで、学習結果に新しい状態を反映させることができるようになる。
【００２４】
好ましい構成として、前記視線情報学習部は、各方向に対して視線の向けられる頻度を条件に含んで前記学習を行う。
このような構成によれば、視線の向けられる方向がその頻度に応じて重視されるようになることから基準となる視線の分布として妥当性の高い学習結果が得られるようになる。
【図面の簡単な説明】
【００２５】
【図１】視線推定システムを具体化した第１の実施形態について、その概略構成を模式的に示すブロック図。
【図２】同実施形態において、視線情報を登録する手順を示すフローチャート。
【図３】同実施形態において、登録される視線情報に含まれる視線の分布を示す図であって、（ａ）は直線の一般道を走行している場合の視線の分布を示す図、（ｂ）は直線の一般道で車線変更（進路変更）を行おうとしている場合の視線の分布を示す図。
【図４】同実施形態において、運転者の視線の分布の一例を示す図であって、（ａ）は基準となる視線の分布を示す図、（ｂ）は比較対象となる視線の分布を示す図。
【図５】同実施形態において、運転者の視線の分布の他の例を示す図であって、（ａ）は基準となる視線の分布を示す図、（ｂ）は比較対象となる視線の分布を示す図。
【図６】同実施形態において、視線を推定する処理の手順を示すフローチャート。
【図７】視線推定システムを具体化した第２の実施形態について、その概略構成を模式的に示すブロック図。
【図８】同実施形態において、運転者の視線の分布の一例を示す図であって、（ａ）は基準となる視線の分布を示す図、（ｂ）は比較対象となる視線の分布を示す図。
【図９】同実施形態において、地図情報の一例を示す図。
【図１０】視線推定システムを具体化した第３の実施形態について、その概略構成を模式的に示すブロック図。
【図１１】同実施形態において、視線情報を学習しながら登録する手順を示すフローチャート。
【図１２】同実施形態において、視線情報を学習する処理の手順を示すフローチャート。
【図１３】同実施形態において、視線情報を再学習する処理の手順を示すフローチャート。
【図１４】視線推定システムを具体化した他の実施形態について、検出した運転者の視線をそのまま登録する場合の手順を示すフローチャート。
【図１５】視線推定システムを具体化したその他の実施形態について、検出した運転者の視線を学習しながら登録する場合の手順を示すフローチャート。
【図１６】視線推定システムを具体化したまた他の実施形態について、視線の分布をＸ−Ｙ平面に示す場合の一例を示す図。
【発明を実施するための形態】
【００２６】
（第１の実施形態）
図１〜図６を参照して、視線推定システムを具体化した第１の実施形態について説明する。本実施形態の視線推定システムは、車両１に搭載されている。
【００２７】
まず、図１を参照して、本実施形態の視線推定システムの概要を説明する。
視線推定システムは、車両１の運転者（図示略）の視線を推定するシステムである。視線推定システムは、車両１の前方方向に対する運転者の視線を検出する視線検出部１１と、車両１の走行に関与する情報である関与情報を取得する関与情報取得部２１０とを備える。本実施形態では、関与情報取得部２１０は、車両情報取得部２１１、環境情報取得部２１２及び位置情報取得部２２から構成されるが、関与情報取得部２１０は、車両情報取得部２１１、環境情報取得部２１２及び位置情報取得部２２の少なくとも１つから構成されてもよい。また、関与情報は、車両１の走行に関与する情報であって、例えば、車速等の車両情報や、道路形状、現在位置、天候、時間等の走行環境等の環境情報が含まれる。関与情報取得部２１０は、車両１の視線検出部１１が予め検出した運転者の視線と、該運転者の視線を検出したときの運転者が運転する車両１の走行に関与する関与情報とを関連付けた視線情報を予め保持している保持部としての記憶部４０を備える。また、視線推定システムは、視線検出部１１で検出した運転者の視線と、その視線が検出されたときに関与情報取得部２１０で取得した関与情報とを取得する。そして、視線推定システムは、この取得した関与情報に対応する関与情報であって記憶部４０に予め保持された関与情報を選択する選択処理を視線情報検索部３１で行う。視線推定システムは、視線情報検索部３１による選択処理で記憶部４０から選択した関与情報に関連付けられた視線情報から取得した運転者の視線の分布と、視線検出部１１で検出した視線を含みその視線の検出時を含む所定の期間内での視線の分布との差分を抽出する差分抽出部３３を備える。また、視線推定システムは、差分抽出部３３で抽出した差分に基づいて視線を推定する視線推定部３４を備える。
【００２８】
つまり、視線推定システムでは、記憶部４０に保持されている運転者の視線の分布に対して、検出した運転者の視線の分布にある相違が差分として容易に抽出される。こうした差分は、記憶部４０に保持されている運転者の視線の分布を基準としたとき、視線検出部１１で検出した運転者の視線の存在が新規である方向や、逆に不足する方向を、運転者の視線に生じている特徴として明確にする。そして、差分から運転者の視線が推定され、例えば、推定された運転者の視線に基づいて、運転者に運転支援に関する機能を提供したり、運転者が注目している事象に関する情報を提供したりすることができるようにもなる。
【００２９】
続いて、図１を参照して、本実施形態の車両用表示装置についてその詳細を説明する。
車両１は、運転者により運転操作が行われる自動車である。車両１には、視線を推定する処理部１０、運転者の視線を検出する視線検出部１１、車両の速度を検出する車速検出部１２、方向指示器の動作を検出する方向指示器検出部１３、車両の運転状況に関するデータを収集するセンサ１４が設けられている。また、車両１には、道路状況や天候等の走行環境の情報を取得するカメラ・レーダ等１５、現在位置を検出する位置情報検出部１６が設けられている。センサ１４は複数のセンサ等を含み、カメラ・レーダ等１５は複数のカメラやレーダ、センサ等を含むが、説明の便宜上、図１にそれぞれ簡略化して図示する。
【００３０】
また車両１は、車載ネットワークを備え、この車載ネットワークに処理部１０、視線検出部１１、車速検出部１２、方向指示器検出部１３、センサ１４、カメラ・レーダ等１５及び位置情報検出部１６が接続されている。よって、処理部１０、視線検出部１１、車速検出部１２、方向指示器検出部１３、センサ１４、カメラ・レーダ等１５及び位置情報検出部１６はそれぞれ相互に通信メッセージの送受信が可能である。車載ネットワークには、通信プロトコルとして、例えば、ＣＡＮ（コントローラエリアネットワーク）プロトコルが採用されている。また、車載ネットワークは、通信経路の一部に無線通信を含んでいたり、ゲートウェイ等を介してその他のネットワークを経由する経路が含まれていたりしてもよい。
【００３１】
視線検出部１１は、視線検出用カメラを備え、運転者Ｄの顔画像や目ＤＥの向きから視線検出用カメラを基準とした視線ＳＬを検出するとともに、検出した運転者Ｄの視線ＳＬを処理部１０へ出力する。視線検出部１１は、いわゆるアイトラッキング装置や視線計測システムであって、公知のものが用いられる。視線検出部１１は、視線検出用カメラを基準にして目の向き、いわゆる視線の上下方向の角度及び左右方向の角度を検出する。また、視線検出部１１は、車両１の前方方向に対する視線検出用カメラの設置位置に基づいて、視線検出用カメラで検出した目ＤＥの向きを、車両１の前方方向に対する向きに変換して運転者Ｄの視線として検出する。視線検出部１１は、運転者Ｄの視線ＳＬを１００ｍｓ程度以下の周期で検出することが好ましい。以下、説明の便宜上、運転者の符号「Ｄ」、目の符号「ＤＥ」、及び視線の符号「ＳＬ」は割愛する。
【００３２】
車速検出部１２は、車両１の速度を所定の周期で検出するとともに、検出した速度を処理部１０へ出力する。車両１の速度は、各種車両情報の検出周期のうちのなかで比較的短い周期で検出される。
【００３３】
方向指示器検出部１３は、車両１の左右の方向指示器の動作を検出するとともに、検出した方向指示器の動作を処理部１０へ出力する。方向指示器は、車両１の右左折、又は、車線変更に先立ち動作することから、車両１にこれから行われる運転操作の目安になる。
【００３４】
センサ１４は、車両１に設けられた各種センサであり、例えば、各種センサを通じて、ステアリング角、加速度、アクセル操作、ブレーキ操作、エンジン回転数等を検出するとともに、検出した結果を処理部１０へ出力する。
【００３５】
カメラ・レーダ等１５は、走行環境の情報である環境情報を取得するとともに、取得した環境情報を処理部１０へ出力する。カメラは、車両１の前方、後方、側方等の車外の画像を撮影する車載カメラであって、取得された画像から車両１の周辺状況を取得することができる。車両１の周辺の状況には、例えば、歩行者、障害物、他車両、道路状況、交通状況、及び信号等の有無が含まれる。レーダは、ミリ波レーダ、音波センサ等であって、取得されたレーダ情報から障害物とそれまでの距離を取得することができる。また、カメラ・レーダ等１５は、天気、明るさ等を検出する各種センサを含んでいてもよい。
【００３６】
位置情報検出部１６は、ＧＰＳ（グローバルポジショニングシステム）等の衛星信号、地上のビーコン、及びジャイロスコープの少なくとも１つ以上を利用して現在位置を、例えば緯度経度の値として検出する。位置情報検出部１６は、検出した位置情報を処理部１０へ出力する。
【００３７】
また、処理部１０は、位置情報検出部１６や車載の時計等から時刻を取得することができる。
処理部１０は、例えば、電子制御装置（ＥＣＵ）であって、演算装置（ＣＰＵ）や記憶装置を有するマイクロコンピュータを含み構成されている。処理部１０には、プログラムの演算処理を実行する演算装置と、そのプログラムやデータ等が記憶された読み出し専用メモリ（ＲＯＭ）と、演算装置の演算結果が一時的に記憶される揮発性メモリ（ＲＡＭ）とが設けられている。また、処理部１０は、バッテリから常に電力が供給されることにより設定値や演算値を記憶保持するバックアップメモリや、データ等を保持するフラッシュメモリ等の記憶装置等も備えている。これにより、処理部１０は、記憶装置に保持されているプログラムや設定値を演算装置に読み込み、実行することで、所定の機能を提供する。例えば、処理部１０は、運転者の視線に生じた特徴的な変化に基づいて運転者の視線を推定する処理を行う。
【００３８】
視線検出部１１、車速検出部１２、方向指示器検出部１３、センサ１４、カメラ・レーダ等１５及び位置情報検出部１６はそれぞれ、検出結果をそのまま出力するだけの機器であってもよいし、専用プログラムが必要最小限の情報処理を行う回路を有する機器であってもよいし、ＥＣＵであってもよい。
【００３９】
処理部１０は、記憶部４０を備えている。記憶部４０は、処理部１０の有する記憶装置に記憶領域を確保しており、この確保した記憶領域に視線情報データベース４１を有している。視線情報データベース４１は、運転者の複数の視線（視線の分布）とその視線の分布に対応する関与情報とが関連付けられた視線情報が登録されるデータベースである。逆に言えば、視線情報は、関与情報とその関与情報に対応する運転者の複数の視線とを含んでいる。本実施形態では、視線情報データベース４１には、予め定められた関与情報の別に分類された複数の視線情報が、予め登録されている。
【００４０】
ここで関与情報について説明する。関与情報は、車両の運転状態の分類に用いられる情報群であって、車両の走行に関与する各種パラメータから選択された１又は複数のパラメータと、その検出値が含まれている。よって１つの関与情報は、車両の運転状態の１つ分類となり、この１つの関与情報に対応する運転者の複数の視線を一括りとして視線の分布を形成させる。例えば、関与情報は、パラメータに車速（速度範囲）が選択されており、一般道と高速道とを分類できるようになっている。また例えば、関与情報は、右折を判定するための車速と方向指示器の動作とが選択されていたり、左折を判定するための車速と方向指示器の動作とが選択されていたり、右車線への進路変更を判定するための車速と方向指示器の動作とが選択されていたり、左車線への進路変更を判定するための車速と方向指示器の動作とが選択されていたりする。すなわち、車両１の運転状態が、車両１の右折、左折、右車線への進路変更、左車線への進路変更等であるとすると、関与情報には、車速、ステアリング角、方向指示器の動作等の情報が含まれる。
【００４１】
また関与情報は、車両の運転状態を識別するための情報であることから、その車両の運転状態には所定の期間を要する。よって、視線情報は、関与情報に対応する所定の期間内の運転者の視線を含んでいる。なお、所定の時間は、運転状態の識別に必要とされる最短期間以上の期間、かつ、最長期間以下の期間であることが好ましい。
【００４２】
処理部１０は、検出した運転者の視線を取得する視線取得部２０と、車両情報等の関与情報を取得する関与情報取得部２１０とを備えている。また、処理部１０は、取得した複数の視線を一時的に保持する一時保持部２３と、関与情報と複数の視線とを含む情報である視線情報を生成する視線情報生成部２４と、関与情報に対応する所定の期間であって、運転者の視線を検出する期間を定める期間算出部２５とを備えている。
【００４３】
視線取得部２０は、視線検出部１１が検出した運転者の視線を取得する。
関与情報取得部２１０は、車両情報を取得する車両情報取得部２１１と、走行環境の情報を取得する環境情報取得部２１２と、現在位置情報を取得する位置情報取得部２２とを備えている。すなわち、本実施形態では、関与情報は、車両情報、走行環境情報及び現在位置の少なくとも１つより構成されるが、関与情報には、少なくとも車速が含まれることが好ましい。
【００４４】
車両情報取得部２１１は、車速検出部１２から車速を取得したり、方向指示器検出部１３から方向指示器の動作を取得したり、センサ１４の車両の各種センサの出力を取得したりする。
【００４５】
環境情報取得部２１２は、車両１の走行環境に関する情報として、カメラ・レーダ等１５が出力した画像や検出結果等を取得する。
位置情報取得部２２は、位置情報検出部１６から位置情報を取得する。
【００４６】
一時保持部２３は、視線検出部１１で取得した視線と、視線を検出したときに関与情報取得部２１０で取得した関与情報とを関連付けて一時的に保持する。一時的に保持する期間は、少なくとも期間算出部２５で算出された所定の期間内であるとよい。一時保持部２３は、記憶部４０等に記憶領域の一部又は全部を設けてもよい。
【００４７】
視線情報生成部２４は、期間算出部２５で算出された所定の期間内に検出された運転者の複数の視線と、この複数の視線を所定の期間取得する根拠とした関与情報とを関連付けた視線情報を生成する。これにより、関与情報に関連付けられた複数の視線（視線の分布）からなる視線情報が生成される。そして、視線情報生成部２４は、生成した視線情報を記憶部４０に蓄積させる。こうして視線情報が蓄積されることで、視線情報が検索されたとき適切な視線情報が得られる可能性が高まり、自ずと、差分の判定精度の向上が期待されるようになる。
【００４８】
期間算出部２５は、関与情報に対応する運転者の視線について、視線情報に含ませる視線を検出する必要のある所定の期間を関与情報に基づいて算出する。期間算出部２５は、各分類の影響が視線に生じやすい期間を算出する。例えば、期間算出部２５は、一般道は環境の変化が大きく視線の動きも大きくなるので５〜１０秒の間で期間を算出する。また、期間算出部２５は、高速道は環境の変化が小さく視線の動きも小さくなるので１０〜２０秒の間で期間を算出する。また、期間算出部２５は、右折又は左折では、方向指示器による合図が開始されてから、同合図が終了されるまでの間を期間として算出する。また、右車線や左車線への進路変更では、方向指示器による合図の開始数秒前から、同合図の終了数秒後までを期間として算出する。
【００４９】
また、処理部１０は、記憶部４０に視線情報を登録する視線情報登録部３０と、２つの視線の分布から差分を取得する差分取得部３１０と、取得された差分に基づいて基準に対して特徴的である視線を推定する視線推定部３４とを備えている。
【００５０】
視線情報登録部３０は、視線情報生成部２４が生成した視線情報を視線情報データベース４１に登録する。
図２を参照して、処理部１０で視線情報を登録する処理について説明する。
【００５１】
図２に示すように、処理部１０は、視線情報を登録する処理が開始されると、位置情報取得部２２で位置情報を取得する（ステップＳ３０）。また、処理部１０は、車両情報取得部２１１で車両情報を取得する（ステップＳ３１）。また、処理部１０は、視線取得部２０で運転者の視線を取得するとともに（ステップＳ３２）、車両情報や位置情報を関与情報とすることに基づいて期間算出部２５で視線を検出する期間を算出する（図２のステップＳ３５）。そして、処理部１０は、視線情報生成部２４で、期間算出部２５で算出した所定の期間内に検出した運転者の視線を含んでいる視線情報を生成する（ステップＳ３７）。そして処理部１０は、視線情報登録部３０を介して、関与情報と視線の分布を含む視線情報を視線情報データベース４１に登録する（ステップＳ３８）。
【００５２】
また、図３を参照して、処理部１０で登録される視線情報に含まれている視線の分布について説明する。図３（ａ）（ｂ）には、視線情報に含まれる視線の分布の一例を示す。
図３（ａ）は、関与情報が特定するものが一般道の直線道路である場合において視線情報に含まれる視線の分布を示す。この場合、車両１の進行方向の前方中央付近に運転者の視線が集まる傾向にある。図３（ｂ）は、関与情報が特定するものが一般道の直線道路で右車線への進路変更の意思があることである場合において視線情報に含まれる視線の分布を示す。この場合、車両１の進行方向の前方中央付近と、車両１の前方右側に配置された右後方確認用のドアミラーの付近とに運転者の視線が集まる傾向にある。
【００５３】
差分取得部３１０は、一時保持部２３に保持された運転者の複数の視線の分布を、視線情報データベース４１に登録されている視線情報に含まれる運転者の複数の視線の分布と比較することで、これら２つの視線の分布の間の差である差分を取得する。
【００５４】
ここで、図４や図５を参照して、関与情報は同じであるが異なるタイミングで取得された２つの運転者の視線の分布と、それら２つの運転者の視線の分布の間にある差分について説明する。図４や図５に示す視線の分布は、運転者の複数の視線の１つ１つをそれぞれ、車両１の前方方向に対する左右方向への角度と上下方向への角度とで定まる位置にプロットして表したものである。また、複数の視線は、関与情報に対応する所定の期間内に検出した運転者の視線の集合からなる。
【００５５】
図４は、関与情報が一般道の直線道路を特定するものであり、図４（ａ）は記憶部４０に保持されていた視線情報に基づく視線の分布の例を示し、図４（ｂ）は一時保持部２３に保持されている視線の分布の例を示している。このとき、図４（ａ）に示す分布を基準とするとき、図４（ａ）の分布に対して、図４（ｂ）の分布において新規に現れた視線の部分が新規差分として得られる。
【００５６】
また、図５は、関与情報が一般道の右車線への進路変更直を特定するものであり、図５（ａ）は記憶部４０に保持されていた視線情報に基づく視線の分布の例を示し、図５（ｂ）は一時保持部２３に保持されている視線の分布の例を示している。このとき、図５（ａ）に示す分布を基準とするとき、図５（ａ）の分布に対して、図５（ｂ）の分布において不足する視線の部分が不足差分として得られる。
【００５７】
差分取得部３１０は、記憶部４０に保持されている視線情報を検索する視線情報検索部３１と、比較する２つの視線を準備する比較準備部３２と、２つの視線の分布から差分を抽出する差分抽出部３３とを備えている。
【００５８】
視線情報検索部３１は、検索条件として任意の関与情報が設定され、その設定された関与情報を検索条件として視線情報データベース４１に登録されている視線情報のうちから対応する関与情報を有する視線情報を検索して、検索結果として取得する。視線情報検索部３１は、検索条件となる任意の関与情報として、車両情報、環境情報、及び、位置情報を構成する情報のうちの１つ又は複数が設定される。例えば、一般道を検索する場合、検索条件に車速が一般道に対応する所定の速度範囲であることが設定され、高速道を検索する場合、検索条件に車速が高速道に対応する所定の速度範囲であることが設定される。これにより、検索される視線情報を車速が類似した条件下に絞り込むことができるようになる。また、関与情報には位置情報を含むことができることから、検索条件に所定の範囲、すなわち、ある位置からの距離範囲内にあることを条件に含めることができる。これにより、検索される視線情報を位置が近い範囲に絞り込むことができるようになる。
【００５９】
比較準備部３２は、２つの視線の分布の比較を準備する。詳述すると、比較準備部３２は、一時保持部２３から運転者の視線の分布と、このときの関与情報とを取得する。また、比較準備部３２は、一時保持部２３から取得した関与情報を検索条件として視線情報検索部３１に設定し、視線情報データベース４１に登録されている視線情報を取得する。比較準備部３２は、視線取得部２０で取得した運転者の視線の分布と、視線情報データベース４１に保持されていた視線情報に含まれている視線の分布とを差分抽出部３３へ送る。
【００６０】
なお、比較準備部３２は、２つの視線の分布の比較の準備を、差分取得のタイミングに応じて開始する。例えば、差分取得のタイミングとしては、期間算出部２５が算出した所定の期間の開始時、終了時、開始から終了までの間の１又は複数の任意の時点が挙げられる。開始時に近い時点での比較は、精度が低いが差分が大きければ早めに抽出することができる可能性がある。終了時に近い時点での比較は、精度が高くなる一方で判断に遅れが生じる可能性がある。
【００６１】
差分抽出部３３は、視線情報データベース４１に登録されている視線情報に含まれている視線の分布を基準とするとともに、比較対象を一時保持部２３に保持されている取得した運転者の視線の分布とし、これら２つの視線の分布の間にある差分を取得する。そして、差分抽出部３３は、基準とする視線の分布には存在しないが比較対象とする視線の分布には存在する視線を新規差分として抽出し、逆に、基準とする視線の分布には存在するが比較対象とする視線の分布には存在しない視線を不足差分として抽出する。
【００６２】
すなわち差分取得部３１０は、基準とする視線の分布と、比較対象の視線の分布との間の差分として新規差分、又は、不足差分を取得する。
視線推定部３４は、差分取得部３１０で取得した差分に対応する運転者の視線を推定する。視線推定部３４は、差分取得部３１０で取得した新規差分に基づいて、視線取得部２０が運転者の視線を検出したときに限り、新規差分の分布する範囲に、運転者の視線があったことを推定する。また、視線推定部３４は、差分取得部３１０で取得した不足差分に基づいて、視線取得部２０が運転者の視線を検出したときに限り、不足差分の分布する範囲に、運転者の視線がなかったこと推定する。
【００６３】
図４及び図５を参照して、差分から推定される視線について説明する。
図４（ａ）が記憶部４０に保持されている基準となる視線の分布であり、図４（ｂ）が視線取得部２０で取得した比較対象である視線の分布である。そして、基準と比較対象との対比から、図４（ｂ）に示す点線で囲んだ範囲に新規差分が得られる。この新規差分によれば、新規差分のある方向に、運転者にとって気になる対象物に向けられた視線があることが推定される。こうした視線の分布によって推定される事象としては、運転者に右車線への進路変更の意思があること等が挙げられる。
【００６４】
図５（ａ）が記憶部４０に保持されている基準となる視線の分布であり、図５（ｂ）が視線取得部２０で取得した比較対象である視線の分布である。そして、基準と比較対象との対比から、図５（ｂ）に示す点線で囲んだ範囲に不足差分が得られる。この不足差分によれば、不足差分のある方向に、通常であれば視線が向くはずの領域があるが、このときには視線がないことが推定される。こうした視線の分布によって推定される事象としては、運転者が誤って方向指示器を動作させたこと、又は、進路変更ができない状況や中止する状況になったこと、又は、何らかの事情で見落としたこと等が挙げられる。
【００６５】
図６を参照して、本実施形態の視線推定システムで運転者の視線を推定する処理について説明する。本実施形態では、視線を推定する処理は、所定の周期で実行される。この所定の周期は、運転支援に適した周期や、情報提供に適した周期などに設定される。
【００６６】
処理部１０は、視線を推定する処理が開始されると、位置情報取得部２２で関与情報を構成する位置情報を取得する（ステップＳ１０）。また、処理部１０は、車両情報取得部２１１で関与情報を構成する車両情報を取得する（ステップＳ１１）。また、処理部１０は、期間算出部２５で関与情報に対応する視線の分布の取得に適した所定の期間を算出する（ステップＳ１２）。なお、ステップＳ１０からステップＳ１２までの処理は、その処理順が上記順序に限定されない。
【００６７】
処理部１０は、期間算出部２５で算出した所定の期間の間、運転者の視線を取得するとともに（ステップＳ１３）、取得した運転者の視線と関与情報とから視線情報を生成する（ステップＳ１４）。これにより、期間算出部２５で算出した所定の期間内の運転者の視線の分布を含んでいる視線情報が生成される。
【００６８】
また、処理部１０は、比較準備部３２が、ステップＳ１１で取得した車両情報を検索条件に設定して、視線情報検索部３１で検索条件に対応する視線情報を検索することで（ステップＳ１５）、検索条件に対応する視線情報を取得する（ステップＳ１６）。
【００６９】
処理部１０は、差分抽出部３３で、基準とする運転者の視線の分布と、比較対象とする運転者の視線の分布とを比較し、比較結果から差分を抽出する（ステップＳ１７）とともに、差分があるか否かを判断する（ステップＳ１８）。差分がないと判断した場合（ステップＳ１８でＮＯ）、処理部１０は、視線を推定する処理を終了する。
【００７０】
一方、差分があると判断した場合（ステップＳ１８でＹＥＳ）、処理部１０は、差分に基づいて運転者の視線のうち、特徴ある視線を推定する（ステップＳ１９）。つまり、差分抽出部３３で抽出された、新規差分がある領域、又は不足差分がある領域に基づいて特徴ある視線が推定される。
【００７１】
そして、処理部１０は、新規差分があること、又は不足差分があることを車載ネットワーク等を通じて車両１に通知する（ステップＳ２０）。車両１では、新規差分がドアミラーに対応する部分に分布するのであれば、何らかの理由で後続車を注視していることを推定して、後続車に関する情報、例えば、速度差を通知するようにすることができるようになる。または、新規差分が車両前方の道路外の部分に分布するのであれば、道路近傍の何らかの事象に注目していることを推定して、当該事象に関する情報を通知することができるようになる。一方、車両１では、不足差分が補助的なミラーに対応する部分に分布するのであれば、ミラーを未確認であるおそれを推定して、注意喚起をする通知を通知することができるようになる。つまり、推定された視線を運転支援の用途等に用いることができる。
【００７２】
以上説明したように、本実施形態に係る視線推定システムによれば、以下に示すような効果が得られるようになる。
（１）関与情報に対応する２つの視線の分布、すなわち記憶部４０に保持されている視線情報に含まれている運転者の視線の分布と、視線検出部１１が検出した運転者の視線の分布とが比較される。これにより、記憶部４０に保持されている運転者の視線の分布に対して、検出した運転者の視線の分布にある相違が差分として容易に抽出される。こうした差分は、記憶部４０に保持されている運転者の視線の分布を基準としたとき、視線検出部１１で検出した運転者の視線が新規である方向、逆に、不足する方向を運転者の視線に生じている特徴として明確にする。そして、差分から運転者の視線が推定され、例えば、推定された運転者の視線に基づいて、運転者に運転支援に関する機能を提供したり、運転者が注目している事象に関する情報を提供したりすることができるようになる。
【００７３】
また、経時的変化を含む視線同士を比較して差分を得ることにより、時間的経過がある範囲において記憶部４０の視線の分布と、検出された視線の分布との差分を得ることができる。こうした時間的経過のある差分は、進路変更をする場合であったり、ランドマークを見ることができる区間であったりするとき、視線に生じた特徴をより適切に得ることができるようになる。
【００７４】
また、取得される１つ１つの視線の精度が高くないとしても、複数の視線の分布を利用することで精度が平均化されて取得される差分の精度向上が図られるようにもなる。
（２）車速が所定の速度範囲内にあることを条件に含むかたちで保持された関与情報が取得した関与情報に対応するか否かを判定することができる。この場合、車速が類似した条件下で運転者の視線に生じた特徴が判定されるようになる。また、車速の差によって抽出の精度に生じる影響の軽減された差分の取得が可能になる。
【００７５】
（３）位置情報が所定の距離範囲内にあることを条件に含むかたちで保持された関与情報が取得した関与情報に対応するか否かを判定することもできる。この場合、位置が類似した条件下で視線に生じた特徴が判定されるようになる。また、位置の差によって抽出の精度に生じる影響の軽減された差分の取得が可能になる。
【００７６】
（４）記憶部４０に視線情報生成部２４で生成された視線情報が蓄積されるようになることから、こうして蓄積された視線情報が検索されることによって差分の判定精度の向上が期待されるようになる。
【００７７】
（第２の実施形態）
図７〜図９を参照して、視線推定システムを具体化した第２の実施形態について説明する。本実施形態は、記憶部４０に保持している地図情報データベース４２を利用する点が第１の実施形態と相違する。そこで、本実施形態では主に、第１の実施形態と相違する部分について説明し、第１の実施形態と同様の部分については同様の符号を付し、その詳細な説明は割愛する。
【００７８】
本実施形態では、記憶部４０はさらに、地図情報データベース４２を保持している。地図情報データベース４２には、道路形状や規制情報などを含む道路情報、建物や公園等の施設情報等が緯度経度の情報に関連付けられて保持されている。
【００７９】
また、処理部１０はさらに、指定した緯度経度とその周辺の地図情報を取得する地図情報取得部２７と、運転者等に地図情報を含んだ情報を提供する情報提供部３５とを備えている。
【００８０】
地図情報取得部２７は、関与情報に含まれている位置情報に基づいて緯度経度を指定して、その指定した緯度経度とその周辺の地図情報を取得するとともに、取得した地図情報を関与情報に追加する。そして、地図情報取得部２７によって地図情報が追加された関与情報が、視線情報生成部２４が生成した視線情報に含められる。よって、視線情報データベース４１には、地図情報が追加された関与情報を含む視線情報が登録される。
【００８１】
視線情報検索部３１は、検索条件に関与情報として地図情報に含まれる事項を設定することができる。また、視線情報検索部３１は、検索条件に含まれた地図情報に基づいて視線情報データベース４１に登録されている視線情報から検索条件に対応する関与情報を含む視線情報を検索して取得することができる。詳述すると、視線情報検索部３１は、検索条件に、関与情報に含まれている車両情報、走行環境情報、位置情報、及び、地図情報に含まれている情報の少なくとも１つを設定して視線情報データベース４１に登録されている視線情報を検索することができる。
【００８２】
情報提供部３５は、視線推定部３４が推定した新規差分の領域に対応する地図上の位置を特定し、特定した位置に登録されている情報を取得して、この取得した情報を運転者等に画像や音声等で提供する。
【００８３】
例えば、図８に示すように、記憶部４０に保持されている基準とする視線の分布の例（図８（ａ））と、視線取得部２０で取得した比較対象とする視線の分布の例（図８（ｂ））との差分として、図８（ｂ）に点線で囲む位置に新規差分が得られるものとする。
【００８４】
図９に示すように、情報提供部３５は、新規差分の領域に対応する位置に、運転者の視線があったことが推定されることから、地図情報データベース４２を検索して当該新規差分の領域に対応する位置の地図情報を得る。そして、情報提供部３５は、運転者の視線が向けられたと推定される建物７１の情報や、他の道路７２の情報等を提供する。つまり、推定された視線を走行環境の通知や、興味あるものについて通知等に用いることができる。
【００８５】
逆に、不足差分が得られた場合、情報提供部３５は、不足差分の領域に対応する位置に対する情報を地図情報から取得し、この取得した情報が有用であれば、この取得した情報を運転者等に画像や音声等で提供する。例えば、運転者が探していたと推定される建物の情報や、見逃したと推定される路地等の情報が提供される。つまり、推定された視線を運転支援について通知等に用いることができる。
【００８６】
以上説明したように、本実施形態に係る視線推定システムによれば、上記第１の実施形態にて記載した（１）〜（４）の効果に加え、以下に記載する効果が得られる。
（５）位置情報に加えて、地図情報から得られる走行環境に関する情報が関与情報に含まれることから、記憶部４０に保持された関与情報と、取得した関与情報との対応関係について判定される精度が高められるようになる。これにより、視線の分布の差分から得られる視線に生じる特徴についてもその妥当性がより向上されるようになる。
【００８７】
（６）地図情報に基づいて基準とする視線に対して相違している視線のある方向に存在する事象が推定される。よって、推定された事象に対応する情報提供などが可能になる。
（第３の実施形態）
図１０〜図１３を参照して、視線推定システムを具体化した第３の実施形態について説明する。本実施形態は、処理部１０に視線情報学習部２６を備える点が第１の実施形態と相違する。そこで、本実施形態では主に、第１の実施形態と相違する部分について説明し、第１の実施形態と同様の部分については同様の符号を付し、その詳細な説明は割愛する。
【００８８】
本実施形態では、処理部１０はさらに、視線情報を学習する視線情報学習部２６を備えている。
視線情報学習部２６は、関与情報が同一、又は類似する視線情報に含まれる運転者の視線の分布について、視線の発生頻度に基づいて視線情報を学習する。また、視線情報学習部２６は、学習結果を視線情報データベース４１に登録する。学習された視線情報は、学習が繰り返されることによりその視線情報の一般化が期待されることから、差分の抽出において基準となる視線情報として適切な情報になる。また、視線情報学習部２６は、学習の要否や学習の種類が、処理部１０で行われる各種処理からの指示や、外部からの指示で設定できるようになっている。
【００８９】
本実施形態では、視線情報学習部２６は、大きく２つの種類の学習を行う。１つ目は、一時保持部２３に取得した視線情報と、記憶部４０に保持している視線情報とを組み合わせて行う学習であり、２つ目は、記憶部４０に保持している視線情報に対して行うさらなる学習である。１つ目の学習では、例えば、新たな視線情報の内容を既存の視線情報に反映させることができる。２つ目の学習では、既存の視線情報の整理や、新たに設定した関与情報について視線情報の学習を行うことができる。
【００９０】
図１１及び図１２を参照して１つ目の学習についてその処理手順を説明する。
図１１に示すように、処理部１０は、視線情報を登録する処理が開始されると、位置情報取得部２２で位置情報を取得し（ステップＳ３０）、車両情報取得部２１１で車両情報を取得し（ステップＳ３１）、視線取得部２０で運転者の視線を取得する（ステップＳ３２）。また、処理部１０は、ステップＳ３０，Ｓ３１で取得した位置情報や車両情報に対応する関与情報に基づいて期間算出部２５で所定の期間を算出する（ステップＳ３５）。これにより、視線情報生成部２４は、所定の期間内の運転者の視線と関与情報とを関連付けた視線情報を生成する。そして、処理部１０は、視線情報学習部２６で視線情報の学習を行う（ステップＳ３６）。
【００９１】
図１２に示すように、処理部１０は、ステップＳ３６で視線情報の学習が開始されると、ステップＳ３１で取得した関与情報が視線情報検索部３１の検索条件に設定され、この設定した関与情報に基づいて視線情報の検索を行うとともに、検索結果として視線情報を取得する（ステップＳ４０）。処理部１０は、視線情報学習部２６で、検索結果で記憶部４０から得られた視線情報に、視線情報生成部２４で生成した視線情報を追加する（ステップＳ４１）とともに、記憶部４０から得た視線情報と視線情報生成部２４で生成した視線情報とを学習の対象情報として設定する（ステップＳ４２）。そして、処理部１０は、視線情報学習部２６で、学習対象として設定された視線情報について、視線情報に含まれる運転者の視線の学習を行う（ステップＳ４３）。学習は、例えば、視線の分布について発生頻度に応じた学習が行われる。そして、学習された視線情報が得られると、視線情報学習部２６で、この得られた視線情報が関与情報とともに視線情報データベース４１に登録される（ステップＳ４５）。これにより、１つ目の学習方法による視線情報の学習が終了する。
【００９２】
図１３を参照して２つ目の学習方法、いわゆる再学習についてその処理手順を説明する。
図１３に示すように、処理部１０は、再学習が開始されると、再学習の対象となる関与情報を設定する。すなわち、処理部１０は、位置情報の設定（ステップＳ５０）、車両情報の設定（ステップＳ５１）を行うとともに、ステップＳ５１で設定した車両情報に対応する関与情報に基づいて期間算出部２５で期間を算出する（ステップＳ５２）。そして、処理部１０は、視線情報の学習を行う（ステップＳ５３）。
【００９３】
そして、説明の便宜上、図１２の一部を参照して説明すると、ステップＳ５３で視線情報の学習が開始されると、ステップＳ５１で設定した関与情報が視線情報検索部３１の検索条件に設定され、この設定した関与情報に基づいて視線情報の検索が行われるとともに、検索結果として視線情報が取得される（ステップＳ４０）。続いて、処理部１０は、記憶部４０から得られた視線情報を学習の対象情報として設定する（ステップＳ４２）。そして、処理部１０は、視線情報学習部２６で、学習対象として設定された視線情報について、視線情報に含まれる運転者の視線の学習を行う（ステップＳ４３）。そして、学習された視線情報が得られると、この得られた視線情報が関与情報とともに視線情報データベース４１に登録される（ステップＳ４５）。これにより、２つ目の学習方法による視線情報の再学習が終了する。
【００９４】
以上説明したように、本実施形態に係る視線推定システムによれば、上記第１の実施形態にて記載した（１）〜（４）の効果に加え、以下に記載する効果が得られる。
（７）２つ目の学習では、記憶部４０に保持された視線情報に含まれている運転者の視線の分布が特定の関与情報に関連あるもの同士で学習される。こうして学習された関与情報と、取得した視線情報との比較によれば差分がより高い精度で得られる。
【００９５】
（８）１つ目の学習では、取得した関与情報に関連する運転者の視線について、取得した運転者の視線が記憶部４０に保持された運転者の視線に加えられて学習されるようになる。こうして新たに取得した運転者の視線を含んで学習することで、学習結果が新しい状態に適したものとなることが期待される。
【００９６】
（９）学習が各方向に対して視線の向けられる頻度を条件に含んで行われるので、視線の向けられる方向がその頻度に応じて重視されるようになることから基準となる視線の分布として妥当性の高い学習結果が得られるようになる。
【００９７】
（その他の実施形態）
なお、上記各実施形態は、以下の態様で実施することもできる。
［各実施形態の組み合わせ］
・上記第１〜第３の実施形態は、その２つ以上の実施形態が組み合わされてもよい。すなわち、第１の実施形態に第２や第３の実施形態が組み合わされてもよいし、第２の実施形態に第３の実施形態が組み合わされてもよいし、第１〜第３の実施形態が組み合わされてもよい。
【００９８】
［学習］
・上記第３の実施形態では、運転者の視線の分布を学習する場合について例示した。このとき、視線の分布の学習を運転者毎に行うようにしてもよい。運転者の視線の学習を運転者毎に行うようにすれば、運転者にとってより適切な視線情報が基準となって、差分の抽出精度の向上が図られるようになる。
【００９９】
・上記第３の実施形態では、関与情報が同一又は類似である視線情報同士を学習させる場合について例示した。しかしこれに限らず、視線情報に含まれている関与情報に学習に適さない状態が含まれている場合、このような学習に適さない状態を含む視線情報を学習対象から除外してもよい。例えば、関与情報に、エアコンを操作した情報や、オーディオを操作した情報等が含まれている場合、こうした操作が行われたときの視線情報にはノイズが含まれているおそれが高いことから学習対象から除外するようにしてもよい。これにより、基準とする視線情報がノイズの少ないかたちで学習されるようになる。
【０１００】
・上記第３の実施形態では、視線情報学習部２６は、関与情報が同一、又は類似する視線情報に含まれる運転者の視線の分布について、視線の発生頻度に基づいて基準とする視線情報を学習する場合について例示した。しかしこれに限らず、基準として適切な視線の分布を生成することができるのであれば、どのような学習方法を利用してもよい。また、関与情報は、適用するパラメータを予め設定しておく場合の他、収集された多数の視線情報に基づいて、特徴点（パラメータ）を自動的に探し出し、この探し出した特徴点を関与情報として採用して、学習するような学習法等を適用してもよい。また、こうして採用した関与情報を検索条件に用いることもできる。
【０１０１】
・また、こうした学習を運転者毎に行うようにすれば、関与情報を、運転者の運転行動に適合するように分類することができるようになる。
・上記第３の実施形態では、取得した視線情報と保持されている視線情報とを合わせて学習する場合について例示した。しかしこれに限らず、取得した視線情報に含まれる運転者の視線のみを学習してから登録させてもよい。
【０１０２】
図１５に示すように、処理部１０は、位置情報取得部２２で位置情報を取得し（ステップＳ３０）、車両情報取得部２１１で車両情報を取得し（ステップＳ３１）、視線取得部２０で運転者の視線を取得する（ステップＳ３２）。そして、車両情報が同一又は類似する所定期間の間に取得した運転者の視線からなる視線情報について、運転者の視線の分布について発生頻度に基づく学習を行ってから（ステップＳ３３）、学習結果としての視線情報に車両情報を含めて視線情報データベース４１に登録してもよい（ステップＳ３４）。このように、視線情報を登録することで、登録時に運転者の視線が学習されたものとなるとともに、その後にあっても効率的な学習処理を行うことが可能になる。
【０１０３】
［視線情報の登録・検索］
・上記各実施形態では、視線情報データベース４１に視線情報が予め登録されている場合について例示したが、これに限らず、車両を走行させながら視線情報を登録したり、視線情報の学習をしたりすることを通じて視線情報データベースに視線情報を蓄積するようにしてもよい。
【０１０４】
・上記各実施形態では、視線情報登録部３０は、視線情報生成部２４が生成した視線情報と、視線情報を生成させた関与情報とを関連付けて視線情報データベース４１に登録する場合について例示した。しかしこれに限らず、視線情報登録部は、視線取得部が取得した１つの運転者の視線に、関与情報取得部が取得した関与情報を関連付けて視線情報データベースしてもよい。この場合、このように登録された運転者の視線と関与情報とを、この後、仕分け、解析や機械学習等を行うことで関与情報毎の視線情報を生成するようにしてもよい。
【０１０５】
・上記各実施形態では、視線情報データベース４１は、視線情報が登録されるデータベースである場合について例示した。しかしこれに限らず、視線情報データベースは、運転者の視線を検出する都度、その検出した運転者の視線と、その視線を検出したときの関与情報とを関連付けて登録してもよい。このように登録すれば、運転者の視線の時系列データが得られるようになる。
【０１０６】
図１４に示すように、処理部１０は、位置情報取得部２２で位置情報を取得し（ステップＳ３０）、車両情報取得部２１１で車両情報を取得し（ステップＳ３１）、視線取得部２０で運転者の視線を取得して（ステップＳ３２）から、取得した運転者の視線と車両情報とを関連付けた情報を視線情報データベース４１に登録してもよい（ステップＳ３４）。このように、検出の都度、視線を登録することで、登録された視線について後で学習等の処理を行うことが可能になる。
【０１０７】
・つまり、視線情報検索部としては、視線情報データベースから検索条件に対応する運転者の視線を検索することができてもよい。これにより、運転者の視線を単に時系列で記憶したような場合であれ、その後、記憶された視線に基づいて、関与情報に基づく運転者の視線の分布を作成することも可能になる。
【０１０８】
・上記各実施形態では、視線検出部１１が予め検出した運転者の視線と、その運転者の視線を検出したときのその運転者が運転する車両１の走行に関与する関与情報とを関連付けた情報が視線情報データベース４１に登録される場合について例示した。しかしこれに限らず、他の車両で検出された運転者の視線と関与情報とが視線情報データベースに登録されてもよい。すなわち他の視線検出部が予め検出した運転者の視線と、その運転者の視線を検出したときのその運転者が運転する車両の走行に関与する関与情報とを関連付けた情報を視線情報データベースに登録してもよい。
【０１０９】
また、異なる車両で検出された運転者の視線と関与情報とがともに１つの視線情報データベースに登録されてもよい。
また例えば、視線情報データベースをセンターに設け、運転者の視線と関与情報とを多数の車両から収集するようにしてもよい。
【０１１０】
・上記各実施形態では、期間算出部２５は、一般道には５〜１０秒の期間を、高速道には１０〜２０秒の期間を、右折又は左折では方向指示器による合図の開始から終了までの期間を、右車線や左車線への進路変更では方向指示器による合図の開始数秒前から合図の終了数秒後までの期間をそれぞれ算出する場合について例示した。しかしこれに限らず、比較に適切な視線情報が取得できるのであれば、適切な期間を設定するようにしてもよく、上記各期間については例示した期間よりも短くしてもよいし、長くてしてもよい。
【０１１１】
・上記各実施形態では、関与情報は、一般道と高速道を分類するために車速が設定され、右折、左折、右車線への進路変更又は左車線への進路変更を分類するために車速及び方向指示器の作動が設定されている場合について例示した。しかしこれに限らず、関与情報は、一般道、高速道、右左折や進路変更の分類にステアリング角等、その他の車両状況、走行環境、位置情報などを考慮してもよい。また、関与情報は、車両情報として、ワイパーの動作、ライトの点灯、エアコン操作、オーディオ操作等の情報が含まれていてもよい。
【０１１２】
・上記各実施形態では、関与情報に速度が含まれることが好ましい場合について例示したが、これに限らず、要求する条件下における視線情報を適切に選択することができるのであれば、関与情報には速度が含まれていなくてもよい。例えば、関与情報が、位置情報と進行方向とのみを含んでいたとしてもよい。
【０１１３】
［視線情報］
・上記各実施形態では、視線情報には、関与情報と、その関与情報に関する運転者の複数の視線、すなわち視線の分布とが含まれる場合について例示した。しかしこれに限らず、視線情報が関与情報に関連付けられていれば、視線情報に関与情報が含まれていなくてもよい。
【０１１４】
・上記各実施形態では、期間算出部２５は視線情報を検出する所定の期間を算出する場合について例示した。しかしこれに限らず、関与情報が示す状態における視線情報として適切な視線の分布が得られるのであれば、所定の期間内の視線の分布が、所定距離を走行した時間内での視線の分布でもよい。これにより、関与情報に関連付けられている視線情報を走行距離に基づいてであっても適切に取得することができるようになる。
【０１１５】
［視線の分布］
・上記各実施形態では、運転者の複数の視線の１つ１つをそれぞれ、車両１の前方方向に対する左右方向への角度及び上下方向への角度でプロットする場合について例示した。しかしこれに限らず、２つの視線を比較して、それらの間の差分を取得することができるのであれば、視線は、上下方向の角度と左右方向への角度との組み合わせ以外の単位の組み合わせで表現されてもよい。
【０１１６】
例えば、図１６に示すように、運転者の視線を、運転者の目から予め設定した設定距離（例えば設定距離＝１ｍ）に基準平面を定義するとともに、その基準平面上において上下方向の高さ及び左右方向の位置で表すようにしてもよい。
【０１１７】
［通信プロトコル］
・上記各実施形態では、通信プロトコルがＣＡＮプロトコルである場合について例示した。しかしこれに限らず、通信メッセージの信頼性確保にメッセージカウンタを用いるのであれば、通信プロトコルは、ＣＡＮプロトコル以外のプロトコル、例えば、イーサーネット（登録商標）やフレックスレイ（登録商標）などの通信プロトコルであってもよい。
【符号の説明】
【０１１８】
１…車両、１０…処理部、１１…視線検出部、１２…車速検出部、１３…方向指示器検出部、１４…センサ、１５…カメラ・レーダ等、１６…位置情報検出部、２０…視線取得部、２２…位置情報取得部、２３…一時保持部、２４…視線情報生成部、２５…期間算出部、２６…視線情報学習部、２７…地図情報取得部、３０…視線情報登録部、３１…視線情報検索部、３２…比較準備部、３３…差分抽出部、３４…視線推定部、３５…情報提供部、４０…記憶部、４１…視線情報データベース、４２…地図情報データベース、７１…建物、７２…道路、２１０…関与情報取得部、２１１…車両情報取得部、２１２…環境情報取得部、３１０…差分取得部。
【図１】
2018097398.tif 000003
【図２】
2018097398.tif 000004
【図３】
2018097398.tif 000005
【図４】
2018097398.tif 000006
【図５】
2018097398.tif 000007
【図６】
2018097398.tif 000008
【図７】
2018097398.tif 000009
【図８】
2018097398.tif 000010
【図９】
2018097398.tif 000011
【図１０】
2018097398.tif 000012
【図１１】
2018097398.tif 000013
【図１２】
2018097398.tif 000014
【図１３】
2018097398.tif 000015
【図１４】
2018097398.tif 000016
【図１５】
2018097398.tif 000017
【図１６】
2018097398.tif 000018