(57)【要約】【課題】車両の運転者が注視している注視対象物を、より高精度に推定することが可能な注視対象物推定装置を提供する。【解決手段】車両の付属物を、特定の注視対象物として定める。そして、注視対象物範囲設定部２０は、所定の閾値以下の距離を持つ注視点データを用いて、特定の注視対象物に対応する範囲を定める。このように、注視点データに対して距離によるフィルタリングをかけることで、車両の付属物である特定の注視対象物を注視している注視点データを確実に抽出することができる。その一方で、車外を注視しているときの注視点データを除外することができる。その結果、従来よりも高い精度で、特定の注視対象物に対応する範囲を定めることができ、その定めた範囲に基づいて、高精度に注視対象物を推定することができる。【選択図】図１
2015085719.tif 000002
【特許請求の範囲】
【請求項１】
車両の運転者が注視している注視点の位置を示す注視点データを算出するものであって、前記注視点データは前記注視点までの距離を含む算出手段（１４）と、
前記算出手段により繰り返し算出される前記注視点データの中から、所定の閾値以下の距離を持つ注視点データを抽出する抽出手段（１６、１８）と、
前記抽出手段により抽出された前記注視点データを対象として、車両に付属する少なくとも１つの特定の注視対象物を注視しているとみなされる注視点データを選別するとともに、選別した注視点データに基づき、前記特定の注視対象物に対応する前記注視点データが示す位置の範囲を定める範囲設定手段（２０）と、
前記算出手段により算出された注視点データが示す位置が、前記範囲設定手段により定められた範囲に属する場合、前記車両の運転者が注視している対象物は、前記特定の注視対象物であると推定する推定手段（２２）と、を備えることを特徴とする注視対象物推定装置。
【請求項２】
前記算出手段は、前記注視点データとして、運転者からの水平方向の角度、垂直方向の角度、及び注視点までの距離を算出し、
前記範囲設定手段は、前記選別した注視点データに基づき、前記水平方向の角度及び垂直方向の角度を２軸とする面において、前記特定の注視対象物に対応する範囲を定めることを特徴とする請求項１に記載の注視対象物推定装置。
【請求項３】
前記抽出手段は、前記算出手段により繰り返し算出される前記注視点データを蓄積する蓄積手段（１６）を備え、当該蓄積手段に蓄積された前記注視点データの中から、所定の閾値以下の距離を持つ注視点データを抽出することを特徴とする請求項１又は２に記載の注視対象物推定装置。
【請求項４】
前記範囲設定手段は、定期的に、前記特定の注視対象物に対応する範囲を更新することを特徴とする請求項１乃至３のいずれか１項に記載の注視対象物推定装置。
【請求項５】
前記範囲設定手段は、前記車両の運転者により所定の操作が行われたときに、前記特定の注視対象物に対応する範囲を更新することを特徴とする請求項１乃至３のいずれか１項に記載の注視対象物推定装置。
【請求項６】
前記範囲設定手段は、前記車両が所定の走行状態となったときに、前記特定の注視対象物に対応する範囲を更新することを特徴とする請求項１乃至３のいずれか１項に記載の注視対象物推定装置。
【請求項７】
前記範囲設定手段は、前記蓄積手段に蓄積される前記注視点データに関して、前記特定の注視対象物の近傍範囲に含まれるデータ数が所定数以上になったときに、前記特定の注視対象物に対応する範囲を更新することを特徴とする請求項３に記載の注視対象物推定装置。
【請求項８】
前記抽出手段が前記注視点データを抽出するための閾値は、前記運転者と前記特定の注視対象物との位置関係を考慮すべく、車体構造に基づいて設定されることを特徴とする請求項１乃至７のいずれか１項に記載の注視対象物推定装置。
【請求項９】
前記車両の運転席への着座を検出する着座検出手段と、
前記車両の運転席への着座を検出すると、前記運転席のシートポジションに基づいて、前記閾値を設定する設定手段（Ｓ１４０）とを備えることを特徴とする請求項１乃至７のいずれか１項に記載の注視対象物推定装置。
【請求項１０】
前記車両の運転席のシートポジションが変更されると、変更後のシートポジションに基づいて、前記閾値を更新する更新手段（Ｓ１４０）を備えることを特徴とする請求項９に記載の注視対象物推定装置。
【請求項１１】
前記車両の運転者の姿勢を検出する姿勢検出手段と、
前記姿勢検出手段によって検出される運転者の姿勢が変化すると、その変化後の運転者の姿勢に基づいて、前記閾値を更新する更新手段（Ｓ１４０）とを備えることを特徴とする請求項９又は１０に記載の注視対象物推定装置。
【請求項１２】
前記特定の注視対象物を複数定めた場合、前記閾値は、複数の注視対象物ごとに個別に設定されることを特徴とする請求項８乃至１１のいずれか１項に記載の注視対象物推定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の運転者が注視している注視対象物を推定する注視対象物推定装置に関する。
【背景技術】
【０００２】
例えば、特許文献１には、運転者の視線を利用して、必要な情報の提供を行う走行情報提供装置が開示されている。この走行情報提供装置は、車載カメラなどを用いて、運転者の視線方向を計測する。さらに、自車両の周辺に存在する、他車両、歩行者、二輪車、標識、表示、信号、横断歩道および一時停止線などの交通環境対象物の位置を検出する。そして、計測された視線方向及び検出された交通環境対象物の位置に基づいて、運転者の交通環境対象物に対する視認度を算出する。算出された視認度が低い交通環境対象物は、運転者が認識していない可能性が高いので、例えば画面上において強調表示することにより運転者に注意喚起する。
【０００３】
しかし、カメラ画像などを用いて運転者の視線方向を計測する場合、その視線方向の計測値は、瞳孔中心の推定誤差や顔向きの推定誤差など、さまざまな要因の誤差の累積的な影響を受ける。また、運転者の姿勢が変化した場合なども、視線方向と対象物との相対的な位置関係が変化する。
【０００４】
このような点に鑑みて、特許文献２には、推定した視線方向が、実際の視線方向と一致するように自動較正を行う装置が開示されている。この特許文献２の装置では、運転中における特定の操作（例えば車線変更のための操作）が行われるときには、特定の位置（後方確認のためルームミラーやサイドミラー）への注視が増えるとの考えの下、特定の操作の開始時点の所定時間前から終了時点までの視線データを抽出する。そして、抽出した視線データの分布に基づいて特定位置の注視位置を算出し、その注視位置が、特定の操作に対して予め定めた注視位置に一致するように視線データを補正するための補正係数を算出する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第５１７１６２９号公報
【特許文献２】特開２０１０−２９２６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、運転者が特定の操作を行う場合であっても、運転者は、その特定の操作に対応する特定の位置だけを注視するわけではない。例えば車線変更をする場合、運転者は、その準備として、前方の先行車や道路状況を注視しつつ、短時間の内に、ルームミラーやサイドミラーによって、自車両後方の状況を確認する。そして、車線変更する直前には、車線変更を行う側の後方を振り返ることによって、安全に車線変更を行いうるかを目視によって確認する。このような運転者の確認動作は、あくまで一般的なものであり、道路状況や運転者の癖などにより、確認動作、すなわち視線の動きは、運転者ごとに異なることが多い。
【０００７】
従って、特許文献２の装置のように、特定の操作の開始時点の所定時間前から終了時点までの視線データを抽出しても、抽出した視線データには、特定位置（ルームミラーやサイドミラー）を注視している視線データ以外に、特に車室外の様々な方向への視線データが含まれることになる。そのため、抽出した視線データから、特定操作に対応する特定位置を高精度に定めることは困難である。
【０００８】
本発明は、上述した点に鑑みてなされたものであり、車両の運転者が注視している注視対象物を、より高精度に推定することが可能な注視対象物推定装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した目的を達成するために、本発明による注視対象物推定装置は、
車両の運転者が注視している注視点の位置を示す注視点データを算出するものであって、その注視点データは注視点までの距離を含む算出手段（１４）と、
算出手段により繰り返し算出される注視点データの中から、所定の閾値以下の距離を持つ注視点データを抽出する抽出手段（１６、１８）と、
抽出手段により抽出された注視点データを対象として、車両に付属する少なくとも１つの特定の注視対象物を注視しているとみなされる注視点データを選別するとともに、選別した注視点データに基づき、特定の注視対象物に対応する注視点データが示す位置の範囲を定める範囲設定手段（２０）と、
算出手段により算出された注視点データが示す位置が、範囲設定手段により定められた範囲に属する場合、車両の運転者が注視している対象物は、特定の注視対象物であると推定する推定手段（２２）と、を備えることを特徴とする。
【００１０】
このように本発明による注視対象物推定装置においては、車両の運転者が注視している注視点の位置を示す注視点データを求める。この注視点データは、運転者から注視点までの距離を含んでいる。注視点対象物推定装置は、複数の注視点データに基づき、特定の注視対象物に対応する注視点データが示す位置の範囲を定める。そして、新たに算出された注視点データが、定められた範囲に属する場合、車両の運転者は、特定の注視対象物を注視していると推定する。
【００１１】
ここで、本発明による注視対象物推定装置は、車両の付属物を特定の注視対象物とするとともに、特定の注視対象物に対応する範囲を定めるための注視点データとして、所定の閾値以下の距離を持つ注視点データに絞り込んでいる。このように、注視点データに対して距離によるフィルタリングをかけることで、車両の付属物である特定の注視対象物を注視している注視点データを確実に抽出するとともに、先行車、歩行者、道路状況など運転者が車外を注視しているときの注視点データを除外することが可能となる。これにより、特定の注視対象物に対応する範囲を定める上で、ノイズとなる注視点データを極力除外することが可能となる。このため、従来よりも高い精度で、特定の注視対象物に対応する範囲を定めることができる。
【００１２】
なお、上記括弧内の参照番号は、本発明の理解を容易にすべく、後述する実施形態における具体的な構成との対応関係の一例を示すものにすぎず、なんら本発明の範囲を制限することを意図したものではない。
【００１３】
また、上述した特徴以外の、特許請求の範囲の各請求項に記載した技術的特徴に関しては、後述する実施形態の説明及び添付図面から明らかになる。
【図面の簡単な説明】
【００１４】
【図１】実施形態に係る注視対象物推定装置を含むシステム全体の構成を示したブロック図である。
【図２】注視対象物推定装置において実行される処理を示すフローチャートである。
【図３】一定期間の間に蓄積された注視点データを、水平方向の角度と垂直方向の角度とを２軸とするグラフにプロットした結果を示す図である
【図４】図３に表された注視点データから、閾値以下の距離を持つ注視点データを抽出し、その抽出した注視点データが示す位置をグラフにプロットした結果を示す図である。
【図５】特定の注視対象物に対応する注視点データと、それ以外の注視点データとを分類した結果を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態に係る注視対象物推定装置に関して、図面を参照しつつ、説明する。図１は、本実施形態に係る注視対象物推定装置１２を含むシステム全体の構成を示したブロック図である。
【００１６】
図１において、視線方向及び頭部位置検出装置１０は、車両の運転者の左右それぞれの目の視線方向を別々に検出するとともに、運転者の顔向き方向を含む頭部位置を検出し、検出結果を示す情報を注視対象物推定装置１２に出力するものである。
【００１７】
視線方向の検出に関しては、例えば、運転者の左右の目を撮影するカメラを設け、撮影された画像において、目頭を基準点とし、その基準点に対する虹彩の位置関係から、左右それぞれの目の視線方向を検出することができる。あるいは、いわゆる角膜照射法を適用して、視線方向を検出しても良い。この場合、赤外線ＬＥＤなどにより運転者に赤外線を照射するとともに、赤外光を撮影可能なカメラで運転者の左右の目を撮影する。そして、撮影した画像において、角膜上の反射光の位置（プルキニエ像）を基準点とし、その基準点に対する瞳孔の位置関係から、左右それぞれの目の視線方向を検出する。さらに、角膜と強膜との境界を利用する強膜トラッカー法や、コイルを組み込んだコンタクトレンズを利用するサーチコイル法、角膜−網膜電位を利用したＥＯＧ法など、他の視線検出技術を適用して、左右それぞれの目の視線方向を検出しても良い。
【００１８】
視線の検出にカメラを用いる場合、そのカメラは、車室内に設置された据え置き型であっても良いし、運転者が装着するカメラや帽子に取り付けられた装着型であっても良い。
【００１９】
頭部位置の検出に関しては、運転者の顔を撮影するカメラを設け、その撮影画像から、運転者の顔を認識することにより、運転者の顔の向きを含む頭部位置を検出する。頭部位置検出用のカメラは、視線方向の検出の場合と同様に、据え置き型であっても、装着型であっても良い。さらに、頭部位置検出用のカメラは、視線検出用のカメラと共用されても良いし、別個のものであっても良い。
【００２０】
また、カメラ以外の手段を用いて、運転者の頭部位置を検出しても良い。例えば、運転者が頭部に装着する帽子や眼鏡等の装着物にジャイロセンサや加速度センサを組み込んで、運転者の頭部の回転や平行移動を検出することにより、運転者の顔の向きを含む頭部位置を検出しても良い。
【００２１】
視線方向及び頭部位置検出装置１０によって検出された視線方向及び頭部位置を示す情報は、注視対象物推定装置１２に入力される。注視対象物推定装置１２は、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ/Ｏなどから構成される一般的なマイクロコンピュータからなる。図１には、ＣＰＵが、ＲＯＭに記憶されたプログラムを実行することにより、注視対象物推定装置１２において実現される機能が機能ブロックにより示されている。以下、各機能ブロックについて説明する。
【００２２】
注視点データ算出部１４は、視線方向及び頭部位置検出装置１０から与えられた視線方向及び頭部位置を示す情報に基づき、運転者が注視している注視点の位置を示す注視点データを算出する。本実施形態では、独立して検出された左右それぞれの目の視線が交差する点を注視点とする。注視点データの算出においては、まず、左右それぞれの目の視線方向を用いて、運転者の眉間（両目の間）を原点とする運転者基準の座標系において、注視点位置を求める。
【００２３】
そして、運転者基準の座標系における注視点位置を、運転者の顔の向きを含む頭部位置を用いて、運転者が正面を向いて運転席に着座したときの標準的な頭部位置を原点とする車両基準の座標系における注視点位置に変換する。具体的には、運転者基準の座標系における注視点位置を運転者の顔の向き分、Ｙａｗ方向、Ｒｏｌｌ方向、Ｐｉｔｃｈ方向に回転させるとともに、運転者の頭部位置の原点からのずれ分、水平方向、垂直方向、前後方向に平行移動させる。これにより、車両基準の座標系における注視点位置が求まる。
【００２４】
本実施形態では、注視点位置を、注視点の水平方向（左右方向）の角度、注視点の垂直方向（上下方向）の角度、及び注視点までの距離によって表わす。従って、注視点データ算出部１４によって算出される注視点データは、水平方向の角度、垂直方向の角度、及び注視点までの距離を含んでいる。
【００２５】
なお、検出された左右の目の視線が交差しない場合、左右の視線方向の中間の方向を注視方向としたり、運転者に予めどちらが効き目であるかの情報を注視対象物推定装置１２に入力させておき、その効き目の視線方向を注視方向としたりしても良い。このような場合、注視点までの距離は、予め定めた固定距離とする。
【００２６】
注視点データ算出部１４における、注視点データの算出は、所定周期ごとに繰り返し行われる。注視点データ算出部１４は、注視点データを算出するごとに、算出した注視点データを、注視点データ蓄積部１６及び注視対象物推定部２２に出力する。
【００２７】
注視点データ蓄積部１６は、注視点データ算出部１４から繰り返し出力される注視点データを蓄積しておくものである。この注視点データ蓄積部１６に蓄積された注視点データを用いて、後述する注視対象物範囲設定部２０が、特定の注視対象物に対応する注視点データが示す位置の範囲を定める。特定の注視対象物に対応する範囲の設定に使用された注視点データは、注視点データ蓄積部１６から消去される。ただし、注視点データを消去せずに、そのまま残しても良い。この場合、注視点データ蓄積部１６の記憶容量の上限に達したときに、最も古い注視点データを、最新の注視点データで上書きすれば良い。
【００２８】
注視点データ抽出部１８は、注視点データ蓄積部１６が蓄積している注視点データの中で、所定の閾値以下の距離を持つ注視点データを抽出するものである。この注視点データ抽出部１８は、抽出した注視点データを注視対象物範囲設定部２０に与える。
【００２９】
ここで、注視点データ算出部１４が算出する注視点データは、上述したように、さまざまな要因の誤差の累積的な影響を受ける。さらに、運転者の頭部位置や姿勢が変化した場合、その誤差の大きさが変化したり、視線方向と注視対象物との相対的な位置関係が変化したりする。そのため、注視点データが示す注視点の位置と、実際の注視対象物との位置とを一致させる較正処理を行うことが必要となる。
【００３０】
その較正処理を行うため、本実施形態では、左サイドミラー（左ドアミラー）、右サイドミラー（右ドアミラー）、ルームミラー（バックミラー）、メーター、ナビゲーション装置、ヘッドアップディスプレィの画面などの内、少なくとも１つの車両の付属物を、特定の注視対象物として定める。そして、注視対象物範囲設定部２０において、その特定の注視対象物に対応する範囲を定めるための注視点データとして、上述したように、注視点データ抽出部１８により抽出された、所定の閾値以下の距離を持つ注視点データを用いる。このように、注視点データに対して距離によるフィルタリングをかけることで、車両の付属物である特定の注視対象物を注視している注視点データを確実に抽出することができる。その一方で、特定の注視対象物に対応する範囲を定めるための注視点データから、先行車、歩行者、道路状況など運転者が車外を注視しているときの注視点データを除外することが可能となる。このため、特定の注視対象物に対応する範囲を定める上で、ノイズとなる注視点データを極力除外することが可能となる。その結果、従来よりも高い精度で、特定の注視対象物に対応する範囲を定めることができるようになる。
【００３１】
注視点データ抽出部１８が、注視点データの抽出に用いる閾値は、本実施形態による注視対象物推定装置１２が適用される車両の車体構造に基づいて一定の値に設定されても良い。このように車体構造に基づいて閾値を設定することにより、運転者と車両の付属物である特定の注視対象物との位置関係を考慮することが可能となる。より具体的には、特定の注視対象物を注視している注視点データと、車外のいずれかの対象物を注視している注視点データとを識別可能な閾値を定めることができる。
【００３２】
あるいは、閾値は、運転者の着座位置や、運転姿勢に応じて、設定、更新されても良い。例えば、感圧センサなど、車両の運転席への着座を検出する着座検出手段を設ける。そして、車両の運転席への着座を検出すると、運転席のシートポジション（前後方向の位置、上下方向の位置、背もたれの角度など）に基づいて、閾値を設定しても良い。このようにすれば、運転者のシートポジションを考慮することで、特定の注視対象物を注視しているときの注視点データと、車室外を注視しているときの注視点データを識別するための閾値として、より適切な閾値を設定することができる。
【００３３】
さらに、運転席への着座時に、シートポジションに応じて閾値を設定した場合、そのシートポジションが変更されたときには、設定した閾値を更新することが望ましい。例えば、長時間の運転を行った場合など、疲労の緩和のため、運転者は、背もたれの角度を変更したり、前後方向の位置を調整したりすることもある。このような場合には、調整後のシートポジションに基づいて、閾値を再設定（更新）する。
【００３４】
また、運転席のシートポジションに加えて、運転者の運転姿勢も考慮して、閾値を設定、更新しても良い。シートポジションが同じであっても、そのシートへの着座位置や上半身の姿勢によって、運転者と特定の注視対象物との位置関係が異なることが起こりえるためである。この場合、例えば、運転席への座面や背もたれに印加される荷重分布を検出する荷重センサや、あるいは運転者を撮影するカメラなどを用いて、運転者の運転姿勢を検出する。そして、運転席への着座検出時に、シートボジションに加えて、運転者の運転姿勢も考慮して、閾値を設定する。その後、シートポジションが変更されなくとも、運転者の運転姿勢が変化した場合には、その変化後の運転者の運転姿勢に基づいて、閾値を更新する。このように、運転者の運転姿勢も考慮することで、より適切な閾値を設定することが可能となる。
【００３５】
なお、特定の注視対象物が複数定められる場合、閾値は、複数の注視対象物ごとに個別に設定されても良い。運転者から注視対象物までの距離は、それぞれの注視対象物で異なるためである。この場合、注視点データ抽出部１８において、注視点データの座標系を複数の注視対象物をそれぞれ含む複数の領域に区画し、各領域ごとに、対応する注視対象物に応じた閾値を用いて注視点データを抽出すれば良い。
【００３６】
注視対象物範囲設定部２０は、特定の注視対象物に対応する注視点データが示す位置の範囲を設定すべきタイミングとなったときに、注視点データ抽出部１８によって与えられる複数の注視点データに基づいて、特定の注視対象物に対応する注視点データが示す位置の範囲を定める。
【００３７】
特定の注視対象物に対応する注視点データが示す位置の範囲を設定すべきタイミングとしては、予め定められた一定時間が経過したときを、そのタイミングとすることが好ましい。このように、定期的に、特定の注視対象物に対応する注視点データが示す位置の範囲を設定し直す（更新する）ことで、運転者の頭部位置などが変化しても、注視点データが示す位置と、実際に運転者が注視する位置とを合わせ込むことができる。
【００３８】
また、所定の条件が成立したときを、特定の注視対象物に対応する注視点データが示す位置の範囲を設定すべきタイミングとしても良い。その所定の条件としては、例えば、右折のための運転操作、左折のための運転操作、後進のための運転操作、車線変更のための運転操作、ナビゲーション装置の操作など、運転者により所定の操作が行われたことを採用することができる。これらの操作が行われた場合、運転者は、左右のサイドミラー、ルームミラー、ナビゲーション装置などの特定の注視対象物を確認する確率が高い。そのため、注視点データ蓄積部１６には、特定の注視対象物を注視したときの注視点データを含む注視点データが蓄積される。従って、注視対象物範囲設定部２０は、特定の注視対象物を注視したときの注視点データを含む注視点データに基づき、特定の注視対象物に対応する範囲を設定したり、更新したりすることができる。
【００３９】
あるいは、所定の条件として、例えば、減速、旋回、停止など、車両が所定の走行状態となったことを採用しても良い。このように、車両が所定の走行状態となったときにも、車両の運転者は、車両の付属物である特定の注視対象物を確認することが多いためである。
【００４０】
さらに、所定の条件として、注視点データ蓄積部１６に蓄積される注視点データに関して、特定の注視対象物の近傍範囲に含まれるデータ数が所定数以上になったことを採用しても良い。このように、注視対象物の近傍範囲に含まれる注視点データのデータ数が所定数以上となった場合、その注視点データには、特定の注視対象物を注視したときの注視点データが多く含まれるものと推測できるためである。
【００４１】
そして、注視対象物範囲設定部２０は、注視点データにおける、水平方向の角度及び垂直方向の角度によって示される位置を、注視点データが示す位置とする。すなわち、注視点データの位置は、水平方向の角度及び垂直方向の角度を２軸とする面に表すことができるものである。そして、複数の注視点データの位置の分布から、特定の注視対象物に対応する注視点データと、それ以外の注視点データとを分類する。注視対象物範囲設定部２０は、特定の注視対象物に対応する注視点データとして分類された、複数の注視点データの位置をカバーするように、特定の注視対象物に対応する範囲を定める。
【００４２】
注視対象物範囲設定部２０に与えられる注視点データは、注視点データ抽出部１８により所定の閾値以下の距離を持つ注視点データに絞り込まれている。そのため、距離に関しては、特定の注視対象物に対応する注視点データと、それ以外の注視点データとを分類（選別）する上での影響は小さいと考えられる。従って、本実施形態では、上記したように、注視点データにおける、水平方向の角度及び垂直方向の角度によって示される位置を、注視点データが示す位置としている。ただし、各注視点データの位置を定める際に、注視点データの距離を用いても良い。
【００４３】
複数の注視点データの位置の分布から、特定の注視対象物に対応する注視点データと、それ以外の注視点データとを分類する手法について簡単に説明する。例えば、注視対象物に対応する注視点データが示す位置は、ガウス分布に近似した混合ガウス分布を示すと仮定する。そして、注視点データ抽出部１８から与えられた注視点データが示す位置を、混合ガウス分布を示すクラスと、それ以外の外れ値のクラスとに分けるように、ＥＭアルゴリズムを用いてクラスタリングする。
【００４４】
なお、注視対象物に対応する注視点データが示す位置はガウス分布でなく、他の分布を仮定しても良い。また、特定の注視対象物に対応する注視点データと、それ以外の注視点データとを分類する手法として、ＥＭアルゴリズム以外に、例えばＳＶＭ（サポートベクターマシン）などの他の手法を用いても良い。
【００４５】
注視対象物推定部２２は、注視点データ算出部１４から、繰り返し算出される注視点データを受け取る。また、注視対象物推定部２２は、特定の注視対象物に対応する範囲を、注視対象物範囲設定部２０から受け取る。そして、注視対象物推定部２２は、注視点データ算出部１４により算出された注視点データが示す位置が、注視対象物範囲設定部２０により定められた範囲に属する場合、車両の運転者が注視している対象物は、特定の注視対象物であると推定する。
【００４６】
さらに、注視対象物推定部２２は、注視対象物範囲設定部２０により定められた範囲を基準として、他の注視対象物の範囲を定め、注視点データが示す位置が、他の注視対象物の範囲に属する場合、その注視対象物を、運転者が注視している対象物と推定しても良い。他の注視対象物としては、例えば、車外における正面、左前方、右前方などの領域や、右ドアウインドウ、左ドアウインドウなどを設定すれば良い。また、図示していないが、自車両周囲の他車両、歩行者、道路標識、信号機などを認識する装置を設け、認識された対象物を、他の注視対象物として設定しても良い。
【００４７】
注視対象物推定部２２における推定結果は、報知装置又は車両制御装置２４に出力される。報知装置又は車両制御装置２４は、注視対象物の推定結果に基づき、運転者に、注視すべき方向や対象物を報知したり、運転者が気付いていないと思われる車両周囲の対象物について注意喚起したり、あるいは、車両速度の減速や操舵などの車両制御を行う。
【００４８】
次に、本実施形態による注視対象物推定装置１２における処理について、図２のフローチャートを用いて説明する。なお、図２のフローチャートに示す処理は、車両の運転が継続している限り、定期的に、繰り返し実行される。
【００４９】
まず、ステップＳ１００において、視線方向及び頭部位置検出装置１０によって検出された視線方向及び顔向き方向を含む頭部位置を示す情報を取得する。続くステップＳ１１０では、視線方向及び頭部位置を示す情報に基づき、運転者が注視している注視点の位置を示す注視点データを算出する。そして、ステップＳ１２０において、算出された注視点データを蓄積する。
【００５０】
図３に、一定期間の間に蓄積された注視点データを、水平方向の角度と垂直方向の角度とを２軸とするグラフにプロットした結果の一例を示す。通常、車両の運転者は、主として、車両前方の正面方向や、左前方向、右前方向を見ているが、車両の左右後方の確認のため、ある割合で、左右サイドミラーにも視線を向ける。このため、運転者の注視点位置をプロットした場合、図３示すように、主に正面方向から左前方向及び右前方向までを見ているときの注視点位置の集まりの他、左サイドミラーを見ているときの注視点位置の集まり、及び右サイドミラーを見ているときの注視点位置の集まりができる。
【００５１】
続くステップＳ１３０では、車両の付属物である特定の注視対象物を見ている注視点データを抽出し、車室外を見ている注視点データを除外するための閾値を設定、更新する条件が成立したか否かを判定する。この判定処理においては、上述したように、運転者が運転席に着座したとき、運転席のシートポジションを変更したとき、あるいは運転姿勢を変えたときなどに、条件が成立したと判定される。条件が成立したと判定されると、ステップＳ１４０に進んで、閾値を設定、もしくは更新する。これにより、特定の注視対象物を注視しているときの注視点データと、車室外を注視しているときの注視点データとを精度良く区別可能な閾値を定めることが可能となる。
【００５２】
ステップＳ１５０では、特定の注視対象物に対応する注視点データが示す位置の範囲を設定すべきタイミングとなったか否かを判定する。この判定処理では、上述したように、前回の設定から予め定めた一定時間が経過したとき、特定の注視対象物の範囲設定タイミングであると判定する。あるいは、運転者により所定の操作が行われたとき、車両が所定の状態になったとき、又は、蓄積された注視点データに関して、特定の注視対象物の近傍範囲に含まれるデータ数が所定数以上になったとき、特定の注視対象物の範囲設定タイミングであると判定しても良い。特定の注視対象物の範囲設定タイミングであると判定された場合、ステップＳ１６０の処理に進む。一方、特定の注視対象物の範囲設定タイミングではないと判定された場合、ステップＳ１８０の処理に進む。
【００５３】
ステップＳ１６０では、蓄積された注視点データから、閾値以下の距離を持つ注視点データを抽出する。このように、注視点データに対して距離によるフィルタリングをかけることで、特定の注視対象物を注視している注視点データを確実に抽出することができる。その一方で、運転者が車外を注視しているときの注視点データを除外することが可能となる。
【００５４】
図４に、図３に表された注視点データから、閾値以下の距離を持つ注視点データを抽出し、その抽出した注視点データが示す位置をグラフにプロットした結果を示す。図３のグラフにおける、車両の正面方向から左前方向及び右前方向を見ているときの注視点データは、ほとんどが車外を見ているときのものであるため、図４のグラフからは除外されている。それに対して、車両の付属物である左サイドミラーや右サイドミラーを見ているときの注視点データは、そのほとんどが図４のグラフに残っている。
【００５５】
続くステップＳ１７０では、図４に示されるような、複数の注視点データの位置の分布から、ＥＭアルゴリズムなどを用いることにより、特定の注視対象物に対応する注視点データと、それ以外の注視点データとを分類する。
【００５６】
図５に、分類の結果の一例を示す。なお、図５に示す例では、左サイドミラーと右サイドミラーとを特定の注視対象物とし、それら左右のサイドミラーと、それ以外とに、注視点データを分類している。このような分類が行われた後に、図５に示すように、特定の注視対象物に対応する注視点データとして分類された、複数の注視点データの位置をカバーするように、特定の注視対象物に対応する範囲が設定される。
【００５７】
続くステップＳ１８０では、ステップＳ１１０において算出された注視点データと、ステップＳ１７０において設定された範囲とに基づいて、運転者が注視している対象物を推定する。最後に、ステップＳ１９０において、例えばイグニッションスイッチがオフされたことにより、車両の運転が終了したか否かを判定する。運転が終了したと判定された場合、図２のフローチャートに示す処理を終了し、まだ運転は終了していないと判定された場合、ステップＳ１００からの処理を繰り返す。
【００５８】
以上、本発明の好ましい実施形態について説明したが、本発明は、上述した実施形態になんら制限されることなく、本発明の主旨を逸脱しない範囲において、種々、変形して実施することが可能である。
【００５９】
例えば、上述した実施形態では、注視点位置を、注視点の水平方向の角度、注視点の垂直方向の角度、及び注視点までの距離によって表していたが、例えば、運転者を基準とする３次元の座標によって、注視点位置を表しても良い。
【００６０】
また、図２のフローチャートのステップＳ１４０では、閾値を設定、変更していたが、閾値は、一定の値であっても良く、その場合、ステップＳ１３０、Ｓ１４０の処理は省略される。
【符号の説明】
【００６１】
１０  視線方向及び頭部位置検出装置
１２  注視対象物推定装置
１４  注視点データ算出部
１６  注視点データ蓄積部
１８  注視点データ抽出部
２０  注視対象物範囲設定部
２２  注視対象物推定部
２４  報知装置又は車両制御装置
【図１】
2015085719.tif 000003
【図２】
2015085719.tif 000004
【図３】
2015085719.tif 000005
【図４】
2015085719.tif 000006
【図５】
2015085719.tif 000007