(57)【特許請求の範囲】
【請求項１】
車両周辺の外界環境を撮像した外界環境画像、及びドライバの顔を含む領域を撮像した顔画像に基づいて、ドライバの視線方向を推定し、推定した視線方向に基づいて、前記外界環境画像からドライバの視線先を含む所定領域の視線先画像を抽出する視線先画像抽出手段と、
前記視線先画像抽出手段により抽出された視線先画像から第１特徴量を抽出すると共に、前記外界環境画像全体から第２特徴量を抽出する生成用特徴量抽出手段と、
前記生成用特徴量抽出手段により抽出された第１特徴量を複数のクラスタに分類し、該複数のクラスタで構成された前記車両の走行場面を認識するための第１モデルを生成する第１生成手段と、
前記第１生成手段により生成された第１モデルに含まれるクラスタ各々における前記第１特徴量の出現頻度または出現確率と、前記クラスタ各々における前記第２特徴量の出現頻度または出現確率との比に基づいて、クラスタ毎の重みを算出し、該クラスタ毎の重みで構成され、かつ前記第１モデルと共に前記車両の走行場面を認識するための前記第２モデルを生成する第２生成手段と、
を含む走行場面認識モデル生成装置。
【請求項２】
前記外界環境画像における前記視線先画像と同一サイズの領域から第３特徴量を抽出し、該第３特徴量、前記第１モデル、及び前記第２モデルに基づいて、前記外界環境画像が取得された際の車両の走行場面を認識する生成用認識手段と、
前記生成用認識手段により認識された走行場面と、前記外界環境画像が取得された際の車両の走行状態を示す信号とに基づいて、前記走行場面が特定の走行場面か否かを判定するための第３モデルを生成する第３生成手段と、
を含む請求項１記載の走行場面認識モデル生成装置。
【請求項３】
前記生成用認識手段は、前記クラスタ毎の重みが予め定めた閾値以上のクラスタに対する前記第３特徴量のクラスタ別の出現頻度ヒストグラムを、前記走行場面として算出する請求項２記載の走行場面認識モデル生成装置。
【請求項４】
前記外界環境画像における前記視線先画像と同一サイズの領域から、認識用特徴量を抽出する認識用特徴量抽出手段と、
請求項１〜請求項３のいずれか１項記載の走行場面認識モデル生成装置により生成された第１モデル及び第２モデルと、前記認識用特徴量抽出手段により抽出された認識用特徴量とに基づいて、前記外界環境画像が取得された際の車両の走行場面を認識する判定用認識手段と、
前記判定用認識手段により認識された走行場面に応じて、運転支援を行う支援手段と、
を含む運転支援装置。
【請求項５】
前記判定用認識手段は、前記クラスタ毎の重みが予め定めた閾値以上のクラスタに対する前記認識用特徴量のクラスタ別の出現頻度ヒストグラムを、前記走行場面として算出し、
請求項２または請求項３記載の走行場面認識モデル生成装置により生成された第３モデル、前記判定用認識手段により認識された走行場面、及び前記外界環境画像が取得された際の車両の走行状態を示す信号に基づいて、前記走行場面が特定の走行場面か否かを判定する判定手段
を含む請求項４記載の運転支援装置。
【請求項６】
車両周辺の外界環境を撮像した外界環境画像から所定領域の部分画像を抽出する部分画像抽出手段と、
前記部分画像抽出手段により抽出された部分画像から第１特徴量を抽出する生成用特徴量抽出手段と、
前記生成用特徴量抽出手段により抽出された第１特徴量を複数のクラスタに分類する分類手段と、
前記分類手段により分類された複数のクラスタから、認識したい走行場面に応じた車両の走行状態を示す信号との関連性が高い複数のクラスタを選択し、選択された複数のクラスタで構成された前記車両の走行場面を認識するための第１モデルを生成する生成手段と、
を含む走行場面認識モデル生成装置。
【請求項７】
前記生成手段は、前記関連性を、劣モジュラ性を満たす関数を用いて算出する請求項６記載の走行場面認識モデル生成装置。
【請求項８】
前記劣モジュラ性を満たす関数を、相互情報量とした請求項７記載の走行場面認識モデル生成装置。
【請求項９】
前記生成手段は、既に選択されたクラスタの集合に、選択されていないクラスタを１つ加えた場合に、１つのクラスタが追加されたクラスタの集合と、前記走行状態を示す信号との関連性を算出し、該関連性が最も高くなるクラスタを追加して、新たな選択されたクラスタの集合とし、クラスタの集合に含まれる要素が予め定めた所定個となるまで、クラスタの追加及び前記関連性の算出を繰り返して、クラスタの選択を行う請求項６〜請求項８のいずれか１項記載の走行場面認識モデル生成装置。
【請求項１０】
前記外界環境画像における前記部分画像と同一サイズの領域から第３特徴量を抽出し、該第３特徴量及び前記第１モデルに基づいて、前記外界環境画像が取得された際の車両の走行場面を認識する生成用認識手段と、
前記生成用認識手段により認識された走行場面と、前記外界環境画像が取得された際の車両の走行状態を示す信号とに基づいて、前記走行場面が特定の走行場面か否かを判定するための第３モデルを生成する第３生成手段と、
を含む請求項６〜請求項９のいずれか１項記載の走行場面認識モデル生成装置。
【請求項１１】
前記生成用認識手段は、前記第１モデルに含まれるクラスタに対する前記第３特徴量のクラスタ別の出現頻度ヒストグラムを、前記走行場面として算出する請求項１０記載の走行場面認識モデル生成装置。
【請求項１２】
前記外界環境画像における前記部分画像と同一サイズの領域から、認識用の認識用特徴量を抽出する認識用特徴量抽出手段と、
請求項６〜請求項１１のいずれか１項記載の走行場面認識モデル生成装置により生成された第１モデルと、前記認識用特徴量抽出手段により抽出された認識用特徴量とに基づいて、前記外界環境画像が取得された際の車両の走行場面を認識する判定用認識手段と、
前記判定用認識手段により認識された走行場面に応じて、運転支援を行う支援手段と、
を含む運転支援装置。
【請求項１３】
前記判定用認識手段は、前記第１モデルに含まれるクラスタに対する前記認識用特徴量のクラスタ別の出現頻度ヒストグラムを、前記走行場面として算出し、
請求項１０または請求項１１記載の走行場面認識モデル生成装置により生成された第３モデル、前記判定用認識手段により認識された走行場面、及び前記外界環境画像が取得された際の車両の走行状態を示す信号に基づいて、前記走行場面が特定の走行場面か否かを判定する判定手段
を含む請求項１２記載の運転支援装置。
【請求項１４】
前記判定手段は、前記車両の走行状態を示す信号として、該車両の前後加速度を取得し、前記特定の走行場面として、急減速の可能性がある走行場面か否かを判定し、
前記支援手段は、前記判定手段により、急減速の可能性がある走行場面であると判定された場合に、警報を出力する
請求項５または請求項１３記載の運転支援装置。
【請求項１５】
コンピュータを、請求項１〜請求項３、及び請求項６〜請求項１１のいずれか１項記載の走行場面認識モデル生成装置を構成する各手段として機能させるための走行場面認識モデル生成プログラム。
【請求項１６】
コンピュータを、請求項４、請求項５、及び請求項１２〜請求項１４のいずれか１項記載の運転支援装置を構成する各手段として機能させるための運転支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、走行場面認識モデル生成装置、運転支援装置、及びプログラムに係り、特に、車両周辺を撮像した画像に基づいて、走行場面を認識するためのモデルを生成する走行場面認識モデル生成装置、認識された走行場面に基づいて運転支援を行う運転支援装置、及びこれらのプログラムに関する。
【背景技術】
【０００２】
従来、画像から抽出される局所特徴量を用いて、物体を認識する手法が提案されている（例えば、非特許文献１参照）。非特許文献１の手法では、事前に大量に用意した各クラスタの学習画像からＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）特徴量を抽出し、ベクトル量子化を行い、クラスタ毎にベクトル量子化された特徴量（以下、ｖｉｓｕａｌ  ｗｏｒｄという）のヒストグラムを用いて、各クラスタを識別するための識別機を作成し、未知入力画像がどのクラスタに属するかを識別することにより、物体を認識している。
【０００３】
また、非特許文献１の手法では、事前に大量に用意した認識したい物体の学習データからＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ）特徴量を抽出し、統計的学習手法であるＡｄａＢｏｏｓｔにより、対象物体とそれ以外の物体とを判別するための弱識別器を学習し、未知入力画像が対象物か否かを判定している。
【０００４】
また、外界環境を撮像した画像のエッジ情報、動き情報、色情報等の特徴量を自己組織化マップにより次元圧縮した特徴量に基づき、自律的に外界環境の危険度を認識するオンラインリスク学習システムが提案されている（例えば、特許文献１参照）。
【０００５】
また、利用者の注視回数を元に着目度を求め、画像をブロック化して圧縮することにより、利用者の意図を反映した処理、操作性の簡略化、重要な情報を失うことなく高画質、高圧縮を実現する注視点解析装置が提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２３８８３１号公報
【特許文献２】特開平４−２８２１２９号公報
【非特許文献】
【０００７】
【非特許文献１】藤吉弘亘、「一般物体認識のための局所特徴量（ＳＩＦＴとＨＯＧ）」、映像メディアシンポジウム
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記の非特許文献１に記載の技術で用いられるＳＩＦＴ特徴量は、物体の向きや大きさ、明るさの変化に対して頑健であると言われており、それにより構築したｖｉｓｕａｌ  ｗｏｒｄを用いることで、未知入力画像が事前に用意した物体クラスタのどのクラスタに属するかを頑健に判定することができる。このＳＩＦＴ特徴量を運転支援のための走行場面認識に適用する場合には、予め運転に必要な物体毎のクラスタや学習データを事前に用意する必要がある。これは、衝突警報システムや車線逸脱警報システム等の特定の運転支援システムを構築する場合には有用である。しかしながら、現在走行している状況が危険か否かを判定するシステム等や、脇見検出システム等の運転支援システムに適用する場合には、特定の物体ではなく、その場面で運転に必要となるもの全ての情報を抜け漏れなく抽出する必要があり、予め何をクラスタとしておけばよいかが自明ではない、という問題がある。
【０００９】
また、非特許文献１に記載された技術に用いられるＨＯＧ特徴量は、特定の物体検出のための局所特徴量として非常に頑健であると言われており、予め認識したい物体がわかっている場合には、有用である。しかしながら、上記のＳＩＦＴ特徴量の場合と同様に、特定の物体ではなく、その場面で運転に必要となるもの全ての情報を抜け漏れなく抽出する必要がある場合には、認識したい物体を予め与えることは困難である、という問題がある。
【００１０】
また、特許文献１に記載の技術では、環境表現として画像のエッジ情報、動き情報、色情報等を特徴量として用いており、これらの特徴量は、事前にクラスタや学習データを用意しておく必要がなく、未知の物体や状況に対しても表現し得る可能性がある。しかしながら、これらの特徴量は、本質的には運転とは無関係であり、これらの特徴量により、走行場面を表現することは非常に困難である、という問題がある。
【００１１】
また、特許文献２に記載の技術では、注視回数の総和による着目度を算出しているが、運転中においては、環境は時々刻々と変化するため、特定の物体を長時間注視するということは殆ど発生しないことから、注視回数によりその時の着目度を算出することは、走行場面においては適切でない、という問題がある。
【００１２】
本発明は、上記の問題点を解決するためになされたもので、予め認識したい物体が特定されていない場合においても、運転に必要な情報を残したまま、走行場面を圧縮することができる走行場面認識モデル生成装置、運転支援装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、第１の発明の走行場面認識モデル生成装置は、車両周辺の外界環境を撮像した外界環境画像、及びドライバの顔を含む領域を撮像した顔画像に基づいて、ドライバの視線方向を推定し、推定した視線方向に基づいて、前記外界環境画像からドライバの視線先を含む所定領域の視線先画像を抽出する視線先画像抽出手段と、前記視線先画像抽出手段により抽出された視線先画像から第１特徴量を抽出すると共に、前記外界環境画像全体から第２特徴量を抽出する生成用特徴量抽出手段と、前記生成用特徴量抽出手段により抽出された第１特徴量を複数のクラスタに分類し、該複数のクラスタで構成された前記車両の走行場面を認識するための第１モデルを生成する第１生成手段と、前記第１生成手段により生成された第１モデルに含まれるクラスタ各々における前記第１特徴量の出現頻度または出現確率と、前記クラスタ各々における前記第２特徴量の出現頻度または出現確率との比に基づいて、クラスタ毎の重みを算出し、該クラスタ毎の重みで構成され、かつ前記第１モデルと共に前記車両の走行場面を認識するための前記第２モデルを生成する第２生成手段と、を含んで構成されている。
【００１４】
第１の発明の走行場面認識モデル生成装置によれば、視線先画像抽出手段が、車両周辺の外界環境を撮像した外界環境画像、及びドライバの顔を含む領域を撮像した顔画像に基づいて、ドライバの視線方向を推定し、推定した視線方向に基づいて、外界環境画像からドライバの視線先を含む所定領域の視線先画像を抽出する。そして、生成用特徴量抽出手段が、視線先画像抽出手段により抽出された視線先画像から第１特徴量を抽出すると共に、外界環境画像全体から第２特徴量を抽出する。次に、第１生成手段が、生成用特徴量抽出手段により抽出された第１特徴量を複数のクラスタに分類し、分類された複数のクラスタで構成された車両の走行場面を認識するための第１モデルを生成する。また、第２生成手段が、第１生成手段により生成された第１モデルに含まれるクラスタ各々における第１特徴量の出現頻度または出現確率と、クラスタ各々における第２特徴量の出現頻度または出現確率との比に基づいて、クラスタ毎の重みを算出し、該クラスタ毎の重みで構成され、かつ第１モデルと共に車両の走行場面を認識するための第２モデルを生成する。
【００１５】
このように、ドライバの視線先画像から抽出された第１特徴量を分類したクラスタ、及び各クラスタにおける、視線先画像から抽出した第１特徴量の出現頻度または出現確率、及び外界環境画像全体から抽出した第２特徴量の出現頻度または出現確率に基づいて算出したクラスタ毎の重みを、車両の走行場面を認識するためのモデルとして生成するため、予め認識したい物体が特定されていない場合においても、運転に必要な情報を残したまま、走行場面を圧縮することができる。
【００１６】
また、第１の発明の走行場面認識モデル生成装置は、さらに、前記外界環境画像における前記視線先画像と同一サイズの領域から第３特徴量を抽出し、該第３特徴量、前記第１モデル、及び前記第２モデルに基づいて、前記外界環境画像が取得された際の車両の走行場面を認識する生成用認識手段と、前記生成用認識手段により認識された走行場面と、前記外界環境画像が取得された際の車両の走行状態を示す信号とに基づいて、前記走行場面が特定の走行場面か否かを判定するための第３モデルを生成する第３生成手段と、を含んで構成することができる。
【００１７】
また、第１の発明において、前記生成用認識手段は、前記クラスタ毎の重みが予め定めた閾値以上のクラスタに対する前記第３特徴量のクラスタ別の出現頻度ヒストグラムを、前記走行場面として算出することができる。
【００１８】
また、第２の発明の運転支援装置は、前記外界環境画像における前記視線先画像と同一サイズの領域から、認識用特徴量を抽出する認識用特徴量抽出手段と、第１の発明の走行場面認識モデル生成装置により生成された第１モデル及び第２モデルと、前記認識用特徴量抽出手段により抽出された認識用特徴量とに基づいて、前記外界環境画像が取得された際の車両の走行場面を認識する判定用認識手段と、前記判定用認識手段により認識された走行場面に応じて、運転支援を行う支援手段と、を含んで構成することができる。
【００１９】
また、第２の発明において、前記判定用認識手段は、前記クラスタ毎の重みが予め定めた閾値以上のクラスタに対する前記認識用特徴量のクラスタ別の出現頻度ヒストグラムを、前記走行場面として算出し、第１の発明の走行場面認識モデル生成装置により生成された第３モデル、前記判定用認識手段により認識された走行場面、及び前記外界環境画像が取得された際の車両の走行状態を示す信号に基づいて、前記走行場面が特定の走行場面か否かを判定する判定手段を含んで構成することができる。
【００２０】
また、第３の発明の走行場面認識モデル生成装置は、車両周辺の外界環境を撮像した外界環境画像から所定領域の部分画像を抽出する部分画像抽出手段と、前記部分画像抽出手段により抽出された部分画像から第１特徴量を抽出する生成用特徴量抽出手段と、前記生成用特徴量抽出手段により抽出された第１特徴量を複数のクラスタに分類する分類手段と、前記分類手段により分類された複数のクラスタから、認識したい走行場面に応じた車両の走行状態を示す信号との関連性が高い複数のクラスタを選択し、選択された複数のクラスタで構成された前記車両の走行場面を認識するための第１モデルを生成する生成手段と、を含んで構成されている。
【００２１】
第３の発明の走行場面認識モデル生成装置によれば、部分画像抽出手段が、車両周辺の外界環境を撮像した外界環境画像から所定領域の部分画像を抽出し、生成用特徴量抽出手段が、部分画像抽出手段により抽出された部分画像から第１特徴量を抽出する。そして、分類手段が、生成用特徴量抽出手段により抽出された第１特徴量を複数のクラスタに分類し、生成手段が、分類手段により分類された複数のクラスタから、認識したい走行場面に応じた車両の走行状態を示す信号との関連性が高い複数のクラスタを選択し、選択された複数のクラスタで構成された車両の走行場面を認識するための第１モデルを生成する。
【００２２】
このように、外界環境画像における部分画像から抽出される第１特徴量を分類したクラスタのうち、走行状態を示す信号との関連性の高いクラスタを選択して、車両の走行場面を認識するためのモデルとして生成するため、予め認識したい物体が特定されていない場合においても、運転に必要な情報を残したまま、走行場面を圧縮することができる。
【００２３】
また、第３の発明において、前記生成手段は、前記関連性を、劣モジュラ性を満たす関数を用いて算出することができる。また、前記劣モジュラ性を満たす関数を、相互情報量とすることができる。
【００２４】
また、第３の発明において、前記生成手段は、既に選択されたクラスタの集合に、選択されていないクラスタを１つ加えた場合に、１つのクラスタが追加されたクラスタの集合と、前記走行状態を示す信号との関連性を算出し、該関連性が最も高くなるクラスタを追加して、新たな選択されたクラスタの集合とし、クラスタの集合に含まれる要素が予め定めた所定個となるまで、クラスタの追加及び前記関連性の算出を繰り返して、クラスタの選択を行うようにすることができる。
【００２５】
また、第３の発明の走行場面認識モデル生成装置は、さらに、前記外界環境画像における前記部分画像と同一サイズの領域から第３特徴量を抽出し、該第３特徴量及び前記第１モデルに基づいて、前記外界環境画像が取得された際の車両の走行場面を認識する生成用認識手段と、前記生成用認識手段により認識された走行場面と、前記外界環境画像が取得された際の車両の走行状態を示す信号とに基づいて、前記走行場面が特定の走行場面か否かを判定するための第３モデルを生成する第３生成手段と、を含んで構成することができる。
【００２６】
また、第３の発明において、前記生成用認識手段は、前記第１モデルに含まれるクラスタに対する前記第３特徴量のクラスタ別の出現頻度ヒストグラムを、前記走行場面として算出することができる。
【００２７】
また、第４の発明の運転支援装置は、前記外界環境画像における前記部分画像と同一サイズの領域から、認識用の認識用特徴量を抽出する認識用特徴量抽出手段と、第３の発明の走行場面認識モデル生成装置により生成された第１モデルと、前記認識用特徴量抽出手段により抽出された認識用特徴量とに基づいて、前記外界環境画像が取得された際の車両の走行場面を認識する判定用認識手段と、前記判定用認識手段により認識された走行場面に応じて、運転支援を行う支援手段と、を含んで構成することができる。
【００２８】
また、第４の発明において、前記判定用認識手段は、前記第１モデルに含まれるクラスタに対する前記認識用特徴量のクラスタ別の出現頻度ヒストグラムを、前記走行場面として算出し、第３の発明の走行場面認識モデル生成装置により生成された第３モデル、前記判定用認識手段により認識された走行場面、及び前記外界環境画像が取得された際の車両の走行状態を示す信号に基づいて、前記走行場面が特定の走行場面か否かを判定する判定手段を含んで構成することができる。
【００２９】
また、第２の発明及び第４の発明において、前記判定手段は、前記車両の走行状態を示す信号として、該車両の前後加速度を取得し、前記特定の走行場面として、急減速の可能性がある走行場面か否かを判定し、前記支援手段は、前記判定手段により、急減速の可能性がある走行場面であると判定された場合に、警報を出力することができる。
【００３０】
また、第５の発明の走行場面認識モデル生成プログラムは、コンピュータを、第１の発明または第３の発明の走行場面認識モデル生成装置を構成する各手段として機能させるためのプログラムである。
【００３１】
また、第６の発明の運転支援プログラムは、コンピュータを、第２の発明または第４の発明の運転支援装置を構成する各手段として機能させるためのプログラムである。
【発明の効果】
【００３２】
以上説明したように、本発明の走行場面認識モデル生成装置、運転支援装置、及びプログラムによれば、ドライバの視線先画像から抽出された第１特徴量を分類したクラスタ、及び各クラスタにおける、視線先画像から抽出した第１特徴量の出現頻度または出現確率、及び外界環境画像全体から抽出した第２特徴量の出現頻度または出現確率に基づいて算出したクラスタ毎の重みを、車両の走行場面を認識するためのモデルとして生成するため、または、外界環境画像における部分画像から抽出される第１特徴量を分類したクラスタのうち、走行状態を示す信号との関連性の高いクラスタを選択して、車両の走行場面を認識するためのモデルとして生成するため、予め認識したい物体が特定されていない場合においても、運転に必要な情報を残したまま、走行場面を圧縮することができる、という効果が得られる。
【図面の簡単な説明】
【００３３】
【図１】第１の実施の形態に係る運転支援装置の構成を示すブロック図である。
【図２】視線先画像を説明するためのイメージ図である。
【図３】クラスタ別の出現頻度ヒストグラムの一例を示す図である。
【図４】第１の実施の形態に係る運転支援装置における学習処理ルーチンの内容を示すフローチャートである。
【図５】第１の実施の形態における特徴量ＤＢ構築処理ルーチンの内容を示すフローチャートである。
【図６】第１の実施の形態におけるクラスタＤＢ構築処理ルーチンの内容を示すフローチャートである。
【図７】第１の実施の形態におけるクラスタＤＢ構築処理ルーチンの内容を示すフローチャートである。
【図８】第１の実施の形態におけるクラスタ別重みＤＢ構築処理ルーチンの内容を示すフローチャートである。
【図９】第１の実施の形態における危険場面ＤＢ構築処理ルーチンの内容を示すフローチャートである。
【図１０】第１の実施の形態に係る運転支援装置における判定処理ルーチンの内容を示すフローチャートである。
【図１１】第２の実施の形態に係る運転支援装置の構成を示すブロック図である。
【図１２】第２の実施の形態に係る運転支援装置における学習処理ルーチンの内容を示すフローチャートである。
【図１３】第２の実施の形態における特徴量ＤＢ構築処理ルーチンの内容を示すフローチャートである。
【図１４】第２の実施の形態におけるクラスタ選択処理ルーチンの内容を示すフローチャートである。
【図１５】第３の実施の形態に係る運転支援装置の構成を示すブロック図である。
【図１６】第３の実施の形態に係る運転支援装置における学習処理ルーチンの内容を示すフローチャートである。
【発明を実施するための形態】
【００３４】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、車両に搭載され、危険な走行場面において警報を出力する運転支援装置に本発明を適用した場合を例に説明する。
【００３５】
図１に示すように、第１の実施の形態に係る運転支援装置１０は、ＣＣＤカメラ等で構成された車両前方の外界環境を撮像する外界環境撮像装置１２と、ＣＣＤカメラ等で構成されたドライバの顔を含む領域を撮像する顔撮像装置１４と、自車両の加速度を検出する加速度センサ１６と、走行場面が危険か否かを判定する処理を実行するコンピュータ１８と、スピーカや表示装置等で構成され、コンピュータ１８での判定結果に応じて、ドライバに対して警報を出力する警報装置２０とを備えている。
【００３６】
コンピュータ１８は、ＣＰＵと、ＲＡＭと、後述する学習処理ルーチン及び判定処理ルーチンを含む運転支援処理を実行するためのプログラムを記憶したＲＯＭとを備えており、機能的には、学習部３０及び判定部７０を含んだ構成で表すことができる。
【００３７】
学習部３０は、さらに、視線方向推定部３２と、視線先画像抽出部３４と、特徴量Ａ抽出部３６と、特徴量Ｂ抽出部３８と、クラスタデータベース（ＤＢ）構築部４２と、クラスタ別重みＤＢ構築部４６と、特徴量Ｃ抽出部５０と、場面認識部５２と、危険場面ＤＢ構築部５４とを含んだ構成で表すことができる。学習部３０は、危険場面の判定処理において用いられるクラスタＤＢ４４、クラスタ別重みＤＢ４８、及び危険場面ＤＢ５６を学習により構築する。なお、学習部３０が、本発明の走行場面認識モデル生成装置の一例である。
【００３８】
視線方向推定部３２は、外界環境撮像装置１２で撮像された外界環境画像、及び顔撮像装置１４で撮像された顔画像に基づいて、ドライバの視線方向を推定する。視線方向の推定には、従来既知の技術を用いることができるため、詳細な説明を省略する。
【００３９】
視線先画像抽出部３４は、視線方向推定部３２により推定された視線方向に基づいて、外界環境画像からドライバの視線先を含む所定範囲の領域を、視線先画像として抽出する。例えば、図２に示すように、取得された外界環境画像から、視線方向推定部３２において推定されたドライバの視線先を中心とした領域を、視線先画像として抽出することができる。
【００４０】
特徴量Ａ抽出部３６は、視線先画像抽出部３４により抽出された視線先画像から、一般画像認識に一般的に用いられるＳＩＦＴ特徴量（「D.Lowe, “Distinctive image feature from scale-invariant keypoints”, Proc. Of International Journal of Computer Vision(IJCV), 60(2), pp.91-110, 2004」参照）を抽出する。視線先画像から抽出される複数の特徴点をキーポイントとし、各キーポイントにおけるＳＩＦＴ特徴量のリストを特徴量リストＡとして、キーポイントの外界環境画像内における位置及び外界環境画像ＩＤと組みにして、特徴量ＤＢ４０に蓄積する。
【００４１】
特徴量Ｂ抽出部３８は、特徴量Ａ抽出部３６と同様の手法により、外界環境画像全体からＳＩＦＴ特徴量を抽出し、各キーポイントにおけるＳＩＦＴ特徴量のリストを特徴量リストＢとして、キーポイントの外界環境画像内における位置及び外界環境画像ＩＤと組みにして、特徴量ＤＢ４０に蓄積する。
【００４２】
クラスタＤＢ構築部４２は、特徴量ＤＢ４０に蓄積された特徴量リストＡをクラスタリングし、クラスタ毎の代表ベクトルをクラスタＤＢ４４に格納する。
【００４３】
具体的には、まず、全特徴量リストＡの集合に含まれる各ＳＩＦＴ特徴量ｘｉ（ｉ＝１，・・・，ｎ、ｎはＳＩＦＴ特徴量の総数）に対して、ランダムにｋ個（初期値は１）のクラスタに割り当てる。そして、各クラスタＫｊについて、代表ベクトルＣｊ（ｊ＝１，・・・，ｋ）を、下記（１）式により算出する。
【００４４】
【数１】
0005360143.tif 000002
【００４５】
ただし、｜Ｋｊ｜はクラスタＫｊに含まれるＳＩＦＴ特徴量の数である。
【００４６】
次に、全てのＳＩＦＴ特徴量ｘｉについて、各クラスタＫｊとの距離ｄｉｊを、下記（２）式により算出し、距離ｄｉｊが最小となるクラスタＫｊに各ＳＩＦＴ特徴量ｘｉを割り当てる。
【００４７】
【数２】
0005360143.tif 000003
【００４８】
ただし、ｌはＳＩＦＴ特徴量の次元であり、ｌ＝１，・・・，１２８である。
【００４９】
全てのＳＩＦＴ特徴量についてのクラスタへの割り当てに変化がなくなるまでクラスタリングを繰り返す。クラスタへの割り当てに変化がなくなった場合には、距離ｄｉｊの最大値が所定の閾値Ｔｈｄより大きいか否かを判定し、距離ｄｉｊの最大値がＴｈｄより大きい場合には、クラスタ数を増加させながら（ｋ←ｋ＋１）、クラスタリングを繰り返す。距離ｄｉｊの最大値がＴｈｄ以下となった場合には、そのときのクラスタの代表ベクトルＣｊを、ｖｉｓｕａｌ  ｗｏｒｄとして、クラスタＤＢ４４に格納する。
【００５０】
次に、各特徴量リストＡｉ（ｉ＝１，・・・，Ｎ、Ｎは特徴量リストＡの総数）に対して、全ＳＩＦＴ特徴量Ｓｉｊ（ｊ＝１，・・・，ｐｉ）について、下記（３）式の距離ｄｉｊｌが最小である代表ベクトルがＣｌ（ｌ＝１，・・・，ｋ、ｋは上記のｖｉｓｕａｌ  ｗｏｒｄの数）である頻度により算出されるｋ次元のヒストグラムｈｉを算出する。
【００５１】
【数３】
0005360143.tif 000004
【００５２】
ただし、ｑはＳＩＦＴ特徴量の次元であり、ｑ＝１，・・・，１２８である。
【００５３】
そして、各特徴量リストＡｉについて、ランダムにｍ個（初期値は１）のクラスタに割り当てる。そして、各クラスタｖｒについて、代表ベクトルＶｒ（ｒ＝１，・・・，ｍ）を、下記（４）式により算出する。
【００５４】
【数４】
0005360143.tif 000005
【００５５】
ただし、｜ｖｒ｜はクラスタｖｒに含まれる特徴量リストＡの数である。
【００５６】
次に、全ての特徴量リストＡｉについて、代表ベクトルＶｒとの距離Ｄｉｒを、下記（５）式により算出し、距離Ｄｉｒが最小となるクラスタｖｒに各特徴量リストＡｉを割り当てる。
【００５７】
【数５】
0005360143.tif 000006
【００５８】
ただし、ｓはヒストグラムの次元である。
【００５９】
全ての特徴量リストについてのクラスタへの割り当てに変化がなくなるまでクラスタリングを繰り返す。クラスタへの割り当てに変化がなくなった場合には、距離Ｄｉｒの最大値が所定の閾値Ｔｈｒ以下か否かを判定し、距離Ｇｉｒの最大値がＴｈｒ以下ではない場合には、クラスタ数を増加させながら（ｍ←ｍ＋１）、クラスタリングを繰り返す。距離Ｄｉｒの最大値がＴｈｒ以下となった場合には、そのときのクラスタの代表ベクトルＶｒを、各クラスタの代表ベクトルとして、クラスタＤＢ４４に格納する。
【００６０】
クラスタ別重みＤＢ構築部４６は、特徴量リストＡ及び特徴量リストＢの各クラスタｖｒの出現確率に基づいて、クラスタ別の重みを算出する。
【００６１】
具体的には、特徴量ＤＢ４０に蓄積された特徴量リストＢに基づいて、全外界環境画像に対して、所定範囲の画像（以下、部分画像という）を、所定量（例えば、１画素）ずつ縦または横に移動しながら抽出した場合における、各部分画像に対応するキーポイントを抽出する。部分画像のサイズは、視線先画像と同一のサイズとする。特徴量リストＢには、キーポイントの位置及び外界環境画像ＩＤが対応付けられているため、これに基づいて、各部分画像のキーポイントを抽出することができる。そして、各部分画像に含まれるキーポイントが全て同一である部分画像は、１つだけ残して消去する。残った各部分画像について、特徴量リストＢに基づいて、各部分画像に含まれるキーポイントにおけるＳＩＦＴ特徴量のリストである特徴量リストＢ’を生成する。そして、上記（５）式により、各部分画像の特徴量リストＢ’との距離が最小となるクラスタを求め、そのクラスタの出現回数Ｔｗに１を加算し、各クラスタの出現回数Ｔｗを部分画像の総数で割った値を出現確率Ｐｗとして算出する。
【００６２】
また、特徴量ＤＢ４０に蓄積された視線先画像に基づく特徴量リストＡについても、同様に、上記（５）式により、各視線先画像の特徴量リストＡとの距離が最小となるクラスタを求め、そのクラスタの出現回数Ｔｇに１を加算し、各クラスタの出現回数Ｔｇを視線先画像の総数で割った値を出現確率Ｐｇとして算出する。そして、クラスタ別重みｗを、ｗ＝Ｐｇ／Ｐｗとして算出して、クラスタ別重みＤＢ４８に格納する。
【００６３】
特徴量Ｃ抽出部５０は、特徴量Ｂ抽出部３８と同様に、逐次走行中に撮像された外界環境画像について、ＳＩＦＴ特徴量を抽出し、各キーポイントにおけるＳＩＦＴ特徴量のリストである特徴量リストＣを生成する。
【００６４】
場面認識部５２は、外界環境画像に対して、部分画像を、所定量（例えば、１画素）ずつ縦または横に移動しながら抽出し、各部分画像からキーポイント及びＳＩＦＴ特徴量を抽出する。ここで、部分画像のサイズは、視線先画像と同一のサイズとする。各部分画像に含まれるキーポイントが全て同一である部分画像は、１つだけ残して消去する。残った各部分画像について、各部分画像に含まれるキーポイントにおけるＳＩＦＴ特徴量のリストである特徴量リストＣ’を構築する。そして、クラスタＤＢ４４に格納された各クラスタの代表ベクトルを用いて、上記（５）式により、各部分画像の特徴量リストＣ’との距離が最小となるクラスタを求める。また、クラスタ別重みＤＢ４８を参照して、クラスタ重みが閾値Ｔｈｗ以上のクラスタの出現頻度を求め、クラスタ別の出現頻度ヒストグラムを算出する。図３に、クラスタ別の出現頻度ヒストグラムの一例を示す。
【００６５】
また、場面認識部５２は、逐次走行場面において算出されたクラスタ別の出現頻度ヒストグラムについて、時刻ｔに算出されたヒストグラムをｈ（ｔ）とし、これを時刻ｔにおける状態（走行場面）として認識する。
【００６６】
危険場面ＤＢ構築部５４は、加速度センサ１６により検出された自車両の前後加速度を取得し、時刻ｔの加速度が閾値Ｔｈａ以下である急減速を示している場合には、Ｔｒ（ｈ）に１を加算する。ただし、Ｔｒ（ｈ）は走行場面ｈ（ｔ）における急減速発生回数を表す。Ｔｒ（ｈ）を、走行場面ｈ（ｔ）における全判定回数である急減速発生判定回数Ｔｗ（ｈ）で割って、Ｔｒ（ｈ）／Ｔｗ（ｈ）を走行場面ｈ（ｔ）における危険度Ｒ（ｈ）として、危険場面ＤＢ５６に格納する。
【００６７】
判定部７０は、さらに、特徴量Ｃ抽出部７２と、場面認識部７４と、危険場面判定部７６とを含んだ構成で表すことができる。判定部７０は、構築されたクラスタＤＢ４４、クラスタ重みＤＢ４８、及び危険場面ＤＢ５６に基づいて、実際の走行場面が危険か否かを判定する。
【００６８】
特徴量Ｃ抽出部７２は、学習部３０の特徴量Ｃ抽出部５０と同様に、逐次走行中に撮像された外界環境画像について、キーポイント及びＳＩＦＴ特徴量を抽出する。
【００６９】
場面認識部７４は、学習部３０の場面認識部５２と同様に、特徴量Ｃ抽出部７２で抽出されたＳＩＦＴ特徴量により構築される特徴量リストＣに基づいて、クラスタＤＢ４４及びクラスタ重みＤＢ４８を参照して、クラスタ別の出現頻度ヒストグラムを時刻ｔにおける走行場面として算出する。
【００７０】
危険場面判定部７６は、場面認識部７４で算出された走行場面を表すクラスタ別の出現頻度ヒストグラムｈ（ｔ）に対応する危険度Ｒ（ｈ）を、危険度ＤＢ５６から取得する。そして、危険度Ｒ（ｈ）が予め定めた閾値ＴｈＲより大きい場合には、急減速する可能性が高い危険場面であると判定して、ドライバに対して警報を出力するように警報装置２０を制御する。
【００７１】
次に、第１の実施の形態に係る運転支援装置１０の作用について説明する。第１の実施の形態の運転支援装置１０では、学習部３０において、各データベースを構築する学習処理が実行され、また、判定部７０において、実際の走行時における危険場面の判定処理が実行される。
【００７２】
まず、図４を参照して、学習処理ルーチンについて説明する。
【００７３】
ステップ１００で、後述する特徴量ＤＢ構築処理を実行し、ステップ２００で、後述するクラスタＤＢ構築処理を実行し、ステップ３００で、後述するクラスタ別重みＤＢ構築処理を実行し、ステップ４００で、後述する危険場面ＤＢ構築処理を実行して、処理を終了する。
【００７４】
次に、図５を参照して、特徴量ＤＢ構築処理ルーチンについて説明する。
【００７５】
ステップ１０２で、外界環境撮像装置１２で撮像された外界環境画像、及び顔撮像装置１４で撮像された顔画像を取得し、次に、ステップ１０４で、ドライバの視線方向を推定する。次に、ステップ１０６で、上記ステップ１０４で推定された視線方向に基づいて、外界環境画像からドライバの視線先を含む所定範囲の領域を、視線先画像として抽出する。
【００７６】
次に、ステップ１０８で、上記ステップ１０６で抽出された視線先画像から、ＳＩＦＴ特徴量を抽出し、各キーポイントにおけるＳＩＦＴ特徴量のリストである特徴量リストＡを生成する。また、上記ステップ１０２で取得された外界環境画像全体から、ＳＩＦＴ特徴量を抽出し、各キーポイントにおけるＳＩＦＴ特徴量のリストである特徴量リストＢを生成する。
【００７７】
次に、ステップ１１０で、上記ステップ１０８で生成した特徴量リストＡ及び特徴量リストＢ各々について、キーポイントの外界環境画像内における位置及び外界環境画像ＩＤと組みにして、特徴量ＤＢ４０に格納して、リターンする。
【００７８】
次に、図６及び図７を参照して、クラスタＤＢ構築処理ルーチンについて説明する。
【００７９】
ステップ２０２で、全特徴量リストＡの集合に含まれる各ＳＩＦＴ特徴量ｘｉ（ｉ＝１，・・・，ｎ、ｎはＳＩＦＴ特徴量の総数）をクラスタリングするためのクラスタ数を表す変数ｋに１をセットし、次に、ステップ２０４で、全特徴量リストＡの集合に含まれる各ＳＩＦＴ特徴量ｘｉに対して、ランダムにｋ個のクラスタを割り当てる。
【００８０】
次に、ステップ２０６で、各クラスタＫｊについて、代表ベクトルＣｊ（ｊ＝１，・・・，ｋ）を、（１）式により算出し、次に、ステップ２０８で、全てのＳＩＦＴ特徴量ｘｉについて、各クラスタＫｊとの距離ｄｉｊを、（２）式により算出し、距離ｄｉｊが最小となるクラスタＫｊに各ＳＩＦＴ特徴量ｘｉを割り当てる。
【００８１】
次に、ステップ２０９で、上記ステップ２０８において再割り当てされたＳＩＦＴ特徴量ｘｉが存在するか否か、すなわち、全てのＳＩＦＴ特徴量ｘｉについてのクラスタへの割り当てに変化がなくなったか否かを判定する。クラスタへの割り当てに変化があった場合には、ステップ２０６へ戻って、代表ベクトルの算出及びクラスタの再割り当てを繰り返し、クラスタへの割り当てに変化がなくなった場合には、ステップ２１２へ移行する。
【００８２】
ステップ２１２では、上記ステップ２０８で得られた距離ｄｉｊの最大値が所定の閾値Ｔｈｄより大きいか否かを判定する。距離ｄｉｊの最大値がＴｈｄより大きい場合には、ステップ２１４へ移行して、変数ｋを１インクリメントして、ステップ２０４へ戻る。距離ｄｉｊの最大値がＴｈｄ以下となった場合には、ステップ２１６へ移行して、そのときのクラスタの代表ベクトルＣｊを、ｖｉｓｕａｌ  ｗｏｒｄとして、クラスタＤＢ４４に格納する。
【００８３】
次に、ステップ２１７で、各特徴量リストＡｉ（ｉ＝１，・・・，Ｎ、Ｎは特徴量リストＡの総数）をクラスタリングするためのクラスタ数を表す変数ｍに１をセットする。
【００８４】
次に、ステップ２２０で、各特徴量リストＡｉに対して、全ＳＩＦＴ特徴量Ｓｉｊ（ｊ＝１，・・・，ｐｉ）について、（３）式の距離ｄｉｊｌが最小である代表ベクトルがＣｌ（ｌ＝１，・・・，ｋ、ｋは上記のｖｉｓｕａｌ  ｗｏｒｄの数）である頻度により算出されるｋ次元のヒストグラムｈｉを算出する。
【００８５】
次に、ステップ２２２で、各特徴量リストＡｉについて、ランダムにｍ個のクラスタを割り当てる。次に、ステップ２２４で、各クラスタｖｒについて、代表ベクトルＶｒ（ｒ＝１，・・・，ｍ）を、（４）式により算出し、次に、ステップ２２６で、全ての特徴量リストＡｉについて、代表ベクトルＶｒとの距離Ｄｉｒを、（５）式により算出し、距離Ｄｉｒが最小となるクラスタｖｒに各特徴量リストＡｉを割り当てる。
【００８６】
次に、ステップ２２８で、上記ステップ２２６において再割り当てされた特徴量リストＡｉが存在するか否か、すなわち、全ての特徴量リストＡｉについてのクラスタへの割り当てに変化がなくなったか否かを判定する。クラスタへの割り当てに変化があった場合には、ステップ２２４へ戻って、代表ベクトルの算出及びクラスタの再割り当てを繰り返し、クラスタへの割り当てに変化がなくなった場合には、ステップ２２９へ移行する。
【００８７】
ステップ２２９では、上記ステップ２２６で得られた距離Ｄｉｒの最大値が所定の閾値ＴｈＤより大きいか否かを判定する。距離Ｄｉｒの最大値がＴｈＤより大きい場合には、ステップ２３２へ移行して、変数ｍを１インクリメントして、ステップ２２０へ戻る。距離Ｄｉｒの最大値がＴｈＤ以下となった場合には、ステップ２３４へ移行して、そのときのクラスタの代表ベクトルＶｒを、各クラスタの代表ベクトルとして、クラスタＤＢ４４に格納して、リターンする。
【００８８】
次に、図８を参照して、クラスタ別重みＤＢ構築処理ルーチンについて説明する。
【００８９】
ステップ３０２で、特徴量ＤＢ４０に蓄積された特徴量リストＢに基づいて、全外界環境画像に対して、部分画像を、所定量（例えば、１画素）ずつ縦または横に移動しながら抽出した場合における、各部分画像に対応するキーポイントを抽出する。次に、ステップ３０４で、各部分画像に含まれるキーポイントが全て同一である部分画像は、１つだけ残して消去する。
【００９０】
次に、ステップ３０６で、残った各部分画像について、特徴量リストＢに基づいて、各部分画像に含まれるキーポイントにおけるＳＩＦＴ特徴量のリストである特徴量リストＢ’を生成する。次に、ステップ３０８で、（５）式により、各部分画像の特徴量リストＢ’との距離が最小となるクラスタを求め、そのクラスタの出現回数Ｔｗに１を加算し、次に、ステップ３０９で、各クラスタの出現回数Ｔｗを部分画像の総数で割って、出現確率Ｐｗを算出する。
【００９１】
次に、ステップ３１２で、特徴量ＤＢ４０に蓄積された特徴量リストＡを読み出す。次に、ステップ３１４で、（５）式により、特徴量リストＡとの距離が最小となるクラスタを求め、そのクラスタの出現回数Ｔｇに１を加算し、次に、ステップ３１６で、各クラスタの出現回数Ｔｇを視線先画像の総数で割って、出現確率Ｐｇを算出する。
【００９２】
次に、ステップ３１７で、上記ステップ３１６で算出した出現確率Ｐｇを、上記ステップ３０９で算出した出現確率Ｐｗで割って、クラスタ別重みｗを算出し、次に、ステップ３２０で、算出したクラスタ重みｗをクラスタ重みＤＢ４８に格納して、リターンする。
【００９３】
次に、図９を参照して、危険場面ＤＢ構築処理ルーチンについて説明する。
【００９４】
ステップ４０２で、外界環境撮像装置１２で撮像された外界環境画像、及び加速度センサ１６で検出された自車両の前後加速度を取得する。
【００９５】
次に、ステップ４０４で、特徴量ＤＢ構築処理において、特徴量リストＢを生成したのと同様の処理により、上記ステップ４０２で取得した外界環境画像について、ＳＩＦＴ特徴量を抽出し、各キーポイントにおけるＳＩＦＴ特徴量のリストである特徴量リストＣを生成する。
【００９６】
次に、ステップ４０６で、上記ステップ４０４で生成した特徴量リストＣに基づいて、全外界環境画像に対して、部分画像を、所定量（例えば、１画素）ずつ縦または横に移動しながら抽出し、各部分画像に対応するキーポイントを抽出する。次に、ステップ４０８で、各部分画像に含まれるキーポイントが全て同一である部分画像は、１つだけ残して消去する。
【００９７】
次に、ステップ４１０で、残った各部分画像について、特徴量リストＣに基づいて、各部分画像に含まれるキーポイントにおけるＳＩＦＴ特徴量のリストである特徴量リストＣ’を生成する。次に、ステップ４１２で、（５）式により、各部分画像の特徴量リストＣ’との距離が最小となるクラスタを同定する。
【００９８】
次に、ステップ４１４で、上記ステップ４１２で、各特徴量リストＣ’についてクラスタを同定することにより得られるクラスタ別の出現頻度であって、クラスタ別重みＤＢ４８を参照して、クラスタ重みが閾値Ｔｈｗ以上のクラスタの出現頻度を求め、クラスタ別の出現頻度ヒストグラムｈ（ｔ）を算出し、これを時刻ｔにおける走行場面として認識する。
【００９９】
次に、ステップ４１６で、上記ステップ４０２で取得した時刻ｔの加速度が、閾値Ｔｈａより小さいか否かを判定する。加速度＜Ｔｈａの場合には、時刻ｔの加速度が急減速を示していると判定して、ステップ４１８へ移行して、急減速発生回数Ｔｒ（ｈ）に１を加算する。加速度≧Ｔｈａの場合には、ステップ４１８をスキップしてステップ４２０へ移行する。
【０１００】
ステップ４２０では、走行場面ｈ（ｔ）において、急減速が発生したか否かを判定した全判定回数である急減速発生判定回数Ｔｗ（ｈ）に１を加算する。次に、ステップ４２２で、危険度Ｒ（ｈ）＝Ｔｒ（ｈ）／Ｔｗ（ｈ）を算出して、次に、ステップ４２４で、算出した走行場面ｈ（ｔ）における危険度Ｒ（ｈ）を危険場面ＤＢ５６に格納して、リターンする。
【０１０１】
次に、図１０を参照して、判定処理ルーチンについて説明する。本ルーチンは、上記の学習処理により、クラスタＤＢ４４、クラスタ重み別ＤＢ４６、及び危険場面ＤＢ５６が構築された後に、実際の走行時において実行される。
【０１０２】
ステップ５０２で、外界環境撮像装置１２で撮像された外界環境画像を取得し、次に、ステップ４０４〜４１４で、危険場面ＤＢ構築処理のステップ４０４〜４１４と同様の処理を実行して、クラスタ別出現頻度ヒストグラムｈ（ｔ）を算出する。
【０１０３】
次に、ステップ５０４で、上記ステップ４１４で算出されたクラスタ別の出現頻度ヒストグラムｈ（ｔ）に対応する危険度Ｒ（ｈ）を、危険度ＤＢ５６から取得する。次に、ステップ５０６で、上記ステップ５０４で取得した危険度Ｒ（ｈ）が、予め定めた閾値ＴｈＲより大きいか否かを判定する。Ｒ（ｈ）＞ＴｈＲの場合には、現在の走行場面は、急減速する可能性が高い危険場面であると判定して、ステップ５０８へ移行して、ドライバに対して警報を出力するように警報装置２０を制御する。一方、Ｒ（ｈ）≦ＴｈＲの場合には、現在の走行場面は、危険場面ではないと判定して、ステップ５０８をスキップして、処理を終了する。
【０１０４】
以上説明したように、第１の実施の形態の運転支援装置によれば、ドライバが運転を適切に行うためには、認知、判断、操作を適切に行う必要があり、ドライバが正しく運転するためには、運転に必要な情報を高い確率で見ていると考えられることに着目し、ドライバの視線先画像から抽出される特徴量をクラスタリングしたクラスタにより走行場面を表現している。また、各クラスタにおける、視線先画像から抽出した特徴量が存在する確率、及び全体画像から抽出した特徴量が存在する確率に基づいて、クラスタ毎に重み付けを行うため、運転に必要な情報を残したまま、場面表現を圧縮することができる。
【０１０５】
また、特徴量のクラスタリングや重み付けは、自動で行われるため、従来技術のように認識すべき事物（自転車、歩行者など）を特定することなく、運転に必要な特徴量を抽出することができる。
【０１０６】
なお、第１の実施の形態では、クラスタ別の重みを、各クラスタについて、特徴量リストＡの出現確率／特徴量リストＢの出現確率として算出する場合について説明したが、各クラスタが特徴量リストＡに存在する確率、Ｂに存在する確率、Ａに存在しない確率、Ｂに存在しない確率を用いて、重みを算出してもよい。また、出現確率に代えて、出現頻度を用いてもよい。
【０１０７】
次に、第２の実施の形態について説明する。なお、第２の実施の形態の運転支援装置について、第１の実施の形態の運転支援装置１０と同一の構成については、同一符号を付して詳細な説明は省略する。
【０１０８】
図１１に示すように、第２の実施の形態に係る運転支援装置２１０は、外界環境撮像装置１２と、加速度センサ１６と、コンピュータ２１８と、警報装置２０とを備えている。
【０１０９】
コンピュータ２１８は、機能的には、学習部２３０と、判定部２７０とを含んだ構成で表すことができ、学習部２３０は、さらに、部分画像抽出部６０と、特徴量Ａ抽出部２３６と、クラスタＤＢ構築部４２と、クラスタ選択部６２と、特徴量Ｃ抽出部５０と、場面認識部５２と、危険場面ＤＢ構築部５４とを含んだ構成で表すことができる。学習部２３０は、危険場面の判定処理において用いられるクラスタ集合ＤＢ６４、及び危険場面ＤＢ５６を学習により構築する。なお、学習部２３０が、本発明の走行場面認識モデル生成装置の一例である。また、判定部２７０は、さらに、特徴量Ｃ抽出部７２と、場面認識部２７４と、危険場面判定部７６とを含んだ構成で表すことができる。
【０１１０】
部分画像抽出部６０は、外界環境撮像装置１２により撮像された外界環境画像に対して、部分画像を、所定量（例えば、１画素）ずつ縦または横に移動しながら抽出する。
【０１１１】
特徴量Ａ抽出部２３６は、第１の実施の形態の特徴量Ａ抽出部３６と同様の処理により、部分画像抽出部６０により抽出された部分画像からＳＩＦＴ特徴量を抽出して、各キーポイントにおけるＳＩＦＴ特徴量のリストを特徴量リストＡとして、キーポイントの外界環境画像内における位置、外界環境画像ＩＤ、外界環境画像内における部分画像の位置ＩＤ、及び加速度センサ１６で検出されたその時刻の自車両の加速度と組みにして、特徴量ＤＢ４０に蓄積する。
【０１１２】
クラスタＤＢ構築部４２は、第１の実施の形態のクラスタＤＢ構築部４２と同様の処理により、特徴量ＤＢ４０に蓄積された特徴量リストＡをクラスタリングし、クラスタ毎の代表ベクトルを、（４）式により算出し、クラスタＤＢ４４に格納する。以下、（４）式内のｒのことを、クラスタＩＤと呼ぶ。
【０１１３】
クラスタ選択部６２は、クラスタＤＢ４４に格納されたクラスタのうち、危険場面の判定に用いるクラスタｍ個を、急減速との相互情報量に基づいて選択する。
【０１１４】
具体的には、特徴量ＤＢ４０に蓄積された特徴量リストＡから、外界環境画像ＩＤｉを持つ特徴量リストＡｉｊ（ｊは部分画像の位置ＩＤ）を抽出し、抽出された各特徴量リストＡｉｊについて、距離が最小となるクラスタの代表ベクトルＶｊｋ（ｋはクラスタＩＤ）を求める。
【０１１５】
次に、選択されたクラスタの集合Ｕを空集合とし、集合Ｕに含まれない代表ベクトルＶｊｋを１つ加えた集合Ｕｊｋを生成する。各Ｕｊｋについて、急減速（前後加速度が所定の閾値以下の減速）Ｄとの相互情報量Ｉ（Ｕｊｋ；Ｄ）を算出する。より具体的には、特徴量ＤＢ４０に特徴量リストＡに対応付けて蓄積された加速度の情報を用いて、その加速度が急減速Ｄである確率Ｐ（Ｄ）＝＃Ｄ／＃Ｎを算出する。ただし、＃Ｄは急減速が発生した外界環境画像の総数、＃Ｎは外界環境画像の総数である。
【０１１６】
次に、特徴量ＤＢ４０に蓄積された情報に基づいて、Ｐ（Ｄ｜Ｕｊｋ）＝＃Ｄｊｋ／＃Ｎｊｋを算出する。ただし、＃Ｄｊｋは集合Ｕｊｋに含まれるクラスタに属する特徴量リストＡを抽出した外界環境画像を取得したときに急減速が発生した総数であり、＃Ｎｊｋは集合Ｕｊｋに含まれる特徴量リストＡの総数である。
【０１１７】
そして、上記で求めたＰ（Ｄ）及びＰ（Ｄ｜Ｕｊｋ）を用いて、相互情報量Ｉ（Ｕｊｋ；Ｄ）を、下記（６）式により算出する。
【０１１８】
I(Ujk;D)=P(D)logP(D)+(1-P(D))log(1-P(D|Ujk))
- P(D|Ujk)logP(D|Ujk)-(1-P(D|Ujk)) log(1-P(D|Ujk))     （６）
【０１１９】
次に、相互情報量Ｉ（Ｕｊｋ；Ｄ）が最大となる集合Ｕｊｋを新たな集合Ｕとし、集合Ｕに含まれる要素数がｍ未満であれば、集合Ｕｊｋに代表ベクトルを１つ加えて、処理を繰り返す。要素数がｍ以上となった場合には、クラスタ集合Ｕをクラスタ集合ＤＢ６４に格納する。
【０１２０】
学習部２３０の場面認識部２５２、及び判定部２７０の場面認識部２７４は、クラスタ別の出現頻度ヒストグラムを算出する際に、クラスタ別の重みが閾値以上のクラスタを用いるのではなく、クラスタ選択部６２により選択され、クラスタ集合ＤＢ６４に格納されたクラスタ集合Ｕを用いる点が、第１の実施の形態の場面認識部５２及び７４と異なる。
【０１２１】
次に、第２の実施の形態に係る運転支援装置２１０の作用について説明する。第２の実施の形態の運転支援装置２１０では、学習部２３０において、各データベースを構築する学習処理が実行され、また、判定部２７０において、実際の走行時における危険場面の判定処理が実行される。
【０１２２】
まず、図１２を参照して、学習処理ルーチンについて説明する。なお、第１の実施の形態の学習処理と同一の処理については、同一符号を付して、詳細な説明を省略する。
【０１２３】
ステップ２１００で、後述する特徴量ＤＢ構築処理を実行し、ステップ２００で、クラスタＤＢ構築処理を実行し、ステップ６００で、後述するクラスタ選択処理を実行し、ステップ４００で、危険場面ＤＢ構築処理を実行して、処理を終了する。
【０１２４】
次に、図１３を参照して、第２の実施の形態における特徴量ＤＢ構築処理ルーチンについて説明する。
【０１２５】
ステップ２１０２で、外界環境撮像装置１２で撮像された外界環境画像、及び加速度センサ１６で検出された自車両の前後加速度を取得し、次に、次に、ステップ２１０６で、上記ステップ２１０２で取得された外界環境画像から部分画像を抽出する。次に、ステップ２１０８で、上記ステップ２１０６で抽出された各部分画像から、ＳＩＦＴ特徴量を抽出し、各キーポイントにおけるＳＩＦＴ特徴量のリストである特徴量リストＡを生成し、次に、ステップ２１１０で、上記ステップ２１０８で生成した特徴量リストＡについて、キーポイントの外界環境画像内における位置、外界環境画像ＩＤ、外界環境画像内における部分画像の位置ＩＤ、及び上記ステップ２１０２で取得したその時刻の自車両の加速度と組みにして、特徴量ＤＢ４０に格納して、リターンする。
【０１２６】
第２の実施の形態のクラスタＤＢ構築処理は、クラスタリングする特徴量リストＡが、第１の実施の形態のクラスタＤＢ構築処理においては、視線先画像から抽出したＳＩＦＴ特徴量に基づく特徴量リストＡであったのに対し、第２の実施の形態では、部分画像から抽出したＳＩＦＴ特徴量に基づく特徴量リストＡとなる点が異なるだけであるので、詳細な説明を省略する。
【０１２７】
次に、図１４を参照して、クラスタ選択処理ルーチンについて説明する。
【０１２８】
ステップ６０２で、特徴量ＤＢ４０に蓄積された特徴量リストＡを読み出し、次に、ステップ６０４で、外界環境画像ＩＤｉを持つ特徴量リストＡｉｊ（ｊは部分画像の位置ＩＤ）を抽出し、抽出された各特徴量リストＡｉｊについて、距離が最小となるクラスタの代表ベクトルＶｊｋ（ｋはクラスタＩＤ）を求める。
【０１２９】
次に、ステップ６０６で、選択されたクラスタの集合ＵをＵ＝０（空集合）とし、次に、ステップ６０８で、集合Ｕに含まれない代表ベクトルＶｊｋを１つ加えた集合Ｕｊｋを生成する。
【０１３０】
次に、ステップ６１０で、特徴量ＤＢ４０に特徴量リストＡに対応付けて蓄積された加速度の情報を用いて、集合Ｕｊｋについて、急減速Ｄとの相互情報量Ｉ（Ｕｊｋ；Ｄ）を、（６）式により算出する。
【０１３１】
次に、ステップ６１２で、相互情報量Ｉ（Ｕｊｋ；Ｄ）が最大となる集合Ｕｊｋを新たな集合Ｕとする。次に、ステップ６１４で、集合Ｕに含まれる要素数がｍ未満か否かを判定する。集合Ｕの要素数＜ｍであれば、ステップ６０８へ戻って、集合Ｕｊｋに代表ベクトルを１つ加えて、処理を繰り返す。集合Ｕの要素数≧ｍの場合には、ステップ６１６へ移行して、クラスタ集合Ｕをクラスタ集合ＤＢ６４に格納して、リターンする。
【０１３２】
第２の実施の形態の危険場面ＤＢ構築処理は、第１の実施の形態の危険場面ＤＢ構築処理のステップ４１４で、クラスタ別の出現頻度ヒストグラムを算出する際に、クラスタ別の重みが閾値以上のクラスタを用いたのに対し、第２の実施の形態では、上記クラスタ選択処理のステップ６１６で、クラスタ集合ＤＢ６４に格納されたクラスタ集合Ｕを用いる点が異なるだけであるので、詳細な説明を省略する。
【０１３３】
また、第２の実施の形態の判定処理についても、第１の実施の形態の判定処理では、クラスタＤＢ４４及びクラスタ別重みＤＢ４８を用いて走行場面を認識したのに対して、第２の実施の形態では、クラスタ集合ＤＢ６４を用いる点が異なるだけであるので、詳細な説明を省略する。
【０１３４】
以上説明したように、第２の実施の形態の運転支援装置によれば、ドライバが運転を適切に行うためには、認知、判断、操作を適切に行っていることに着目し、部分画像から抽出される特徴量をクラスタリングしたクラスタのうち、走行状態を示す信号（本実施の形態では加速度）との関連性の高いクラスタの集合により走行場面を表現している。これにより、運転に必要な情報を残したまま、場面表現を圧縮することができる。
【０１３５】
また、選択されたクラスタの集合に１つずつクラスタを追加するという方法でクラスタを自動的に選択するため、設計者が予めクラスタを選択する必要がない。
【０１３６】
また、運転支援を行うための指標となる走行状態を示す信号との関連性に基づいて、走行場面を表現するためのクラスタを選択するため、より適切に走行場面を表現することができる。
【０１３７】
なお、第２の実施の形態では、選択されたクラスタ集合と走行状態を示す信号（加速度）との関連性を相互情報量で算出する場合について説明したが、これに限定されず、劣モジュラ性を満たす関数により関連性を算出すればよい。これにより、準最適なクラスタの集合を多項式時間で選択可能となる。
【０１３８】
次に、第３の実施の形態について説明する。第３の実施の形態は、第１の実施の形態と第２の実施の形態とを組み合わせた実施の形態である。なお、第３の実施の形態の運転支援装置について、第１の実施の形態の運転支援装置１０及び第２の実施の形態の運転支援装置２１０と同一の構成については、同一符号を付して詳細な説明は省略する。
【０１３９】
図１５に示すように、第３の実施の形態に係る運転支援装置３１０のコンピュータ３１８は、学習部３３０と、判定部３７０とを含んだ構成で表すことができる。学習部３３０は、第１の実施の形態の運転支援装置１０の学習部３０の構成に、クラスタ選択部３６２を加え、第１の実施の形態の場面認識部５２に替えて、第２の実施の形態の場面認識部２５２を含んだ構成で表すことができる。判定部３７０は、第１の実施の形態の場面認識部７４に替えて、第２の実施の形態の場面認識部２７４を含んだ構成で表すことができる。
【０１４０】
クラスタ選択部３６２は、クラスタＤＢ４４に格納されたクラスタのうち、危険場面の判定に用いるクラスタｍ個を、急減速との相互情報量及びクラス別重みに基づいて選択する。
【０１４１】
具体的には、特徴量ＤＢ４０に蓄積された特徴量リストＡから、外界環境画像ＩＤｉを持つ特徴量リストＡｉｊ（ｊは部分画像の位置ＩＤ）を抽出し、抽出された各特徴量リストＡｉｊについて、距離が最小となるクラスタの代表ベクトルＶｊｋ（ｋはクラスタＩＤ）を求める。
【０１４２】
次に、選択されたクラスタの集合Ｕを空集合とし、集合Ｕに含まれない代表ベクトルＶｊｋであって、クラスタ別重みｗが閾値Ｔｈｗ以上のクラスタの代表ベクトルＶｊｋを１つ加えた集合Ｕｊｋを生成する。各Ｕｊｋについて、急減速（前後加速度が所定の閾値以下の減速）Ｄとの相互情報量Ｉ（Ｕｊｋ；Ｄ）を、（６）式により算出する。
【０１４３】
次に、相互情報量Ｉ（Ｕｊｋ；Ｄ）が最大となる集合Ｕｊｋを新たな集合Ｕとし、集合Ｕに含まれる要素数がｍ未満であれば、集合Ｕｊｋに含まれない代表ベクトルであって、クラスタ別重みｗが閾値Ｔｈｗ以上のクラスタの代表ベクトルＶｊｋを１つ加えて、処理を繰り返す。要素数がｍ以上となった場合には、クラスタ集合Ｕをクラスタ集合ＤＢ６４に格納する。
【０１４４】
次に、第３の実施の形態に係る運転支援装置３１０の作用について説明する。第３の実施の形態の運転支援装置３１０では、学習部３３０において、各データベースを構築する学習処理が実行され、また、判定部３７０において、実際の走行時における危険場面の判定処理が実行される。
【０１４５】
まず、図１６を参照して、学習処理ルーチンについて説明する。なお、第１及び第２の実施の形態の学習処理と同一の処理については、同一符号を付して、詳細な説明を省略する。
【０１４６】
ステップ１００で、特徴量ＤＢ構築処理を実行し、ステップ２００で、クラスタＤＢ構築処理を実行し、ステップ３００で、クラスタ別重みＤＢ構築処理を実行し、ステップ３６００で、クラスタ選択処理を実行し、ステップ４００で、危険場面ＤＢ構築処理を実行して、処理を終了する。
【０１４７】
第３の実施の形態のクラスタ選択処理は、第２の実施の形態のクラスタ選択処理のステップ６０８において、集合Ｕｊｋに加える代表ベクトルを、集合Ｕに含まれない代表ベクトルＶｊｋであって、クラスタ別重みｗが閾値Ｔｈｗ以上のクラスタの代表ベクトルＶｊｋとする点が異なるだけであるので、詳細な説明を省略する。
【０１４８】
以上説明したように、第３の実施の形態の運転支援装置によれば、第１の実施の形態と第２の実施の形態とを組み合わせることにより、より適切に走行場面を認識できるクラスタ集合を構築することができる。
【０１４９】
なお、上記第１〜第３の実施の形態では、危険場面を判定するために、自車両の加速度を用いる場合について説明したが、ヨーレート、操舵角、アクセルペダル踏み込み量、ブレーキペダル踏み込み量、車間距離等の他の走行状態を示す信号を用いてもよい。
【０１５０】
また、上記第１〜第３の実施の形態では、運転支援として、急減速の可能性がある危険場面において警報を出力する場合について説明したが、ドライバの脇見運転検出等の他の運転支援に適用してもよい。また、警報を出力することに替えて、または加えて、危険を回避するように車両運動を制御するような運転支援を行ってもよい。
【０１５１】
また、上記第１〜第３の実施の形態では、学習部と判定部とを同一のコンピュータで構成する場合について説明したが、別々のコンピュータで構成するようにしてもよい。
【０１５２】
なお、本発明のプログラムは、記録媒体に格納して提供することができる。
【符号の説明】
【０１５３】
１０、２１０、３１０ 運転支援装置
１２   外界環境撮像装置
１４   顔撮像装置
１６   加速度センサ
１８、２１８、３１８ コンピュータ
２０   警報装置
３０、２３０、３３０ 学習部
３２   視線方向推定部
３４   視線先画像抽出部
３６、２３６  特徴量Ａ抽出部
３８   特徴量Ｂ抽出部
４２   クラスタＤＢ構築部
４４   クラスタＤＢ
４６   クラスタ別重みＤＢ構築部
４８   クラスタ別重みＤＢ
５０   学習部の特徴量Ｃ抽出部
５２、２５２  学習部の場面認識部
５４   危険場面ＤＢ構築部
６０   部分画像抽出部
６２、３６２  クラスタ選択部
６４   クラスタ集合ＤＢ
７０、２７０、３７０ 判定部
７２   判定部の特徴量Ｃ抽出部
７４、２７４  判定部の場面認識部
７６   危険場面判定部
【図１】
0005360143.tif 000007
【図２】
0005360143.tif 000008
【図３】
0005360143.tif 000009
【図４】
0005360143.tif 000010
【図５】
0005360143.tif 000011
【図６】
0005360143.tif 000012
【図７】
0005360143.tif 000013
【図８】
0005360143.tif 000014
【図９】
0005360143.tif 000015
【図１０】
0005360143.tif 000016
【図１１】
0005360143.tif 000017
【図１２】
0005360143.tif 000018
【図１３】
0005360143.tif 000019
【図１４】
0005360143.tif 000020
【図１５】
0005360143.tif 000021
【図１６】
0005360143.tif 000022