(57)【要約】  本発明は、撮像画像から歩行者を検出して当該歩行者を含む部分画像を抽出し、抽出した部分画像から取得される歩行者の形状情報を蓄積し、蓄積した形状情報を用いて所定時間前の形状情報と現在の形状情報とを比較することで、歩行者の動作の変化を検出し、歩行者の動作の変化を検出した場合、当該歩行者の動作の変化に続いて生じる当該歩行者の不連続的な動作を示す不連続動作推定情報を記憶手段から取得し、取得した不連続動作推定情報を用いて歩行者の行動を予測する。
2013042205.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像から歩行者を検出して当該歩行者を含む部分画像を抽出する歩行者検出手段と、
前記歩行者検出手段により抽出した前記部分画像から取得される前記歩行者の形状情報を蓄積し、蓄積した前記形状情報を用いて所定時間前の前記形状情報と現在の前記形状情報とを比較することで、前記歩行者の動作の変化を検出する動作変化検出手段と、
前記動作変化検出手段により前記歩行者の動作の変化を検出した場合、当該歩行者の動作の変化に続いて生じる当該歩行者の不連続的な動作を示す不連続動作推定情報を記憶手段から取得する不連続動作推定手段と、
前記不連続動作推定手段により取得した前記不連続動作推定情報を用いて前記歩行者の行動を予測する行動予測手段と、
を備えることを特徴とする歩行者行動予測装置。
【請求項２】
前記動作変化検出手段は、
前記歩行者検出手段により抽出した前記部分画像から取得される前記歩行者の前記形状情報を表す特徴量分布を取得し、取得した特徴量分布で表される前記形状情報を正規化し、正規化した前記形状情報を蓄積し、蓄積した前記形状情報を用いて所定時間前の前記形状情報と現在の前記形状情報とを比較することで、前記歩行者の動作の変化を検出することを特徴とする請求項１に記載の歩行者行動予測装置。
【請求項３】
前記不連続動作推定手段は、
前記動作変化検出手段により前記歩行者の動作の変化を検出した場合、前記撮像画像のオプティカルフローを算出し、当該オプティカルフローを用いて前記不連続動作推定情報を取得することを特徴とする請求項１または２に記載の歩行者行動予測装置。
【請求項４】
前記歩行者検出手段は、
前記撮像画像上の前記歩行者の位置を取得し、
前記歩行者行動予測装置は、
前記歩行者検出手段により取得した前記歩行者の位置の履歴に基づいて、当該歩行者の位置の移動に続いて生じる当該歩行者の連続的な動作を示す連続動作推定情報を生成する連続動作推定手段、
を更に備え、
前記行動予測手段は、
前記連続動作推定手段により生成した前記連続動作推定情報に基づいて、前記歩行者の行動を予測することを特徴とする請求項１から３のいずれか一項に記載の歩行者行動予測装置。
【請求項５】
前記不連続動作推定情報および前記連続動作推定情報は、
前記歩行者の移動方向および移動速度のうち少なくとも１つを含むことを特徴とする請求項１から４のいずれか一項に記載の歩行者行動予測装置。
【請求項６】
前記動作変化検出手段は、
所定の特徴量を用いて、前記歩行者検出手段により抽出した前記部分画像から前記歩行者の前記特徴量分布を取得する形状情報取得手段と、
前記形状情報取得手段により取得した前記特徴量分布を正規化して、当該特徴量分布に対応する確率分布を取得する正規化手段と、
前記正規化手段により取得した前記確率分布を蓄積する形状情報蓄積手段と、
所定の尺度を用いて、前記形状情報蓄積手段により蓄積した所定時間前の前記確率分布と現在の前記確率分布との差を計算し、計算された差が所定の閾値より大きい場合に、前記歩行者の動作の変化を検出する変化検出手段と、
を更に備えることを特徴とする請求項１から５のいずれか一項に記載の歩行者行動予測装置。
【請求項７】
撮像画像から歩行者を検出して当該歩行者を含む部分画像を抽出する歩行者検出ステップと、
前記歩行者検出ステップにて抽出した前記部分画像から取得される前記歩行者の形状情報を蓄積し、蓄積した前記形状情報を用いて所定時間前の前記形状情報と現在の前記形状情報とを比較することで、前記歩行者の動作の変化を検出する動作変化検出ステップと、
前記動作変化検出ステップにて前記歩行者の動作の変化を検出した場合、当該歩行者の動作の変化に続いて生じる当該歩行者の不連続的な動作を示す不連続動作推定情報を記憶手段から取得する不連続動作推定ステップと、
前記不連続動作推定ステップにて取得した前記不連続動作推定情報を用いて前記歩行者の行動を予測する行動予測ステップと、
を含むことを特徴とする歩行者行動予測方法。
【請求項８】
前記動作変化検出ステップにおいて、
前記歩行者検出ステップにて抽出した前記部分画像から取得される前記歩行者の前記形状情報を表す特徴量分布を取得し、取得した特徴量分布で表される前記形状情報を正規化し、正規化した前記形状情報を蓄積し、蓄積した前記形状情報を用いて所定時間前の前記形状情報と現在の前記形状情報とを比較することで、前記歩行者の動作の変化を検出することを特徴とする請求項７に記載の歩行者行動予測方法。
【請求項９】
前記不連続動作推定ステップにおいて、
前記動作変化検出ステップにて前記歩行者の動作の変化を検出した場合、前記撮像画像のオプティカルフローを算出し、当該オプティカルフローを用いて前記不連続動作推定情報を取得することを特徴とする請求項７または８に記載の歩行者行動予測方法。
【請求項１０】
前記歩行者検出ステップにおいて、
前記撮像画像上の前記歩行者の位置を取得し、
前記歩行者行動予測方法は、
前記歩行者検出ステップにて取得した前記歩行者の位置の履歴に基づいて、当該歩行者の位置の移動に続いて生じる当該歩行者の連続的な動作を示す連続動作推定情報を生成する連続動作推定ステップ、
を更に含み、
前記行動予測ステップにおいて、
前記連続動作推定ステップにて生成した前記連続動作推定情報に基づいて、前記歩行者の行動を予測することを特徴とする請求項７から９のいずれか一項に記載の歩行者行動予測方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歩行者行動予測装置および歩行者行動予測方法に関する。
【背景技術】
【０００２】
従来、車両周辺の歩行者の行動を予測する技術が開発されている。【０００３】
例えば、特許文献１には、カメラで撮像された画像から特徴点を抽出し、抽出された特徴点の移動速度及び／又は移動方向を含む移動情報をそれぞれ算出し、算出された特徴点の移動情報に基づいて、撮像された画像の中から移動する対象立体物を含む対象領域を抽出し、抽出された対象領域に関する移動情報と対象領域の周囲に設定された比較領域に関する移動情報とを比較し、その移動情報の比較結果に基づいて抽出された対象領域に含まれる対象立体物が歩行者であるか否かを判定する歩行者検出装置が開示されている。【０００４】
また、特許文献２には、自車両の前方に存在する歩行者の位置及び移動速度の時系列変化と周辺情報とを取得し、取得された位置及び移動速度の時系列変化と、歩行者が車道に飛び出すときの位置及び移動速度の時系列変化のパターンと比較すると共に、取得した周辺情報と、歩行者が車道に飛び出すときの予め求められた周辺情報とを比較することにより、自車両が走行している車道に歩行者が飛び出すか否かを予測する歩行者飛び出し予測装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２９４８４２号公報
【特許文献２】特開２０１０−１０２４３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来技術（特許文献１〜２等）は、車両周辺の歩行者の行動を迅速かつ正確に予測できなかった。例えば、特許文献１に記載の歩行者検出装置は、歩行者の移動を捉え、当該移動の延長として線形予測可能な歩行者の直線的な飛び出し動作（連続的な動作）を予測できるものの、急に方向転換して車道へ飛び出す動作（不連続的な動作）については予測できなかった。また、特許文献２に記載の歩行者飛び出し予測装置は、環境認識の十分な精度が確保できず、改善の余地があった。【０００７】
本発明は、上記の事情に鑑みてなされたものであって、車両周辺の歩行者の行動を迅速かつ正確に予測できる歩行者行動予測装置および歩行者行動予測方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の歩行者行動予測装置は、撮像画像から歩行者を検出して当該歩行者を含む部分画像を抽出する歩行者検出手段と、前記歩行者検出手段により抽出した前記部分画像から取得される前記歩行者の形状情報を蓄積し、蓄積した前記形状情報を用いて所定時間前の前記形状情報と現在の前記形状情報とを比較することで、前記歩行者の動作の変化を検出する動作変化検出手段と、前記動作変化検出手段により前記歩行者の動作の変化を検出した場合、当該歩行者の動作の変化に続いて生じる当該歩行者の不連続的な動作を示す不連続動作推定情報を記憶手段から取得する不連続動作推定手段と、前記不連続動作推定手段により取得した前記不連続動作推定情報を用いて前記歩行者の行動を予測する行動予測手段と、を備えることを特徴とする。【０００９】
前記動作変化検出手段は、前記歩行者検出手段により抽出した前記部分画像から取得される前記歩行者の前記形状情報を表す特徴量分布を取得し、取得した特徴量分布で表される前記形状情報を正規化し、正規化した前記形状情報を蓄積し、蓄積した前記形状情報を用いて所定時間前の前記形状情報と現在の前記形状情報とを比較することで、前記歩行者の動作の変化を検出することが好ましい。【００１０】
前記不連続動作推定手段は、前記動作変化検出手段により前記歩行者の動作の変化を検出した場合、前記撮像画像のオプティカルフローを算出し、当該オプティカルフローを用いて前記不連続動作推定情報を取得することが好ましい。【００１１】
前記歩行者検出手段は、前記撮像画像上の前記歩行者の位置を取得し、前記歩行者行動予測装置は、前記歩行者検出手段により取得した前記歩行者の位置の履歴に基づいて、当該歩行者の位置の移動に続いて生じる当該歩行者の連続的な動作を示す連続動作推定情報を生成する連続動作推定手段、を更に備え、前記行動予測手段は、前記連続動作推定手段により生成した前記連続動作推定情報に基づいて、前記歩行者の行動を予測することが好ましい。【００１２】
前記不連続動作推定情報および前記連続動作推定情報は、前記歩行者の移動方向および移動速度のうち少なくとも１つを含むことが好ましい。【００１３】
前記動作変化検出手段は、所定の特徴量を用いて、前記歩行者検出手段により抽出した前記部分画像から前記歩行者の前記形状情報を表す前記特徴量分布を取得する形状情報取得手段と、前記形状情報取得手段により取得した前記特徴量分布を正規化して、当該特徴量分布に対応する確率分布を取得する正規化手段と、前記正規化手段により取得した前記確率分布を蓄積する形状情報蓄積手段と、所定の尺度を用いて、前記形状情報蓄積手段により蓄積した所定時間前の前記確率分布と現在の前記確率分布との差を計算し、計算された差が所定の閾値より大きい場合に、前記歩行者の動作の変化を検出する変化検出手段と、を更に備えることが好ましい。【００１４】
本発明の歩行者行動予測方法は、撮像画像から歩行者を検出して当該歩行者を含む部分画像を抽出する歩行者検出ステップと、前記歩行者検出ステップにて抽出した前記部分画像から取得される前記歩行者の形状情報を蓄積し、蓄積した前記形状情報を用いて所定時間前の前記形状情報と現在の前記形状情報とを比較することで、前記歩行者の動作の変化を検出する動作変化検出ステップと、前記動作変化検出ステップにて前記歩行者の動作の変化を検出した場合、当該歩行者の動作の変化に続いて生じる当該歩行者の不連続的な動作を示す不連続動作推定情報を記憶手段から取得する不連続動作推定ステップと、前記不連続動作推定ステップにて取得した前記不連続動作推定情報を用いて前記歩行者の行動を予測する行動予測ステップと、を含むことを特徴とする。【００１５】
前記動作変化検出ステップにおいて、前記歩行者検出ステップにて抽出した前記部分画像から取得される前記歩行者の前記形状情報を表す特徴量分布を取得し、取得した特徴量分布で表される前記形状情報を正規化し、正規化した前記形状情報を蓄積し、蓄積した前記形状情報を用いて所定時間前の前記形状情報と現在の前記形状情報とを比較することで、前記歩行者の動作の変化を検出することが好ましい。【００１６】
前記不連続動作推定ステップにおいて、前記動作変化検出ステップにて前記歩行者の動作の変化を検出した場合、前記撮像画像のオプティカルフローを算出し、当該オプティカルフローを用いて前記不連続動作推定情報を取得することが好ましい。【００１７】
前記歩行者検出ステップにおいて、前記撮像画像上の前記歩行者の位置を取得し、前記歩行者行動予測方法は、前記歩行者検出ステップにて取得した前記歩行者の位置の履歴に基づいて、当該歩行者の位置の移動に続いて生じる当該歩行者の連続的な動作を示す連続動作推定情報を生成する連続動作推定ステップ、を更に含み、前記連続動作推定ステップにて生成した前記連続動作推定情報に基づいて、前記歩行者の行動を予測することが好ましい。
【発明の効果】
【００１８】
本発明は、車両周辺の歩行者の行動を迅速かつ正確に予測できるという効果を奏する。
【図面の簡単な説明】
【００１９】
【図１】図１は、本発明に係る歩行者行動予測装置の一例を示すブロック図である。
【図２】図２は、実施形態１にかかる歩行者行動予測処理の一例を示すフロー図である。
【図３】図３は、実施形態１にかかる動作変化検出処理の一例を示すフローチャートである。
【図４】図４は、実施形態１にかかる動作変化検出用グラフの一例を示す図である。
【図５】図５は、実施形態２にかかる歩行者行動予測処理の一例を示すフロー図である。
【発明を実施するための形態】
【００２０】
以下に、本発明にかかる歩行者行動予測装置および歩行者行動予測方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記の実施形態における構成要素には、当業者が容易に想定できるもの、あるいは実質的に同一のものが含まれる。
【００２１】
本発明にかかる歩行者行動予測装置の構成について図１を参照しながら説明する。図１は、本発明にかかる歩行者行動予測装置の構成の一例を示すブロック図である。
【００２２】
図１に示すように、歩行者行動予測装置１は、例えば車両に搭載された自動車制御用コンピュータなどを用いて構成されたものであり、車両に搭載されているカメラ２および報知手段４と通信可能に接続されている。カメラ２は、自車両周辺を撮影し、自車両周辺が写し出されている画像データ（撮像画像）を生成する機器である。カメラ２は、例えば可視光領域または赤外線領域にて撮像可能なＣＣＤカメラまたはＣＭＯＳカメラ等の撮像手段である。カメラ２は、車両の前方、側方、後方等の車両周辺を撮像可能な任意の位置に設置される。本実施形態において、歩行者行動予測装置１は、カメラ２と、ステレオカメラ、イメージングレーザレーダ等と併用してもよい。報知手段４は、画像情報を出力するディスプレイや音声情報を出力するスピーカ等である。本実施形態において、報知手段４は、運転者が車両を運転中に車両周辺の歩行者の危険な動作が生じた場合、運転者に危険を報知するために用いられる。
【００２３】
歩行者行動予測装置１は、制御部１２および記憶部１４を備えている。制御部１２は、歩行者行動予測装置１を統括的に制御するものであり、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などである。記憶部１４は、データを記憶するためのものであり、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、またはハードディスクなどである。
【００２４】
記憶部１４は、形状情報記憶部１４ａおよび不連続動作推定情報記憶部１４ｂを備えている。
【００２５】
形状情報記憶部１４ａは、カメラ２にて撮像された撮像画像から抽出された歩行者の形状情報を記憶する形状情報記憶手段である。形状情報は、歩行者の形状の特徴量を示すデータである。なお、特徴量は、これに限定されないが、撮像画像の輝度自体を使用する第１特徴量、撮像画像のエッジを使用する第２特徴量、および、撮像画像の色を使用する第３特徴量のうち少なくとも１つを含む。第１特徴量は、例えば、輝度、輝度のＰＣＡ、Ｈｕ  ｍｏｍｅｎｔ、ＬＢＰ、Ｈａａｒｌｉｋｅ  ｆｅａｔｕｒｅ、および、ｐｏｓｅｌｅｔのうち少なくとも１つを含む。第２特徴量は、例えば、ＳＩＦＴ、ＰＣＡ、ＳＵＲＦ、ＧＬＯＨ、ｓｈａｐｅ  ｃｏｎｔｅｘｔ、ＨＯＧ、ＣｏＨＯＧ、ＦＩＮＤ、および、ｅｄｇｅｌｅｔのうち少なくとも１つを含む。第３特徴量は、例えば、ＲＧＢ、および、Ｌａｂのうち少なくとも１つを含む。
【００２６】
不連続動作推定情報記憶部１４ｂは、歩行者の動作の変化があった時点の画像データと、当該歩行者の動作の変化に続いて生じる当該歩行者の不連続的な動作を示す不連続動作推定情報と、を対応付けて記憶する不連続動作推定情報記憶手段である。
【００２７】
ここで、歩行者の動作の変化とは、交通環境における歩行者の危険な動作の変化を意味し、歩行者の動作変化開始時における形状の変化、すなわち、画像の特徴量の変化を含む。歩行者の動作の変化としては、これに限定されないが、例えば、歩行者の急な方向転換動作、歩行者の腕または脚の急な振り上げ動作などを含む。また、不連続的な動作としては、例えば、歩行者が歩道に沿って移動している状態から急に進行方向を変えて車道側へ進入する動作、歩行者が歩道に沿って低速度で移動している状態から急に高速度で移動する動作、および、歩行者が止まっている状態から急に動き出す動作等が挙げられる。また、不連続動作推定情報は、歩行者の移動方向および移動速度のうち少なくとも１つを含む。
【００２８】
本実施形態において、不連続動作推定情報記憶部１４ｂに記憶されるデータは、歩行者行動予測装置１により予め格納されている。具体的には、歩行者行動予測装置１は、歩行者の動作の変化が検出された時点の画像データと、当該歩行者の動作の変化があった後に歩行者がとった不連続的な動作を表す移動方向および移動速度を示すベクトルと、を対応付けて、不連続動作推定情報記憶部１４ｂに格納する。例えば、歩行者が車道の左側の歩道に沿って移動している場合、歩行者行動予測装置１は、歩行者の急な右方向転換動作が検出された時点の画像データと、当該歩行者の急な右方向転換動作があった後に歩行者が車道側へ進入する動作を表す移動方向および移動速度を示すベクトルと、を対応付けて、不連続動作推定情報記憶部１４ｂに格納している。つまり、不連続動作推定情報記憶部１４ｂは、歩行者が急に歩道から車道側へ飛び出すという危険な方向（この場合、右方向）への歩行者の動作を、予め不連続動作推定情報として記憶している。また、歩行者行動予測装置１は、歩行者の急な左方向転換動作が検出された時点の画像データと、当該歩行者の急な左方向転換動作があった後に歩行者が建物側へ移動する動作を表す移動方向および移動速度を示すベクトルと、を対応付けて、不連続動作推定情報記憶部１４ｂに格納している。つまり、不連続動作推定情報記憶部１４ｂは、歩行者が急に歩道から建物に入るという安全な方向（この場合、左方向）への歩行者の動作を、予め不連続動作推定情報として記憶している。このように、本実施形態において、不連続動作推定情報記憶部１４ｂは、歩行者行動予測装置１により事前に取得され蓄積されたデータを記憶する知識ベースのデータベースとして構成される。
【００２９】
なお、歩行者行動予測装置１は、オンライン学習により不連続動作推定情報記憶部１４ｂに記憶されるデータを更新してもよい。例えば、歩行者行動予測装置１は、歩行者の動作の変化が検出された時点から所定時間分の画像データを連続的に記憶し、当該画像データ群を解析して、当該歩行者の動作の変化があった後に歩行者がとった不連続的な動作を予測することで、データを更新してもよい。
【００３０】
制御部１２は、歩行者検出部１２ａ、動作変化検出部１２ｂ、不連続動作推定部１２ｇ、連続動作推定部１２ｈ、および、行動予測部１２ｉを備えている。ここで、動作変化検出部１２ｂは、形状情報取得部１２ｃ、正規化部１２ｄ、形状情報蓄積部１２ｅ、および、変化検出部１２ｆを更に備えている。
【００３１】
歩行者検出部１２ａは、撮像画像から歩行者を検出する歩行者検出手段である。歩行者検出部１２ａは、予め記憶部１４に記憶された歩行者の形状の概要を示すデータを用いて、パターンマッチング等を行うことにより歩行者を検出する。ここで、歩行者検出部１２ａは、撮像画像から歩行者を含む部分画像を抽出する。また、歩行者検出部１２ａは、撮像画像上の歩行者の位置を取得する。歩行者の位置は、自車両に対する３次元の相対座標または絶対座標であることが好ましい。
【００３２】
動作変化検出部１２ｂは、歩行者検出部１２ａにより抽出した部分画像から取得される歩行者の形状情報を蓄積し、蓄積した形状情報を用いて所定時間前の形状情報と現在の形状情報とを比較することで、歩行者の動作の変化を検出する動作変化検出手段である。ここで、動作変化検出部１２ｂは、歩行者検出部１２ａにより抽出した部分画像から取得される歩行者の形状情報を表す特徴量分布を取得し、取得した特徴量分布で表される形状情報を正規化し、正規化した形状情報を蓄積し、蓄積した形状情報を用いて所定時間前の形状情報と現在の形状情報とを比較することで、歩行者の動作の変化を検出してもよい。動作変化検出部１２ｂは、形状情報取得部１２ｃ、正規化部１２ｄ、形状情報蓄積部１２ｅ、および、変化検出部１２ｆの処理により、歩行者の動作の変化を検出する。
【００３３】
形状情報取得部１２ｃは、歩行者検出部１２ａにより抽出した部分画像から歩行者の形状情報を取得する形状情報取得手段である。具体的には、形状情報取得部１２ｃは、所定の特徴量を用いて、歩行者検出部１２ａにより抽出した部分画像から歩行者の形状情報を表す特徴量分布を取得する。ここで、所定の特徴量は、確率分布として表せる特徴量であり、上述の第１特徴量、第２特徴量、および、第３特徴量の少なくとも１つを含む。
【００３４】
正規化部１２ｄは、形状情報取得部１２ｃにより取得した形状情報を正規化する正規化手段である。具体的には、正規化部１２ｄは、形状情報取得部１２ｃにより取得した特徴量分布を正規化して、当該特徴量分布に対応する確率分布を取得する。
【００３５】
形状情報蓄積部１２ｅは、正規化部１２ｄにより正規化した形状情報を蓄積する形状情報蓄積手段である。具体的には、形状情報蓄積部１２ｅは、正規化部１２ｄにより取得した確率分布を蓄積する。すなわち、形状情報蓄積部１２ｅは、正規化した形状情報（すなわち、確率分布）を形状情報記憶部１４ａに格納する。なお、本実施形態において、形状情報蓄積部１２ｅは、形状情報取得部１２ｃにより取得した正規化前の特徴量分布を蓄積してもよい。
【００３６】
変化検出部１２ｆは、形状情報蓄積部１２ｅにより蓄積した正規化済みの形状情報、すなわち、形状情報記憶部１４ａに記憶された正規化済みの形状情報、を用いて、所定時間前の形状情報と現在の形状情報とを比較することで、歩行者の動作の変化を検出する変化検出手段である。具体的には、変化検出部１２ｆは、所定の尺度を用いて、形状情報蓄積部１２ｅにより形状情報記憶部１４ａに蓄積した、所定時間前の確率分布と現在の確率分布との差を計算し、計算された差が所定の閾値より大きい場合に、歩行者の動作の変化を検出する。所定の尺度とは、確率分布間の差異を距離または擬距離で計る尺度である。距離は、これに限定されないが、Ｌｐ  ｎｏｒｍ、例えば、Ｌ１  ｎｏｒｍ（マンハッタン距離）、Ｌ２  ｎｏｒｍ（ユークリッド距離）、Ｌ  ｉｎｆｉｎｉｔｙ  ｎｏｒｍ（一様ノルム）等を含む。また、距離は、マハラノビス距離を含んでいてもよい。このマハラノビス距離を用いる場合、過去の複数のベクトルｐ（ｔ）から分布を作成しておくことが好ましい。また、距離は、ハミング距離を含んでいてもよい。このハミング距離を用いる場合、ある程度数値を離散化しておくことが好ましい。また、擬距離は、これに限定されないが、カルバック・ライブラー情報量（Ｋｕｌｌｂａｃｋ−Ｌｅｉｂｌｅｒ  ｄｉｖｅｒｇｅｎｃｅ）（以下、ＫＬ情報量と呼ぶ）を含む。ここで、ＫＬ情報量とは、２つの確率分布Ｐ，Ｑ間の差異を計る尺度であり、情報理論分野において周知である。
【００３７】
なお、本実施形態において、変化検出部１２ｆは、形状情報蓄積部１２ｅにより正規化前の特徴量分布を蓄積した場合、形状情報記憶部１４ａに記憶された所定時間前の特徴量分布および現在の特徴量分布をそれぞれ正規化して、当該所定時間前の特徴量分布および当該現在の特徴量分布に対応する確率分布をそれぞれ取得し、所定の尺度を用いて、取得した所定時間前の確率分布と現在の確率分布との差を計算して、計算された差が所定の閾値より大きい場合に、歩行者の動作の変化を検出してもよい。
【００３８】
不連続動作推定部１２ｇは、動作変化検出部１２ｂにより歩行者の動作の変化を検出した場合、当該歩行者の動作の変化に続いて生じる当該歩行者の不連続的な動作を示す不連続動作推定情報を不連続動作推定情報記憶部１４ｂから取得する不連続動作推定手段である。具体的には、不連続動作推定部１２ｇは、動作変化検出部１２ｂにより歩行者の動作の変化を検出した場合、歩行者の動作の変化が検出された時点の画像データに対応する、予め不連続動作推定情報記憶部１４ｂに記憶された画像データを、パターンマッチング等により検索する。そして、不連続動作推定部１２ｇは、当該検索された画像データに予め対応付けられた不連続動作推定情報を、不連続動作推定情報記憶部１４ｂから取得する。ここで、不連続動作推定情報は、歩行者の移動方向および移動速度のうち少なくとも１つを含む。
【００３９】
また、不連続動作推定部１２ｇは、動作変化検出部１２ｂにより歩行者の動作の変化を検出した場合、撮像画像のオプティカルフローを算出し、当該オプティカルフローを用いて不連続動作推定情報を取得してもよい。具体的には、不連続動作推定部１２ｇは、時間的に連続する撮像画像から、歩行者を含む部分画像と歩行者の周囲の背景画像との相関に基づいて、撮影画像上の歩行者がどの方向へ移動しているかを示すベクトル（すなわち、オプティカルフロー）を算出する。そして、不連続動作推定部１２ｇは、算出したオプティカルフローを用いて、歩行者の移動方向および移動速度を示す不連続動作推定情報を取得する。
【００４０】
連続動作推定部１２ｈは、歩行者検出部１２ａにより取得した歩行者の位置の履歴に基づいて、当該歩行者の位置の移動に続いて生じる当該歩行者の連続的な動作を示す連続動作推定情報を生成する連続動作推定手段である。ここで、連続的な動作としては、例えば、歩行者が歩道から車道に向かって一定速度で直線的に進入する動作等が挙げられる。また、連続動作推定情報は、歩行者の移動方向および移動速度のうち少なくとも１つを含む。連続動作推定部１２ｈは、線形予測により、連続的な動作（例えば、歩行者が連続的に移動する動作、歩行者が動いている状態から停止する動作、および、歩行者が減速する動作等）を示す連続動作推定情報を生成する。
【００４１】
行動予測部１２ｉは、不連続動作推定部１２ｇにより取得した不連続動作推定情報を用いて歩行者の行動を予測する行動予測手段である。例えば、歩行者が車道の左側の歩道に沿って移動している場合、行動予測部１２ｉは、不連続動作推定部１２ｇにより取得した、歩行者の急な右方向転換動作があった後に歩行者が車道側へ進入する動作を表す移動方向および移動速度を示すベクトル（すなわち、不連続動作推定情報）を用いて、歩行者の行動を予測する。この場合、行動予測部１２ｉは、歩行者が急に歩道から車道側へ飛び出すという危険な方向（この場合、右方向）への歩行者の動作を、歩行者の行動として予測する。また、行動予測部１２ｉは、不連続動作推定部１２ｇにより取得した、歩行者の急な左方向転換動作があった後に歩行者が建物側へ移動する動作を表す移動方向および移動速度を示すベクトル（すなわち、不連続動作推定情報）を用いて、歩行者の行動を予測する。この場合、行動予測部１２ｉは、歩行者が急に歩道から建物に入るという安全な方向（この場合、左方向）への歩行者の動作を、歩行者の行動として予測する。ここで、行動予測部１２ｉは、連続動作推定部１２ｈにより生成した連続動作推定情報に基づいて、歩行者の行動を予測してもよい。例えば、歩行者が歩道から車道に向かって一定速度で直線的に移動している場合、行動予測部１２ｉは、当該移動の延長として線形予測可能な歩行者の直線的な飛び出し動作を歩行者の行動として予測する。また、行動予測部１２ｉは、連続動作推定情報または不連続動作推定情報に基づいて、例えば、利用者がいつどこにいるかを示す進路等を歩行者の行動として予測してもよい。
【００４２】
続いて、図２〜図５を参照して、上述した歩行者行動予測装置１において実行される歩行者行動予測処理について説明する。以下、本発明における歩行者行動予測装置１において実行される歩行者行動予測処理について、実施形態１および実施形態２の順に説明する。なお、以下の歩行者行動予測処理において、歩行者の形状を示す特徴量として、ＳＩＦＴ特徴量を一例に説明するが、これに限定されない。また、確率分布Ｐ，Ｑ間の差異を計る尺度として、ＫＬ情報量を一例に説明するが、これに限定されない。
【００４３】
〔実施形態１〕
実施形態１にかかる歩行者行動予測処理について図２〜図４を参照して説明する。図２は、実施形態１にかかる歩行者行動予測処理の一例を示すフローチャートである。図３は、実施形態１にかかる動作変化検出処理の一例を示すフローチャートである。図４は、実施形態１にかかる動作変化検出用グラフの一例を示す図である。なお、本実施形態において、本歩行者行動予測処理は、運転者が車両を運転中に繰り返し実行されるものとする。
【００４４】
図２に示すように、まず、歩行者行動予測装置１の制御部１２は、カメラ２から自車両周辺が写し出されている撮像画像を取得する（ステップＳＡ１）。
【００４５】
つぎに、歩行者行動予測装置１の歩行者検出部１２ａは、ステップＳＡ１で取得した撮像画像から歩行者を検出する（ステップＳＡ２）。例えば、歩行者検出部１２ａは、予め記憶部１４に記憶された歩行者の形状の概要を示すデータを用いて、パターンマッチング等を行うことにより対象物を検出する。
【００４６】
つぎに、歩行者行動予測装置１の制御部１２は、ステップＳＡ２で歩行者を検出したか否かを判定する（ステップＳＡ３）。制御部１２は、ステップＳＡ３で歩行者を検出したと判定した場合（ステップＳＡ３：Ｙｅｓ）、次のステップＳＡ４およびステップＳＡ７の処理へ進む。つまり、制御部１２は、ステップＳＡ３で歩行者を検出したと判定した場合は、ステップＳＡ４〜ＳＡ６に示す処理とステップＳＡ７〜ＳＡ１１に示す処理を並行して実行する。一方、制御部１２は、ステップＳＡ３で歩行者を検出していないと判定した場合（ステップＳＡ３：Ｎｏ）、そのまま歩行者行動予測処理を終了する。
【００４７】
つぎに、歩行者行動予測装置１の歩行者検出部１２ａは、ステップＳＡ３で歩行者を検出したと判定した場合（ステップＳＡ３：Ｙｅｓ）、撮像画像上の歩行者の位置を取得する（ステップＳＡ４）。ここで、歩行者検出部１２ａは、歩行者の位置として、自車両に対する３次元の相対座標または絶対座標を取得する。
【００４８】
つぎに、歩行者行動予測装置１の連続動作推定部１２ｈは、ステップＳＡ４で歩行者検出部１２ａにより取得した歩行者の位置の履歴に基づいて、当該歩行者の位置の移動に続いて生じる当該歩行者の連続的な動作を示す連続動作推定情報を生成する（ステップＳＡ５）。ここで、連続的な動作としては、例えば、歩行者が歩道から車道に向かって一定速度で直線的に進入する動作等が挙げられる。また、連続動作推定情報は、歩行者の移動方向および移動速度のうち少なくとも１つを含む。連続動作推定部１２ｈは、線形予測により、連続的な動作（例えば、歩行者が連続的に移動する動作、歩行者が動いている状態から停止する動作、および、歩行者が減速する動作等）を示す連続動作推定情報を生成する。
【００４９】
つぎに、歩行者行動予測装置１の行動予測部１２ｉは、ステップＳＡ５で連続動作推定部１２ｈにより生成した連続動作推定情報を用いて歩行者の行動を予測する（ステップＳＡ６）。例えば、歩行者が歩道から車道に向かって一定速度で直線的に移動している場合、行動予測部１２ｉは、当該移動の延長として線形予測可能な歩行者の直線的な飛び出し動作を歩行者の行動として予測する。その後、歩行者行動予測処理を終了する。
【００５０】
ここで、ステップＳＡ３に戻り、歩行者行動予測装置１の歩行者検出部１２ａは、ステップＳＡ３で歩行者を検出したと判定した場合（ステップＳＡ３：Ｙｅｓ）、撮像画像から歩行者を含む部分画像を抽出する（ステップＳＡ７）。
【００５１】
つぎに、歩行者行動予測装置１の動作変化検出部１２ｂは、ステップＳＡ７で歩行者検出部１２ａにより抽出した部分画像から取得される歩行者の形状情報を正規化し、正規化した形状情報を蓄積し、蓄積した形状情報を用いて所定時間前の形状情報と現在の形状情報とを比較することで、歩行者の動作の変化を検出する（ステップＳＡ８）。ここで、歩行者の動作の変化とは、交通環境における歩行者の危険な動作の変化を意味し、歩行者の動作変化開始時における形状の変化、すなわち、画像の特徴量の変化を含む。歩行者の動作の変化としては、これに限定されないが、例えば、歩行者の急な方向転換動作、歩行者の腕または脚の急な振り上げ動作などを含む。
【００５２】
ここで、図３および図４を参照し、ステップＳＡ８で動作変化検出部１２ｂにより実行される動作変化検出処理の詳細について説明する。なお、動作変化検出部１２ｂは、以下に示すように、形状情報取得部１２ｃ、正規化部１２ｄ、形状情報蓄積部１２ｅ、および、変化検出部１２ｆの処理により、歩行者の動作の変化を検出する。
【００５３】
図３に示すように、歩行者行動予測装置１の形状情報取得部１２ｃは、図２のステップＳＡ７で歩行者検出部１２ａにより抽出した部分画像から歩行者の形状情報を取得する（ステップＳＢ１）。具体的には、形状情報取得部１２ｃは、図２のステップＳＡ７で歩行者検出部１２ａにより抽出した部分画像から、歩行者の形状情報を表す特徴量分布ｖ（ｔ）として、ＳＩＦＴ特徴量の計算を行う。ここで、ＳＩＦＴ特徴量は、形状を表す特徴量として画像認識分野等において周知である。また、ＳＩＦＴ特徴量は、対象物を含む撮像画像のどの部分にどの向きのエッジが分布しているかをヒストグラムで表せるため、確率分布として表せる。
【００５４】
つぎに、歩行者行動予測装置１の正規化部１２ｄは、下記の数式（１）を示すように、ステップＳＢ１で取得した特徴量分布ｖ（ｔ）のＬ１  ｎｏｒｍを１に正規化して、特徴量（確率分布）ｐ（ｔ）を取得する（ステップＳＢ２）。
【数１】
2013042205.tif 000003
【００５５】
つぎに、歩行者行動予測装置１の形状情報蓄積部１２ｅは、ステップＳＢ２で取得した形状情報を形状情報記憶部１４ａに蓄積する（ステップＳＢ３）。すなわち、形状情報蓄積部１２ｅは、ステップＳＢ２で正規化した特徴量（確率分布）ｐ（ｔ）の蓄積を行う。
【００５６】
つぎに、歩行者行動予測装置１の変化検出部１２ｆは、下記の数式（２）に示すように、ステップＳＢ３で蓄積した特徴量（確率分布）ｐ（ｔ）から、ｎフレーム前の特徴量と現在の特徴量との間の差ｄ（ｔ，ｎ）の計算を行う（ステップＳＢ４）。制御部１２は、下記の数式（３）に示すように、ＫＬ情報量を用いて、差ｄ（ｔ，ｎ）の計算を行う。
【数２】
2013042205.tif 000004
【数３】
2013042205.tif 000005
【００５７】
つぎに、歩行者行動予測装置１の変化検出部１２ｆは、ステップＳＢ４で計算した差ｄ（ｔ，ｎ）が、図４に示すように、所定の閾値Ｔｈｒｅより大きいか否かを判定する（ステップＳＢ５）。図４の縦軸は、ＫＬ情報量を示し、横軸は、時間のフレームを示している。図４において、フレーム５４〜１７４までは、対象物の歩行者が歩道に沿って移動している状態を表しており、フレーム１８０では歩行者が急に動きを変えた状態を表している。
【００５８】
歩行者行動予測装置１の変化検出部１２ｆは、ステップＳＢ５で差ｄ（ｔ，ｎ）が閾値Ｔｈｒｅより大きいと判定した場合（ステップＳＢ５：Ｙｅｓ）、歩行者の動作の変化があると判定する（ステップＳＢ６）。その後、動作変化検出処理を終了する。一方、変化検出部１２ｆは、ステップＳＢ５で差ｄ（ｔ，ｎ）が閾値Ｔｈｒｅ未満であると判定した場合（ステップＳＢ５：Ｎｏ）、歩行者の動作に変化がないと判定して、そのまま動作変化検出処理を終了する。つまり、歩行者行動予測装置１は、図３に示した動作変化検出処理を終了後、図２のステップＳＡ９の処理へ進む。
【００５９】
再び図２に戻り、実施形態１にかかる歩行者行動予測処理の説明を続ける。歩行者行動予測装置１の制御部１２は、ステップＳＡ８で歩行者の動作の変化を検出したか否かを判定する（ステップＳＡ９）。制御部１２は、ステップＳＡ９で歩行者の動作の変化を検出したと判定した場合（ステップＳＡ９：Ｙｅｓ）、次のステップＳＡ１０の処理へ進む。一方、制御部１２は、ステップＳＡ９で歩行者の動作の変化を検出していないと判定した場合（ステップＳＡ９：Ｎｏ）、歩行者行動予測処理を終了する。
【００６０】
つぎに、歩行者行動予測装置１の不連続動作推定部１２ｇは、ステップＳＡ８で歩行者の動作の変化を検出したと判定した場合（ステップＳＡ９：Ｙｅｓ）、当該歩行者の動作の変化に続いて生じる当該歩行者の不連続的な動作を示す不連続動作推定情報を不連続動作推定情報記憶部１４ｂから取得する（ステップＳＡ１０）。ここで、不連続的な動作としては、例えば、歩行者が歩道に沿って移動している状態から急に進行方向を変えて車道側へ進入する動作、歩行者が歩道に沿って低速度で移動している状態から急に高速度で移動する動作、および、歩行者が止まっている状態から急に動き出す動作等が挙げられる。また、不連続動作推定情報は、歩行者の移動方向および移動速度のうち少なくとも１つを含む。
【００６１】
具体的には、ステップＳＡ１０において、不連続動作推定部１２ｇは、ステップＳＡ９で歩行者の動作の変化を検出した場合、歩行者の動作の変化が検出された時点の画像データに対応する、予め不連続動作推定情報記憶部１４ｂに記憶された画像データを、パターンマッチング等により検索する。そして、不連続動作推定部１２ｇは、当該検索された画像データに予め対応付けられた不連続動作推定情報を、不連続動作推定情報記憶部１４ｂから取得する。
【００６２】
つぎに、歩行者行動予測装置１の行動予測部１２ｉは、ステップＳＡ１０で不連続動作推定部１２ｇにより取得した不連続動作推定情報を用いて歩行者の行動を予測する（ステップＳＡ１１）。その後、歩行者行動予測処理を終了する。
【００６３】
例えば、歩行者が車道の左側の歩道に沿って移動している場合、行動予測部１２ｉは、ステップＳＡ１０で不連続動作推定部１２ｇにより取得した、歩行者の急な右方向転換動作があった後に歩行者が車道側へ進入する動作を表す移動方向および移動速度を示すベクトル（すなわち、不連続動作推定情報）を用いて、歩行者の行動を予測する。つまり、行動予測部１２ｉは、歩行者が急に歩道から車道側へ飛び出すという危険な方向（この場合、右方向）への歩行者の動作を、歩行者の行動として予測する。また、行動予測部１２ｉは、ステップＳＡ１０で不連続動作推定部１２ｇにより取得した、歩行者の急な左方向転換動作があった後に歩行者が建物側へ移動する動作を表す移動方向および移動速度を示すベクトル（すなわち、不連続動作推定情報）を用いて、歩行者の行動を予測する。つまり、行動予測部１２ｉは、歩行者が急に歩道から建物に入るという安全な方向（この場合、左方向）への歩行者の動作を、歩行者の行動として予測する。また、行動予測部１２ｉは、連続動作推定情報または不連続動作推定情報に基づいて、例えば、利用者がいつどこにいるかを示す進路等を歩行者の行動として予測してもよい。その後、歩行者行動予測処理を終了する。
【００６４】
そして、歩行者行動予測装置１の制御部１２は、本歩行者行動予測処理を終了後、予測された歩行者の行動の予測結果に基づいて、車両の運転者に当該歩行者について注意喚起する画像情報および／または音声情報を、報知手段４を介して出力する。ここで、歩行者行動予測装置１の制御部１２は、予測された歩行者の行動の予測結果に基づいて、当該歩行者との衝突を回避するよう車両制御を実行してもよい。
【００６５】
以上、実施形態１によれば、従来技術よりも、車両周辺の歩行者の行動を迅速かつ正確に予測できる。例えば、特許文献１に記載の歩行者検出装置は、歩行者の移動を捉え、当該移動の延長として線形予測可能な歩行者の直線的な飛び出し動作（連続的な動作）を予測できるものの、急に方向転換して車道へ飛び出す動作（不連続的な動作）については予測できなかった。一方、実施形態１によれば、不連続的な動作についても予測できるので、従来技術より車両周辺の歩行者の行動を迅速かつ正確に予測できる。また、特許文献２に記載の歩行者飛び出し予測装置は、環境認識の十分な精度が確保できず、改善の余地があった。一方、実施形態１によれば、歩行者の動作に変化がない場合は線形予測により連続的な動作を予測し、歩行者の動作に変化がある場合は、撮影画像の形状変化から不連続的な動作を予測するので、種々の環境に応じた歩行者行動予測方法を適用することができ、その結果、従来技術よりも車両周辺の歩行者の行動を迅速かつ正確に予測できる。このように、実施形態１によれば、運転者が車両を運転中に車両周辺の歩行者の危険な動作が生じた場合、迅速かつ正確に運転者に危険を報知することができるので、交通事故の発生可能性を低減することができる。
【００６６】
更に、実施形態１にかかる歩行者行動予測装置１は、歩行者の動作の変化が検出された時点の画像データと、当該歩行者の動作の変化があった後に歩行者がとった不連続的な動作を表す移動方向および移動速度を示すベクトルと、を対応付けて、不連続動作推定情報記憶部１４ｂに格納している。これにより、実施形態１によれば、歩行者の動作の変化が検出された後の不連続的な動作が行われる方向についても考慮することができる。その結果、実施形態１によれば、歩行者の行動が危険な方向に向かって行われるものであるか、安全な方向に向かって行われるものであるかを区別して予測することができる。
【００６７】
例えば、実施形態１にかかる歩行者行動予測装置１は、歩行者の急な右方向転換動作が検出された時点の画像データと、当該歩行者の急な右方向転換動作があった後に歩行者が車道側へ進入する動作を表す移動方向および移動速度を示すベクトルと、を対応付けて、不連続動作推定情報記憶部１４ｂに格納している。これにより、例えば、歩行者が車道の左側の歩道に沿って移動している場合、実施形態１によれば、不連続動作推定情報記憶部１４ｂに記憶された不連続動作推定情報に基づいて、歩行者が急に歩道から車道側へ飛び出すという危険な方向（この場合、右方向）への歩行者の動作を、歩行者の行動として予測することができる。
【００６８】
また、実施形態１にかかる歩行者行動予測装置１は、歩行者の急な左方向転換動作が検出された時点の画像データと、当該歩行者の急な左方向転換動作があった後に歩行者が建物側へ移動する動作を表す移動方向および移動速度を示すベクトルと、を対応付けて、不連続動作推定情報記憶部１４ｂに格納している。これにより、例えば、歩行者が車道の左側の歩道に沿って移動している場合、実施形態１によれば、不連続動作推定情報記憶部１４ｂに記憶された不連続動作推定情報に基づいて、歩行者が急に歩道から建物に入るという安全な方向（この場合、左方向）への歩行者の動作を、歩行者の行動として予測することができる。
【００６９】
このように、実施形態１によれば、運転者が車両を運転中に車両周辺の歩行者の危険な動作が生じた場合、より迅速かつ正確に運転者に危険を報知することができるので、交通事故の発生可能性をより一層低減することができる。
【００７０】
〔実施形態２〕
実施形態２にかかる歩行者行動予測処理について図５を参照して説明する。図５は、実施形態２にかかる歩行者行動予測処理の一例を示すフローチャートである。なお、本実施形態において、本歩行者行動予測処理は、運転者が車両を運転中に繰り返し実行されるものとする。
【００７１】
図５に示すように、まず、歩行者行動予測装置１の制御部１２は、カメラ２から自車両周辺が写し出されている撮像画像を取得する（ステップＳＣ１）。
【００７２】
つぎに、歩行者行動予測装置１の歩行者検出部１２ａは、ステップＳＣ１で取得した撮像画像から歩行者を検出する（ステップＳＣ２）。
【００７３】
つぎに、歩行者行動予測装置１の制御部１２は、ステップＳＣ２で歩行者を検出したか否かを判定する（ステップＳＣ３）。制御部１２は、ステップＳＣ３で歩行者を検出したと判定した場合（ステップＳＣ３：Ｙｅｓ）、次のステップＳＣ４およびステップＳＣ７の処理へ進む。つまり、制御部１２は、ステップＳＣ３で歩行者を検出したと判定した場合は、ステップＳＣ４〜ＳＣ６に示す処理とステップＳＣ７〜ＳＣ１２に示す処理を並行して実行する。の処理へ進む。一方、制御部１２は、ステップＳＣ３で歩行者を検出していないと判定した場合（ステップＳＣ３：Ｎｏ）、そのまま歩行者行動予測処理を終了する。
【００７４】
つぎに、歩行者行動予測装置１の歩行者検出部１２ａは、ステップＳＣ３で歩行者を検出したと判定した場合（ステップＳＣ３：Ｙｅｓ）、撮像画像上の歩行者の位置を取得する（ステップＳＣ４）。
【００７５】
つぎに、歩行者行動予測装置１の連続動作推定部１２ｈは、ステップＳＣ４で歩行者検出部１２ａにより取得した歩行者の位置の履歴に基づいて、当該歩行者の位置の移動に続いて生じる当該歩行者の連続的な動作を示す連続動作推定情報を生成する（ステップＳＣ５）。ここで、連続的な動作としては、例えば、歩行者が歩道から車道に向かって一定速度で直線的に進入する動作等が挙げられる。また、連続動作推定情報は、歩行者の移動方向および移動速度のうち少なくとも１つを含む。
【００７６】
つぎに、歩行者行動予測装置１の行動予測部１２ｉは、ステップＳＣ５で連続動作推定部１２ｈにより生成した連続動作推定情報を用いて歩行者の行動を予測する（ステップＳＣ６）。その後、歩行者行動予測処理を終了する。
【００７７】
ここで、ステップＳＣ３に戻り、歩行者行動予測装置１の歩行者検出部１２ａは、ステップＳＣ３で歩行者を検出したと判定した場合（ステップＳＣ３：Ｙｅｓ）、撮像画像から歩行者を含む部分画像を抽出する（ステップＳＣ７）。
【００７８】
つぎに、歩行者行動予測装置１の動作変化検出部１２ｂは、ステップＳＣ７で歩行者検出部１２ａにより抽出した部分画像に基づいて、歩行者の動作の変化を検出する（ステップＳＣ８）。なお、ステップＳＣ８で動作変化検出部１２ｂにより実行される動作変化検出処理の詳細については、上述の図３および図４と同様であるため説明を省略する。
【００７９】
つぎに、歩行者行動予測装置１の制御部１２は、ステップＳＣ８で歩行者の動作の変化を検出したか否かを判定する（ステップＳＣ９）。制御部１２は、ステップＳＣ９で歩行者の動作の変化を検出したと判定した場合（ステップＳＣ９：Ｙｅｓ）、次のステップＳＣ１０の処理へ進む。一方、制御部１２は、ステップＳＣ９で歩行者の動作の変化を検出していないと判定した場合（ステップＳＣ９：Ｎｏ）、歩行者行動予測処理を終了する。
【００８０】
つぎに、歩行者行動予測装置１の不連続動作推定部１２ｇは、ステップＳＣ８で歩行者の動作の変化を検出したと判定した場合（ステップＳＣ９：Ｙｅｓ）、撮像画像のオプティカルフローを算出する（ステップＳＣ１０）。具体的には、不連続動作推定部１２ｇは、時間的に連続する撮像画像から、歩行者を含む部分画像と歩行者の周囲の背景画像との相関に基づいて、撮影画像上の歩行者がどの方向へ移動しているかを示すベクトル（すなわち、オプティカルフロー）を算出する。
【００８１】
つぎに、歩行者行動予測装置１の不連続動作推定部１２ｇは、ステップＳＣ１０で算出したオプティカルフローを用いて、当該歩行者の動作の変化に続いて生じる当該歩行者の不連続的な動作を示す不連続動作推定情報を取得する（ステップＳＣ１１）。ここで、不連続的な動作としては、例えば、歩行者が歩道に沿って移動している状態から急に進行方向を変えて車道側へ進入する動作、歩行者が歩道に沿って低速度で移動している状態から急に高速度で移動する動作、および、歩行者が止まっている状態から急に動き出す動作等が挙げられる。また、不連続動作推定情報は、歩行者の移動方向および移動速度のうち少なくとも１つを含む。
【００８２】
つぎに、歩行者行動予測装置１の行動予測部１２ｉは、ステップＳＣ１１で不連続動作推定部１２ｇにより取得した不連続動作推定情報を用いて歩行者の行動を予測する（ステップＳＣ１２）。その後、歩行者行動予測処理を終了する。
【００８３】
そして、歩行者行動予測装置１の制御部１２は、本歩行者行動予測処理を終了後、予測された歩行者の行動の予測結果に基づいて、車両の運転者に当該歩行者について注意喚起する画像情報および／または音声情報を、報知手段４を介して出力する。ここで、歩行者行動予測装置１の制御部１２は、予測された歩行者の行動の予測結果に基づいて、当該歩行者との衝突を回避するよう車両制御を実行してもよい。
【００８４】
以上、実施形態２によれば、撮影画像から算出したオプティカルフローを用いて、歩行者の動作の変化があった後に歩行者がとった不連続的な動作を表す移動方向および移動速度を示すベクトル（すなわち、不連続動作推定情報）を取得することができる。これにより、実施形態２によれば、予め記憶手段に不連続動作推定情報を記憶していなくとも、上述の実施形態１と同様に、歩行者の動作の変化が検出された後の不連続的な動作の方向についても考慮することができる。その結果、実施形態２によれば、歩行者の行動が危険な方向に向かって行われるものであるか、安全な方向に向かって行われるものであるかを区別して予測することができる。このように、実施形態２によれば、上述の実施形態１と同様に、運転者が車両を運転中に車両周辺の歩行者の危険な動作が生じた場合、より迅速かつ正確に運転者に危険を報知することができるので、交通事故の発生可能性をより一層低減することができる。
【符号の説明】
【００８５】
１  歩行者行動予測装置
１２  制御部
１２ａ  歩行者検出部
１２ｂ  動作変化検出部
１２ｃ  形状情報取得部
１２ｄ  正規化部
１２ｅ  形状情報蓄積部
１２ｆ  変化検出部
１２ｇ  不連続動作推定部
１２ｈ  連続動作推定部
１２ｉ  行動予測部
１４  記憶部
１４ａ  形状情報記憶部
１４ｂ  不連続動作推定情報記憶部
２  カメラ
４  報知手段
【図１】
2013042205.tif 000006
【図２】
2013042205.tif 000007
【図３】
2013042205.tif 000008
【図４】
2013042205.tif 000009
【図５】
2013042205.tif 000010
【手続補正書】
【提出日】平成26年12月12日(2014.12.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像画像から歩行者を検出して当該歩行者を含む部分画像を抽出する歩行者検出手段と、
前記歩行者検出手段により抽出した前記部分画像から取得される前記歩行者の形状情報を蓄積し、蓄積した前記形状情報を用いて所定時間前の前記形状情報と現在の前記形状情報とを比較することで、前記歩行者の動作の変化を検出する動作変化検出手段と、
前記動作変化検出手段により前記歩行者の動作の変化を検出した場合、当該歩行者の動作の変化に続いて生じる当該歩行者の不連続的な動作を示す情報として画像データに対応させて予め格納されている不連続動作推定情報を前記撮像画像を用いた検索により記憶手段から取得する不連続動作推定手段と、
前記不連続動作推定手段により取得した前記不連続動作推定情報を用いて前記歩行者の行動を予測する行動予測手段と、
を備えることを特徴とする歩行者行動予測装置。
【請求項２】
前記動作変化検出手段は、
前記歩行者検出手段により抽出した前記部分画像から取得される前記歩行者の前記形状情報を表す特徴量分布を取得し、取得した特徴量分布で表される前記形状情報を正規化し、正規化した前記形状情報を蓄積し、蓄積した前記形状情報を用いて所定時間前の前記形状情報と現在の前記形状情報とを比較することで、前記歩行者の動作の変化を検出することを特徴とする請求項１に記載の歩行者行動予測装置。
【請求項３】
前記不連続動作推定手段は、
前記動作変化検出手段により前記歩行者の動作の変化を検出した場合、前記撮像画像のオプティカルフローを算出し、当該オプティカルフローを用いて前記不連続動作推定情報を取得することを特徴とする請求項１または２に記載の歩行者行動予測装置。
【請求項４】
前記歩行者検出手段は、
前記撮像画像上の前記歩行者の位置を取得し、
前記歩行者行動予測装置は、
前記歩行者検出手段により取得した前記歩行者の位置の履歴に基づいて、当該歩行者の位置の移動に続いて生じる当該歩行者の連続的な動作を示す連続動作推定情報を生成する連続動作推定手段、
を更に備え、
前記行動予測手段は、
前記連続動作推定手段により生成した前記連続動作推定情報に基づいて、前記歩行者の行動を予測することを特徴とする請求項１から３のいずれか一項に記載の歩行者行動予測装置。  
【請求項５】
前記不連続動作推定情報および前記連続動作推定情報は、
前記歩行者の移動方向および移動速度のうち少なくとも１つを含むことを特徴とする請求項１から４のいずれか一項に記載の歩行者行動予測装置。
【請求項６】
前記動作変化検出手段は、
所定の特徴量を用いて、前記歩行者検出手段により抽出した前記部分画像から前記歩行者の前記特徴量分布を取得する形状情報取得手段と、
前記形状情報取得手段により取得した前記特徴量分布を正規化して、当該特徴量分布に対応する確率分布を取得する正規化手段と、
前記正規化手段により取得した前記確率分布を蓄積する形状情報蓄積手段と、
所定の尺度を用いて、前記形状情報蓄積手段により蓄積した所定時間前の前記確率分布と現在の前記確率分布との差を計算し、計算された差が所定の閾値より大きい場合に、前記歩行者の動作の変化を検出する変化検出手段と、
を更に備えることを特徴とする請求項１から５のいずれか一項に記載の歩行者行動予測装置。  
【請求項７】
予め記憶された歩行者の形状の概要を示すデータを用いて撮像画像から歩行者を検出する歩行者検出手段と、形状情報取得部、正規化部、形状情報蓄積部、および、変化検出部の処理により、歩行者の動作の変化を検出する動作変化検出手段と、記憶手段に予め記憶された画像データを検索する不連続動作推定手段と、前記不連続動作推定部により取得した不連続動作推定情報を用いて歩行者の行動を予測する行動予測手段と、を備える歩行者行動予測装置における歩行者行動予測方法であって、
前記撮像画像から歩行者を検出して当該歩行者を含む部分画像を前記歩行者検出手段が抽出する歩行者検出ステップと、
前記動作変化検出手段が前記歩行者検出ステップにて抽出した前記部分画像から取得される前記歩行者の形状情報を蓄積し、蓄積した前記形状情報を用いて所定時間前の前記形状情報と現在の前記形状情報とを比較することで、前記歩行者の動作の変化を検出する動作変化検出ステップと、
前記動作変化検出ステップにて前記歩行者の動作の変化を検出した場合、前記不連続動作推定手段が当該歩行者の動作の変化に続いて生じる当該歩行者の不連続的な動作を示す情報として画像データに対応させて予め格納されている不連続動作推定情報を前記撮像画像を用いた検索により前記記憶手段から取得する不連続動作推定ステップと、
前記不連続動作推定ステップにて取得した前記不連続動作推定情報を用いて前記歩行者の行動を前記行動予測手段が予測する行動予測ステップと、
を含むことを特徴とする歩行者行動予測方法。
【請求項８】
前記動作変化検出ステップにおいて、
前記歩行者検出手段が前記歩行者検出ステップにて抽出した前記部分画像から取得される前記歩行者の前記形状情報を表す特徴量分布を取得し、取得した特徴量分布で表される前記形状情報を正規化し、正規化した前記形状情報を蓄積し、蓄積した前記形状情報を用いて所定時間前の前記形状情報と現在の前記形状情報とを比較することで、前記歩行者の動作の変化を検出することを特徴とする請求項７に記載の歩行者行動予測方法。
【請求項９】
前記不連続動作推定ステップにおいて、
前記不連続動作推定手段が前記動作変化検出ステップにて前記歩行者の動作の変化を検出した場合、前記撮像画像のオプティカルフローを算出し、当該オプティカルフローを用いて前記不連続動作推定情報を取得することを特徴とする請求項７または８に記載の歩行者行動予測方法。
【請求項１０】
前記歩行者行動予測装置は、歩行者の連続的な動作を示す連続動作推定情報を生成する連続動作推定手段をさらに備え、
前記歩行者検出ステップにおいて、
前記歩行者検出手段が前記撮像画像上の前記歩行者の位置を取得し、
前記歩行者行動予測方法は、
前記歩行者検出ステップにて取得した前記歩行者の位置の履歴に基づいて、当該歩行者の位置の移動に続いて生じる当該歩行者の連続的な動作を示す連続動作推定情報を生成する連続動作推定ステップ、
を更に含み、
前記行動予測ステップにおいて、
前記行動予測手段が前記連続動作推定ステップにて生成した前記連続動作推定情報に基づいて、前記歩行者の行動を予測することを特徴とする請求項７から９のいずれか一項に記載の歩行者行動予測方法。
【国際調査報告】
2013042205.tif 000011
2013042205.tif 000012
2013042205.tif 000013
2013042205.tif 000014