(57)【要約】【課題】自車両にとって危険な対象となる移動体を、迅速に検出可能な検出装置を提供する。【解決手段】移動体検出装置１において、パーツ識別器４３が、識別対象を部分的に表す複数のパーツの位置を撮像画像にて識別する。そして、姿勢特徴抽出部６１が、パーツの位置関係の特徴を示す姿勢特徴ベクトルｆを算出し、姿勢推定部６２が、姿勢特徴ベクトルｆと識別対象の姿勢との関係を示す確率モデルを用いて、姿勢特徴ベクトルｆから撮像画像中の識別対象の姿勢を推定する。情報提供部３０は、推定された姿勢に基づく識別対象に関する情報を提供する。【選択図】図１
2014067269.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載される検出装置であって、
識別対象の画像を撮像する撮像手段（２）と、
前記識別対象のうち一つを特定対象とし、前記識別対象を部分的に表す複数のパーツの位置をパーツ位置として、前記撮像手段が撮像した画像から、前記特定対象のパーツ位置を検出するパーツ位置検出手段（１０）と、
前記パーツの位置関係の特徴を示す情報をパーツ特徴情報として、前記特定対象について、前記パーツ特徴情報を算出する情報算出手段（６１）と、
前記識別対象の前記パーツ特徴情報と該識別対象の姿勢との関係を示す確率モデルを用いて、前記撮像手段が取得した画像中の前記特定対象について、前記パーツ特徴情報から前記姿勢を推定する姿勢推定手段（６２）と、
前記姿勢推定手段の推定結果に基づく情報を提供する姿勢情報提供手段（３０）と、
を備えることを特徴とする検出装置。
【請求項２】
前記パーツ位置に基づく複数の変量を成分とするベクトルを観測ベクトルとし、前記観測ベクトルの各成分について多変量解析における主成分分析を行うことにより得られる各主成分を列成分とする行列を変換行列として、
前記情報算出手段は、前記特定対象について、予め用意された前記変換行列の転置行列を用いて、前記観測ベクトルを座標変換して前記パーツ特徴情報を算出すること、を特徴とする請求項１に記載の検出装置。
【請求項３】
前記情報算出手段は、
前記多変量解析における主成分分析を用いて、複数の前記識別対象に対して前記観測ベクトルの共分散行列を算出し、算出された該行列の固有値のうち大きい順に予め定められた数までの固有値について、対応する固有ベクトルを順に並べてなる行列を、前記変換行列として用いること、を特徴とする請求項２に記載の検出装置。
【請求項４】
前記確率モデルは、
前記識別対象の取りうる姿勢として予め定めた少なくとも一つの姿勢を推定姿勢とし、前記識別対象が有する前記パーツ特徴情報の成分を説明変数とし、前記識別対象がそれぞれの前記推定姿勢を取りうる確率を目的変数とした、ロジスティック回帰手法を用いたモデルであること、を特徴とする請求項１から３のいずれか一項に記載の検出装置。
【請求項５】
前記パーツ位置検出手段において、少なくとも１つのパーツの位置が未検出である前記特定対象について、
前記情報算出手段は、未検出の前記パーツの位置に代替値を当てはめて前記観測ベクトルを生成すること、を特徴とする請求項２から４のいずれか一項に記載の検出装置。
【請求項６】
前記パーツ位置検出手段によって検出される前記パーツ位置を時系列に観測して得られる、前記パーツの時系列における位置関係の特徴を示す動作特徴情報を、前記特定対象について算出する動作情報算出手段（７１）と、
前記動作特徴情報に基づいて前記特定対象の動作を推定する動作推定手段（７２）と、
前記動作推定手段の推定結果に基づく情報を提供する動作情報提供手段（３０）と、
を備えることを特徴とする請求項１から５のいずれか一項に記載の検出装置。
【請求項７】
前記パーツ特徴情報に前記変換行列を作用させることにより得られるベクトルを推定ベクトルとして、
前記パーツ位置と前記識別対象の下端位置との関係を示す下端推定モデルを用いて、前記特定対象の前記推定ベクトルに基づいて該特定対象の下端位置を推定する下端推定手段（８０）と、
前記下端推定手段により推定された下端位置に基づいて、前記特定対象と自車両との距離を算出し、算出された前記距離に基づく情報を提供する距離情報提供手段（３０）と、
を備えることを特徴とする請求項１から６のいずれか一項に記載の検出装置。
【請求項８】
前記下端推定モデルは、前記推定ベクトルの各成分を説明変数として前記下端位置を推定する線形回帰モデルであること、を特徴とする請求項７に記載の検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像から識別対象を検出する検出装置に関する。
【背景技術】
【０００２】
従来、車両の周辺環境（車両進行方向に存在する移動体の有無や移動体の位置等）に応じた運転支援を実行するシステムについて、各種検討が行われている。
このようなシステムの一例として、車両に搭載された赤外線カメラ等により撮像された画像から歩行者を検出し、この歩行者が自車両にとって危険な対象であるか否か、具体的には、自車両への衝突の虞があるか否かを判断するもの（以下、従来装置という）が知られている（例えば、特許文献１参照）。
【０００３】
この従来装置では、車両に搭載された２台のカメラを用いて歩行者を検出し、この歩行者の全体（全身）のシルエットを水平方向にスライスした直線の中点をサンプル点として、このサンプル点を直線で回帰させる処理を画像上にて実行する。そして、この従来装置では、推定された回帰直線の鉛直方向からの傾きを歩行者の体幹の傾きとして、この体幹の傾きが車道の中心に向かって予め定めた値以上傾いていれば、この人物は車道への飛び出しの虞が高いと判断する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４１７３８９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、体幹の傾きは、歩行者の一連の動きの中で最後に出現することが一般的である。つまり、例えば歩行者が車道に飛び出そうとしているならば、手が動く又は足が動く等、人体を構成する各パーツに何らかの動きが出現した後に、体幹の傾きが出現すると考えられる。
【０００６】
従来装置では、歩行者の姿勢（動き）を判断する際に、体幹の傾きが生じる迄の時間を要してしまう。そこで、車道に飛び出そうとする歩行者等、自車両にとって危険な姿勢（動き）を行う移動体を、より迅速に検出する技術が望まれる。
【０００７】
本発明は、上記問題点を解決するためになされたものであり、自車両にとって危険な対象となる移動体を、迅速に検出可能な検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するためになされた本発明の検出装置は、車両に搭載され、パーツ位置検出手段が、撮像画像中の識別対象を部分的に表すパーツの位置（パーツ位置）を検出する。また、情報算出手段が、検出したパーツの位置関係の特徴を示すパーツ特徴情報を算出する。そして、姿勢推定手段が、パーツ特徴情報と識別対象のとる姿勢との関係を示す確率モデルを用いて、パーツ特徴情報から識別対象の姿勢を推定する。姿勢情報提供手段は、姿勢推定手段の推定結果に基づく情報、例えば自車両に対して危険な姿勢をとっている、等の様に識別対象についての情報を提供する。
【０００９】
なお、パーツとは識別対象を部分的に表す部位のことをいい、例えば識別対象が歩行者である場合、頭部、右肩部、左肩部、腰部、右足部、左足部等、身体を部分的に表す部位をいう。
【００１０】
ここで、識別対象が何らかの動きを行うとき、識別対象を構成する各パーツに、まず何らかの動きが出現する。つまり、各パーツの位置関係に変化が生じ、しかもその変化が連動して生じると考えられる。
【００１１】
本発明の検出装置では、この様なパーツを対象として各パーツ間の位置関係の特徴を抽出し、この特徴に基づき識別対象の姿勢（動き）を推定するため、結果として、より迅速に自車両にとって危険な対象となる識別対象を検出することができる。
【００１２】
本発明の検出装置における情報算出手段は、請求項２に記載のように、パーツ位置に基づく複数の変量を成分とするベクトルを観測ベクトルとし、観測ベクトルの各成分について多変量解析における主成分分析を行うことにより得られる各主成分を列成分とした行列である予め用意された変換行列の転置行列を用いて、特定対象の観測ベクトルを座標変換してパーツ特徴情報を算出する。
【００１３】
より具体的には、例えば請求項３に記載のように、情報算出手段は、多変量解析における主成分分析を用いて、複数の識別対象に対して観測ベクトルの共分散行列を算出し、算出された該行列の固有値のうち大きい順に予め定められた数までの固有値について、対応する固有ベクトルを順に並べてなる行列を、変換行列として用いる。
【００１４】
これによると、観測ベクトルがより低次元のパーツ特徴情報に変換されるため、このパーツ特徴情報を用いて歩行者の姿勢を推定する処理では、演算量が低減されると共に、ノイズに頑健な推定結果を得ることができる。結果として、本発明の検出装置は、迅速にかつ精度よく、自車両にとって危険な対象となる移動体を検出することができる。
【図面の簡単な説明】
【００１５】
【図１】実施形態の移動体検出装置の構成を示すブロック図である。
【図２】位置検出部１０にて歩行者が検出される過程を模式的に示す説明図である。
【図３】（ａ）は事前に準備された撮像画像において歩行者の姿勢を確認した確認結果（正解タグ）を示す説明図であり、（ｂ）は（ａ）と同じ撮像画像において姿勢推定部によって歩行者の姿勢を推定した推定結果を示す説明図である。
【図４】（ａ）は事前に準備された撮像画像において歩行者の動作を確認した確認結果（正解タグ）を示す説明図であり、（ｂ）は同じ撮像画像において動作推定部によって歩行者の動作を推定した推定結果を示す説明図である。
【図５】回帰係数及びバイアスを示す説明図である。
【図６】図５に示す回帰係数及びバイアスにおいて下端位置を算出したときの、算出誤差を示す説明図である。
【図７】本実施形態の加工画像を示す説明図である。
【発明を実施するための形態】
【００１６】
以下、本発明が適用された実施形態について、図面を用いて説明する。
［実施形態］
＜全体構成＞
図１に示す移動体検出装置１は、自動車に搭載され、車載カメラ２及び車載表示装置３のそれぞれと通信可能に接続されている。車載カメラ２は、自動車の走行方向前方を撮像するカメラ（本実施形態では、単眼カメラ）であり、撮像画像を移動体検出装置１に出力する。
【００１７】
移動体検出装置１は、車載カメラ２から入力した撮像画像において、識別対象として歩行者等の移動体を検出し、この移動体について姿勢及び動作等の情報を抽出する。この抽出した情報に基づいて、移動体検出装置１は、この移動体が自車両にとって危険な対象（危険対称）であると判断した場合、危険対象と判断された移動体を強調する表示を撮像画像に加えた画像（加工画像）を生成して車載表示装置３に出力する。
【００１８】
車載表示装置３は、各種画像を表示し視覚的に情報を提示するためのディスプレイを少なくとも備え、移動体検出装置１から入力した加工画像を、自動車の運転者が視認できるように表示する。
【００１９】
移動体検出装置１は、撮像画像から抽出した移動体について、この移動体の全体（全身）の位置と、この移動体を部分的に表す複数種類のパーツの位置とに基づく観測情報を出力する位置検出部１０を備える。また、移動体検出装置１は、この観測情報に基づいて、移動体がどの方向に進もうとする姿勢をとっているのか（姿勢情報）、どのような動作をしようとしているのか（動作情報）、及び自車両からどれくらい離れて位置しているのか（距離情報）等の、移動体に関する情報を抽出する情報抽出部２０を備える。さらに、移動体検出装置１は、この情報抽出部２０にて抽出された移動体に関する情報を運転者に認識させることができる形のデータ（加工画像）として出力する情報提供部３０を備える。
【００２０】
ここで、移動体として、歩行者、自転車及びオートバイク（自動二輪車）等の車両に乗車する人物等、種々のものが考えられるが、本実施形態では、歩行者（自転車及びオートバイク（自動二輪車）等の車両に乗車していない人物）を検出対象としている。
【００２１】
＜位置検出部＞
位置検出部１０は、撮像画像の特徴量を算出する特徴量算出部４１と、算出された特徴量を用いて撮像画像から歩行者の全体形状（シルエット）を識別する全体識別部４２と、算出された特徴量を用いて撮像画像から歩行者を部分的に表す複数のパーツを識別するパーツ識別部４３と、識別された歩行者のシルエット及び該歩行者のパーツの位置に基づく観測情報を出力する観測情報生成部５０と、を備える。
【００２２】
特徴量算出部４１は、撮像画像の画像データから輝度値で表現された画像データを生成し、この輝度値で表現された画像データに対して、画像を構成する画素ごとに勾配強度及び勾配方向を算出し、複数画素からなる領域（ブロック）のＨＯＧ（Histograms of Oriented Gradients）特徴量を算出する。ＨＯＧ特徴量の算出方法は周知であるため、ここでは説明を省略する。
【００２３】
全体識別部４２では、予め学習等により定められた基準とすべき歩行者の全体形状（基準シルエット。例えば、歩行者の全身に相当する矩形領域（Ｍ０ブロック×Ｎ０ブロック。Ｍ０、Ｎ０は自然数）をいう。）について算出されたＨＯＧ特徴量が、全体基準特徴量として記憶されている。
【００２４】
この全体基準特徴量をテンプレートとして、全体識別部４２は、撮像画像においてテンプレートの位置を順にずらしながら、各位置におけるテンプレートとの類似度（スコア）を算出する周知のテンプレートマッチングの処理を行う。各位置で算出された類似度は、その位置に歩行者（の基準シルエット）が存在する可能性の高さを示す。
【００２５】
このスコアが予め定めた閾値を超える場合、全体識別部４２は、その位置に歩行者が存在すると判定し、この位置における基準シルエットの中心（Ｍ０×Ｎ０ブロックの矩形領域の中心）座標を算出し、算出した座標を全体座標（ｘ＿ｒ、ｙ＿ｒ）として出力する（図２参照）。
【００２６】
パーツ識別部４３は、検出すべき移動体が歩行者である場合、撮像画像から頭部を識別する頭部識別部４４、右側及び左側の肩部を識別する右肩識別部４５及び左肩識別部４６、腰部を識別する腰部識別部４７、右側及び左側の足部を識別する右足識別部４８及び左足識別部４９を備える。
【００２７】
これらのうち、例えば頭部識別部４４には、予め学習等により定められた基準とすべき頭部の形状（例えば、頭部に相当する矩形領域（Ｍ１ブロック×Ｎ１ブロック。Ｍ１、Ｎ１は自然数。））について算出されたＨＯＧ特徴量が、頭部基準特徴量として記憶されている。
【００２８】
頭部識別部４４は、頭部基準特徴量をテンプレートとして、撮像画像においてテンプレートの位置を順にずらしながら、全体識別部４２にて実施した処理と同様のテンプレートマッチングの処理を行い、各位置における類似度（スコア）を算出する。このスコアが予め定めた閾値を超える場合、頭部識別部４４は、その位置に頭部が存在すると判定し、基準頭部の領域の中心（Ｍ１×Ｎ１ブロックの矩形の中心）座標を算出し、算出した座標を頭部座標（ｘ＿ｐ１、ｙ＿ｐ１）として出力する。
【００２９】
右肩識別部４５、左肩識別部４６、腰部識別部４７、右足識別部４８及び左足識別部４９は、使用するテンプレートが検出するパーツによって異なる他は、頭部識別部４４と同様の処理を行う。そして、各識別部は、右肩、左肩、胴、右足、左足が存在すると判定された撮像画像上の座標を、それぞれ、右肩座標（ｘ＿ｐ２、ｙ＿ｐ２）、左肩座標（ｘ＿ｐ３、ｙ＿ｐ３）、胴座標（ｘ＿ｐ４、ｙ＿ｐ４）、右足座標（ｘ＿ｐ５、ｙ＿ｐ５）、左足座標（ｘ＿ｐ６、ｙ＿ｐ６）として出力する。
【００３０】
観測情報生成部５０は、頭部、両肩、腰部、両足の６つのパーツの相対的な位置関係から、これら６つのパーツを包含する矩形領域に、歩行者が存在する可能性の高さを示す総合類似度を算出する。算出された総合類似度が予め定めた閾値を越える場合、観測情報生成部５０は、その矩形領域に歩行者が存在すると判定する。
【００３１】
そして、観測情報生成部５０は、歩行者が存在すると判定した矩形領域に対応する全体座標及び各パーツの座標の値を順に並べてなるＮ（Ｎは自然数）次元の観測ベクトルｖを、（１）式に示すように生成し、この観測ベクトルｖを観測情報として出力する。但し、（１）式に示す各ｘ及びｙの値は、各座標の値を正規化した値とする。つまり、撮像画像から抽出した歩行者画像を同じ大きさで比較できる様に、全体識別部４２及びパーツ識別部４３から出力された各座標の値を正規化する。なお本実施形態では、観測ベクトルｖは１４次元のベクトルであるため（１（全体識別部の数）×２＋６（パーツ識別部の数）×２＝１４）、以下の説明ではＮ＝１４とする。
【００３２】
【数１】
2014067269.tif 000003
なお、上記のように撮像画像から歩行者を抽出する際、常に全てのパーツの座標が取得されるとは限らない。例えば、検出すべき歩行者と他の歩行者とが重なっている場合や、検出すべき歩行者と何らかの物体が重なっている場合（以下、この様な状況を遮蔽という）は、重なっているパーツの座標が取得されないことが有り得る。また、一部のパーツが撮像画像からフレームアウトしているために、該パーツの座標が取得されない場合が有り得る。
【００３３】
この様に検出すべき歩行者について少なくとも一つのパーツ位置（座標）が検出されなかった場合、観測情報生成部５０は、未検出のパーツ位置（座標）に対応する値として予め定められた代替値を当てはめ、観測ベクトルｖを生成する。例えば、左足が抽出されなかった場合であれば、観測ベクトルｖの左足の座標に相当する成分の値を代替値である「０」とする。
【００３４】
なお、本実施形態では、位置検出部１０における一連の処理において、ｌａｔｅｎｔＳＶＭ及びＤＰＭを用いた手法（詳細は、P.F.Felzenszwalb et al.,"Object Detection with Discriminatively Trained Part Based Models,"IEEE Trunsactions on Pattern Analysis and Machine Intelligence(2009).  参照）を利用し、頭部、右肩、左肩、胴、右足、左足の６つのパーツの相対的な位置関係を適切に保った状態のものを、人として検出する。
【００３５】
＜情報抽出部＞
情報抽出部２０は、観測ベクトルｖに基づいて、検出された歩行者の姿勢情報を抽出する姿勢情報抽出部６０と、動作情報を抽出する動作情報抽出部７０と、下端位置情報を出力する下端推定部８０と、を備える。
＜姿勢情報抽出部＞
姿勢情報抽出部６０は、歩行者の各パーツの位置関係の特徴を示す姿勢特徴ベクトルｆを算出する姿勢特徴抽出部６１と、姿勢特徴ベクトルｆに基づいて移動体の姿勢を推定する姿勢推定部６２とを備える。
【００３６】
姿勢特徴抽出部６１は、（２）式に示すように、Ｎ次元の観測ベクトルｖに基づいてｋ（ｋは自然数。ｋ＜Ｎ。）次元の姿勢特徴ベクトルｆを算出する。観測ベクトルｖに比べて次元数が低減された姿勢特徴ベクトルｆは、パーツ特徴情報として、姿勢推定部６２及び下端推定部８０に出力される。
【００３７】
【数２】
2014067269.tif 000004
ここで、変換行列Ａｋは、事前の実験によって算出された値が用いられる。変換行列Ａｋの算出方法について次に説明する。
【００３８】
まず、事前に収集された多くの学習用の撮像画像から、Ｍ体（Ｍは自然数）の歩行者画像について、位置検出部１０で算出したものと同様のＮ次元の観測ベクトルｖ（ｉ）（（１）式参照。ｉ＝１、２、・・Ｍ）を算出し、（３）式に示すように、これらＭ体の観測ベクトルｖ（ｉ）の平均値を平均ベクトルｖaとして算出する。学習用の撮像画像は、歩行者が撮像されている画像で、車載カメラ２により撮像された画像であることが、より望ましい。
【００３９】
【数３】
2014067269.tif 000005
Ｎ次元の平均ベクトルｖaの各成分は、歩行者の各パーツの平均的な位置を表す。つまり、平均ベクトルｖaは、撮像画像におけるＭ体の歩行者の平均的な姿勢（形状）を表す。
【００４０】
次に、（４）式に示すように、Ｍ体の各歩行者の観測ベクトルｖ（ｉ）と平均ベクトルｖaとの差分（偏差）を成分としてデータ行列Ｘを生成し、（５）式に示すように、データ行列Ｘを用いて分散共分散行列Ｓを算出する。
【００４１】
【数４】
2014067269.tif 000006
【００４２】
【数５】
2014067269.tif 000007
分散共分散行列ＳはＮ×Ｎの行列となり、これを固有値分解することにより（６）式を得る。
【００４３】
【数６】
2014067269.tif 000008
（６）式において、Λは分散共分散行列Ｓの固有値λｉ（ｉ＝１、・・Ｎ）を対角成分とする対角行列であり、固有値λｉを大きい値から順に並べて、各固有値λｉと対応するＮ次元の固有ベクトルａ（ｉ）（ｉ＝１、・・・Ｎ）を算出する。
【００４４】
ここで、ｉ番目に大きい固有値λｉに対応する固有ベクトルａ（ｉ）を第ｉ主成分として、第１主成分ａ（１）〜第Ｎ主成分ａ（Ｎ）により構成されるＮ×Ｎの行列Ａを算出する。そして、この行列Ａの内、第１主成分ａ（１）〜第ｋ主成分ａ（ｋ）により構成されるＮ×ｋの部分基底行列Ａｋを（７）式に示すように算出する（ここでは、Ｎ＝１４より、ｋ＜１４）。
【００４５】
【数７】
2014067269.tif 000009
この様に算出した部分基底行列Ａｋが変換行列Ａｋに相当する。つまり、データ行列Ｘの固有値分解を実施することは、データ行列Ｘに対して多変量解析における主成分分析を行うことを意味する。
【００４６】
なお、ｋの値は、固有値から算出される累積寄与率により決定する。ここでは、累積寄与率８０％以上を満足するｋの値を６（ｋ＝６）とし、第１主成分ａ（１）〜第６主成分ａ（６）により構成される１４×６の部分基底行列Ａｋを変換行列Ａｋとした。
【００４７】
つまり、学習用の多数（Ｍ体）の歩行者画像において、全身及び各パーツからなる歩行者の姿勢（形状）を、各パーツ位置を成分とするＮ次元のベクトル（観測ベクトルｖ）と見なし、主成分分析を行うことにより、歩行者の姿勢（形状）の特徴をもった比較的低次元（ｋ次元）の部分空間が得られる。この部分空間を構成する基底ベクトルが、変換行列Ａｋの主成分ａ（１）〜ａ（ｋ）に対応している。
【００４８】
姿勢特徴抽出部６１が算出する姿勢特徴ベクトルｆは、Ｎ次元の観測ベクトルｖ（移動体検出装置１の車載カメラ２で撮像した歩行者画像から生成した観測ベクトル）を、次元が低減されたｋ次元の部分空間に写像したものとなっている。そして、この姿勢特徴ベクトルｆを用いて姿勢推定部６２にて姿勢推定の処理を行うということは、この次元が低減された部分空間の中で姿勢推定の処理が行われることを意味する。
【００４９】
姿勢推定部６２は、ｋ次元の姿勢特徴ベクトルｆを有する歩行者画像について、歩行者の姿勢ｙが、姿勢ラベルｒに相当する姿勢（推定姿勢）となっている姿勢確率ｐ（ｙ＝ｒ｜ｆ）（但し、ｒ＝１、２、・・・Ｒ。Ｒは自然数。）を、ロジスティック回帰手法を利用して、（８）式により算出する。
【００５０】
【数８】
2014067269.tif 000010
ここでは、姿勢ラベルｒは４クラス（Ｒ＝４）からなり、姿勢ラベル１（ｒ＝１）は姿勢として前向きを表し、姿勢ラベル２（ｒ＝２）は後向きを表し、姿勢ラベル３（ｒ＝３）は左向きを表し、姿勢ラベル４（ｒ＝４）は右向きを表わすものとする。つまり、姿勢とは、歩行者が進もうとしている向きをいうものとする。なお、姿勢確率ｐ（ｙ＝ｒ｜ｆ）（ｒ＝１〜４）の合計は１となる様に算出される。
【００５１】
算出された姿勢確率ｐ（ｙ＝ｒ｜ｆ）は、姿勢情報として、情報提供部３０に出力される。
ここで、（８）式における、各パラメータ（θr0、θrT、θq0、θqTは、事前の実験によって、次の様に算出されたものである。
【００５２】
まず、事前に収集された多くの学習用の撮像画像（歩行者が撮像されている画像。車載カメラ２による撮像画像であることがより望ましい）から、多数（Ｇ体）の歩行者画像について、姿勢特徴抽出部６１で算出したものと同様のｋ次元の姿勢特徴ベクトルｆ（ｊ）（（２）式参照。ｊ＝１、２、・・・Ｇ。Ｇは自然数。）を算出する。また、各歩行者画像における歩行者の姿勢を視認によって確認し、対応する姿勢ラベルｒを１つ付与しておく。この様に、予め付与された姿勢ラベルｒを「正解タグ」という。
【００５３】
そして、学習用の撮像画像から算出された姿勢特徴ベクトルｆ（ｊ）のそれぞれについて、ｋ個の成分ｆ１〜ｆｋを説明変数とし、撮像画像に対応する「正解タグ」を目的変数として、（８）式が成り立つ様に、各パラメータ（スカラーθr0、θq0、ｋ次元のベクトルθrT、θqT）を設定する。
【００５４】
ここで、姿勢推定部６２による歩行者の姿勢の推定結果を図３に示す。同図（ａ）は、事前に歩行者の撮像画像を複数準備し、各撮像画像から視認により確認された歩行者の姿勢（正解タグ）を白色で示した図である。同図（ｂ）は、同じ撮像画像における歩行者の姿勢ｙを、姿勢推定部６２によって推定した結果を示し図である。同図（ｂ）では、姿勢確率ｐ（ｙ＝ｒ｜ｆ）の値は、グレースケールで表示されており、色が濃い（黒い）ほど０に近い値を示し、色が薄い（白い）ほど１に近い値を示す。
【００５５】
例えば、最初の数枚（フレーム）についてみると、正解タグとして姿勢ラベル１が付与されており（図３（ａ）参照）、歩行者が「前」向きの姿勢をとっていたことが確認される。これに対して、同じ最初の数フレームを姿勢推定部６２により推定した結果では（同図（ｂ）参照）、正解タグである「前」向の姿勢をとっている姿勢確率ｐ（ｙ＝１｜ｆ）が、他の姿勢をとっている確率に比べて大きな値として算出されている。つまり、姿勢推定部６２による推定結果は高い確率で正解タグと一致することが確認されている。
【００５６】
この様に、姿勢情報抽出部６０は、多次元（Ｎ次元）のデータ（観測ベクトルｖ）から得られた、より低次元（ｋ次元）の特徴的な指標（姿勢特徴ベクトルｆ）を用いて、姿勢の推定を行うため、姿勢推定の処理において、演算量が低減されると共に、ノイズに頑健な処理結果が得られる。
【００５７】
＜動作情報抽出部＞
動作情報抽出部７０は、動作特徴抽出部７１と動作推定部７２とを備える。動作情報抽出部７０は、事前の実験において観測ベクトルｖに代えてＬ（Ｌは自然数。Ｌ＞Ｎ）次元の動作観測ベクトルｖmを観測して主成分分析を行う点、及び、主成分分析を行った結果を利用し、入力画像における動作観測ベクトルｖmに基づいて、歩行者が動作ラベルｒm（ｒmは自然数）に対応する動作をとっている確率を算出する点が異なる他は、姿勢情報抽出部６０と同様の処理を行う。
【００５８】
つまり、動作特徴抽出部７１は姿勢特徴抽出部６１に相当し、動作推定部７２は姿勢推定部６２に相当する。動作特徴抽出部７１は、動作観測ベクトルｖmを生成し、この動作観測ベクトルｖmに基づいて姿勢特徴ベクトルｆに相当する動作特徴ベクトルを算出し、動作特徴情報として動作推定部７２に出力する。動作推定部７２は、動作特徴情報（動作特徴ベクトル）に基づき、撮像画像の歩行者が各動作ラベルｒmに対応する動作をとっている確率を算出し、算出結果を動作情報として情報提供部３０に出力する。
【００５９】
動作観測ベクトルｖmとは、検出すべき歩行者について、時系列に連続した撮像画像における観測ベクトルｖ（（１）式参照）を、予め定められたフレーム数Ｈ（Ｈは２以上の自然数。ここでは、Ｈ＝１０とした。）だけ、単純に時系列に並べて構成されるＬ次元（ここでは、Ｌ＝Ｎ×Ｈ＝１４×１０＝１４０）のベクトルをいう。
【００６０】
また、動作ラベルｒmは３クラスからなり、動作ラベル１（ｒm＝１）は止まる動作を表し、動作ラベル２（ｒm＝２）は歩く動作を表し、動作ラベル３（ｒm＝３）は走る動作を表わすものとする。
【００６１】
ここで、動作情報抽出部７０による歩行者の動作の推定結果を図４に示す。同図（ａ）は、事前に同一の歩行者について時系列に撮像した画像を複数準備し、撮像画像から視認によって確認された該歩行者の動作（正解タグ）を白色で示した図である。同図（ｂ）は、同じ撮像画像における歩行者の動作を、動作推定部７２によって推定した結果を示した図である。同図（ｂ）では、各動作ラベルｒmに対応する動作をとっていると推定される確率は、色が濃い（黒い）ほど０に近く、色が薄い（白い）ほど１に近い値として示されている。
【００６２】
例えば、最初の数フレームについてみると、正解タグとして動作ラベル２が付与されており（図４（ａ）参照）、歩行者が「歩く」動作をしていたことが正解である。これに対して、同じ最初の数フレームを動作推定部７２により推定した結果では（同図（ｂ）参照）、正解タグである「歩く」動作を行っている確率が、他の動作を行っている確率に比べて大きな値として算出されている。つまり、
動作推定部７２による推定結果は高い確率で正解タグと一致することが確認されている。
【００６３】
この様に、動作情報抽出部７０は、姿勢情報抽出部６０と同様の効果を得ることができる。つまり、多次元（Ｎ×Ｈ次元）のデータ（動作観測ベクトルｖm）から得られた、より低次元の特徴的な指標（動作特徴ベクトル）を用いて動作の推定が行われるため、動作の推定処理において演算量が低減されると共に、ノイズに頑健な処理結果が得られる。
【００６４】
＜下端位置推定部＞
下端推定部８０は、姿勢特徴抽出部６１から出力されたｋ次元の姿勢特徴ベクトルｆに、予め用意された上述の変換行列Ａｋを作用させて、（９）式に示すように、Ｎ次元の推定ベクトルｖdを算出する。
【００６５】
【数９】
2014067269.tif 000011
つまり、Ｎ次元空間における観測ベクトルｖをｋ次元空間に写像して得た姿勢特徴ベクトルｆを、再びＮ次元空間に写像し直す処理を行うことにより得られたものが推定ベクトルｖdであり、推定ベクトルｖdは元の観測ベクトルｖの近似値となっている。
【００６６】
ここで、上述のように、遮蔽等の影響により未検出となったパーツの情報として予め定められた代替値（ここでは０）を当てはめて観測ベクトルｖを生成しておくことにより、未検出であったパーツ位置の情報を推定ベクトルｖdの成分として得ることができる。
【００６７】
この様な推定ベクトルｖdを用いて、下端推定部８０は、撮像画像における歩行者の下端位置座標を推定する。下端位置座標は、右足座標及び左足座標よりさらに下方に位置する。
【００６８】
具体的には、下端推定部８０は、推定ベクトルｖdの成分を説明変数とし、結果である下端位置座標Ｕ＝（ｘ、ｙ）Tを、線形回帰モデル（下端推定モデル）に基づき（１０）式により推定する。
【数１０】
2014067269.tif 000012
【００６９】
推定された下端位置座標Ｕ＝（ｘ、ｙ）Tは、下端位置情報として情報提供部３０に出力される。
【００７０】
ここで、（１０）式における回帰係数Ｗ、及びバイアスベクトルｂの算出方法について説明する。これらは、事前の実験により、収集された多くの撮像画像から最小二乗法により決定されたものである。回帰係数Ｗ（ｉ）は回帰係数を示す２×Ｎの行列であり、バイアスベクトルｂは２×１の行列である。
【００７１】
回帰係数Ｗ、及びバイアスベクトルｂを図５に示す様に決定した場合、推定された下端位置座標Ｕの推定誤差は、図６に示す様に、ほぼ５画素以内に収まることが確認された。
この様に、下端推定部８０では、下端位置座標Ｕを、各パーツの位置関係に基づいて推定するため、下端位置座標Ｕが精度よく算出される。
【００７２】
＜情報提供部＞
情報提供部３０は、姿勢情報、動作情報、及び下端位置情報に基づき、自車両にとって危険な対象であると判断した歩行者（以下、危険対象という）を強調する表示を撮像画像に加えた加工画像を生成する。
【００７３】
本実施形態では、情報提供部３０は、図７に示す様に、下端位置情報に基づき、各歩行者９１〜９４の下端位置を示す下端線１０１〜１０４を元の撮像画像に合成した加工画像を生成する。
【００７４】
また、情報提供部３０は、歩行者が前後方向、左右方向のうちいずれの方向に進もうとする姿勢を取っているかを示すマーク（姿勢表示マーク）を元の画像に合成した加工画像を生成する。
【００７５】
具体的には、情報提供部３０は、姿勢情報に基づき、識別対象が「前」向及び「後」向の姿勢をとっている姿勢確率ｐ（ｙ＝ｒ｜ｆ）（但しｒ＝１又は２）の合計値を「縦」向の姿勢をとっている確率とし、「左」向及び「右」向の姿勢をとっている姿勢確率ｐ（ｙ＝ｒ｜ｆ）（但しｒ＝３又は４）の合計値を「横」向の姿勢をとっている確率として、「縦」「横」の姿勢をとる確率の比を縦横比とした楕円の姿勢表示マークを生成し、該姿勢表示マークを元の画像に合成した加工画像を生成する。つまり、図７に示す様に、「縦」向きの歩行者９１については縦長の楕円１１１が姿勢表示マークとして表示され、「横」向きの歩行者９２、９３及び９４に対しては、横長の楕円１１２〜１１４が姿勢表示マークとして表示される。
【００７６】
さらにまた、情報提供部３０は、下端位置情報と撮像画像中の無限遠点とを利用して、自車両から歩行者までの距離を算出し、算出した距離を元の撮像画像に追加表示する。撮像画像中の無限遠点を利用した対象物までの距離の算出方法は周知であるため（例えば、特許第４０６３１７０号参照）、ここでは説明を省略する。
【００７７】
また、情報提供部３０は、「止まる」以外の動作、つまり「歩く」又は「走る」動作を行っている歩行者であって、かつ、「縦」方向より自車両にとって危険が生じる虞のある「横」方向に進もうとしている歩行者を危険対象として、動作推定情報に基づき危険対象と判定された歩行者を囲む枠を元の撮像画像に合成した加工画像を生成する。つまり、図７に示す様に、「歩く」動作を行っており、かつその向きが「横」向きである歩行者９２〜９４について、これらの歩行者９２〜９４を強調する様に、枠１２２〜１２４が追加表示される。
【００７８】
この様に情報提供部３０は、抽出された姿勢情報、動作情報、及び下端位置情報に基づく歩行者に関する種々の情報を、加工画像という見やすい形で提供することにより、運転者に危険対象についての注意を促す。
【００７９】
［効果］
以上説明したように、本実施形態の移動体検出装置１は、姿勢情報抽出部６０によって、検出すべき歩行者について各パーツの位置情報を成分とする観測ベクトルｖを生成し、この観測ベクトルｖを各パーツの位置関係の特徴を示す姿勢特徴ベクトルｆに変換し、この姿勢特徴ベクトルｆに基づき歩行者の姿勢を推定する。これによると、体幹の傾きに基づき姿勢を推定する場合と比べて、自車両に対して危険な姿勢をとる歩行者を迅速に検出することができる。
【００８０】
また、姿勢特徴ベクトルｆは、撮像画像における観測ベクトルｖに比べて次元が低減されるため、姿勢特徴ベクトルｆを用いた姿勢の推定処理では、演算量が低減される共に、ノイズに頑健な推定結果を得ることができる。結果として、自車両にとって危険な対象となる歩行者を、迅速にかつ精度よく検出することができる。
【００８１】
なお、移動体検出装置１は、姿勢を推定するにあたり、ロジスティック回帰手法を用いたモデルを確率モデルとして採用した。これにより、歩行者がどの姿勢をとっているかという結果（離散変数）を、姿勢特徴ベクトルｆから予測することができる。
【００８２】
また、移動体検出装置１は、動作情報抽出部７０によって、上述の観測ベクトルｖに基づいて歩行者の姿勢を推定する考え方を時系列的に拡張し、動作観測ベクトルｖmに基づいて歩行者の動作を推定する。これによると、姿勢に加えて動作についての情報を利用できるため、自車両にとって危険な対象となる歩行者を、より精度よく検出することができる。
【００８３】
さらにまた、移動体検出装置１は、下端推定部８０によって算出される推定ベクトルｖdに基づいて、下端位置座標Ｕを推定する。これにより、例えば、パーツ識別部４３にて観測された右足座標及び左足座標だけに基づいて下端位置座標を推定する場合に比べて、信頼性の高い推定結果が得られるだけでなく、
右足座標又は左足座標が未検出であった場合でも、精度よく下端位置座標Ｕを推定することができる。結果として、例えばこの下端位置座標Ｕの情報を用いて、単眼カメラで撮像した撮像画像においても、歩行者までの距離を精度よく推定することができるようになる。
【００８４】
［特許請求の範囲との対応］
本実施形態の移動体検出装置１が特許請求の範囲の「検出装置」に相当し、車載カメラ２が特許請求の範囲の「撮像手段」に相当し、位置検出部１０が特許請求の範囲の「パーツ位置検出手段」に相当する。また、姿勢特徴抽出部６１が特許請求の範囲の「情報算出手段」に相当し、姿勢推定部６２が特許請求の範囲の「姿勢推定手段」に相当する。さらにまた、動作特徴抽出部７１が特許請求の範囲の「動作情報算出手段」に相当し、動作推定部７２が特許請求の範囲の「動作推定手段」に相当し、下端推定部８０が特許請求の範囲の「下端推定手段」に相当する。また、情報提供部３０が特許請求の範囲の「姿勢情報提供手段」、「動作情報提供手段」、「距離情報提供手段」に相当する。
【００８５】
［他の実施形態］
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態をとり得ることは言うまでもない。
【００８６】
（イ）上記実施形態では、位置検出部１０にて各パーツの座標を求める手法として、ｌａｔｅｎｔＳＶＭ及びＤＰＭを用いた手法を利用したが、各パーツの座標を算出する手法は、これに限るものではなく、他の学習法やモデルによる手法を適用してもよい。
【００８７】
（ロ）上記実施形態では、情報抽出部２０にて姿勢特徴ベクトルｆ及び動作特徴ベクトルを算出するにあたり、共分散行列の対角化によって得られた主成分を用いた主成分分析を行ったが、共分散行列の代わりに自己相関行列を用いて主成分を得るようにしてもよい。
【００８８】
（ハ）上記実施形態では、姿勢推定部６２にて、姿勢ラベルｒのクラス数Ｋ＝４としたが、クラス数Ｋは任意に定めてよい。つまり、斜め右、斜め左等、さらに細かく分けてクラス数Ｋを増加させても良い。また、前後を合わせて縦方向、左右を合わせて横方向として、クラス数をＫ＝２の様に低減してもよい。動作ラベルｒmのクラス数についても同様である。
【００８９】
（二）上記実施形態では識別対象を歩行者としていたが、識別対象は、自転車や、オートバイ、三輪車、車椅子等の車両に乗車する人物であってもよい。但し、自動車のように、乗員が車両の内部に乗車するものは除外される。
【００９０】
（ホ）上記実施形態では、歩行者を表すパーツとして、頭、両肩、腰、両足を設定したが、パーツとして選択する部位はこれらに限られるわけではない。パーツは、移動体に何らかの動きが出現するときに、相対的な位置変化が現れやすい部位を含むものであればよい。
【００９１】
（ヘ）上記実施系形態で説明した移動体検出装置１の構成要素は、ハードウェアで実現してもよく、ソフトウェアで実現してもよく、ハードウェアとソフトウェアとの組み合わせで実現してもよい。また、これらの構成要素は機能概念的なものであり、その一部又は全部を、機能的又は物理的に分散又は統合してもよい。
【符号の説明】
【００９２】
１・・・移動体検出装置  ２・・・車載カメラ  ３・・・車載表示装置  １０・・・位置検出部  ２０・・・情報抽出部  ３０・・・情報提供部  ４１・・・特徴量算出部  ４２・・・全体識別器  ４３・・・パーツ識別器  ５０・・・観測情報生成部  ６０・・・姿勢情報抽出部  ７０・・・動作情報抽出部  ８０・・・下端推定部
【図１】
2014067269.tif 000013
【図２】
2014067269.tif 000014
【図３】
2014067269.tif 000015
【図４】
2014067269.tif 000016
【図５】
2014067269.tif 000017
【図６】
2014067269.tif 000018
【図７】
2014067269.tif 000019