(57)【要約】【課題】物体の検出の精度を向上させる画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラムを提供する。【解決手段】現在の輝度画像の輝度値と、該現在の輝度画像の前の輝度画像の輝度値との変化が所定条件を満たすか否かを判定する第１判定手段と、前記第１判定手段の判定結果に基づいて、輝度画像に対応する複数種類の画像のうち、該輝度画像上の物体を検出するためのマッチング処理の対象とする画像を選択する第１選択手段と、前記第１選択手段により選択された前記マッチング処理の対象とする画像に対する前記マッチング処理によって前記物体を検出するマッチング処理手段と、を備える。【選択図】図１４
2017151535.tif 000002
【特許請求の範囲】
【請求項１】
現在の輝度画像の輝度値と、該現在の輝度画像の前の輝度画像の輝度値との変化が所定条件を満たすか否かを判定する第１判定手段と、
前記第１判定手段の判定結果に基づいて、輝度画像に対応する複数種類の画像のうち、該輝度画像上の物体を検出するためのマッチング処理の対象とする画像を選択する第１選択手段と、
前記第１選択手段により選択された前記マッチング処理の対象とする画像に対する前記マッチング処理によって前記物体を検出するマッチング処理手段と、
を備えた画像処理装置。
【請求項２】
前記第１選択手段は、前記第１判定手段によって現在の輝度画像の輝度値と、前の輝度画像の輝度値との変化が小さいと判断された場合には、前記マッチング処理の対象とする画像として輝度画像を選択し、前記第１判定手段によって現在の輝度画像の輝度値と、前の輝度画像の輝度値との変化が大きいと判断された場合には、前記マッチング処理の対象とする画像として、輝度画像に基づいて生成される距離画像を前記マッチング処理の対象とする画像として選択する請求項１に記載の画像処理装置。
【請求項３】
輝度画像を入力する入力手段と、
前記入力手段により入力された第１輝度画像についての輝度値と、該第１輝度画像よりも前に該入力手段により入力された前記輝度画像である第２輝度画像についての輝度値との輝度差を算出する算出手段と、
を、さらに備え、
前記第１選択手段は、前記算出手段により算出された前記輝度差に基づいて、前記第１輝度画像上の前記物体を検出するための前記マッチング処理の対象とする前記マッチング処理の対象とする画像を選択する請求項１に記載の画像処理装置。
【請求項４】
前記算出手段は、前記第１輝度画像における前記物体の検出領域についての輝度値と、前記第２輝度画像における前記物体の検出領域についての輝度値と差分を前記輝度差として算出する請求項３に記載の画像処理装置。
【請求項５】
前記入力手段は、前記輝度画像、および該輝度画像に対応する距離画像を入力し、
前記第１選択手段は、前記複数種類の画像としての前記輝度画像および前記距離画像のうち、前記算出手段により算出された前記輝度差が所定の閾値以上である場合、前記マッチング処理の対象とする画像として前記距離画像を選択し、前記輝度差が所定の閾値未満である場合、前記マッチング処理の対象とする画像として前記輝度画像を選択する請求項３または４に記載の画像処理装置。
【請求項６】
前記入力手段により入力された前記距離画像に基づく物体の距離に基づいて、前記物体が第１距離域に存在するか、前記第１距離域よりも遠い第２距離域に存在するかを判定する第２判定手段を、さらに備え、
前記マッチング処理手段は、
前記第２判定手段により前記物体が前記第１距離域に存在すると判定された場合、現在の前記マッチング処理の対象とする画像に対する、前の前記マッチング処理の対象とする画像での該物体の第１検出領域についての第１テンプレートを用いた前記マッチング処理としてのテンプレートマッチングにより該物体を検出し、検出した該物体の第２検出領域の視差値に基づいて前記第２検出領域を補正する第１マッチング処理手段と、
前記第２判定手段により前記物体が前記第２距離域に存在すると判定された場合、現在の前記マッチング処理の対象とする画像に対する、前の前記マッチング処理の対象とする画像での該物体の第３検出領域についての第２テンプレートを用いた前記マッチング処理としてのテンプレートマッチングにより該物体を検出し、検出した該物体の第４検出領域の大きさを前記第３検出領域の部分画像に基づいて補正する第２マッチング処理手段と、
を備えた請求項３〜５のいずれか一項に記載の画像処理装置。
【請求項７】
前記第１マッチング処理手段は、前記第２検出領域に対応する距離画像の頻度に基づいて該第２検出領域の大きさを補正する請求項６に記載の画像処理装置。
【請求項８】
前記第２マッチング処理手段は、前記第４検出領域内の前記部分画像に一致する部分の位置に基づいて、該第４検出領域の大きさを補正する請求項６または７に記載の画像処理装置。
【請求項９】
現在の前記マッチング処理の対象とする画像内において前記物体が存在する予測領域を予測する予測手段を、さらに備え、
前記第１マッチング処理手段は、前記予測領域内で前記第１テンプレートを用いたテンプレートマッチングを行い、
前記第２マッチング処理手段は、前記予測領域内で前記第２テンプレートを用いたテンプレートマッチングを行う請求項６〜８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記第１マッチング処理手段は、前記予測領域を第１間引き量で間引き、間引いた前記予測領域内で、前記第１検出領域が前記第１間引き量で間引かれた前記第１テンプレートを用いたテンプレートマッチングを行い、
前記第２マッチング処理手段は、前記予測領域を第２間引き量で間引き、間引いた前記予測領域内で、前記第３検出領域が前記第２間引き量で間引かれた前記第２テンプレートを用いたテンプレートマッチングを行う請求項９に記載の画像処理装置。
【請求項１１】
矩形状の前記第１検出領域を、高さ方向の長さまたは幅方向の長さのいずれかが固定長となるように前記第１間引き量で間引いて前記第１テンプレートを作成する第１間引き手段と、
矩形状の前記第３検出領域を、高さ方向の長さまたは幅方向の長さのいずれかが固定長となるように前記第２間引き量で間引いて前記第２テンプレートを作成する第２間引き手段と、
をさらに備えた請求項１０に記載の画像処理装置。
【請求項１２】
前の前記マッチング処理の対象とする画像での前記物体の前記第３検出領域において、該第３検出領域の端に仮枠を配置し、前記仮枠を該第３検出領域の内側にずらしながら、該仮枠に含まれる視差値が所定割合以上となった場合に、該仮枠を前記部分画像として選択する第２選択手段を、さらに備えた請求項６〜１１のいずれか一項に記載の画像処理装置。
【請求項１３】
被写体を撮像することにより第１撮像画像を得る第１撮像手段と、
前記第１撮像手段の位置とは異なる位置に配置され、前記被写体を撮像することにより第２撮像画像を得る第２撮像手段と、
前記第１撮像画像および前記第２撮像画像から前記被写体に対して求めた視差値に基づいて、前記距離画像を生成する生成手段と、
前記第１撮像画像または前記第２撮像画像、および前記距離画像に基づいて、新規に物体を検出する検出手段と、
請求項１〜１２のいずれか一項に記載の画像処理装置と、
を備えた物体認識装置。
【請求項１４】
請求項１３に記載の物体認識装置と、
前記物体認識装置により検出された前記物体の情報に基づいて、制御対象を制御する制御装置と、
を備えた機器制御システム。
【請求項１５】
現在の輝度画像の輝度値と、該現在の輝度画像の前の輝度画像の輝度値との変化が所定条件を満たすか否かを判定する判定ステップと、
前記判定ステップの判定結果に基づいて、輝度画像に対応する複数種類の画像のうち、該輝度画像上の物体を検出するためのマッチング処理の対象とする画像を選択する選択ステップと、
選択した前記マッチング処理の対象とする画像に対する前記マッチング処理によって前記物体を検出するマッチング処理ステップと、
を有する画像処理方法。
【請求項１６】
コンピュータを、
現在の輝度画像の輝度値と、該現在の輝度画像の前の輝度画像の輝度値との変化が所定条件を満たすか否かを判定する判定手段と、
前記判定手段の判定結果に基づいて、輝度画像に対応する複数種類の画像のうち、該輝度画像上の物体を検出するためのマッチング処理の対象とする画像を選択する選択手段と、
前記選択手段により選択された前記マッチング処理の対象とする画像に対する前記マッチング処理によって前記物体を検出するマッチング処理手段と、
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
従来、自動車の安全性において、歩行者と自動車とが衝突したときに、いかに歩行者を守れるか、および、乗員を保護できるかの観点から、自動車のボディー構造等の開発が行われてきた。しかしながら、近年、情報処理技術および画像処理技術の発達により、高速に人および自動車を検出する技術が開発されてきている。これらの技術を応用して、自動車が物体に衝突する前に自動的にブレーキをかけ、衝突を未然に防ぐという自動車もすでに開発されている。自動車の自動制御には、人または他車等の物体までの距離を正確に測定する必要があり、そのためには、ミリ波レーダおよびレーザーレーダによる測距、ならびに、ステレオカメラによる測距等が実用化されている。
【０００３】
ステレオカメラによる物体認識処理では、大きくクラスタリング処理と、トラッキング処理とに分けることができる。クラスタリング処理は、特にリアルタイムに撮像された輝度画像、およびステレオカメラから導出された視差画像を用いて物体を新規に検出する処理である。また、トラッキング処理は、複数のフレームの情報を用いてクラスタリング処理で検出された物体を追従する処理である。トラッキング処理では、基本的に、二次元画像上の視差値または輝度値のパターンに基づいて、前フレームで検出された物体と類似している領域を、テンプレートマッチングにより現在のフレーム内から検出する。
【０００４】
このようなトラッキング処理の技術として、撮像画像上で歩行者をテンプレートマッチングにより認識する技術が提案されている（例えば、特許文献１）。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、物体の認識においては、日光等による物体への光の当たり方、および光の量等のように周辺環境の変化によって、撮像画像（輝度画像）における物体部分の輝度値（画素値）が大きく変化する。特許文献１に記載された技術は、撮像画像を用いて物体（歩行者）を認識するものとしているが、上述のような周辺環境の変化によって輝度値（画素値）が変動する場合に、精度よく物体が検出できない可能性があるという問題がある。
【０００６】
本発明は、上記に鑑みてなされたものであって、物体の検出の精度を向上させる画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明は、現在の輝度画像の輝度値と、該現在の輝度画像の前の輝度画像の輝度値との変化が所定条件を満たすか否かを判定する第１判定手段と、前記第１判定手段の判定結果に基づいて、輝度画像に対応する複数種類の画像のうち、該輝度画像上の物体を検出するためのマッチング処理の対象とする画像を選択する第１選択手段と、前記第１選択手段により選択された前記マッチング処理の対象とする画像に対する前記マッチング処理によって前記物体を検出するマッチング処理手段と、を備えたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、物体の検出の精度を向上させることができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施の形態に係る機器制御システムを車両に搭載した例を示す図である。
【図２】図２は、実施の形態に係る物体認識装置の外観の一例を示す図である。
【図３】図３は、実施の形態に係る物体認識装置にハードウェア構成の一例を示す図である。
【図４】図４は、実施の形態に係る物体認識装置の機能ブロック構成の一例を示す図である。
【図５】図５は、実施の形態に係る物体認識装置の視差値演算処理部の機能ブロック構成の一例を示す図である。
【図６】図６は、撮像部から物体までの距離を導き出す原理を説明する図である。
【図７】図７は、基準画像における基準画素に対応する比較画像における対応画素を求める場合の説明図である。
【図８】図８は、ブロックマッチング処理の結果のグラフの一例を示す図である。
【図９】図９は、実施の形態に係る物体認識装置の認識処理部の機能ブロック構成の一例を示す図である。
【図１０】図１０は、視差画像から生成されるＶマップの例を示す図である。
【図１１】図１１は、視差画像から生成されるＵマップの例を示す図である。
【図１２】図１２は、Ｕマップから生成されるリアルＵマップの例を示す図である。
【図１３】図１３は、検出枠を作成する処理を説明する図である。
【図１４】図１４は、実施の形態に係る物体認識装置の認識処理部のトラッキング処理部の機能ブロック構成の一例を示す図である。
【図１５】図１５は、実施の形態に係る視差値導出部のブロックマッチング処理の動作の一例を示すフローチャートである。
【図１６】図１６は、実施の形態に係る認識処理部のトラッキング処理部のトラッキング処理の動作の一例を示すフローチャートである。
【図１７】図１７は、移動予測の動作を説明する図である。
【図１８】図１８は、実施の形態に係る認識処理部のトラッキング処理のうちの輝度判定処理の動作の一例を示すフローチャートである。
【図１９】図１９は、輝度画像における画素値（輝度値）の変化状態の例を説明する図である。
【図２０】図２０は、視差画像における画素値（視差値）の変化状態の例を説明する図である。
【図２１】図２１は、実施の形態のトラッキング処理部のトラッキング処理のうちのマッチング処理の動作の一例を示すフローチャートである。
【図２２】図２２は、実施の形態のトラッキング処理部のトラッキング処理のうちラフマッチングを行う場合の特徴更新処理の動作の一例を示すフローチャートである。
【図２３】図２３は、実施の形態のトラッキング処理部のラフマッチングを行う場合の特徴更新処理における検出領域の画像に対する間引き処理を説明する図である。
【図２４】図２４は、実施の形態のトラッキング処理部のトラッキング処理におけるラフマッチング処理の動作の一例を示すフローチャートである。
【図２５】図２５は、実施の形態のトラッキング処理部のトラッキング処理におけるラフマッチング処理での予測領域の画像に対する間引き処理を説明する図である。
【図２６】図２６は、実施の形態のトラッキング処理部のトラッキング処理におけるラフマッチング処理での枠補正処理を説明する図である。
【図２７】図２７は、実施の形態のトラッキング処理部のトラッキング処理のうちパーツマッチングを行う場合の特徴更新処理の動作の一例を示すフローチャートである。
【図２８】図２８は、実施の形態のトラッキング処理部のパーツマッチングを行う場合の特徴更新処理におけるパーツテンプレートの選択処理の動作の一例を示すフローチャートである。
【図２９】図２９は、パーツテンプレートの選択処理を説明する図である。
【図３０】図３０は、実施の形態のトラッキング処理部のトラッキング処理におけるパーツマッチング処理の動作の一例を示すフローチャートである。
【図３１】図３１は、パーツマッチング処理を説明する図である。
【発明を実施するための形態】
【００１０】
以下に、図１〜３１を参照しながら、本発明に係る画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラムの実施の形態を詳細に説明する。また、以下の実施の形態によって本発明が限定されるものではなく、以下の実施の形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。
【００１１】
［物体認識装置を備えた車両の概略構成］
図１は、実施の形態に係る機器制御システムを車両に搭載した例を示す図である。図１を参照しながら、本実施の形態の機器制御システム６０が車両７０に搭載される場合を例に説明する。
【００１２】
図１のうち、図１（ａ）は、機器制御システム６０を搭載した車両７０の側面図であり、図１（ｂ）は、車両７０の正面図である。
【００１３】
図１に示すように、自動車である車両７０は、機器制御システム６０を搭載している。機器制御システム６０は、車両７０の居室空間である車室に設置された物体認識装置１と、車両制御装置６（制御装置）と、ステアリングホイール７と、ブレーキペダル８と、を備えている。
【００１４】
物体認識装置１は、車両７０の進行方向を撮像する撮像機能を有し、例えば、車両７０のフロントウィンドウ内側のバックミラー近傍に設置される。物体認識装置１は、構成および動作の詳細は後述するが、本体部２と、本体部２に固定された撮像部１０ａと、撮像部１０ｂとを備えている。撮像部１０ａ、１０ｂは、車両７０の進行方向の被写体を撮像できるように本体部２に固定されている。
【００１５】
車両制御装置６は、物体認識装置１から受信した認識情報に基づいて、各種車両制御を実行するＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）である。車両制御装置６は、車両制御の例として、物体認識装置１から受信した認識情報に基づいて、ステアリングホイール７を含むステアリング系統（制御対象）を制御して障害物を回避するステアリング制御、または、ブレーキペダル８（制御対象）を制御して車両７０を減速および停止させるブレーキ制御等を実行する。
【００１６】
このような物体認識装置１および車両制御装置６を含む機器制御システム６０のように、ステアリング制御またはブレーキ制御等の車両制御が実行されることによって、車両７０の運転の安全性を向上することができる。
【００１７】
なお、上述のように、物体認識装置１は、車両７０の前方を撮像するものとしたが、これに限定されるものではない。すなわち、物体認識装置１は、車両７０の後方または側方を撮像するように設置されるものとしてもよい。この場合、物体認識装置１は、車両７０の後方の後続車および人、または側方の他の車両および人等の位置を検出することができる。そして、車両制御装置６は、車両７０の車線変更時または車線合流時等における危険を検知して、上述の車両制御を実行することができる。また、車両制御装置６は、車両７０の駐車時等におけるバック動作において、物体認識装置１によって出力された車両７０の後方の障害物についての認識情報に基づいて、衝突の危険があると判断した場合に、上述の車両制御を実行することができる。
【００１８】
［物体認識装置の構成］
図２は、実施の形態に係る物体認識装置の外観の一例を示す図である。図２に示すように、物体認識装置１は、上述のように、本体部２と、本体部２に固定された撮像部１０ａと、撮像部１０ｂとを備えている。撮像部１０ａ、１０ｂは、本体部２に対して平行等位に配置された一対の円筒形状のカメラで構成されている。また、説明の便宜上、図２に示す撮像部１０ａを右のカメラと称し、撮像部１０ｂを左のカメラと称する場合がある。
【００１９】
（物体認識装置のハードウェア構成）
図３は、実施の形態に係る物体認識装置にハードウェア構成の一例を示す図である。図３を参照しながら、物体認識装置１のハードウェア構成について説明する。
【００２０】
図３に示すように、物体認識装置１は、本体部２内に視差値導出部３および認識処理部５を備えている。
【００２１】
視差値導出部３は、物体を撮像して得られた複数の画像から、物体に対する視差を示す視差値ｄｐを導出し、各画素における視差値ｄｐを示す視差画像を出力する装置である。認識処理部５は、視差値導出部３から出力された視差画像に基づいて、撮像画像に写り込んでいる人および車等の物体に対する物体認識処理等を行い、物体認識処理の結果を示す情報である認識情報を、車両制御装置６に出力する装置である。
【００２２】
図３に示すように、視差値導出部３は、撮像部１０ａと、撮像部１０ｂと、信号変換部２０ａと、信号変換部２０ｂと、画像処理部３０と、を備えている。
【００２３】
撮像部１０ａは、前方の被写体を撮像してアナログの画像信号を生成する処理部である。撮像部１０ａは、撮像レンズ１１ａと、絞り１２ａと、画像センサ１３ａと、備えている。
【００２４】
撮像レンズ１１ａは、入射する光を屈折させて物体の像を画像センサ１３ａに結像させるための光学素子である。絞り１２ａは、撮像レンズ１１ａを通過した光の一部を遮ることによって、画像センサ１３ａに入力する光の量を調整する部材である。画像センサ１３ａは、撮像レンズ１１ａに入射し、絞り１２ａを通過した光を電気的なアナログの画像信号に変換する半導体素子である。画像センサ１３ａは、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅｓ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の固体撮像素子によって実現される。
【００２５】
撮像部１０ｂは、前方の被写体を撮像してアナログの画像信号を生成する処理部である。撮像部１０ｂは、撮像レンズ１１ｂと、絞り１２ｂと、画像センサ１３ｂと、備えている。なお、撮像レンズ１１ｂ、絞り１２ｂおよび画像センサ１３ｂの機能は、それぞれ上述した撮像レンズ１１ａ、絞り１２ａおよび画像センサ１３ａの機能と同様である。また、撮像レンズ１１ａおよび撮像レンズ１１ｂは、左右のカメラが同一の条件で撮像されるように、それぞれのレンズ面が互いに同一平面上にあるように設置されている。
【００２６】
信号変換部２０ａは、撮像部１０ａにより生成されたアナログの画像信号を、デジタル形式の画像データに変換する処理部である。信号変換部２０ａは、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）２１ａと、ＡＧＣ（Ａｕｔｏ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）２２ａと、ＡＤＣ（Ａｎａｌｏｇ  Ｄｉｇｉｔａｌ  Ｃｏｎｖｅｒｔｅｒ）２３ａと、フレームメモリ２４ａと、を備えている。
【００２７】
ＣＤＳ２１ａは、画像センサ１３ａにより生成されたアナログの画像信号に対して、相関二重サンプリング、横方向の微分フィルタ、または縦方向の平滑フィルタ等によりノイズを除去する。ＡＧＣ２２ａは、ＣＤＳ２１ａによってノイズが除去されたアナログの画像信号の強度を制御する利得制御を行う。ＡＤＣ２３ａは、ＡＧＣ２２ａによって利得制御されたアナログの画像信号をデジタル形式の画像データに変換する。フレームメモリ２４ａは、ＡＤＣ２３ａによって変換された画像データを記憶する。
【００２８】
信号変換部２０ｂは、撮像部１０ｂにより生成されたアナログの画像信号を、デジタル形式の画像データに変換する処理部である。信号変換部２０ｂは、ＣＤＳ２１ｂと、ＡＧＣ２２ｂと、ＡＤＣ２３ｂと、フレームメモリ２４ｂと、を備えている。なお、ＣＤＳ２１ｂ、ＡＧＣ２２ｂ、ＡＤＣ２３ｂおよびフレームメモリ２４ｂの機能は、それぞれ上述したＣＤＳ２１ａ、ＡＧＣ２２ａ、ＡＤＣ２３ａおよびフレームメモリ２４ａの機能と同様である。
【００２９】
画像処理部３０は、信号変換部２０ａおよび信号変換部２０ｂによって変換された画像データに対して画像処理をする装置である。画像処理部３０は、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）３１と、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３２と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）３３と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）３４と、Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３５と、バスライン３９と、を備えている。
【００３０】
ＦＰＧＡ３１は、集積回路であり、ここでは、画像データに基づく画像における視差値ｄｐを導出する処理を行う。ＣＰＵ３２は、視差値導出部３の各機能を制御する。ＲＯＭ３３は、ＣＰＵ３２が視差値導出部３の各機能を制御するために実行する画像処理用プログラムを記憶している。ＲＡＭ３４は、ＣＰＵ３２のワークエリアとして使用される。Ｉ／Ｆ３５は、認識処理部５におけるＩ／Ｆ５５と、通信線４とを介して通信するためのインターフェースである。バスライン３９は、図３に示すように、ＦＰＧＡ３１、ＣＰＵ３２、ＲＯＭ３３、ＲＡＭ３４およびＩ／Ｆ３５が互いに通信可能となるように接続するアドレスバスおよびデータバス等である。
【００３１】
なお、画像処理部３０は、視差値ｄｐを導出する集積回路としてＦＰＧＡ３１を備えるものとしているが、これに限定されるものではなく、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）等の集積回路であってもよい。
【００３２】
図３に示すように、認識処理部５は、ＦＰＧＡ５１と、ＣＰＵ５２と、ＲＯＭ５３と、ＲＡＭ５４と、Ｉ／Ｆ５５と、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）Ｉ／Ｆ５８と、バスライン５９と、を備えている。
【００３３】
ＦＰＧＡ５１は、集積回路であり、ここでは、画像処理部３０から受信した視差画像に基づいて、物体に対する物体認識処理を行う。ＣＰＵ５２は、認識処理部５の各機能を制御する。ＲＯＭ５３は、ＣＰＵ５２が認識処理部５の物体認識処理を実行する物体認識処理用プログラムを記憶している。ＲＡＭ５４は、ＣＰＵ５２のワークエリアとして使用される。Ｉ／Ｆ５５は、画像処理部３０のＩ／Ｆ３５と、通信線４とを介してデータ通信するためのインターフェースである。ＣＡＮＩ／Ｆ５８は、外部コントローラ（例えば、図６に示す車両制御装置６）と通信するためのインターフェースであり、例えば、自動車のＣＡＮ等に接続されるバスライン５９は、図３に示すように、ＦＰＧＡ５１、ＣＰＵ５２、ＲＯＭ５３、ＲＡＭ５４、Ｉ／Ｆ５５およびＣＡＮＩ／Ｆ５８が互いに通信可能となるように接続するアドレスバスおよびデータバス等である。
【００３４】
このような構成により、画像処理部３０のＩ／Ｆ３５から通信線４を介して認識処理部５に視差画像が送信されると、認識処理部５におけるＣＰＵ５２の命令によって、ＦＰＧＡ５１が、視差画像に基づいて、撮像画像に写り込んでいる人および車等の物体の物体認識処理等を実行する。
【００３５】
なお、上述の各プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させてもよい。この記録媒体は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）またはＳＤ（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ）メモリカード等である。
【００３６】
また、図３に示すように、視差値導出部３の画像処理部３０と、認識処理部５とは別体の装置としているが、これに限定されるものではなく、例えば、画像処理部３０と認識処理部５とを同一の装置として、視差画像の生成、および物体認識処理を行うものとしてもよい。
【００３７】
（物体認識装置の機能ブロックの構成および動作）
図４は、実施の形態に係る物体認識装置の機能ブロック構成の一例を示す図である。まず、図４を参照しながら、物体認識装置１の要部の機能ブロックの構成および動作について説明する。
【００３８】
図３でも上述したが、図４に示すように、物体認識装置１は、視差値導出部３と、認識処理部５と、を備えている。このうち、視差値導出部３は、画像取得部１００ａ（第１撮像手段）と、画像取得部１００ｂ（第２撮像手段）と、変換部２００ａ、２００ｂと、視差値演算処理部３００（生成手段）と、を有する。
【００３９】
画像取得部１００ａは、右のカメラにより前方の被写体を撮像して、アナログの画像信号を生成し、画像信号に基づく画像である輝度画像を得る機能部である。画像取得部１００ａは、図３に示す撮像部１０ａによって実現される。
【００４０】
画像取得部１００ｂは、左のカメラにより前方の被写体を撮像して、アナログの画像信号を生成し、画像信号に基づく画像である輝度画像を得る機能部である。画像取得部１００ｂは、図３に示す撮像部１０ｂによって実現される。
【００４１】
変換部２００ａは、画像取得部１００ａにより得られた輝度画像の画像データに対して、ノイズを除去し、デジタル形式の画像データに変換して出力する機能部である。変換部２００ａは、図３に示す信号変換部２０ａによって実現される。
【００４２】
変換部２００ｂは、画像取得部１００ｂにより得られた輝度画像の画像データに対して、ノイズを除去し、デジタル形式の画像データに変換して出力する機能部である。変換部２００ｂは、図３に示す信号変換部２０ｂによって実現される。
【００４３】
ここで、変換部２００ａ、２００ｂが出力する２つの輝度画像の画像データ（以下、単に、輝度画像と称する）のうち、右のカメラ（撮像部１０ａ）である画像取得部１００ａにより撮像された輝度画像を基準画像Ｉａの画像データ（以下、単に、基準画像Ｉａと称する）（第１撮像画像）とし、左のカメラ（撮像部１０ｂ）である画像取得部１００ｂにより撮像された輝度画像を比較画像Ｉｂの画像データ（以下、単に、比較画像Ｉｂと称する）（第２撮像画像）とする。すなわち、変換部２００ａ、２００ｂは、画像取得部１００ａ、１００ｂそれぞれから出力された２つの輝度画像に基づいて、それぞれ基準画像Ｉａおよび比較画像Ｉｂを出力する。
【００４４】
視差値演算処理部３００は、変換部２００ａ、２００ｂそれぞれから受信した基準画像Ｉａおよび比較画像Ｉｂに基づいて、基準画像Ｉａの各画素についての視差値を導出し、基準画像Ｉａの各画素に視差値を対応させた視差画像Ｉｐを生成する機能部である。視差値演算処理部３００は、生成した視差画像Ｉｐを、認識処理部５に出力する。
【００４５】
認識処理部５は、視差値導出部３から受信した基準画像Ｉａおよび視差画像Ｉｐに基づいて、物体を認識（検出）し、かつ、認識した物体を追跡（トラッキング）する機能部である。
【００４６】
＜視差値演算処理部の機能ブロックの構成および動作＞
図５は、実施の形態に係る物体認識装置の視差値演算処理部の機能ブロック構成の一例を示す図である。図６は、撮像部から物体までの距離を導き出す原理を説明する図である。図７は、基準画像における基準画素に対応する比較画像における対応画素を求める場合の説明図である。図８は、ブロックマッチング処理の結果のグラフの一例を示す図である。
【００４７】
まず、図６〜８を用いて、ブロックマッチング処理による測距方法の概略について説明する。
【００４８】
＜＜測距の原理＞＞
図６を参照しながら、ステレオマッチング処理により、ステレオカメラから物体に対する視差を導出し、この視差を示す視差値によって、ステレオカメラから物体までの距離を測定する原理について説明する。
【００４９】
図６に示す撮像システムは、平行等位に配置された撮像部１０ａと撮像部１０ｂとを有するものとする。撮像部１０ａ、１０ｂは、それぞれ、入射する光を屈折させて物体の像を固体撮像素子である画像センサに結像させる撮像レンズ１１ａ、１１ｂを有する。撮像部１０ａおよび撮像部１０ｂによって撮像された各画像を、それぞれ基準画像Ｉａおよび比較画像Ｉｂとする。図６において、３次元空間内の物体Ｅ上の点Ｓは、基準画像Ｉａおよび比較画像Ｉｂそれぞれにおいて、撮像レンズ１１ａと撮像レンズ１１ｂとを結ぶ直線と平行な直線上の位置に写像される。ここで、各画像に写像された点Ｓを、基準画像Ｉａにおいて点Ｓａ（ｘ，ｙ）とし、比較画像Ｉｂにおいて点Ｓｂ（Ｘ，ｙ）とする。このとき、視差値ｄｐは、基準画像Ｉａ上の座標における点Ｓａ（ｘ，ｙ）と比較画像Ｉｂ上の座標における点Ｓｂ（Ｘ，ｙ）とを用いて、以下の（式１）のように表される。
【００５０】
ｄｐ＝Ｘ−ｘ                                                          （式１）
【００５１】
また、図６において、基準画像Ｉａにおける点Ｓａ（ｘ，ｙ）と撮像レンズ１１ａから撮像面上におろした垂線の交点との距離をΔａとし、比較画像Ｉｂにおける点Ｓｂ（Ｘ，ｙ）と撮像レンズ１１ｂから撮像面上におろした垂線の交点との距離をΔｂにすると、視差値ｄｐは、ｄｐ＝Δａ＋Δｂと表すこともできる。
【００５２】
次に、視差値ｄｐを用いることにより、撮像部１０ａ、１０ｂと物体Ｅとの間の距離Ｚを導出する。ここで、距離Ｚは、撮像レンズ１１ａの焦点位置と撮像レンズ１１ｂの焦点位置とを結ぶ直線から物体Ｅ上の点Ｓまでの距離である。図６に示すように、撮像レンズ１１ａおよび撮像レンズ１１ｂの焦点距離ｆ、撮像レンズ１１ａと撮像レンズ１１ｂとの間の長さである基線長Ｂ、および視差値ｄｐを用いて、下記の（式２）により、距離Ｚを算出することができる。
【００５３】
Ｚ＝（Ｂ×ｆ）／ｄｐ                                                  （式２）
【００５４】
この（式２）により、視差値ｄｐが大きいほど距離Ｚは小さく、視差値ｄｐが小さいほど距離Ｚは大きくなることがわかる。
【００５５】
＜＜ブロックマッチング処理＞＞
次に、図７および８を用いて、ブロックマッチング処理による測距方法について説明する。
【００５６】
図７および８を参照しながら、コスト値Ｃ（ｐ，ｄ）の算出方法について説明する。なお、以降、Ｃ（ｐ，ｄ）は、Ｃ（ｘ，ｙ，ｄ）を表すものとして説明する。
【００５７】
図７のうち、図７（ａ）は、基準画像Ｉａにおける基準画素ｐおよび基準領域ｐｂを示す概念図を示し、図７（ｂ）は、図７（ａ）に示す基準画素ｐに対応する比較画像Ｉｂにおける対応画素の候補を順次シフトしながら（ずらしながら）、コスト値Ｃを算出する際の概念図である。ここで、対応画素とは、基準画像Ｉａにおける基準画素ｐに最も類似する比較画像Ｉｂにおける画素を示す。また、コスト値Ｃとは、基準画像Ｉａにおける基準画素ｐに対する、比較画像Ｉｂにおける各画素の類似度または非類似度を表す評価値（一致度）である。以下に示すコスト値Ｃは、値が小さいほど、比較画像Ｉｂにおける画素が基準画素ｐと類似していることを示す非類似度を表す評価値であるものとして説明する。
【００５８】
図７（ａ）に示すように、基準画像Ｉａにおける基準画素ｐ（ｘ，ｙ）、および、基準画素ｐ（ｘ，ｙ）に対する比較画像Ｉｂにおけるエピポーラ線ＥＬ上の対応画素の候補である候補画素ｑ（ｘ＋ｄ，ｙ）の各輝度値（画素値）に基づいて、基準画素ｐ（ｘ，ｙ）に対する対応画素の候補である候補画素ｑ（ｘ＋ｄ，ｙ）のコスト値Ｃ（ｐ，ｄ）が算出される。ｄは、基準画素ｐと候補画素ｑとのシフト量（ずれ量）であり、シフト量ｄは、画素単位でシフトされる。すなわち、候補画素ｑ（ｘ＋ｄ，ｙ）を予め指定された範囲（例えば、０＜ｄ＜２５）において順次一画素分シフトしながら、候補画素ｑ（ｘ＋ｄ，ｙ）と基準画素ｐ（ｘ，ｙ）との輝度値の非類似度であるコスト値Ｃ（ｐ，ｄ）が算出される。また、基準画素ｐの対応画素を求めるためステレオマッチング処理として、本実施の形態ではブロックマッチング処理を行う。ブロックマッチング処理では、基準画像Ｉａの基準画素ｐを中心とする所定領域である基準領域ｐｂと、比較画像Ｉｂの候補画素ｑを中心とする候補領域ｑｂ（大きさは基準領域ｐｂと同一）との非類似度を求める。基準領域ｐｂと候補領域ｑｂとの非類似度を示すコスト値Ｃとしては、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）、ＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）、または、ＳＳＤの値から各ブロックの平均値を減算したＺＳＳＤ（Ｚｅｒｏ−ｍｅａｎ−Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）等が用いられる。これらの評価値は、相関が高い（類似の度合いが高い）ほど、値が小さくなるので非類似度を示す。
【００５９】
なお、上述のように、撮像部１０ａ、１０ｂは、それぞれ平行等位に配置されるため、基準画像Ｉａおよび比較画像Ｉｂも、それぞれ平行等位の関係にある。したがって、基準画像Ｉａにおける基準画素ｐに対応する比較画像Ｉｂにおける対応画素は、図７に紙面視横方向の線として示されるエピポーラ線ＥＬ上に存在することになり、比較画像Ｉｂにおける対応画素を求めるためには、比較画像Ｉｂのエピポーラ線ＥＬ上の画素を探索すればよい。
【００６０】
このようなブロックマッチング処理で算出されたコスト値Ｃ（ｐ，ｄ）は、シフト量ｄとの関係で、例えば、図８に示すグラフにより表される。図８の例では、コスト値Ｃは、シフト量ｄ＝７の場合が最小値となるため、視差値ｄｐ＝７として導出される。
【００６１】
＜＜視差値演算処理部の機能ブロックの具体的な構成および動作＞＞
図５を参照しながら、視差値演算処理部３００の機能ブロックの具体的な構成および動作について説明する。
【００６２】
図５に示すように、視差値演算処理部３００は、コスト算出部３０１と、決定部３０２と、第１生成部３０３と、を有する。
【００６３】
コスト算出部３０１は、基準画像Ｉａにおける基準画素ｐ（ｘ，ｙ）の輝度値、および、基準画素ｐ（ｘ，ｙ）に基づく比較画像Ｉｂにおけるエピポーラ線ＥＬ上で、基準画素ｐ（ｘ，ｙ）の位置に相当する画素からシフト量ｄでシフトすることにより特定される、対応画素の候補である候補画素ｑ（ｘ＋ｄ，ｙ）の各輝度値に基づいて、各候補画素ｑ（ｘ＋ｄ，ｙ）のコスト値Ｃ（ｐ，ｄ）を算出する機能部である。具体的には、コスト算出部３０１は、ブロックマッチング処理により、基準画像Ｉａの基準画素ｐを中心とする所定領域である基準領域ｐｂと、比較画像Ｉｂの候補画素ｑを中心とする候補領域ｑｂ（大きさは基準領域ｐｂと同一）との非類似度をコスト値Ｃとして算出する。
【００６４】
決定部３０２は、コスト算出部３０１により算出されたコスト値Ｃの最小値に対応するシフト量ｄを、コスト値Ｃの算出の対象となった基準画像Ｉａの画素についての視差値ｄｐとして決定する機能部である。
【００６５】
第１生成部３０３は、決定部３０２により決定された視差値ｄｐに基づいて、基準画像Ｉａの各画素の画素値を、その画素に対応する視差値ｄｐで置き換えた画像である視差画像Ｉｐを生成する機能部である。
【００６６】
図５に示すコスト算出部３０１、決定部３０２および第１生成部３０３は、それぞれ図６に示すＦＰＧＡ３１によって実現される。なお、コスト算出部３０１、決定部３０２および第１生成部３０３の一部または全部は、ハードウェア回路であるＦＰＧＡ３１ではなく、ＲＯＭ３３に記憶されているプログラムがＣＰＵ３２によって実行されることによって実現されるものとしてもよい。
【００６７】
なお、図５に示す視差値演算処理部３００のコスト算出部３０１、決定部３０２および第１生成部３０３は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図５に示す視差値演算処理部３００で独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図５に示す視差値演算処理部３００で１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。
【００６８】
＜認識処理部の機能ブロックの構成および動作＞
図９は、実施の形態に係る物体認識装置の認識処理部の機能ブロック構成の一例を示す図である。図１０は、視差画像から生成されるＶマップの例を示す図である。図１１は、視差画像から生成されるＵマップの例を示す図である。図１２は、Ｕマップから生成されるリアルＵマップの例を示す図である。図１３は、検出枠を作成する処理を説明する図である。図９〜１３を参照しながら、認識処理部５の機能ブロックの構成および動作について説明する。
【００６９】
図９に示すように、認識処理部５は、第２生成部５００と、クラスタリング処理部５１０（検出手段）と、トラッキング処理部５２０と、を有する。
【００７０】
第２生成部５００は、視差値演算処理部３００から視差画像を入力し、かつ、視差値導出部３から基準画像Ｉａを入力し、Ｖ−Ｄｉｓｐａｒｉｔｙマップ、Ｕ−Ｄｉｓｐａｒｉｔｙマップ、およびＲｅａｌ  Ｕ−Ｄｉｓｐａｒｉｔｙマップ等を生成する機能部である。具体的には、第２生成部５００は、視差値演算処理部３００から入力した視差画像から路面を検出するために、図１０（ｂ）に示すＶ−ＤｉｓｐａｒｉｔｙマップであるＶマップＶＭを生成する。ここで、Ｖ−Ｄｉｓｐａｒｉｔｙマップとは、縦軸を基準画像Ｉａのｙ軸とし、横軸を視差画像の視差値ｄｐ（または距離）とした、視差値ｄｐの頻度分布を示す二次元ヒストグラムである。図１０（ａ）に示す基準画像Ｉａには、例えば、路面７００と、電柱７０１と、車７０２とが写り込んでいる。この基準画像Ｉａの路面７００は、ＶマップＶＭにおいては路面部７００ａに対応し、電柱７０１は、電柱部７０１ａに対応し、車７０２は、車部７０２ａに対応する。
【００７１】
また、第２生成部５００は、生成したＶマップＶＭから、路面と推定される位置を直線近似する。路面が平坦な場合は、１本の直線で近似可能であるが、勾配が変わる路面の場合は、ＶマップＶＭの区間を分割して精度よく直線近似する必要がある。直線近似としては、公知技術であるハフ変換または最小二乗法等が利用できる。ＶマップＶＭにおいて、検出された路面部７００ａより上方に位置する塊である電柱部７０１ａおよび車部７０２ａは、それぞれ路面上の物体である電柱７０１および車７０２に相当する。後述する第２生成部５００によりＵ−Ｄｉｓｐａｒｉｔｙマップが生成される際に、ノイズ除去のため路面より上方の情報のみが用いられる。
【００７２】
また、第２生成部５００は、ＶマップＶＭで検出された路面より上方に位置する情報のみを利用、すなわち、図１１（ａ）に示す基準画像Ｉａでは左ガードレール７１１、右ガードレール７１２、車７１３および車７１４に対応する視差画像上の情報を利用して、物体を認識するために、図１１（ｂ）に示すＵ−ＤｉｓｐａｒｉｔｙマップであるＵマップＵＭを生成する。ここで、ＵマップＵＭは、横軸を基準画像Ｉａのｘ軸とし、縦軸を視差画像の視差値ｄｐ（または距離）とした、視差値ｄｐの頻度分布を示す二次元ヒストグラムである。図１１（ａ）に示す基準画像Ｉａの左ガードレール７１１は、ＵマップＵＭにおいては左ガードレール部７１１ａに対応し、右ガードレール７１２は、右ガードレール部７１２ａに対応し、車７１３は、車部７１３ａに対応し、車７１４は、車部７１４ａに対応する。
【００７３】
また、第２生成部５００は、生成した図１２（ａ）に示すＵマップＵＭから、横軸を実際の距離に変換した図１２（ｂ）に示すＲｅａｌ  Ｕ−ＤｉｓｐａｒｉｔｙマップであるリアルＵマップＲＭを生成する。ここで、リアルＵマップＲＭは、横軸を、撮像部１０ｂ（左のカメラ）から撮像部１０ａ（右のカメラ）向かう方向の実距離とし、縦軸を、視差画像の視差値ｄｐ（またはその視差値ｄｐから変換した奥行き方向の距離）とした二次元ヒストグラムである。図１２（ａ）に示すＵマップＵＭの左ガードレール部７１１ａは、リアルＵマップＲＭにおいては左ガードレール部７１１ｂに対応し、右ガードレール部７１２ａは、右ガードレール部７１２ｂに対応し、車部７１３ａは、車部７１３ｂに対応し、車部７１４ａは、車部７１４ｂに対応する。具体的には、第２生成部５００は、ＵマップＵＭでは、遠方（視差値ｄｐが小さい）では物体が小さいため、視差情報が少なく、距離の分解能も小さいので間引きせず、近距離の場合は物体が大きく写るため、視差情報が多く、距離の分解能も大きいので画素を大きく間引くことによって、リアルＵマップＲＭを生成する。後述するように、クラスタリング処理部５１０により、リアルＵマップＲＭから画素値の塊（物体）を抽出して物体を検出ことができる。この場合、塊を囲む矩形の幅は、抽出した物体の幅に相当し、高さは、抽出した物体の奥行きに相当する。なお、第２生成部５００は、ＵマップＵＭからリアルＵマップＲＭを生成することに限定されるものではなく、視差画像から、直接、リアルＵマップＲＭを生成することも可能である。
【００７４】
なお、視差値導出部３から第２生成部５００に入力される画像は基準画像Ｉａに限定されるものではなく、比較画像Ｉｂを対象とするものとしてもよい。また、本実施形態においては、視差値が距離値と等価に扱えることから距離画像の一例として視差画像を用いる例を説明するが、これに限定されるものではない。例えば、レーザーレーダまたはミリ波レーダの距離情報と上述の視差値とを統合して、画像座標と対応付けて距離画像とし、この距離画像を用いてクラスタリング処理を行ってもよい。
【００７５】
クラスタリング処理部５１０は、第２生成部５００から入力された各マップに基づいて、視差画像に写っている物体を検出する機能部である。クラスタリング処理部５１０は、生成したＵマップＵＭまたはリアルＵマップＲＭから、物体の視差画像および基準画像Ｉａにおけるｘ軸方向の位置および幅（ｘｍｉｎ，ｘｍａｘ）を特定できる。また、クラスタリング処理部５１０は、生成したＵマップＵＭまたはリアルＵマップＲＭでの物体の高さの情報（ｄｍｉｎ，ｄｍａｘ）から物体の実際の奥行きを特定できる。また、クラスタリング処理部５１０は、生成したＶマップＶＭから、物体の視差画像および基準画像Ｉａにおけるｙ軸方向の位置および高さ（ｙｍｉｎ＝「最大視差値の路面からの最大高さに相当するｙ座標」，ｙｍａｘ＝「最大視差値から得られる路面の高さを示すｙ座標」）を特定できる。また、クラスタリング処理部５１０は、視差画像において特定した物体のｘ軸方向の幅（ｘｍｉｎ，ｘｍａｘ）、ｙ軸方向の高さ（ｙｍｉｎ，ｙｍａｘ）およびそれぞれに対応する視差値ｄｐから、物体の実際のｘ軸方向およびｙ軸方向のサイズが特定できる。以上のように、クラスタリング処理部５１０は、ＶマップＶＭ、ＵマップＵＭおよびリアルＵマップＲＭを利用して、基準画像Ｉａでの物体の位置、ならびに実際の幅、高さおよび奥行きの特定することができる。また、クラスタリング処理部５１０は、基準画像Ｉａでの物体の位置が特定されるので、視差画像における位置も定まり、物体までの距離も特定できる。
【００７６】
そして、クラスタリング処理部５１０は、最終的に、図１３（ａ）に示すように、リアルＵマップＲＭ上で特定（検出）した物体の検出領域７２１〜７２４にそれぞれ対応するように、図１３（ｂ）に示す基準画像Ｉａまたは視差画像Ｉｐ上で検出枠７２１ａ〜７２４ａを作成する。
【００７７】
また、クラスタリング処理部５１０は、物体について特定した実際のサイズ（幅、高さ、奥行き）から、下記の（表１）を用いて、物体が何であるかを特定することができる。例えば、物体の幅が１３００［ｍｍ］、高さが１８００［ｍｍ］、奥行きが２０００［ｍｍ］である場合、物体は「普通車」であると特定できる。なお、（表１）のような幅、高さおよび奥行きと、物体の種類（物体タイプ）とを関連付ける情報をテーブルとして、ＲＡＭ５４等に記憶させておくものとすればよい。
【００７８】
【表１】
2017151535.tif 000003
【００７９】
図９に示す認識処理部５の第２生成部５００およびクラスタリング処理部５１０は、それぞれ図３に示すＦＰＧＡ５１によって実現される。なお、第２生成部５００およびクラスタリング処理部５１０の一部または全部は、ハードウェア回路であるＦＰＧＡ５１ではなく、ＲＯＭ５３に記憶されているプログラムがＣＰＵ５２によって実行されることによって実現されるものとしてもよい。
【００８０】
トラッキング処理部５２０は、クラスタリング処理部５１０により検出（認識）された物体に関する情報である認識領域情報に基づいて、その物体を棄却したり、追跡処理をしたりするトラッキング処理を実行する機能部である。トラッキング処理部５２０の具体的な構成は、後述する図１４で説明する。ここで、棄却とは、その物体を後段の処理（追跡処理等）の対象外とする処理を示す。また、認識領域情報とは、クラスタリング処理部５１０により検出された物体に関する情報を示し、例えば、検出した物体の基準画像Ｉａ、視差画像Ｉｐ、Ｖ−Ｄｉｓｐａｒｉｔｙマップ、Ｕ−Ｄｉｓｐａｒｉｔｙマップ、およびＲｅａｌ  Ｕ−Ｄｉｓｐａｒｉｔｙマップ等における位置および大きさ、検出した物体の種類ならびに、上述の棄却フラグ等の情報を含む。
【００８１】
なお、本発明に係る「画像処理装置」は、トラッキング処理部５２０であってもよく、トラッキング処理部５２０を含む認識処理部５であってもよい。
【００８２】
＜＜トラッキング処理部の機能ブロックの構成および動作＞＞
図１４は、実施の形態に係る物体認識装置の認識処理部のトラッキング処理部の機能ブロック構成の一例を示す図である。図１４を参照しながら、認識処理部５のトラッキング処理部５２０の機能ブロックの構成および動作について説明する。
【００８３】
図１４に示すように、トラッキング処理部５２０は、輝度判定部６５０（入力手段）と、移動予測部６００（予測手段）と、マッチング部６１０（マッチング処理手段）と、チェック部６２０と、特徴更新部６３０と、状態遷移部６４０と、を有する。
【００８４】
輝度判定部６５０は、入力した輝度画像である基準画像Ｉａの輝度値の変化（前の基準画像Ｉａとの輝度差）が所定程度以上であるか否かを判定する機能部である。輝度判定部６５０は、輝度差算出部６５１（算出手段）と、判定部６５２（第１判定手段、判定手段、第１選択手段、選択手段）と、を有する。
【００８５】
輝度差算出部６５１は、入力した輝度画像である基準画像Ｉａ（第１輝度画像）における物体の検出領域の平均輝度値を算出する機能部である。
【００８６】
判定部６５２は、後述するように、第１更新部６３２または第２更新部６３４によって更新された、前回の輝度画像である基準画像Ｉａ（第２輝度画像）における物体の検出領域の平均輝度値と、輝度差算出部６５１により算出された平均輝度値との差分である輝度差を算出し、輝度差が、前回の輝度画像の検出領域の平均輝度値の所定割合（所定の閾値の一例）以上であるか否かを判定する機能部である。
【００８７】
判定部６５２は、輝度差が所定割合以上であると判定した場合、後段の移動予測部６００およびマッチング部６１０で処理を行う対象の画像として輝度画像を用いるのは困難であると判断し、視差画像Ｉｐを選択する。輝度差が大きい場合、輝度画像では輝度値の濃淡の変化が大きくなるため、マッチング部６１０によるマッチング処理による物体の検出が精度よく実行できない可能性があるので、輝度変化が大きくても画素値（視差値）の変化には影響が小さい視差画像Ｉｐを選択するのである。
【００８８】
また、判定部６５２は、輝度差が所定割合未満であると判定した場合、後段の移動予測部６００およびマッチング部６１０で処理を行う対象の画像として輝度画像である基準画像Ｉａを選択する。輝度差が小さい場合、輝度画像では輝度値の濃淡の変化が小さく、かつ、輝度画像は物体固有の特徴がパターン現れやすいため、マッチング部６１０による輝度画像を用いたマッチング処理の方が物体の検出の精度が高くなり得るので基準画像Ｉａを選択するのである。
【００８９】
なお、以下の説明において、判定部６５２による輝度差の判定結果に基づいて選択された基準画像Ｉａ（輝度画像）または視差画像Ｉｐを、特にことわらない限り、単に「フレーム」というものとする。
【００９０】
また、判定部６５２による判定の方式では、上述のように、輝度差が、前回の輝度画像の検出領域の平均輝度値の所定割合以上であるか否かを判定するものとしているが、これに限定されるものではない。例えば、輝度差が、単純に所定値以上であるか否かを判定する方式としてもよい。この場合、輝度差が所定値以上である場合、視差画像Ｉｐを選択し、所定値未満である場合、基準画像Ｉａを選択するものとすればよい。また、フレーム間で輝度画像の画素値（輝度値）の変化が大きいか否かが判定できればよいので、輝度画像によるものではなく、例えば、照度センサ等を用いることもできる。
【００９１】
また、判定部６５２は、前回の輝度画像である基準画像Ｉａにおける物体の検出領域の平均輝度値と、輝度差算出部６５１により算出された平均輝度値との差分である輝度差を算出するものとしているが、これに限定されるものではない。例えば、輝度差算出部６５１は、基準画像Ｉａ全体の平均輝度値を算出するものとし、判定部６５２は、前回の輝度画像である基準画像Ｉａ全体の平均輝度値との差分である輝度差を利用するものとしてもよい。
【００９２】
移動予測部６００は、クラスタリング処理部５１０により新規検出された物体のこれまでの移動および動作状態の履歴、ならびに車両情報を用いて、これまで追従（トラッキング）してきた物体ごとに、現在のフレーム（以下、単に「現在フレーム」という場合がある）上で物体が存在する確率が高い予測領域を予測する機能部である。移動予測部６００は、前回のフレーム（以下、単に「前フレーム」という場合がある）までの移動情報（例えば、重心の相対位置履歴および相対速度履歴等)、および車両情報を用いて、ｘｚ平面（ｘ：フレーム横位置、z：距離）で物体の動きを予測する。なお、移動予測部６００は、予測以上の動きを持つ物体に対応するために、前回予測した予測領域よりも拡大する処理を行ってもよい。また、上述の移動情報は、各検出された物体ごとの認識領域情報に含まれるものとしてもよい。以下の説明では、認識領域情報は上述の移動情報を含むものとして説明する。
【００９３】
マッチング部６１０は、移動予測部６００により予測された予測領域内における前フレームで求めた特徴量（テンプレート）との類似度に基づくテンプレートマッチングを行い、現在フレームにおける物体の位置を検出する機能部である。マッチング部６１０は、判定部６１１（判定手段）と、第１間引き処理部６１２と、第１テンプレートマッチング部６１３と、補正処理部６１４と、第３間引き処理部６１５と、第２テンプレートマッチング部６１６と、第３テンプレートマッチング部６１７と、を有する。
【００９４】
判定部６１１は、前フレームまでの認識領域情報に基づいて、その認識領域情報に対応する物体の距離を推測し、推測した距離が所定距離以上であるか否かを判定する機能部である。ここで、以下の説明で、上述の所定距離以上の距離を「遠距離」（第２距離域）と、所定距離未満の距離を「近距離」（第１距離域）という場合があるものとする。
【００９５】
第１間引き処理部６１２は、移動予測部６００により予測された現在フレームでの予測領域の画像を所定の間引き量に基づいて間引き処理を行う機能部である。
【００９６】
第１テンプレートマッチング部６１３は、現在フレームにおいて、第１間引き処理部６１２により間引き処理が行われた予測領域内で、前フレームで求めたテンプレートに基づくテンプレートマッチングを行う機能部である。
【００９７】
補正処理部６１４は、第１テンプレートマッチング部６１３によるテンプレートマッチングにより検出された検出領域（第２検出領域）の枠（検出枠）について補正処理を行う機能部である。補正処理部６１４により特定の物体の検出枠について補正処理が行われた検出枠の画像が、現在フレームでのその物体の検出領域となる。
【００９８】
なお、第１間引き処理部６１２、第１テンプレートマッチング部６１３および補正処理部６１４は、本発明の「第１マッチング処理手段」に相当する。
【００９９】
第３間引き処理部６１５は、移動予測部６００により予測された現在フレームでの予測領域の画像を所定の間引き量（例えば、第１間引き処理部６１２の間引き量よりも小さい量とする）（第２間引き量）に基づいて間引き処理を行う機能部である。
【０１００】
第２テンプレートマッチング部６１６は、現在フレームにおいて、第３間引き処理部６１５により間引き処理が行われた予測領域内で、前フレームで求めたテンプレートに基づくテンプレートマッチングを行う機能部である。
【０１０１】
第３テンプレートマッチング部６１７は、現在フレームで第２テンプレートマッチング部６１６によるテンプレートマッチングで検出された物体の検出領域（第４検出領域）内で、後述するパーツテンプレートに基づくテンプレートマッチングを行う機能である。第３テンプレートマッチング部６１７により検出されたパーツマッチングに類似する領域の位置に基づいて、現在フレームの物体の検出枠が補正される。
【０１０２】
なお、第３間引き処理部６１５、第２テンプレートマッチング部６１６および第３テンプレートマッチング部６１７は、本発明の「第２マッチング処理手段」に相当する。
【０１０３】
チェック部６２０は、マッチング部６１０により検出された物体の検出領域の大きさに基づいて、トラッキングの目的とする物体（例えば、車両）の大きさに対応するか否かをチェックする機能である。
【０１０４】
特徴更新部６３０は、現在フレームで検出された物体の検出領域の画像から、次のフレームにおいて第１テンプレートマッチング部６１３または第２テンプレートマッチング部６１６のテンプレートマッチングで用いる特徴量（テンプレート）を作成して更新する機能部である。特徴更新部６３０は、第２間引き処理部６３１（第１間引き手段）と、第１更新部６３２と、第４間引き処理部６３３（第２間引き手段）と、第２更新部６３４と、パーツテンプレート選択部６３５（第２選択手段）と、第３更新部６３６と、を有する。
【０１０５】
第２間引き処理部６３１は、現在フレームにおいて、補正処理部６１４により最終的に定まった物体の検出領域（第１検出領域）の画像を所定の間引き量（第１間引き量）に基づいて間引き処理を行って、次のフレームで用いるテンプレート（間引きテンプレート）（第１テンプレート）を作成する機能部である。ここで、第２間引き処理部６３１は、次のフレームが基準画像Ｉａであるか視差画像Ｉｐであるかこの時点では不明なので、判定部６５２により基準画像Ｉａが選択されたか視差画像Ｉｐが選択されたかに関わらず、補正処理部６１４により最終的に定まった物体の検出領域に対応する基準画像Ｉａ上での領域の画像、および検出領域に対応する視差画像Ｉｐ上での領域の画像の双方について間引き処理を行い、２種類の間引きテンプレートを作成する。
【０１０６】
第１更新部６３２は、第２間引き処理部６３１により作成された間引きテンプレートを、前回使用された間引きテンプレートに代えて更新（例えば、ＲＡＭ５４に記憶）する機能部である。
【０１０７】
第４間引き処理部６３３は、現在フレームにおいて、第３テンプレートマッチング部６１７により最終的に定まった物体の検出領域（第３検出領域）の画像を所定の間引き量に基づいて間引き処理を行って、次のフレームで用いるテンプレート（間引きテンプレート）（第２テンプレート）を作成する機能部である。ここで、第４間引き処理部６３３は、上述の第２間引き処理部６３１と同様に、次のフレームが基準画像Ｉａであるか視差画像Ｉｐであるかこの時点では不明なので、判定部６５２により基準画像Ｉａが選択されたか視差画像Ｉｐが選択されたかに関わらず、第３テンプレートマッチング部６１７により最終的に定まった物体の検出領域に対応する基準画像Ｉａ上での領域の画像、および検出領域に対応する視差画像Ｉｐ上での領域の画像の双方について間引き処理を行い、２種類の間引きテンプレートを作成する。
【０１０８】
第２更新部６３４は、第４間引き処理部６３３により作成された間引きテンプレートを、前回使用された間引きテンプレートに代えて更新（例えば、ＲＡＭ５４に記憶）する機能部である。
【０１０９】
パーツテンプレート選択部６３５は、現在フレームにおいて、第３テンプレートマッチング部６１７により最終的に定まった物体の検出領域の画像から、所定の条件を満たす部分画像（パーツテンプレート）を選択する機能部である。パーツテンプレート選択部６３５による選択処理については、図２８で後述するが、パーツテンプレートについても、上述の第４間引き処理部６３３と同様に、基準画像Ｉａおよび視差画像Ｉｐそれぞれについての２種類のパーツテンプレートを作成する。
【０１１０】
第３更新部６３６は、パーツテンプレート選択部６３５により選択されたパーツテンプレートを、前回使用されたパーツテンプレートに代えて更新（例えば、ＲＡＭ５４に記憶）する機能部である。
【０１１１】
状態遷移部６４０は、補正処理部６１４または第３テンプレートマッチング部６１７により最終的に定まった物体の検出領域の状態に応じて、物体の状態を遷移させる機能部である。状態遷移部６４０は、遷移させた物体の状態を反映させた認識領域情報を、車両制御装置６に出力する。例えば、状態遷移部６４０は、チェック部６２０によるチェックの結果、検出領域の大きさがトラッキングの目的とする物体の大きさに対応しないと判断した場合、追跡対象から外す（棄却する）旨のフラグを認識領域情報に含めて、トラッキングの対象外の状態に遷移させるものとしてもよい。
【０１１２】
図１４に示す輝度判定部６５０の輝度差算出部６５１および判定部６５２、移動予測部６００、マッチング部６１０の判定部６１１、第１間引き処理部６１２、第１テンプレートマッチング部６１３、補正処理部６１４、第３間引き処理部６１５、第２テンプレートマッチング部６１６および第３テンプレートマッチング部６１７、チェック部６２０、特徴更新部６３０の第２間引き処理部６３１、第１更新部６３２、第４間引き処理部６３３、第２更新部６３４、パーツテンプレート選択部６３５および第３更新部６３６、ならびに、状態遷移部６４０は、それぞれ図３に示すＦＰＧＡ５１によって実現される。なお、これらの機能部の一部または全部は、ハードウェア回路であるＦＰＧＡ５１ではなく、ＲＯＭ５３に記憶されているプログラムがＣＰＵ５２によって実行されることによって実現されるものとしてもよい。
【０１１３】
なお、図１４に示すトラッキング処理部５２０の各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図１４に示すトラッキング処理部５２０で独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図１４に示すトラッキング処理部５２０で１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。
【０１１４】
［物体認識装置の動作］
次に、図１５〜２８を参照しながら、物体認識装置１の具体的な動作について説明する。
【０１１５】
（視差値導出部のブロックマッチング処理）
図１５は、実施の形態に係る視差値導出部のブロックマッチング処理の動作の一例を示すフローチャートである。図１５を参照しながら、物体認識装置１の視差値導出部３のブロックマッチング処理の動作の流れについて説明する。
【０１１６】
＜ステップＳ１−１＞
視差値導出部３の画像取得部１００ｂは、左のカメラ（撮像部１０ｂ）により前方の被写体を撮像して、それぞれアナログの画像信号を生成し、その画像信号に基づく画像である輝度画像を得る。これによって、後段の画像処理の対象となる画像信号が得られることになる。そして、ステップＳ２−１へ移行する。
【０１１７】
＜ステップＳ１−２＞
視差値導出部３の画像取得部１００ａは、右のカメラ（撮像部１０ａ）により前方の被写体を撮像して、それぞれアナログの画像信号を生成し、その画像信号に基づく画像である輝度画像を得る。これによって、後段の画像処理の対象となる画像信号が得られることになる。そして、ステップＳ２−２へ移行する。
【０１１８】
＜ステップＳ２−１＞
視差値導出部３の変換部２００ｂは、撮像部１０ｂにより撮像されて得られたアナログの画像信号に対して、ノイズを除去し、デジタル形式の画像データに変換する。このように、デジタル形式の画像データに変換することによって、その画像データに基づく画像に対して画素ごとの画像処理が可能となる。そして、ステップＳ３−１へ移行する。
【０１１９】
＜ステップＳ２−２＞
視差値導出部３の変換部２００ａは、撮像部１０ａにより撮像されて得られたアナログの画像信号に対して、ノイズを除去し、デジタル形式の画像データに変換する。このように、デジタル形式の画像データに変換することによって、その画像データに基づく画像に対して画素ごとの画像処理が可能となる。そして、ステップＳ３−２へ移行する。
【０１２０】
＜ステップＳ３−１＞
変換部２００ｂは、ステップＳ２−１において変換したデジタル形式の画像データに基づく画像をブロックマッチング処理における比較画像Ｉｂとして出力する。これによって、ブロックマッチング処理において視差値を求めるための比較対象となる画像を得る。そして、ステップＳ４へ移行する。
【０１２１】
＜ステップＳ３−２＞
変換部２００ａは、ステップＳ２−２において変換したデジタル形式の画像データに基づく画像をブロックマッチング処理における基準画像Ｉａとして出力する。これによって、ブロックマッチング処理において視差値を求めるための基準となる画像を得る。そして、ステップＳ４へ移行する。
【０１２２】
＜ステップＳ４＞
視差値導出部３の視差値演算処理部３００のコスト算出部３０１は、基準画像Ｉａにおける基準画素ｐ（ｘ，ｙ）の輝度値、および、基準画素ｐ（ｘ，ｙ）に基づく比較画像Ｉｂにおけるエピポーラ線ＥＬ上で、基準画素ｐ（ｘ，ｙ）の位置に相当する画素からシフト量ｄでシフトすることにより特定される、対応画素の候補画素ｑ（ｘ＋ｄ，ｙ）の各輝度値に基づいて、各候補画素ｑ（ｘ＋ｄ，ｙ）のコスト値Ｃ（ｐ，ｄ）を算出することにより取得する。具体的には、コスト算出部３０１は、ブロックマッチング処理により、基準画像Ｉａの基準画素ｐを中心とする所定領域である基準領域ｐｂと、比較画像Ｉｂの候補画素ｑを中心とする候補領域ｑｂ（大きさは基準領域ｐｂと同一）との非類似度をコスト値Ｃとして算出する。そして、ステップＳ５へ進む。
【０１２３】
＜ステップＳ５＞
視差値導出部３の視差値演算処理部３００の決定部３０２は、コスト算出部３０１により算出されたコスト値Ｃの最小値に対応するシフト量ｄを、コスト値Ｃの算出の対象となった基準画像Ｉａの画素についての視差値ｄｐとして決定する。そして、視差値導出部３の視差値演算処理部３００の第１生成部３０３は、決定部３０２により決定された視差値ｄｐに基づいて、基準画像Ｉａの各画素の輝度値を、その画素に対応する視差値ｄｐで表した画像である視差画像を生成する。生成部３０３は、生成した視差画像Ｉｐを、認識処理部５に出力する。
【０１２４】
なお、上述のステレオマッチング処理は、ブロックマッチング処理を例として説明したが、これに限定されるものではなく、ＳＧＭ（Ｓｅｍｉ−Ｇｌｏｂａｌ  Ｍａｔｃｈｉｎｇ）法を用いた処理であってもよい。
【０１２５】
（認識処理部のトラッキング処理部のトラッキング処理）
図１６は、実施の形態に係る認識処理部のトラッキング処理部のトラッキング処理の動作の一例を示すフローチャートである。図１７は、移動予測の動作を説明する図である。図１６および１７を参照しながら、認識処理部５のトラッキング処理部５２０のトラッキング処理の動作の流れについて説明する。
【０１２６】
＜ステップＳ１０＞
トラッキング処理部５２０の輝度判定部６５０は、入力した輝度画像である基準画像Ｉａの輝度値の変化（前の基準画像Ｉａとの輝度差）が所定程度以上であるか否かを判定する。輝度判定部６５０は、判定結果に応じて、後段の移動予測部６００およびマッチング部６１０で処理を行う対象の画像として視差画像Ｉｐまたは基準画像Ｉａを選択する。輝度判定部６５０による輝度判定動作の詳細は、図１８〜２０で後述する。そして、ステップＳ１１へ移行する。
【０１２７】
＜ステップＳ１１＞
トラッキング処理部５２０の移動予測部６００は、前段のクラスタリング処理部５１０により新規検出された物体のこれまでの移動および動作状態の履歴、ならびに車両情報を含む認識領域情報を用いて、これまで追従（トラッキング）してきた物体ごとに、図１７に示すように、現在フレーム（基準画像Ｉａまたは視差画像Ｉｐ）上で物体が存在する確率が高い予測領域８００を予測する。そして、ステップＳ１２へ移行する。
【０１２８】
＜ステップＳ１２＞
トラッキング処理部５２０のマッチング部６１０は、予測領域８００内における前フレームで求めた特徴量（テンプレート）との類似度に基づくテンプレートマッチングを行い、現在フレーム上で物体を検出する。マッチング部６１０によるマッチング処理の詳細は、図２１、２４および３０で後述する。そして、ステップＳ１３へ移行する。
【０１２９】
＜ステップＳ１３＞
トラッキング処理部５２０のチェック部６２０は、マッチング部６１０により検出された物体の検出領域の大きさに基づいて、トラッキングの目的とする物体（例えば、車両）の大きさに対応するか否かをチェックする。そして、ステップＳ１４へ移行する。
【０１３０】
＜ステップＳ１４＞
トラッキング処理部５２０の特徴更新部６３０は、現在フレームで検出された物体の検出領域の画像から、次のフレームにおいて第１テンプレートマッチング部６１３、または第２テンプレートマッチング部６１６および第３テンプレートマッチング部６１７のテンプレートマッチングで用いる特徴量（テンプレート）を作成して更新する。特徴更新部６３０による特徴更新処理の詳細は、図２２および２７で後述する。そして、ステップＳ１５へ移行する。
【０１３１】
＜ステップＳ１５＞
トラッキング処理部５２０の状態遷移部６４０は、補正処理部６１４または第３テンプレートマッチング部６１７により最終的に定まった物体の検出領域の状態に応じて、物体の状態を遷移させる機能部である。状態遷移部６４０は、遷移させた物体の状態を反映させた認識領域情報を、車両制御装置６に出力する。
【０１３２】
以上のステップＳ１０〜Ｓ１５の処理により、トラッキング処理部５２０によるトラッキング処理が行われる。なお、ステップＳ１０〜Ｓ１５の処理は、クラスタリング処理部５１０により検出された物体の検出領域ごとに実行される。
【０１３３】
（トラッキング処理における輝度判定処理）
図１８は、実施の形態に係る認識処理部のトラッキング処理のうちの輝度判定処理の動作の一例を示すフローチャートである。図１９は、輝度画像における画素値（輝度値）の変化状態の例を説明する図である。図２０は、視差画像における画素値（視差値）の変化状態の例を説明する図である。図１８〜２０を参照しながら、トラッキング処理部５２０の輝度判定部６５０の輝度反判定処理の動作の流れについて説明する。
【０１３４】
＜ステップＳ１０１＞
輝度判定部６５０の輝度差算出部６５１は、入力した輝度画像である基準画像Ｉａにおける物体の検出領域の平均輝度値を算出する。そして、ステップＳ１０２へ移行する。
【０１３５】
＜ステップＳ１０２＞
輝度判定部６５０の判定部６５２は、後述するように、第１更新部６３２または第２更新部６３４によって更新された、前回の輝度画像である基準画像Ｉａにおける物体の検出領域の平均輝度値と、輝度差算出部６５１により算出された平均輝度値との差分である輝度差を算出する。そして、ステップＳ１０３へ移行する。
【０１３６】
＜ステップＳ１０３＞
判定部６５２は、算出した輝度差が、前回の輝度画像（前フレーム）の検出領域の平均輝度値の所定割合以上であるか否かを判定する。輝度差が所定割合以上である場合（ステップＳ１０３：Ｙｅｓ）、ステップＳ１０４へ移行し、輝度差が所定割合未満である場合（ステップＳ１０３：Ｎｏ）、ステップＳ１０５へ移行する。
【０１３７】
＜ステップＳ１０４＞
判定部６５２は、輝度差が所定割合以上であると判定した場合、後段の移動予測部６００およびマッチング部６１０で処理を行う対象の画像として輝度画像を用いるのは困難であると判断し、視差画像Ｉｐを選択する。図１９（ａ）および（ｂ）に示すように、前後の基準画像Ｉａの輝度差が大きい場合、輝度値の濃淡の変化が大きくなるため、マッチング部６１０によるマッチング処理による物体の検出が精度よく実行できない可能性がある。したがって、判定部６５２は、図２０（ａ）および（ｂ）に示すように、輝度変化が大きくても画素値（視差値）の変化には影響が小さい視差画像Ｉｐを選択する。そして、輝度判定処理を終了する。
【０１３８】
＜ステップＳ１０５＞
判定部６５２は、輝度差が所定割合未満であると判定した場合、後段の移動予測部６００およびマッチング部６１０で処理を行う対象の画像として輝度画像である基準画像Ｉａを選択する。輝度差が小さい場合、輝度画像では輝度値の濃淡の変化が小さく、かつ、輝度画像は物体固有の特徴がパターン現れやすいため、マッチング部６１０による輝度画像を用いたマッチング処理の方が物体の検出の精度が高くなり得るので、判定部６５２は、基準画像Ｉａを選択する。そして、輝度判定処理を終了する。
【０１３９】
以上のステップＳ１０１〜Ｓ１０５の処理により、トラッキング処理部５２０の輝度判定部６５０による輝度判定処理が行われる。
【０１４０】
（トラッキング処理におけるマッチング処理）
図２１は、実施の形態のトラッキング処理部のトラッキング処理のうちのマッチング処理の動作の一例を示すフローチャートである。図２１を参照しながら、トラッキング処理部５２０のマッチング部６１０のマッチング処理の動作の流れについて説明する。
【０１４１】
＜ステップＳ１２１＞
マッチング部６１０の判定部６１１は、前フレームまでの認識領域情報に基づいて、その認識領域情報に対応する物体の距離を推測し、推測した距離が所定距離以上であるか否かを判定する。推測した距離が所定距離未満の近距離である場合（ステップＳ１２１：近距離）、ステップＳ１２２へ移行し、所定距離以上の遠距離である場合（ステップＳ１２１：遠距離）、ステップＳ１２３へ移行する。
【０１４２】
＜ステップＳ１２２＞
マッチング部６１０の第１間引き処理部６１２、第１テンプレートマッチング部６１３、および補正処理部６１４は、前フレームで検出された検出領域に基づくテンプレートを用いたラフマッチング処理を行う。ラフマッチング処理の詳細は、図２４〜２６で後述する。そして、マッチング処理を終了する。
【０１４３】
＜ステップＳ１２３＞
マッチング部６１０の第３間引き処理部６１５、第２テンプレートマッチング部６１６、および第３テンプレートマッチング部６１７は、前フレームで検出された検出領域に基づくテンプレートを用いたパーツマッチング処理を行う。パーツマッチング処理の詳細は、図３０および３１で後述する。そして、マッチング処理を終了する。
【０１４４】
以上のステップＳ１２１〜Ｓ１２３の処理により、トラッキング処理部５２０のマッチング部６１０によるマッチング処理（トラッキング処理のうちのマッチング処理）が行われる。また、上述のマッチング処理を含むトラッキング処理は繰り返し実行されるので、ラフマッチング処理およびパーツマッチング処理のうち、いずれかのマッチング処理で検出されていた物体は、次に推測される距離に応じて、マッチング処理の方法が切り替えられる場合もあり得る。例えば、推測された距離が近距離でラフマッチング処理が実行されていた物体が、時間経過により、推測された距離が遠距離となった場合、パーツマッチング処理に切り替えられる。
【０１４５】
（トラッキング処理のうちラフマッチング処理を行う場合の特徴更新処理）
図２２は、実施の形態のトラッキング処理部のトラッキング処理のうちラフマッチングを行う場合の特徴更新処理の動作の一例を示すフローチャートである。図２３は、実施の形態のトラッキング処理部のラフマッチングを行う場合の特徴更新処理における検出領域の画像に対する間引き処理を説明する図である。図２２および２３を参照しながら、マッチング部６１０においてラフマッチング処理を行う場合の特徴更新部６３０の特徴更新処理の動作の流れについて説明する。図２２に示す特徴更新処理は、図１６におけるステップＳ１２でラフマッチング処理を行う場合に、ステップＳ１４で実行される特徴更新処理である。
【０１４６】
＜ステップＳ１４１＞
特徴更新部６３０の第２間引き処理部６３１は、現在フレームにおいて、マッチング部６１０によるラフマッチング処理で検出された物体の検出領域から間引きテンプレートを作成するための間引き量を決定する。ここで、第２間引き処理部６３１は、現在フレームが判定部６５２により基準画像Ｉａまたは視差画像Ｉｐのどちらが選択されているかに関わらず、基準画像Ｉａおよび視差画像Ｉｐ双方の間引きテンプレートを作成するための間引き量を決定する。そして、基準画像Ｉａに対応する間引きテンプレートを、間引きテンプレート８１１とし、視差画像Ｉｐに対応する間引きテンプレートを、間引きテンプレート８１２とする。
【０１４７】
例えば、図２３（ａ）に示す検出領域８１０が、ラフマッチング処理で検出された物体（車両）の検出領域であるものとし、かつ、横方向に幅Ｗｄ［ピクセル］、縦方向に高さＨｄ［ピクセル］の大きさの領域であるものとする。ここで、検出領域８１０は、基準画像Ｉａおよび視差画像Ｉｐの双方における検出領域を示すものとする。そして、図２３（ｂ）に示す間引きテンプレート８１１（８１２）が、第２間引き処理部６３１による間引き処理後の画像であり、かつ、横方向に幅Ｗｄ＿ｓ［ピクセル］、縦方向に高さＨｄ＿ｓ［ピクセル］の大きさのテンプレートであるものとする。この場合、第２間引き処理部６３１は、間引きテンプレート８１１（８１２）の高さＨｄ＿ｓが固定値ｃ［ピクセル］（＜Ｈｄ）となるように、かつ、間引きテンプレート８１１（８１２）の幅と高さとの割合が、検出領域８１０の幅と高さとの割合と一致するように、検出領域８１０に対して間引き処理を行う。すなわち、第２間引き処理部６３１による間引き処理の間引き量、すなわち、間引きテンプレート８１１（８１２）の高さＨｄ＿ｓおよび幅Ｗｄ＿ｓは、以下の（式３）で算出される。
【０１４８】
Ｈｄ＿ｓ＝ｃ
Ｗｄ＿ｓ＝（Ｗｄ／Ｈｄ）×Ｈｄ＿ｓ
ＦＨ＝Ｈｄ＿ｓ／Ｈｄ
ＦＷ＝Ｗｄ＿ｓ／Ｗｄ                                          ・・・（式３）
【０１４９】
また、（式３）中のＦＨは、高さＨｄに対する高さＨｄ＿ｓの割合であり、ＦＷは、幅Ｗｄに対する幅Ｗｄ＿ｓの割合である。
【０１５０】
このように、間引き処理後の間引きテンプレート８１１（８１２）の高さＨｄ＿ｓを固定値となるように間引き量を決定することによって、現在フレームで検出された検出領域８１０の大きさに対して、次のフレームでのマッチング処理の処理速度が依存することを軽減することができる。なお、上述では間引きテンプレート８１１の高さＨｄ＿ｓが固定値となるように間引き量を決定するものとしているが、これに限定されるものではなく、幅Ｗｄ＿ｓが固定値となるように間引き量を決定するものとしてもよい。ただし、物体が車両である場合、幅よりも高さの方が車両によって変動しやすいので、変動が大きい高さ方向の幅を固定する方が、物体による処理速度の変動を抑制できる効果がある。そして、ステップＳ１４２へ移行する。
【０１５１】
＜ステップＳ１４２＞
第２間引き処理部６３１は、上述の（式３）で決定（算出）した間引き量に基づいて、基準画像Ｉａおよび視差画像Ｉｐのそれぞれの検出領域８１０に対して間引き処理を行い、間引きテンプレート８１１および間引きテンプレート８１２をそれぞれ作成する。そして、ステップＳ１４３へ移行する。
【０１５２】
＜ステップＳ１４３＞
特徴更新部６３０の第１更新部６３２は、第２間引き処理部６３１により作成された間引きテンプレート８１１、８１２を、前回ラフマッチング処理に使用された間引きテンプレートに代えて更新（例えば、ＲＡＭ５４に記憶）する。作成された間引きテンプレート８１１、８１２は、次のフレームでのラフマッチング処理で使用される。また、第１更新部６３２は、ステップＳ１４１で算出された上述の（式３）の割合ＦＨおよびＦＷを、ＲＡＭ５４等に記憶させる。この割合ＦＨおよびＦＷは、次のフレームでの予測領域の画像の間引き処理（後述）で使用される。そして、ステップＳ１４４へ移行する。
【０１５３】
＜ステップＳ１４４＞
第１更新部６３２は、上述した図１８のステップＳ１０１で、輝度差算出部６５１によって算出された基準画像Ｉａにおける物体の検出領域の平均輝度値を、前回の輝度判定処理で使用された平均輝度値に代えて更新（例えば、ＲＡＭ５４に記憶）する。更新された平均輝度値は、次の基準画像Ｉａに対する輝度判定処理で使用される。そして、特徴更新処理を終了する。
【０１５４】
以上のステップＳ１４１〜Ｓ１４４の処理により、マッチング部６１０においてラフマッチング処理を行う場合の特徴更新部６３０の特徴更新処理が行われる。
【０１５５】
（トラッキング処理において近距離の場合のラフマッチング処理）
図２４は、実施の形態のトラッキング処理部のトラッキング処理におけるラフマッチング処理の動作の一例を示すフローチャートである。図２５は、実施の形態のトラッキング処理部のトラッキング処理におけるラフマッチング処理での予測領域の画像に対する間引き処理を説明する図である。図２６は、実施の形態のトラッキング処理部のトラッキング処理におけるラフマッチング処理での枠補正処理を説明する図である。図２４〜２６を参照しながら、トラッキング処理のうち、マッチング部６１０のラフマッチング処理の動作の流れについて説明する。図２４に示すラフマッチング処理は、図２１においてステップＳ１２２で実行されるラフマッチング処理である。
【０１５６】
＜ステップＳ１２２１＞
マッチング部６１０の第１間引き処理部６１２は、移動予測部６００により予測された現在フレームでの予測領域８００（図２５（ａ）参照）の画像を所定の間引き量に基づいて間引き処理を行い、間引き予測領域を得る。ここで、図２２（ｂ）に示すように、現在フレームが基準画像Ｉａである場合の間引き予測領域を間引き予測領域８０１とし、現在フレームが視差画像Ｉｐである場合の間引き予測領域を間引き予測領域８０２とする。
【０１５７】
具体的には、第１間引き処理部６１２は、前フレームについて、第１更新部６３２によりＲＡＭ５４等に記憶された上述の（式３）に示す割合ＦＨおよびＦＷを用いて、高さＨｐおよび幅Ｗｐの予測領域８００に対し、下記の（式４）により算出した高さＨｐ＿ｓおよび幅Ｗｐ＿ｓの大きさの間引き予測領域８０１（８０２）となるように間引き処理を行う。
【０１５８】
Ｈｐ＿ｓ＝ＦＨ×Ｈｐ
Ｗｐ＿ｓ＝ＦＷ×Ｈｐ＿ｓ                                      ・・・（式４）
【０１５９】
このように、現在フレームにおける第１間引き処理部６１２による予測領域８００に対する間引きの割合は、上述した前フレームにおける第２間引き処理部６３１による検出領域８１０に対する間引きの割合と、同一にしている。異なる間引きの割合で予測領域８００を間引いた場合、本来の物体のサイズが同じ物体に対してテンプレートマッチングしても、間引き予測領域では物体のサイズが異なるサイズとなり、精度よく物体を検出できなくなるところ、同一の間引きの割合で予測領域８００を間引いて間引き予測領域８０１（８０２）を作成しているので、精度よく物体を検出できる。そして、ステップＳ１２２２へ移行する。
【０１６０】
＜ステップＳ１２２２＞
マッチング部６１０の第１テンプレートマッチング部６１３は、現在フレームにおいて、第１間引き処理部６１２により間引き処理が行われた間引き予測領域８０１（８０２）内で、前フレームについて第１更新部６３２により更新された間引きテンプレートに基づくテンプレートマッチングを行う。ここで、第１テンプレートマッチング部６１３は、現在フレームが基準画像Ｉａである場合、間引きテンプレート８１１を用い、現在フレームが視差画像Ｉｐである場合、間引きテンプレート８１２を用いる。すなわち、第１テンプレートマッチング部６１３は、間引き予測領域８０１（８０２）内で、間引きテンプレート８１１（８１２）と一致する、または、一致するとみなせる画像を検出する。ここで、間引き予測領域８０１（８０２）内で、間引きテンプレート８１１（８１２）との類似度を示す評価値としては、ＳＡＤ等を用いることができる。第１テンプレートマッチング部６１３は、間引き予測領域８０１（８０２）内をラスタスキャンしながら、間引きテンプレート８１１（８１２）に基づくＳＡＤを算出し、ＳＡＤが最も小さい画像の位置を求める。間引き予測領域８０１（８０２）内で最もＳＡＤが小さい画像の位置としては、例えば、間引き予測領域８０１（８０２）におけるその画像の左上端の位置（ｐｘ＿ｔｈｉｎ，ｐｙ＿ｔｈｉｎ）を求める。
【０１６１】
また、第１テンプレートマッチング部６１３は、間引き予測領域８０１（８０２）内で検出した画像の位置（ｐｘ＿ｔｈｉｎ，ｐｙ＿ｔｈｉｎ）から、下記の（式５）を用いて、検出した画像の枠を、間引く前の大きさに戻した画像の枠について、予測領域８００内における位置（ｐｘ，ｐｙ）を算出する。
【０１６２】
ｐｘ＝ｐｘ＿ｔｈｉｎ×ＦＷ
ｐｙ＝ｐｙ＿ｔｈｉｎ×ＦＨ                                      ・・・（式５）
【０１６３】
これによって、第１テンプレートマッチング部６１３は、現在フレームにおいて、予測領域８００で検出された物体の画像（検出領域）の枠（図２６に示す検出枠８２０）の位置を求めることができ、さらには、現在フレームにおける検出領域の位置を求めることができる。このように、第１テンプレートマッチング部６１３は、間引き処理が行われた間引き予測領域８０１（８０２）に対して、同じ間引き量により間引き処理が行われた間引きテンプレート８１１（８１２）についてのテンプレートマッチングを行うので、元々のフレームよりも画素数が少ない画像についての画像処理とすることができ、処理速度を向上させることができる。
【０１６４】
ただし、ここで求められた予測領域８００における検出領域の位置は、予測領域８００を間引き処理した間引き予測領域８０１（８０２）におけるテンプレートマッチングにより検出した画像に対して、間引く前の大きさに戻したときの位置なので、量子化誤差を含んでいることになる。そして、ステップＳ１２２３へ移行する。
【０１６５】
＜ステップＳ１２２３＞
マッチング部６１０の補正処理部６１４は、現在フレームにおいて、第１テンプレートマッチング部６１３によるテンプレートマッチングにより検出された物体の画像（検出領域）の枠（図２６に示す検出枠８２０）について補正処理を行う。具体的には、補正処理部６１４は、まず、図２６に示すように、第１テンプレートマッチング部６１３により検出された検出枠８２０に対応する視差画像Ｉｐ（現在フレームが基準画像Ｉａである場合は、基準画像Ｉａに対応する視差画像Ｉｐ）上の画像について、Ｘ方向で視差値を含む画素の頻度を示すヒストグラム９００、および、Ｙ方向で視差値を含む画素の頻度を示すヒストグラム９０１を作成する。そして、補正処理部６１４は、図２６に示すように、ヒストグラム９００において閾値Ｔｈを超えるＸ方向の位置を、それぞれ、補正後の検出枠８２１の左端および右端の位置とし、ヒストグラム９０１において閾値Ｔｈを超えるＹ方向の位置を、それぞれ、補正後の検出枠８２１の上端および下端の位置とする。閾値Ｔｈは、例えば、ヒストグラムの最大値に対して１０〜２０［％］の値とすればよい。この場合、図２６ではＸ方向およびＹ方向の閾値を、閾値Ｔｈとしているが、同一の閾値である必要はない。このようにして、補正処理部６１４により補正処理が行われた検出枠８２１に対応する現在フレーム上の画像が、マッチング部６１０によるラフマッチング処理によって最終的に検出された検出領域となる。そして、補正処理部６１４は、検出した物体の検出領域の情報（フレームに対する位置、および大きさ等）を、その物体の認識領域情報に含める。
【０１６６】
このように、補正処理部６１４によって検出領域の枠である検出枠８２０に対して補正処理が行われることによって、上述の量子化誤差を緩和することが可能になる。また、第１テンプレートマッチング部６１３によるテンプレートマッチングは、フレーム全体ではなく、予測領域８００に対して行っているので、処理速度を向上させることができる。そして、ラフマッチング処理を終了する。
【０１６７】
以上のステップＳ１２２１〜Ｓ１２２３の処理により、マッチング部６１０のラフマッチング処理が行われる。
【０１６８】
（トラッキング処理のうちパーツマッチング処理を行う場合の特徴更新処理）
図２７は、実施の形態のトラッキング処理部のトラッキング処理のうちパーツマッチングを行う場合の特徴更新処理の動作の一例を示すフローチャートである。図２８は、実施の形態のトラッキング処理部のパーツマッチングを行う場合の特徴更新処理におけるパーツテンプレートの選択処理の動作の一例を示すフローチャートである。図２９は、パーツテンプレートの選択処理を説明する図である。図２７〜２９を参照しながら、マッチング部６１０においてパーツマッチング処理を行う場合の特徴更新部６３０の特徴更新処理の動作の流れについて説明する。図２７に示す特徴更新処理は、図１６においてステップＳ１２でパーツマッチング処理を行う場合に、ステップＳ１４で実行される特徴更新処理である。
【０１６９】
＜ステップＳ１４５＞
特徴更新部６３０の第４間引き処理部６３３は、現在フレームにおいて、マッチング部６１０によるパーツマッチング処理で検出された物体の検出領域から間引きテンプレートを作成するための間引き量を決定する。ここで、第４間引き処理部６３３は、現在フレームが判定部６５２により基準画像Ｉａまたは視差画像Ｉｐのどちらが選択されているかに関わらず、基準画像Ｉａおよび視差画像Ｉｐ双方の間引きテンプレートを作成するための間引き量を決定する。第４間引き処理部６３３による間引き量の決定方法は、上述の図２２のステップＳ１４１の第２間引き処理部６３１による間引き量の決定方法と同様である。ただし、図２７に示す特徴更新処理は、判定部６１１により物体が遠距離にある場合に実行されるものであり、フレームに写っている物体は近距離に比べて小さいので、第２間引き処理部６３１による間引き量よりも小さい間引き量とする。例えば、間引きテンプレートの高さＨｄ＿ｓを、固定値ｃよりも値が小さい固定値とする。そして、ステップＳ１４６へ移行する。
【０１７０】
＜ステップＳ１４６＞
第４間引き処理部６３３は、ステップＳ１４５で決定（算出）した間引き量に基づいて、基準画像Ｉａおよび視差画像Ｉｐのそれぞれの検出領域に対して間引き処理を行い、間引きテンプレートをそれぞれ作成する。そして、ステップＳ１４７へ移行する。
【０１７１】
＜ステップＳ１４７＞
特徴更新部６３０の第２更新部６３４は、第４間引き処理部６３３により作成された２つの間引きテンプレートを、前回パーツマッチング処理に使用された間引きテンプレートに代えて更新（例えば、ＲＡＭ５４に記憶）する。作成された２つの間引きテンプレートは、次のフレームでのパーツマッチング処理で使用される。また、第２更新部６３４は、ステップＳ１４５で算出された、上述の図２２のステップＳ１４１の（式３）の割合ＦＨおよびＦＷにそれぞれ対応する割合を、ＲＡＭ５４等に記憶させる。この割合は、次のフレームでの予測領域の画像の間引き処理（後述）で使用される。そして、ステップＳ１４８へ移行する。
【０１７２】
＜ステップＳ１４８＞
第２更新部６３４は、上述した図１８のステップＳ１０１で、輝度差算出部６５１によって算出された基準画像Ｉａにおける物体の検出領域の平均輝度値を、前回の輝度判定処理で使用された平均輝度値に代えて更新（例えば、ＲＡＭ５４に記憶）する。更新された平均輝度値は、次の基準画像Ｉａに対する輝度判定処理で使用される。そして、ステップＳ１４９へ移行する。
【０１７３】
＜ステップＳ１４９＞
特徴更新部６３０のパーツテンプレート選択部６３５は、現在の基準画像Ｉａおよび視差画像Ｉｐにおいて、第３テンプレートマッチング部６１７により最終的に定まった物体の検出領域の画像から、所定の条件を満たす部分画像（パーツテンプレート）を選択する。このパーツテンプレート選択部６３５による選択処理を、図２８のステップＳ１４９１〜Ｓ１４９８の処理、および図２９を参照しながら、詳述する。
【０１７４】
＜＜ステップＳ１４９１＞＞
パーツテンプレート選択部６３５は、現在の基準画像Ｉａおよび視差画像Ｉｐにおいて、パーツマッチング処理により検出された図２９（ａ）に示す検出領域８３０内の左上端および右下端に、それぞれ仮枠８４０、８４１を作成する。そして、ステップＳ１４９２へ移行する。
【０１７５】
＜＜ステップＳ１４９２＞＞
パーツテンプレート選択部６３５は、検出領域８３０の左上端の仮枠８４０内に対応する視差画像Ｉｐ（現在フレームが基準画像Ｉａである場合は、基準画像Ｉａに対応する視差画像Ｉｐ）上の画像において、有効な視差値を有する画素の数（以下、「視差点数」という場合がある）をカウントする。ここで、有効な視差値を有する画素とは、例えば、視差値を有さない画素、または、非常に遠方の距離を視差値、すなわち非常に値が小さい視差値を有する画素ではない画素を示す。そして、ステップＳ１４９３へ移行する。
【０１７６】
＜＜ステップＳ１４９３＞＞
パーツテンプレート選択部６３５は、仮枠８４０内の面積に対する、カウントした視差点数の画素が占める面積の割合が所定の閾値以上であるか否かを判定する。割合が所定の閾値以上（ステップＳ１４９３：Ｙｅｓ）である場合、ステップＳ１４９５へ移行し、割合が所定の閾値未満（ステップＳ１４９３：Ｎｏ）である場合、ステップＳ１４９４へ移行する。例えば、図２９（ａ）に示した状態の仮枠８４０内の画像である仮枠内画像８５０には、有効な視差値が少ない、すなわち、仮枠内画像８５０に含まれる物体（車両）の部分が少ないため、後述するパーツマッチング処理での効果的なテンプレートマッチングができない。そのため、後述のステップＳ１４９４の処理を行う必要がある。
【０１７７】
＜＜ステップＳ１４９４＞＞
パーツテンプレート選択部６３５は、検出領域８３０上で、仮枠８４０の位置を現在の位置から検出領域８３０の内側に向かって所定量ずらす。例えば、パーツテンプレート選択部６３５は、仮枠８４０の位置を現在の位置から、Ｎ画素分（Ｎは所定値）右にずらし、かつＮ画素分下にずらすものとしてもよく、または検出領域８３０の中心に向かって所定量だけずらすものとしてもよい。そして、ステップＳ１４９２へ戻る。
【０１７８】
＜＜ステップＳ１４９５＞＞
パーツテンプレート選択部６３５は、検出領域８３０の右下端の仮枠８４１内に対応する視差画像Ｉｐ（現在フレームが基準画像Ｉａである場合は、基準画像Ｉａに対応する視差画像Ｉｐ）上の画像において、有効な視差値を有する画素の数（視差点数）をカウントする。そして、ステップＳ１４９６へ移行する。
【０１７９】
＜＜ステップＳ１４９６＞＞
パーツテンプレート選択部６３５は、仮枠８４１内の面積に対する、カウントした視差点数の画素が占める面積の割合が所定の閾値以上であるか否かを判定する。割合が所定の閾値以上（ステップＳ１４９６：Ｙｅｓ）である場合、ステップＳ１４９８へ移行し、割合が所定の閾値未満（ステップＳ１４９６：Ｎｏ）である場合、ステップＳ１４９７へ移行する。例えば、図２９（ａ）に示した状態の仮枠８４１内の画像である仮枠内画像８５１には、有効な視差値が多い、すなわち、仮枠内画像８５１に含まれる物体（車両）の部分が多いため、後述するパーツマッチング処理での効果的なテンプレートマッチングができる。
【０１８０】
＜＜ステップＳ１４９７＞＞
パーツテンプレート選択部６３５は、検出領域８３０上で、仮枠８４１の位置を現在の位置から検出領域８３０の内側に向かって所定量ずらす。例えば、パーツテンプレート選択部６３５は、仮枠８４１の位置を現在の位置から、Ｎ画素分（Ｎは所定値）左にずらし、かつＮ画素分上にずらすものとしてもよく、または検出領域８３０の中心に向かって所定量だけずらすものとしてもよい。そして、ステップＳ１４９５へ戻る。
【０１８１】
＜＜ステップＳ１４９８＞＞
パーツテンプレート選択部６３５は、上述のステップＳ１４９１〜Ｓ１４９７の処理の結果、検出領域８３０における現在の位置の２つの仮枠に対応する基準画像Ｉａおよび視差画像Ｉｐ上の画像をパーツテンプレートとしてそれぞれ選択する。図２９の例では、検出領域８３０上で最初に作成した左上端の仮枠８４０内の画像において視差点数の画素が占める面積の割合が所定の閾値未満であるので、ステップＳ１４９４の処理により、図２９（ｂ）に示すように検出領域８３０の内側にずらして所定の閾値以上となるようにした仮枠８４０ａの画像である仮枠内画像８５０ａ（仮枠８４０ａに対応する基準画像Ｉａおよび視差画像Ｉｐ上のそれぞれの画像）をパーツテンプレートとして選択している。また、検出領域８３０上で最初に作成した右下端の仮枠８４１内の画像において視差点数の画素が占める面積の割合が所定の閾値以上であるので、仮枠８４１の画像である仮枠内画像８５１（仮枠８４１に対応する基準画像Ｉａおよび視差画像Ｉｐ上のそれぞれの画像）をパーツテンプレートとして選択している。すなわち、パーツテンプレート選択部６３５は、基準画像Ｉａに対応する２つのパーツテンプレート、および視差画像Ｉｐに対応する２つのテンプレートの合計４つのパーツテンプレートを選択する。
【０１８２】
以上のステップＳ１４９１〜Ｓ１４９８によって、パーツテンプレート選択部６３５による選択処理が実行される。そして、図２７のフローへ戻り、ステップＳ１５０へ移行する。
【０１８３】
＜ステップＳ１５０＞
特徴更新部６３０の第３更新部６３６は、パーツテンプレート選択部６３５により選択された４つのパーツテンプレートを、前回のパーツマッチング処理用の４つのパーツテンプレートに代えて更新（例えば、ＲＡＭ５４に記憶）する。選択されたパーツテンプレートは、次のフレームでのパーツマッチング処理で使用される。そして、特徴更新処理を終了する。
【０１８４】
以上のステップＳ１４５〜Ｓ１５０の処理により、マッチング部６１０においてパーツマッチング処理を行う場合の特徴更新部６３０の特徴更新処理が行われる。
【０１８５】
（トラッキング処理において遠距離の場合のパーツマッチング処理）
図３０は、実施の形態のトラッキング処理部のトラッキング処理におけるパーツマッチング処理の動作の一例を示すフローチャートである。図３１は、パーツマッチング処理を説明する図である。図３０および３１を参照しながら、トラッキング処理のうち、マッチング部６１０のパーツマッチング処理の動作の流れについて説明する。図３０に示すパーツマッチング処理は、図２１においてステップＳ１２３で実行されるパーツマッチング処理である。
【０１８６】
＜ステップＳ１２３１＞
マッチング部６１０の第３間引き処理部６１５は、移動予測部６００により予測された現在フレーム（図３１（ａ）に示す基準画像Ｉａまたは視差画像Ｉｐ）での予測領域８００（図３１（ｂ）参照）の画像を所定の間引き量（例えば、第１間引き処理部６１２の間引き量よりも小さい量とする）に基づいて間引き処理を行い、間引き予測領域を得る。具体的には、第３間引き処理部６１５は、前フレームについて、第２更新部６３４によりＲＡＭ５４等に記憶された割合（図２７のステップＳ１４７参照）を用いて、予測領域に対し、上述の図２４のステップＳ１２２１と同様の間引き処理を行う。
【０１８７】
このように、現在フレームにおける第３間引き処理部６１５による予測領域８００に対する間引きの割合は、上述した前フレームにおける第４間引き処理部６３３による検出領域に対する間引きの割合と、同一にしている。異なる間引きの割合で予測領域８００を間引いた場合、本来の物体のサイズが同じ物体に対してテンプレートマッチングしても、間引き予測領域では物体のサイズが異なるサイズとなり、精度よく物体を検出できなくなるところ、同一の間引きの割合で予測領域８００を間引いて間引き予測領域を作成しているので、精度よく物体を検出できる。そして、ステップＳ１２３２へ移行する。
【０１８８】
＜ステップＳ１２３２＞
マッチング部６１０の第２テンプレートマッチング部６１６は、現在フレームにおいて、第３間引き処理部６１５により間引き処理が行われた間引き予測領域内で、前フレームについて第２更新部６３４により更新された間引きテンプレートに基づくテンプレートマッチングを行う。ここで、第２テンプレートマッチング部６１６は、現在フレームが基準画像Ｉａである場合、基準画像Ｉａ用の間引きテンプレートを用い、現在フレームが視差画像Ｉｐである場合、視差画像Ｉｐ用の間引きテンプレートを用いる。すなわち、第２テンプレートマッチング部６１６は、間引き予測領域内で、間引きテンプレートと一致する、または、一致するとみなせる画像を検出する。ここで、間引き予測領域内で、間引きテンプレートとの類似度を示す評価値としては、ＳＡＤ等を用いることができる。第２テンプレートマッチング部６１６は、間引き予測領域内をラスタスキャンしながら、間引きテンプレートに基づくＳＡＤを算出し、ＳＡＤが最も小さい画像の位置を求める。間引き予測領域内で最もＳＡＤが小さい画像の位置としては、例えば、間引き予測領域におけるその画像の左上端の位置を求める。
【０１８９】
また、第２テンプレートマッチング部６１６は、間引き予測領域内で検出した画像の位置から、上述の（式５）を用いて、検出した画像の枠を、間引く前の大きさに戻した画像の枠について、予測領域８００内における位置を算出する。
【０１９０】
これによって、第２テンプレートマッチング部６１６は、現在フレームにおいて、予測領域８００で検出された物体の画像（図３１（ｃ）に示す検出領域８６０）の枠の位置を求めることができる。このように、第２テンプレートマッチング部６１６は、間引き処理が行われた間引き予測領域に対して、同じ間引き量により間引き処理が行われた間引きテンプレートについてのテンプレートマッチングを行うので、元々のフレームよりも画素数が少ない画像についての画像処理とすることができ、処理速度を向上させることができる。
【０１９１】
ただし、ここで求められた予測領域８００における検出領域の位置は、予測領域８００を間引き処理した間引き予測領域におけるテンプレートマッチングにより検出した画像に対して、間引く前の大きさ戻したときの位置なので、量子化誤差を含んでいることになる。そして、ステップＳ１２３３へ移行する。
【０１９２】
＜ステップＳ１２３３＞
マッチング部６１０の第３テンプレートマッチング部６１７は、現在フレームにおいて、第２テンプレートマッチング部６１６によるテンプレートマッチングにより検出された検出領域８６０内で、前フレームについて第３更新部６３６により更新された２つのパーツテンプレートに基づくテンプレートマッチングを行う。ここで、２つのパーツテンプレートとは、現在フレームが基準画像Ｉａである場合、図３１（ｄ）に示すパーツテンプレート８７０、８７１を示し、現在フレームが視差画像Ｉｐである場合、図３１（ｄ）に示すパーツテンプレート８７０ａ、８７１ａを示す。すなわち、第３テンプレートマッチング部６１７は、検出領域８６０内で、パーツテンプレート８７０、８７１（または、パーツテンプレート８７０ａ、８７１ａ）とそれぞれ一致する、または、一致するとみなせる（以下、単に「一致する」という）画像を検出する。ここで、パーツテンプレート８７０、８７１（または、パーツテンプレート８７０ａ、８７１ａ）は、上述の図２９（ｂ）に示す仮枠内画像８５０ａ、８５１にそれぞれ対応する。検出領域８６０内で、パーツテンプレート８７０、８７１（または、パーツテンプレート８７０ａ、８７１ａ）との類似度を示す評価値としては、ＳＡＤ等を用いることができる。第３テンプレートマッチング部６１７は、検出領域８６０内をラスタスキャンしながら、パーツテンプレート８７０、８７１（または、パーツテンプレート８７０ａ、８７１ａ）に基づくＳＡＤをそれぞれ算出し、ＳＡＤが最も小さい画像の位置をそれぞれ求める。
【０１９３】
そして、第３テンプレートマッチング部６１７は、図３１（ｅ）に示すように、検出領域８６０上でパーツテンプレート８７０、８７１（または、パーツテンプレート８７０ａ、８７１ａ）とそれぞれ一致する画像の位置（図３１（ｅ）では、一致した位置をパーツテンプレート８７０、８７１（または、パーツテンプレート８７０ａ、８７１ａ）の位置で示している）に基づいて、検出領域８６０を補正する。具体的には、第３テンプレートマッチング部６１７は、図３１（ｅ）に示すように、検出領域８６０において、パーツテンプレート８７０（または、パーツテンプレート８７０ａ）と一致した画像の左上端の位置のＸ方向座標を補正後の検出領域の左端の位置とし、Ｙ方向座標を補正後の検出領域の上端とする。同様に、第３テンプレートマッチング部６１７は、図３１（ｅ）に示すように、検出領域８６０において、パーツテンプレート８７１（または、パーツテンプレート８７１ａ）と一致した画像の右下端の位置のＸ方向座標を補正後の検出領域の右端の位置とし、Ｙ方向座標を補正後の検出領域の下端とする。このように、第３テンプレートマッチング部６１７は、検出領域８６０に対し、パーツテンプレート８７０、８７１（または、パーツテンプレート８７０ａ、８７１ａ）に基づいて求めた左端、上端、右端および下端によって定まる領域を、補正後の検出領域とする。このようにして、第３テンプレートマッチング部６１７によって検出領域８６０に対する補正後の検出領域が、マッチング部６１０によるパーツマッチング処理によって最終的に検出された検出領域となる。そして、第３テンプレートマッチング部６１７は、検出した物体の検出領域の情報（フレームに対する位置、および大きさ等）を、その物体の認識領域情報に含める。
【０１９４】
このように、第３テンプレートマッチング部６１７による検出領域８６０に対する補正処理により、最終的な検出領域の四隅を精度よく決定することができるので、上述の量子化誤差を緩和することが可能になる。これによって、遠距離の物体に対しても、安定してトラッキング（追従）することができる。また、第２テンプレートマッチング部６１６によるテンプレートマッチングは、フレーム全体ではなく、予測領域８００に対して行っているので、処理速度を向上させることができる。そして、パーツマッチング処理を終了する。
【０１９５】
以上のステップＳ１２３１〜Ｓ１２３３の処理により、マッチング部６１０のパーツマッチング処理が行われる。
【０１９６】
以上のように、本実施の形態に係る物体認識装置１のトラッキング処理では、撮像された輝度画像上の物体の検出領域の平均輝度値に応じて、後段のマッチング処理で使用する画像（輝度画像または視差画像）を切り替えるものとしている。すなわち、前回の輝度画像である輝度画像における物体の検出領域の平均輝度値と、輝度差算出部６５１により算出された平均輝度値との差分である輝度差が所定程度以上である場合、輝度値の濃淡の変化が大きくなるため、マッチング部６１０によるマッチング処理による物体の検出が精度よく実行できない可能性があるため、後段のマッチング処理で使用する画像として視差画像を選択する。一方、輝度差が所定程度未満である場合、輝度画像では輝度値の濃淡の変化が小さく、かつ、輝度画像は物体固有の特徴がパターン現れやすいため、マッチング部６１０による輝度画像を用いたマッチング処理の方が物体の検出の精度が高くなり得るので、後段のマッチング処理で使用する画像として輝度画像を選択する。このように、輝度画像上の物体の検出領域の平均輝度値に応じて、後段のマッチング処理で使用する画像（輝度画像または視差画像）を切り替えることによって、物体の検出の精度を向上させることができる。
【０１９７】
また、本実施の形態に係る物体認識装置１のトラッキング処理では、物体の距離に応じて、マッチング処理の方式を切り替えるものとしている。すなわち、物体の距離が近距離の場合、検出領域の画素数が多いので大幅に画素を間引いた間引き予測領域および間引きテンプレートでテンプレートマッチングを行うラフマッチング処理を行う。また、物体の距離が遠距離の場合、ラフマッチング処理と同様に間引き予測領域および間引きテンプレートでテンプレートマッチングを行って物体の大まかな位置を特定し、パーツテンプレートによるテンプレートマッチングを行うパーツマッチング処理を行う。これは、近距離の場合は、遠距離の場合と比べて、物体の姿勢変化が大きいため、パーツマッチング処理を適用した場合、作成したパーツテンプレートが本来追従すべき物体の部分でないところに作成されてしまう可能性がある。そのため、近距離の場合は、パーツマッチング処理ではなく、枠の補正処理により検出領域の検出精度を高めるラフマッチング処理を採用するものとしている。一方、遠距離の場合は、近距離の場合と比べて、検出領域の視差値が不安定であることが多く、そのため検出領域の境界も不安定になる可能性がある。そのため、遠距離の場合は、ラフマッチング処理ではなく、パーツテンプレートを利用したテンプレートマッチングによる補正処理により検出領域の検出精度を高めるパーツマッチング処理を採用するものとしている。このように、物体の距離に応じて好適または最適なマッチング方式を選択した結果、物体の検出の精度を向上させることができる。特に、近距離の場合、検出領域の画素数が多いので大幅に画素を間引いた後にテンプレートマッチングを行うのでマッチング処理の処理速度を向上させることができ、中距離の場合、パーツテンプレートによるテンプレートマッチングを行うので検出領域を精度よく求めることができる。
【０１９８】
また、マッチング処理におけるラフマッチング処理およびパーツマッチング処理のいずれにおいても、間引き処理を用いたテンプレートマッチングを行っているので処理速度を向上させることができる。また、間引き処理後のテンプレートマッチングによる検出領域の検出後、その検出領域に対して、補正処理部６１４による枠の補正処理、および、第３テンプレートマッチング部６１７のパーツテンプレートを用いたテンプレートマッチングによる補正処理によって精度よく検出領域を求めることができるので、トラッキングの精度を向上させることができる。
【０１９９】
なお、上述の実施の形態のトラッキング処理では、撮像された輝度画像上の物体の検出領域の平均輝度値に応じて、後段のマッチング処理で使用する画像（輝度画像または視差画像）を切り替える輝度判定処理を行うものとし、さらに、物体の距離に応じて、マッチング処理の方式を切り替えるものとしているがこれに限定されるものではない。例えば、物体の距離に関わらず、単一のマッチング方式の場合においても、輝度判定処理を行うことによって物体の検出の精度を向上させることは可能である。ただし、上述の２つマッチング処理の方式では、いずれも画像を間引き処理してテンプレートマッチングしているので、間引き処理後の１画素に対する重みは大きく、ノイズが含まれている場合、物体の検出の精度に影響が出る。しかし、上述の実施の形態のように、輝度判定処理によって、マッチング処理の対象となる画像を切り替えることにより、このような物体の検出の精度への影響を抑制することができる。
【０２００】
また、判定部６５２は、輝度画像である基準画像Ｉａについての輝度値の輝度差に基づいて、後段の移動予測部６００およびマッチング部６１０で処理を行う対象の画像として、輝度画像である基準画像Ｉａ、または視差画像Ｉｐのいずれかを選択するものとしているが、これに限定されるものではない。例えば、判定部６５２は、輝度画像（基準画像Ｉａ）および視差画像Ｉｐの他、例えば、基準画像Ｉａについて種々の画像処理を施した画素値が直接輝度を示すものではない画像等、輝度差に応じたその他の画像を選択するものとしてもよい。
【０２０１】
また、上述の実施の形態では、トラッキング処理の対象となる物体として車両を例にして説明したが、これに限定されるものではなく、車両と同様に形状変化が小さい物体に対するトラッキング処理についても有効である。
【０２０２】
また、上述の実施の形態では、コスト値Ｃは非類似度を表す評価値としているが、類似度を表す評価値であってもよい。この場合、類似度であるコスト値Ｃが最大（極値）となるシフト量ｄが視差値ｄｐとなる。
【０２０３】
また、上述の実施の形態では、車両７０としての自動車に搭載される物体認識装置１について説明したが、これに限定されるものではない。例えば、他の車両の一例としてバイク、自転車、車椅子または農業用の耕運機等の車両に搭載されるものとしてもよい。また、移動体の一例としての車両だけでなく、ロボット等の移動体であってもよい。
【０２０４】
また、上述の実施の形態において、物体認識装置１の視差値導出部３および認識処理部５の各機能部の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ＲＯＭ等に予め組み込まれて提供される。また、上述の実施の形態に係る物体認識装置１で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ  Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、上述の実施の形態の物体認識装置１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施の形態の物体認識装置１で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、上述の実施の形態の物体認識装置１で実行されるプログラムは、上述した各機能部のうち少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ５２（ＣＰＵ３２）が上述のＲＯＭ５３（ＲＯＭ３３）からプログラムを読み出して実行することにより、上述の各機能部が主記憶装置（ＲＡＭ５４（ＲＡＭ３４）等）上にロードされて生成されるようになっている。
【符号の説明】
【０２０５】
１  物体認識装置
２  本体部
３  視差値導出部
４  通信線
５  認識処理部
６  車両制御装置
７  ステアリングホイール
８  ブレーキペダル
１０ａ、１０ｂ  撮像部
１１ａ、１１ｂ  撮像レンズ
１２ａ、１２ｂ  絞り
１３ａ、１３ｂ  画像センサ
２０ａ、２０ｂ  信号変換部
２１ａ、２１ｂ  ＣＤＳ
２２ａ、２２ｂ  ＡＧＣ
２３ａ、２３ｂ  ＡＤＣ
２４ａ、２４ｂ  フレームメモリ
３０  画像処理部
３１  ＦＰＧＡ
３２  ＣＰＵ
３３  ＲＯＭ
３４  ＲＡＭ
３５  Ｉ／Ｆ
３９  バスライン
５１  ＦＰＧＡ
５２  ＣＰＵ
５３  ＲＯＭ
５４  ＲＡＭ
５５  Ｉ／Ｆ
５８  ＣＡＮＩ／Ｆ
５９  バスライン
６０  機器制御システム
７０  車両
１００ａ、１００ｂ  画像取得部
２００ａ、２００ｂ  変換部
３００  視差値演算処理部
３０１  コスト算出部
３０２  決定部
３０３  第１生成部
５００  第２生成部
５１０  クラスタリング処理部
５２０  トラッキング処理部
６００  移動予測部
６１０  マッチング部
６１１  判定部
６１２  第１間引き処理部
６１３  第１テンプレートマッチング部
６１４  補正処理部
６１５  第３間引き処理部
６１６  第２テンプレートマッチング部
６１７  第３テンプレートマッチング部
６２０  チェック部
６３０  特徴更新部
６３１  第２間引き処理部
６３２  第１更新部
６３３  第４間引き処理部
６３４  第２更新部
６３５  パーツテンプレート選択部
６３６  第３更新部
６４０  状態遷移部
６５０  輝度判定部
６５１  輝度差算出部
６５２  判定部
７００  路面
７００ａ  路面部
７０１  電柱
７０１ａ  電柱部
７０２  車
７０２ａ  車部
７１１  左ガードレール
７１１ａ、７１１ｂ  左ガードレール部
７１２  右ガードレール
７１２ａ、７１２ｂ  右ガードレール部
７１３  車
７１３ａ、７１３ｂ  車部
７１４  車
７１４ａ、７１４ｂ  車部
７２１〜７２４  検出領域
７２１ａ〜７２４ａ  検出枠
８００  予測領域
８０１、８０２  間引き予測領域
８１０  検出領域
８１１、８１２  間引きテンプレート
８２０、８２１  検出枠
８３０  検出領域
８４０、８４０ａ、８４１  仮枠
８５０、８５０ａ、８５１  仮枠内画像
８６０  検出領域
８７０、８７１  パーツテンプレート
８７０ａ、８７１ａ  パーツテンプレート
９００、９０１  ヒストグラム
Ｂ  基線長
Ｃ  コスト値
ｄ  シフト量
ｄｐ  視差値
Ｅ  物体
ＥＬ  エピポーラ線
ｆ  焦点距離
Ｉａ  基準画像
Ｉｂ  比較画像
Ｉｐ  視差画像
ｐ  基準画素
ｐｂ  基準領域
ｑ  候補画素
ｑｂ  候補領域
ＲＭ  リアルＵマップ
Ｓ、Ｓａ、Ｓｂ  点
Ｔｈ  閾値
ＵＭ  Ｕマップ
ＶＭ  Ｖマップ
Ｚ  距離
【先行技術文献】
【特許文献】
【０２０６】
【特許文献１】特開２０１２−１６４２７５号公報
【図１】
2017151535.tif 000004
【図２】
2017151535.tif 000005
【図３】
2017151535.tif 000006
【図４】
2017151535.tif 000007
【図５】
2017151535.tif 000008
【図６】
2017151535.tif 000009
【図７】
2017151535.tif 000010
【図８】
2017151535.tif 000011
【図９】
2017151535.tif 000012
【図１０】
2017151535.tif 000013
【図１１】
2017151535.tif 000014
【図１２】
2017151535.tif 000015
【図１３】
2017151535.tif 000016
【図１４】
2017151535.tif 000017
【図１５】
2017151535.tif 000018
【図１６】
2017151535.tif 000019
【図１７】
2017151535.tif 000020
【図１８】
2017151535.tif 000021
【図１９】
2017151535.tif 000022
【図２０】
2017151535.tif 000023
【図２１】
2017151535.tif 000024
【図２２】
2017151535.tif 000025
【図２３】
2017151535.tif 000026
【図２４】
2017151535.tif 000027
【図２５】
2017151535.tif 000028
【図２６】
2017151535.tif 000029
【図２７】
2017151535.tif 000030
【図２８】
2017151535.tif 000031
【図２９】
2017151535.tif 000032
【図３０】
2017151535.tif 000033
【図３１】
2017151535.tif 000034