(57)【要約】【課題】処理負荷を抑制ながら歩行者を精度よく認識可能な物体認識装置を提供すること。【解決手段】ステレオカメラ１１が撮影した一対の画像データから物体を認識する物体認識装置１００であって、一方の画像データと他方の画像データの視差を画素又は画素ブロック毎に算出する視差算出手段２１と、画像データにおいて視差が同程度の画素の候補領域を作成する候補領域作成手段２２と、認識対象の物体の形状と異なる前記候補領域を除外する候補領域除外手段２３と、物体の標準テンプレートを記憶した標準テンプレートデータベース２８と、視差に基づき算出された前記候補領域の物体までの距離により、前記候補領域のサイズを拡縮する領域拡縮手段２５と、前記領域拡縮手段が拡縮した前記候補領域に対し標準テンプレートを用いてパターンマッチング処理を行うことで前記候補領域から認識対象の物体を認識するパターンマッチング手段２７と、を有することを特徴とする。【選択図】図１
2013161241.tif 000002
【特許請求の範囲】
【請求項１】
ステレオカメラが撮影した一対の画像データから物体を認識する物体認識装置であって、
一方の画像データと他方の画像データの視差を画素又は画素ブロック毎に算出する視差算出手段と、
画像データにおいて視差が同程度の画素の候補領域を作成する候補領域作成手段と、
認識対象の物体の形状と異なる前記候補領域を除外する候補領域除外手段と、
物体の標準テンプレートを記憶した標準テンプレートデータベースと、
視差に基づき算出された前記候補領域の物体までの距離により、前記候補領域のサイズを拡縮する領域拡縮手段と、
前記領域拡縮手段が拡縮した前記候補領域に対し標準テンプレートを用いてパターンマッチング処理を行うことで前記候補領域から認識対象の物体を認識するパターンマッチング手段と、
を有することを特徴とする物体認識装置。
【請求項２】
前記領域拡縮手段が拡縮した前記候補領域の中心位置を決定する探索中心位置決定手段を有し、
前記パターンマッチング手段は、前記候補領域の中心位置と標準テンプレートの中心位置を一致させ、前記候補領域の中心位置に対し前記標準テンプレートを予め定められた探索範囲でパターンマッチングすることで前記候補領域の物体を認識する、
ことを特徴とする請求項１記載の物体認識装置。
【請求項３】
前記領域拡縮手段は、標準テンプレートのサイズとほぼ一致する前記候補領域の物体までの距離と、各候補領域の物体までの距離との比に基づき拡大率又は縮小率を決定し、拡大率に基づき前記候補領域を拡大し、縮小率に基づき前記候補領域を縮小する、
ことを特徴とする請求項１又は２記載の物体認識装置。
【請求項４】
標準テンプレートのサイズとほぼ一致する前記候補領域がない場合、
前記領域拡縮手段は、標準テンプレートのサイズと前記候補領域のサイズの比に基づき拡大率又は縮小率を決定し、拡大率に基づき前記候補領域を拡大し、縮小率に基づき前記候補領域を縮小する、
ことを特徴とする請求項３記載の物体認識装置。
【請求項５】
前記候補領域除外手段は、前記候補領域の実空間における高さ情報、又は、前記候補領域の外接矩形の縦横比に基づき前記候補領域を除外する、
ことを特徴とする請求項１〜４いずれか１項記載の物体認識装置。
【請求項６】
認識対象の物体は歩行者であり、
前記パターンマッチング手段は、歩行者の形状の標準テンプレートを用いて前記候補領域にパターンマッチング処理を行うことで前記候補領域から歩行者を認識する、
ことを特徴とする請求項１〜５いずれか１項記載の物体認識装置。
【請求項７】
ステレオカメラが撮影した一対の画像データから物体を認識する物体認識装置の物体認識方法であって、
視差算出手段が、一方の画像データと他方の画像データの視差を画素又は画素ブロック毎に算出するステップと、
候補領域作成手段が、画像データにおいて視差が同程度の画素の候補領域を作成するステップと、
候補領域除外手段が、認識対象の物体の形状と異なる前記候補領域を除外するステップと、
領域拡縮手段が、視差に基づき算出された前記候補領域の物体までの距離により、前記候補領域のサイズを拡縮するステップと、
パターンマッチング手段が、前記領域拡縮手段が拡縮した前記候補領域に対し、標準テンプレートデータベースに記憶された物体の標準テンプレートを用いてパターンマッチング処理を行うことで前記候補領域から認識対象の物体を認識するステップと、
を有することを特徴とする物体認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
発明は、ステレオカメラが撮影した一対の画像データから物体を認識する物体認識装置に関する。
【背景技術】
【０００２】
道路上の障害物を検出して運転者等に警告することで、自車両と障害物が異常接近することを未然に防止する技術が考えられている。従来から、車両には障害物を検出して自動的に車速を低減するなどの運転支援装置（例えば、プリクラッシュセーフティ装置）が搭載される場合がある。これに対し、道路上の障害物を歩行者と非歩行者とに区別して認識し（歩行者識別）、歩行者との異常接近に最適な支援を行うことが考えられている。対象物を認識する装置を物体認識装置と称し、物体認識装置は歩行者を非歩行者と識別する際に、カメラが撮影した画像データを使用することが一般的である。
【０００３】
歩行者を識別するために、物体認識装置はパターンマッチングを利用する。しかし、画像データから歩行者を精度よく識別するには、歩行者との距離に応じて異なるサイズの照合パターン（標準テンプレート）を複数個、準備しておく必要がある。また、各照合パターンを使用して、画像データ上をくまなく探索する必要があるため、処理負荷が増大するという課題がある。
【０００４】
また、画像データに木や電柱が撮影された場合、木や電柱の一部分に歩行者に似た形状が出現しやすく、これらを歩行者と誤って認識することがあるという課題がある。
【０００５】
ここで、画像データを生成するカメラとして、単眼カメラでなくステレオカメラを利用することが検討される。ステレオカメラでは、歩行者を含む障害物との距離情報が得られるので歩行者の認識率は向上する。しかし、距離情報を取得すると、単眼カメラで歩行者を検出する場合よりもさらに処理負荷が増大してしまう。そこで、処理負荷の増大を抑制して、ステレオカメラが撮影した画像データから歩行者を検出する技術が考えられている（例えば、特許文献１参照。）。
【０００６】
特許文献１には、距離情報を取得する画像データを間引いたり、単眼の画像データに新規の被写体が存在する場合に限定して距離情報を取得したりすることで、処理負荷を低減する物体追跡装置が開示されている。
【０００７】
また、ステレオカメラを用いた際に、歩行者に限られず障害物の認識率を向上する技術が考えられている（例えば、特許文献２参照。）。特許文献２には、相関演算により得られる相関度が低い場合に、障害物の探索領域の大きさを変更する画像認識装置が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−２３６６４２号公報
【特許文献２】特開２００３−３２２５２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１に開示された物体追跡装置では、処理負荷を低減できたとしても距離情報を取得する画像データが少なくなるので木や電柱などと歩行者を精度よく判別することは困難である。また、特許文献２に開示された画像認識装置では、障害物の探索領域の大きさを広く変更するので、かえって木や電柱などを歩行者と誤認識するおそれがある。
【００１０】
本発明は、上記課題に鑑み、処理負荷を抑制ながら歩行者を精度よく認識可能な物体認識装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、ステレオカメラが撮影した一対の画像データから物体を認識する物体認識装置であって、一方の画像データと他方の画像データの視差を画素又は画素ブロック毎に算出する視差算出手段と、画像データにおいて視差が同程度の画素の候補領域を作成する候補領域作成手段と、認識対象の物体の形状と異なる前記候補領域を除外する候補領域除外手段と、物体の標準テンプレートを記憶した標準テンプレートデータベースと、視差に基づき算出された前記候補領域の物体までの距離により、前記候補領域のサイズを拡縮する領域拡縮手段と、前記領域拡縮手段が拡縮した前記候補領域に対し標準テンプレートを用いてパターンマッチング処理を行うことで前記候補領域から認識対象の物体を認識するパターンマッチング手段と、を有することを特徴とする。
【発明の効果】
【００１２】
処理負荷を抑制ながら歩行者を精度よく認識可能な物体認識装置を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】物体認識装置が歩行者を認識する手順の概略的な特徴を説明する図の一例である。
【図２】物体認識装置の概略構成図の一例である。
【図３】画像処理部の機能ブロック図の一例である。
【図４】画像処理部の処理手順を説明するフローチャート図の一例である。
【図５】視差の算出を模式的に説明する図の一例である。
【図６】同一視差の対象物を説明する図の一例である。
【図７】標準テンプレートＤＢに記憶されている標準テンプレートを模式的に説明する図の一例である。
【図８】候補領域の拡大・縮小をそれぞれ模式的に説明する図の一例である。
【図９】パターンマッチング部によるパターンマッチングを模式的に説明する図の一例である。
【図１０】本実施形態の物体認識装置の効果を説明する図である。
【図１１】本実施形態の物体認識装置の効果を説明する別の図である。
【発明を実施するための形態】
【００１４】
以下、本発明を実施するための形態について図面を参照しながら説明する。
図１は、本実施形態の物体認識装置が歩行者を認識する手順の概略的な特徴を説明する図の一例である。
（１）ステレオカメラの２つのカメラがほぼ同時に像を撮影し、それぞれ画像データを出力する。この２つの画像データには、視差以外の差がないように２つのカメラのカメラパラメータが調整されている。
（２）物体認識装置は、２つの画像データに相関演算を施し画素毎に視差を算出する。そして、視差が同程度の画素が連続する領域を歩行者が含まれる候補領域（外接矩形）に決定する。図では４つの候補領域１〜４が検出されている。なお、この段階で歩行者（候補領域）との距離情報が得られる。
（３）物体認識装置は、候補領域の縦横比などから歩行者が含まれ得ない候補領域を歩行者の認識対象から除外する。図では標識を含む候補領域１が除外されている。
（４）物体認識装置は、画像データからパターンマッチングにより歩行者を認識するための標準テンプレートを有している。この標準テンプレートは、歩行者とのおよその距離（例えば標準距離Ｌ０）を想定して１つ以上のサイズのものが用意されている。物体認識装置は、候補領域のサイズと標準テンプレートのサイズを比較して標準距離Ｌ０を推定し、候補領域２〜４の距離Ｌと標準距離Ｌ０の比に基づき候補領域を拡縮する（図では拡大している）。
（５）物体認識装置は、拡大した候補領域に対し標準テンプレートを用いてパターンマッチングを行う。そして、パターンマッチングの際、候補領域と標準テンプレートの中心を一致させそこから所定の探索範囲でのみパターンマッチングを行う。これにより短時間で、候補領域に歩行者が含まれているか否かを精度よく判定する。
【００１５】
このような認識手順によれば、まず、（３）で候補領域を選別するので、パターンマッチングの対象となる候補領域の数を低減でき、処理負荷を抑制できる。また、（４）のように、距離情報に応じて候補領域を拡縮するので、マッチング処理する標準テンプレートのサイズと探索範囲を制限でき処理負荷を抑制できる。また、（５）で中心位置を一致させるので、候補領域に歩行者が含まれていればマッチング率が高くなり、候補領域に歩行者が含まれていなければマッチング率が低くなる傾向が期待できる。
【００１６】
したがって、処理負荷を抑制しながら、木や電柱の一部のような歩行者と誤認識しやすい形状を歩行者と誤認識することを大きく低減できる。
【００１７】
〔構成例〕
図２は、物体認識装置１００の概略構成図の一例を示す。物体認識装置１００は、ステレオカメラ１１、画像処理部１２、ディスプレイ１５、運転支援ＥＣＵ（Electronic  Control  Unit）１３及び各種の支援制御ＥＣＵ１４を有している。各ＥＣＵは後述する種々の機能を備えるが、どの機能がどのＥＣＵに存在するかは一例に過ぎず、各機能をどのＥＣＵが提供するかは制限されない。
【００１８】
図示する構成では、例えば、ステレオカメラ１１と画像処理部１２、画像処理部１２とディスプレイ１５はそれぞれ専用線により接続されている。画像処理部１２、運転支援ＥＣＵ１３、及び、支援制御ＥＣＵ１４はＣＡＮ（Controller  Area  Network）バスなどの車載ＬＡＮを介して互いに接続されている。
【００１９】
ステレオカメラ１１は、例えば、光軸を車両前方に向けてルームミラーに配置される。ステレオカメラ１１は所定間隔、離間して配置された右カメラ１１１と左カメラ１１２を有し、各カメラはＣＣＤ又はＣＭＯＳなどの光電変換素子である。右カメラ１１１と左カメラ１１２は輝度情報だけでなく色相情報と彩度情報が得られるカラーのカメラであってもよいが、本実施形態では輝度情報のみが得られるものとする。右カメラ１１１と左カメラ１１２はほぼ同時に像を撮影し、画像データを所定の周期（例えば３０〜６０ｆｐｓ）で画像処理部１２に出力する。
【００２０】
単体のカメラには、レンズ固有及び製造誤差などによるレンズ歪みがあることが知られているが、レンズ歪みは測距性能に影響を及ぼす。また、この他、カメラによって、焦点距離に誤差が含まれている場合、撮像素子側に歪みがある場合もある。これらの誤差要因は、各カメラが歪み校正用のチャート（市松模様状に正方形の白マスと黒マスが反転した格子チャート）を撮影することで抽出され、車載前にキャリブレーションされている。歪みの補正方法としては、ルックアップテーブルを用いる方法や、多項式による補正が知られている。ルックアップテーブルには、全画素に対応づけて、補正前の画素位置がどの画素位置に変換されるかが設定されている。また、多項式を用いる場合、画素位置を入力すると歪み量又は補正後の画素位置が算出されるようになっている。
【００２１】
また、右カメラ１１１と左カメラ１１２は互いの光軸が平衡になるように取り付けられるが、わずかな光軸ずれが生じることがあるため、光軸ずれがルックアップテーブル等によりを補正される場合もある。以上のような補正により、右カメラ１１１と左カメラ１１２の画像データは視差に相当する違いのみを有するようになる。なお、これらの補正処理は画像処理部１２で行ってもよい。
【００２２】
画像処理部１２は、右カメラ１１１と左カメラ１１２がそれぞれ撮影した画像データから歩行者を認識する。画像処理部１２は、歩行者に限られず、先行車両や対向車、及び、白線を検出することも可能だが、本実施形態では歩行者の認識について説明する。画像処理部１２は、認識した各歩行者の横位置、距離、及び、相対速度を算出し、運転支援ＥＣＵ１３に出力する。また、歩行者が外枠などで強調された画像データをディスプレイ１５に表示する。具体的な処理は後述する。
【００２３】
なお、画像処理部１２は、シャッタースピードやゲインを調整する処理を行いステレオカメラ１１に出力する。例えば、画像処理部１２は、撮像した画像データの明るさと目標の明るさとを比較して、適切なカメラ制御値を算出する。これにより、日中だけでなく夜間も撮影が可能である。
【００２４】
運転支援ＥＣＵ１３は、距離と相対速度に基づきＴＴＣ（Ｔｉｍｅ  Ｔｏ  Ｃｏｌｌｉｔｉｏｎ）を算出し、注意喚起すべき歩行者が存在すると運転者に注意喚起する。ＴＴＣは例えば以下のように算出される。
ＴＴＣ＝距離／相対速度
運転支援ＥＣＵ１３は、検出された歩行者毎に、例えば横位置が自車位置から近い又は重なっている歩行者を選択し、その歩行者の中で最もＴＴＣが小さい歩行者を特定する。そして、その歩行者のＴＴＣと横位置を支援制御ＥＣＵ１４に送信する。各種の運転支援ＥＣＵ１３はこのＴＴＣと横位置に基づき予め定められた運転支援を行う。
【００２５】
運転支援ＥＣＵ１３は、例えば、メータＥＣＵ１４１、ブレーキＥＣＵ１４２、及び、シートベルトＥＣＵ１４３である。メータＥＣＵ１４１は、横位置が予め定められた閾値内の歩行者のＴＴＣが所定値以下になると例えば、警報音を吹鳴したり音声メッセージを出力して運転者に警告する。また、メータパネルの警告インジケータを点灯したり、液晶表示部にその旨を警告する。
【００２６】
ブレーキＥＣＵ１４２は、ブレーキＡＣＴ（アクチュエータ）を制御して、運転者のブレーキペダル操作がなくても車両の制動力を各輪毎に制御する。ブレーキＡＣＴは、ホイルシリンダの制動油圧を生成するためのポンプとポンプモータを有している。ブレーキＥＣＵ１４２は、ブレーキＡＣＴの弁を制御することでポンプが生成した制動油圧をホイルシリンダに供給することで、各輪毎に独立に車輪を制動できる。
【００２７】
ブレーキＥＣＵ１４２は、例えば、歩行者の横位置が予め定められた閾値内であり、かつ、ＴＴＣが閾値以下の場合（衝突するおそれが高い場合）、車両を制動することで衝突を未然に回避する。また、減速度の立ち上げを早めるため事前準備として対象物に対し軽い制動を行ってもよい。また、警報音と警告表示で運転者に注意を促した後、運転者がブレーキ操作を行った場合、ブレーキペダルを完全に踏み込んでいなくても、加圧助勢する制動を行ってもよい。
【００２８】
シートベルトＥＣＵ１４３は、歩行者の横位置が予め定められた閾値内であり、ＴＴＣに基づき歩行者と衝突のおそれが生じると運転席等のウェビングを巻き上げることで、注意喚起する。また、ＴＴＣに基づき歩行者と衝突が不可避であると判定されるとさらにウェビングを巻き上げることで、急制動に備える。
【００２９】
〔画像処理部の機能〕
図３は、本実施形態の画像処理部１２の機能ブロック図の一例を、図４は画像処理部１２の処理手順を説明するフローチャート図の一例をそれぞれ示す。画像処理部１２は、マイコンやＡＳＩＣなどのハードウェアを有している。マイコンのＣＰＵがプログラムを実行しハードウェアと協働することで、視差画像作成部２１、候補領域作成部２２、不要領域除去部２３、距離算出部２４、画像拡縮部２５、探索中心位置設定部２６、及び、パターンマッチング部２７を実現する。これらの機能は、図４に示す手順にしたがって処理を行う。以下、図３，４に基づき説明する。
【００３０】
Ｓ１０：視差画像作成部２１は、右カメラ１１１が撮影した画像データと左カメラ１１２が撮影した画像データの視差を算出する。
図５は、視差の算出を模式的に説明する図の一例である。視差画像作成部２１は、２つの画像データの相関から、同一の対象物が撮影された画素に生じている視差を算出する。具体的には、左カメラ１１２の画像データを固定し、順次、着目する画素を選択する。そして、着目する画素を中心とする予め定められたサイズの画素ブロック（図のマス）毎に、右カメラ１１１の画像データにおいて対応する位置の画素ブロックを取り出し、最も相関するシフト量を決定する。視差画像作成部２１は、２つの画素ブロックの各画素の輝度の差（又は二乗和）を算出する。
【００３１】
この処理を、予め定められた最大シフト量（図のａ）を上限に、右カメラ１１１の画素ブロックを１画素ずつシフトしながら繰り返す。すなわち、右カメラ１１１の対応する位置の画素ブロックを、最大シフト量を上限にシフトさせて取り出し、２つの画素ブロックの各画素の輝度の差（又は二乗和）を算出する。これにより、上下・左右にシフトさせた位置毎に、２つの画素ブロックの各画素の輝度の差が得られる。
【００３２】
そして、視差画像作成部２１は、各画素の輝度の差の和（又は二乗和）が最も小さくなるシフト位置を、着目する画素のシフト量として求める。これを全画素について着目して行うことで、画素毎にシフト量が得られる。歩行者などの対象物は奥行きがあるため完全に同じ視差とはならないが、対象物が持っている奥行きの範囲で同程度の視差を示すので、同程度の視差の一連の画素にはある１つの対象物が撮影されていると推定できる。
【００３３】
Ｓ２０：候補領域作成部２２は、同一視差毎に候補領域を作成する。
図６（ａ）は同一視差の対象物を水平方向から説明する図の一例を、図６（ｂ）は同一視差の対象物を上面方向から説明する図の一例をそれぞれ示す。画像データに対象物１〜４が撮影されている。対象物は一般的な凹凸を備えているので、このような凹凸による視差の違いは同一と見なす。また、閾値内の視差が連続したひとかたまりの画素は連続した１つのものと見なすことで、奥行きの大きい対象物を１つの対象物として抽出することができる。例えば、歩行者であれば、歩行者の頭部、肩、胴体、脚部において生じる視差は許容される。候補領域作成部２２はこのようにして同一の視差と見なせる画素領域を1つのグループに区分し、二次元画像における画素領域の外接矩形から候補領域を作成する。図６（ｃ）に示すように、二次元の画像データ（左カメラ１１２又は右カメラ１１１のどちらでもよい）において、視差情報に基づき画素値がグループ化され候補領域が作成される。候補領域は必ずしも矩形領域である必要はない。
【００３４】
なお、画像データに路面が撮影される領域が存在するが、路面が撮影された場合に路面までの距離（すなわち視差）は、画素位置によって決まっている。対象物までの距離は路面までの距離よりも必ず短くなるので、画素位置によって予め定められている視差の上限と同程度の視差が得られる画素は路面であると判定して、グループ化の対象から排除される。
【００３５】
そして、候補領域作成部２２は二次元画像における矩形領域の位置を求める。例えば、画像データの左下の角を原点に取り、右方向をＸ軸、上下方向をＹ軸とする。そして、各候補領域の重心の座標を求める。重心は例えば以下のようにして求める。
（i）候補領域の縦方向毎に、実際に対象物が撮影されている画素の数をカウントし、左右の画素数が同じになる位置をＸ方向の重心とする。
（ii）候補領域の横方向毎に、実際に対象物が撮影されている画素の数をカウントし、上下の画素数が同じになる位置をＹ方向の重心とする。
（iii）X方向とY方向それぞれの重心の組を候補領域の重心とする。
このように、重心を求めておくことで、のちのパターンマッチングの処理負荷を低減することができる。
【００３６】
重心を求めることで処理負荷が増大してしまうような場合、候補領域の中心位置を求めてもよい。中心位置は候補領域の対角頂点を結んだ場合の交点である。図では候補領域の中心位置（ｘ１、ｙ１）〜（ｘ４、ｙ４）を示している。また、候補領域の横幅と縦長さをそれぞれＸ１〜Ｘ４、Ｙ１〜Ｙ４とした。
【００３７】
視差が分かれば、対象物１〜４までの距離Ｌ１〜Ｌ４を求めることができる。距離算出部２４は、三角測量の原理で対象物までの距離を算出する。視差（シフトした画素数）をｎ、レンズの焦点距離をｆ、右カメラ１１１と左カメラ１１２の距離をｍ、画素ピッチをｄとすると、撮像対象物までの距離Ｌは次式から算出される。
Ｌ＝（ｆ×ｍ）／（ｎ×ｄ）
図６（ａ）（ｂ）に示すように対象物１〜４までの距離はそれぞれＬ１〜Ｌ４となっている。また、距離が分かれば、レンズの焦点距離ｆ、及び、対象物の高さ方向の画素数から、対象物の実際の高さｈを算出することができる。
ｈ＝（距離Ｌ×対象物の高さ方向の画素数×画素ピッチ）／焦点距離ｆ
なお、距離算出部２４は、実空間における各対象物の位置情報を特定する。図示するように、自車両を原点として幅方向をＰ軸、前後方向をＱ軸とする座標系を作成し、各対象物の中心の座標を（ｐ１、ｑ１）〜（ｐ４、ｑ４）のように決定する。ｑ１〜ｑ４は、対象物の高さを求める場合と同様の方法で求めることができる。すなわち、画像データのＸ方向の中央位置から対象物までの画素数と焦点距離ｆから求めることができる。このｑ１〜ｑ４が対象物の横位置となる。
【００３８】
また、距離算出部２４は、次のサイクルで撮影された画像データから検出される対象物の位置（一部が重複している）に基づき同一の対象物を特定し、画像データ間の対象物の座標の変化を求めることで相対速度を算出する。
【００３９】
Ｓ３０：不要領域除去部２３は、候補領域から不要領域を除去する。この段階では、候補領域には、歩行者以外の像が多く撮影されている。このため、不要領域除去部２３はこれまで得られた情報から明らかに歩行者が含まれない候補領域を除去する。例えば、以下の候補領域を除去する。
高さｈ＞閾値
候補領域の縦横比（Ｙ／Ｘ）＞閾値  
候補領域の縦横比（Ｙ／Ｘ）＜閾値  
こうすることで、パターンマッチングの対象となる候補領域の数を低減できる。この段階で、例えば候補領域１は除外されると考えられる。候補領域３については、除外される場合もあるし、除外されない場合もある。この候補領域３のような木や電柱の一部の形状を最終的に歩行者から除外することが本実施形態の特徴となる。
【００４０】
Ｓ４０：次いで、画像拡縮部２５は、候補領域２〜４の距離Ｌ２〜Ｌ４に応じて、候補領域を拡大又は縮小する。拡大率又は縮小率は、標準テンプレートＤＢ２８に記憶されている標準テンプレートの標準距離と、候補領域２の距離Ｌ２〜Ｌ４との比に基づくものとする。
【００４１】
図７は、標準テンプレートＤＢ２８に記憶されている標準テンプレートを模式的に説明する図の一例である。図では４つの標準テンプレートＡ〜Ｄが示されている。標準テンプレートＡ〜Ｄは、候補領域２〜４からパターンマッチングにより歩行者を抽出するためのテンプレートである。このため、歩行者が、正立している、横向きに立っている、歩いている、などの状態、男性や女性の服装、子供からお年寄りまでの各種の年齢を想定して、様々な標準テンプレートが予め登録されている。
【００４２】
また、標準テンプレートは、画像データと画素毎にマッチングされるため、標準的な距離（標準距離Ｌ０）を想定して予めサイズが決まっている。なお、図ではサイズは一種類だが、複数のサイズの標準テンプレートを用意しておいてもよい。例えば、標準テンプレートＡの横方向の画素数はＸａピクセル（画素）、縦方向の画素数はＹａピクセルである。標準テンプレートと候補領域のサイズは同程度である方が、パターンマッチングによる検出率が向上しやすい。そこで、画像拡縮部２５は、標準テンプレートのサイズと候補領域２〜４のサイズから、標準テンプレートの基準距離Ｌ０を推定する。標準テンプレートＤＢ２８に標準距離Ｌ０が登録されている場合、それを使用すればよい。
【００４３】
例えば、候補領域２〜４のサイズ（Ｘ２，Ｙ２）（Ｘ３，Ｙ３）（Ｘ４，Ｙ４）と、標準テンプレートの（Ｘａ、Ｙａ）を比較して、サイズが最も近い候補領域を決定する。そして、この候補領域の距離Ｌを基準距離Ｌ０に決定する。例えば、候補領域２のサイズ（Ｘ２，Ｙ２）と（Ｘａ、Ｙａ）がほぼ一致した場合、基準距離Ｌ０＝Ｌ２となる。
【００４４】
候補領域２のサイズ（Ｘ２，Ｙ２）と標準テンプレートのサイズ（Ｘａ、Ｙａ）がほぼ一致しない場合、以下のように距離Ｌ２を補正して基準距離Ｌ０を決定する。
【００４５】
Ｌ０：Ｘａ＝Ｌ２：Ｘ２  Ｌ０＝（Ｘａ／Ｘ２）×Ｌ２
Ｌ０：Ｙａ＝Ｌ２：Ｙ２  Ｌ０＝（Ｙａ／Ｙ２）×Ｌ２
Ｘ方向又はＹ方向のいずれかから基準距離Ｌｏを求めてもよいし、Ｘ方向又はＹ方向から求めたＬ０の平均を基準距離Ｌ０としてもよい。
【００４６】
そして、画像拡縮部２５は、基準距離Ｌ０と候補領域２〜４の距離Ｌ２〜Ｌ４の比に応じて候補領域を拡縮する。すなわち、距離と拡大率又は縮小率は比例するので、例えば基準距離Ｌ０に対して距離Ｌ２〜Ｌ４が１／２の場合は、候補領域を１／２倍する（距離が近いのでその分、画像を小さくする）。こうすることで、距離に応じて候補領域を正規化でき、標準テンプレートのサイズと候補領域の歩行者の像のサイズを同程度にすることができる。また、認識対象の歩行者が標準テンプレートと同程度のサイズであることが明らかになるので、処理負荷を低減できる。
【００４７】
図８（ａ）は候補領域の拡大を、図８（ｂ）は候補領域の縮小をそれぞれ模式的に説明する図の一例である。候補領域を拡大又は縮小することで、標準テンプレートと同程度のサイズにすることができる。
【００４８】
画像データの拡大、縮小のアルゴリズムとしては、ニアレストネイバー法、バイリニア法、バイキュービック法等が知られており、処理負荷の増大が許容される範囲でパターンマッチングに必要な画質を維持可能なアルゴリズムを採用する。
【００４９】
なお、拡縮のために候補領域を画像データから取り出す際は、ステレオ視差の検出誤差を考慮して、作成した候補領域よりも少し大きめの領域を取り出すことが好ましい。
【００５０】
Ｓ５０：次に、探索中心位置設定部２６は、拡縮された候補領域の探索中心位置を設定する。探索中心位置設定部２６は、例えば、重心又は候補領域の中心とすればよい。重心とした場合は、ステップＳ２０で求められ拡縮によって移動した重心を用いることができる。
【００５１】
Ｓ６０：次に、パターンマッチング部２７は、標準テンプレートＤＢ２８に記憶された標準テンプレートＡ〜Ｄと順番にパターンマッチングを行う。
図９は、パターンマッチング部２７によるパターンマッチングを模式的に説明する図の一例である。
（i）パターンマッチング部２７は、候補領域の画素値を所定の閾値と比較して二値化する。
（ii）次に、パターンマッチング部２７は、標準テンプレートＡの中心を決定する。ここでは拡縮された候補領域と同様に標準テンプレートＡの外接矩形の中心を、標準テンプレートＡの中心とする。
（iii）拡縮された外接矩形の中心と標準テンプレートの中心を一致させる。
（iv）標準テンプレートの画素値が黒で、対応する候補領域の画素値が黒である場合、カウント値を１つカウントアップする。これを、標準テンプレートの全体で行う。
（v）カウント値が閾値を超えた場合、候補領域に歩行者が含まれていると判定する。
【００５２】
カウント値が閾値を超えない場合、標準テンプレートＡを候補領域に対して１画素分シフトする。そして、（iv）のカウントアップ処理を行い候補領域に歩行者が含まれている判定する。
【００５３】
標準テンプレートＡの中心位置を候補領域に対してシフトすることが可能な、左右方向及び上下方向のシフト量の上限は予め定められている。したがって、中心位置という最も一致の可能性が高い相対位置からパターンマッチングすることが可能であり、一致しない場合は決まったシフト量の範囲で打ち切ることができる。したがって、処理負荷を増大させずに高精度に歩行者を認識できる。
【００５４】
Ｓ７０：パターンマッチング部２７は候補領域のマッチング結果を出力する。マッチング結果は、パターンマッチングを行った候補領域に歩行者が含まれるか否かを示す情報である。
【００５５】
Ｓ８０：画像処理部１２は全ての候補領域のパターンマッチングが終わったか否かを判定する。パターンマッチングされていない候補領域がある場合（Ｓ８０のＮｏ）、処理はステップＳ４０に戻り、画像処理部１２は残っている候補領域に対し上記の処理を施す。
【００５６】
以上のように、本実施形態の物体認識装置１００は、ステレオカメラ１１で算出した距離に基づき候補領域のサイズが標準テンプレートと同程度になるように拡縮するので、パターンマッチングの探索範囲を限定することができる。したがって、画像データの全体にパターンマッチングを施す場合よりも処理負荷を低減できる。
【００５７】
また、拡縮した候補領域と標準テンプレートの中心位置を一致させることで、誤認識を低減できる。
【００５８】
〔実測結果〕
図１０は本実施形態の物体認識装置１００の効果を説明する図である。図１０（ａ）は従来の手法による歩行者の認識結果を、図１０（ｂ）は本実施形態の物体認識装置１００の歩行者の認識結果をそれぞれ示す。２つの画像データは同じものである。ここで、従来の手法は、単眼カメラを用い、候補領域の拡縮及び中心位置を一致させる処理を行わない手法である。
【００５９】
画像データの左側の遠方に歩行者が撮影されている。したがって、この歩行者のみが歩行者として検出されればよい。図１０（ａ）（ｂ）に示すように、この歩行者は従来技術でも本実施形態でも認識することが可能である。
【００６０】
しかし、図１０（ａ）では、画像データの右下の樹木の一部を歩行者と誤検知している。これに対し、図１０（ｂ）では右下の領域に歩行者と認識している領域はない。図１０（ｂ）の樹木の領域（図１０（ａ）で歩行者が誤検知された領域）には２つの候補領域が存在している。しかし、これらの中心位置は図１０（ａ）で歩行者が検出された領域よりも下にあり、この中心位置を基準にパターンマッチングを行ったため誤検知が回避できたと推定できる。
【００６１】
図１１は、本実施形態の物体認識装置１００の効果を説明する別の図である。図１１（ａ）は歩行者が１．５〔ｍ／sec〕で横断している場合の認識結果を、図１１（ｂ）は歩行者が２．０〔ｍ／sec〕で横断している場合の認識結果を、図１１（ｃ）は歩行者が１．５〔ｍ／sec〕で直進した後、横断に方向を変換した場合の認識結果を、それぞれ示している。
【００６２】
図１１において、正認識数は歩行者を歩行者として認識できた数を、誤認識数は歩行者でない形状を歩行者であると認識した数をそれぞれ意味する。歩行者を歩行者でないと認識することも誤認識であるが、本実施形態のロジックではほぼゼロとしてよい。
【００６３】
図１１（ａ）〜（ｃ）において、正認識数はわずかに従来手法の方が多いため、従来手法の方が優れているが、その差はわずかであり有意な差とまでは言えない。これに対し、誤認識数については、本実施形態の物体認識装置１００はほぼゼロである。また、従来手法と比べても、格段に少ないことが分かる。したがって、本実施形態の物体認識装置１００は歩行者の誤認識の低減に非常に効果的であるといえる。
【符号の説明】
【００６４】
１１    ステレオカメラ
１２    画像処理部
１３    運転支援ＥＣＵ
１４    支援制御用ＥＣＵ
２１    視差画像作成部
２２    候補領域作成部
２３    不要領域除去部
２４    距離算出部
２５    画像拡縮部
２６    探索中心位置設定部
２７    パターンマッチング部
２８    標準テンプレートＤＢ
１００  物体認識装置
【図１】
2013161241.tif 000003
【図２】
2013161241.tif 000004
【図３】
2013161241.tif 000005
【図４】
2013161241.tif 000006
【図５】
2013161241.tif 000007
【図６】
2013161241.tif 000008
【図７】
2013161241.tif 000009
【図８】
2013161241.tif 000010
【図９】
2013161241.tif 000011
【図１１】
2013161241.tif 000012
【図１０】
2013161241.tif 000013