(57)【要約】【課題】  被撮像領域を撮像して得られた画像中の物体が真に検出対象であるか否かをより精度よく判定する。【解決手段】  被撮像領域を撮像して得られたステレオ画像から、立体物と予想され、計算された識別値が所定値以上である候補領域を取得する。取得された候補領域と記憶部に記憶されている過去の候補領域の系列a0-a5,b0-b4とを照合し、照合結果に基づいて、これらが対応する場合には、候補領域を追加し(a0-a6,b0-b5)、対応する系列がない場合には、新たな系列(c0)となるように、記憶部を更新する。各系列a0-a6,b0-b4,c0についてそれぞれの識別値の平均を求め、求めた識別値の平均値と、遡る時刻が長いほど小さくなる複数の閾値と、を対応する時刻毎に比較することにより、候補領域の系列が検出対象であるか否かを判定する。【選択図】        図４
2005311691.tif 000002
【特許請求の範囲】
【請求項１】
被撮像領域を時系列に撮像して得られた画像を時系列に出力する撮像手段と、
前記撮像手段により時系列に出力された画像各々の中から、予め作成された検出対象のモデルに基づいて、該検出対象として識別される度合いを示す識別値が所定値以上の領域を取得する取得手段と、
前記時系列に出力された画像各々の中から前記取得手段により取得されかつ各々対応付けられた１個以上の領域である領域の系列を記憶する記憶手段と、
前記取得手段により今回取得された領域と、前記記憶手段に記憶された前記領域の系列と、が対応するか照合する照合手段と、
前記照合手段による照合の結果、前記今回取得された領域と前記領域の系列とが対応する場合には、前記今回取得された領域と前記領域の系列とが対応付けられ、前記今回取得された領域と前記領域の系列とが対応しない場合には、前記今回取得された領域を新たな系列として記憶するように、前記記憶手段を更新する更新手段と、
前記記憶手段に記憶されかつ前記更新された前記領域の系列において、異なる複数の所定時刻各々まで遡って算出した領域の識別値の複数の平均値と、遡る時刻が長いほど小さくなる複数の閾値と、を対応する時刻毎に比較することにより、前記領域の系列が検出対象であるか否かを判定する判定手段と、
を備えた物体検出装置。
【請求項２】
前記記憶手段は、前記領域の系列に対応して、前記判定手段による判定の情報を更に記憶し、
前記判定手段は、前記記憶手段に前記領域の系列に対応して記憶された判定の情報を更に考慮して、前記領域の系列が検出対象であるか否かを判定する、
ことを特徴とする請求項１記載の物体検出装置。
【請求項３】
前記判定手段は、前記異なる複数の所定時刻の内の今回に近い所定時刻においては、前記識別値の複数の平均値と、遡る時刻が長いほど小さくなる複数の閾値と、を対応する時刻毎に比較し、前記異なる複数の所定時刻の内の今回に遠い所定時刻においては、前記記憶手段に記憶された判定情報を更に考慮することを特徴とする請求項２記載の物体検出装置。
【請求項４】
前記判定情報は、前記判定手段による判定の結果、及び、前記領域の系列が検出対象と判定された回数の少なくとも１つである請求項２又は請求項３記載の物体検出装置。
【請求項５】
前記取得手段は、
前記撮像手段により時系列に出力された画像の中から、検出対象を含む可能性のある候補領域を抽出する抽出手段と、
前記抽出手段によって抽出された候補領域毎に、予め作成された検出対象のモデルに基づいて、前記検出対象として識別される度合いを示す識別値を算出する識別値算出手段と、
前記識別値算出手段より算出された識別値が所定値以上である候補領域を前記識別値が所定値以上の領域として選択する選択手段と、
を備えたことを特徴とする請求項１乃至請求項４の何れか１項に記載の記載の物体検出装置。
【請求項６】
被撮像領域を時系列に撮像して得られた画像を時系列に出力し、
前記時系列に出力された画像各々の中から、予め作成された検出対象のモデルに基づいて、該検出対象として識別される度合いを示す識別値が所定値以上の領域を取得し、
前記時系列に出力された画像各々の中から以前に取得されかつ各々対応付けられた１個以上の領域である領域の系列と、今回取得された領域と、が対応するか照合し、
前記照合の結果、前記今回取得された領域と前記領域の系列とが対応する場合には、前記今回取得された領域と前記領域の系列とを対応付け、前記今回取得された領域と前記領域の系列とが対応しない場合には、前記今回取得された領域を新たな系列として記憶し、
前記今回取得された領域が対応付けられた領域の系列において、異なる複数の所定時刻各々まで遡って算出した領域の識別値の複数の平均値と、遡る時刻が長いほど小さくなる複数の閾値と、を対応する時刻毎に比較することにより、前記領域の系列が検出対象であるか否かを判定する、
物体検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体検出装置及び方法にかかり、特に、被撮像領域を時系列に撮像して得られた画像を用いて、画像中に物体が真に検出対象であるか否かを判定して検出する物体検出装置及び方法に関する。
【背景技術】
【０００２】
交通弱者である歩行者の事故防止や被害軽減のために、歩行者情報提示システム、警報システム、自動ブレーキシステム等の自動車用安全システムの実現が期待されている。これらのシステムの実現には歩行者検出センサの開発が必要である。
【０００３】
画像による歩行者等の人物検出の従来技術は、侵入者や侵入物体の検出を行う監視・セキュリティー用途のものが多く、背景差分法や時間差分法及びそれらを組合せた手法が主として用いられている。
【０００４】
まず、背景差分法は、侵入物体のない背景画像を予め撮像して記憶し、その背景画像と監視時の撮像画像との差分により背景と異なる明るさの領域を侵入物体として検出するものである。次に、時間差分法は、所定時間間隔の２枚の撮像画像の差分により明るさの変化領域を移動物体即ち侵入物体として検出するものである。これらの手法は、固定カメラで撮像された静止した背景の画像を前提としており、車載カメラ等の動くカメラで撮像された画像への適用は難しい。
【０００５】
また、車載カメラ画像等に適用可能な歩行者検出手法についてもいくつかの研究例がある。それらの手法は主として以下に述べる３段階の処理で歩行者を検出する。
【０００６】
まず、第１段階では、比較的高速且つ簡単な処理により候補領域を抽出する。ここで、候補領域とは、歩行者が存在する可能性のある画像中の小領域であり、歩行者が存在しない小領域も含んでいる。
【０００７】
非特許文献１は、路上の立体物を候補領域として抽出する。ステレオカメラ画像より生成された視差画像の各点（視差点）を実空間に投影すると、立体物の周辺では視差点の空間密度が大きくなる性質を利用している。非特許文献２は、予め歩行者の輪郭形状のパターンを階層的にモデル化し、そのモデルとの一致度に基づいて候補領域を抽出する。非特許文献３は、遠赤外線画像中の歩行者領域は濃度値が相対的に大きくなる性質を利用して候補領域を抽出する。
【０００８】
次の第２段階では、第１段階で抽出した候補領域が歩行者であるか否かを識別器を用いて仮判定する。識別器の生成は機械学習によって行われるのが主流であり、非特許文献１及び非特許文献２ではニューラルネットワークが用いられ、非特許文献３ではサポートベクターマシンが用いられている。
【０００９】
なお、第１段階と第２段階で異なる基準により候補領域を絞り込むことで候補領域の抽出精度を向上できる。更に、比較的高速な第１段階の処理で候補領域数を限定することで全体の処理時間を削減できる。
【００１０】
そして、第３段階では、第２段階の仮判定結果を、時間的連続性を考慮して補正し、最終判定を行う。非特許文献２は、αβフィルタを用いて追跡し、所定連続回数追跡されたときに歩行者であると最終判定し、所定連続回数ロストしたときに歩行者でないと最終判定する。非特許文献３は、第１段階と第２段階の処理を５フレーム毎に行い、その間のフレームでは位置の予測のみを行う。位置予測では、カルマンフィルタによる予測位置をミーンシフトフィルタにより補正している。即ち、５フレーム毎に行う仮判定を正しいと仮定し、その判定を継続させたものを最終判定としている。
【００１１】
更に、動くカメラへの適用を前提としていないが、上記第３段階の処理のように過去のフレームを用いて検出対象であるか否かを最終判定する発明はいくつか提案されているが、以下、例として次の２つを説明する。
【００１２】
第１に、特許文献１は、抽出手段において撮像画像から所定の条件を満たす部分領域即ち候補領域を抽出し、対応付け手段により異なる撮像画像での部分領域を対応付け、１次元パターン変換手段において部分領域を基に複数の１次元パターンを生成し、２次元パターン変換手段において異なる撮像画像の複数の１次元パターンから２次元パターンを生成し、２次元パターンを辞書パターンと比較することにより抽出された部分領域が特定対象物であるか否かを判定する。
【００１３】
第２に、特許文献２は、第１の処理過程において背景差分法と動的２値化又はテンプレートマッチングによって移動物体即ち候補領域を抽出し、第２の処理過程において移動物体の特徴量を抽出し、第３の処理過程において抽出された特徴量の系列を移動物体と関連付けて記憶し、第４の処理過程において記憶された特徴量の系列から移動体が特定移動体であるか否かを判定する。判定の方法として、移動物体の軌跡が連続する時間が所定以上であるものを特定移動体とする方法と、移動体の位置変化のばらつきが所定範囲以内であるものを特定移動体とする方法が記載されている。
【非特許文献１】L.Zhao and C.E.Thorpe, "Stereo and Neural Network-Based Pedestrian Detection," IEEE Transactions on ITS, Vol. １ No.３, pp１４８-１５４, ２０００.
【非特許文献２】D.M.Gavrila and J.Giebel, "Shape-based Pedestrian Detection and Tracking," Proc. IEEE Intelligent Vehicles Symposium, ２００２.
【非特許文献３】F.Xu and K.Fujimura, "Pedestrian Detection and Tracking with Night Vision," Proc. IEEE Intelligent Vehicles Symposium, ２００２.
【特許文献１】特開平１０-０９１７９４号公報
【特許文献２】特開２００２-１５７５９９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
歩行者はその姿勢やポーズ、服装、荷物等により画像中での見え方が変化するので非常に多様なパターン（見え方）の集合である。また、この多様なパターンはカメラの動きや歩行者の動きによって時々刻々と変化する。従って、判定に用いられる評価値即ち識別値は時間的に変動し、フレーム内での識別値のみに基づいて最終判定すると誤判定し易い。
【００１５】
非特許文献３は１フレーム内の処理による仮判定結果を次フレーム以降で継続しているので、誤判定しやすいという問題がある。更に誤判定した場合に、誤検出が継続したり、未検出の物体が次に判定が行われるフレームまで検出されないという問題がある。
【００１６】
特許文献１の方法は時系列の特徴量と検出対象の時系列のモデルとを比較することにより判定を行う。固定カメラを用いる場合、比較的安定して候補領域を抽出できるので時系列の特徴量を正しく求められる。動くカメラを用いる場合、抽出される候補領域の一時的な欠落や位置ズレが生じやすいため、時系列の特徴量を正しく求められないという問題がある。また、歩行者のような多様な見え方の検出対象を時系列のパターンとして扱うとパターンの多様性が更に大きくなり識別精度が低下することもある。
【００１７】
非特許文献２、特許文献２の方法は、所定フレーム数連続して追跡した場合に特定対象物であると最終判定している。即ち、１フレーム内の処理による仮判定結果の連続性に基づいて最終判定を行うものである。上述したように見え方が時間変動する検出対象では、１フレーム内の仮判定を誤りやすい。仮判定の誤りが頻繁に生じると仮判定結果の連続性が成立しないため正しい最終判定ができない問題がある。また、検出対象であると最終判定されるまでに必ず所定時間要するために検出が遅れるという問題もある。
【００１８】
特許文献２では、位置変化のばらつきに基づいて判定する方法も提案されている。これはフレーム間の位置変化量を所定時間記憶し、そのばらつきが小さいときに特定対象物であると判定するものである。カメラと検出対象の相対運動が加速度的であるときや候補抽出位置にズレがある場合に正しく最終判定できないという問題がある。
【００１９】
本発明は、上記事実に鑑み成されたもので、被撮像領域を撮像して得られた画像中の物体が真に検出対象であるか否かをより精度よく判定可能な物体検出装置及び方法の提供を目的とする。
【課題を解決するための手段】
【００２０】
上記目的を達成するために請求項１に記載の発明の物体検出装置は、被撮像領域を時系列に撮像して得られた画像を時系列に出力する撮像手段と、前記撮像手段により時系列に出力された画像各々の中から、予め作成された検出対象のモデルに基づいて、該検出対象として識別される度合いを示す識別値が所定値以上の領域を取得する取得手段と、前記時系列に出力された画像各々の中から前記取得手段により取得されかつ各々対応付けられた１個以上の領域である領域の系列を記憶する記憶手段と、前記取得手段により今回取得された領域と、前記記憶手段に記憶された前記領域の系列と、が対応するか照合する照合手段と、前記照合手段による照合の結果、前記今回取得された領域と前記領域の系列とが対応する場合には、前記今回取得された領域と前記領域の系列とが対応付けられ、前記今回取得された領域と前記領域の系列とが対応しない場合には、前記今回取得された領域を新たな系列として記憶するように、前記記憶手段を更新する更新手段と、前記記憶手段に記憶されかつ前記更新された前記領域の系列において、異なる複数の所定時刻各々まで遡って算出した領域の識別値の複数の平均値と、遡る時刻が長いほど小さくなる複数の閾値と、を対応する時刻毎に比較することにより、前記領域の系列が検出対象であるか否かを判定する判定手段と、を備えている。
【００２１】
また、請求項６記載の発明の物体検出方法は、被撮像領域を時系列に撮像して得られた画像を時系列に出力し、前記時系列に出力された画像各々の中から、予め作成された検出対象のモデルに基づいて、該検出対象として識別される度合いを示す識別値が所定値以上の領域を取得し、前記時系列に出力された画像各々の中から以前に取得されかつ各々対応付けられた１個以上の領域である領域の系列と、今回取得された領域と、が対応するか照合し、前記照合の結果、前記今回取得された領域と前記領域の系列とが対応する場合には、前記今回取得された領域と前記領域の系列とを対応付け、前記今回取得された領域と前記領域の系列とが対応しない場合には、前記今回取得された領域を新たな系列として記憶し、前記今回取得された領域が対応付けられた領域の系列において、異なる複数の所定時刻各々まで遡って算出した領域の識別値の複数の平均値と、遡る時刻が長いほど小さくなる複数の閾値と、を対応する時刻毎に比較することにより、前記領域の系列が検出対象であるか否かを判定する。なお、本発明の作用及び効果は、上記請求項１記載の発明と同様であるので、以下、請求項１記載の発明の作用及び効果を説明し、請求項８記載の発明の作用及び効果の説明を省略する。
【００２２】
すなわち、請求項１記載の発明の撮像手段は、被撮像領域を時系列に撮像して得られた画像を時系列に出力する。なお、撮像手段として、例えば、ステレオカメラを用いることができる。
【００２３】
取得手段は、前記撮像手段により時系列に出力された画像各々の中から、予め作成された検出対象のモデルに基づいて、該検出対象として識別される度合いを示す識別値が所定値以上の領域を取得する。なお、識別値としては、例えば、機械学習により生成した識別器の２値化前の出力を用いることができる。
【００２４】
上記取得手段を、前記撮像手段により時系列に出力された画像の中から、検出対象を含む可能性のある候補領域を抽出する抽出手段と、前記抽出手段によって抽出された候補領域毎に、前記検出対象として識別される度合いを示す識別値を算出する識別値算出手段と、前記識別値算出手段より算出された識別値が所定値以上である候補領域を前記識別値が所定値以上の領域として選択する選択手段と、を備えて構成するようにしてもよい。
【００２５】
すなわち、抽出手段は、前記撮像手段により時系列に出力された画像の中から、検出対象を含む可能性のある候補領域を抽出する。例えば、上記例では、左右のステレオ画像の視差に基づいて距離画像を作成し、視差の得られた点（視差点）を実空間を表すマップ上に投影する。例えば、撮像手段を車両に載置し、被撮像領域として道路を撮像して得られた画像からこのマップを作成すると、路上の立体物の周辺で視差点の空間密度が大きくなるという性質がある。この性質により、マップ上で視差点の空間密度の大きい領域を抽出することにより、歩行者を含む道路上の立体物を検出対象の候補として抽出する。
【００２６】
識別値算出手段は、前記抽出手段によって抽出された候補領域毎に、予め作成された検出対象のモデルに基づいて、前記検出対象として識別される度合いを示す識別値を算出する。
【００２７】
なお、上記予め作成された検出対象のモデル、例えば、歩行者のモデルは、歩行者及びそれ以外の多数の画像サンプルを用いて機械学習により生成することできる。機械学習は次のように行う。まず、補間処理によりサンプル画像のサイズを規格化し、エッジ等の特徴量に変換する。この特徴量は歩行者とそれ以外の物体との差異をより明確に表すものが望ましく、検出対象や撮像画像の性質に基づいて最適な特徴量を選択することにより識別精度を向上できる。そして、サンプルを特徴量に変換した後は、ニューラルネットワークやサポートベクターマシン等公知の方法を用いて識別器、即ち、モデルを生成することができる。モデルの生成は事前に一度だけ行えばよい。
【００２８】
モデルを生成した後の識別値算出手段の処理手順を説明する。抽出手段で抽出された候補領域毎に、各候補領域をモデル生成時と同様に領域のサイズに規格化して特徴量に変換し、事前に生成した上記モデルを用いて処理する。これにより、検出対象として識別される度合いを示す識別値が得られる。機械学習を用いない簡易な方法であるテンプレートマッチングも、出力される相関値を識別値と見なすことができる。
【００２９】
そして、選択手段は、前記識別値算出手段より算出された識別値が所定値以上である候補領域を前記識別値が所定値以上の領域として選択する。ここで、所定値は、確実に歩行者でないと判断できる候補領域が棄却されるように定める。候補領域の数を削減することにより、後段の照合手段における誤対応を防止できる。更に、後段の判定手段における判定をより正確に行えるようになる。これは、候補領域の抽出位置のズレ等に起因して識別値が誤って一時的に小さくなった場合に、候補領域が棄却されることにより判定に反映されなくなるためである。撮像手段が動いた状態の場合、候補領域の位置ズレが生じやすく、更に、見え方の時間変化のために識別値を誤りやすい。したがって、この選択手段が特に有効に作用する。
【００３０】
上記のように、取得手段（抽出手段と識別値算出手段と選択手段）は、撮像手段により時系列に出力された画像各々を各々毎に処理するため、撮像手段が動く場合であっても静止した場合であっても、背景の動きに影響されることなく検出対象の候補を抽出してその識別値を出力することができる。非特許文献２、及び特許文献２の方法は、過去のフレーム（時刻）での処理結果を用いて最終判定を行うが、この処理結果とは検出対象の有無を表す２値の情報である。これに対して、本発明における後述する最終判定において用いられる情報は、検出対象と識別される度合いを示す識別度、すなわち、連続値の情報である。このため、本発明は従来技術よりも正確な最終判定を行うことができる。
【００３１】
以上のように、取得手段を、抽出手段、識別値算出手段、及び選択手段により構成する例を説明した。すなわち、撮像された画像中から候補領域を抽出し、モデルに基づいて、識別値を出力する処理を、抽出手段と識別値算出手段の２段階で実現する方法を説明した。しかし、２段階に明確に分かれない構成も可能である。例えば、画像中のすべての小領域を識別器へ入力し、出力された識別値が所定値以上である小領域を候補領域と見なすことができる。また、多段階の処理で逐次候補を限定していくことにより最終的な候補領域を抽出する構成も可能である。
【００３２】
上記記憶手段は、前記時系列に出力された画像各々の中から前記取得手段により取得されかつ各々対応付けられた１個以上の領域である領域の系列を記憶する。
【００３３】
照合手段は、前記取得手段により今回取得された領域と、前記記憶手段に記憶された前記領域の系列と、が対応するか照合し、更新手段は、前記照合手段による照合の結果、前記今回取得された領域と前記領域の系列とが対応する場合には、前記今回取得された領域と前記領域の系列とが対応付けられ、前記今回取得された領域と前記領域の系列とが対応しない場合には、前記今回取得された領域を新たな系列として記憶するように、前記記憶手段を更新する。
【００３４】
例えば、記憶手段に記憶された過去の領域の系列から今回の画像中での領域の出現位置又は出現位置の確率分布を予測し、予測した出現位置又はこの位置近くに今回取得された領域が存在するか否かを判断したり、出現確率が所定値以上となる位置を含む所定範囲に今回取得された領域が存在するか否かを判断したり、することにより、照合をし、照合の結果、領域が存在する場合に、その領域と記憶された領域の系列とを対応付ける。
【００３５】
なお、予測位置や予測位置の確率分布を求める方法としては、αβフィルタやカルマンフィルタ等の公知の方法がある。
【００３６】
他の対応付けの方法として、過去の領域の系列中の最新の領域をテンプレートとして記憶し、そのテンプレートとの相関値に基づいて対応付けを行う方法もある。更に、予測位置とテンプレートとの相関値を組み合わせて対応付けを行うこともできる。
【００３７】
ここで照合を行う領域の系列は、直前のフレームにおいて領域と対応付けられたものに限定されない。所定フレーム間対応付けられる領域が存在しない系列も含む。したがって候補領域が一時的に欠落する場合でも、対応付けられた前後のフレームでの識別値を用いて適切な判定が可能である。
【００３８】
更新手段は、前記照合手段による照合の結果、前記今回取得された領域と前記領域の系列とが対応する場合、領域に関する照合に必要な情報と識別値とをその系列に追加して記憶する。
【００３９】
ここで、照合に必要な情報とは、照合方法に応じて決められるものであり、前述した予測位置に基づく照合では位置情報であり、テンプレートとの相関に基づく方法では最新の候補領域から作成したテンプレートである。
【００４０】
なお、更新手段は、前記照合手段による照合の結果、前記今回取得された領域と前記領域の系列とが対応しない場合には、前記今回取得された領域を新たな系列として記憶するように、前記記憶手段の記憶内容を更新する。すなわち、照合手段により対応付けられる系列がない場合は、新たな系列を生成して、同様に照合に必要な情報と識別値を記憶する。
【００４１】
判定手段は、前記記憶手段に記憶されかつ前記更新された前記領域の系列において、異なる複数の所定時刻各々まで遡って算出した領域の識別値の複数の平均値と、遡る時刻が長いほど小さくなる複数の閾値と、を対応する時刻毎に比較することにより、前記領域の系列が検出対象であるか否かを判定する。
【００４２】
ここで、所定の複数時刻まで遡って算出した識別値の複数の平均値とは、例えば、過去３画像分の領域の識別値の平均値、過去４画像分の識別値の平均値、過去５画像分の領域の識別値の平均値を意味する。
【００４３】
上記のように判定すると、識別値の大きい対象は検出に要する画像数が少なくなり、識別値の小さいものは検出に要する画像数が多くなる。これにより、判定を誤りにくい対象、即ち、識別値が大きい対象は少ない画像数で即座に検出し、判定を誤りやすい対象、即ち、識別値が小さい対象は多数の画像に基づいて正確に判定される。
【００４４】
また、固定カメラにより物体検出を行う場合、背景差分法や時間差分法を適用できるので比較的安定して候補領域を検出可能である。一方、撮像手段が動く状態で撮像すると、背景と前景の区別が難しいため、抽出される領域の一時的な欠落や位置ズレが生じやすい。しかし、本発明では領域が一時的に欠落する場合でも、照合手段により欠落前後の領域が時系列で対応付けられているため、欠落しない領域の識別値を用いているので、正しく判定することができる。
【００４５】
このように、本発明は、領域の系列において、異なる複数の所定時刻各々まで遡って算出した領域の識別値の複数の平均値と、遡る時刻が長いほど小さくなる複数の閾値と、を対応する時刻毎に比較して、前記領域の系列が検出対象であるか否かを判定するので、識別値の平均値という連続的な情報を用いているため、判定精度を向上させることができる。なお、識別値を一時的に大きく誤るとその誤りが平均値に大きく影響することも考えられるが、本発明では、取得手段において識別値が所定値以上の領域のみを取得するので、大きな誤りを棄却することができ、この難点を除去している。
【００４６】
ところで、前記記憶手段は、前記領域の系列に対応して、前記判定手段による判定の情報を更に記憶し、前記判定手段は、前記記憶手段に前記領域の系列に対応して記憶された判定の情報を更に考慮して、前記領域の系列が検出対象であるか否かを判定するようにしてもよい。
【００４７】
この場合、判定手段は、前記異なる複数の所定時刻の内の今回に近い所定時刻においては、前記識別値の複数の平均値と、遡る時刻が長いほど小さくなる複数の閾値と、を対応する時刻毎に比較し、前記異なる複数の所定時刻の内の今回に遠い所定時刻においては、前記記憶手段に記憶された判定情報を更に考慮するようにしてもよい。
【００４８】
なお、上記判定の情報は、前記判定手段による判定の結果、及び、前記領域の系列が検出対象と判定された回数の少なくとも１つとしてもよい。
【００４９】
このように、前記領域の系列に対応して記憶された、判定手段による判定の情報を更に考慮するので、最終的な判定結果が頻繁に反転するのを防止できる。具体的には、一旦検出した検出対象を見失いにくくする効果がある。
【発明の効果】
【００５０】
以上説明したように本発明は、領域の系列において、異なる複数の所定時刻各々まで遡って算出した領域の識別値の複数の平均値と、遡る時刻が長いほど小さくなる複数の閾値と、を対応する時刻毎に比較して、前記領域の系列が検出対象であるか否かを判定するので、判定精度を向上させることができる、という効果がある。
【発明を実施するための最良の形態】
【００５１】
以下、図面を参照して、本発明の実施の形態を詳細に説明する。
【００５２】
図１に示すように、本実施の形態にかかる物体検出装置は、監視領域を時系列に撮像した画像を時系列で出力する撮像部101と、撮像部101に接続され、時系列で出力される画像をフレーム毎に処理して、検出対象の候補領域の位置と形状情報を出力する候補抽出部102と、予め機械学習等によって算出された検出対象のモデルを表すパラメータが記憶された識別器104と、撮像部101、候補抽出部102、及び識別器104に接続され、候補抽出部102で指定された候補領域毎に、識別器104に記憶されたパラメータを用いて識別値を出力する識別値算出部103と、を備えている。
【００５３】
また、本実施の形態にかかる物体検出装置は、候補抽出部102及び識別値算出部103に接続され、識別値が所定値以上である候補領域のみを選択し、その選択された候補領域の識別値と位置情報を出力する候補選択部105と、候補選択部105により出力された現フレームの候補領域と記憶部107に記憶された過去のフレームの候補領域の系列とを照合し、それらの対応を求め、現フレームの候補領域が過去の候補領域の系列と対応する場合、その系列に現フレームの候補領域の情報を加え、現フレームの候補領域が過去の候補領域の系列と対応しない場合、新たな系列を生成して現フレームの候補領域の情報を記憶するように記憶部107を制御する照合部106と、記憶部107に記憶された候補領域の系列を参照して系列毎に識別値の平均値を算出する演算部108と、演算部108で算出された識別値の平均値に基づいて、候補領域の系列毎に歩行者であるか否かを判定する判定部109と、を備えている。
【００５４】
次に、本実施の形態にかかる物体検出方法を、図２等を用いて説明する。
【００５５】
画像入力のステップ201では、ステレオ画像が入力される。候補抽出のステップ202では、ステレオ画像から距離画像を生成し、立体物を候補領域として抽出する。図３(a)は抽出された候補領域を点線の矩形で示している。この例では、歩行者300以外に車両302、標識304、ガードレール306、建物308が立体物として抽出されている。
【００５６】
識別値算出のステップ203では、候補領域毎に識別値即ち検出対象との類似度を出力する。候補選択のステップ204では、識別値が所定値以上である候補領域のみを選択する。図３(b)は、候補領域毎に算出された識別値を示しており、識別値が‐0.5以上である候補領域を選択している。選択された候補領域は、実線の矩形で示されたＡ，Ｂ，Ｃである。
【００５７】
照合のステップ205では、選択された候補領域と記憶されている過去の候補領域の系列とを照合して対応付けを行う。図４(a)は記憶された系列の位置（カメラとの相対位置）を実空間上に示したものであり、a0〜a5、b0〜b4の２つの系列が記憶されている。同図中の楕円は、２つの系列から予測した現フレームでの出現位置の範囲を示している。この例では、現フレームで抽出された候補領域Ａと候補領域Ｂはそれぞれ系列ai、bi（iは整数）と対応付けられ、候補Ｃは対応する系列が存在しない。
【００５８】
系列の更新のステップ206では、照合結果に基づいて記憶された系列を更新する。図４(b)は更新された系列を示している。現フレームで対応する候補が存在する系列ai、biはインデックスiを１増加させ、Ａ，Ｂを最新の候補a0、b0として追加する。対応する系列が存在しない候補Ｃは、新たな系列c0を生成する。
【００５９】
判定のステップ207では、系列ai、bi、ciについてそれぞれの識別値の平均を求め、後述する判定基準に基づいて歩行者であるか否かの判定を行う。図３(c)は、候補Ｂが歩行者であると判定されたことを示している。
【００６０】
次に各ステップ201〜207を更に詳細に説明する。
【００６１】
まず、ステップ201（撮像部101の動作）を説明する。撮像部101は、同じ被撮影領域を撮像する一対のカメラ（ステレオカメラ）で構成され、各々のカメラでは、同じ被撮像領域を所定間隔離れた位置から時系列に撮像し、得られた画像を時系列に出力する。
【００６２】
ステップ202（候補抽出部102の動作）では、候補領域を抽出する。具体的には、図８に示すように、ステップ150で、距離画像を生成する。すなわち、入力された2枚のステレオ画像の画素毎の対応付けを行い、対応する画素間のズレ量（視差）に基づいて距離画像を生成する。
【００６３】
２枚のステレオ画像で対応が取れた画素即ち対象までの距離が得られた画素を視差点と呼ぶが、ステップ１５２では、この視差点を実空間を表すマップ上に投影する。車載ステレオカメラにより道路シーンを撮像し、図５(a)のような画像が得られたとする。図５(b)は、この画像から作成した距離画像の視差点を投影した実空間のマップである。図５(b)に示したように、歩行者300、車両302、ガードレール304、標識306等の路上の立体物の周辺では視差点の空間密度が大きくなる。したがって、候補抽出部102は、ステップ154で、マップ上の視差点の空間密度が大きい領域を抽出することにより、路上の立体物を歩行者の候補として抽出し、ステップ１５６で、その位置と形状の情報を出力する。位置の情報とは画像上での位置と実空間上での位置であり、前者は識別値算出部での画像内位置の特定に用いられ、後者は照合部106での対応付けに用いられる。形状の情報は画像内での形状と大きさの情報であり、歩行者の検出では候補領域の形状を所定縦横比の矩形と限定できるので、出力される形状情報はスケールファクターのみである。
【００６４】
本実施の形態では、ステレオ画像から立体物を抽出する候補抽出方法を用いたが他の方法を用いることもできる。例えば、動画像撮像手段として遠赤外線カメラを用いることもできる。遠赤外カメラによる撮像画像では高温の物体の濃度値が大きくなるという性質があるため、候補抽出手段では単純な２値化や動的2値化法などにより歩行者を含む高温物体を候補として抽出することができる。また、候補抽出手段として、ミリ波レーダやレーザレーダ等の他のセンサを用いることも可能である。
【００６５】
次に、ステップ203（識別値算出部103の動作）を説明する。
【００６６】
本実施の形態では、検出対象としての人のモデルを機械学習により予め生成して識別器104に記憶し、識別値算出部103は、これを用いて識別値を算出する。図６は、機械学習により人のモデルを生成する過程を示した概念図である。図６に示すように、歩行者と非歩行者のサンプルを多数用意し、これらの画素サイズが識別に適したサイズとなるように正規化する。
【００６７】
歩行者を検出対象として識別する場合における横方向のサイズは10〜40画素であり、縦方向サイズは横方向サイズの２，３倍程度である。サイズを正規化されたサンプルは、特徴量に変換される。特徴量としては、例えば画像の濃度値やエッジ等を用いることができる。図６に示した特徴量は、上下方向、左右方向、斜め2方向の４つの方向のエッジである。更にこのエッジを低解像度化して画素数を削減したものは４方向面特徴と呼ばれる特徴量として知られている。特徴量は多次元ベクトルとして表すと、１つのサンプルは多次元空間即ち特徴量空間の中の１つの点である。図６では、多次元の特徴量空間を2次元で模式的に示しており、歩行者のサンプルを●印、非歩行者のサンプルを＋印で示している。機械学習は、多数のサンプルの分布を学習することにより、特徴量空間内での歩行者と非歩行者の分布の境界を求めることに等しい。機械学習の方法の１つであるサポートベクターマシンでは、多数のサンプルから境界付近のサンプルが自動的に抽出される。この抽出されたサンプルの特徴量ベクトルはサポートベクトルと呼ばれ、識別境界はこのサポートベクトルによって表される。識別器104には、サポートベクトルとその乗数が記憶されており、これが学習により生成された検出対象（歩行者）のモデルである。
【００６８】
図９は本ステップ203の処理フローチャートである。識別値算出部103は、図９のステップ160で、候補抽出部102で抽出された画像中の候補領域において、モデルの生成と同様にサイズを正規化し、ステップ162で、特徴量ベクトルｘを算出する。
【００６９】
【数１】
2005311691.tif 000003
【００７０】
ここで、Ｍは特徴量ベクトルの次元数である。
【００７１】
ステップ164で、識別値ｆを算出する。すなわち、識別器104に記憶されているサポートベクトルを、その乗数をとする。ここで、Nはサポートベクトルの数である。識別値ｆは次式により得られる。
【００７２】
【数２】
2005311691.tif 000004
【００７３】
ここで、tiはサンプルのラベルであり、サポートベクターsiが歩行者サンプルであればti=1であり、siが非歩行者のサンプルであればti=−1である。また、hは定数である。K( )はカーネル関数であり、ガウスカーネルの場合は次式で定義される。
【００７４】
【数３】
2005311691.tif 000005
【００７５】
なお、ガウスカーネル以外にも、シグモイドカーネルや多項式カーネルをカーネル関数として用いることができる。
【００７６】
そして、ステップ166で、識別値ｆを出力する。
【００７７】
識別値算出部103は、候補抽出部102で特定された位置の周辺の複数の位置及び特定されたスケールに近い複数のスケールで識別値を算出し、算出された複数の識別値の最大値や平均値をその候補領域の識別値として出力することもできる。これにより、候補抽出部102で特定される候補領域の位置やスケールの精度が低い場合でも、識別値を正しく求めることができる。
【００７８】
次に、ステップ204（候補選択部105の動作）では、識別値が所定値以上である候補領域のみを選択し、識別値及び照合部106で必要な情報を出力する。ここで所定値は、確実に歩行者でないと判断できる候補領域のみ棄却できるように定められ、真に歩行者である候補を棄却することなく候補領域の数を削減できる。この候補選択により次の2つの効果が得られる。第1に、候補領域の数が削減されると後段の照合手段における誤対応を防止することができる。第2に、誤って算出された識別値が後段の判定に用いられる平均値に反映されなくなるため、より正確な判定が可能になる。識別値が謝って算出される原因としては、候補領域が真に歩行者であってもその位置がズレて抽出されることや、識別器の学習が適切でないこと等が挙げられる。候補選択部105の代わりに、図７に示すような特性の変換関数により識別値を変換する手段を設けることにより、上記第２の効果を得ることができる。これは、識別値の下限値をFminにクリップすることにより、一時的に誤って小さくなった識別値の影響を小さくできるためである。
【００７９】
次に、ステップ205（照合部106の動作）について説明する。
【００８０】
記憶部107には、過去に抽出された候補領域の系列毎に、照合に必要な情報及び判定に必要な情報が記憶されている。以下は、１つの系列の記憶内容の一例である。
（１）  F0、F1、…Fn
（２）  J0、J1、…Jn
（３）  Ｘ，Ｙ，Ｚ
（４）  L 
（５）  内部パラメータ
ここで、上記（１）Fi(i=0,..,n)はiフレーム前の識別値であり、対応する候補領域がない場合は識別値がないことを示す値0が記憶されている。
【００８１】
（２）Ji(i=0,..,n)は、iフレーム前の判定結果であり、歩行者と判定された場合は１であり、非歩行者と判定された場合は0と記憶される。
【００８２】
（３）Ｘ，Ｙ，Ｚは、系列の直前の位置ベクトルである。
【００８３】
（４）Lはロストした回数である。
【００８４】
（５）は照合に必要な内部パラメータであり、後述するカルマンフィルタを用いる場合は、速度ベクトル(Vx,Vy,Vz)等の内部状態変数やその共分散行列等のパラメータである。
【００８５】
そして、本ステップ205では、照合部106は、記憶部107に記憶された系列と候補選択部105から出力された候補領域とを照合して対応付けを行い、その対応付けの結果に基づいて記憶部107の記憶内容を更新する。
【００８６】
まず、照合部106は、候補選択部105で出力された候補領域と、記憶部107に記憶されている系列のすべての組み合わせについてその対応度C(i,j) (i=1,…,Nc; j=1,…,Ns)を算出する。
【００８７】
ここで、iは候補領域の番号であり、Ncはその数である。ｊは系列の番号であり、Nsはその数である。
【００８８】
上記の対応度を求めた後に、図10に示したフローチャートに基づいて対応付けを行う。
【００８９】
図１０のステップ801では、変数の初期化を行う。Rc(i) (i=1,..,Nc)はi番目の候補領域が対応する系列の番号を格納する変数であり、すべてのiについてRc(i)=0と初期化する。Rc(i)=0はi番目の候補領域に対応する系列が存在しないことを示す。Rs(j) (j=1,..,Ns)はj番目の系列が対応する候補領域の番号を格納する変数であり、すべてのjについてRs(j)=0と初期化する。Rs(j)=0はj番目の系列に対応する候補領域が存在しないことを示す。Mc(i) (i=1,..,Nc)はi番目の候補領域に対して対応度が最大となる系列との対応度を格納する変数であり、すべてのiについてMc(i)=Tと初期化する。Tは候補領域と系列とが対応するための対応度の閾値である。ステップ802で、変数ｉを１に初期化する。
【００９０】
ステップ803、804、805、806、807のループにおいて、i番目の候補領域に対して最大の対応度Mc(i)をもつ系列の番号Rc(i)が決定される。すなわち、ステップ803で、変数ｊを１に初期化し、ステップ804で、i番目の候補領域とj番目の系列との対応度C(i,j) が、Mc(i) より大きいか否かを判断することにより、閾値Ｔ以上且つj番目より前の系列との対応度より大きいか否かを判断する。
【００９１】
C(i,j) がMc(i) より大きくないと判断された場合には、ステップ806に進む。C(i,j) がMc(i) より大きいと判断された場合には、ステップ805で、Rc(i)をjにセットする、すなわち、i番目の候補領域に対応する系列として、j番目の系列を示すｊを記憶する。これにより、i番目の候補領域に対応する系列が、Rc(i)に記憶されているｊにより識別される系列であることを把握することができる。
【００９２】
また、本ステップ805で、Mc(i)に、i番目の候補領域とj番目の系列との対応度C(i,j)を記憶する。これにより、i番目の候補領域と該i番目の候補領域に対応する系列との対応度がMc(i)に記憶されているC(i,j)により把握される。
【００９３】
ステップ806で、変数jを１インクリメントし、ステップ807で、変数ｊが、系列の総数Ｎｓより大きいか否かを判断することにより、i番目の候補領域と最も対応する系列がどれであるか全ての系列について判断されたか否かを判断することができる。
【００９４】
変数ｊが、系列の総数Ｎｓより大きいと判断されなかった場合には、i番目の候補領域と最も対応する系列がどれであるか全ての系列について判断されていないので、ステップ804に戻って以上の処理（ステッ804〜807）を実行する。なお、ステップ801においてMc(i)=Tと初期化されているので、Ｔより大きい対応度C(i,j) (j=1,…,Ns)が存在しない場合は初期値Rc(i)=0は更新されず、即ち対応する系列はないと判断される。
【００９５】
一方、変数ｊが、系列の総数Ｎｓより大きいと判断された場合には、i番目の候補領域と最も対応する系列がどれであるか全ての系列について判断された、すなわち、i番目の候補領域に対して最大の対応度Mc(i)をもつ系列の番号Rc(i)が決定されたので、ステップ808に進む。
【００９６】
ステップ808で、Rc(i)が0より大きいか否かを判断する。Rc(i)が0より大きくない、すなわち、０である場合は、i番目の候補領域に対応する系列が存在しないので、i番目の候補領域に対する処理を終了してステップ814へ進む。
【００９７】
Rc(i)が0より大きい場合には、i番目の候補領域に対応する系列が存在するので、ステップ809で、Rc(i)番目の系列が既に他の候補領域と対応付けられているか否かを判定し、対応付けられていない場合はステップ810においてRc(i)番目の系列がi番目の候補領域と対応付けられるように変数を設定する。
【００９８】
また、ステップ809においてRc(i)番目の系列が既にRs(Rc(i))番目の候補領域と対応付けられていると判定された場合は、ステップ811において対応度の比較を行う。既に対応付けられたRs(Rc(i))番目の候補領域よりもi番目の候補領域の方が、Rc(i)番目の系列に対する対応度が大きい場合は、ステップ812においてRs(Rc(i))番目の候補領域と対応する系列が存在しないように変数を設定する。また、既に対応付けられたRs(Rc(i))番目の候補領域よりもi番目の候補領域の方が、Rc(i)番目の系列に対する対応度が小さい場合は、ステップ813においてi番目の候補領域と対応する系列が存在しないように変数を設定する。
【００９９】
ステップ814で、変数iを１インクリメントし、ステップ815で、変数iが候補領域の総数Ｎｃより大きいか否かを判断することにより、すべての候補領域に対する対応付けをしたか否か判断する。
【０１００】
変数iが候補領域の総数Ｎｃより大きいと判断されなかった場合には、未だ対応付けしていない候補領域があるので、ステップ803に戻って、以上の処理（ステップ803〜ステップ815）を実行する。変数iが候補領域の総数Ｎｃより大きいと判断された場合には、すべての候補領域に対する対応付けを完了したので、本処理を終了する。
【０１０１】
ところで、対応度の算出及び記憶部107に記憶された情報の更新は、例えばカルマンフィルターを用いて行うことができる。カルマンフィルターを用いる場合に記憶部107に記憶される情報は、前フレームでの位置ベクトル及び前フレームでの状態を表す内部パラメータである。内部パラメータとは、位置ベクトルや内部変数ベクトルの共分散行列やシステムノイズ等である。カルマンフィルターはこれらの前フレームの状態から現フレームでの位置ベクトルと状態を予測することができる。現フレームの状態として位置ベクトルの共分散行列が予測されるので、系列と候補領域との対応度は、例えば予測した位置ベクトルと候補領域の位置ベクトルとのマハラノビス距離として求めることができる。但し、マハラノビス距離は離間度を表すので、対応度はその逆数や負の符号を付けたものである。
【０１０２】
記憶部107に記憶された情報の更新は図１１に示すように、以下のように行う。ステップ902で、系列を識別する変数ｋを０に初期化し、ステップ904で、変数ｋを１インクリメントする。ステップ906で、変数ｋにより識別される系列ｋに対応する候補領域が存在しないか否か判断し、変数ｋにより識別される系列ｋに対応する候補領域が存在しない場合には、ステップ908で、系列ｋに対応するロスト回数を１増加させ、ステップ910で、ロスト回数が所定値以上か否を判断する。ロスト回数が所定値以上であれば、ステップ912で、系列ｋを消去する。ロスト回数が所定値未満であれば、ステップ914で、対応度算出時に予測した位置ベクトルと状態に記憶内容を更新する。
【０１０３】
ステップ906で、対応する候補領域が存在すると判断された場合には、ステップ916で、その対応する候補領域の位置ベクトルと記憶された前フレームでの位置ベクトル及び状態を用いて現フレームでの位置ベクトルと状態を推定し、ステップ918で、この推定された値に記憶内容を更新する。
【０１０４】
系列が消去される場合以外（ステップ914、918）では、識別値Fi(i=0,..,n)と判定結果Ji(i=0,..,n)の更新も行う。但し、現フレームの判定結果であるJ0は後段で判定された後に更新される。
【０１０５】
ステップ920で、変数ｋが、系列の総数Ｎｋ以上か否かを判断し、変数ｋが、系列の総数Ｎｋ以上でない場合には、ステップ904に戻って、以上の処理（ステップ904〜920）を実行し、変数ｋが、系列の総数Ｎｋ以上の場合には、ステップ922で、対応付けられる系列が存在しない候補領域があるか否かを判断し、ある場合に、ステップ924で、新規に系列を生成する。このとき、Fi(i=0,..,n)はすべて0に、Ji(i=0,..,n)はすべて0に、ロスト回数はゼロに初期化する。また、位置ベクトルは候補領域の位置ベクトルを記憶し、内部状態は適切な初期状態に定める。
【０１０６】
次に、ステップ207（演算部108と判定部109の動作）を詳細に説明する。演算部108は記憶部107に記憶された情報を参照して、歩行者か否かを判定するのに必要な評価値を算出する。判定部109は、演算部108で算出された評価値に基づいて判定を行いその結果を出力する。演算部108で算出する評価値を以下に示す。
【０１０７】
【数４】
2005311691.tif 000006
【０１０８】
Siはiフレーム前までの識別値の加重平均であり、NJはnフレーム前から1フレームまでの間に歩行者であると判定された回数である。加重平均の重みは次式のように定義でできる。
【０１０９】
【数５】
2005311691.tif 000007
【０１１０】
対応する候補領域が存在しないフレーム（Ｆi＝０）では、識別値と加重は共に0であるので、平均値には反映されない。また、次式のように重みを定義することもできる。
【０１１１】
【数６】
2005311691.tif 000008
【０１１２】
ここで、ｒ＞１である。
【０１１３】
この定義では、現フレームに近い識別値をより大きく平均値即ち評価値に反映させることができる。
【０１１４】
判定部109ではこれらの評価値を用いて、所定の判定条件に基づき判定を行う。n=6であるときの判定条件の例をいくつか示す。
【０１１５】
第１の例
n=6までの異なる複数の時刻各々まで遡って算出した候補領域の識別値の複数の平均値（評価値）S0〜Ｓ6と、遡る時刻が長いほど小さくなる複数の閾値Ｔ0〜Ｔ6と、を対応する時刻毎に比較する。
(1) S0 > T0
(2) S1 > T1
(3) S2 > T2
(4) S3 > T3
(5) S4 > T4
(6) S5 > T5
(7) S6 > T6
但し、Ti > Ti+1 (i=0,...,n-1)（遡る時刻が長いほど小さくなる）
条件(1)から(7)の1つ以上を満たした場合に歩行者であると判定する。
【０１１６】
第２の例
n=6までの異なる複数の時刻各々まで遡って算出した候補領域の識別値の複数の平均値（評価値）S0〜Ｓ6と、遡る時刻が長いほど小さくなる複数の閾値Ｔ0〜Ｔ6及び判定の情報（判定結果(J1+1)）により定まる値と、を対応する時刻毎に比較する。
(1) S0 > T0 / (J1+1)
(2) S1 > T1 / (J1+1)
(3) S2 > T2 / (J1+1)
(4) S3 > T3 / (J1+1)
(5) S4 > T4 / (J1+1)
(6) S5 > T5 / (J1+1)
(7) S6 > T6 / (J1+1)
但し、Ti > Ti+1 (i=0,...,n-1) （遡る時刻が長いほど小さくなる）
条件(1)から(7)の1つ以上を満たした場合に歩行者であると判定する
第３の例
n=6までの異なる複数の時刻各々まで遡って算出した候補領域の識別値の複数の平均値（評価値）S0〜Ｓ6と、遡る時刻が長いほど小さくなる複数の閾値Ｔ0〜Ｔ6及び判定の情報（歩行者であると判定された回数(NJ+6)）により定まる値と、を対応する時刻毎に比較する。
(1) S0 > T0 ×6 / (NJ+6)
(2) S1 > T1 ×6 / (NJ+6)
(3) S2 > T2 ×6 / (NJ+6)
(4) S3 > T3 ×6 / (NJ+6)
(5) S4 > T4 ×6 / (NJ+6)
(6) S5 > T5 ×6 / (NJ+6)
(7) S6 > T6 ×6 / (NJ+6)
但し、Ti > Ti+1 (i=0,...,n-1) （遡る時刻が長いほど小さくなる）
条件(1)から(7)の1つ以上を満たした場合に歩行者であると判定する
第４の例
n=6までの異なる複数の所定時刻の内の今回に近い所定時刻（n＝0〜３）においては、前記識別値の複数の平均値S0〜Ｓ6と、遡る時刻が長いほど小さくなる複数の閾値T0〜T6と、を対応する時刻毎に比較し、n=6までの異なる複数の所定時刻の内の今回に遠い所定時刻（n＝4〜6）においては、判定情報（歩行者であると判定された回数NJ）を更に考慮する。
(1) S0 > T0
(2) S1 > T1
(3) S2 > T2
(4) S3 > T3
(5) S4 > T4 and NJ≧1
(6) S5 > T5 and NJ≧2
(7) S6 > T6 and NJ≧3
但し、Ti > Ti+1 (i=0,...,n-1)
条件(1)から(7)の1つ以上を満たした場合に歩行者であると判定する
以上に示した判定条件により、歩行者であると判定された場合はJ0=1とし、歩行者でないと判定されたときはJ0=0として記憶部107の内容を更新する。
【０１１７】
以上説明した本実施の形態では、候補抽出部１０２、識別値算出部１０２において、出力画像をフレーム毎に処理するため、カメラが動く場合であっても静止した場合であっても、背景の動きに影響されることなく検出対象の候補領域を抽出してその識別値を出力することができる。上記非特許文献２等の方法は、過去のフレーム（時刻）での処理結果を用いて最終判定を行うが、この処理結果とは検出対象の有無を表す２値の情報である。それに対して、本実施の形態では、最終判定が用いる過去の情報は、歩行者との類似度を表す連続値の情報である。このため、本実施の形態は従来技術よりも正確な最終判定を行うことができる。
【０１１８】
また、本実施の形態では、候補選択部１０５において、識別値が所定値以上である候補領域を選択するが、確実に歩行者でないと判断できる候補領域の棄却されるように所定値を定めているので、候補領域の数を削減することにより、後段の照合部１０６における誤対応を防止できると共に、判定部１０９における判定をより正確に行えることができる。これは、候補領域の抽出位置のズレ等に起因して識別値が誤って一時的に小さくなった場合に、候補領域が棄却されことにより判定に反映されなくなるためである。動くカメラにより歩行者を検出する場合、候補領域の位置ズレが生じやすく、また、見え方の時間変化のために識別値を誤りやすい。したがって、この候補選択が特に有効に作用する。
【０１１９】
更に、本実施の形態では、照合を行う候補領域の系列は、図１１を用いて説明したように、直前のフレームにおいて候補領域と対応付けられたものに限定されない。所定フレーム間対応付けられる候補領域が存在しない系列も含む。したがって、候補領域が一時的に欠落する場合でも、対応付けられた前後のフレームでの識別値を用いて適切な判定が可能である。
【０１２０】
また、本実施の形態では、識別値の時間平均に基づいて判定を行うため、最終的な判定結果は識別値の時間変動の影響を受けにくい。また、識別値の大きい対象は検出に要するフレーム数が少なくなり、識別値の小さいものは検出に要するフレーム数が多くなる。したがって、判定を誤りにくい対象は少ないフレーム数で即座に検出され、判定を誤りやすい対象は多数のフレームに基づいてより正確に判定される。
【０１２１】
固定カメラにより物体検出を行う場合、背景差分法や時間差分法を適用できるので比較的安定して候補領域を検出可能である。動くカメラによる物体検出では、背景と前景の区別が難しいため、抽出される候補領域の一時的な欠落や位置ズレが生じやすい。また、候補領域の位置ズレが生じると識別値も誤って算出される。更に、候補領域の位置が正しく抽出された場合でも、歩行者のような見え方のパターンが多用且つ時間変動する場合、識別値も誤りやすいという課題がある。
【０１２２】
以上説明したように、動くカメラで撮像した画像から見え方のパターンが多様且つ時間変動する物体を検出対象であるか否かを正確に判定して検出するのは従来困難であったが、本実施の形態では、これを可能にした。
【０１２３】
以上説明した実施の形態では、識別値として機械学習により生成した識別器から出力される値を用いた。この他にも候補領域の検出対象らしさを表す値を識別値とすることができる。例えば、検出対象の代表的なサンプルをテンプレートとして、そのテンプレートとの相関値等を用いてもよい。
【図面の簡単な説明】
【０１２４】
【図１】本実施の形態にかかる物体検出装置のブロック図である。
【図２】本実施の形態にかかる物体検出方法を示したフローチャートである。
【図３】候補流域の選択を説明する説明図である。
【図４】候補領域の系列の更新を説明する説明図である。
【図５】候補領域の抽出を説明する説明図である。
【図６】歩行者のモデルの生成を説明する説明図である。
【図７】識別値を変換する変換関数を示す図である。
【図８】候補抽出処理を示すフローチャートである。
【図９】識別値算出処理を示すフローチャートである。
【図１０】照合処理を示すフローチャートである。
【図１１】記憶部107に記憶された情報の更新処理を示すフローチャートである。
【符号の説明】
【０１２５】
１０１    撮像部（撮像手段）
１０２    候補抽出部（取得手段、抽出手段）
１０３    識別値算出部（取得手段、識別値算出手段）
１０４    識別器（モデル）
１０５    候補選択部（取得手段、選択手段）
１０６    照合部（照合手段、更新手段）
１０７    記憶部（記憶手段）
１０８    演算部（判定手段）
１０９    判定部（判定手段）
【図１】
2005311691.tif 000009
【図２】
2005311691.tif 000010
【図３】
2005311691.tif 000011
【図４】
2005311691.tif 000012
【図５】
2005311691.tif 000013
【図６】
2005311691.tif 000014
【図７】
2005311691.tif 000015
【図８】
2005311691.tif 000016
【図９】
2005311691.tif 000017
【図１０】
2005311691.tif 000018
【図１１】
2005311691.tif 000019