(57)【要約】【課題】  撮像した画像内に存在する物体の種別を判定すること。【解決手段】  制御装置１０４は、カメラ１０１によって複数フレーム撮像された画像内に存在する物体のエッジを抽出し、抽出したエッジの複数フレーム間での移動パターンを検出し、検出したエッジの移動パターンと、あらかじめ設定され、パターンモデルメモリ１０３に記憶された種々の物体の動作パターンをモデル化したパターンモデルとをマッチング処理して、画像内に含まれる物体の種別を判定する。【選択図】      図１
2006338273.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段によって複数フレーム撮像された画像の各々に存在する物体のエッジを抽出するエッジ抽出手段と、
前記エッジ抽出手段で抽出したエッジの複数フレーム間での移動パターンを検出する移動パターン検出手段と、
前記移動パターン検出手段で検出した前記エッジの移動パターンと、あらかじめ設定した種々の物体の動作パターンをモデル化したパターンモデルとをマッチング処理して、前記画像内に含まれる物体の種別を判定する判定手段とを備えることを特徴とする車載物体検出装置。
【請求項２】
請求項１に記載の車載物体検出装置において、
前記移動パターン検出手段は、前記エッジ抽出手段で抽出したエッジの中から、複数フレーム間で動きのあるエッジのみを抽出して、エッジの複数フレーム間での移動パターンを検出することを特徴とする車載物体検出装置。
【請求項３】
請求項１または２に記載の車載物体検出装置において、
前記移動パターンは、前記エッジ抽出手段で抽出したエッジの複数フレーム間での速度変化であることを特徴とする車載物体検出装置。
【請求項４】
請求項１または２に記載の車載物体検出装置において、
前記移動パターンは、前記エッジ抽出手段で抽出したエッジの複数フレーム間での位置変化であることを特徴とする車載物体検出装置。
【請求項５】
撮像手段によって複数フレーム撮像された画像の各々に存在する物体のエッジを抽出し、
抽出したエッジの複数フレーム間での移動パターンを検出し、
検出した前記エッジの移動パターンと、あらかじめ設定した種々の物体の動作パターンをモデル化したパターンモデルとをマッチング処理して、前記画像内に含まれる物体の種別を判定することを特徴とする物体検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載され、物体を検出することができる車載物体検出装置、および物体検出方法に関する。
【背景技術】
【０００２】
次のような歩行者検出装置が特許文献１によって知られている。この歩行者検出装置では、撮像した画像内から移動ベクトルを算出し、移動ベクトルの移動方向が横断方向のものを歩行者として検出する。
【０００３】
【特許文献１】特開平７−２００９８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の歩行者検出装置においては、移動ベクトルの移動方向が横断方向のものを歩行者として検出しているため、横断方向の移動ベクトルが歩行者以外の物体から検出された場合であっても、その物体を歩行者として誤検出してしまう可能性があるという問題が生じていた。
【課題を解決するための手段】
【０００５】
本発明は、撮像手段によって複数フレーム撮像された画像の各々に存在する物体のエッジを抽出し、抽出したエッジの複数フレーム間での移動パターンを検出し、検出したエッジの移動パターンと、あらかじめ設定した種々の物体の動作パターンをモデル化したパターンモデルとをマッチング処理して、画像内に含まれる物体の種別を判定することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、検出したエッジの移動パターンと、あらかじめ設定した種々の物体の動作パターンをモデル化したパターンモデルとをマッチング処理して、画像内に含まれる物体の種別を判定するようにした。これによって、画像内に存在する物体の種別を正確に判定することができ、誤検出を防ぐことができる。
【発明を実施するための最良の形態】
【０００７】
図１は、本実施の形態における車載物体検出装置の一実施の形態の構成を示すブロック図である。車載物体検出装置１００は車両に搭載され、車両前方を撮像するカメラ１０１と、カメラ１０１で撮像した画像を格納する画像メモリ１０２と、後述する種々の物体の動作パターンをモデル化したパターンモデルを記憶するパターンモデルメモリ１０３と、ＣＰＵ、メモリ、およびその他周辺回路を含み、後述する画像処理を実行する制御装置１０４とを備えている。
【０００８】
カメラ１０１は、例えばＣＣＤやＣＭＯＳなどの撮像素子を有した高速カメラであり、自車両の走行中に連続的に車両前方を撮像し、各フレームごとに画像メモリ１０２に出力する。
【０００９】
パターンモデルメモリ１０３には、上述したように、種々の物体の動作パターンをモデル化したパターンモデルが記憶されている。このパターンモデルは、種々の物体で特徴的な動きをする部位の速度変化をモデル化したデータであり、物体の特徴的な動きに着目して物体の種別を識別可能にするものである。
【００１０】
例えば、歩行者を識別するために用いられる歩行者のパターンモデルとしては、歩行者の動きの中で特徴的な動きをする踵に着目し、踵の動きに伴う速度変化がモデル化されている。図２は、歩行者のパターンモデルの具体例を示す図である。図２（ａ）に示すように、歩行者の歩行時の踵の動きは、大きく分類すると「１．接地」、「２．踵上げ」、「３．膝を曲げる」、「４．けりだし」の４つの動作に分類される。
【００１１】
このように４つの動作からなる歩行者の踵の動きに伴って、歩行者の踵の縦方向の位置は、図２（ｂ）のように時系列変化する。すなわち、「１．接地」における縦位置を０とすると、「２．踵上げ」に相当する期間では踵の縦位置はゆるやかに増加し、「３．膝を曲げる」に相当する期間では急激に増加する。そして、「４．けりだし」に相当する期間では、次の動作サイクルの「１．接地」に向けて踵の縦位置は減少する。
【００１２】
そして、この図２（ｂ）に示した踵の縦位置の時間変化を、さらに時間で微分することによって、図２（ｃ）に示すように踵の縦方向の速度変化を算出することができる。この踵の縦方向の速度変化のデータを、歩行者のパターンモデルとしてパターンモデル１０３に記憶しておく。なお、本実施の形態では、歩行者のパターンモデルについて説明したが、例えば自動車や二輪車など、その他の物体の特徴的な動きに基づくパターンモデルも同様にパターンモデルメモリ１０３に記憶されている。
【００１３】
制御装置１０４は、カメラ１０１で連続して撮像された各フレームからエッジを抽出し、各フレームにおける各エッジの移動速度を算出する。さらに各エッジのフレーム間での速度変化をエッジの移動パターンとして算出する。そして、算出した各エッジの速度変化と、上述したパターンモデルメモリ１０３に記憶されている各パターンモデルとのマッチング処理を行って、撮像画像内に存在する物体の種別を判定する。具体的には次のように処理する。
【００１４】
まず、カメラ１０１で撮像された画像を画像メモリ１０２から読み込み、読み込んだ撮像画像に対してエッジ抽出用のフィルタを適用してエッジ抽出処理を行う。そして、抽出した各エッジに対して、次に説明するように画像処理を行うことによって、各エッジの撮像画像における移動速度を算出する。すなわち、撮像画像内の各エッジに対して細線化処理を行ってエッジの中心を正確に求める。そして、細線化されたエッジを、エッジ幅が一定の幅、例えば３画素分の幅になるように膨張させる。このように抽出したエッジを正規化することによって、各エッジが均一な幅を持ったエッジ画像を得ることができる。
【００１５】
その後、制御装置１０４が有するメモリ内に、エッジ画像内の各画素に対応する画素カウンタを設定し、エッジ画像内にエッジが存在している画素に対応した画素カウンタのカウント値を更新する。画素カウンタとは、エッジ画像の各画素に対応したカウンタであり、エッジが存在する画素に対応する画素カウンタのカウント値に１を加算し、エッジが存在しない画素に対応する画素カウンタのカウント値は０で初期化する。このカウンタ値の更新処理を、カメラ１０１で連続的に撮像される毎フレームごとに行うことで、エッジ存在時間が長い画素はカウント値が大きく、エッジ存在時間が短い画素はカウント値が小さくなる。
【００１６】
そして、エッジ画像において、隣接するそれぞれの画素に対応する画素カウンタのカウント値の差分を取ることで各画素におけるエッジ存在時間の差を算出して、当該エッジが１画素移動するのに要する時間を得る。その後、この値の逆数を得ることで、各画素における画像空間内の移動速度を算出することができ、その移動方向を判定することによって、各画素の移動方向を算出することができる。この各画素における画像空間内の移動速度、および移動方向は、エッジ画像内の各画素に含まれるエッジの移動速度、および方向に相当する。
【００１７】
このように算出した各エッジの移動速度、および移動方向に基づいて、フレーム間で動きのある点、すなわち移動速度が算出されたエッジを含む画素を検出する。そして、その画素に含まれるエッジのフレーム間での動きをトラッキングして、そのエッジのフレーム間での速度変化を検出する。このように検出した任意のエッジのフレーム間での速度変化と、パターンモデルメモリ１０３に記憶された各物体のパターンモデルとをマッチング処理する。
【００１８】
具体的には、任意のエッジの速度変化と、各物体のパターンモデルとをマッチング処理して、いずれかのパターンモデルとの差異が、予め設定された閾値ａ未満であれば、そのエッジを含む画素内に存在する物体は、そのパターンモデルが示す物体であると判定する。なお、閾値ａは、速度の時間分解能、また物体のｓ／ｎ比などにより予め決定される。
【００１９】
上述した処理を、撮像画像内に存在する全てのフレーム間で動きのある点に対して行うことによって、撮像画像内に存在する全物体の種別を判定することができる。また、同一の種別の物体として判定され、フレーム間での速度変化が近似するエッジを有する複数の画素が隣接して存在する場合には、それらの画素に含まれるエッジは同一の物体を構成すると判定して、それらの画素をグルーピングすることによって、撮像画像内における個々の物体も検出することが可能となる。
【００２０】
図３は、本実施の形態における車載物体検出装置１００の処理を示すフローチャートである。図３に示す処理は、車両のイグニションスイッチがオンされることによって、車載物体検出装置１００の電源がオンされると起動するプログラムとして制御装置１０４により実行される。
【００２１】
ステップＳ１０において、画像メモリ１０２からの撮像画像の読み込みを開始して、ステップＳ２０へ進む。ステップＳ２０では、撮像画像に対してエッジ抽出用のフィルタを適用してエッジ抽出処理を行ってエッジ画像を生成する。その後、ステップＳ３０へ進み、上述したように画素カウンタのカウンタ値に基づいて、エッジ画像内の各画素に含まれるエッジの移動速度、および方向を算出する。その後、ステップＳ４０へ進む。
【００２２】
ステップＳ４０では、算出したエッジの各エッジの移動速度、および移動方向に基づいて、フレーム間で動きのあるエッジを検出し、そのエッジのフレーム間での動きをトラッキングして、そのエッジのフレーム間での速度変化を検出する。その後、ステップＳ５０へ進み、検出した任意のエッジの速度変化の特性と、パターンモデルメモリ１０３に記憶された各物体のパターンモデルとをマッチング処理して、ステップＳ６０へ進む。
【００２３】
ステップＳ６０では、上述したように、マッチング結果に基づいて、当該エッジを含む画素内に存在する物体の種別を判定して、ステップＳ７０へ進む。ステップＳ７０では、上述したように、同一の種別の物体として判定され、フレーム間での速度変化が近似するエッジを有する複数の画素をグルーピングして、個々の物体を検出する。その後、ステップＳ８０へ進む。
【００２４】
ステップＳ８０では、自車両のイグニションスイッチがオフされたか否かを判断する。自車両のイグニションスイッチがオフされないと判断した場合には、ステップＳ２０へ戻って処理を繰り返す。これに対して、オフされたと判断した場合には、処理を終了する。
【００２５】
以上説明した本実施の形態によれば、次のような作用効果を得ることができる。
（１）撮像画像内に存在する動きのあるエッジをトラッキングして、フレーム間でのエッジの速度変化を検出し、検出した速度変化と、それぞれの物体の特徴的な動きをモデル化したパターンモデルとをマッチング処理して物体の種別を判定するようにした。これによって、各物体は、それぞれの種別を判定可能な特徴的な動きをする部位が存在することを加味して、その特徴的な動きをパターンモデルとして記憶しておくことにより、精度高く物体の種別を判定することができるようになる。
【００２６】
（２）撮像画像からエッジを抽出し、抽出したエッジの移動速度、および移動方向を検出して、撮像画像内に存在する動きのあるエッジを含む画素を検出して処理対象とするようにした。これによって、撮像画像内に存在する動きのあるエッジを含む画素を正確に検出し、動きのないエッジ、すなわち物体種別を判定する必要のないエッジを処理対象から排除して、処理の負荷を低減することができる。
【００２７】
（３）同一の種別の物体として判定され、フレーム間での速度変化が近似するエッジを有する複数の画素が隣接して存在する場合には、それらの画素に含まれるエッジは同一の物体を構成すると判定して、それらの画素をグルーピングして物体を検出するようにした。これによって、画像内に存在する個々の物体を精度高く検出することができる。
【００２８】
―変形例―
なお、上述した実施の形態の車載物体検出装置は、以下のように変形することもできる。
（１）上述した実施の形態では、撮像画像からエッジを抽出し、抽出したエッジの移動速度を画素カウンタの値に基づいて算出して、フレーム間でのエッジの速度変化、すなわちエッジの移動パターンを算出するようにした。しかしこれに限定されず、例えば一般的な手法である勾配法やブロックマッチング法を用いてオプティカルフローを算出して、エッジの移動パターンを算出するようにしてもよい。
【００２９】
（２）上述した実施の形態では、歩行者、自動車、または二輪車などの物体の種別ごとにパターンモデルを有し、画像内に存在する物体の種別を判定する例について説明した。しかしこれに限定されず、各物体の種別をさらに細分化した詳細種別な種別ごとに特徴的な動きがある場合には、これらの詳細種別ごとにパターンモデルを設定し、詳細種別の判定も行うようにしてもよい。
【００３０】
例えば、歩行者をさらに細分化した幼児、一般成人、高齢者などでは、その歩き方が異なることから、これらの各詳細種別ごとに異なるパターンモデルを設定し、撮像画像内に存在する歩行者が、幼児、一般成人、または高齢者のいずれであるかを判定するようにしてもよい。
【００３１】
（３）上述した実施の形態では、例えば歩行者の場合には、図２（ｃ）に示すように、踵の縦方向の速度変化をパターンモデルとするようにした。しかしこれに限定されず、例えば、図２（ｂ）に示すように踵の縦位置の時間変化（位置変化）をパターンモデルとしてもよい。この場合には、エッジの移動パターンとして、撮像画像内に存在する動きのあるエッジを含む画素の画像上の位置変化を検出し、当該検出した位置変化とパターンモデルとをマッチング処理して、物体の種別を判定する。
【００３２】
なお、この場合には、例えば物体が自車両から遠方に存在する場合には、画像上での動きは小さく観測され、自車両近傍に存在する場合には、画像上での動きは大きく観測されることから、それぞれの場合の物体の画像上での位置変化は異なる。このように、自車両から物体までの距離に応じて、画像上での物体の位置変化は異なるため、これを無視してパターンモデルとのマッチング処理を行うと、正確に物体の種別を判定できない可能性がある。
【００３３】
よって、画像上での物体の位置変化と、パターンモデルとのマッチング処理を行う際に、画像上での物体の位置変化の特性を示すグラフにおける位置の最大値と、パターンモデルにおけるグラフの位置の最大値とが一致するように、画像上での物体の位置変化特性を補正して、補正後のグラフ形状とパターンモデルとをマッチングするようにする。これによって、物体の自車両からの距離に関わらず、正確に物体種別を判定することが可能となる。
【００３４】
例えば、図４に示すように、歩行者の踵の動きを表すパターンモデル４ｂと、遠方に存在する歩行者の踵の動き（画像上での位置変化の実測値）４ａとをマッチングした場合、遠方に存在する歩行者の踵の位置変化４ａは、パターンモデル４ｂとグラフ形状が異なることから、歩行者として正確に判定されない可能性がある。したがって、上述したように、パターンモデル４ｂの位置変化の最大値ｂと、歩行者の踵の位置変化ａとが一致するように、歩行者の踵の位置変化に対してｂ／ａをかけて、両者のグラフ形状を一致させた後にパターンマッチングを行うようにする。
【００３５】
（４）上述した実施の形態では、カメラ１０１で車両前方を撮像して、車両前方に存在する物体の種別を判定する例について説明したが、これに限定されず、カメラ１０１で車両後方を撮像して、車両後方に存在する物体の種別を判定するようにしてもよい。
【００３６】
（５）上述した実施の形態では、車載物体検出装置１００を車両に搭載する例について説明したが、これに限定されず、その他の移動体に搭載してもよい。
【００３７】
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。
【００３８】
特許請求の範囲の構成要素と実施の形態との対応関係について説明する。カメラ１０１は撮像手段に、制御装置１０４は移動パターン検出手段、および判定手段に相当する。なお、以上の説明はあくまでも一例であり、発明を解釈する際、上記の実施形態の記載事項と特許請求の範囲の記載事項の対応関係に何ら限定も拘束もされない。
【図面の簡単な説明】
【００３９】
【図１】本実施の形態における車載物体検出装置の一実施の形態の構成を示すブロック図である。
【図２】歩行者のパターンモデルの具体例を示す図である。
【図３】本実施の形態における車載物体検出装置１００の処理を示すフローチャート図である。
【図４】変形例（２）において物体の画像上の位置変化に基づいて物体を判定する場合の具体例を示す図である。
【符号の説明】
【００４０】
１００  車載物体検出装置
１０１  カメラ
１０２  画像メモリ
１０３  パターンモデルメモリ
１０４  制御装置
【図１】
2006338273.tif 000003
【図２】
2006338273.tif 000004
【図３】
2006338273.tif 000005
【図４】
2006338273.tif 000006