(57)【要約】【課題】歩行者認識において認識精度を維持しつつ演算量を削減すること。【解決手段】カメラが撮影した画像Ｐ１から判定対象領域を切り出す場合に、画像内の下方から判定領域を切り出す場合は、上方から切り出す場合に比して切り出し間隔を大きくする。その後、比較的広い間隔で切り出した判定対象領域におけるテンプレートとの一致度を比較し、比較的一致度の高い判定対象領域について、その周辺に対してずらしマッチングもしくは、切り出し領域のサイズを大きくしての再度のパターンマッチングを行なって歩行者像全体を含んだ判定対象領域を切り出す。【選択図】        図１
2008015771.tif 000002
【特許請求の範囲】
【請求項１】
カメラが撮影した入力画像から判定対象領域を抽出する抽出手段と、
前記判定対象領域の画像と基準画像とを比較して特定の物体の存在を認識する認識手段と、
前記入力画像内における位置に基づいて、前記抽出手段による判定対象領域の抽出位置の間隔を制御する間隔制御手段と、
を備えたことを特徴とする画像認識装置。
【請求項２】
前記間隔制御手段は、前記判定対象領域の前記入力画像内における縦方向の位置に基づき、画像内の下方から判定領域を抽出する場合は、上方から抽出する場合に比して抽出間隔を大きくすることを特徴とする請求項１に記載の画像認識装置。
【請求項３】
前記間隔制御手段は、前記入力画像における左右の端部近傍から判定領域を抽出する場合に抽出間隔を小さくすることを特徴とする請求項１または２に記載の画像認識装置。
【請求項４】
前記間隔制御手段は、前記特定の物体を遮蔽する可能性のある物体を認識済みである場合に、該遮蔽物近傍の抽出間隔を小さくすることを特徴とする請求項１〜３のいずれか一つに記載の画像認識装置。
【請求項５】
前記間隔制御手段は、前記認識手段が複数の基準画像を使用する場合に、前記複数の基準画像のいずれかによって前記特定の物体が存在すると判定された領域を以降の抽出から除外することを特徴とする請求項１〜４のいずれか一つに記載の画像認識装置。
【請求項６】
前記間隔制御手段は、時系列に撮影された入力画像に対して順次画像認識を行なう場合に、前回の入力画像において前記特定の物体を認識した位置近傍の抽出間隔を小さくすることを特徴とする請求項１〜５のいずれか一つに記載の画像認識装置。
【請求項７】
前記間隔制御手段は、前記認識手段による認識処理によって前記基準画像との一致度が比較的高いと判定された位置近傍に対して、抽出間隔を小さくした抽出を再度行なわせることを特徴とする請求項１〜６のいずれか一つに記載の画像認識装置。
【請求項８】
前記特定の物体は歩行者であることを特徴とする請求項１〜７のいずれか一つに記載の画像認識装置。
【請求項９】
カメラが撮影した入力画像から判定対象領域を抽出する抽出工程と、
前記判定対象領域の画像と基準画像とを比較して特定の物体の存在を認識する認識工程と、
前記入力画像内における位置に基づいて、前記抽出手段による判定対象領域の抽出位置の間隔を制御する間隔制御工程と、
を含んだことを特徴とする画像認識方法。
【請求項１０】
カメラが撮影した入力画像から判定対象領域を抽出する抽出手段と、
前記判定対象領域の画像と基準画像とを比較して特定の物体の存在を認識する認識手段と、
前記入力画像内における位置に基づいて、前記抽出手段による判定対象領域の抽出位置の間隔を制御する間隔制御手段と、
前記認識手段による認識結果に基づいて、運転者に対する報知制御、および／または車両の走行状態を制御する走行制御を実行する制御手段と、
を備えたことを特徴とする車両制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、カメラが撮影した入力画像から特定の物体を画像認識する画像認識装置、およびその方法に関し、特に歩行者を認識する画像認識装置、画像認識方法および車両制御装置に関する。
【背景技術】
【０００２】
車両の走行中においては、特に歩行者との衝突回避が重要である。そこで近年、画像認識やレーダ検知を用いて自車両周辺の歩行者を認識する技術が考案されてきた（例えば、特許文献１参照。）。
【０００３】
【特許文献１】特開２００２−３６２３０２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来、歩行者のテンプレート画像にパターンマッチする領域を見つけるためには、画像中の位置に関係なく一画素ずつずらしてサーチを行なっており、大きな演算量が必要であり、そのため、歩行者認識に要する処理時間が大きくなるという問題点があった。
【０００５】
一方で、画像内に歩行者の像が存在する可能性や像のサイズは、画像内の位置によって異なり、均一ではない。走行中の車両から歩行者を認識して危険回避に使用する場合、歩行者の認識までに要する時間の短縮が非常に重要であるので、画像中の位置に応じてマッチング間隔を制御することで処理を効率化し、歩行者認識の精度を維持しつつ演算量を削減することが課題となっていた。
【０００６】
本発明は、上述した従来技術における問題点を解消し、課題を解決するためになされたものであり、認識精度を維持しつつ演算量を削減し、高速で高精度な画像認識装置、画像認識方法および車両制御装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するため、本発明に係る画像認識装置、画像認識方法および車両制御装置は、カメラが撮影した入力画像から判定対象領域を抽出し、判定対象領域の画像と基準画像とを比較して特定の物体の存在を認識する場合に、判定対象領域の入力画像内における位置に基づいて、抽出位置の間隔を制御する。
【発明の効果】
【０００８】
本発明によれば画像認識装置、画像認識方法および車両制御装置は、画面内の位置に基づいて異なる間隔で判定対象領域を抽出して、特定の物体が存在する可能性の高い場所を効率的に探索するので、認識精度を維持しつつ演算量を削減し、高速で高精度な画像認識装置、画像認識方法および車両制御装置を得ることができるという効果を奏する。
【発明を実施するための最良の形態】
【０００９】
以下に添付図面を参照して、この発明に係る画像認識装置、画像認識方法および車両制御装置の好適な実施例について詳細に説明する。
【実施例】
【００１０】
まず、本発明における画像認識方法について図１を参照して説明する。本発明では、カメラが撮影した画像から判定対象領域を切り出す場合に、判定対象領域の入力画像内における位置に基づいて、切り出し（抽出）の間隔を制御する。
【００１１】
たとえば、図１に示した画像Ｐ１では、画像内の下方から判定領域を切り出す場合は、上方から切り出す場合に比して切り出し間隔を大きくしている。これは、画像内の下方に現れる歩行者像は自車両から近い位置にいる歩行者の像であり、自車両から歩行者までの距離が近いほど歩行者像の入力画像内でのサイズが大きくなり、間隔を大きくしても歩行者像の一部が判定領域内にかかる可能性が高まるためである（一方、画像内の上方に現れる歩行者像は、自車両から遠い位置に居る歩行者の像であり、像のサイズが小さくなるために判定領域の切り出し間隔を小さくしないと検出漏れを生じる可能性がある。）。
【００１２】
こうして比較的広い間隔で切り出した判定対象領域に、歩行者像の一部が含まれていれば、パターンマッチングを行なうことで判定対象領域に含まれた部分の歩行者像全体に対する割合に応じたテンプレートとの一致度が得られる。
【００１３】
そこで、比較的一致度の高い判定対象領域について、その周辺に対してずらしマッチングをおこなったり、切り出し領域のサイズを大きくして再度パターンマッチングを行なうことで、歩行者像全体を含んで判定対象領域を切り出すことができる。
【００１４】
このように、画像中の位置から歩行者の位置を予想し、予想結果に合わせて切り出し間隔を制御する（たとえば自車両から近い位置に対しては探索領域の間隔を大きく、自車両から遠い位置に対しては、探索領域の間隔を小さくする）ことで、効率的に歩行者像を得ることができる。
【００１５】
なお、探索領域（判定対象領域）自体の大きさについては、自車両から近い位置ほど、歩行者像は大きくなると予想されるので、それに合わせて画像の下方の探索領域は大きくし、画像の上方の探索領域は小さくすることでマッチングを取り易くすることが好適である。
【００１６】
つづいて、図２を参照し、本発明の実施例である車載用の画像認識装置１０の概要構成を説明する。同図に示すように、車両に搭載された画像認識装置１０は、ナビゲーション装置３０、カメラ３１、レーダ３３およびプリクラッシュＥＣＵ４０と接続している。
【００１７】
ナビゲーション装置３０は、ＧＰＳ（Global Positioning System）人工衛星と通信して特定した自車両の位置と、予め記憶した地図データ３０ａとを利用して走行経路の設定および誘導を行なう車載装置である。また、ナビゲーション装置３０は、画像認識装置１０に対して自車両の位置情報や周辺の地図情報、走行予定経路などを提供する。
【００１８】
カメラ３１は、自車両周辺を撮影し、撮影結果を画像認識装置１０に入力する。レーダ３３は、自車両の周辺の物体検知、および物体までの距離測定を行なって画像認識装置１０に入力する。
【００１９】
プリクラッシュＥＣＵ４０は、画像認識装置１０が自車両の衝突を予測した場合に、画像認識装置１０の制御をうけ、ブレーキ４１やエンジン制御装置（ＥＦＩ）４２による車両の動作制御、またディスプレイ４３やスピーカ４４による通知を実行する電子制御装置である。
【００２０】
ディスプレイ４３はユーザ、すなわち自車両乗員に対して表示による通知を行なう出力手段であり、スピーカ４４は音声による通知を行なう出力手段である。ディスプレイ４３およびスピーカ４４は、プリクラッシュＥＣＵ４０からの制御を受けて出力を行なう他、ナビゲーション装置３０や図示しない車載オーディオ装置など各種車載装置で共用することができる。
【００２１】
画像認識装置１０は、その内部に前処理部１１、車両認識部１６、白線認識部１７、歩行者認識部１８および衝突判定部２０を有する。ここで、車両認識部１６、白線認識部１７、歩行者認識部１８および衝突判定部２０は、例えば単一のマイコン１０ａ（ＣＰＵ、ＲＯＭ、ＲＡＭの組み合わせからなる演算処理ユニット）などによって実現することが好適である。
【００２２】
前処理部１１は、カメラ３１が撮影した画像に対してフィルタリングやエッジ検出、輪郭抽出などの処理を施した後、車両認識部１６、白線認識部１７および歩行者認識部１８に出力する。
【００２３】
車両認識部１６は、前処理部１１が出力した画像に対してパターンマッチングなどを施して車両を認識し、認識結果を衝突判定部２０に出力する。また、白線認識部１７は、前処理部１１が出力した画像に対してパターンマッチングなどを施して白線を認識し、認識結果を衝突判定部２０に出力する。
【００２４】
歩行者認識部１８は、前処理部１１が出力した画像（入力画像）から歩行者像を認識する処理部であり、その内部に切り出し部１８ａ、間隔設定部１８ｂ、認識処理部１８ｃを有する。
【００２５】
切り出し部１８ａは、入力画像から判定対象領域を切り出す処理を行なう。間隔設定部１８ｂは、切り出し部１８ａによる判定対象領域の切り出し間隔を制御する処理部である。認識処理部１８ｃは、切り出された判定対象領域内の画像とテンプレートとを比較して歩行者の存在を認識する処理を行なう。
【００２６】
衝突判定部２０は、車両認識部１６、白線認識部１７、歩行者認識部１８による認識結果、レーダ３３による検知結果およびナビゲーション装置３０が出力する位置情報を用いて、歩行者や他車両と自車両との衝突危険度を判定する。
【００２７】
具体的には衝突判定部２０は、歩行者や他車両との衝突が発生する確率、衝突する時間、衝突する位置までの距離、衝突する角度などを判定し、その判定結果に基づいてディスプレイ４３に対する情報表示指示、スピーカ４４に対する警告音声出力指示、ブレーキ制御指示やＥＦＩ制御指示などをプリクラッシュＥＣＵ４０に対して出力する。
【００２８】
つづいて、判定対象領域の切り出し間隔制御についてさらに説明する。まず図３に示したように、画像Ｐ２の下方に歩行者像が存在する場合、比較的広い間隔で切り出した判定対象領域に対してパターンマッチングを施し、その一致度（マッチング率）の推移を取得すれば、歩行者が存在する可能性のある大まかな場所を得ることができる。即ち、ここではサーチ（サンプリング）間隔が大きいため、マッチング率も粗い値となる。
【００２９】
そこで、同図の画像Ｐ３に示したように、比較的一致度の高い判定対象領域について、その周辺に対して横方向（画像のｘ軸方向、地面に水平かつ自車両の進行方向に直交する方向）に間隔を短くした切り出しを行なってパターンマッチングし、横方向でマッチング率のピークが得られる位置を探索する。即ち、ここではサーチ間隔が小さいため、マッチング率を細かく見ることができ、詳細なピーク値を検出できる。
【００３０】
さらにその後、図４の画像Ｐ４に示したように、縦方向（画像のｙ軸方向、地面に対する垂直方向と自車両進行方向の合成方向）に間隔を短くした切り出しを行なってパターンマッチングし、縦方向でマッチング率のピーク得られる位置を探索すると、画像Ｐ５に示したように歩行者像全体を含んだ判定対象領域を切り出すことができる。
【００３１】
ここで、歩行者認識には複数のテンプレートを使用し、いずれかのテンプレートとのマッチング率が所定値以上であれば歩行者であると判定することが多い。この場合、複数のテンプレートのいずれかによって歩行者が存在すると判定した後はその判定対象領域を以降の切り出しから除外する（他のテンプレートによるパターンマッチングを省略する）ことで、演算量をさらに削減することができる。
【００３２】
また、歩行者認識は、カメラ３１による画像撮影ごと（例えば数ｍｓｅｃごと）に実行する。そこで、前回の入力画像において歩行者を認識した位置近傍の切り出しを優先することで、歩行者認識を高速化することができる。
【００３３】
例えば図５に示した画像Ｐ７では、前回に撮影した画像において右下方に歩行者が存在していた。歩行者の移動速度に比してカメラ３１の撮影間隔は十分に短いので、画像Ｐ７においても前回に近い位置に歩行者が存在する可能性が高い。
【００３４】
そこで、画像Ｐ７に対する判定対象領域の切り出しでは、まず前回歩行者が存在した右下近傍で短い間隔の判定対象領域の切り出しをおこない、その後、通常の間隔および通常の順序で（同図では左上から）判定対象領域の切り出しを行なっている。
【００３５】
また、歩行者が画像内に新たに現れる場合、撮影画像の左端もしくは右端から現れる可能性が高い。そこで、図６に画像Ｐ８として示したように、入力画像における左右の端部近傍から判定領域を切り出す場合には、切り出し間隔を小さくすることが望ましい。
【００３６】
同様に、歩行者が物陰から急に現れることも考えられるので、図７に画像Ｐ９として示したように、物陰、すなわち歩行者を遮蔽する可能性のある物体、例えば他車両や建物、樹木などを認識済みであるならば、遮蔽物近傍の切り出し間隔を小さくするが望ましい。なお、遮蔽物の認識には、車両認識部１６などによる画像認識や、レーダ３３の出力などを用いることができる。
【００３７】
つづいて、図８を参照し、図２に示した画像認識装置１０全体の処理動作について説明する。同図に示す処理フローは、電源スイッチ（イグニッションスイッチなどと連動していてもよい）がオンされ、カメラ３１が画像を撮影した場合に開始され、画像フレームの処理ごと（例えば数ｍｓｅｃごと）に繰り返し実行される処理である。
【００３８】
まず、画像認識装置１０は、カメラ３１が撮影した画像に対して前処理部１１によるフィルタリング、エッジ検出、輪郭抽出などの処理を施す（ステップＳ１０１）。つぎに、白線認識部１６による白線認識処理（ステップＳ１０２）および車両認識部１６による車両認識処理（ステップＳ１０３）を実行する。
【００３９】
その後、歩行者認識部１８が歩行者認識を実行し（ステップＳ１０４）、衝突判定部２０が衝突判定を行なって（ステップＳ１０５）、判定結果をプリクラッシュＥＣＵ４０に出力し（ステップＳ１０６）、処理を終了する。
【００４０】
ここで、ステップＳ１０４として示した歩行者認識処理部１８の具体的な処理内容を図９に示す。同図に示すように、歩行者認識部１８は、まず間隔設定部１８ｂによる切り出し間隔の設定を行い（ステップＳ２０１）、設定した切り出し間隔で切り出し処理部１８ａによる判定対象領域の切り出しを行なう（ステップＳ２０２）。判定対象領域は背景画像を差分して残った特異な画像を候補領域とし、これを取り囲んだ領域を判定対象とする。
【００４１】
つぎに、認識処理部１８ｃがテンプレートとのマッチング率を算出し（ステップＳ２０３）、マッチング率のピーク値、すなわち判定対象領域に歩行者像が完全に入った状態でのマッチング率の値を探索し、このピーク値と閾値とを比較し、閾値を越えたか否かによって歩行者の有無を判定して（ステップＳ２０４）、処理を終了する。認識にあたっては形状の一致度（％）が判定の閾値を超えたか否かで判断する。
【００４２】
つぎに、プリクラッシュＥＣＵ４０の処理動作について図１０のフローチャートを参照して説明する。同図に示す処理フローは、プリクラッシュＥＣＵ４０の動作中に繰り返し実行される。
【００４３】
まず、プリクラッシュＥＣＵ４０は、画像認識装置１０から衝突判定結果を衝突判定情報として取得する（ステップＳ３０１）。そして、衝突の危険度が大きい場合には（ステップＳ３０２，Ｙｅｓ）、ディスプレイ４３とスピーカ４４を用いて運転者に報知する（ステップＳ３０３）とともに、ブレーキ４１およびＥＦＩ４２を制御して自車両の走行状態を制御し（ステップＳ３０４）、処理を終了する。
【００４４】
上述してきたように、本実施例にかかる画像認識装置１０は、カメラが撮影した画像から判定対象領域を切り出す場合に、判定対象領域の入力画像内における位置に基づいて、切り出しの間隔を制御するので、パターンマッチングの精度を維持しつつ演算量を削減し、認識処理を高速化することができる。
【００４５】
なお、切り出し間隔の他に、判定対象領域のサイズについても画像内における位置に合わせて制御するようにしてもよい。
【００４６】
また、本発明ではパターンマッチングによる認識を例に説明を行なったが、本発明はこれに限定されるものではなく、判定対象領域を切り出して行なう任意に認識手法に適用することが可能である。
【００４７】
同様に、本実施例では特定の物体として歩行者を認識する場合を例に説明を行なったが、他の物体、例えば道路上の落下物などの認識についても適用することができる。
【産業上の利用可能性】
【００４８】
以上のように、本発明にかかる画像認識装置、画像認識方法および車両制御装置は、車両における画像認識に有用であり、特に認識処理負荷の軽減に適している。
【図面の簡単な説明】
【００４９】
【図１】本発明における画像認識方法について説明する説明図である。
【図２】本発明の実施例にかかる画像認識装置の概要構成を示す概要構成図である。
【図３】マッチング率のピーク値探索について説明する説明図である（その１）。
【図４】マッチング率のピーク値探索について説明する説明図である（その２）。
【図５】前回の認識結果を利用した切り出し間隔制御について説明する説明図である。
【図６】画面の左右端部の切り出し間隔を短くする場合の制御について説明する説明図である。
【図７】遮蔽物近傍の切り出し間隔を短くする場合の制御について説明する説明図である。
【図８】画像認識装置１０の処理動作について説明するフローチャートである。
【図９】歩行者認識処理の具体的な処理動作について説明するフローチャートである。
【図１０】プリクラッシュＥＣＵ４０の処理動作について説明するフローチャートである。
【符号の説明】
【００５０】
１０    画像認識装置
１０ａ  マイコン
１６    車両認識部
１７    白線認識部
１８    歩行者認識部
１８ａ  切り出し部
１８ｂ  間隔設定部
１８ｃ  認識処理部
２０    衝突判定部
３０    ナビゲーション装置
３０ａ  地図データ
３１    カメラ
３３    レーダ
４０    プリクラッシュＥＣＵ
４１    ブレーキ
４２    ＥＦＩ
４３    ディスプレイ
４４    スピーカ
【図１】
2008015771.tif 000003
【図２】
2008015771.tif 000004
【図３】
2008015771.tif 000005
【図４】
2008015771.tif 000006
【図５】
2008015771.tif 000007
【図６】
2008015771.tif 000008
【図７】
2008015771.tif 000009
【図８】
2008015771.tif 000010
【図９】
2008015771.tif 000011
【図１０】
2008015771.tif 000012