(57)【要約】【課題】夏場又は昼間に拘わらず歩行者などの障害物を精度良く検出し、処理量を従来よりも削減できる障害物検出方法、障害物検出装置、障害物検出システムを提供する。【解決手段】ＬＳＩ３１は、一方の撮像画像でエッジ点を複数検出し、検出した各エッジ点を囲む領域夫々をブロックに分割する。ＬＳＩ３１は、分割したブロックのうち、エッジ点を含むエッジ領域を基準領域として、他方の撮像画像を検索して相関値を算出する。ＬＳＩ３１は、相関値が最も大きい領域を対応領域として特定し、エッジ領域と対応領域との間の視差を算出する。ＬＳＩ３１は、算出した視差に基づいて、撮像装置１から撮像対象までの距離が略等しい候補領域を特定する。ＬＳＩ３１は、以上の処理をエッジ領域毎に行って複数の候補領域を特定し、特定した複数の候補領域で構成される障害物候補領域を抽出し、抽出した障害物候補領域の特徴量に基づいて障害物を検出する。【選択図】図３
2008165595.tif 000002
【特許請求の範囲】
【請求項１】
２つの撮像装置で取得したそれぞれの撮像画像を処理して障害物の存在を検出する障害物検出方法において、
一方の撮像画像の各画素の画素値に基づいて、エッジ点を検出し、
隣接するエッジ点を結合したエッジグループを特定し、
特定したエッジグループを囲む領域を小領域に分割し、
分割した小領域のうち、エッジ点を含む小領域毎に他方の撮像画像との間で相関値を算出し、
算出した相関値に基づいて、前記小領域に対応する対応領域を他方の撮像画像で特定し、
前記小領域と対応領域との視差に基づいて、撮像装置から撮像対象までの距離が略等しい候補領域を特定し、
特定した候補領域から障害物候補領域を抽出し、
抽出した障害物候補領域の特徴量に基づいて障害物を検出することを特徴とする障害物検出方法。
【請求項２】
２つの撮像装置で取得したそれぞれの撮像画像を処理して障害物の存在を検出する障害物検出装置において、
一方の撮像画像の各画素の画素値に基づいて、エッジ点を検出する検出手段と、
該検出手段で検出された隣接するエッジ点を結合したエッジグループを特定する手段と、
該手段で特定されたエッジグループを囲む領域を小領域に分割する分割手段と、
該分割手段で分割された小領域のうち、エッジ点を含む小領域毎に他方の撮像画像との間で相関値を算出する手段と、
該手段で算出された相関値に基づいて、前記小領域に対応する対応領域を他方の撮像画像で特定する手段と、
前記小領域と対応領域との視差に基づいて、撮像装置から撮像対象までの距離が略等しい候補領域を特定する特定手段と、
該特定手段で特定された候補領域から障害物候補領域を抽出する抽出手段と、
該抽出手段で抽出された障害物候補領域の特徴量に基づいて、障害物を検出する手段と
を備えることを特徴とする障害物検出装置。
【請求項３】
前記特定手段で特定された各候補領域を連結する手段と、
前記候補領域夫々の視差に基づいて、連結された連結候補領域の視差の統計値を算出する手段と、
該手段で算出された統計値が所定の統計閾値より小さいか否かを判定する手段と
を備え、
前記抽出手段は、
前記統計値が前記統計閾値より小さいと判定された１又は複数の連結候補領域で構成される領域を障害物候補領域として抽出するように構成してあることを特徴とする請求項２に記載の障害物検出装置。
【請求項４】
車両前方を撮像する２つの撮像装置と、請求項２又は請求項３に記載の障害物検出装置とを備え、前記撮像装置で撮像して得られた２つの撮像画像を前記障害物検出装置で処理して車両前方の障害物の存在を検出することを特徴とする障害物検出システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周辺（例えば、前方）を撮像して得られた撮像画像を処理して歩行者、駐車車両などの障害物を検出する障害物検出方法、障害物検出装置、及び該障害物検出装置を備える障害物検出システムに関する。
【背景技術】
【０００２】
自動車などの車両に遠赤外線に感度を持つビデオカメラを搭載し、ビデオカメラで撮像した画像を二値化処理し、二値化処理した対象物までの距離を算出して車両前方の歩行者、動物などを抽出する車両周辺監視装置が提案されている（特許文献１参照）。
【０００３】
また、２つのカメラで撮像した画像の一方の画像を一定サイズのブロックに分割し、各ブロックを基準領域として他方の画像（参照画像）を検索し相関値を算出して、最も相関値が大きい対応領域を抽出し、基準領域と対応領域との視差を算出して、等距離ブロックをグループ化して歩行者を抽出する装置が提案されている（特許文献２参照）。
【特許文献１】特開２００４−１３５０３４号公報
【特許文献２】特開平０５−１１４０９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１の車両周辺監視装置にあっては、歩行者又は動物が車両周辺よりも温度が高いということを前提として、二値化閾値を設定して二値化処理を行うことにより歩行者等を抽出している。しかし、夏場又は昼間などにおいては、歩行者又は動物に比べて周囲の建物などの温度が高くなることが多く、二値化処理した場合に、歩行者又は動物が二値化閾値以上の輝度を有しないため、歩行者又は動物を精度良く抽出することができないという問題がある。
【０００５】
また、特許文献２の装置にあっては、ブロックを基準領域として他方の画像を検索する場合、画像全体のブロックについて検索処理を行う必要があり、相関値の算出、視差の算出などの処理量が膨大になるという問題がある。また、一方の画像をブロックに分割する場合に、単に機械的に画像を分割しているため、ブロック内の輝度が一様で特徴の少ないブロックを基準領域として検索を行った場合、参照画像中で対応領域の候補が複数抽出される可能性があり、精度良く歩行者を抽出することができないという問題がある。
【０００６】
本発明は、斯かる事情に鑑みてなされたものであり、２つの撮像装置で撮像した撮像画像の一方の撮像画像でエッジ点を検出し、エッジ点を含むブロック（小領域）を基準領域として他方の撮像画像（参照画像）を検索して対応領域を特定し、両者の視差に基づいて等距離のブロックをグループ化して障害物を検出することにより、夏場又は昼間に拘わらず歩行者、動物、駐車車両などの障害物を精度良く検出することができるとともに、処理量を従来よりも大幅に削減することができる障害物検出方法、障害物検出装置、及び該障害物検出装置を備える障害物検出システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
第１発明に係る障害物検出方法は、２つの撮像装置で取得したそれぞれの撮像画像を処理して障害物の存在を検出する障害物検出方法において、一方の撮像画像の各画素の画素値に基づいて、エッジ点を検出し、隣接するエッジ点を結合したエッジグループを特定し、特定したエッジグループを囲む領域を小領域に分割し、分割した小領域のうち、エッジ点を含む小領域毎に他方の撮像画像との間で相関値を算出し、算出した相関値に基づいて
、前記小領域に対応する対応領域を他方の撮像画像で特定し、前記小領域と対応領域との視差に基づいて、撮像装置から撮像対象までの距離が略等しい候補領域を特定し、特定した候補領域から障害物候補領域を抽出し、抽出した障害物候補領域の特徴量に基づいて障害物を検出することを特徴とする。
【０００８】
第２発明に係る障害物検出装置は、２つの撮像装置で取得したそれぞれの撮像画像を処理して障害物の存在を検出する障害物検出装置において、一方の撮像画像の各画素の画素値に基づいて、エッジ点を検出する検出手段と、該検出手段で検出された隣接するエッジ点を結合したエッジグループを特定する手段と、該手段で特定されたエッジグループを囲む領域を小領域に分割する分割手段と、該分割手段で分割された小領域のうち、エッジ点を含む小領域毎に他方の撮像画像との間で相関値を算出する手段と、該手段で算出された相関値に基づいて、前記小領域に対応する対応領域を他方の撮像画像で特定する手段と、前記小領域と対応領域との視差に基づいて、撮像装置から撮像対象までの距離が略等しい候補領域を特定する特定手段と、該特定手段で特定された候補領域から障害物候補領域を抽出する抽出手段と、該抽出手段で抽出された障害物候補領域の特徴量に基づいて、障害物を検出する手段とを備えることを特徴とする。
【０００９】
第３発明に係る障害物検出装置は、第２発明において、前記特定手段で特定された各候補領域を連結する手段と、前記候補領域夫々の視差に基づいて、連結された連結候補領域の視差の統計値を算出する手段と、該手段で算出された統計値が所定の統計閾値より小さいか否かを判定する手段とを備え、前記抽出手段は、前記統計値が前記統計閾値より小さいと判定された１又は複数の連結候補領域で構成される領域を障害物候補領域として抽出するように構成してあることを特徴とする。
【００１０】
第４発明に係る障害物検出システムは、車両前方を撮像する２つの撮像装置と、前述の発明のいずれかに係る障害物検出装置とを備え、前記撮像装置で撮像して得られた２つの撮像画像を前記障害物検出装置で処理して車両前方の障害物の存在を検出することを特徴とする。
【００１１】
第１発明、第２発明及び第４発明にあっては、２つの撮像装置で撮像した撮像画像の一方の撮像画像の各画素の画素値に基づいて、エッジ点を検出する。エッジ点検出のオペレータとしては、例えば、プルューウィット・オペレータを用いることができる。検出したエッジ点のうち隣接するエッジ点を結合したエッジグループを特定する。特定したエッジグループを囲む領域を小領域（ブロック）に分割する。例えば、エッジ画像における隣接するエッジ点をグループ化し、エッジグループを囲む矩形状の領域を特定し、その後、特定した領域を小領域に分割する。単純に隣接するエッジ点を結合するのみでは、異なる距離に存在する物体同士（例えば、歩行者と背景など）が結合する恐れがあるが、小領域に分割した後に距離情報を利用して再結合することにより、異なる距離に存在する物体を分離して検出することができる。分割した小領域（ブロック）のうち、エッジ点を含む小領域（以下、「エッジ領域」という。）を基準領域として、他方の撮像画像（参照画像）を検索し、相関値を算出する。参照画像中で相関値が最も大きい領域をエッジ領域に対応する対応領域として特定し、エッジ領域と対応領域との間の視差を算出する。エッジ領域毎に算出した視差に基づいて、撮像装置（例えば、２つの撮像装置の中間位置）から撮像対象までの距離が略等しいエッジ領域（候補領域）を１又は複数特定する。
【００１２】
特定したエッジ領域（候補領域）から障害物候補領域を抽出する。障害物候補領域は、例えば、略等距離のエッジ領域同士を結合することにより抽出することができる。抽出した障害物候補領域の特徴量（例えば、領域の大きさ、形状など）に基づいて障害物を検出する。これにより、エッジ点を含まない小領域（ブロック）については検索処理を行わず、エッジ点が存在する部分だけを用いて検索処理を行うため、処理量を削減することがで
きる。また、エッジ点を含まない小領域は特徴が少なく検索誤りを生じやすいため、これらの小領域に対して検索処理を行わないことで、検索誤りを抑止することができる。さらに、歩行者又は動物などの障害物と背景との間に輝度差があればエッジ点を検出することができ、輝度差は夏場又は昼間でも生じるため、歩行者又は動物などの障害物の輝度が周辺の輝度より大きいという条件も不要であり、夏場又は昼間であっても、精度良く障害物を検出することができる。
【００１３】
第３発明及び第４発明にあっては、特定された各候補領域を連結し、候補領域夫々の視差に基づいて、連結された連結候補領域の視差の統計値（例えば、平均値）を算出する。算出された統計値が所定の第２閾値より小さいか否かを判定し、統計値が所定の第２閾値より小さいと判定された１又は複数の連結候補領域で構成される領域を障害物候補領域として抽出する。これより、複数の連結候補領域の中から、視差の統計値（すなわち、撮像対象までの距離）が略同じものだけを抽出することができ、距離の異なる連結候補領域を除外して、略等距離の連結候補領域で構成される障害物候補領域を精度良く抽出することができる。
【発明の効果】
【００１４】
本発明にあっては、エッジ点を含まない小領域（ブロック）については検索処理を行わず、エッジ点が存在する部分だけを用いて検索処理を行うため、処理量を削減することができる。また、エッジ点を含まない小領域は特徴が少なく検索誤りを生じやすいため、これらの小領域に対して検索処理を行わないことで、検索誤りを抑止することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明をその実施の形態を示す図面に基づいて説明する。なお、以下の実施の形態では、撮像装置で撮像された画像に基づいて車両の前方に存在する歩行者を検出する場合を例として説明するが、本発明は、歩行者以外に動物、駐車中の車両などの障害物を検出する場合にも適用することができ、また、赤外線撮像装置を用いることもできる。
【００１６】
図１は本発明の実施の形態に係る障害物検出システムの構成を示す模式図である。本実施の形態では、車両の前方を撮像する撮像装置１、１を、車室内のルームミラー近傍に並置している。なお、撮像装置１、１は、波長が０．４〜０．８μｍの可視光を用いた撮像装置である。撮像装置１、１で撮像された画像データは、ＮＴＳＣ等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル７を介して接続してある障害物検出装置３へ送信される。なお、２つの撮像装置１、１で共通の撮像領域を撮像することで、三角測量の原理により撮像対象までの距離（すなわち、両撮像画像における撮像対象の視差）を求めることができる。
【００１７】
障害物検出装置３は、撮像装置１、１の他、操作部を備えた表示装置４とは、ＮＴＳＣ、ＶＧＡ、ＤＶＩ等の映像方式に対応したケーブル８を介して接続されており、音声、効果音等により聴覚的な警告を発する警報装置５等の出力装置とは、ＣＡＮに準拠した車載ＬＡＮケーブル６を介して接続されている。
【００１８】
図２は撮像装置１の構成を示すブロック図である。画像撮像部１１は、光学信号を電気信号に変換するＣＣＤ（Charge Couple Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子をマトリックス状に備えている。画像撮像部１１は、車両の周囲の可視光像を電気信号として読み取り、読み取った電気信号を信号処理部１２へ送信する。
【００１９】
信号処理部１２は、ＬＳＩであり、画像撮像部１１から受信した電気信号をデジタル信号に変換し、画像データとして画像メモリ１３へ記憶する。なお、画像データを画像メモ
リ１３へ一時記憶することは必須ではなく、映像出力部１４を介して直接障害物検出装置３へ送信しても良い。
【００２０】
映像出力部１４は、ＬＳＩであり、ＮＴＳＣ等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル７を介して障害物検出装置３に映像データを出力する。
【００２１】
図３は障害物検出装置３の構成を示すブロック図である。障害物検出装置３は、ＬＳＩ３１、画像メモリ３２、ＲＡＭ３３、映像入力部３４、映像出力部３５、通信インタフェース部３６などを備えている。
【００２２】
映像入力部３４は、撮像装置１、１から映像信号の入力を行う。映像入力部３４は、撮像装置１、１から入力された画像データを、１フレーム単位に同期させて画像メモリ３２に記憶する。また、映像出力部３５は、ケーブル８を介して液晶ディスプレイ等の表示装置４に対して画像データを出力し、通信インタフェース部３６は、車載ＬＡＮケーブル６を介してブザー、スピーカ、表示部等を備える警報装置５に対して合成音のための信号、文字表示のためのデータを送信する。歩行者が検出された場合、警報装置５で、例えば、「ＤＡＮＧＥＲ」なる文字を表示するとともに警告音を発するようにすることができる。また、検出された歩行者の画像を表示装置４で表示させることもできる。
【００２３】
画像メモリ３２は、ＳＲＡＭ、フラッシュメモリ、ＳＤＲＡＭ等であり、映像入力部３４を介して撮像装置１、１から入力された画像データを記憶する。
【００２４】
ＬＳＩ３１は、画像メモリ３２に記憶された画像データをフレーム単位で読み出し、読み出したフレーム単位の撮像画像（画像データ）に対して所定の画像処理を行う。例えば、ＬＳＩ３１は、一方の撮像画像におけるエッジ点検出処理、検出したエッジ点で構成されるエッジ画像で隣接するエッジ点をグループ化するエッジグループ化処理、エッジグループを囲む矩形領域をブロックに分割する分割処理、分割したブロックのうちエッジ点を含むものを基準領域として参照画像（他方の撮像画像）を検索して対応領域を特定する処理、基準領域と対応領域との視差に基づいて等距離ブロックをグループ化して歩行者候補領域を抽出する処理、特徴量などに基づいて歩行者判定を行う判定処理などを行う。ＬＳＩ３１での処理の詳細は後述する。
【００２５】
次に本発明の障害物検出装置３の動作について説明する。なお、障害物として歩行者を検出する例について以下に説明する。図４は障害物検出装置３の歩行者検出処理の手順を示すフローチャートである。
【００２６】
ＬＳＩ３１は、画像メモリ３２に記憶してある画像データをフレーム単位で読み出し（Ｓ１１）、読み出したフレーム単位の撮像画像のうちの一方の撮像画像（一方の撮像装置１で撮像して得られた撮像画像）の各画素の画素値（例えば、ＲＧＢ値、輝度値など）に基づいてエッジ点を検出する（Ｓ１２）。
【００２７】
図５はエッジ点検出に用いられるオペレータの一例である。図５に示すオペレータは、プルューウィット・オペレータであり、主として撮像画像の縦方向のエッジ点を検出することができる。なお、エッジ点検出のオペレータは、これに限定されるものではなく、他のオペレータを用いてもよい。
【００２８】
ＬＳＩ３１は、エッジ点を検出して得られたエッジ画像において、隣接するエッジ点をグループ化してエッジグループを抽出する（Ｓ１３）。
【００２９】
図６はエッジグループの一例を示す説明図である。図６に示すように、エッジグループ
は隣接するエッジ点で構成され、連続する直線又は曲線で表される。図６では、一例として、エッジグループＡ１、Ａ２、Ａ３、Ａ４、Ａ５などが抽出されている。
【００３０】
ＬＳＩ３１は、各エッジグループに外接する矩形領域を設定し、設定した矩形領域を所定の大きさ（例えば、４×４画素）のブロック（小領域）に分割する（Ｓ１４）。また、ＬＳＩ３１は、分割したブロックの中でエッジ点が含まれるブロック（エッジ領域）を後述の相関値の算出のために特定する。なお、ブロックの大きさは、上述の例に限定されない。
【００３１】
図７は分割されたブロックの例を示す説明図である。図７はエッジグループＡ１を分割した例を示すが、他のエッジグループについても同様である。図７に示すように、エッジグループＡ１は、３×５の１５個のブロックに分割され、分割されたブロックのうち、エッジ点を含む７個のブロック（図７中模様があるブロック）が特定されている。
【００３２】
ＬＳＩ３１は、エッジ領域を基準領域とし、他方の撮像画像（他方の撮像装置１で撮像して得られた撮像画像）を参照画像として、エッジ領域と対応する領域（対応領域）を参照画像内において特定する（Ｓ１５）。具体的には、エッジ領域と同じサイズの領域（参照領域）を参照画像内に設定して相関計算を行い、最も高い相関値を与える参照領域を対応領域として特定する。相関値の算出は、例えば、式１で表される式に基づいて行われる。
【００３３】
【数１】
2008165595.tif 000003
【００３４】
ここで、Ｎはエッジ領域及び参照領域における総画素数、ｋは零からＮ−１までの整数、Ｆｋはエッジ領域内におけるｋ番目の画素の輝度値、Ｇｋは参照領域におけるｋ番目の画素の輝度値、及びＲは相関値を表す。なお、相関値の算出方法は、これに限定されるものではなく、絶対差分総和法、正規化相互相関法など、どのような方法であってもよい。
【００３５】
ＬＳＩ３１は、エッジ領域と特定した対応領域との視差を算出する（Ｓ１６）。視差は、それぞれの撮像画像におけるエッジ領域又は対応領域の座標に基づいて算出することができる。
【００３６】
図８はエッジ領域毎の視差の算出例を示す説明図である。図８に示すように、エッジ領域に対応する対応領域との視差（括弧内の数値）が算出されている。右上から左下に向かうエッジ領域毎に視差は、「５」、「９」、「１１」、「１０」、「９」、「１０」、「１１」である。
【００３７】
ＬＳＩ３１は、各エッジ領域の視差の差（差分）を第１閾値（例えば、「３」）と比較し、視差の差（差分）が第１閾値よりも小さいエッジ領域同士をグループ化し、新たなエッジグループを再抽出する（Ｓ１７）。これにより、視差が「９」、「１１」、「１０」、「９」、「１０」、「１１」の各エッジ領域は、他のエッジ領域との視差の差が第１閾
値より小さいのでグループ化されるが、視差が「５」のエッジ領域は、他のエッジ領域との視差の差が第１閾値より大きいため除外される。ここで、視差の差が第１閾値より小さいということは、２つの撮像装置１、１で撮像された同じ撮像対象までの距離、より具体的には、２つの撮像装置１、１の光軸の中間位置から撮像対象までの距離が略等しいということである。
【００３８】
図９は視差に基づいて再抽出されたエッジグループの例を示す説明図である。図９に示すように、エッジグループＡ１のうち、視差が「５」のエッジ領域（図中破線で示されたブロック）は、異なる距離に存在するため除外され、新たにエッジグループＳ１が抽出されている。なお、この場合、エッジ点を含まないブロックを除外して、新たにエッジグループＳ１を抽出する構成とすることもできる。これより、複数のブロックの中から、視差（すなわち、撮像対象までの距離）が略同じものだけを抽出することができ、距離が異なる撮像対象の一部が重なって撮像されたような場合であっても、距離の異なる撮像対象を除外して、略等距離のエッジグループだけを精度良く特定することができる。
【００３９】
ＬＳＩ３１は、新たに再抽出したエッジグループＳ１の視差を、各エッジ領域の視差を平均化した平均値により算出する（Ｓ１８）。なお、平均値に代えて最頻値、中間値などの他の統計値を算出するようにしてもよい。また、ＬＳＩ３１は、他のエッジグループＡ２、Ａ３、…についても、上述の処理を行うことで、エッジグループＳ２、Ｓ３、…を再抽出する。
【００４０】
前述の図８でグループ化されたエッジ領域の視差が、それぞれ「９」、「１１」、「１０」、「９」、「１０」、「１１」であるから、図９に示すように、エッジグループＳ１の視差は、各視差の平均値である「１０」となる。
【００４１】
図１０は抽出されたすべてのエッジグループの例を示す説明図である。図に示すように、エッジグループＳ１、Ｓ２、…、Ｓ１０が抽出され、各エッジグループの視差は括弧内の数値で示される値である。
【００４２】
ＬＳＩ３１は、再抽出されたエッジグループ同士の視差を比較し、視差の差が第２閾値（例えば、「４」）以下のエッジグループ同士をグループ化し、歩行者候補領域として抽出する（Ｓ１９）。この際、撮像画像中の歩行者の大きさと視差（歩行者までの距離）との間には相関関係があるため、グループ化してしまうと歩行者の大きさとして不適切になるエッジグループ同士はグループ化せず、それぞれ別個の歩行者候補領域として抽出する。
【００４３】
図１１は歩行者候補領域の抽出例を示す説明図である。図１０において抽出されたエッジグループのうち、エッジグループＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５の視差が、それぞれ「１０」、「１１」、「１１」、「１０」、「９」であり、これらのエッジグループ同士がグループ化されて歩行者候補領域Ｖ１が抽出されている。また、エッジグループＳ６、Ｓ７、Ｓ８、Ｓ９の視差が、それぞれ「１０」、「１０」、「１１」、「１２」であり、これらのエッジグループ同士がグループ化されて歩行者候補領域Ｖ２が抽出されている。
【００４４】
エッジグループＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５の視差と、エッジグループＳ６、Ｓ７、Ｓ８、Ｓ９の視差とは、視差の差が小さいが、両者をグループ化した場合の歩行者候補領域は歩行者のサイズとして不適切であるため、別個の歩行者候補領域として抽出されている。また、エッジグループＳ１０の視差は「１６」であり、他のエッジグループの視差との差が大きいため、距離が異なる撮像対象であるとして別個の歩行者候補領域として抽出されている。なお、歩行者候補領域を抽出する場合、エッジグループを包含する領域を歩行者候補領域として抽出してもよく、また、エッジグループをすべて包含することなく、
エッジグループ全体の形状に応じて、所定の輪郭で構成される領域を歩行者候補領域として抽出することもできる。
【００４５】
ＬＳＩ３１は、抽出された歩行者候補領域の特徴量（例えば、形状、大きさなど）を抽出し、抽出した特徴量に基づいて歩行者判定を行い（Ｓ２０）、歩行者として適した特徴量を持つ歩行者候補領域を歩行者として検出する。なお、歩行者判定の処理には、例えば、サポートベクタマシン（ＳＶＭ）、ブースティング（Ｂｏｏｓｔｉｎｇ）など学習アルゴリズムを用いることができる。ＬＳＩ３１は、歩行者を検出した場合には、表示装置４に検出した歩行者を、例えば、矩形状の枠で囲んで強調表示することができる。あるいは、警報装置５で警告文字の表示及び警告音を発するように制御する。なお、抽出されるエッジグループ、特定されるエッジ領域、抽出される歩行者候補領域は、複数に限らず１個の場合もある。
【００４６】
以上説明したように、本発明にあっては、エッジ点を含まないブロックについては検索処理を行わず、エッジ点が存在するブロックだけを用いて検索処理を行うため、処理量を削減することができる。また、エッジ点を含まない小領域は特徴が少なく検索誤りを生じやすいため、これらの小領域に対して検索処理を行わないことで、検索誤りを抑止することができる。また、歩行者又は動物などの障害物と背景との間に輝度差があればエッジ点を検出することができ、輝度差は夏場又は昼間でも生じるため、歩行者又は動物などの障害物の輝度が周辺の輝度より大きいという条件も不要であり、夏場又は昼間であっても、精度良く障害物を検出することができる。また、距離が異なる撮像対象の一部が重なって撮像されたような場合であっても、距離の異なる撮像対象を分離して、略等距離のブロックだけを精度良く特定することができるとともに、複数のブロックをグループ化したエッジグループのうち、距離の異なるエッジグループを分離して、略等距離のエッジグループで構成される障害物候補領域（歩行者候補領域）を精度良く抽出することができる。
【００４７】
上述の実施の形態では、歩行者を検出する場合の例について説明したが、検出する障害物は歩行者に限定されるものではなく、動物、他の車両、道路上の異物などの障害物であっても、本発明を適用することができる。
【００４８】
上述の実施の形態では、可視光の撮像装置を用いる構成であったが、撮像装置はこれに限定されるものではなく、近赤外線、遠赤外線の撮像装置を用いる構成でもよい。近赤外線の撮像装置では、波長が０．８〜３μｍの近赤外光を取得し、遠赤外線の撮像装置では、波長が８〜１２μｍの遠赤外線を取得する。また、撮像装置の設置場所は、ルームミラー近傍に限定されず、バンパ内、フロントグリル内部などに設置することができる。
【図面の簡単な説明】
【００４９】
【図１】本発明の実施の形態に係る障害物検出システムの構成を示す模式図である。
【図２】撮像装置の構成を示すブロック図である。
【図３】障害物検出装置の構成を示すブロック図である。
【図４】障害物検出装置の歩行者検出処理の手順を示すフローチャートである。
【図５】エッジ点検出に用いられるオペレータの一例である。
【図６】エッジグループの一例を示す説明図である。
【図７】分割されたブロックの例を示す説明図である。
【図８】エッジ領域毎の視差の算出例を示す説明図である。
【図９】視差に基づいて再抽出されたエッジグループの例を示す説明図である。
【図１０】抽出されたすべてのエッジグループの例を示す説明図である。
【図１１】歩行者候補領域の抽出例を示す説明図である。
【符号の説明】
【００５０】
１  撮像装置
３  障害物検出装置
４  表示装置
５  警報装置
３１  ＬＳＩ
３２  画像メモリ
３３  ＲＡＭ
３４  映像入力部
３５  映像出力部
３６  通信インタフェース部
【図１】
2008165595.tif 000004
【図２】
2008165595.tif 000005
【図３】
2008165595.tif 000006
【図４】
2008165595.tif 000007
【図５】
2008165595.tif 000008
【図６】
2008165595.tif 000009
【図７】
2008165595.tif 000010
【図８】
2008165595.tif 000011
【図９】
2008165595.tif 000012
【図１０】
2008165595.tif 000013
【図１１】
2008165595.tif 000014