(57)【特許請求の範囲】
【請求項１】
共通の視野を有した基準画像と比較画像とから、前記両画像の共通の背景を構成する基準平面に対し高さのある物体を検出する物体検出装置において、
前記基準画像と前記比較画像が、それぞれ入力する一対の画像入力手段と、
前記基準平面を基準にして前記比較画像中の画素の位置を前記基準画像中の対応する画素の位置に投影変換して投影変換画像を生成する投影変換手段と、
前記投影変換された投影変換画像と前記基準画像から、前記物体の領域が残差として表れる投影差分画像を生成する画像比較手段と、
前記投影差分画像に基づいて、前記物体の検出を行うときの信頼度を示す多値の画素から構成された信頼度画像を生成する信頼度画像生成手段と、
前記信頼度画像の多値の画素の情報に基づいて前記物体の有無、または、位置を検出する物体構造検出手段と
を具備し、
前記信頼度画像生成手段において、
前記多値の画素は、高さの無い領域を表すクラス、高さがあることの信頼度が低い領域を表すクラス、高さがあることの信頼度が高い領域を表すクラスの少なくとも３種類にクラス分けされ、
前記物体構造検出手段は、
前記物体の有無は、前記高さがあることの信頼度が高い領域を表すクラスの情報を利用して判断し、
前記物体の位置は、前記高さがあることの信頼度が低い領域を表すクラスの情報と前記高さがあることの信頼度が高い領域を表すクラスの情報を同時に利用して判断する
ことを特徴とする物体検出装置。
【請求項２】
前記多値の画素は、さらに、前記物体の検出処理における適用外を表すクラスにもクラス分けされている
ことを特徴とする請求項１記載の物体検出装置。
【請求項３】
前記物体構造検出手段において、
前記投影差分画像に表れることが予想される前記物体の種類に対応した投影像モデルを前記信頼度画像へマッチングさせて、前記信頼度画像における前記物体の有無、または、位置を検出する
ことを特徴とする請求項１記載の物体検出装置。
【請求項４】
前記物体構造検出手段において、
前記投影差分画像に表れることが予想される前記物体の種類に対応した投影像モデルを前記信頼度画像へマッチングさせたときに、前記投影像モデルと前記信頼度画像の前記クラス分けされた画素の領域と重なった部分における前記クラス分けされた画素の数をそれぞれカウントして、前記各クラスのカウント数に基づいて、前記物体の有無、種類、または、位置を判断する
ことを特徴とする請求項１記載の物体検出装置。
【請求項５】
前記物体構造検出手段において、
前記投影像モデルは、上部領域、下部領域、後方の隣接領域から少なくとも構成され、
前記下部領域と前記各クラスのカウント数に基づいて前記物体の有無を判断し、
前記後方の隣接領域と各クラスのカウント数に基づいて前記物体の位置を判断する
ことを特徴とする請求項３記載の物体検出装置。
【請求項６】
共通の視野を有した基準画像と比較画像とから、前記両画像の共通の背景を構成する基準平面に対し高さのある物体を検出する物体検出方法において、
前記基準画像と前記比較画像が、それぞれ入力する一対の画像入力ステップと、
前記基準平面を基準にして前記比較画像中の画素の位置を前記基準画像中の対応する画素の位置に投影変換して投影変換画像を生成する投影変換ステップと、
前記投影変換された投影変換画像と前記基準画像から、前記物体の領域が残差として表れる投影差分画像を生成する画像比較ステップと、
前記投影差分画像に基づいて、前記物体の検出を行うときの信頼度を示す多値の画素から構成された信頼度画像を生成する信頼度画像生成ステップと、
前記信頼度画像の多値の画素の情報に基づいて前記物体の有無、または、位置を検出する物体構造検出ステップと
を具備し、
前記信頼度画像生成手ステップにおいて、
前記多値の画素は、高さの無い領域を表すクラス、高さがあることの信頼度が低い領域を表すクラス、高さがあることの信頼度が高い領域を表すクラスの少なくとも３種類にクラス分けされ、
前記物体構造検出ステップは、
前記物体の有無は、前記高さがあることの信頼度が高い領域を表すクラスの情報を利用して判断し、
前記物体の位置は、前記高さがあることの信頼度が低い領域を表すクラスの情報と前記高さがあることの信頼度が高い領域を表すクラスの情報を同時に利用して判断する
ことを特徴とする物体検出方法。
【請求項７】
共通の視野を有した基準画像と比較画像とから、前記両画像の共通の背景を構成する基準平面に対し高さのある物体を検出する物体検出方法をコンピュータによって実現するプログラムにおいて、
前記基準画像と前記比較画像が、それぞれ入力する一対の画像入力機能と、
前記基準平面を基準にして前記比較画像中の画素の位置を前記基準画像中の対応する画素の位置に投影変換して投影変換画像を生成する投影変換機能と、
前記投影変換された投影変換画像と前記基準画像から、前記物体の領域が残差として表れる投影差分画像を生成する画像比較機能と、
前記投影差分画像に基づいて、前記物体の検出を行うときの信頼度を示す多値の画素から構成された信頼度画像を生成する信頼度画像生成機能と、
前記信頼度画像の多値の画素の情報に基づいて前記物体の有無、または、位置を検出する物体構造検出機能と
をコンピュータによって実現し、
前記信頼度画像生成手機能において、
前記多値の画素は、高さの無い領域を表すクラス、高さがあることの信頼度が低い領域を表すクラス、高さがあることの信頼度が高い領域を表すクラスの少なくとも３種類にクラス分けされ、
前記物体構造検出機能は、
前記物体の有無は、前記高さがあることの信頼度が高い領域を表すクラスの情報を利用して判断し、
前記物体の位置は、前記高さがあることの信頼度が低い領域を表すクラスの情報と前記高さがあることの信頼度が高い領域を表すクラスの情報を同時に利用して判断する
ことを特徴とする物体検出方法のプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ステレオカメラで撮影した画像を処理する画像処理装置に関し、例えば、３次元距離測定、３次元物体再構成、３次元物体認識、交通監視システム、侵入者監視システム、車載カメラを用いた前方・後方・側方の障害物検出装置などの様々な画像処理装置及びその方法に関する。
【０００２】
【従来の技術】
ステレオ画像を入力とし、３次元計測や３次元物体認識、交通監視、侵入者監視、人物の移動軌跡解析、前方障害物検出などを行う様々な画像処理手法が提案されている。
【０００３】
交通監視のための画像処理や、自動車に搭載したカメラを用いた前方障害物検出などの問題は、「路面のような平面状の背景の中に存在する高さのある物体の検出」と定式化することができる。
【０００４】
この問題に対して、文献１（小野口一則：特開平１１−３２８３６５号の「画像監視装置及びその方法」）のように、まず路面を基準面と定め、２つのカメラで監視範囲を撮影し、一方の画像の基準面の画素の位置が他方の画像の基準面の画素の位置に等しくなるように投影変換し、２つの画像の比較をすることで、基準面に対して高さのある領域を検出する方法が提案されている。
【０００５】
さらに、文献１の方法を詳しく説明する。
【０００６】
まず、第２のカメラで撮影された画像の道路平面が、第２のカメラの画像の道路平面に一致するように、第１のカメラで撮影された画像を投影変換する。
【０００７】
次に、投影変換によって道路面の位置が一致した２つの画像の差分をとる。すると道路面上の領域、もしくは道路面に対して高さのない領域（例えば、影や、白線など）は、位置が一致するので、物体の像は輝度が相殺して残差が０になる。一方、道路面に対して高さのある物体の像は位置がずれるので、残差が現れる。
【０００８】
そして、この差分画像を２値化すると、高さのある領域だけが残差として現れる。
【０００９】
しかしながら、この文献１の方法を、実際の環境で撮影した画像に対して適用すると、残差領域には、高さのある領域だけでなく、いくらかの誤差領域が含まれてしまう。誤差領域が含まれると、その誤差領域を高さのある領域と誤認識することになる。その結果、交通監視システムも、前方障害物検出も誤認識が発生してしまう。
【００１０】
この誤差領域が発生する理由は、投影変換係数の誤差や、レンズの歪や、路面が厳密に平面状ではなく俵型をしていることなどによって起こる。理想的には投影変換によって完全に一致するはずの路面上の点が、これらの原因によって微小にずれることによって誤差領域が現れる。微小なずれがあると、例えば白線の輪郭線や、建物の影の輪郭線や、車両の影の輪郭線などに、誤差領域が現れる。
【００１１】
この誤差領域を除去するために、例えば小さな残差領域や、細長い残差領域を除去する方法を用いることが可能である。あるいは、画像を小さなブロックに分割し、小さなブロックを微小にずらしながら最も残差が小さくなる位置を求めて、微小な位置ずれを補償する方法を用いることが可能である。
【００１２】
しかしながら、このような誤差領域の整理を行うと、誤差領域だけでなく、同時に必要な残差領域の一部を除去してしまう問題が発生する。例えば交通監視システムに文献１の方法を適用すると、テクスチャが乏しく暗いトラックの背面や天井面などは、投影変換した画像と元の画像で変化が少ないので、残差が現れにくく検出が難しい。そこに誤差領域の除去処理を施すと、このような残差の現れにくい領域が、誤差領域の除去と同時に削除されてしまい、検出漏れを起こす場合がある。
【００１３】
このように、誤差領域を含んだ残差画像では、誤差領域を高さのある物体と誤認識してしまう問題や、誤差領域に影響されて物体の検出位置を誤る問題がある。
【００１４】
一方、誤差領域を削除した残差画像では、残差の現れにくい障害物や監視対象の認識漏れを起こしたり、必要な誤差領域の一部が欠落するために検出位置を誤る問題がある。
【００１５】
【発明が解決しようとする課題】
以上説明したように、監視範囲内に基準面を定め、２つのカメラで監視範囲を撮影し、一方の画像の基準面の画素の位置が他方の画像の基準面の画素の位置に等しくなるように投影変換して、基準面に対して高さのある領域を検出する方法では、投影変換係数の誤差やレンズ歪や基準面が厳密に平面でないために、誤差領域が表れる問題がある。
【００１６】
誤差領域が存在すると、誤差領域を高さのある物体と誤認識してしまう問題や、検出位置を誤る問題がある。
【００１７】
また、誤差領域を削除すると、一部の障害物や監視対象の認識漏れを起こしたり、検出位置を誤る問題がある。
【００１８】
そこで、本発明は、監視範囲内に基準面を定め、２つのカメラで監視範囲を撮影し、一方の画像の基準面の画素の位置が他方の画像の基準面の画素の位置に等しくなるように投影変換して、基準面に対して高さのある領域を検出する方法を適用して確実に高さのある物体を検出する物体検出装置、及び、その方法を提供する。
【００１９】
【課題を解決するための手段】
請求項１の発明は、共通の視野を有した基準画像と比較画像とから、前記両画像の共通の背景を構成する基準平面に対し高さのある物体を検出する物体検出装置において、前記基準画像と前記比較画像が、それぞれ入力する一対の画像入力手段と、前記基準平面を基準にして前記比較画像中の画素の位置を前記基準画像中の対応する画素の位置に投影変換して投影変換画像を生成する投影変換手段と、前記投影変換された投影変換画像と前記基準画像から、前記物体の領域が残差として表れる投影差分画像を生成する画像比較手段と、前記投影差分画像に基づいて、前記物体の検出を行うときの信頼度を示す多値の画素から構成された信頼度画像を生成する信頼度画像生成手段と、前記信頼度画像の多値の画素の情報に基づいて前記物体の有無、または、位置を検出する物体構造検出手段とを具備し、前記信頼度画像生成手段において、前記多値の画素は、高さの無い領域を表すクラス、高さがあることの信頼度が低い領域を表すクラス、高さがあることの信頼度が高い領域を表すクラスの少なくとも３種類にクラス分けされ、前記物体構造検出手段は、前記物体の有無は、前記高さがあることの信頼度が高い領域を表すクラスの情報を利用して判断し、前記物体の位置は、前記高さがあることの信頼度が低い領域を表すクラスの情報と前記高さがあることの信頼度が高い領域を表すクラスの情報を同時に利用して判断することを特徴とする物体検出装置である。
【００２８】
本発明では、投影変換された比較画像と基準画像を比較する際に、２つの画像の差分画像を２値化して処理するのでなく、差分画像を多値の信頼度画像に変換して処理する。
【００２９】
この結果、例えば、差分画像の２値化により得られた領域の情報と、誤差領域を削除しても残った領域の情報を、１つの画像として同時に処理することができるようになった。また、多値化することで、マスキング処理など他の処理を施した画素に異なる画素値を付与することができるようになった。このように、１つの画像に同時に沢山の情報を統合することが可能になった。
【００３０】
多値の信頼度画像を利用することで、物体の存在性（有無）は「高さがあることの信頼度の高い領域」の情報を用いて判定することができ、高さがあることの信頼度の低い領域を物体と誤認識することが無くなる。
【００３１】
高さがあることの信頼度の低い領域の情報であっても、高さのあることの信頼度の高い領域を内部に含むことや、高さのあることの信頼度の高い領域の連続性などを判断することで、残差の表れにくい対象であっても、検出漏れを防ぐことができる。
【００３２】
物体の位置の検出は、高さがあることの信頼度の低い領域の情報と、高さがあることの信頼度の高い情報を合わせて利用することで、検出位置の誤りを防ぐことができる。
【００３３】
以上により、監視範囲に存在する物体の存在性（有無）の判断を正しくすることができ、物体の位置の検出精度も高めることができる。
【００３４】
この結果を利用することで、車載カメラからの前方障害物検出の性能を向上させることが可能になり、また、交通監視システムや侵入者監視システムなどの物体検出の性能を高めることが可能になる。
【００３５】
【発明の実施の形態】
以下、本発明の一実施形態を図面に基づいて説明する。
【００３６】
（実施例１）
図１は、本発明の一実施例を示す物体検出装置１０の基本構成図である。
【００３７】
図３は、物体検出装置１０の実施される形態の１つである、交通監視システム模式図である。図５は、実施例１の入力画像及びその処理過程における画像を示している。
【００３８】
図１に示すように、物体検出装置１０は、２つの画像入力部１２、１４、基準画像生成部１６、投影変換画像生成部１８、画像比較部２０、信頼度画像生成部２２、マスク画像記憶部２４、物体構造検出部２６から構成されている。なお。これら各装置は、コンピュータに記憶されたプログラムによって下記で説明する機能を実現する。
【００３９】
これら各装置の機能の概略を段階に分けて説明する。
【００４０】
画像入力部１２、１４、基準画像生成部１６、投影変換画像生成部１８、画像比較部２０が、平面投影ステレオ法によって投影差分画像や残差画像を生成する（第一段階の処理）。
【００４１】
信頼度画像生成部２２、マスク画像記憶部２４は、信頼度画像を生成する（第二段階の処理）。
【００４２】
物体構造検出部２６は、マッチング処理によって車両を検出する（第三段階の処理）。
【００４３】
（１）第一段階の処理
（１−１）各装置の役割
上記したように、第一段階の処理は、平面投影ステレオ法によって投影差分画像や残差画像を生成する。
【００４４】
画像入力部１２，１４は、図３に示すように、道路をまたぐように設置された枠体に固定された２台のカメラから画像がそれぞれ入力する。
【００４５】
基準画像生成部１６は、左カメラに接続された画像入力部１２から画像データが入力して、この画像を基準画像とする。この基準画像は、平面投影ステレオ法に用いられる。
【００４６】
投影変換画像生成部１８は、右カメラに接続された画像入力部１４から画像データが入力して、この画像から平面投影ステレオ法に用いられる投影変換画像を生成する。
【００４７】
画像比較部２０は、基準画像、投影変換画像を用いて、下記で説明する平面投影ステレオ法によって投影差分画像や残差画像を生成する。
【００４８】
（１−２）平面投影ステレオ法の説明
まず、本発明で用いる重要な原理である「平面投影ステレオ法」について説明する。
【００４９】
図３のように、カメラ２台を視差がつくように横に配置して固定カメラ系を構成する。片方を基準画像（図５：上段左）、他方を比較画像（図５：上段右）とする。本実施例では、左カメラの映像を基準画像とし、右カメラの映像を比較画像とする。
【００５０】
カメラの投影関係を図４とする。このとき、それぞれのカメラの投影関係は斉次座標系を用いて以下の式で表される。
【００５１】
【数１】
0003808727.tif 000002
【数２】
0003808727.tif 000003
（２）式の変換行列Ｔは、路面上の対応点の座標をサンプルし最小二乗法を用いて解く事ができる。変換行列Ｔは２つのカメラ間の相対位置によって決まる。交通監視システムの様な監視を目的としたシステムではカメラ位置が固定されるので、この変換行列Ｔも固定されている。また、車載画像処理システムの場合でも２つのカメラ間は固定されているので、変換行列Ｔも固定されている。従って、変換行列Ｔはカメラ設置時に求めておけばよい。
【００５２】
（２）式の関係式は、路面と同じ平面上に存在する点に対してのみ成り立ち、路面と同じ平面上に存在しない点では成り立たない。
【００５３】
入力した比較画像の全画素に対して（２）式の投影変換を施す。この画像を投影変換画像と呼ぶことにする（図５：下段左）。（２）式の関係は路面上の点でしか成り立たないので、路面に対して高さのある物体は基準画像中の対応点とは異なる位置に変換される。ここで基準画像と投影変換画像の差分をとる。この処理を「投影差分処理」と呼び、生成される画像を「投影差分画像」と呼ぶことにする（図５：下段右）。
【００５４】
投影差分画像では、高さのある領域が残差として現れる。一方、影などの路面上にある物体は輝度が相殺するので残差が無い。投影差分画像をしきい値で２値化する。２値化した画像を残差画像と呼ぶ。残差画像には路面に対して高さのある領域が表れる。
【００５５】
以上の処理方法を「平面投影ステレオ法」と呼ぶ。
【００５６】
（２）第二段階の処理
上記第一段階の処理の後、第二段階の処理である信頼度画像を生成する処理を信頼度画像生成部２０で行う。以下、その処理について順番に説明する。
【００５７】
（２−１）マッチングの必要性
まず、信頼度画像の生成処理を説明する前に、第３段階の処理であるマッチング処理の必要性について説明することにより、このマッチング処理に信頼度画像が有用であることを説明する。
【００５８】
残差画像には高さのある領域が表れるが、残差画像中の物体の形状は通常の投影像と異なり変形した像になる。一般に高さのある領域ほど、（２）式の関係を満たさなくなるので、高さのある領域ほど投影画像中では横にずれる。したがって、投影差分画像中では、高さの高い物体ほど横に広がった形状になる。
【００５９】
例えば、交通監視システムの画像では、車両が横に広がった形に投影される。横に広がるために、画像中に車両が複数存在するとお互いが重なる場合もある。したがって、車両を個別に切り分けたり、位置を認識する場合は、投影差分画像を２値化してラベリング処理を行うだけでは所望の結果が得られない場合がある。
【００６０】
交通監視システムの例では、画像中には多数の車両が存在することが普通であるし、システムの目的としても個々の車両の位置を正しく検出する必要がある。また、障害物検出システムであれば、画像中で障害物の位置を検出する必要がある。つまり、一般的にシステムを構成した場合には平面投影ステレオ法で高さのある領域を検出しただけでは不足であり、残差画像や投影差分画像に表れた領域の形状から車両領域を識別する処理が必要になる。
【００６１】
車両領域を識別するためには、車両が残差画像や投影差分画像の中でどのような形状になるかを、モデルとして保有しておき、このモデルを残差画像や投影差分画像にマッチングすることで識別するという処理が有効である。
【００６２】
交通監視システムに適用することを考えた場合は、車両の検出段階に注力すべきと考えられる。
【００６３】
その理由は、車両が遠方に進行するに従って、車両同士が単眼のカメラを用いた画像に比べて早く重なりあってしまうからである。車両の検出に関しては、影などの誤検出がないために、平面投影ステレオ方法は有利であるが、車両の追跡能力は単眼のカメラの画像処理に比べると不利である。
【００６４】
そこで、本発明は、車両の検出能力が高いことを生かして、画像内に進入した車両を早く確実に正しく検出する部分を担当することにする。そして、本発明のの装置の次に、本発明の画像処理装置で検出した車両領域を、単眼カメラの画像処理システム（例えば、正規化相関による領域追跡装置）を用いて追跡するという、システム構成をとる。このようにすれば、画像内の車両の移動軌跡を検出することが可能になる。
【００６５】
また、このシステム構成をとれば、マッチング処理では、「画像に最も新しく進入した車両領域を検出する」処理が実行できれば良くなる。つまり、奥行き方向に沢山の車両が撮影されていたとしても、最も大きく写っている最も手前の車両が１台だけ検出できれば良いことになる。このような条件をつけたマッチング処理は、簡単になり、以下に説明する手順で実現できる。
【００６６】
マッチング処理を想定すると、投影差分画像から単に２値化された残差画像を得るのでなく、マッチング処理に適した中間画像を生成することが効果的になる。
【００６７】
そこで本実施例では、路面に対して高さのあることの信頼性を示す「信頼度画像」を生成し、それに対してマッチング処理を施す。
【００６８】
（２−２）信頼度画像の生成
以下、信頼度画像処理部２２が、信頼度画像を生成する処理について説明する。
【００６９】
基準画像と比較画像に平面投影ステレオ法を適用すると、投影差分画像が得られる。投影差分画像を２値化した画像を残差画像Ａと呼ぶことにする。理想的な条件では、残差画像Ａには路面に対して高さのある領域（すなわち車両の領域）しか現れないが、実際の入力画像に対する残差画像Ａには、車両の領域だけでなく、いくらかの誤差領域が含まれる（図７：上段左）。
【００７０】
誤差領域は、例えば白線の輪郭線、車両の影の輪郭線、建物の影の輪郭線などに表れる。輪郭線に誤差領域が表れるのは、投影変換係数の誤差や、レンズの歪や、路面が厳密には平面でなく俵型をしているために投影変換した比較画像の位置と基準画像の位置が微小にずれるためである。
【００７１】
一方、マッチング処理に不要な領域とは、路側帯の植え込みやガードレールや対向車線の車両などである。
【００７２】
そこで、これらの誤差領域やマッチング処理に不要な領域を除去する。誤差領域や不要な領域の除去は、位置が固定されている領域と位置が変化する領域に分けて処理する。
【００７３】
（２−２−１）位置が固定されている誤差領域の除去
まず、位置が固定されている誤差領域をマスキング処理により除去する。
【００７４】
第１のマスキング処理で除去する対象は、路面の両側にある植え込みの領域や対向車線の領域である。これらの領域は、車両を検出する上では不要である。今、カメラを固定カメラ系と仮定すれば、これらの画像中の位置も固定される。そこで、路面の外の領域をマスキングして、処理範囲から除外する。
【００７５】
第２のマスキング処理で除去する対象は、白線の輪郭付近に表れる誤差領域である。誤差領域は白線の輪郭付近だけに表れるが、除去は白線全体とその輪郭線付近を合わせて同時に行う。カメラが固定カメラ系であれば、白線の位置は画像中で固定されているので、マスキング処理により処理範囲から除外できる。
【００７６】
マスキング処理のためのマスク画像は、予め撮影したサンプル画像をマスク画像記憶部２４に記憶させておき、そこから手動でサンプル画像を呼び出してきて位置を指定して作成する。
【００７７】
（２−２−２）位置が変化する誤差領域の除外
次に、位置が変化する誤差領域を除外する。位置が変化する誤差領域は、ブロックマッチングの手法を用いて除去する。
【００７８】
投影変換の微小なズレのために表れる誤差領域には、白線の位置の様に画像中で固定されるものもあるが、その位置が変化するものがある。
【００７９】
例えば、車両自身の影は車両の移動と共に移動する。
【００８０】
また、植え込みやポールの影、ガードレールの影なども、太陽の移動に伴って移動する。
【００８１】
さらに、天候の変化によって照明条件が変化すると、影のコントラストが変化したり、影自体が消失する場合もある。
【００８２】
従って、このような誤差領域はマスキング処理でなく、ブロックマッチングの手法を用いて除去する。
【００８３】
ブロックマッチングは以下のような手順で処理する。
【００８４】
ステップ１において、投影変換画像をブロック状の小領域に分割する。
【００８５】
ステップ２において、第２に、分割されたそれぞれの小領域の位置（ｘ，ｙ）を、基準画像中で（Δｘ，Δｙ）だけ小さくスライドさせながら、小領域内の２つの画像の輝度差の絶対値和（ＳＡＤ）を求め、最小の残差となる位置を探索する。
【００８６】
ステップ３において、第３に、求めた最小の残差を、その小領域の残差とする（図６）。
【００８７】
ステップ４において、第４に、小領域の残差をしきい値で２値化すると、スライド量以下の小さな位置誤差が吸収されて、誤差領域が削除される。
【００８８】
以上のようにして、位置が変化する誤差領域が除外される。
【００８９】
（２−２−３）残差画像の多値化
マスキングとブロックマッチングによって誤差領域と不要な領域を削除した画像を（図７：上段右）に示す。これを残差画像Ｂと呼ぶことにする。
【００９０】
ブロックマッチング処理を施した残差画像Ｂは、誤差領域やマッチングに不要な領域が除去されているが、画像的に差の小さな部分も同時に除去されてしまっている。画像的に差の小さな部分とは、具体的には、例えば車両の下回りの暗い部分や、黒幌トラックの車体や、流線型の乗用車の車体や、ジェラルミンのトラックの背面などのテクスチャが乏しい部分である。このようなテクスチャの乏しい部分は、投影変換しても（テクスチャが乏しいので）テクスチャに変化が無く、投影変換画像と元の画像にほとんど差が無い。そのために、ブロックマッチング処理を施すとこれらの領域も除去されてしまう。このように、残差画像Ｂは、車体の一部が欠落しているので投影像のマッチングを行う際に悪影響がある。
【００９１】
一方、残差画像Ａは、誤差領域が多く残っているので、そのままでは投影像のマッチング処理を適用できない。
【００９２】
そこで、残差画像を以下の様に多値に拡張して、残差画像Ａと残差画像Ｂの両方の特徴を有する新しい残差画像を作成する。新しい残差画像の画素値を以下の４つのクラスに定義する。この４つのクラスが、高さのある物体の検出を行うときの信頼度を示す指標となる。
【００９３】
ａ０  残差無しの場合の画素
ａ１  マスキングされている場合の画素
ａ２  高さがあることの信頼度の低い残差の場合の画素
ａ３  高さがあることの信頼度の高い残差の場合の画素
多値化した残差画像を（図７：下段左）に示す。これを残差画像Ｃと呼ぶことにする。図７を拡大して各部位の説明を加えた図を図８に示す。
【００９４】
「ａ０」クラスは、残差が無い領域に付与する画素値であり、この領域は高さが無いことを示す。
【００９５】
「ａ１」クラスは、マスキングされている領域に付与する画素値である。
【００９６】
「ａ２」クラスは、残差のある領域で、高さがあることの信頼度の低い領域に対して付与する画素値である。
【００９７】
「ａ３」クラスは、残差のある領域で、高さがあることの信頼度の高い領域に対して付与する画素値である。
【００９８】
残差画像Ｃでは、残差画像Ａの残差領域が多値のクラスに分類されている。すなわち、４つのクラスで表された画素とは、多値化（４値化）された画素値を有する画素のことである。
【００９９】
１）  監視対象外の領域は、マッチングに不要なので残差無しのクラス「ａ０」に分類する。このようにマッチングに不要な領域は「ａ０」に分類できる。
【０１００】
２）  監視対象内だが、白線の領域の様に、マスキングした領域をクラス「ａ１」に分類する。
【０１０１】
３）  残差画像Ａでは残差領域であったが、ブロックマッチング処理など、誤差領域を削除する処理によって削除された領域をクラス「ａ２」に分類する。この領域は、とりあえず誤差領域として削除したが、実際には高さのある領域を誤って削除した可能性もある。そこでクラス「ａ２」は、「高さのあることの信頼性が低いが、高さが無いとは言い切れない画素」であると言える。クラス「ａ２」の画素を、以後の説明では「信頼度の低い残差」と呼ぶ。
【０１０２】
４）  「ａ３」は、残差画像Ａの残差領域であり、誤差領域の削除処理を行っても残った残差領域である。この領域は「高さのあることの信頼性が高い画素」であると言える。クラス「ａ３」の画素を、以後の説明では「信頼度の高い残差」と呼ぶ。
【０１０３】
この残差画像Ｃを、以後「信頼度画像」と呼ぶ。
【０１０４】
（２−２−４）変更例
上記実施例では、ａ０、ａ１、ａ２、ａ３の４つの多値化を行っているが、３つの多値化を行う場合には、マスキングをされているａ１の多値を省略して行えばよい。このときの物体検出装置１０は、図２のようにマスク画像記憶部２４を有しない構造となる。
【０１０５】
（３）第三段階の処理
上記第二段階の処理によって、信頼度画像が生成されたので、信頼度画像に対して車両の投影像モデルをマッチングすることで、車両の位置と台数を検出する。
【０１０６】
ここでマッチングに必要な車両投影像モデルを準備する。
【０１０７】
（３−１）車両投影像モデルの準備
車両投影像モデルは、信頼度画像、つまり投影差分画像や残差画像に表れることが予想される車両像を、予め２次元のシルエット形状でモデル化した投影像である。モデル投影像は物体構造検出部２６に記憶されている。
【０１０８】
（３−１−１）車両投影像モデルの作成
車両投影像モデルは、乗用車やトラックなど車両の３次元モデルとカメラパラメータに従って、投影差分画像に表れる車両の投影像を数学的に作成する。具体的な手順は以下のようになる。
【０１０９】
ステップ１において、予め２台のカメラのカメラパラメータを計測しておく。ステップ２において、次に、カメラパラメータに基づいて、基準画像と比較画像のそれぞれで車両の投影像を作成し、比較画像の投影像を投影変換する。
【０１１０】
ステップ３において、投影変換した比較画像の投影像と、基準画像の投影像と重ね合わせて投影差分画像の投影像を作成する。ここでマッチング処理を簡単にするために、投影像の輪郭を６角形で近似する。これを投影像モデルとする。
【０１１１】
図９は、以上の手順を模擬した模式図である。
【０１１２】
図９では荷台付きトラックを模擬している。乗用車や小型トラックなどの像も同様に生成できる。投影像は車両の形式ごとに変化するが、実際上は大型車と小型車の２種類の像を用意しマッチング処理を工夫することで対応可能である場合が多い。処理能力に余裕がある場合には、各種の車両形式に応じて車両投影像を多数準備してマッチング処理を行う方が、確実に車両が認識できるようになる。
【０１１３】
ここで、モデルの生成のためにはカメラパラメータや、車両の３次元モデルが必要になるが、このパラメータは一般的なステレオ画像処理で要求されるほど精密なデータである必要はなく、図９のような車両の像が生成できれば良い。
【０１１４】
（３−１−２）車両の位置を考慮した場合の車両投影像モデルの作成
ところで、車両の投影像は車両の形式だけでなく、その画像中の位置によって変化する。
【０１１５】
例えば手前（画像の下）の車両は大きい投影像になり、奥（画像の上）の車両は小さい投影像になる。また、奥行きの変化により、車両の天井と背面の見え方に変化がある。また、左右方向の移動に伴っても投影像の形状は変化する。
【０１１６】
しかし、マッチング処理を考慮すると、マッチングする位置（探索位置）に対してその投影像は車種ごとに一意に決まる。つまり、マッチングする位置の全てに対して、その投影像モデルを準備したとしても投影像の数は多いが処理量が増える訳ではない。従って、記憶容量に問題がなければ全ての探索位置に対して、車種別にその車両投影像モデルを記憶しマッチング処理を実行すれば良い。
【０１１７】
実際には、記憶容量に制約のある場合があるので、全ての探索位置で車両投影像モデルを準備しておくのでなく、予め標本化した位置ごとに車両投影像モデルを準備する方法をとる。
【０１１８】
図１０に示すように、画像の横方向は、車線ごとに車両投影像モデルを準備する。例えば３車線の道路を監視対象とするならば、車線ごとに３種類の車両投影像モデルを準備する。
【０１１９】
また、画像の縦方向は、画像を縦にいくつかのゾーンに分割し、ゾーンごとに投影像を用意する方法がある。例えば画像を縦に１２のゾーンに分割すれば、実用上は問題ない。
【０１２０】
以上のように、車種、横方向、縦方向、それぞれについて標本化して車両投影像モデルを生成し記憶する。例えば、車種を２種（大型、小型）、横方向を３種（３つの車線）、縦方向を１２種（１２のゾーン）に標本化した場合には、画像が３×１２＝３６のゾーンに分割され、１つのゾーンにつき２種類のモデルを記憶、７２通りの車両投影像を記憶すれば済むことになる。
【０１２１】
図１１は標本化された車両投影像モデルの、一部の例を示している。図１１では、車種を大型車と普通車の２種に標本化しており、３つの車線ごとの像を表示している。実際には、縦方向の位置の違いによるバリエーションも必要になる。
【０１２２】
（３−１−３）車両投影像モデルへの部分領域の付加
以上のように、車両投影像モデルの基本形が生成されるが、マッチングの精度を向上させるために、車両投影像モデルに部分領域を付加する。
【０１２３】
まず、交通監視システムでは車両の移動軌跡や速度を抽出することが目的になるので、車両の画像中の位置として車両の後方の端点の位置を正しく検出することが重要になる。なぜなら、車両の３次元位置を正しく算出するためには、車両領域の接地点、すなわち車両の後方の端点の位置が必要だからである。
【０１２４】
そこで、図１２の様に、投影像モデルの輪郭線の内部を「上部領域」と「下部領域」に分割する。「上部領域」と「下部領域」の分割線の位置は、投影像モデルの６角形の高さに対してパラメータで設定した比に基づいて設定する。ここで図１２では、図の上方を進行方向とする。
【０１２５】
次に、図１２の様に、車両の後方に「後方の隣接領域」を設定する。後方の隣接領域は６角形で近似した投影像モデルの輪郭線の下辺の両端を、６角形の高さに対してパラメータで設定した比だけ延長する、などと設定する。
【０１２６】
また、車両の左右の位置を正確に検出するために、図１２の様に「右の隣接領域」と「左の隣接領域」を設定する。左右の隣接領域は、投影像モデルの輪郭線の左右の辺を、６角形の幅に対してパラメータで設定した比だけ延長する、などと設定する。
【０１２７】
これらの部分領域と隣接領域の扱い方についてはマッチング処理の段落で説明する。
【０１２８】
（３−２）車両投影像モデルのマッチング
以上の様に生成した車両投影像モデルを、マッチング対象の画像である「信頼度画像」（残差画像Ｃ、例えば図７：下段左）にマッチングすることで、車両の存在性（有無）の判断とその位置が決定できる。
【０１２９】
マッチングは以下に示す様に階層的に５層のループ（Ｌｏｏｐ）を構成する。これらループでは、車両投影像モデルの投影像が信頼度画像にマッチしているか評価する処理が行われる。ループ内の繰り返し処理を行いながら、最も評価値の高いマッチング結果を選択する処理を繰り返す。
【０１３０】
ループの階層構造は以下の構成である。この階層構造はこれに限られたものではなく、要するに全ての車種と位置に対してマッチング処理を行い、最も良い結果を選択すればよい。
【０１３１】
ループ１  車種ごとに探索
ループ２  車線ごとに探索（第１車線から第３車線）
ループ３  ゾーンごとに探索
ループ４  ゾーン内の上下位置の探索
ループ５  左右位置の探索
このループの流れを簡単に説明すると、ループ１において大型か小型かを判断し、ループ２において大型と判断した中で第１、第２、第３車線かを判断し、ループ３において大型で第１車線と判断した中でどのゾーンかを判断し、ループ４において大型で第１車線で８のゾーンと判断した中で、ゾーン内の上下位置を判断し、ループ５において大型で第１車線で８のゾーンでゾーンの上の位置と判断した中で左右位置を判断する。
【０１３２】
（３−３）マッチングの評価値の算出
上記のループにおけるマッチングの評価を行う処理の手順について説明する。
【０１３３】
本実施例のマッチングは一般的な２値画像に形状をマッチングする処理と異なり、多値の残差画像に対して投影像のモデルをマッチングする処理である。多値の残差画像を用いることから、マッチングの評価を以下の示す４つのカウンタを用いて行う。
【０１３４】
ｅ０  残差なしの画素数をカウントした数
ｅ１  信頼度の高い残差の画素数をカウントした数
ｅ２  信頼度の低い残差の画素数をカウントした数
ｅ３  車線領域をはみ出した画素数をカウントした数
このように、信頼度の違いによって評価カウンタを分けることができるのが本実施例の特徴である。
【０１３５】
このマッチングの評価を行うステップでは、車両投影像モデルの投影像の位置が設定され、このモデルの位置に対する、信頼度画像の適合性の良さを評価することになる。そこで、投影像モデルの各部分領域ごとに、信頼度画像の残差画素（高信頼残差と低信頼残差の２種類ある）をカウントする処理を行うことになる。この時、各ライン（走査線）ごとに以下の条件に基づいてそれぞれのカウンタを加算する。
【０１３６】
＜条件１＞
もし、自車線内で「信頼度の高い残差画素」が存在するならば、ｅ１に「信頼度の高い残差画素」の画素数を加え、ｅ２に「信頼度の低い残差画素」の画素数を加える。このとき、投影像モデルが隣接する車線にはみ出していた場合は、はみ出した画素に関しても同様に、それぞれのクラスごとに、ｅ１，ｅ２に画素数を加える。
【０１３７】
＜条件２＞
もし、自車線内で「信頼度の高い残差画素」が存在しないならば、ｅ１，ｅ２ともカウントしない。
【０１３８】
この条件１，２を「自車線存在条件」と呼ぶことにする。
【０１３９】
自車線存在条件の概念図を図１３に示した。図１３は「注目しているライン」上で、それぞれの例の場合に残差をカウントするか、しないかを例として示している。
【０１４０】
（ａ）の例は「注目しているライン」に、自車線内で「信頼度の高い残差」が存在するので、残差をカウントする。
【０１４１】
一方、（ｂ）（ｃ）（ｄ）の例は、いずれも「注目しているライン」に、自車線内で「信頼度の高い残差」が存在しないのでカウント対象にならない。特に、（ｂ）の例では、投影像の下部の領域では自車線条件を満たしているが、「注目しているライン」では自車線条件を満たしていないので、「注目しているライン」に関してはカウント対象にならない。
【０１４２】
自車線条件は、「信頼度の高い残差画素」が存在することを条件（条件２）に、「信頼度の高い残差画素」及び「信頼度の低い残差画素」の両方をカウントする条件（条件１）である。すなわち「信頼度の高い残差画素」が存在しなければ評価は０であるので、物体の存在性（有無）の判断が「信頼度の高い残差画素」に依存していることになる。また、後で説明するが、物体の位置を決定する際には「信頼度の高い残差画素」及び「信頼度の低い残差画素」の両方を加えた評価値で決定するので、物体の位置の決定は両方の残差を用いて判断することになる。
【０１４３】
まとめると、物体の存在性（有無）の判断には、高さがあることの信頼度の高い領域の画素の情報を用いて判断した。また、物体の位置の決定には、高さがあることの信頼度の高い領域の画素と、信頼度の低い領域の画素の両方を同時に用いて判断した。
【０１４４】
ここに、残差領域を信頼度で多値化した効果が現れている。
【０１４５】
「自車線存在条件」は、特に大型車の場合に効果を発揮する。大型車は車両の高さがあるために、その車両投影像モデルは隣接する車線に大きくはみ出す。
【０１４６】
例えば、車両は第２車線に存在し、第３車線には存在しないとする。ここで第３車線に車両が存在すると仮定して車両投影像をマッチングする。仮定した車両投影像の中心は第３車線であるが、車両投影像は隣接する第２車線にもはみ出している。実際の車両は第２車線に存在するが、第２車線にはみ出してきた領域で、第３車線の車両投影像のマッチング評価量に寄与してしまう。このような、誤ったマッチングの寄与を防ぐために「自車線存在条件」は有効に機能する。
【０１４７】
マッチングの評価値の算出の際には、６角形のモデル内部の適合画素数のカウントだけでなく、後方や左右の隣接領域の適合画素数のカウントも同時に行う。後方や左右の隣接領域の適合画素数のカウントも、「自車線存在条件」を考慮してカウントする。
【０１４８】
ここで、左右の隣接領域の残差画素をカウントする場合、隣接領域の一部が白線のためにマスキングされている場合がある。このような場合は図１４で示すように、白線を飛び越した領域に代替の領域を設定して、残差画素をカウントする。
【０１４９】
（３−４）マッチングの評価値の判断
投影像モデル内のカウントが済んだ評価値に対して、その適合性の検証と比較を以下の様に行う。
【０１５０】
（３−４−１）車両投影像モデルの隣接領域条件の検証
マッチングの評価は、図１２で示した各部分領域の条件を順にチェックして、全ての条件を満たすマッチング候補の中から最も評価値の高い候補を選択する処理を行う。
【０１５１】
（３−４−１−１）下部領域の評価
前述したように、マッチングにあたっては車両の後方の端点が正しく求まることが重要なので、車両投影像モデルの輪郭線内部の下部領域が正しくマッチングすることが必要になる。
【０１５２】
そこで、まず下部領域の適合画素数が十分な密度であるか検証する。
【０１５３】
Ｂを下部領域、ＮＢ  を下部領域の面積、Ｂ’を下部領域において自車線存在条件を具備した領域としたとき、（３）式の評価値Ｖ１  を求める。
【０１５４】
【数３】
0003808727.tif 000004
なお、（３）式の右辺の分子は、Ｂ’の領域におけるｅ１とｅ２の総和を示している。
【０１５５】
そして、このＶ１が、予め設定したしきい値Ｔｈｒ１  より大きい場合には、条件を具備しているとして、次の評価を行う。
【０１５６】
（３−４−１−２）後方の隣接領域の評価
次に、後方の隣接領域の残差画素数が十分低い密度であるか検証する。
【０１５７】
車両投影像モデルが正しくマッチングしている場合、後方の隣接領域には残差画素が殆ど存在しないはずである。そこで、Ｒを後方の隣接領域、ＮＲ  をその領域の面積、Ｒ’を後方の隣接領域において自車線存在条件を具備した領域としたとき、（４）式の評価値Ｖ２  を求める。
【０１５８】
【数４】
0003808727.tif 000005
なお、（４）式の右辺の分子は、Ｒ’の領域におけるｅ１とｅ２の総和を示している。
【０１５９】
そして、このＶ２が予め設定したしきい値Ｔｈｒ２  より小さい場合には、次の評価を行う。
【０１６０】
（３−４−１−３）左右の隣接領域の評価
次に、左右の隣接領域を評価する。
【０１６１】
左右の隣接領域は、後方の隣接領域と異なり、正しいマッチングであっても、左右の隣接領域に残差画素が存在する場合がある。例えば、大型車が隣接する車線に並走した場合や、車両の投影像がモデルの横幅より大きな車両であった場合である（モデルの幅が大きい場合だけでなく、高さが高い場合も、投影の効果で横幅が大きくなる場合がある）。
【０１６２】
そこで、左右の隣接領域に対する判断は、モデルの車種によって処理が変わる。まず、左右の隣接領域に残差画素が存在するか判断する。そこで、Ｓを左または右の隣接領域、ＮＳ  をその領域の面積、ＭＳ  をその領域内でマスキングによって除去された画素の数としたとき、（５）式の評価値Ｖ３  が予め設定したしきい値Ｔｈｒ３  より大きいことをチェックする。
【０１６３】
【数５】
0003808727.tif 000006
ここで、マスキングによって除去された画素の数を分母から引くのは、左右の隣接領域には白線領域が含まれることが多く、ここは実際上はノーカウントの領域となっているために、密度を計算する場合は分母から差し引くのが合理的であるからである。
【０１６４】
評価値Ｖ３  によって、左右の隣接領域に残差画素が存在すると判定された場合、モデルが普通車の場合は「大型車の一部にマッチングされた状態である」と判断してこのマッチング候補を棄却する。
【０１６５】
一方、モデルが大型車の場合は、評価値Ｖ３  によって、左右の隣接領域に残差画素が存在すると判定された場合でも、投影像モデルの下部領域に十分な密度の残差領域が存在しているならば「大型車が並走している状態である」と判断してこのマッチング結果を認める。
【０１６６】
すなわち、予め定めたしきい値Ｔｈｒ４  を用いて以下の様に判断する。
【０１６７】
【表１】
0003808727.tif 000007
大型車で、左右の隣接領域の密度が高くても候補を棄却しない場合が存在するのは、自車線と隣接車線に車両が並走する場合があるからである。輪郭線内部に適合画素が存在するのが、隣接車線からのはみ出しでなく、確かに自車線に車両が存在することを判断するために、新たなしきい値Ｔｈｒ４  を導入している。
【０１６８】
以上の様に車両投影像モデルの隣接領域の条件を検証した上で、最終的に最もよく当てはまる位置の候補を選択する。
【０１６９】
（３−４−２）車両位置の決定
このステップは車両の位置を決定するステップである。
【０１７０】
このステップでは、評価値は基本的に適合した画素の数で行い、モデルの面積に対する比では行わない。面積比で比較すると、相対的に小さな投影像が有利になってしまうからである。面積比で比較すると、例えば、黒い幌付きのトラックなどのように投影像が大きくて、内部に残差領域の欠落がある車両は、密度が低くなるので検出が難しくなる。
【０１７１】
すなわち、（６）式の評価値Ｖ５  を用いて、最も良い位置の候補を選択する。
【数６】
0003808727.tif 000008
前述したループの階層構造でマッチング処理を行っている場合には、車種ごとかつ車線ごとに最も良い位置の候補が検出される。
【０１７２】
ここで、位置の示す手段としては、例えば、下部領域の下端の線の中央部の座標値を用いる。この座標値は、画像の横方向をｘ軸、縦方向をｙ軸として（ｘ，ｙ）で表す。
【０１７３】
なお、重なり合った候補が得られた場合には、高い評価値を得た候補に統合する。統合処理の方法はいくつか考えられるが、単純に（６）式のＶ５  が大きい方に統合する方法がある。車線ごとに得られる結果は、個別に得られた結果をそのまま並列に出力してよい。
【０１７４】
最終的に、（７）式の評価値Ｖ６  （密度）が、しきい値Ｔｈｒ６  より大きいことをチェックして、通過した候補（車両投影像モデル）を最終出力とする。
【０１７５】
【数７】
0003808727.tif 000009
以上で１フレーム（１対のステレオ画像）の入力に対する処理が終了する。
【０１７６】
これによって、どの車種が、どの車線で、どの位置に存在するかが確実に判断することができる。
【０１７７】
（実施例２）
実施例１では、信頼度画像を用いた評価方法に関して、モデル内部の密度の評価や隣接領域の密度の評価だけを行ったが、他にも信頼度画像を用いて評価できる項目がある。
【０１７８】
例えば、モデルのマッチング精度を向上させるためにマッチングの左右バランスのチェックを行う場合がある。この場合は、モデルの位置の決定であるので、信頼度の低い残差画素の情報を合わせて処理することが有効である。
【０１７９】
マッチングの左右バランスのチェックは、例えば、図１５に示すように、車両投影像モデルの６角形から中心線を設定し、輪郭線の内部を左右の領域に分割すればできる。左右のそれぞれの領域に含まれる残差画素数をカウントしてその比を計算し、比が定めた範囲にあるかを検証することで判断できる。
【０１８０】
（実施例３）
信頼度画像を用いた別の例として、下部領域からモデルの形状を上部に拡張する方法について説明する。
【０１８１】
実施例１では大型車モデルと普通車モデルの２種だけを用いる例を説明したが、実際には中型車など様々な車両が存在する。
【０１８２】
中型車に普通車モデルを当てはめると、輪郭線の前方にさらに残差領域があるにも関わらず、モデルの当てはめができなくなる。また、中型車に大型車モデルを当てはめると、上部の領域があまってしまい、悪い場合には上部領域に前方の車両の一部が含まれてしまう。
【０１８３】
そこで、車両の投影像は一度に６角形のモデル全部の領域をカウントするのでなく、下部領域でマッチングさせた後で、残差領域の連続性をチェックしながら上部の領域に拡張する方法が効果的になる場合がある。
【０１８４】
このように、下部領域から上部領域に投影像モデルを拡張する場合も、信頼度画像の活用が非常に効果的である。
【０１８５】
図１６は、下部領域から上部にモデルを拡張する方法の説明図である。
【０１８６】
今、投影像モデルの輪郭線は大型車のモデルであるとして、残差領域に表れた中型の大きさの車両にマッチングしている状況であるとする。
【０１８７】
領域を拡張する場合でも、投影像モデルの輪郭線は必要であるし、この輪郭線を超えないように拡張することが必要になる。
【０１８８】
その理由は、境界線なしに、単純に連続する領域を接続していくと重なった車両が一つの塊になってしまい、止め処なく大きくなってしまうからである。車両の投影像モデルが大型車の３次元モデルから生成されているならば、この輪郭線を超えて接続することは無い。このような意味で投影像モデルの輪郭線は重要な情報である。
【０１８９】
さて、いま輪郭線内部の下部領域に十分な残差画素の密度があり、後方の隣接領域の０画素の密度も定めたしきい値より低い密度であったとする。ここで下部領域から領域を情報に拡張する。拡張の条件は「注目するラインに、信頼度の高い残差画素が存在すること」とする。条件を満たす場合には、信頼度の高低を問わず両方の残差画素を評価量にカウントする。
【０１９０】
図１６の例では横の線（Ｌ）の位置までは拡張されるが、Ｌより上には信頼度の高い残差画素が無いので拡張されない。
【０１９１】
このような場合でも信頼度画像が有効に活用される。
【０１９２】
（実施例４）
これまでの実施例では、信頼度画像の信頼度のレベルは「高」「低」の２値しかなかったが、さらに多値に拡張する方法もある。
【０１９３】
（１）第１の方法
投影差分画像の差分値をそのまま信頼度に用いれば、入力画像と同じだけの多段階の信頼度画像を構成できる。
【０１９４】
（２）第２の方法
２値化した残差画像（例えば図７の残差画像Ａや残差画像Ｂ）を用いて、ある画素の周囲に存在する残差画素の個数を８近傍でカウントして、その数を信頼度とする方法もある。
【０１９５】
この方法であれば、細い線状の領域は信頼度は１から２程度になり、塊状の領域の中心部分の信頼度は８などになる。
【０１９６】
（３）第３の方法
時間的な継続性を評価して継続時間を信頼度にする方法もある。
【０１９７】
例えば、残差画像Ａを基準に、注目した画素が残差画素として継続した時間を計る。
【０１９８】
例えば、１０フレーム前から連続して残差画素であれば、信頼度１０になり、現フレームで初めて残差画素になった画素であれば信頼度１になる。継続時間が２００を超えたら信頼度は２００にするなどと設定できる。
【０１９９】
（４）第４の方法
信頼度にマイナスの値を付与することもできる。
【０２００】
ある位置が、路面平面より低い位置であり、残差が現れたとしても間違いなく誤差領域であることが、予め分かっている位置に対しては、残差が表れても値を正負逆にしてマイナスの信頼度を付与することもできる。
【０２０１】
その部分に関しては、信頼度０であることと意味は同じだが、近傍領域の処理で、当該位置には誤差が発生しているを信頼度の値を利用して情報伝達できる効果などがある。
【０２０２】
【発明の効果】
以上により、監視範囲に存在する物体の存在性（有無）の判断を正しくすることができ、物体の位置の検出精度も高めることができる。
【０２０３】
この結果を利用することで、車載カメラからの前方障害物検出の性能を向上させることが可能になり、また、交通監視システムや侵入者監視システムなどの物体検出の性能を高めることが可能になる。
【図面の簡単な説明】
【図１】本発明の実施例１の物体検出装置の構成図である。
【図２】実施例１の変更例の構成図である。
【図３】システムの概念図である。
【図４】投影関係図である。
【図５】入力画像と投影差分の説明図であり、上段左は左カメラの像であり、上段右は右カメラの像であり、下段左は右カメラの像を投影変換した像であり、下段右は投影差分画像である。
【図６】ブロックマッチングによる誤差領域の除去方法の説明図である。
【図７】残差画像の説明図であり、上段左は残差画像Ａ（２値化した投影差分画像）、上段右は残差画像Ｂ（マスキングとブロックマッチングにより誤差領域と不要な領域を削除した画像）、下段左は残差画像Ｃ（多値化された残差画像）である。
【図８】残差画像の説明図である。
【図９】車両投影像モデルの生成方法を説明する図である。
【図１０】画像をブロックに分割する例である。
【図１１】車両投影像モデルの例である。
【図１２】車両投影像モデルの詳細図である。
【図１３】自車線条件の概念図である。
【図１４】左右の隣接領域をチェックする処理の模式図である。
【図１５】バランスチェックの模式図である。
【図１６】下部領域から上部にモデルを拡張する方法の説明図である。
【符号の説明】
１０    物体検出装置
１２    画像入力部
１４    画像入力部
１６    基準画像生成部
１８    投影変換画像生成部
２０    画像比較部
２２    信頼度画像生成部
２４    マスク画像記憶部
２６    物体構造検出部
【図１】
0003808727.tif 000010
【図２】
0003808727.tif 000011
【図３】
0003808727.tif 000012
【図４】
0003808727.tif 000013
【図５】
0003808727.tif 000014
【図６】
0003808727.tif 000015
【図７】
0003808727.tif 000016
【図８】
0003808727.tif 000017
【図９】
0003808727.tif 000018
【図１０】
0003808727.tif 000019
【図１１】
0003808727.tif 000020
【図１２】
0003808727.tif 000021
【図１３】
0003808727.tif 000022
【図１４】
0003808727.tif 000023
【図１５】
0003808727.tif 000024
【図１６】
0003808727.tif 000025