(57)【特許請求の範囲】
【請求項１】
画像から動きベクトルを検出する動きベクトル検出部と、
前記検出した動きベクトルの回転成分を算出する回転成分算出部と、
前記算出した回転成分に基づいて、前記検出した動きベクトルに対して回転補正を行い、当該回転補正した動きベクトルのスケールファクタ付きの相対並進成分を算出する回転補正部と、
前記スケールファクタ付きの相対並進成分の逆数を算出するとともに、当該相対並進成分の逆数の分散を算出する分散算出部と、
前記算出した分散に基づいて、前記動きベクトルが示す前記画像内の対象物が立体物か否かを判定する判定部と、
を備える立体物判定装置。
【請求項２】
前記判定部は、
前記算出した分散が閾値以下の場合には、前記対象物を前記立体物と判定し、当該分散が閾値を超える場合には、前記対象物を影と判定する
請求項１に記載の立体物判定装置。
【請求項３】
座標を変換する座標変換処理部を更に備え、
前記動きベクトル検出部と、前記回転成分算出部と、前記回転補正部は、それぞれ路面の水平方向に対して所定の角度で動作し、
前記座標変換処理部は、
前記回転補正部で回転補正がされた動きベクトルに対して、水平方向の仮想カメラ座標系に変換し、
前記分散算出部は、
前記座標変換された仮想カメラ座標に基づいて、前記並進成分の逆数の分散を算出し、
前記判定部は、
当該分散算出部で算出した分散に基づいて、前記対象物が前記立体物か否かを判定する
請求項１または２に記載の立体物判定装置。
【請求項４】
自車が直進している場合には、
前記回転成分算出部は、
前記動きベクトルの回転成分がないものとして取り扱い、
前記回転補正部は、
前記検出した動きベクトルに対して回転補正を行わず、
前記分散算出部は、
前記動きベクトル検出部で検出した動きベクトルまたは前記回転補正部で回転補正していない動きベクトルから前記相対並進成分の逆数の分散を算出し、
前記判定部は、
当該分散算出部で算出した分散に基づいて、前記対象物が前記立体物か否かを判定する
請求項１から３のいずれか１項に記載の立体物判定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施の形態は、立体物判定装置に関する。
【背景技術】
【０００２】
最近、自動車などの車両の運転を支援するための技術として、走行中の車両と道路上の対象物との衝突の可能性を判定する技術の開発が行われている。この種の技術に、車両に搭載されたカメラによって撮像された画像に基づいて、画像内の対象物が道路上の平面物体か立体物かを判定する技術がある。
【０００３】
例えば、車両に搭載されたカメラによって撮像された画像を用いる場合、車両の動きが分かれば、道路上の平面物体について撮像される画像を予測することが可能である。この場合、予測された画像と実際に撮像された画像とを比較して、撮像された画像が予測された画像と一致した場合には、画像内の対象物を道路上の平面物体と判定し、撮像された画像が予測された画像と一致しない場合には、その画像内の対象物を道路上の立体物と判定することができる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−２２２６７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上述したように、車両の動きが分かれば、静止している道路上の被写体（路面被写体）の動きは予測可能である。そのため、その予測される被写体の画像とそれ以外とを判別することにより、被写体の画像が路面被写体か立体物かを判別することはできる。しかしながら、道路上に投影された影は、道路と車両の相対位置関係や、照明（光源）の位置に依存して現れる。したがって、車両の動きを測定しただけでは、影の動きを予測することができないため、道路上に投影された影を立体物と誤判定する可能性がある。
【０００６】
例えば、自車の影が画像内に撮像されている場合を考える。自車の動きから次の影画像の動きを予測するが、実際の自車の影画像は画像内ではほとんど動かない。したがって、予測と実際とでは影画像が一致しないため、自車の影を立体物と誤判定してしまうことがある。
【課題を解決するための手段】
【０００７】
本実施の形態に係る立体物判定装置は、上述した課題を解決するために、画像から動きベクトルを検出する動きベクトル検出部と、前記検出した動きベクトルの回転成分を算出する回転成分算出部と、前記算出した回転成分に基づいて、前記検出した動きベクトルに対して回転補正を行い、当該回転補正した動きベクトルのスケールファクタ付きの相対並進成分を算出する回転補正部と、前記スケールファクタ付きの相対並進成分の逆数を算出するとともに、当該相対並進成分の逆数の分散を算出する分散算出部と、前記算出した分散に基づいて、前記動きベクトルが示す前記画像内の対象物が立体物か否かを判定する判定部と、を備える。
【図面の簡単な説明】
【０００８】
【図１】本実施の形態に係る車両用画像処理装置の一例を示す全体構成図。
【図２】カメラ座標系におけるカメラ投影面と路面との関係を示す説明図。
【図３】第１の実施の形態に係る立体物判定部が、カメラにより取得された画像から、リアルタイムに立体物判定処理を行う手順を示したフローチャート。
【図４】第２の実施の形態に係る車両用画像処理装置の一例を示す全体構成図。
【図５】路面に対して角度θ０でカメラを車両に配設した場合の説明図。
【図６】第２の実施の形態に係る立体物判定部が、カメラにより取得された画像から、リアルタイムに立体物判定処理を行なう手順を示したフローチャート。
【発明を実施するための形態】
【０００９】
以下、本実施の形態に係る立体物判定装置について、添付図面を参照して説明する。
（第１の実施の形態）
【００１０】
図１は、本実施の形態に係る車両用画像処理装置１０の一例を示す全体構成図である。
【００１１】
車両用画像処理装置１０は、カメラ１１、立体物判定部１２、記憶部１３、表示部１４およびスピーカ１５などを備えて構成されている。
【００１２】
カメラ１１は、車両に設けられており、その車両の進行方向や周辺を撮像する機能を有している。このカメラ１１は、配設された車両の周囲の画像を取り込んで画像信号を生成すると、生成された画像信号を立体物判定部１２に送出するようになっている。
【００１３】
また、カメラ１１は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどにより構成されている。自車両の前方を監視する場合、カメラ１１は、車室内のルームミラー付近あるいは車両前部のナンバープレートやフロントグリルなどの付近に配設される。自車両の後方を監視する場合、カメラ１１は、車両後部のナンバープレート付近に配設される。また、車両の側方を監視する場合には、カメラ１１はサイドミラー付近に配設される。また、カメラ１１には、より広範な車両外の画像が取得可能なように広角レンズや魚眼レンズが取り付けられていてもよい。また、車両用画像処理装置１０に設けられるカメラ１１の個数は、１つに限定されるものではなく、複数のカメラを車両に配設して広範な車外周囲画像を取り込むようにしてもよい。
【００１４】
立体物判定部１２は、カメラ１１から取得した画像信号に基づき、動きベクトルを検出する。立体物判定部１２は、検出した動きベクトルから種々の計算を行い、画像内の対象物が立体物か否かを判定するようになっている。また、立体物判定部１２は、画像処理ＥＣＵ（Electronic Control Unit）として、ＣＰＵ、ＲＡＭおよびＲＯＭなどの記憶媒体などにより構成されている。画像処理ＥＣＵのＣＰＵは、ＲＯＭなどの記憶媒体に記憶された画像処理プログラムおよびこのプログラムの実行のために必要なデータをＲＡＭへロードし、このプログラムに従って、カメラ１１により取得された画像からリアルタイムに道路上（路面上）の対象物を立体物か否か（すなわち路面）を判定する。
【００１５】
なお、立体物判定部１２を構成する画像処理ＥＣＵのＲＡＭは、ＣＰＵが実行するプログラムおよびデータを一時的に格納するワークエリアとして使用される。また、立体物判定部１２を構成する画像処理ＥＣＵのＲＯＭなどの記憶媒体は、画像処理プログラムや、これらのプログラムを実行するために必要な各種データを記憶するようになっている。また、これらの記憶媒体は、磁気的もしくは光学的記録媒体または半導体メモリなどのＣＰＵにより読み取り可能な記録媒体を含んだ構成を有し、これら記憶媒体内のプログラムおよびデータの一部または全部は、図示しないネットワーク接続部を介して電子ネットワークを介してダウンロードされるように構成してもよい。
【００１６】
この立体物判定部１２の機能の詳細については、別途、説明する。
【００１７】
記憶部１３は、立体物判定部１２によってデータの読み書きが可能な不揮発性のメモリであり、立体物判定部１２の内部で算出される分散と比較するための所定の閾値をあらかじめ記憶している。この閾値は、画像から検出された動きベクトルに基づいて、画像内の対象物が立体物か否かを判定する値となっている。なお、閾値は、電子ネットワークを介して、または光ディスクなどの可搬型記憶媒体を介して、適宜、更新される形態であってもよい。
【００１８】
表示部１４は、立体物判定部１２の判定結果に従って、立体物と衝突する可能性があることを示す衝突警告情報などの各種情報を表示する。表示部１４は、運転者が視認可能な位置に設けられ、車載用の一般的なディスプレイやカーナビゲーションシステム、ＨＵＤ（Head Up Display）などの表示出力装置を用いて構成されている。
【００１９】
スピーカ１５は、立体物判定部１２の判定結果に従って、立体物と衝突する可能性があることを示す衝突警告情報などの各種音声情報を出力する。
【００２０】
次に、立体物判定部１２の機能の詳細について説明する。
【００２１】
図１に示すように、立体物判定部１２は、動きベクトル検出部２１、回転成分算出部２２、回転補正部２３、分散算出部２４および判定部２５などを備えて構成されている。
【００２２】
動きベクトル検出部２１は、カメラ１１によって撮像された画像から動きベクトルを検出するようになっている。なお、動きベクトルとは、カメラ１１で撮像された任意の撮像画像を基準のフレームとして、その基準のフレームと前または次に撮像された画像との比較から画面上の移動量を算出したものをいう。
【００２３】
回転成分算出部２２は、動きベクトル検出部２１で検出された動きベクトルから、カメラ１１（自車両）の回転成分を算出するようになっている。
【００２４】
回転補正部２３は、動きベクトル検出部２１で検出された動きベクトルに対して、回転成分算出部２２で算出された回転成分に基づいて回転補正を行うようになっている。これにより、回転補正部２３は、検出された動きベクトルについてスケールファクタ付きの相対並進成分（以下、これをスケールファクタ付き並進成分という。）を算出することができる。なお、相対並進成分とは、カメラ１１（自車両）から見た対象物の移動速度を意味する。例えば、対象物が静止していれば自車速度そのものになる。また、対象物が移動していればその移動速度と自車速度の和となる。
【００２５】
また、スケールファクタ付き並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚとは、対象物の相対並進成分Ｔｘ、Ｔｙ、Ｔｚを、その対象物のＺ軸の座標値（ｚ）で除した値である。このため、相対並進成分Ｔｘ、Ｔｙ、Ｔｚが同一であれば、遠くにある（ｚ座標値が大きい）ものほどスケールファクタ付き並進成分が小さくなる。
【００２６】
分散算出部２４は、スケールファクタ付き並進成分逆数算出部３１と、並進成分分散算出部３２とを有している。スケールファクタ付き並進成分逆数算出部３１は、回転補正部２３で算出されたスケールファクタ付き並進成分の逆数を算出するようになっている。並進成分分散算出部３２は、算出されたスケールファクタ付き並進成分の逆数から、分散と平均を算出するようになっている。
【００２７】
判定部２５は、分散算出部２４で算出された分散に基づいて、画像内の対象物が立体物か否かを判定するようになっている。なお、立体物か否かを判定する判定方法は、算出された分散と記憶部１３に格納されている所定の閾値と比較することにより行われる。具体的には、その分散が所定の閾値以下の場合にはその対象物は立体物であると判定され、一方、その閾値を超える場合にはその対象物は立体物ではない（すなわち路面上の絵柄や影など）と判定されるようになっている。また、この閾値は、固定値に限定されるものではなく、時間や時期、季節などの変動に応じて、変動させるようにしてもよい。
【００２８】
次に、立体物判定部１２を構成する各部の機能について、カメラ座標系を用いた基本的な原理とともに説明する。
【００２９】
図２は、カメラ座標系におけるカメラ投影面４１と路面４２との関係を示す説明図である。なお、本実施の形態に係る車両用画像処理装置１０は、カメラ座標系のみを用い、世界座標系を併用しないため、座標系の相互変換等の処理が不要である。
【００３０】
図２に示すように、カメラ座標系（Ｘ、Ｙ、Ｚ）は、カメラ１１のカメラ中心を原点とする右手座標系である。カメラ座標系のＺ軸は、カメラ１１の光軸に一致し、Ｘ軸とＺ軸は、路面４２と平行となるように設定されている。また、Ｙ軸は、路面４２と垂直になるように設定されている。
【００３１】
カメラ投影面４１は、カメラ座標系においてｚ＝ｆの面である。ｆは、カメラ１１の焦点距離である。カメラ１１は、カメラ投影面４１に投影される車両周囲を撮像する。
【００３２】
ここで、対象物のある点Ｐのカメラ座標系の三次元座標をＰ（Ｘｉ、Ｙｉ、Ｚｉ）として、点Ｐのカメラ投影面４１に投影された点ｐの座標をｐ（ｘｉ、ｙｉ、ｚｉ）とした場合の関係は、次式で表わされる。
【００３３】
Xi=zixi/f        （１）
Yi=ziyi/f        （２）
Zi=zi            （３）
【００３４】
動きベクトル検出部２１は、ブロックマッチング法や勾配法などを用いて、カメラ１１により撮像された画像から、画素ごとに動きベクトル（ｕ、ｖ）を算出する。
【００３５】
また、回転成分算出部２２は、算出した動きベクトル（ｕ、ｖ）に基づいて、Ｒｘ、Ｒｙ、Ｒｚを算出する。以下、具体的に説明する。
【００３６】
カメラ投影面４１上の動きベクトル（ｕ、ｖ）は、次式を用いて表わせることが知られている。
【００３７】
u = xy(1/f)Rx−(x2+y2)(1/f)Ry+yRz−f(Tx/z)+x(Tz/z)                  （４）
v = (x2+y2)(1/f) Rx−xy(1/f)Ry−xRz−f(Ty/z)+y(Tz/z)                （５）
【００３８】
ここで、ｘ、ｙはカメラ投影面４１上のｘｙ座標値、ｚはｚ座標値、すなわち、カメラ中心から対象物Ｐまでの距離を表わす。また、Ｒｘ、Ｒｙ、Ｒｚ、Ｔｘ、Ｔｙ、Ｔｚは運動パラメータであり、Ｒｘ、Ｒｙ、Ｒｚは車両の回転成分を表わし、Ｔｘ、Ｔｙ、Ｔｚは自車と点Ｐとの相対並進成分を表わす。
【００３９】
車両の回転成分Ｒｘは、Ｘ軸中心の回転成分であり、自車のピッチング成分を表わす。また、Ｒｙは、Ｙ軸中心の回転成分であり、自車のヨーイング成分を表わす。ヨーイングは、主に舵角時（自車の曲進時）に発生する。Ｒｚは、Ｚ軸中心の回転成分であり自車のローリング成分を表わす。
【００４０】
また、式（４）および式（５）は、それぞれ次式のように変形できる。
【００４１】
u−xy(1/f)Rx+(x2+y2)(1/f)Ry−yRz = −f(Tx/z)+x(Tz/z)           （６）
v−(x2+y2)(1/f) Rx+xy(1/f)Ry+xRz = −f(Ty/z)+y(Tz/z)           （７）
【００４２】
式（６）および式（７）において、左辺は、動きベクトル（ｕ、ｖ）を回転成分で補正したものである。
【００４３】
ここで、式（６）の式（７）に対する比を求めると、次式（８）が導かれる。
【００４４】
[u−xy(1/f)Rx+(x2+y2)(1/f)Ry−yRz]/[ v−(x2+y2)(1/f) Rx+xy(1/f)Ry+xRz]
= (x−x0)/(y-y0)                （８）
ただし、    x0=fTx/Tz
y0=fTy/Tz
対象が静止物であれば、x0,y0は一定の収束点（FOE）として求めることができる。
【００４５】
したがって、車両の回転成分Ｒｘ、Ｒｙ、Ｒｚを３つの未知数と考えれば、３つ以上の点（画素）の動きベクトル（ｕ、ｖ）を観測することにより、回転成分算出部２２は、式（８）に基づいて、車両の回転成分Ｒｘ、Ｒｙ、Ｒｚを算出することができる。
【００４６】
なお、回転成分Ｒｘ、Ｒｙ、Ｒｚは、車速データや舵角データなどの車両情報やジャイロセンサなどから求めることもできる。
【００４７】
次に、回転補正部２３では、カメラ光軸がＺ軸と一致し、カメラの中心は路面に平行に移動すると仮定し、並進成分Ｔｘ＝０、Ｔｙ＝０とする。そして、式（６）および式（７）にこれらを代入して、それぞれ次式のように変形できる。
【００４８】
[u−xy(1/f)Rx+(x2+y2)(1/f)Ry−yRz]x = (Tz/z)           （９）
[v−(x2+y2)(1/f) Rx+xy(1/f)Ry+xRz]y = (Tz/z)           （１０）
【００４９】
回転補正部２３では、この回転補正した動きベクトル（ｕ、ｖ）を示す式（９）および（１０）から、スケールファクタ付き並進成分（Ｔｚ／ｚ）を算出する。
【００５０】
ここで、図２を参照すると、被写体ＰＳは、Ｐ１、Ｐ２、Ｐ３・・・ＰＮなどから構成される路面４２に垂直な被写体として実線で示され、被写体ＱＳは、Ｑ１、Ｑ２、Ｑ３・・・ＱＮなどから構成される路面４２上の被写体として破線で示されている。
【００５１】
被写体ＰＳは、路面４２に投影されると、Ｑ１、Ｑ２、Ｑ３・・・ＱＮなどから構成される路面４２上の被写体ＱＳと重なって映し出される。したがって、被写体ＰＳと被写体ＱＳは、カメラ投影面４１上では同一となってしまう。そのため、投影された画像データでは、路面４２に垂直な被写体ＰＳの投影面であるのか、路面４２上の被写体ＱＳの投影面であるのかを区別することができない。
【００５２】
そこで、式（９）および式（１０）で算出されるスケールファクタ付き並進成分（Ｔｚ／ｚ）について検討する。ここで、並進成分Ｔｚは、被写体ＰＳとのｚ方向の相対速度を表わしている。被写体ＰＳ（Ｐ１、Ｐ２、Ｐ３・・・ＰＮ）が剛体であれば、被写体ＰＳのＰ１に対する並進成分Ｔｚと、被写体ＰＳのＰ２に対する並進成分Ｔｚと、被写体ＰＳのＰ３に対する並進成分Ｔｚと、被写体ＰＳのＰＮに対する並進成分Ｔｚは、すべて同一の値となる。
【００５３】
一方、距離パラメータｚに関しても、図２の被写体ＰＳのＺ軸の座標値は、すべて同一の値となっている。すなわち、被写体ＰＳのＰ１に対するＺ軸の座標値と、被写体ＰＳのＰ２に対するＺ軸の座標値と、被写体ＰＳのＰ３に対するＺ軸の座標値と、被写体ＰＳのＰＮに対するＺ軸の座標値は、すべて同一の値となる。
【００５４】
したがって、被写体ＰＳに対応する画像データで得られた動きベクトルから算出されたスケールファクタ付き並進成分（Ｔｚ／ｚ）は、被写体ＰＳのＰ１、Ｐ２、Ｐ３・・・ＰＮにおいて、すべて一致（同一の値）する。
【００５５】
これに対して、図２の破線で示した路面４２上の被写体ＱＳ（Ｑ１、Ｑ２、Ｑ３・・・ＱＮ）では、被写体ＰＳと同様に、並進成分Ｔｚについては、すべて同一の値となる。しかしながら、距離パラメータｚに関しては、Ｑ１、Ｑ２、Ｑ３・・・ＱＮのすべて点において、異なっている。すなわち、被写体ＱＳのＱ１に対するＺ軸の座標値と、被写体ＱＳのＱ２に対するＺ軸の座標値と、被写体ＱＳのＱ３に対するＺ軸の座標値と、被写体ＱＳのＱＮに対するＺ軸の座標値は、すべて異なる。
【００５６】
この関係は、被写体が剛体である場合に成り立つ。したがって、被写体が静止している場合に限らず、被写体が移動している場合であっても成り立つ。
【００５７】
このため、被写体ＱＳに対応する画像データで得られた動きベクトルから算出されたスケールファクタ付き並進成分（Ｔｚ／ｚ）は、被写体ＱＳのＱ１、Ｑ２、Ｑ３・・・ＱＮにおいて、それぞれ異なる値となっている。
【００５８】
また、本質的ではないが、距離パラメータｚの相違による差を比較するには、距離パラメータｚが分子にあるほうが計算上比較し易いため、分散算出部２４のスケールファクタ付き並進成分逆数算出部３１において、スケールファクタ付き並進成分の逆数（ｚ／Ｔｚ）を算出する。
【００５９】
分散算出部２４では、スケールファクタ付き並進成分逆数算出部３１において、対象物の複数Ｎ個の動きベクトル（ｕｉ、ｖｉ）から、複数Ｎ個のスケールファクタ付き並進成分の逆数（ｚ／Ｔｚ）ｉを算出する。また、分散算出部２４では、並進成分分散算出部３２において、スケールファクタ付き並進成分の逆数（ｚ／Ｔｚ）ｉの平均と分散σ2を求める。
【００６０】
ここで分散σ2とは、データのばらつきを表わす値のことであり、個々のデータと平均の差を求め、その差をそれぞれ２乗し、それらを合計したものをデータの個数で割ることにより求められる。具体的には、次式で表わされる。
【００６１】
σ2=(1/N)Σ{(z/Tz)i−(z/Tz)} 2                                  （１１）
（あるいは正規化σ2=(1/N) {1/(z/Tz) 2}Σ{(z/Tz)i−(z/Tz)} 2）    （１２）
(z/Tz)=(1/N)Σ（z/Tz）i                                        （１３）
i=:1,・・・,N
【００６２】
なお、ｉは自然数であり、複数のＮ個は、例えば、被写体ＰＳに対して、Ｐ１、Ｐ２、Ｐ３、ＰＮなど構成する点の数である。
【００６３】
判定部２５は、並進成分分散算出部３２で算出された分散σ2を閾値判定する。具体的には、判定部２５では、分散σ2が閾値以下のときは、スケールファクタ付き並進成分(ｚ／Ｔｚ)iのばらつきが小さいため、対象物を立体物と判定し、分散σ2が閾値を越えるときは、スケールファクタ付き並進成分(ｚ／Ｔｚ)i のばらつきが大きいため、対象物を路面上の絵柄または影と判定するようになっている。
【００６４】
これにより、車両用画像処理装置１０は、立体物判定部１２の判定部２５で対象物を立体物と判定された場合には、表示部１４やスピーカ１５を介して、立体物と判定された対象物と衝突する可能性がある旨を、ユーザに報知することができる。
【００６５】
なお、本実施の形態では、判定部２５は、分散σ2を用いて閾値判定を行うようになっているが、この分散を正規化し（この場合、平方根をとる。）、分散σ2から算出される標準偏差σを用いて閾値判定をしてもよい。
【００６６】
例えば、分散算出部２４の並進成分分散算出部３２では、分散σ2の正規化分散（標準偏差σ）を用いて、スケールファクタ付き並進成分の逆数(ｚ／Ｔｚ)iの平均と標準偏差σを算出する。
【００６７】
判定部２５は、並進成分分散算出部３２で算出された平均と標準偏差σに基づいて、所定の標準偏差の範囲以内に分布するスケールファクタ付き並進成分の逆数(ｚ／Ｔｚ)iの動きベクトルを立体物と判定し、所定の標準偏差の範囲外に分布するスケールファクタ付き並進成分の逆数(ｚ／Ｔｚ)iの動きベクトルを立体物でないと判定することができる。このように、判定部２５は、標準偏差σの範囲を用いて閾値判定することにより、画像データから得られた動きベクトルの対象が立体物か否かを判定することができる。
【００６８】
（立体物判定処理）
次に、本実施の形態に係る車両用画像処理装置１０の立体物判定処理の動作について説明する。
【００６９】
図３は、第１の実施の形態に係る立体物判定部１２が、カメラ１１により取得された画像から、リアルタイムに立体物判定処理を行う手順を示したフローチャートである。図３において、ＳＴに数字を付した符号は、フローチャートの各ステップを示す。
【００７０】
まず、ステップＳＴ００１において、動きベクトル検出部２１は、カメラ１１から撮像画像の画像データを取得する。
【００７１】
次に、ステップＳＴ００３において、動きベクトル検出部２１は、取得した画像データに基づいて、カメラ１１により撮像された複数の画像間の動きベクトル（ｕ、ｖ）を画素ごとに算出する。なお、ブロックマッチング法や勾配法といった公知の技術を適用して、動きベクトル（ｕ、ｖ）を算出してもよい。
【００７２】
次に、ステップＳＴ００５において、回転成分算出部２２は、式（８）を解くことにより、回転成分Ｒｘ、Ｒｙ、Ｒｚを算出する。
【００７３】
次に、ステップＳＴ００７において、回転補正部２３は、式（９）および式（１０）に示すように、動きベクトルに回転成分補正を加える。これにより、回転補正部２３は、対象物のスケールファクタ付き並進成分（Ｔｚ／ｚ）を算出する。
【００７４】
次に、ステップＳＴ００９において、分散算出部２４は、スケールファクタ付き並進成分逆数算出部３１において、スケールファクタ付き並進成分の逆数(ｚ／Ｔｚ)を算出する。
【００７５】
次に、ステップＳＴ０１１において、分散算出部２４は、並進成分分散算出部３２において、スケールファクタ付き並進成分の逆数（ｚ／Ｔｚ）の平均と分散σ2を算出する。
【００７６】
次に、ステップＳＴ０１３において、判定部２５は、算出された分散σ2に基づいて、閾値判定を行う。判定部２５は、分散σ2が閾値以下の場合は（ステップＳＴ０１５のＹｅｓ）、対象物を立体物と判定して、ステップＳＴ０１７に進む。
【００７７】
一方、ステップＳＴ０１５において、分散σ2が閾値を越える場合には（ステップＳＴ０１５のＮｏ）、判定部２５は、その対象物を立体物ではない（すなわち影である）と判定し、ステップＳＴ００１に戻る。
【００７８】
次に、ステップＳＴ０１７において、判定部２５は、表示部１４やスピーカ１５を介して、車両用画像処理装置１０の進行方向に立体物が存在する旨を報知する。
【００７９】
以上の手順により、立体物判定部１２は、カメラ１１により取得された画像から、被写体の対象物が立体物か否かを判断し、立体物と判断した場合には、その立体物に衝突する可能性がある旨を、表示部１４およびスピーカ１５を介してユーザに報知する。
【００８０】
以上説明したように、本実施の形態に係る車両用画像処理装置１０は、立体物判定部１２において、対象物のスケールファクタ付き並進成分の逆数（ｚ／Ｔｚ）を算出するとともに、その分散で立体物か否か（すなわち路面）を判定する。
【００８１】
これにより、本実施の形態に係る車両用画像処理装置１０は、分散という統計量を用いて立体物か否か（すなわち路面）を判定することができるので、立体物を高精度に検出することができる。すなわち、車両用画像処理装置１０は、道路上に投影された影であっても、その影を立体物と誤判定することを回避することができる。
【００８２】
次に、第２の実施の形態について説明する。
【００８３】
（第２の実施の形態）
図４は、第２の実施の形態に係る車両用画像処理装置１６の一例を示す全体構成図である。
【００８４】
図４に示すように、第２の実施の形態に係る車両用画像処理装置１６は、第１の実施の形態の車両用画像処理装置１０と比較して、座標変換処理部２６を更に備えている点で、相違する。それ以外は、車両用画像処理装置１０の構成と同一であるため、同一の符号を付し、説明を適宜省略する。
【００８５】
車両用画像処理装置１６は、座標変換処理部２６を備えることにより、車両に配設されたカメラ１１を、路面に対して平行な方向（Ｚ軸方向）から路面（Ｙ軸方向）に傾けて、所定の角度（例えば、角度θ０）を設けて配設することができるようになっている。以下に図面を用いて説明する。
【００８６】
図５は、路面４２に対して角度θ０でカメラ１１を車両に配設した場合の説明図である。図５に示すように、カメラ１１は、路面４２に向けて下向き（Ｚ軸方向からＹ軸方向に向き）に角度θ０で配設されている。
【００８７】
この場合、図４に示した、動きベクトル検出部２１、回転成分算出部２２および回転補正部２３は、それぞれ水平方向（路面４２に対して平行な方向）に対して角度θ０下向きに回転した座標系（Ｘ’、Ｙ’、Ｚ’）で動作している。したがって、座標変換処理部２６は、座標系（Ｘ’、Ｙ’、Ｚ’）で定義されたスケールファクタ付き並進成分（Tz'/z')を、仮想座標系（Ｘ、Ｙ、Ｚ）で定義されるスケールファクタ付き並進成分（Tz/z）に変換して出力する。
【００８８】
ここで、カメラ座標系（Ｘ’、Ｙ’、Ｚ’）から仮想座標系（Ｘ、Ｙ、Ｚ）への変換は、次式で表わされる。なお、tanθ0=y0/f 、cosθ0=f/√（f2+y02）、sinθ0=y0/√（f2+y02）とする。
【００８９】
X=  X'                                                       （１４）
Yi= Yi'cosθ0＋Zi'sinθ0                                     （１５）
Zi=−Yi'sinθ0＋Zi'cosθ0’                                  （１６）
【００９０】
Tzi=Tzi'cosθ0+Tyi'sinθ0                                    （１７）
0=Tzi'sinθ0−Tyi'cosθ0                                     （１８）
【００９１】
式（１４）から式（１８）により、次式が導かれる。
【００９２】
Tzi=(1/cosθ0)Tzi'                                        （１９）
【００９３】
したがって、式（１９）により、次式が導かれる。
【００９４】
(Tz/z)i=Tz'(1/cosθ0)/{−Yi'sinθ0＋Zi'cosθ0}
=(Tz'/z')i * f/{cosθ0(−yi'sinθ0＋fcosθ0)}
=(Tz'/z')i * f（f2+y02）/(f2−yi'y0)                （２０）
【００９５】
このため、座標変換処理部２６では、スケールファクタ付き並進成分の(Tz'/z')iを求め、画像位置に応じて式（２０）で変換すれば、仮想座標系のスケールファクタ付き並進成分(Tz/z)iを算出することができる。
【００９６】
これにより、分散算出部２４は、仮座標系（Ｘ、Ｙ、Ｚ）に変換されたスケールファクタ付き並進成分(Tz/z)iに基づいて、分散σ2を算出することができる。したがって、第１の実施の形態と同様に、立体物判定処理を行うことができる。
【００９７】
図６は、第２の実施の形態に係る立体物判定部１７が、カメラ１１により取得された画像から、リアルタイムに立体物判定処理を行なう手順を示したフローチャートである。
【００９８】
図６に示すフローチャートが図３に示すフローチャートと異なる点は、ステップＳＴ１０１が、ステップＳＴ００７とステップＳＴ００９の間に挿入されている点である。図３と同一の処理を行うステップには、同一のステップ番号を付し、同一の処理を行うものとする。
【００９９】
第２の実施の形態では、図６のステップＳＴ００１からステップＳＴ００７までは、立体物判定部１７（図４）は、カメラ１１を路面４２に対して下向き角度θ０の状態で計算する。そして、ステップＳＴ１０１において、座標変換処理部２６は、スケールファクタ付き並進成分の(Tz'/z')iから、画像位置に応じて式（２０）を変換し、スケールファクタ付き並進成分の(Tz/z)iを算出する。ステップＳＴ００９以降の処理は、図３の処理と同様である。
【０１００】
このように、本実施の形態に係る車両用画像処理装置１６は、路面４２に対して傾きを与えた状態でカメラ１１を配設した場合であっても、適用することができる。
【０１０１】
なお、上述した第１および第２の実施の形態では、回転成分算出部２２の機能を備えることにより、曲がった道路を車両が走行していても、回転成分を算出して補正をすることができた。ここで、車両が直進している場合には回転成分が発生しない、として扱うこともできる。
【０１０２】
例えば、車両が直進している場合には、回転成分算出部２２では、動きベクトルの回転成分がないものとして取り扱うとともに、回転補正部２３では、動きベクトル検出部２１で検出した動きベクトルに対して回転補正を行わずに、スケールファクタ付き並進成分を算出する。
【０１０３】
分散算出部２４は、動きベクトル検出部２１で検出した動きベクトルまたは回転補正部２３で回転補正していない動きベクトルに基づくスケールファクタ付き並進成分の逆数（ｚ／Ｔｚ）を算出するとともに、その平均と分散を算出する。
【０１０４】
これにより、判定部２５は、走行する車両の直進成分のみによる分散と平均に基づいて、進行方向における対象物が立体物か否かを判定することもできる。
【０１０５】
なお、上述した実施の形態に係る車両用画像処理装置１０、１６は、立体物判定部１２、１７により対象物が立体物か否かを判定する立体物判定装置を実現することができるので、カメラ１１と一体である必要はない。例えば、立体物判定部１２から構成される立体物判定装置と、別体にて構成されるカメラとを適用して、そのカメラから得られる画像を離れた場所で立体物判定装置が受信することにより、カメラから離れた遠隔地でも立体物判定を行うことができる。
【０１０６】
なお、本発明のいくつかの実施の形態を説明したが、これらの実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０１０７】
また、本発明の実施の形態では、フローチャートの各ステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。
【符号の説明】
【０１０８】
１０  車両用画像処理装置
１１  カメラ
１２  立体物判定部
１３  記憶部
１４  表示部
１５  スピーカ
１６  車両用画像処理装置
１７  立体物判定部
２１  動きベクトル検出部
２２  回転成分算出部
２３  回転補正部
２４  分散算出部
２５  判定部
２６  座標変換処理部
３１  スケールファクタ付き並進成分逆数算出部
３２  並進成分分散算出部
４１  カメラ投影面
４２  路面
ＰＳ  被写体
ＱＳ  被写体
【図１】
0005827561.tif 000002
【図２】
0005827561.tif 000003
【図３】
0005827561.tif 000004
【図４】
0005827561.tif 000005
【図５】
0005827561.tif 000006
【図６】
0005827561.tif 000007