(57)【要約】【課題】  複数の位置から共通領域を撮像した画像に基づいて路面などの共通平面に対して、高さが高くなるのか低くなるのかを判断することができる画像処理装置を提供する。【解決手段】  画像処理装置１においては、カメラ２で取得された画像を俯瞰画像に変換し、前俯瞰画像として画像一時保管部１３に保管する。また、この俯瞰画像と、共通する共通領域を含む画像を取得し、俯瞰画像Ｉｔに変換する。それから、画像一時保管部１３に保管された前俯瞰画像Ｉｔ−１を、俯瞰画像が取得された時刻における画像に変換して変換俯瞰画像Ｉｔ′とする。そして、俯瞰画像Ｉｔと変換俯瞰画像Ｉｔ′とを比較し、その中の対応点が車両の移動方向と同一方向に移動している場合に、水平面より低い位置と判定する。また、反対方向に移動している場合に高い位置と判定する。【選択図】  図４
2008090735.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも一部が共通し、基準平面を含む共通領域を異なる複数の位置から撮像した複数の画像を取得する画像取得手段と、
前記複数の位置から撮像した画像の少なくとも一つの画像を視点変換し、前記複数の画像から視点が同一となる複数の同一視点画像を生成する同一視点画像生成手段と、
前記複数の同一視点画像における前記共通領域で、互いに対応する局所領域を抽出する局所領域抽出手段と、
前記複数の同一視点画像における前記局所領域を比較して、前記基準平面に対して高低差のある平面外領域を検出する平面外領域検出手段と、
前記平面外領域について、前記複数の同一視点画像における画像上の位置と、前記画像取得手段による画像取得位置との関係に基づいて、前記基準平面に対する前記平面外領域の高低を判定する高低判定手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記画像取得手段は移動体に備えられており、
前記高低判定手段は、一の位置で撮像した画像における前記局所領域に対して、前記一の位置よりも前記移動体の進行方向に移動した他の位置で撮像した画像における前記局所領域が、前記画像上で前記移動体の移動方向に反する方向に移動しているときには、前記局所領域を含む平面外領域が前記基準平面よりも高い領域であると判定する請求項１に記載の画像処理装置。
【請求項３】
前記画像取得手段は移動体に備えられており、
前記高低判定手段は、一の位置で撮像した画像における前記局所領域に対して、前記一の位置よりも前記移動体の進行方向に移動した他の位置で撮像した画像における前記局所領域が、前記画像上で前記移動体の移動方向に移動しているときには、前記局所領域を含む平面外領域が前記基準平面よりも低い領域であると判定する請求項１に記載の画像処理装置。
【請求項４】
前記画像取得手段は、時系列画像を取得する請求項１〜請求項３のうちのいずれか１項に記載の画像処理装置。
【請求項５】
前記同一視点画像生成手段で生成された複数の同一視点画像を表示する画像表示手段を備え、
前記画像表示手段は、前記基準平面よりも高い領域および前記基準平面よりも低い領域の少なくとも一方を強調表示する請求項１〜請求項４のうちのいずれか１項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に係り、特に、撮像した画像の位置が、共通平面、たとえば地面よりも上方にあるか下方にあるかを判断することができる画像処理装置に関する。
【背景技術】
【０００２】
たとえば、車両の周囲を撮像手段で撮像して得られる画像に基づいて車両の周囲における高さが低いか高いかを検出することにより、周囲の障害物や側溝などを認識することが求められている。このような画像処理を行うものとして、特開２００５−３４７８６３号公報（特許文献１）に開示された車両周囲表示装置がある。この車両周囲表示装置では、２つの撮影手段によって共通する領域の映像を撮影し、そのうちの一方を視点変換処理して、両画像を同一視点となるようにする。それから、両画像における共通する領域の画素値を比較し、画素値が異なる領域を路面に対して高さを有する物体であると認識するというものである。
【特許文献１】特開２００５−３４７８６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、上記特許文献１に開示された発明では、画素値が異なる場合に路面に対して高さが異なると判断するのみである。このため、高さが異なるとしても、路面に対して高くなるのか低くなるのかを判定することができないという問題があった。
【０００４】
そこで、本発明の課題は、複数の位置から共通領域を撮像した画像に基づいて、路面などの共通平面に対して、高さが高くなるのか低くなるのかを判断することができる画像処理装置を提供することにある。
【課題を解決するための手段】
【０００５】
上記課題を解決した本発明に係る画像処理装置は、少なくとも一部が共通し、基準平面を含む共通領域を異なる複数の位置から撮像した複数の画像を取得する画像取得手段と、複数の位置から撮像した画像の少なくとも一つの画像を視点変換し、複数の画像から視点が同一となる複数の同一視点画像を生成する同一視点画像生成手段と、複数の同一視点画像における共通領域で、互いに対応する局所領域を抽出する局所領域抽出手段と、複数の同一視点画像における局所領域を比較して、基準平面に対して高低差のある平面外領域を検出する平面外領域検出手段と、平面外領域について、複数の同一視点画像における画像上の位置と、画像取得手段による画像取得位置との関係に基づいて、基準平面に対する平面外領域の高低を判定する高低判定手段と、を備えるものである。
【０００６】
本発明に係る画像処理装置においては、複数の同一視点画像における局所領域を比較して、基準平面に対して高低差のある平面外領域を検出する平面外領域検出手段を備えるとともに、平面外領域について、複数の同一視点画像における画像上の位置と、画像取得手段による画像取得位置との関係に基づいて、基準平面に対する平面外領域の高低を判定する高低判定手段を備えている。このため、平面外領域を検出した際に、平面外領域の高低を判定することができる。したがって、路面などの共通平面に対して、高さが高くなるのか低くなるのかを判断することができる。
【０００７】
ここで、画像取得手段は移動体に備えられており、高低判定手段は、一の位置で撮像した画像における局所領域に対して、一の位置よりも移動体の進行方向に移動した他の位置で撮像した画像における局所領域が、画像上で移動体の移動方向に反する方向に移動しているときには、局所領域を含む平面外領域が基準平面よりも高い領域であると判定する態様とすることができる。
【０００８】
また、画像取得手段は移動体に備えられており、高低判定手段は、一の位置で撮像した画像における局所領域に対して、一の位置よりも移動体の進行方向に移動した他の位置で撮像した画像における局所領域が、画像上で移動体の移動方向に移動しているときには、局所領域を含む平面外領域が基準平面よりも低い領域であると判定する態様とすることができる。
【０００９】
このように、画像取得手段が移動体に備えられることにより、一の位置で撮像した画像における局所領域に対して、一の位置よりも移動体の進行方向に移動した他の位置で撮像した画像における局所領域が、画像上で移動体の移動方向に反する方向に移動しているときには、局所領域を含む平面外領域が基準平面よりも高い領域にある。逆に、画像上で移動体の移動方向に移動しているときには、局所領域を含む平面外領域が基準平面よりも低い領域にある。このため、局所領域を含む平面外領域の高低を確実に判定することができる。
【００１０】
さらに、画像取得手段は、時系列画像を取得する態様とすることができる。
【００１１】
このように、画像所得手段が時系列画像を取得することにより、１の画像取得手段によって複数の画像を取得することにより、高低判定手段によって局所領域を含む平面外領域の高低を判定することができる。
【００１２】
また、同一視点画像生成手段で生成された複数の同一視点画像を表示する画像表示手段を備え、画像表示手段は、基準平面よりも高い領域および基準平面よりも低い領域の少なくとも一方を強調表示する態様とすることができる。
【００１３】
このように、同一視点画像を画像表示手段に表示するにあたり、基準平面よりも高い領域および基準平面よりも低い領域の少なくとも一方を強調表示することにより、基準平面に対する高低差を明確に表示することができる。このため、画像表示手段を視認するユーザに高低差を明確に認識させることができる。
【発明の効果】
【００１４】
本発明に係る画像処理装置によれば、複数の位置から共通領域を撮像した画像に基づいて、路面などの共通平面に対して、高さが高くなるのか低くなるのかを判断することができる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して、本発明の好適な実施形態について説明する。図１は、本発明の実施形態に係る画像処理装置のブロック構成図である。
【００１６】
図１に示すように、本実施形態における画像処理装置１は、センサ情報取込部１１、俯瞰図作成部１２、画像一時保管部１３、対応点候補抽出部１４、対応点選択部１５、画像視点変換部１６、画像間対応点抽出部１７、および物体高さ判断部１８を備えている。さらに、画像処理装置１には、カメラ２（２Ｆ，２Ｒ，２Ｌ，２Ｂ）および情報出力部３が接続されており、カメラ２Ｆ，２Ｒ，２Ｌ，２Ｂから出力された画像に基づいて、カメラ２Ｆ，２Ｒ，２Ｌ，２Ｂの周囲における高低を検出する。
【００１７】
前方カメラ２Ｆは、図２に示すように、車両Ｓの前方中央のフロントグリル部分に取り付けられており、車両Ｓの前方を撮像している。また、右方カメラ２Ｒは、車両Ｓの右ドア位置、左方カメラ２Ｌは車両Ｓの左ドア、後方カメラ２Ｂは車両Ｓのリアトランクカバーにそれぞれ取り付けられて、車両Ｓの右方、左方、および後方をそれぞれ撮像している。カメラ２Ｆ，２Ｒ，２Ｌ，２Ｂは、それぞれいわゆる魚眼カメラなどの広視野カメラからなり、それぞれのカメラ２Ｆ，２Ｒ，２Ｌ，２Ｂで撮像領域ＥＦ，ＥＲ，ＥＬ，ＥＢを撮像可能とされている。カメラ２Ｆ，２Ｒ，２Ｌ，２Ｂは、それぞれ撮像して得られた画像を画像処理装置１におけるセンサ情報取込部１１に出力する。
【００１８】
画像処理装置１におけるセンサ情報取込部１１では、カメラ２から出力された画像を取り込み、俯瞰図作成部１２に出力する。俯瞰図作成部１２では、これらのカメラ２から出力された画像の各画素の輝度を検出し、空白の俯瞰図にマッピングすることにより、俯瞰図を作成する。
【００１９】
俯瞰図作成部１２は、作成した俯瞰図を画像一時保管部１３および対応点候補抽出部１４に出力する。画像一時保管部１３は、俯瞰図作成部１２から出力された俯瞰図（俯瞰画像）を一時的に記憶して保管するとともに、前回に保管した俯瞰画像を対応点候補抽出部１４の読み出し要求に応じて出力する。対応点候補抽出部１４は、画像一時保管部１３に保管された俯瞰画像を俯瞰図作成部１２から出力された際に、画像一時保管部１３に保管された俯瞰画像を読み出す。ここで読み出す俯瞰画像は、俯瞰図作成部１２から出力された俯瞰画像の１つ前に作成され一時保管された一時保管画像（以下「前俯瞰画像」という）である。対応点候補抽出部１４は、俯瞰図作成部１２から出力された俯瞰画像および画像一時保管部１３から読み出した前俯瞰画像を比較して、対応点候補を抽出する。対応点候補抽出部１４は、抽出した対応点候補を対応点選択部１５に出力する。
【００２０】
対応点選択部１５は、対応点候補抽出部１４から出力された対応点候補の中から、画像の比較に用い易い対応点を選択する。対応点選択部１５は、選択した対応点を含む俯瞰画像および前俯瞰画像を画像視点変換部１６に出力する。画像視点変換部１６では、出力された前俯瞰図の画像を視点変換して視点変換画像を生成し、俯瞰図の視点と同一視点となるようにする。画像視点変換部１６は、俯瞰画像および視点変換画像を画像間対応点抽出部１７に出力する。
【００２１】
画像間対応点抽出部１７では、画像視点変換部１６から出力された俯瞰画像および視点変換画像のそれぞれから画像間対応点を抽出する。画像間対応点抽出部１７は、画像間対応点を抽出した後、俯瞰画像および視点変換画像を対応点とともに物体高さ判断部１８に出力する。
【００２２】
物体高さ判断部１８では、画像間対応点抽出部１７から出力された俯瞰画像と視点変換画像およびそれらの対応点に基づいて、車両の周囲における物体の高さを判断する。物体高さ判断部１８は、物体の高さを判断したら、物体の高さに応じた彩色を施した俯瞰画像を生成し、情報出力部３に出力する。情報出力部３は、たとえば画像を表示するディスプレイからなり、物体高さ判断部１８から出力された俯瞰画像を表示する。
【００２３】
次に、本実施形態に係る画像処理装置の処理手順について説明する。図３は、本実施形態に係る画像処理装置の処理手順を示すフローチャート、図４は、図３に続く処理手順を示すフローチャートである。
【００２４】
図３に示すように、本実施形態に係る画像処理装置１においては、センサ情報取込部１１において、カメラ２から出力された画像を取得する（Ｓ１）。次に、俯瞰図作成部１２において、カメラ２で撮像された画像を視点変換して俯瞰画像を生成する（Ｓ２）。俯瞰画像を生成する際には、図５に示すように、カメラ２から出力された魚眼画像の視点を平面視する上方からの視点に視点変換し、下記の手順で俯瞰画像Ｉｔを作成する。
【００２５】
まず、図５に示すカメラ（仮想カメラ）２αの仮想視点Ｏｃから、仮想スクリーン（本発明の基準平面となる水平面に相当する）Ｋまでの距離Ｚｖを下記（０）式によって求める。
【００２６】
Ｚｖ＝Ｗ／{２tan（Ω／２）}  ・・・（０）
ここで、Ｗ：作成する俯瞰図の横幅（Ｐｉｘｅｌ）
Ω：投影視野角度（ｄｅｇ）
【００２７】
次に、仮想スクリーンの像点（Ｘｐ，Ｙｐ，Ｚｐ）から魚眼画像座標値（ｕｐ，ｖｐ）を算出する（Ｓ２）。そのため、まず下記（１）式〜（３）式によって、各座標を（Ｘｓｅ，Ｙｓｅ，Ｚｓｅ）を求め、これらの座標から、下記（４）式によって魚眼画像座標値（ｕｐ，ｖｐ）を算出する
【数１】
2008090735.tif 000003
【数２】
2008090735.tif 000004
ただし、  Ｌ：魚眼画像の半径
ｆ（）：魚眼カメラ特性係数
【００２８】
それから、これらの座標を下記（５）式および（６）式によって、水平面を見る方向へアフィン変換する。
【数３】
2008090735.tif 000005
ただし、  λ：カメラ向き横角度（ｄｅｇ）
ξ：カメラ向き縦角度（ｄｅｇ）
ω：カメラ向き回転角度（ｄｅｇ）
【数４】
2008090735.tif 000006
【００２９】
これらの計算を各カメラから出力された画像における各画素について行い、俯瞰画像を生成する。
【００３０】
俯瞰図作成部１２は、俯瞰画像を生成したら、生成した俯瞰画像を画像一時保管部１３および対応点候補抽出部１４に出力する。画像一時保管部１３では、俯瞰図作成部１２から出力された俯瞰画像Ｉｔを一時的に記録して保管する（Ｓ３）。また、対応点候補抽出部１４は、俯瞰図作成部１２から俯瞰画像Ｉｔが出力された際に、画像一時保管部１３に一時的に保管されている前俯瞰画像Ｉｔ−１を読み出す（Ｓ４）。
【００３１】
それから、対応点候補抽出部１４では、俯瞰図作成部１２から出力された俯瞰画像Ｉｔおよび画像一時保管部１３から読み出した前俯瞰画像Ｉｔ−１を比較し、探索範囲を設定する（Ｓ５）。探索範囲としては、相対水平面が必ず存在する領域、たとえば車両の近傍数メートルの探索可能範囲を予め設定しておき、俯瞰画像Ｉｔおよび前俯瞰画像Ｉｔ−１における探索可能範囲のうちの共通する共通領域を探索範囲として設定する。また、カメラ２による撮像をたとえば２０ｍｓごとに行うことにより、車両Ｓが通常速度で走行する場合に、俯瞰画像Ｉｔおよび前俯瞰画像Ｉｔ−１が重複する範囲を異なる複数の位置から撮像した画像を取得することができる。この重複する範囲である共通領域を探索範囲として設定する。
【００３２】
続いて、探索範囲内において、対応点候補を抽出する（Ｓ６）。対応点候補の抽出では、たとえばハリスオペレータやラプラシアン・オブ・ガウシアンフィルタなどの特徴部抽出処理を利用して特徴点を抽出する。これらの抽出法により、ステップＳ５で設定した探索範囲内において抽出された特徴点に対して、俯瞰画像Ｉｔと前俯瞰画像Ｉｔ−１との間で対応点候補を抽出する。対応点候補を抽出する際には、特徴点の周辺の小領域（たとえば３×３画素、５×５画素、７×７画素）の間の相関値を求め、最高値となる相関値をもつ点がお互い同士の組だけを抽出し、抽出された２点を対応点候補とする。相関値の導出には、たとえば正規化相関によるテンプレートマッチングや差分総和などのパターン認識技術を用いることができる。あるいは、俯瞰画像の元となる画像を撮像した時刻ｔと、前俯瞰画像の元となる画像を撮像した時刻ｔ−１との間隔Δｔが微小であると仮定して、オプティカルフローを用いて対応点候補を抽出することもできる。
【００３３】
対応点候補を抽出したら、対応点選択部１５において、これらの対応点の中からもっとも適切な４点以上、ここでは４点の対応点を求め、共通平面ホモフラフィ行列を導出する（Ｓ７）。共通平面ホモグラフィの導出は、下記の手順で行われる。まず、図６に示すように、ある任意の平面Ｈ上にある点Ｐを第１カメラの視点Ｃ１および第２カメラの視点Ｃ２で見たときにそれぞれのカメラ座標がｐ１（ｕ１，ｖ１）、ｐ２（ｕ２，ｖ２）であったとする。このとき、両座標の関係は、下記（７）式で表すことができる。また、共通平面のホモグラフィ行列を（８）式に示す。
【数５】
2008090735.tif 000007
ここで、ホモグラフィ行列Ｈは３×３の行列であることから、平面Ｈ上に存在する点のそれぞれの画像への投影点の画像座標の組はすべて上記（８）式で表すことができる。言い換えると、平面上にある点は、その平面のホモグラフィ行列がわかっていれば、ステレオ画像の一方の画像点からもう一方の画像上の対応点の位置が決定できることになる。したがって、ホモグラフィ行列Ｈは、三次元空間内で同一平面上にある４点の画像上での対応がわかれば、直接に求めることができる。
【００３４】
いま、３次元空間内におけるある平面に存在するｎ個の点について、図７に示すように、２つの画像間で対応が与えられているとする。ここで、第１カメラで第１点Ｐ１および第２点Ｐ２を見た際の第１画像における１番目の点Ｐ１１および２番目の点Ｐ１２の座標をそれぞれｐ１１（ｕ１１，ｖ１１）、ｐ１２（ｕ１２，ｖ１ｉ２）とする。また、第２カメラで第１点Ｐ１および第２点Ｐ２を見た際の第２画像における１番目の点Ｐ１１および２番目の点Ｐ１２の座標をそれぞれｐ１１（ｕ１１，ｖ１１）、ｐ１２（ｕ１２，ｖ１１２）とする。
【００３５】
これを一般化して第１カメラで撮像した第１画像におけるｉ番目の点の座標を（ｕ１ｉ，ｖ１ｉ）とし、第２カメラで撮像した第２画像におけるｉ番目の点の座標を（ｕ２ｉ，ｖ２ｉ）とする。さらに、この点についての上記（７）式の定数αをαｉとおくと、上記（７）式は下記（９）式のように表すことができる。
【数６】
2008090735.tif 000008
【００３６】
この（９）式を変形すると、下記（１０）式のようになる。
【数７】
2008090735.tif 000009
【００３７】
さらに、第１画像と第２画像との間でｎ個の対応が取れている場合には、上記（１０）式は下記（１１）式のように表すことができる。
ＢＪ＝０  ・・・（１１）
【数８】
2008090735.tif 000010
【００３８】
ここで、上記（１１）式における行列Ｊにおける任意の１つの要素を１とおいて、線形方程式の最小二乗法によって上記（１１）式を解いていく。このとき、Ｊ＝０という意味にない解を避けるために、｜Ｊ｜２＝１とした上で、その下でのｍｉｎ｜ＢＪ｜２の最小化問題として捉えることにより、解は行列ＢＴＢの最小固有値に対応する固有ベクトルとして与えられる。こうして共通平面ホモグラフィ行列を導出することができる。
【００３９】
共通平面ホモグラフィ行列を導出したら、画像視点変換部１６において、導出した共通平面ホモグラフィ行列によって、前俯瞰画像Ｉｔ−１を変換し（Ｓ８）、変換俯瞰画像Ｉｔ′を作成する。ここで作成される変換俯瞰画像Ｉｔ′は、いわば時刻ｔ−１における画像を変換して時刻ｔの画像を推測したものとなる。いま、図８（ａ）に前俯瞰画像Ｉｔ−１の模式図、（ｂ）に俯瞰画像Ｉｔの模式図、（ｃ）に変換俯瞰画像Ｉｔ′の模式図をそれぞれ示す。図８からわかるように、俯瞰画像Ｉｔと変換俯瞰画像Ｉｔ′とを比較すると、相対水平面の位置は一致している。これに対して、相対水平面以外の位置は一致せずにずれが生じており、たとえば物体Ｍの位置は俯瞰画像Ｉｔと変換俯瞰画像Ｉｔ′との間では、ずれている。
【００４０】
また、適切な対応点を使わずに不適切なホモグラフィ行列を用いて前俯瞰画像を変換してしまった場合には、図９（ａ）に示す前俯瞰画像Ｉｔ−１、図９（ｂ）に示す俯瞰画像Ｉｔに対して、前俯瞰画像Ｉｔ−１から変換俯瞰画像を作成すると、図９（ｃ）に示すように、変換俯瞰画像Ｉｔ′では画像がぼやけてしまう。このような画像が変換俯瞰画像として得られた場合には、不適切なホモグラフィ行列による変換であるとしてたとえば対応点の選定をやり直す態様とすることができる。
【００４１】
図８に示した俯瞰画像Ｉｔと変換俯瞰画像Ｉｔ′との関係に戻り、俯瞰画像Ｉｔと変換俯瞰画像Ｉｔ′の間におけるずれを検出するために、両俯瞰画像の局所領域がどのように変化しているのかを調べる。そのために、画像間対応点抽出部１７および物体高さ判断部１８において、俯瞰画像Ｉｔと変換俯瞰画像Ｉｔ′との間の局所移動ベクトルを導出する（Ｓ９）。
【００４２】
局所移動ベクトルを導出するために、図１０（ａ）に示すように、俯瞰画像Ｉｔと変換俯瞰画像Ｉｔ′とを重畳させた重畳画像を生成する。この図１０（ａ）に示す重畳画像では、俯瞰画像Ｉｔの画像を破線で、変換俯瞰画像Ｉｔ′の画像を一点鎖線でそれぞれ示している。図１０（ａ）に示す重畳画像において、まず変換俯瞰画像Ｉｔ′における局所領域Ｘｔ−１Ａ，Ｘｔ−１Ｂを選択する。これらの局所領域は適宜選択することができるが、たとえば周囲の領域と大きく輝度が異なる領域を選択することができる。
【００４３】
変換俯瞰画像Ｉｔ′における局所領域Ｘｔ−１Ａ，Ｘｔ−１Ｂを選択したら、俯瞰画像Ｉｔにおけるこれらの局所領域Ｘｔ−１Ａ，Ｘｔ−１Ｂに対応する対応局所領域ＸｔＡ，ＸｔＢを導出する。対応局所領域ＸｔＡ，ＸｔＢを導出する際には、たとえば正規化相関によるテンプレートマッチングや差分総和などのパターン認識技術を用いることができる。また、時刻ｔと時刻ｔ１−との間隔Δｔが微小であると仮定して、オプティカルフローを用いて対応局所領域ＸｔＡ，ＸｔＢを導出することもできる。
【００４４】
こうして局所領域Ｘｔ−１Ａ，Ｘｔ−１Ｂに対応する対応局所領域ＸｔＡ，ＸｔＢを抽出したら、局所領域Ｘｔ−１Ａ，Ｘｔ−１Ｂから対応局所領域ＸｔＡ，ＸｔＢに対する移動ベクトルＶｉＡ，ＶｉＢを局所移動ベクトルとしてそれぞれ求める。
【００４５】
局所移動ベクトルを求めたら図４に示すフローチャートに進み、局所移動ベクトルの移動量の絶対値が所定のしきい値を超えるか否かを判定する（Ｓ１１）。その結果、局所移動ベクトル、たとえば局所領域Ｘｔ−１Ａから対応局所領域ＸｔＡへの移動ベクトルの移動量が所定のしきい値を超えないと判定した場合には、局所領域Ｘｔ−１Ａと対応局所領域ＸｔＡとの位置が同じかあるいは非常に近い位置であることになる。この場合には、局所領域Ｘｔ−１Ａと対応局所領域ＸｔＡとは共通平面、すなわち相対水平面にあると判定する（Ｓ１２）。
【００４６】
また、局所移動ベクトルの移動量が所定のしきい値を超えると判定した場合には、共通平面ではない平面外領域と判定する。この平面外領域について、水平面に対する高低を判定する。そのために、局所移動ベクトルが車両Ｓの進行方向と同一方向であるか否かを判定する（Ｓ１３）。その結果、局所移動ベクトル、たとえば局所領域Ｘｔ−１Ａから対応局所領域ＸｔＡへの移動ベクトルが車両Ｓの進行方向と同一であると判定した場合には、局所領域Ｘｔ−１Ａと対応局所領域ＸｔＡは水平面より低い位置にあることから「側溝または下り段差」であると判定する（Ｓ１４）。一方、局所移動ベクトルたとえば局所領域Ｘｔ−１Ａから対応局所領域ＸｔＡへの移動ベクトルが車両Ｓの進行方向と反対方向であると判定した場合には、仮想カメラの設定位置は上方とされ、局所領域Ｘｔ−１Ａと対応局所領域ＸｔＡは水平面よりも高い位置であることから、「立体物」であると判定する（Ｓ１５）。
【００４７】
前俯瞰画像Ｉｔ−１を俯瞰画像Ｉｔの時刻に合わせた変換俯瞰画像Ｉｔ′を作成する際、水平面（路面）を基準平面とした画像の変換を行っている。このとき、仮想カメラは上方位置に設定されており、水平面よりも仮想カメラに近い位置では、画像の変換量が水平面の位置よりも小さくなることから、この位置では変換俯瞰画像Ｉｔ′から俯瞰画像Ｉｔへの局所移動ベクトルは負となる。いま、前俯瞰画像Ｉｔ−１と俯瞰画像Ｉｔは移動する車両Ｓから撮像されていることから、この局所移動ベクトルの正負を判断することによって、水平面に対する局所位置に上下（カメラ位置からの近さ）を判定することができる。同様に、水平面よりも仮想カメラから遠い位置では、画像の変換量が水平面の位置よりも大きくなることから、この位置では変換俯瞰画像Ｉｔ′から俯瞰画像Ｉｔへの局所移動ベクトルは正となる。
【００４８】
たとえば図１１（ａ）に示す前俯瞰画像Ｉｔ−１に対して、図１１（ｂ）に示す俯瞰画像Ｉｔがあり、図１１（ａ）に示す前俯瞰画像を変換処理して、変換俯瞰画像Ｉｔ′を作成する。このときに俯瞰画像Ｉｔと変換俯瞰画像Ｉｔ′との重畳画像を図１２（ａ）に示す。ここで、図１１（ｂ）（ｃ）に示す電信柱における汚れに相当する第１対応局所領域ＸｔＡ、第１局所領域Ｘｔ−１Ａ、および道路の側溝における汚れに相当する第２対応局所領域ＸｔＢ、および第２局所領域ＸｔＢ−１に着目する。
【００４９】
図１２（ａ）に示すように、このうち、水平面よりも上方にある第１局所領域については、第１局所領域Ｘｔ−１Ａから第１対応局所領域ＸｔＡへの移動方向が車両Ｓの移動方向Ｆと相反していることがわかる。一方、水平面よりも下方にある第２局所領域ＸｔＢについては、第１局所領域Ｘｔ−１Ａから第１対応局所領域ＸｔＡへの移動方向が車両Ｓの移動方向Ｆと一致していることがわかる。このように、車両Ｓの進行方向に対する局所移動ベクトルの方向（正負）により、水平面よりも高い位置であるか低い位置であるかを認識することができる。
【００５０】
こうして、局所位置の水平面に対する高さを判定したら、判定した高さ情報を俯瞰図に記録する（Ｓ１６）。この高さ情報に基づいて、俯瞰図の高さ情報を完成させる。ここで完成された俯瞰図は、たとえば図１３に示すようになる。この俯瞰図では、「相対水平面」「側溝・下り段差」「立体物」の領域に分けた色付表示を行っている。このような色付表示を行うことにより、「相対水平面」「側溝・下り段差」「立体物」について強調表示を行うことができる。
【００５１】
こうして俯瞰図を完成させたら、完成した俯瞰図を情報出力部３に出力し（Ｓ１７）、ディスプレイなどで表示したり、他の装置に情報提供を行ったりする。
【００５２】
このように、本実施形態に係る画像処理装置においては、移動した位置の画像のうちの重複する部分について局所移動ベクトルを求めている。このため、基準平面となる水平面に対して高さが高くなるのか低くなるのかを判定することができる。また、カメラが車両に搭載されており、車両の進行方向に対応させて基準平面に対する高さを判定しているので、その判定を容易に行うことができる。また、時刻ｔの画像とｔ−１との時系列に沿った画像を用いていることにより、その判断を容易に行うことができる。
【００５３】
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。たとえば、上記実施形態では車両にカメラを搭載して車両の移動に伴って複数の画像を取得しているが、カメラを移動させる移動手段や撮像する撮像者などがカメラを移動させて複数の画像を取得する態様とすることができる。また、基準平面としては水平面を採用しているが、その他の面であっても適宜設定することができる。
【００５４】
さらに、上記実施形態では、時系列に沿った画像を用いているが、同時に撮像した複数の画像から、基準平面に対する相対高さ位置を判定することもできる。また、上記実施形態では、基準平面を水平面においているが、適宜の高さ位置に設定することができる。
【図面の簡単な説明】
【００５５】
【図１】本発明の実施形態に係る画像処理装置のブロック構成図である。
【図２】車両におけるカメラの設置位置およびカメラからの撮像範囲を平面視する模式図である。
【図３】本実施形態に係る画像処理装置の処理手順を示すフローチャートである。
【図４】図３に続く処理手順を示すフローチャートである。
【図５】仮想カメラの設定位置を説明する模式図である。
【図６】２つのカメラ位置から同一点を見た場合の状態を説明する模式図である。
【図７】２つのカメラ位置から２つの同一点を見た場合の状態を説明する模式図である。
【図８】（ａ）は、時刻ｔ−１の前俯瞰画像Ｉｔ−１を示す図、（ｂ）は時刻ｔの俯瞰画像Ｉｔを示す図、（ｃ）は、前俯瞰画像Ｉｔ−１を変換した変換俯瞰画像Ｉｔ′を示す図である。
【図９】（ａ）は、時刻ｔ−１の前俯瞰画像Ｉｔ−１を示す図、（ｂ）は時刻ｔの俯瞰画像Ｉｔを示す図、（ｃ）は前俯瞰画像Ｉｔ−１を変換に失敗した変換俯瞰画像Ｉｔ′を示す図である。
【図１０】（ａ）は、俯瞰画像Ｉｔと変換俯瞰画像Ｉｔ′を重畳させた重畳画像を示す図、（ｂ）は、その重畳画像における局所移動ベクトルを説明する図である。
【図１１】（ａ）は、時刻ｔ−１の前俯瞰画像Ｉｔ−１を車両に進行方向に合わせて説明する図、（ｂ）は時刻ｔの俯瞰画像Ｉｔを車両に進行方向に合わせて説明する図、（ｃ）は、前俯瞰画像Ｉｔ−１を変換した変換俯瞰画像Ｉｔ′を示す図である。
【図１２】（ａ）は、図１１に示す俯瞰画像Ｉｔおよび変換俯瞰画像Ｉｔ′の重畳画像を示す図、（ｂ）は、その重畳画像における局所移動ベクトルを説明する図である。
【図１３】画像内における領域の高さ関係を示す画面の図である。
【符号の説明】
【００５６】
１…画像処理装置、２…カメラ、３…情報出力部、１１…センサ情報取込部、１２…俯瞰図作成部、１３…画像一時保管部、１４…対応点候補抽出部、１５…対応点選択部、１６…画像視点変換部、１７…画像間対応点抽出部、１８…物体高さ判断部、Ｆ…移動方向、Ｉｔ−１…前俯瞰画像、Ｉｔ′…変換俯瞰画像、Ｉｔ…俯瞰画像、Ｓ…車両、Ｍ…物体、ＶｉＡ，ＶｉＢ…移動ベクトル、Ｘｔ−１Ａ，Ｘｔ−１Ｂ…局所領域、ＸｔＡ，ＸｔＢ…対応局所領域。
【図１】
2008090735.tif 000011
【図２】
2008090735.tif 000012
【図３】
2008090735.tif 000013
【図４】
2008090735.tif 000014
【図５】
2008090735.tif 000015
【図６】
2008090735.tif 000016
【図７】
2008090735.tif 000017
【図８】
2008090735.tif 000018
【図９】
2008090735.tif 000019
【図１０】
2008090735.tif 000020
【図１１】
2008090735.tif 000021
【図１２】
2008090735.tif 000022
【図１３】
2008090735.tif 000023