(57)【要約】      （修正有）【課題】関連する画像を分析する方法、画像処理システム、そのシステムを備える乗り物、及びコンピュータプログラム製品を提供する。【解決手段】第１の画像の一のパッチと第２の画像内の一の領域との間の類似性を評価する際に一つのパッチ（第２の画像内において対象位置を占めるパッチ）に属するピクセルに加えて、その対象位置からシフトしたパッチ（複数）のピクセルも含めて、その評価を行う。その結果、フロントパラレルでない物体の歪に起因して第２の画像内の上記対象位置のパッチから外れることとなったピクセルも、その対象位置の特定に寄与することとなり、視差の特定を正確に行うことができる。【選択図】図５
2015133108.tif 000002
【特許請求の範囲】
【請求項１】
関連する画像を分析する方法であって、
−少なくとも第１の画像と第２の画像とを取得するステップと、
−前記第１の画像において、相関を算出すべきピクセルパッチを定めるステップと、
−前記第１の画像における前記ピクセルパッチの各ピクセルと、前記第２の画像における複数のピクセルパッチのそれぞれにおける対応するピクセルとの間のマッチングコスト値を算出するステップであって、前記第２の画像における前記ピクセルパッチ（複数）は、それぞれ前記第２の画像における位置が異なり、パッチ対象位置のピクセルパッチを含むものであるステップと、
−最良のマッチングを示す前記第２の画像内のすべてのパッチのそれら対応するピクセルのマッチングコスト値を集計して、前記パッチ対象位置に関する集計ウィンドウを生成するステップと、
−前記対象位置に関する情報を含む信号を生成するステップと、
を有する方法。
【請求項２】
前記対応するピクセル（複数）のマッチングコスト値には、前記パッチ対象位置とそれらピクセルの位置との間の距離に応じたペナルティが課される、請求項１に記載の方法。
【請求項３】
前記ペナルティは、前記ピクセルの位置の前記対象位置からの距離が増加するにしたがって増加する、ことを特徴とする、請求項２に記載の方法。
【請求項４】
前記対象位置ではペナルティが課されず、その他の全てにおいては一定値を用いてペナルティが課されることを特徴とする、請求項２に記載の方法。
【請求項５】
前記第１および第２の画像は、ステレオカメラにより取得されることを特徴とする、請求項１ないし４のいずれか一項に記載の方法。
【請求項６】
前記第２の画像における前記パッチの位置は、視差により規定されることを特徴とする、請求項５に記載の方法。
【請求項７】
前記対象位置に関する情報を含む前記信号に基づいて立体視の深さが算出されることを特徴とする、請求項１ないし６のいずれか一項に記載の方法。
【請求項８】
前記対象位置に関する情報を含む前記信号に基づいてオプティカルフローが算出されることを特徴とする、請求項１ないし４のいずれか一項に記載の方法。
【請求項９】
前記マッチングコスト値は自乗差または絶対値差として算出され、前記マッチングコスト値の集計は相加平均により行われることを特徴とする、請求項１ないし８のいずれか一項に記載の方法。
【請求項１０】
前記マッチングコスト値は正規化相互相関値として算出され、前記マッチングコスト値の集計は相加平均により行われることを特徴とする、請求項１ないし８のいずれか一項に記載の方法。
【請求項１１】
前記マッチングコスト値はランク変換画像値の絶対値差として算出され、前記マッチングコスト値の集計は相加平均により行われることを特徴とする、請求項１ないし８のいずれか一項に記載の方法。
【請求項１２】
前記マッチングコスト値はセンサス変換画像のハミング距離として算出され、前記マッチングコスト値の集計は相加平均により行われることを特徴とする、請求項１ないし８のいずれか一項に記載の方法。
【請求項１３】
前記第２の画像における前記複数のパッチの位置は、前記対象位置と予め定められた範囲とにより規定されることを特徴とする、請求項１ないし１２のいずれか一項に記載の方法。
【請求項１４】
請求項１ないし１３のいずれか一項に記載の方法を実行するように構成された画像処理システム。
【請求項１５】
前記システムは、前記第１および第２の画像を提供するためのステレオカメラを備える、請求項１４に記載の画像処理システム。
【請求項１６】
請求項１４又は１５に記載のシステムを備える乗り物であって、ロボット装置、特に自律式芝刈り機のような自律式ロボット装置、陸上の乗り物、特に自動車または自動二輪車、海の乗り物、航空又は宇宙の乗り物、のいずれかである前記乗り物。
【請求項１７】
コンピュータ上で実行されたときに、請求項１ないし１３のいずれか一項に記載の方法を実行するコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、互いに関連する画像（以下、「関連する画像」）を分析する方法、これに対応する画像処理システム、そのようなシステムを備える乗り物、及びこれに対応するコンピュータプログラム製品に関する。特に、関連する画像の分析は、ステレオ画像からの深さ推定に関するものであり、望ましくは、画像処理を利用する運転支援システムを備えた車両（乗り物）、又は自律車両（autonomous vehicle）において用いられる。
【背景技術】
【０００２】
近年、画像処理の分野では大きな進展があった。これにより、進歩した分析手法を用いて、１枚の画像や画像シーケンスが取得された現実の状況について、当該状況に関する情報を生成して出力することができる。得られた結果は、現実の状況の特定の側面を表しているので、これを用いて、人間にその状況を気づかせて当該状況に応じた行動をとることを支援したり、あるいは直接的に必要な動作を実行して支援することもできる。そのようなシステムは、例えば先進運転者支援システム（ＡＤＡＳ、Advance Driver Assistance Systems）として知られている。このシステムでは、交通状況の画像（複数）が取得され、当該取得された画像の分析が行われて、衝突が差し迫っていることが観測された場合には、車両を減速若しくは加速したり、又は運転者に警告が与えられる。
【０００３】
勿論、他の多くの用途も考えられる。画像処理システムの応用についての傑出した他の事例は、自律式装置（autonomous devices）である。自律式装置は、その所有者の快適性及び又はそのユーザの安全性を向上するものとしてますますポピュラーなものとなっている。そのような自律装置は、例えば自律式芝刈り機や、危険領域でも操縦者を要することなく汚染された領域で用いることのできる自律式清掃機などである。しかしながら、深さ推定は未だ不確かなものであることから、そのような自律式装置は、レーダやソナーセンサ、あるいは衝突センサのような、付加的なセンサを尚も必要とする。衝突センサについて言えば、それらのセンサは運転方向を望ましい方向へ変更してくれない場合があり、特に不都合である。例えば、衝突センサに当たらないほど高い木の枝のような障害物に接近した場合には、衝突を避けることはできない。
【０００４】
これらの車両（vehicles）は全て、現実の３次元（3D）環境から、カメラ等の従来装置を用いて２次元（2D）画像しか取得することができないという問題を抱えている。この問題を克服するため、ステレオカメラ（stereoscopic cameras）が開発されている。これらのステレオカメラを用いることで、２つの画像が取得される。これら２つの画像は、異なる位置から同時に取得される。ステレオカメラは、それぞれが個別のレンズと画像センサとを備える２つの撮像ユニットを持つためである。これらのカメラユニットが占める個別の場所から情景が撮影されるので、当然にこれら２つの画像は異なるものとなる。従来、既に、このような関連する画像のペアを利用して、これら画像内の物体又は場所の深さ（奥行き位置、depth）を推定する試みが行われている。そのような奥行計算は、十分な精度と信頼性をもって行うことができるならば、他の距離計測手段よりも利点のあるものとして利用されることとなり得る。カメラは（従ってステレオカメラも）、受動的な性質を持つものであるので、エネルギ効率が一つの利点となる。エネルギ効率は一般的な課題であるが、当然のことながら、自律式芝刈り機における蓄電池のようなオンボードのエネルギ貯蔵装置を持つ必要のあるシステムにおいては特に関連性を有する。さらに、距離範囲を変えて用いようとする場合には２つのカメラユニット間の距離（ベースライン）のみを変化させればよいので、このようなシステムは、その柔軟性により、用途に応じて適合させることが容易である。
【０００５】
従来、ステレオ画像処理システムの性能を向上するため、様々な限界（制限、limitations）についての検討が行われてきた。例えば、特許文献１では、ステレオ画像における対応探索（correspondence search）のための２段階相関法が提案されている。この２段階相関法は、従来手法の高コントラストに関する問題に対処するものである。ステレオ画像処理における既知の奥行計算と同様に、２つの画像の一方のパッチと、第２の画像における、これに対応するサイズの画像パッチ（複数）と、の間で相関を計算し、第１の画像のパッチとのマッチングがベストである第２の画像のパッチを探し出す。第１の画像のパッチから第２の画像のベストマッチングを示すパッチまでの距離をピクセル数で表したもの（視差）から、物体の距離又は深さを算出することができる。
【０００６】
画像内の所謂フロントパラレル（前額平行）な物体については、この方法により良好な結果が得られる。第１の画像内に定義されるパッチの各ピクセルに対し、第２の画像内の同じサイズ及び同じ形状を有する対応するパッチ内において等価なピクセルを見つけ出す。この対応するパッチは、第１の画像内のパッチに類似するものであるが、第２の画像内におけるその位置が、第１の画像内におけるパッチの位置と異なっている。したがって、これらの２つの対応するパッチの類似性の程度を算出することは容易である。しかしながら、当然、画像内で特定され得るすべての物体がフロントパラレルであるというわけではない。そのため、例えば運転者支援システムにおいては、明らかにフロントパラレルでない道路のような典型的な物体が存在する場合には、距離評価に関するステレオ画像分析の利用性に大きな制限が生ずる。フロントパラレルでない物体は、第１の画像と第２の画像とにおける対応するピクセルの空間的配列が異なるものとなる。そのようなフロントパラレルでない物体については、第１の画像におけるパッチと、第２の画像におけるこれと同じサイズ及び同じ形状のパッチと、におけるピクセル間の類似性の算出を行っても、視差の特定は困難である。
【０００７】
非特許文献１には、公知のステレオ計算アルゴリズムについて記載されている。しかしながら、この文献では、フロントパラレルでない物体の問題については扱っていない。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】欧州特許出願公開第２３８６９９８（Ａ１）号明細書
【非特許文献】
【０００９】
【非特許文献１】Scharstein, D. and Szeliski, R., (2002). A taxonomy and evaluation of dense two-frame stereo correspondence algorithms. International Journal of Computer Vision 47 (1-3):7-42.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
したがって、本発明の目的は、関連する画像についての分析、特に少なくとも一対の関連する画像についての分析について、改善をもたらすことである。
【００１１】
既知の手法についての上記問題は、添付の特許請求の範囲に従う本発明の方法、システム、乗り物、及びコンピュータプログラム製品により克服される。
【課題を解決するための手段】
【００１２】
本発明の方法を用いて、個別のカメラユニット（複数）により同時に取得された画像ペアのような関連する複数の画像を分析する。
本方法は、
−少なくとも第１の画像と第２の画像を取得するステップと、
−前記第１の画像において、相関を算出すべきピクセルパッチを定めるステップと、
−前記第１の画像における前記ピクセルパッチの各ピクセルと、前記第２の画像における複数のピクセルパッチのそれぞれにおける対応するピクセルとの間のマッチングコスト値を算出するステップであって、前記第２の画像における前記ピクセルパッチ（複数）は、それぞれ前記第２の画像における位置が異なり、対象位置のピクセルパッチを含むものであるステップと、
−最良のマッチングを示す前記第２の画像内のすべてのパッチのそれら対応するピクセルのマッチングコスト値を集計して、前記対象位置に関する集計ウィンドウを生成するステップと、
−前記対象位置に関する情報を含む信号を生成するステップと、
を有する。
【００１３】
画像のペアが異なる位置から同時に取得されるシステムのみならず、例えば動きベクトルを推定／補償するためにオプティカルフローが算出されるシステムに対しても、本方法及び当該方法に対応する装置を適用できることは明らかである。この場合、本方法が実行される画像ペアは、一つのカメラユニットからの連続する画像である。さらに、本発明は、関連する画像の一つのペアのみに限定して適用されるものではない。互いに既知の空間的関係を持つ任意の数のカメラユニットにより、マルチカメラシステムを構成するものとすることができる。すなわち、それぞれが２つのカメラユニットで構成される複数のステレオカメラを用いる場合のように、それぞれが２つのカメラユニットを持つ複数のカメラペアも定義され得る。あるいは、一のカメラユニットが参照画像を出力するものとし、他のカメラユニットのそれぞれが第２の画像を出力するものとして、当該他のカメラの数と同じ数の関連する画像のペアを得るものとすることができる。
【００１４】
本発明は、第１の画像の一のパッチと第２の画像内の一の領域との間の類似性を評価する際に一つのパッチ（第２の画像内において対象位置を占めるパッチ）に属するピクセルのみを考慮するだけではない、という利点を有する。対象位置のパッチのピクセルに加えて、その対象位置からシフトしたパッチ（複数）のピクセルも含めて、その評価が行われる。したがって、フロントパラレルでない物体の歪に起因して第２の画像内の上記対象位置のパッチから外れることとなったピクセルも、その対象位置の特定に寄与することとなる。
【００１５】
更なる利点及び態様は、従属請求項に示される。
【００１６】
最良のマッチングを示す対応関係を有するピクセルのマッチングコスト値に、対象位置とそれらピクセルの位置との間の距離に従ってペナルティを課すことは、特に利点がある。これにより、対象位置にあるパッチに元々属しているピクセルは、第２の画像内の複数のパッチのうちの他の一のパッチに属するピクセルよりも大きく寄与することとなる。
【００１７】
本発明に係る方法の処理結果を改善するため、それら複数のパッチを、第２の画像内において、対象位置にあるパッチに関し対称の位置にある複数の隣接するパッチ（以下、「隣接パッチ」という）で構成することができる。例えば、対象位置にあるパッチのどちらの側にも少なくとも２つのパッチが存在するときは、最良のマッチングを示すピクセルの、対象位置からの距離が大きいほど、上記ペナルティを増加させることが望ましい。これにより、最良のマッチングを示すものとして特定され且つ対象位置のパッチにより近いパッチから採られたピクセルは、最良のマッチングを示すものとして特定され且つ対象位置のパッチからより遠いパッチから採られたピクセルよりも、大きく寄与することとなる。
【００１８】
特に、好適な実施形態によると、対象位置のパッチから採られた最良のマッチングを示すピクセルについてはペナルティは課されず、最良のマッチングを示す他の全てのピクセルには、一定値を用いてペナルティが課される。
【００１９】
第１および第２の画像はステレオカメラから取得されることが望ましい。特に、そのようなステレオカメラは、先進運転者システム、又は自律式装置のセンシング手段に用いられていることが望ましい。
【００２０】
ペアを構成する関連する画像がステレオカメラにより与えられる場合、第２の画像内のパッチの位置は、望ましくは視差により規定される。
【００２１】
さらに、望ましくは、対象位置についての情報を含む信号に基づいて、立体視の深さが算出される。
【００２２】
これに代わる望ましい形態として、対象位置についての情報を含む信号に基づいて、オプティカルフローが算出される。
【００２３】
本発明は、一般に、第１の画像内で定義された領域と、第２の画像内のこれに対応する領域と、の間の類似性についての何かしらの尺度が評価されるシステムにおいて機能する。ただし、マッチングコスト値が、自乗差若しくは絶対値差、正規化相互相関値、ランク変換画像の絶対値差分、又はセンサス変換画像のハミング距離、として算出されることが特に望ましく、及び平均加算によりマッチングコスト値（複数）を集計することが特に望ましい。
【００２４】
既に述べたように、対象位置のパッチに加えるパッチの数は、システムの演算性能や必要とされる精度又は他の境界条件に関するニーズに合わせて調整することができる。例えば、対象位置のパッチに隣接するパッチ（複数）の位置は、その対象位置と、予め定められた範囲と、により規定される。例えば、範囲は、本発明に係るシステムを製造する者が、対象位置のパッチを定義した後、当該対象位置のパッチのいずれかの側方に向かってX個のピクセルの範囲を考慮する、というように規定することで設定されるものとすることができる。その後、当該システムの設定に従い、当該範囲をカバーするように隣接パッチの位置（複数）が決定され得る。（対象位置のパッチの各側方にある）隣接パッチの数は、結果として得られる隣接パッチがオーバラップするように、上記規定されたピクセル数の範囲と同じとするか、又は、演算負荷が減少するように、当該範囲をその方向におけるパッチ長さで分割して、隣接パッチがオーバラップしないように設定される。
【００２５】
本発明は、望ましくは、上述した処理および方法のステップを実行するよう構成されたシステムを備える車両であり、当該車両は、ロボット装置（特に、自律式芝刈り機のような自律式ロボット装置）、陸上用乗り物（特に、自動車やバイク）、海洋用の乗り物、航空用又は宇宙用の乗り物、の一つである。
【００２６】
他の態様によると、コンピュータで実行されたときに上述の方法を実行するコンピュータプログラム製品が提供される。
【図面の簡単な説明】
【００２７】
【図１】自律式乗り物の一例を模式的に示す図である。
【図２】撮像されたステレオ画像の左右の画像の一例を模式的に示す図である。
【図３】従来の方法において評価されるパッチを示す図である
【図４】対応関係にあるピクセルの決定とその集計に用いられる複数のパッチの一例を、模式的に示す図である。
【図５】本発明の方法のステップを例示するフローチャートである。
【発明を実施するための形態】
【００２８】
以下に、本発明の更なる態様及び特徴を、添付の図面に示す実施形態を参照しつつ説明する。これらの図面においては、同様の参照符号は同様の構成部分を示している。
【００２９】
図１に模式的且つ例示的に示すような自律車両１は、開始ポイントから目的位置まで、当該自律車両の乗員による計画的な介入なしに自律的に移動する。本自律車両は、開始点から目的位置までの移動経路上では、その途中で、交通状態に対して当該移動経路を自律的に適合させる。
【００３０】
自身の環境を知覚するため、自律車両は、通常、当該環境を感知するための複数のセンサを備え、少なくとも一つの光センサを含む少なくとも一つの光センサシステム２を備えている。基本的には、この場合の「感知」とは、自律車両が、当該センサから与えられるデータを処理ユニット３により処理して、環境の種々の側面を表すパラメータを導出することを意味する。また、導出されたパラメータは、当該環境についての当該車両の視野像（view）を構成する。
【００３１】
自律車両１は、上記パラメータを継続的に監視し、当該パラメータに基づいて決定を行う。すなわち、計算結果又はパラメータ比較の結果により、指定された処理の実行が行われる。決定は、当該パラメータが特定の制約条件又は閾値に達したときに行われる。種々の数多くの決定が行われ得るが、自律移動においては、車両の動きの変化を引き起こすこととなる決定が重要となる。そのような決定は、他の交通参加者に影響を与えるためである。
【００３２】
動きを変化させるために、車両１は、通常、少なくとも、ステアリングを動かしたり、当該車両を加速又は減速したり（ブレーキをかけたり）、及び又は乗員と通信するための、アクチュエータを備えている。決定が行われると、すなわち処理が開始されると、自律車両１は、それぞれの処理に規定されたステップ、計算、及び又は比較処理に従って、アクチュエータを作動させる。
【００３３】
光センサの少なくとも一つはステレオカメラとすることができ、望ましくは画像ペアのシーケンスを生成するために用いられる。当該生成された画像シーケンスは、例えば、視差からの画像内の物体の深さ算出を可能とする対象位置の情報を含んだ信号を提供することにより、ナビゲーション機能を高めるための、及び自律車両１の移動経路内にある障害物／物体を回避するための、物体についての深さ計算に用いられる。勿論、物体についての深さ計算を、上記画像シーケンスからのオプティカルフローの計算と組み合わせることもできる。
【００３４】
ステレオカメラとは、それぞれのレンズに対し個別の画像センサを備えた２つのレンズを有するカメラの種類をいう。実際には、ステレオカメラは、一つの器具に取り付けられた２つの個別のカメラで構成されることが多い。この場合、これらのカメラは、動かないように固定されるか又は可動に取り付けられる。固定されている場合、これらのカメラは、通常、画像センサ（複数）が同一平面となるように調整される（パラレル設定）。可動である場合、これらのカメラは、通常、人間の目の両目離反運動（vergence movement）を模倣するように用いられる。
【００３５】
本発明の主要な意図は、ステレオシステム又はマルチカメラシステムにおける奥行き推定又はその性能を、当該カメラシステムにより記録された画像間の対応関係探索を支援することにより向上させることである。
【００３６】
ステレオ画像又はマルチカメラ画像から奥行きを推定するためには、当該カメラにより観測されるシーン内の一つの３Ｄインスタンスに属する画像（複数）において、相関関係にある画像ピクセル（複数）を見いだすことが必要である。マルチカメラシステムは、カメラの各ペアをステレオカメラとして用いることができるという意味において、又は、一つのカメラを基準カメラとし、その他の全てのカメラがステレオカメラシステムにおける第２のカメラとして用いられるという意味において、上記と同様である。すなわち、相関関係にあるピクセル（複数）が、カメラの各ペアにおいて、又は基準カメラの画像とその他の全てのカメラの画像との間において、探索される。以下では、ステレオカメラというときは、マルチカメラシステムをも使用できるものと理解されたい。
【００３７】
本発明の詳細について説明する前に、画像ペアから実行される深さ推定の原理について説明する。
【００３８】
ピクセル相関を見つけ出せば、相関するピクセル間の距離から、奥行きを簡単に算出す
ることができる。相関するピクセル間の距離は、視差と称され、ピクセル数で測定することができる。例えば、相関するピクセルが５ピクセルだけ離れているときは、これらのピクセルは視差５を持つ。奥行きは、次の単純な式で算出される。
奥行き＝ｆ×ｂ／視差
【００３９】
ここに、ｆは、カメラの焦点距離であり、ｂはベースラインである。ベースラインは、
２つのカメラ間の３Ｄ距離である。
【００４０】
単一のピクセルの相関関係を見つけ出すことは困難である。したがって、各ピクセルの周囲のエリア（パッチ）を用いて、相関関係を見つけ出す。このエリアが矩形であれば、この手法はブロックマッチングと称される。パッチを用いて相関関係を見つけ出す場合の主たる問題は、固有の仮定を置いていること、すなわち、２つのステレオ画像内において同じ空間配列で描写されるのは同じ奥行きからのピクセル（群）だけであるから、パッチ内では全てのピクセルが同じ奥行き値（又は視差値）を持つはずである、という仮定を置いていることである。（ステレオ）カメラにより観測されるシーンは、フロントパラレル（fronto-parallel）でない多くの面から構成されるので、上記の仮定は成り立たない場合が極めて多い。幸いにも、この手法は、ピクセルの奥行き値どうしの差が大きすぎない限りは、うまく機能する。
【００４１】
しかしながら、路面のように大きく傾いた面の場合には、上記の仮定は、図２に示すように大きなエラーの要因となる。家や木のようなフロントパラレルな物体は２つのステレオカメラ画像中で同じように見える一方、街路のような大きく傾いた面は、２つのステレオカメラ画像の間では、その空間的な２Ｄ（２次元）レイアウトが変化する。このため、左画像からのパッチ（例えば、中心のピクセルＲの周囲の３×３のパッチ）の相関を得ようとしても、ピクセルの空間レイアウトは右画像において変化しているので、失敗に終わる。
【００４２】
通常、パッチマッチングは次のように行われる。
上述の実施形態における第１の画像である左画像において、図２に示すように、太線で示す３×３ピクセルの矩形によりパッチを定義する。このパッチを、この実施例の第２の画像である右画像における候補パッチ（複数）と比較する。この比較は、これら２つのパッチの間でパッチマッチング・コスト（又は相関）値を算出することにより行う。最良のマッチングを示す第２の画像内のパッチが、対応するパッチ（即ち、第１の画像内で定義されたパッチに対応するパッチ）として特定される。ほとんどの場合、このマッチングコスト値は、まずピクセルレベルのコスト値を算出した後、それらのピクセルレベルのコスト値をパッチ全体について集計することで算出される。
【数１】
2015133108.tif 000003
【００４３】
ここに、Cdは、集計されたパッチマッチング・コスト値、ci,dは、左画像パッチ内のピクセルｉと右画像パッチ内のこれに対応するピクセル（以下、「対応ピクセル」という）との間のピクセルレベルのコスト（以下、「ピクセルレベル・コスト」という）である。平行に配されたステレオカメラの場合、対応関係にあるピクセルは、常に、同じイメージライン上に存在し、次式が成り立つ。
【数２】
2015133108.tif 000004
【００４４】
ここに、fcはピクセルレベル・マッチングコスト関数、p(xi,yi)Lは左画像内のピクセルi、p(xi+d,yi)Rは右画像内の対応ピクセルである。
【００４５】
右側画像内の対応するパッチ（以下、「対応パッチ」という）を特定した後に、第２の（右側）画像内のそのパッチの位置をさらに評価することができる。これらの対応関係にあるパッチの位置は、視差ｄだけ異なっている。標準的なステレオ処理におけるフロントパラレル仮定の要点は、パッチ内のすべてのピクセルは同じ視差ｄを持つということであり、従って既知の手法は、同じパッチサイズとパッチ形状とを有する対応パッチのみを特定して、この特定した対応パッチの、第１の画像内で定義されたパッチからの視差を算出する。従って、視差ｄのそれぞれについて、そのパッチのマッチングコスト値も、視差ｄのピクセルレベルのマッチングコスト値（複数）から算出される。ピクセルレベル・コスト値は、種々の方法により算出され得る。単純な場合には、対応関係にあるピクセルの強度間の絶対値差（AD、 absolute difference）により算出され、より高度な場合は、（例えば、前述した正規化相互相関、ランク変換、又はセンサス変換を算出すべく）さらに他のパッチが組み込まれ得る。
【００４６】
図３に示すように、このようなアプローチは、対応パッチの特定に失敗することとなる。
【００４７】
これに対し、本発明では、パッチ視差ｄについて視差ｄのピクセルレベル・コスト値を単に集計することはせず、視差の集合から、各ピクセルについての最良のピクセルレベル視差（ピクセルレベル・コスト値が最良である視差）を選択することにより、複数の視差（目標とするパッチ視差ｄに近いものであると有利である）についてのピクセルレベル・コスト値（複数）を組み入れる。
【数３】
2015133108.tif 000005
【００４８】
ここに、dsは視差（目標とするパッチ視差ｄに近いものであると有利である）の集合である。一つの実現形態として、そのような集合は、例えば±２ピクセルの単純な視差範囲（即ち、ds＝{ d-2,d-1,d,d+1,d+2}）とすることができる。目標とするパッチ視差（以下、「パッチ目標視差」という）は、中心ピクセルＲに関するパッチとして決定される左画像内で定義されるパッチの位置からの、第２の画像（ここでは右画像）内のパッチの対象位置の距離である。
【００４９】
最良のピクセルレベル視差を見出すべく最大値を選択する際の問題は、パッチレベル・マッチングコスト関数において隣接する視差に高台を形成し得ることである。このため、パッチ視差とは異なる視差からのピクセルレベル・マッチングコスト値にペナルティを課すことが望ましい。
【数４】
2015133108.tif 000006
【００５０】
ここに、Ｐは、典型的にはパッチ目標視差ｄとピクセルレベル視差との差と共に増加するペナルティであるが、目標視差に等しくない全ての視差に対して固定されたペナルティを用いたり、その他の任意の種類のペナルティを用いることもできる。
【００５１】
図４は、図２に示したものと同じサンプルを用いて本概念を抽象的に視覚化したものである。図３においてはうまく相関がとれなかったが、ここでは、まず、右側画像内の、パッチ目標視差ｄに対応する位置のパッチを含む複数の全てのパッチについて、パッチ目標視差ｄと他の２つの視差（d-1）及び（d+1）とのピクセルレベルの相関が算出される。図４では、これらのパッチは、図示右下に点線で描かれた３つのパッチとして示されている。これらのピクセルレベル相関から、各ピクセルについて最良のマッチングが選択される。この単純化された例では、図示下段部のピクセル（複数）についての最良の相関は、視差（d-1）からのものとなり、図示中段部のピクセル（複数）についての最良の相関はパッチ目標視差（d）からのものとなり、図示上段部のピクセル（複数）についての最良の相関は視差（d+1）からのものとなっている。次に、これらの最良のピクセルレベル相関が集計（aggregate）されて第２の画像内に集計ウィンドウ（aggregation window）が生成され、例えばペナルティを用いて、第１の画像内に定義された基準のパッチと第２の画像内の上記集計ウィンドウとに基づいて、新たなパッチ相関が生成される。このことが、図４の上半分部分に示されている。組み合わせにより新しいパッチが構築されるものとして視覚化されているが、実際には、ピクセルレベル相関値は、新しいパッチの構築には用いられない。実際は、ピクセルレベル相関コスト値が（例えば重み付き平均を用いて）集計され、上述したようにパッチレベル相関コスト値が算出される。
【００５２】
上述の説明はすべて、ステレオ画像から深さを算出することに焦点を絞ったものであるが、同じ方法を用いて、パッチマッチング・オプティカルフロー・アルゴリズムを改善することもできる。若干の差異を有する２つのアプローチがある。第１のアプローチは、典型的には、ステレオカメラの場合のように２つのカメラから同時に得られた２つの画像を用いる代わりに、同じカメラ（単数）から得た２つの連続する画像の間でオプティカルフローを算出するものである。第２のアプローチは、画像ラインに沿って相関を探索するのみならず、探索ウィンドウ内でも探索を行うことを必要とする。したがって、ステレオ処理における視差は、オプティカルフローにおいては２次元ベクトルとなる。これらのベクトルは、画像パッチが一の画像から他の画像へ向かう間に受け得る２次元シフトに関するものである。これは、画像全体のシフト（即ち、パッチ移動の反対方向に沿った一の画像のシフト）により表され得る。最良のピクセルレベル相関の探索について言えば、オプティカルフローにおいては、可能性のある視差の集合は可能性のある画像シフトの集合となる。これら２つの違いはあるものの、その計算は同じである。
【００５３】
図５は、上述において詳細に説明した方法のステップの、単純化されたフロー図である。まず、ステップＳ１において、パッチ相関についての分析の対象である２つの関連する画像が取得される。本発明での意味においては、関連する画像のペアは、ステレオカメラで同時に撮像された画像のペアであり得る。これに代えて、当該ペアを為す関連する画像は、一つのカメラユニットにより連続して撮影されたという時間的関係を有するものでも良い。出発点として両者の組み合わせを用いることもできる。すなわち、ステレオカメラにより画像ペアのシーケンスが取得され、ペアを為す２つの画像からオプティカルフロー又は深さのいずれかが算出され得る。
【００５４】
次に、ステップＳ２において、上記２つの関連する画像のいずれか一方であり得る第１の画像において、第２の画像においてそれに対応する画像の距離を算出するための、パッチが定義される（又は、定められる）。その算出のため、まず、マッチグコスト値が計算される。この計算には、第１の画像において定義されたパッチの各ピクセルと、第２の画像内の異なる位置にある複数のパッチのそれぞれにおける対応ピクセルと、についての、ピクセルレベル・コスト値の計算が含まれる。したがって、第１の画像において定義されたパッチの各ピクセルについて、複数のマッチングコスト値が計算される。
【００５５】
次に、第１の画像のパッチの各ピクセルについて、最良のマッチングを示す対応ピクセルが選択される。第２の画像における複数のパッチのいずれかから採られた最良のマッチングを示すこれらのピクセルのすべての、対応するマッチングコスト値が、ステップ４において集計される。これにより、パッチ目標視差に関連する集計ウィンドウが生成される。
【００５６】
第１の画像内で定義されたパッチに最もマッチする集計ウィンドウから視差が得られ、信号として出力される（ステップＳ６）。ステップＳ７において、そのような信号に基づいて、当該視差についての知識が更に利用される。そのような利用は、例えば、ＡＤＡＳにおいて、人やその他の障害物が走行経路内に存在し衝突する可能性があることをドライバに警告することであり得る。また、物体までの推定距離に基づいて直接的なアクションをとるものとしてもよい。例えば、自律式芝刈り機において衝突を回避するようにその走行経路を修正したり、本システムを先進運転者支援システムに実装して自動ブレーキを実行するものとすることもできる。
【図１】
2015133108.tif 000007
【図２】
2015133108.tif 000008
【図３】
2015133108.tif 000009
【図４】
2015133108.tif 000010
【図５】
2015133108.tif 000011
【外国語明細書】
2015133108000001.pdf