(57)【要約】【課題】  奥行き認知を向上させて自律車両におけるナビゲーションと物体回避の機能を向上させる。【解決手段】  一の態様は、画像を処理するための画像処理方法である。当該画像処理方法は、光センサから少なくとも２つの画像を取得するステップと、歪みを少なくとも部分的に補償する画像ワーピングファンクションを決定するステップと、前記歪みを含む画像に前記決定した画像ワーピングファンクションを適用するステップと、処理ユニットにより、前記少なくとも２つの画像から奥行き画像及び又は視差画像を算出して出力するステップと、を有する。【選択図】図３
2014138420.tif 000002
【特許請求の範囲】
【請求項１】
画像を処理する方法であって、
光ステレオセンサから、少なくとも２つの画像を取得するステップと、
前記２つの画像の少なくとも一方に画像ワーピングファンクションを適用して、当該画像を変形することにより当該画像における歪みを補償するステップと、
処理ユニットにより、前記変形された画像と前記少なくとも２つの画像うちの少なくとも１つの他の画像から、奥行き画像及び又は視差画像を算出して出力するステップと、
前記ワーピングファンクションの適用により導入されたシフト量を減算することにより前記奥行き画像又は視差画像を補正するステップと、
を有する、方法。
【請求項２】
前記視差画像は、前記ワーピングファンクションの適用により導入されたシフト量を減算することにより補正され、及び又は、前記方法は、前記少なくとも２つの画像の一つが歪みを含んでいるか否かを判断するステップを含む、請求項１に記載の方法。
【請求項３】
前記光センサは、ステレオカメラ又はマルチカメラシステムであり、及び又は、前記歪みは、前記少なくとも２つの画像間の視野の差違である、請求項１に記載の方法。
【請求項４】
前記奥行き画像及び又は視差画像は、ブロックマッチング法を用いて算出される、請求項１ないし３のいずれか一項に記載の方法。
【請求項５】
加算正規化相互相関が相関尺度として用いられる、請求項１ないし４のいずれか一項に記載の方法。
【請求項６】
前記画像は、さらに、前記光センサのレンズ歪みに関して補正される、請求項１ないし５のいずれか一項に記載の方法。
【請求項７】
前記画像は、さらに、パラレルエピポーラ線に関して補正される、請求項１ないし６のいずれか一項に記載の方法。
【請求項８】
複数の画像ワーピングファンクションが、前記画像の少なくとも一つに適用される、請求項１ないし７のいずれか一項に記載の方法。
【請求項９】
前記方法のステップは、各実行毎に異なる画像ワーピングファンクションを用いて複数回実行され、各実行から得られた補正後の複数の視差／奥行き画像が一つの視差／奥行き画像に結合される、請求項１ないし８のいずれか一項に記載の方法。
【請求項１０】
前記ワーピングされた画像からの前記奥行き画像及び又は視差画像の算出に加えて、ワーピングされていないカメラ画像から奥行き画像及び又は視差画像が算出され、且つ、算出結果が一つの視差／奥行き画像に合成される、請求項１ないし９のいずれか一項に記載の方法。
【請求項１１】
現在の画像に対する前記画像ワーピングファンクションは、その前の一つの奥行き画像及び又は視差画像から推定されるか、又はその前の複数の奥行き画像及び又は視差画像のセットから推定される、請求項１ないし１０のいずれか一項に記載の方法。
【請求項１２】
前記画像ワーピングファンクションは、演繹的に定義されて固定され、及び又はアフィンモデルである、請求項１ないし１１のいずれか一項に記載の方法。
【請求項１３】
前記光センサにより観測されたシーン内の構造物が、前記奥行き画像及び又は視差画像から得られた前記奥行き及び又は視差の算出結果に基づいて、アクセス可能エリア及び又は非アクセス可能エリアに分離される、請求項１ないし１２のいずれか一項に記載の方法。
【請求項１４】
前記光センサにより観測されたシーン内の物体及び又は移動物体が、前記奥行き画像及び又は視差画像から得られた前記奥行き及び又は視差の算出結果に基づいて検出される、請求項１ないし１３のいずれか一項に記載の方法。
【請求項１５】
前記光センサは、マルチカメラシステムである、請求項１ないし１４のいずれか一項に記載の方法。
【請求項１６】
少なくとも一つの光ステレオセンサを備えたセンサシステムであって、当該システムは更に、
前記光ステレオセンサから少なくとも２つの画像を取得する手段と、
前記２つの画像の少なくとも一方に画像ワーピングファンクションを適用して、当該画像を変形することにより当該画像における歪みを補償する手段と、
前記変形された画像と前記少なくとも２つの画像のうちの少なくとも一つの他の画像から、奥行き画像及び又は視差画像を算出して出力する手段と、
前記ワーピングファンクションの適用により導入されたシフト量を減算することにより前記奥行き画像及び又は視差画像を補正する手段と、
を有する、システム。
【請求項１７】
請求項１ないし１５のいずれか一項に記載の方法を実行するよう適合された、請求項１５に記載のシステム。
【請求項１８】
請求項１６に記載のセンサシステムを備える陸上用、航空用、海洋用、又は宇宙用の乗り物。
【請求項１９】
前記乗り物は、ロボット又はオートバイ、スクータ、その他の車輪のある乗り物、乗用自動車、又は芝刈り機である、請求項１８に記載の乗り物。
【請求項２０】
請求項１６に記載のセンサシステムを含む、乗り物用運転者支援システム。
【請求項２１】
コンピュータで実行されたときに、請求項１ないし１５のいずれか一項に記載の方法を実行するコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光センサ、特にステレオカメラ又はマルチカメラシステムを用いて、奥行き又は視差を計算して移動経路を案内し及び移動経路上にある障害物／物体を回避するための、例えば自律車両又は半自律車両用の、方法及び光センサシステムに関する。
【背景技術】
【０００２】
自律車両のナビゲーションでは、当該車両が用いることのできるアクセス可能なエリアを見つけ出すことが重要であるが、当該車両の移動に用いることのできないアクセス不可能なエリアを見つけ出すこともまた重要である。自律自動車では、例えば、航行可能エリア（すなわち、当該自動車が航行することのできるエリア）と非航行可能エリア（すなわち、回避すべきエリア）とを決定することが必要である。
【０００３】
自律自動車の場合、航行可能エリアは、例えば道路とすることができ、非航行可能エリアは歩道とすることができる。自律式芝刈り機の場合には、航行可能エリアは芝生とすることができ、非航行可能エリアは花壇とすることができる。
【０００４】
障害物／物体検出の場合には、突出構造物を避けることが重要である。突出構造物は自律式陸上車両に損傷を与えたり、当該車両が当該構造物に損傷を与える場合があるからである。自動車の場合には、そのような物体として、他の自動車や歩行者などの他の交通参加者、あるいはガードレールや交通信号灯のような硬い構造物が考えられる。
【０００５】
本センサシステムは、カメラ（ＣＣＤ、ＣＭＯＳ、その他）、レーザスキャナ、赤外線センサなどの、少なくとも一つの光センサを備える。本光センサは、画像を生成し、当該画像を例えば画像ストリームとして処理ユニットに送信する。本光センサは、特に、二つ以上のカメラが異なる角度から同じ時刻に同じシーンの画像を生成するステレオカメラ又はマルチカメラシステムとすることもできる。
【０００６】
処理ユニットは、上記画像を処理して、少なくとも一つの光センサから出力された画像から画像情報を引き出す。処理ユニットは、本光センサシステムの一部とすることができるが、本センサシステムから離れた場所に置かれるものとすることもできる。例えば、画像ストリームは、カメラベースのストリーム記録システムから処理システムに送信されて処理されるものとすることができる。
【０００７】
アクセス可能なエリアを見つけ出すため、及び又は物体を検出するため、例えばステレオカメラ又はマルチカメラシステムの光センサから与えられた左画像と右画像との間で、相関するピクセル又は相関する画像パッチを見つけ出して、奥行きイメージが算出される。相関は、左画像からのピクセルパッチと右画像からのピクセルパッチとを比較することにより決定される。相関するパッチ間の距離は、奥行きデータに変換される。この奥行きデータにより３Ｄ（３次元）シーン配置の再構築が可能となる。当該３Ｄシーン配置は、その後、航行可能エリアや障害物の検出に用いられる。
【０００８】
特許文献１には、ブロックマッチング相関サーチに用いることのできるロバストなマッチング尺度と加算正規化相互相関法（summed normalize cross-correlation method、SNCC）について記載されている。この技術の応用例の一つは、ステレオ画像からの立体奥行き計算である。本願発明とは異なり、画像ワーピング（画像変形、image warping）技術を用いたマッチング（相関）品質の向上は行われていない。
【０００９】
非特許文献１には、最も一般的な立体計算アルゴリズムの概要が記載されている。そこに記載されたアルゴリズムは、本願発明とは異なり、算出された奥行き値（視差値）の精度及びロバスト性を画像ワーピングを用いて向上させることは行っていない。
【００１０】
図１に模式的且つ例示的に示すような自律車両１は、開始ポイントから目的位置まで、当該自律車両の乗員による計画的な介入なしに自律的に移動する。本自律車両は、開始点から目的位置までの移動経路上では、その途中で、交通状態に対し当該移動経路を自律的に適合させる。
【００１１】
自身の環境を知覚するため、自律車両は、通常、当該環境を感知するための複数のセンサを備え、少なくとも一つの光センサを含む少なくとも一つの光センサシステム２を備えている。基本的には、この場合の「感知」とは、自律車両が、当該センサから与えられるデータを処理ユニット３により処理して、環境の種々の側面を表すパラメータを導出することを意味する。また、導出されたパラメータは、当該環境についての当該車両の視野像（view）を構成する。
【００１２】
自律車両１は、上記パラメータを継続的に監視し、当該パラメータに基づいて決定を行う。すなわち、計算又はパラメータ比較の結果により、指定された処理の実行が行われる。決定は、当該パラメータが特定の制約条件又は閾値に達したときに行われる。種々の数多くの決定を行うことができるが、自律移動においては、当該車両の動きの変化を引き起こすこととなる決定が重要となる。そのような決定は、他の交通参加者に影響を与えるためである。
【００１３】
動きを変化させるために、車両１は、通常、ステアリングを動かしたり、当該車両を加速し又は減速したり（ブレーキをかけたり）、及び又は乗員と通信するための、少なくともアクチュエータを備えている。決定が行われると、すなわち処理が開始されると、自律車両１は、それぞれの処理に規定されたステップ、計算、及び又は比較処理に従って、アクチュエータを作動させる。
【００１４】
光センサの少なくともいくつかは、画像シーケンスを生成するために用いられるカメラとすることができ、当該生成された画像シーケンスは、例えば、ナビゲーションを強化して自律車両１の移動経路内にある障害物／物体を回避するための、オプティカルフロー計算に用いられる。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】欧州特許出願第１０１６２８２２号明細書
【非特許文献】
【００１６】
【非特許文献１】Scharstein, D. and Szeliski, R. (2002).  A taxonomy and evaluation of dense two-frame stereo correspondence algorithms.  International Journal of Computer Vision, 47(1-3):7-42.
【発明の概要】
【発明が解決しようとする課題】
【００１７】
ナビゲーション及び物体検出の両者において奥行き推定値を得ることは重要であり、特に、陸上車両の場合においては地面についての奥行き推定値を得ることが重要である。残念ながら、特にステレオカメラ又はマルチカメラシステムを用いる場合には、カメラの光軸と面、例えば地表面との間の典型的な平行関係では、左ステレオカメラと右ステレオカメラとの間で大きな視野の差違（歪み）が生じる。
【００１８】
この大きな差違は、画像パッチの相関を低下させる。当該差違に起因して、左右画像のパッチが違って見えるからである。
【００１９】
本発明は、この問題を軽減し、奥行き認知、特に地面についての奥行き認知を向上させて、自律車両におけるナビゲーションと物体回避の機能を向上させる。
【課題を解決するための手段】
【００２０】
本発明の一の態様は、画像を処理するための画像処理方法である。本方法は、光ステレオセンサから少なくとも２つの画像を取得するステップと、前記少なくとも２つの画像の一つが歪みを含むか否かを判断する任意選択のステップと、前記２つの画像の少なくとも一つに画像ワーピングファンクションを適用して当該画像を変形することにより当該画像における歪みを補償するステップと、前記少なくとも２つの画像のうちの、前記変形された画像と他の少なくとも一つの画像から、奥行き画像及び又は視差画像を、処理ユニットにより算出して出力するステップと、前記奥行き画像及び又は視差画像を、前記ワーピングファンクションの適用に起因して導入されたシフト量を減算することにより補正するステップと、を有する。
【００２１】
前記ワーピングファンクションの適用に起因して導入されたシフト量を減算することにより、前記視差画像を補正することができる。
【００２２】
前記光センサは、ステレオカメラ、及び又はマルチカメラシステムとすることができる。前記歪みは、前記少なくとも２つの画像間の視野の差違とすることができる。当該視野の差違は、前記光センサ又は前記光センサを構成するカメラの空間オフセットから生じ得る。
【００２３】
前記奥行き画像、及び又は視差画像は、ブロックマッチング法を用いて算出されるものとすることができる。
加算正規化相互相関を、相関尺度として用いることができる。
前記画像は、さらに、前記光センサのレンズ歪みに関して補正されるものとすることができる。
【００２４】
前記画像は、さらに、平行なエピポーラ線に関して調整（rectify）されるものとすることができる。これは、左右のステレオ画像の対応するピクセル（複数）が同じ画像ライン上に存在するように、ステレオカメラの画像を幾何学的に補正する公知の手法である。通常、この調整（以下、「幾何調整」という）は、ステレオカメラでチェッカーボードを撮影し、チェッカーボードの対応する角部についてのラインオフセットを検出して行われる。この幾何調整は、ステレオカメラを構成する際に避けることのできない微小な不規則性（例えば、複数の撮像チップが同一平面となるようにステレオカメラを構成することは非常に困難である）についての補正を行うものである。幾何調整は、カメラ固有の誤差を補正するものであるので、一度だけ実行すればよく、当該カメラにより撮影されるシーン配置には全く依存しない。
【００２５】
歪みを含む前記画像（単数）に対し、複数の画像ワーピングファンクションを適用するものとすることができる。
【００２６】
本方法のステップは、１回の実行毎に異なる画像ワーピングファンクションを用いて複数回実行するものとすることができ、各１回の実行の結果として得られた補正済みの視差／奥行き画像を結合して一つの視差／奥行き画像とすることができる。
【００２７】
ワーピングした画像からの奥行き画像及び又は視差画像の算出に加えて、ワーピングしていないカメラ画像からの奥行き画像及び又は視差画像の算出を行い、それらの結果を合成（merge）して、一つの視差／奥行き画像とすることができる。
【００２８】
現在の処理画像に用いるべき画像ワーピングファンクションは、その前の処理での奥行き画像及び又は視差画像、若しくはその前の処理での奥行き画像及び又は視差画像のセットから判断することができる。用いるべきワーピングモデルは、主にシーン配置（例えば、ステレオカメラに対する路面の方向）に依存するので、当該ワーピングモデルは、最後に行った処理で得られたデータ（視差／奥行きマップ）に、（例えば勾配降下法を用いて）適合させることができる。この場合、ワーピングモデルは、ある種のブートストラッププロセスが施されることとなる。最後に実行された処理（ステップ）から判断されたワーピングモデルは、現在の視差マップ又は奥行きマップを改善し、当該改善された現在の視差マップ又は奥行きマップは、次に実行される処理での更に改善されたワーピングモデルをもたらすからである。
【００２９】
あるいは、画像ワーピングファンクションは、演繹的に定義されて確定されるものとすることができ、及び又は、当該画像ワーピングファンクションはアフィンモデルである。
【００３０】
光センサにより観測されるシーン内の構造物は、アクセス可能エリア、及び又は非アクセス可能エリアに分けられる。その方法の一つは、各ピクセルについての３Ｄ奥行きデータから、地面上の高さを算出することである。単純な閾値を用いて、ピクセル（複数）を、地面又はアクセス可能エリア（例えば、高さ≦10cm）と非アクセス可能エリア（例えば、高さ＞10cm）とにグループ分けすることができる。他の方法は、同等の奥行き値又は視差値を持って隣接するピクセル（複数）をグループ化することである。そのような領域は、通常、自動車や人間のような、直立する障害物である。
【００３１】
光センサにより観測されたシーン内の物体、及び又は移動物体は、奥行き画像及び又は視差画像から得られる奥行き及び又は視差の算出結果に基づいて検出される。
光ステレオセンサは、マルチセンサシステムであるものとすることができる。
【００３２】
本発明の他の態様は、少なくとも一つの光ステレオセンサを備えたセンサシステムである。本システムは、更に、前記光ステレオセンサから少なくとも２つの画像を取得する手段と、前記少なくとも２つの画像のうちの一つが歪みを含むか否かを判断する任意選択の手段と、前記２つの画像のうちの少なくとも一つの画像に画像ワーピングファンクションを適用して、当該画像を変形することにより当該画像内の歪みを補償する手段と、前記変形された画像と前記少なくとも２つの画像のうちの他の一つの画像から奥行き画像及び又は視差画像を算出して出力する手段と、前記ワーピングファンクションの適用に起因して導入されたシフト量を減算することにより、前記奥行き画像及び又は視差画像を補正する手段と、を有する。
前記システムは、上述した方法を実行するように適合されるものとすることができる。
【００３３】
他の態様は、上述したセンサシステムを備えた陸上用、航空用、海洋用、又は宇宙用の乗り物である。
前記乗り物は、ロボット若しくはオートバイ、スクータ、その他の車輪を備えた乗り物、乗用自動車、又は芝刈り機とすることができる。
【００３４】
更に他の態様は、上述したセンサシステムを備えた車両用（乗り物用）運転者支援システムである。
更に他の態様は、コンピュータで実行されたときに上述の方法を実行するコンピュータプログラム製品である。
【図面の簡単な説明】
【００３５】
【図１】自律車両の一例を模式的に示す図である。
【図２】撮像されたステレオ画像の左画像及び右画像の一例を模式的に示す図である。
【図３】図２に示す撮像されたステレオ画像の左画像及び右画像の一例を示すと共に、撮像されたステレオ画像の左画像と変形された（ワーピングされた）右画像の一例を図示下部に示した図である。
【図４】本方法の主要なステップをフローチャートとして示した図である。
【発明を実施するための形態】
【００３６】
以下では、図面を参照しつつ本発明について説明する。
本発明の主要な意図は、ステレオシステム又はマルチカメラシステムにおける奥行き推定又はその性能を、当該カメラシステムにより記録された画像間の対応関係探索を支援することにより向上させることである。
【００３７】
ステレオ画像又はマルチカメラ画像から奥行きを推定するためには、当該カメラにより観測されるシーン内の一つの３Ｄインスタンスに属する画像（複数）について、相関関係にある画像ピクセル（複数）を見いだすことが必要である。マルチカメラシステムは、カメラの各ペアをステレオカメラとして用いることができという意味において、又は、一つのカメラを基準カメラとし、その他の全てのカメラがステレオカメラシステムにおける第２のカメラとして用いられるという意味において、上記と同様である。これは、相関関係にあるピクセル（複数）が、カメラの各ペアにおいて、又は基準カメラの画像とその他の全てのカメラの画像との間において、探索されることを意味する。以下では、ステレオカメラというときは、マルチカメラシステムをも使用できるものと理解されたい。
【００３８】
ピクセル相関を見つけ出せば、相関するピクセル間の距離から、奥行きを簡単に算出することができる。相関するピクセル間の距離は、視差と称され、ピクセル数で測定することができる。例えば、相関するピクセルが５ピクセルだけ離れているときは、これらのピクセルは視差５を持つ。奥行きは、次の単純な式で算出される。
奥行き＝ｆ×ｂ／視差        （１）
ここに、ｆは、カメラの焦点距離であり、ｂはベースラインである。ベースラインは、２つのカメラ間の３Ｄ距離である。
【００３９】
単一ピクセルの相関関係を見つけ出すことは困難である。したがって、各ピクセルの周囲のエリア（パッチ）を用いて、相関関係を見つけ出す。このエリアが矩形であれば、この手法はブロックマッチングと称される。パッチを用いて相関関係を見つけ出す場合の主たる問題は、固有の仮定を置いていること、すなわち、２つのステレオ画像内において同じ空間配置で描写されるのは同じ奥行きからのピクセルだけであるから、パッチ内では全てのピクセルが同じ奥行き値（又は視差値）を持つはずである、という固有の仮定を置いていることである。（ステレオ）カメラにより観測されるシーンは、フロントパラレル（fronto-parallel）でない多くの面から構成されるので、上記の仮定は成り立たない場合が極めて多い。幸いにも、この手法は、ピクセルの奥行き値どうしの差が大きすぎない限りは、うまく機能する。
【００４０】
しかしながら、路面のように大きく傾いた面の場合には、上記の仮定は、図２に示すように大きなエラーの要因となる。家や木のようなフロントパラレルな物体は２つのステレオカメラ画像中で同じように見える一方、街路のような大きく傾いた面は、２つのステレオカメラ画像の間では、その空間的な２Ｄ（２次元）配置は変化する。このため、左画像からのパッチ（例えば、ピクセルＫの周囲の３×３のパッチ）の相関を得ようとしても、ピクセルの空間配置は右画像において変化しているので、失敗に終わる。
【００４１】
本発明は、パッチベースの相関探索を実際に行う前に、ステレオ画像の一つにワーピングΩを適用することにより、この問題を軽減する。例えば、右ステレオ画像Ｒにワーピングを適用して、変換画像ＲＴを得る。
【数１】
2014138420.tif 000003
【００４２】
これは、ピクセルｐの位置（ｘ，ｙ）が、位置変換により（ｘＴ，ｙＴ）に変化することを意味する。
【数２】
2014138420.tif 000004
【００４３】
これを行うため、ステレオカメラ（又はマルチカメラ）の視野位置が異なることに起因して発生する、ピクセルの２Ｄ配置の空間的差異の予測を記述するワーピングモデルΩを、使用する必要がある。例えば、街路の場合には、次のような単純な線形モデルを用いることができる。
【数３】
2014138420.tif 000005
【００４４】
ここで、ａはカメラに対する街路の方向、ｎは焦点位置における街路の距離（オフセット）である。この例では、幾何調整されたステレオ画像であることを仮定する。したがって、ワーピングモデルは、ピクセルのｙ座標位置を変化させる必要はない。
【００４５】
このことは、図３に示されている。図示上段には、図２に示した画像が示されている。例えば図示上段の右画像をワーピングすることにより、ピクセルの空間配置変化を軽減することができる。これで、左右のステレオ画像におけるパッチ（複数）の見た目がより近くなったので（図３の図示下段の画像を参照）、相関計算を再び継続することができる。
【００４６】
奥行き計算の前に一の画像にワーピングを行ったので、得られる視差値は、このワーピングの影響を受けたものとなる。この視差値は、次式で定義される：
【数４】
2014138420.tif 000006
【００４７】
ｘＲはｘＲＴに変化するので、これにより誤った視差ｄａが算出される。
【数５】
2014138420.tif 000007
【００４８】
したがって、この影響を補正する必要がある。この補正は、ワーピングに起因するピクセル位置の付加シフト量Ｓｘ（Ｘ，Ｙ）を、そのピクセルの視差値ｄａから減算して、正しい視差ｄを得ることにより行われる。
【数６】
2014138420.tif 000008
【００４９】
ワーピングモデルの選択は、観測されたシーンの特性に依存する。街路の場合、アフィンモデルを適用することができる。アフィンモデルは、ステレオカメラシステムの２つのカメラ間での平面の透視像の変化を表現する。街路は、通常、（少なくとも部分的には）平面であるので、アフィンモデルを用いて街路の変化を表現することができる。もちろん、モデルについても、適切なパラメータ表現が必要である。乗用自動車に搭載されたステレオカメラの場合、通常は当該自動車と街路との関係は既知であり、したがって当該関係は固定されたものであり得る。しかしながら、他の場合には、この関係は既知ではなく、時間と共に変化する。この場合、モデルのパラメータを推定する必要がある。この推定は、ワーピングを行うことなく算出された視差画像を用いるか、又はその前の処理で得られた視差画像から上記パラメータを推定することにより行うことができる。
【００５０】
考慮すべき他の事項は、画像ワーピングによって、ワーピングモデルに従わないピクセルの空間関係が劣化してしまう場合があることである。図３に、その一例を見ることができる。背景にある家と木は、街路のワーピングモデルに従わないため、ワーピングされた右画像ではひどく歪んでいる。これにより、相関計算は、より良好なものになるどころか、より悪化してしまう。この問題を軽減するには、種々の選択肢がある。一つは、そのモデルが適合すると予想される画像部分（例えば、ほとんどが地面である下部部分）についてのみ、ワーピングモデルを適用することである。他の選択肢は、異なる複数のワーピングモデルを用いて複数のステレオ計算を行い、異なる複数の（補正された）視差（奥行き）画像を一つの画像に結合することである。この結合には、マッチング（相関値）を用いることができる。結合された視差（奥行き）画像は、異なる複数の視差（奥行き）マップからのピクセル単位の最大値選択である。
【００５１】
【数７】
2014138420.tif 000009
（９）式において、ｄｃ（ｐ）は結合後のピクセルｐの視差（奥行き）、ｄｉ（ｐ）はワーピングモデルｉを用いたときのピクセルｐの視差（奥行き）である。この方法では、ｉｍａｘは、ピクセルｐが最良の相関値ｃｉ（ｐ）を持つこととなるワーピングモデルのインデックスである。ここで、複数の視差画像（奥行き画像）の一つのインスタンスは、ワーピングモデルを何も用いずに行われたステレオ計算、又はヌルモデル（null model）とすることができる。
【００５２】
全体として、奥行き推定に関する本発明は、次の４つの主要なステップにまとめることができる。
−第１：ステレオカメラから（左右の）画像を取得する。
−第２：一方のカメラ画像（例えば、右ステレオ画像）に、ワーピングモデルに従ってワーピングを施す（変形する）。
−第３：標準的な奥行き計算アルゴリズムを用いて、２つのステレオ画像（そのうちの一方がワーピングされている）から視差画像を算出する。
−第４：一方のステレオ画像へのワーピングにより導入されたシフト量を減算して、視差画像を補正する。
図４に、これらの基本ステップをフローチャートとして示す。
【００５３】
まとめると、本方法により、奥行き推定の応用分野において、ステレオ画像のワーピングを行わない通常のステレオ処理に比べて、より正確な奥行きマップを作成することができる。これは、例えば異なるカメラが異なる視野を持つことに起因して発生し相関関係の発見プロセスを妨害する画像変形を補正することにより達成される。その結果、奥行き推定の精度、及びその後に行われる物体認識などの処理ステージの精度が、向上する。
【００５４】
上述した方法は、衝突警告、レーン逸脱警告、又はクルーズコントロールなどの、ドライバ支援システムに適用することができる。例えば、地面の奥行き認識の向上により、奥行きデータを用いて航行可能エリアの検出が可能となるので、レーンマーキングが全く若しくは部分的にしか利用できない場合には、当該検出された航行可能エリアをレーン情報として使用することができる。
【００５５】
他の応用分野はロボットシステムであり、当該分野では改善された奥行き推定が物体検出に用いられる。
【００５６】
他の用途は、自律式芝刈り機である。この用途では、地面についての改善された奥行き認識により、精度の良い障害物検出を行って、衝突センサを用いることなく障害物を回避することができる。
【００５７】
さらに、本発明は、陸上用、海洋用、及び／又は航空用の乗り物に用いられるシステムのような、人間オペレータを支援するために設計されたシステムを一般的に含む、他の種々の領域に適用することができる。ここに開示した方法及びシステムは、一般に、技術的システム（例えば電気的システム）が、観測された移動経路に生ずる特徴、及び又は物体の特性（例えば、サイズ、距離、他の物体までの相対的／絶対的な位置、空間配置、相対的な動き、速度、及び又は方向、及びその他の関連する物体特徴又は特徴パターン）といった入力を自律的に扱わなければならないときには、いつでも用いることができる。
【００５８】
取得された情報（観測値）を処理するため、本発明は、処理モジュール３を用いた分析手段を用い及び備え、及び又はニューラルネットワークを適用する。ニューラルネットワークは、一般に、観測値から情報を推定するのに用いることができる。ニューラルネットワークは、解決すべき問題についての演繹的な知識を全く又はほとんど用いることなく機能し、且つ耐障害性の高い振る舞いを示す。例えば特徴同定、制御（車両制御、プロセス制御）、意思決定、人工視覚、及び又はパターン認識（顔認識、物体認識、ジェスチャー認識、音声認識、文字及びテキスト認識）などに関連する問題が扱われる。ニューラルネットワークは、ニューロンの集合と、シナプスの集合で構成される。シナプスは、ニューロンに結合し、重みと称されるパラメータに情報を保存する。これらの情報は、ニューラルネットワークが行う変換（transformation）や、学習プロセスに用いられる。
【００５９】
通常、（例えばシーンについての）観測を行うため、環境、 ．．．、入力信号、又は入力パターンが、検出手段２から入力され、ハードウェアユニット、及び又はソフトウェアコンポーネントを用いて処理される。出力信号又は出力パターンが取得され、これらの出力は更なる処理（例えば視覚化処理）のための他のシステムへの入力となり得る。
【００６０】
入力信号は、移動に影響を与える検出された特徴物についての情報を含むことができる。この入力信号は、一つ又は複数のセンサ（例えば、上述した視覚検出手段２）により与えられるものとすることができるが、ソフトウェアインタフェース及び又はハードウェアインタフェースにより与えられるものとすることもできる。出力パターンも、ソフトウェアインタフェース及び又はハードウェアインタフェースを介して出力されるものとすることもできるし、車両の動きや振る舞いに影響を与えるための他の処理モジュール３や作用装置（actor）（例えば、パワーステアリング制御やブレーキ制御装置）に、送信されるものとすることもできる。
【００６１】
本発明に求められる、評価、処理、保守、調整、及び実行（例えば、移動変更コマンドや作動コマンドの実行）に必要な計算及び変換は、処理モジュール３により実行されるものとすることができる。処理モジュール３は、例えば一つ又は複数のプロセッサ（CPU）、信号処理ユニット、又は、その他の処理や計算を行うハードウェア及び又はソフトウェアであり、これらは、並列処理を行うように適合されるものとすることもできる。処理及び計算は、標準的な既製（オフザシェルフ、off the shelf、OTS）のハードウェアコンポーネント、又は専用に設計されたハードウェアコンポーネントにより実行されるものとすることができる。プロセッサのＣＰＵは、計算を実行するものであり、メインメモリ（RAM、ROM）、制御ユニット、及び演算論理ユニット（ALU）を含むことができる。当該プロセッサは、専用のグラフィックプロセッサと通信するものとすることができる。このグラフィックプロセッサは、必要な計算のための専用メモリと処理能力を提供するものとすることができる。
【００６２】
通常は、データメモリも備えられる。データメモリは、取得された情報及び又はデータや、処理・決定・結果出力に必要とされる情報及び又はデータを保存するのに用いられる。保存された情報は、本発明に必要な他の処理手段、ユニット、又はモジュールにより使用されるものとすることができる。当該メモリは、また、イベントに関連する観測値や、当該観測値から推論された知識であって将来のイベントに対する動作や反応に影響を与える知識の保存や記憶を可能とする。
【００６３】
本メモリは、ハードディスク（ＳＳＤ、ＨＤＤ）、ＲＡＭ及び又はＲＯＭなどのデバイスにより提供されるものとすることができ、フロッピーディスク、ＣＤ−ＲＯＭ、テープ、ＵＳＢドライブ、スマートカード、ペンドライブ等の他の（持ち運び可能な）記憶媒体により補われるものとすることができる。したがって、本発明に従う方法をコード化したプログラムや、本発明のシステム及び又は方法の実施において取得され、処理され、学習され、又は必要とされるデータを、それぞれの記憶媒体に保存しておくことができる。
【００６４】
特に、本発明に記載された方法は、（例えば持ち運び可能な）物理的な記憶媒体に保存されたソフトウェアプログラム製品として提供されるものとすることができる。当該記憶媒体は、処理システムや処理デバイスに本発明に係る方法を実行するよう指示すべく、当該プログラム製品を当該システムやデバイスに転送するのに使用される。さらに、本方法は、処理デバイスに直接的に組み込むこともできるし、処理デバイスとの組み合わせとして実施することもできる。
【００６５】
概して、上述した奥行き計算に関する方法の主要な点は：
少なくとも２つのカメラから画像を取得することと、
前記カメラの少なくとも一方の画像を、ワーピングモデルに従ってワーピング（変形）することと、
前記少なくとも２つのカメラからの少なくとも２つの画像であってその一方がワーピングされた画像である２つの画像を、互いに比較することにより奥行き又は視差を算出することと、
前記ワーピングモデルに従って奥行き値又は視差値を補正すること、
である。
【００６６】
前記少なくとも２つのカメラは、ステレオカメラとすることができる。奥行き又は視差の前記算出は、ブロックマッチング法を用いて行われるものとすることができる。ブロックマッチング法は、相関尺度として加算正規化相互相関を用いるものとすることができる。カメラ画像は、さらに、レンズ歪みについて補正されるものとすることができる。カメラ画像は、さらに、パラレルエピポーラ線に関して幾何調整されるものとすることができる。
【００６７】
複数のワーピングモデルを用いて、一つのカメラ画像にワーピングを行うものとすることができる。本方法は、１回の実行毎に異なるワーピングモデルを用いて複数回実行するものとすることができる。また、補正された複数の視差画像（奥行き画像）を組み合わせ、各ピクセルについての最良奥行き値を選択して一つの視差画像（奥行き画像）とすることができる。ワーピングされた画像からの奥行き画像又は視差画像の算出に加えて、ワーピングされていないカメラ画像からの奥行き画像又は視差画像の算出を行い、双方の結果を合わせて各ピクセルについての最良値を選択することにより最終的な結果を構成するものとすることができる。奥行き値又は視差値の最良値は、より良好な相関値を持つ値とする。
【００６８】
ワープモデルは、道路検出前処理モジュールを用いて推定することができる。道路検出前処理モジュールでは、例えば、ピクセルが道路に属するか否かのふるい分けを行う色又はテクスチャに基づいたセグメンテーションを用いて、道路が検出される。その後に、各道路ピクセルに関してその前の処理実行で得られた視差値から、ワーピングモデルが推定されるものとすることができる。現在の画像フレームについてのワーピングモデルは、その前に行われた一の処理での奥行き画像又は視差画像から推定することもできるし、その前に行われた処理（複数）からの複数の奥行き画像又は視差画像のセットから推定することもできる。ワーピングモデルは、演繹的に与えられて固定されるものとすることもできる。ワーピングモデルは、アフィンモデルとすることができる。奥行き又は視差の算出結果を用いて、観測されたシーン内の構造物を、アクセス可能エリアと非アクセス可能エリアに分離するものとすることができる。この分離は、例えば、ピクセルを地面からの高さに基づいて分類することにより行うことができ、当該高さは、奥行きマップから容易に導き出すことができる。
【００６９】
奥行き又は視差の算出結果を用いて、光センサにより観測されたシーン内の物体を、例えば奥行きマップ又は視差マップ内の一様な領域（複数）をセグメント化することにより、検出することができる。
【００７０】
上述の事項は、本発明のこれら実施形態にのみ関連するものではなく、特許請求の範囲に示された本発明の範囲から逸脱することなく、これらの実施形態に対し多くの変更や改変を行い得るものと理解されたい。
【００７１】
付録
ステレオカメラ：
ステレオカメラとは、それぞれのレンズに対し個別の画像センサを備えた２つのレンズを有するカメラの種類をいう。実際には、ステレオカメラは、一つの器具に取り付けられた２つの個別のカメラで構成されることが多い。この場合、これらのカメラは、動かないように固定されるか又は可動に取り付けられる。固定されている場合、これらのカメラは、通常、画像センサ（複数）が同一平面となるように調整される（パラレル設定）。可動である場合、これらのカメラは、通常、人間の目の両目離反運動（vergence movement）を模倣するように用いられる。
【図１】
2014138420.tif 000010
【図２】
2014138420.tif 000011
【図３】
2014138420.tif 000012
【図４】
2014138420.tif 000013
【外国語明細書】
2014138420.tif 000014
2014138420.tif 000015
2014138420.tif 000016
2014138420.tif 000017
2014138420.tif 000018
2014138420.tif 000019
2014138420.tif 000020
2014138420.tif 000021
2014138420.tif 000022
2014138420.tif 000023
2014138420.tif 000024
2014138420.tif 000025
2014138420.tif 000026
2014138420.tif 000027
2014138420.tif 000028
2014138420.tif 000029
2014138420.tif 000030
2014138420.tif 000031
2014138420.tif 000032
2014138420.tif 000033
2014138420.tif 000034
2014138420.tif 000035
2014138420.tif 000036
2014138420.tif 000037
2014138420.tif 000038
2014138420.tif 000039
2014138420.tif 000040
2014138420.tif 000041