(57)【要約】  異なる位置から同じ場面を撮影する２台のカメラ（Ｔ１、Ｔ２）を備えたステレオビジョンシステム（Ｓ）において、２台のカメラにより撮影されたデジタル画像間の密な視差場を求める方法が実行される。この方法は、当該場面の第１の画像及び第２の画像（ＩＭ１、ＩＭ２）を取り込むステップ、及び第２の画像の各ピクセルについて、第１の画像内のポイントからオプティカルフロー目的関数を最小化する第２の画像内の当該ピクセルへの変位を求めるステップを含む。オプティカルフロー目的関数は、第２の画像の各ピクセルについて、当該ピクセルに関連付けられたエピポーラ線と第１の画像内の上記ポイントとの間の距離に単調増加にて依存した項を含む。この項は、２台のカメラの校正パラメータに依存すると共に、校正データの不確かさに依存して重み付けされる。【選択図】図１
2009520975.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像間の密な視差場を求める方法であって、
・同じ場面の第１の画像及び第２の画像を前記同じ場面に関係した２つの異なる位置から取り込むステップ；
・第２の画像の各ピクセルについて、第１の画像中のポイントから、オプティカルフロー目的関数を最小化する第２の画像の前記ピクセルまでの視差を求めるステップ；
を含み、オプティカルフロー目的関数は、第２の画像の前記ピクセルの各々について、前記ピクセルに関連付けられたエピポーラ線と第１の画像の前記ポイントとの間の距離に単調増加的に依存した項を含むことを特徴とする方法。
【請求項２】
前記第１の画像及び第２の画像は第１のカメラ及び第２のカメラによりそれぞれ取り込み、前記項が前記第１のカメラ及び第２のカメラの校正パラメータに依存する、請求項１に記載の方法。
【請求項３】
カメラ校正データの不確かさに依存して前記項を重み付けする請求項２に記載の方法。
【請求項４】
前記項が、前記ピクセルに関連付けられたエピポーラ線と第１の画像の前記ポイントとの間の距離の２乗に比例している請求項１〜３のいずれか一項に記載の方法。
【請求項５】
オプティカルフロー目的関数を最小化する前記視差が残差視差成分を表し、前記方法が前記残差視差成分を求める前に、前記残差成分が追加される前の視差成分を求めるステップを含む、請求項１〜４のいずれか一項に記載の方法。
【請求項６】
前記前の視差成分を求めるステップが、
−  第１の画像上の特徴ポイントを識別するステップ；
−  前記特徴ポイントについて第２の画像上への変位を求めるステップ；
−  前記特徴ポイントについて第２の画像上への変位を補間するステップ；
を含む請求項５に記載の方法。
【請求項７】
前記前の視差成分を求めるステップが、少なくとも１回前記オプティカルフロー目的関数を最小化することを含む請求項５に記載の方法。
【請求項８】
前記第１の画像及び第２の画像が、より低い解像度の少なくとも１つのバージョンと、より高い解像度の１つのバージョンとからなり、前記前の視差成分を求めるステップが、前記より低い解像度のバージョンについて前記オプティカルフロー目的関数を最小化することを含み、前記残差視差成分を求めるステップが、前記より高い解像度のバージョンについて前記オプティカルフロー目的関数を最小化することを含む、請求項５に記載の方法。
【請求項９】
オプティカルフロー目的関数が、輝度変化拘束式（ＢＣＣＥ）のテーラー展開により得られた第１の項を含む請求項１〜８のいずれか一項に記載の方法。
【請求項１０】
オプティカルフロー目的関数が、前記視差の空間成分の第２導関数がほぼゼロである条件を課すことによって得られた第２の項を含む請求項１〜９のいずれか一項に記載の方法。
【請求項１１】
同じ場面について２つの異なる位置から少なくとも２つの画像を撮影できる少なくとも１台のカメラと、これら２つの画像を受信できると共に請求項１〜１０のいずれか一項に記載の方法により前記画像を処理するよう構成された処理装置とを備えたステレオビジョンシステム。
【請求項１２】
異なる位置に配置された２台のカメラを備えた請求項１１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
一般に、本発明はステレオビジョン画像を自動的に分析する方法を取り扱い、特に、エピポーラ幾何が知られている場合に密な視差場を求める方法を取り扱う。
【背景技術】
【０００２】
画像を自動的に分析する際に解決すべき頻出課題は、１台以上のカメラにより異なる視点から得られた同じ場面を示す２つのフレーム間に存在する差を記述する視差(disparity)を求めることである。視差は２つのフレーム中の同じ場面要素の位置の差を表す。すべての画像ピクセルについて視差を計算するアルゴリズムがあり、また、画像ピクセルのサブセット（すなわち関連した特徴群）に限定された別のアルゴリズムもある。前者の場合、密な視差場（dense disparity field）と称され、後者の場合、疎な視差場(sparse disparity field)と称される。本発明は第１のカテゴリーに属する。
【０００３】
２つの画像を比較し、画像内に含まれるピクセル間の対応を決定する公知の技術は、オプティカルフロー技術である。従来技術では、ビデオカメラ校正パラメータを考慮に入れることにより計算を実行する形式の技術が提供される。
【０００４】
ＵＳ２００３／００８６５９０には、例えばいわゆるエピポーラ拘束を考慮することによってオプティカルフローを計算する技術が開示されており、オプティカルフローを２回適用することが仮定されている。第１回目は、重要な情報内容により特定のポイントの移動を識別するため、すなわちエピポーラ幾何の基本マトリックスを計算するために、「疎な」方法にて（すなわち画像ピクセルのセットについてのみ）適用され、第２回目はこの基本マトリックスから得られるエピポーラ拘束を用いることによって「密な」方法にて適用される。実際には、第２のステップにおいて用いられる個々のエピポーラ線は基本マトリックスから得られ、下記の式により特定される。
【数１】
2009520975.tif 000003
ここで、ａｘ，ｙ、ｂｘ，ｙ及びｃｘ，ｙはポイント（ｘ，ｙ）にて計算されたエピポーラ線に関係した係数を示し、ｕｘ，ｙ及びｖｘ，ｙは当該ポイントの移動量を示す。この式は下記の周知のオプティカルフロー方程式の解についての拘束である。
【数２】
2009520975.tif 000004
ここで、Ｊｘ、Ｊｙ及びＪｔは当該ポイントにおける画像強度の空間−時間導関数を示す。このように移動はエピポーラ線上に存在する位置に対応する。
【０００５】
ＵＳ０５７６４８７１には、ステレオビジョンにおいて中間画像を合成する方法が開示されている。中間の視点がオプティカルフロー技術を用いて計算される。しかしながら、移動は水平方向に沿ったまったくの並進移動に拘束され、したがって平行なエピポーラ線が得られる。一般性を損なうのを避けるため、得られるフレームの垂直位置合わせの手順を、オプティカルフロー計算より先行させる。
【特許文献１】ＵＳ２００３／００８６５９０
【特許文献２】ＵＳ０５７６４８７１
【発明の開示】
【発明が解決しようとする課題】
【０００６】
発明の簡単な説明
出願人は、たとえエピポーラ幾何により課せられる拘束をオプティカルフロー技術に導入することによって２つの画像間の視差場の計算が改善できたとしても、上記引用文献に記載の技術は課題を抱えていることが分かった。
【０００７】
特に、これらの技術はオプティカルフロー方程式の解がエピポーラ線上に存在するという拘束を課す。一般にはカメラ校正の不正確さに起因してエピポーラ線の計算で誤差が生じる場合、このような拘束によって、撮影された場面に対して最適でない解が計算されてしまう。したがって、エピポーラ線に拘束された推定により、とりわけフレーム中に輪郭及び強い不連続性が存在する場合には許容できない解が与えられ得る。
【０００８】
出願人は、校正を絶対的な拘束として考慮するのではなく、可変の影響をカメラ校正に割り当てるならば、視差場の質を改善できることを見いだした。というのは、システム校正誤差を補償するために随意にプロセスに影響を与えることができるからである。これは、オプティカルフロー問題を解決するために最小化すべき関数に新たな項を加えることによって実現できる。このように修正されたオプティカルフロー目的関数における追加項は、カメラ構成に関連付けられた幾何に関係している。
【課題を解決するための手段】
【０００９】
実際には、同じ場面の２つの画像を取り込んだ後、第２の画像の各ピクセルについて、（当該ピクセルが第１の画像中で取り込まれた場面の要素に関係している場合）第１の画像中に対応するポイント（必ずしも１ピクセルではない）が存在することを考慮すると、本発明の方法では、エピポーラ拘束を考慮した項を有するオプティカルフロー目的関数を最小化する動きを求めることによって、２つの画像間の視差場、すなわち第１の画像中のポイントから第２の画像中の関連のピクセルまでの変位のセットを計算できる。特に、第２の画像のすべてのピクセルについて、この項は、第１の画像中の対応するポイントと当該ピクセルに関連付けられたエピポーラ線との間の距離に依存する。詳しくは、この項は当該ポイントと当該エピポーラ線との間の距離の２乗に比例する。したがって、本発明の第１の態様によると、本発明はデジタル画像間の密な視差場を求める方法に関するものであり、
・同じ場面の第１の画像及び第２の画像を該同じ場面に関係した２つの異なる位置から取り込むステップ；及び
・第２の画像の各ピクセルについて、第１の画像中のポイントから、オプティカルフロー目的関数を最小化する第２の画像の当該ピクセルまでの動きを求めるステップ；
を含み、オプティカルフロー目的関数は、第２の画像の各ピクセルについて、当該ピクセルに関連付けられたエピポーラ線と第１の画像の上記ポイントとの間の距離に単調増加的に依存した項を含む。
【００１０】
好ましくは、第１の画像及び第２の画像は第１のカメラ及び第２のカメラによりそれぞれ取り込まれ、上記の項は２台のカメラの校正パラメータに依存する。別法として、例えば場面自体の周りを回転する操作台上に取り付けられ、撮影する場面に対して移動する１台のカメラによって、第１の画像及び第２の画像を取り込むこともできる。
【００１１】
カメラ校正データの不確かさに依存して上記の項を重み付けできる。
【００１２】
また、好ましくは、上記の項は、第２の画像の上記ピクセルに関連付けられたエピポーラ線と第１の画像中の上記ポイントとの間の距離の２乗に比例する。
【００１３】
オプティカルフロー目的関数を最小化する変位は場合によっては残差変位成分(residual displacement component)を表し得る。この場合、本方法は、この残差変位成分を求める前に、残差成分を追加しなければならない前の変位成分を求めるステップを含む。
【００１４】
前の変位成分は、
−  第１の画像中の特徴を識別するステップ；
−  該特徴について第２の画像への変位を求めるステップ；
−  この関連スポットについて第２の画像への変位を補間するステップ；
により決定できる。
【００１５】
別法として、少なくとも１回上記オプティカルフロー目的関数を最小化することによって、前の変位成分を求めることができる。したがって、本方法は該目的関数を最小化するための反復計算プロセスを含み得る。
【００１６】
別の可能な代替案によると、第１の画像及び第２の画像は、より低い解像度の少なくとも１つのバージョンと、より高い解像度の１つのバージョンとから成り得る。この場合、前の変位成分を求めるステップが、より低い解像度のバージョンについてオプティカルフロー目的関数を最小化することを含み、残差変位成分を求めるステップが、より高い解像度のバージョンについてオプティカルフロー目的関数を最小化することを含む。
【００１７】
好ましくは、オプティカルフロー目的関数は、２つの画像について輝度変化拘束方程式（ＢＣＣＥ）のテーラー展開によって得られる第１の項を含む。
【００１８】
また、好ましくは、オプティカルフロー目的関数は、上記変位の空間成分の第２導関数がほぼゼロである条件を課することにより得られる第２の項を含む。
【００１９】
例えばステレオビジョンにおいて中間画像を合成するために本発明の技術を使用できる。
【００２０】
本発明はまた、２つの異なる位置から少なくとも２つの画像を撮影できる少なくとも１台のカメラ、好ましくは２台と、これら２つの画像を受信できると共に上述した方法により該画像を処理するよう構成された処理装置とを備えるステレオビジョンシステムにも関する。
以下、限定するものではないが、本発明の態様を示す添付の図面に関して本発明を説明する。
【発明を実施するための最良の形態】
【００２１】
発明の詳細な説明
図１では、複数のカメラを有するビデオ・キャプチャー・システムを全体としてＳで示す。特に、システムＳは、同じ場面について異なる位置から撮影でき、かつそのようにして得られた画像間の密な視差場を求めることができる。
【００２２】
システムＳは、同じ場面について夫々のデジタル画像（又はフレーム）ＩＭ１、ＩＭ２を生成できる第１のカメラＴ１及び第２のカメラＴ２を備える。これら２台のカメラＴ１、Ｔ２は相互に平行に又は相互に傾斜して場面に方向付けることができる。
【００２３】
システムＳはまた、両カメラＴ１、Ｔ２に接続された処理装置ＰＵを更に備え、処理装置ＰＵは、下記に説明する方法により密な視差場を得るためにこれら２台のカメラＴ１、Ｔ２から受信したデジタル画像ＩＭ１及びＩＭ２を処理できる。また、本システムはカメラ校正モジュールＣＭ、好ましくはソフトウエアモジュールを備え、このモジュールは、処理装置ＰＵ内又は（図１の例のように）別の装置内に存在し、また本発明の方法により処理するのに用いられる校正データを処理装置ＰＵに提供できる。
【００２４】
ビデオ列においては、場面の特定の対象物又はカメラの移動に起因して連続的なフレームがしばしば異なるけれども、しばしば類似してもいる。この場合、前又は後の時間でのフレームに近づけるように、フレームを変形することができる。この事が動き推定技術のベースになっている。
【００２５】
この事は、同じ場面を示しかつ同時に撮影された一対のフレームに対しても有効である。２つのフレームが類似している条件は、２台のカメラが互いに十分近接して配置されること、及び２台のカメラが場面の同じ部分に向けられていることである。
【００２６】
同じビデオ列に属する後続フレームの場合を再度考慮に入れると、画像輝度変化についての周知の拘束方程式（「輝度変化拘束方程式」、ＢＣＣＥ）では、当該ビデオ列内の２つの連続的なフレーム（以下、ｇｔ及びｇｔ＋δｔで示す）が空間歪みに起因して異なっていることを仮定する。換言すれば、座標を下記のように変形できる「動き場」ｕ及びｖを識別することが可能である。
【数３】
2009520975.tif 000005
【００２７】
１台のカメラにより撮影された時間的に後続のフレームの代わりに、異なる位置に配置された２台のカメラから同時に得れたフレームについて、同じ式を使用できる。この場合、ＢＣＣＥはフレームｇ１、ｇ２を参照し、次式のようになる。
【数４】
2009520975.tif 000006
【００２８】
この場合、動き場を「視差場」ともいう。ＢＣＣＥによると、２つのフレーム間の変化は、あたかも開始フレームｇ１が変形可能な弾性布上に付けられているかのように生じる。したがって、画像要素が現れたり消えたりすることも、予想される変化を照らすことも考慮されていない。したがって、ＢＣＣＥは絶対的な有効性を有してはいない近似である。それにも関わらず、これらの式はいくつかの視差推定技術の基本である。例えば、視差場ｕ及びｖが正方形又は長方形のエリア内で一定である場合は、ビデオコーディングの分野で広く用いられている技術である「ブロック・マッチング」のケースを有する。
【００２９】
ＢＣＣＥ方程式（１）のテーラー展開を線形化することにより、次式が得られる。
【数５】
2009520975.tif 000007
ここでｇｘ、ｇｙ、ｇｔはそれぞれｘ、ｙ及びｔに関する偏導関数である。離散的な画像の実際的な場合には、隣接したピクセルにおける輝度差に基づいて偏導関数ｇｘ、ｇｙが計算される一方、時間導関数は差ｇｔ＝ｇ２−ｇ１により近似し得る。
【００３０】
フレームのすべてのピクセルについて式（３）が定められる。例えばそれを構成する個々の列を垂直に積み重ねることによって、フレームピクセルのセットを列ベクトルに整えることができる。このようにして、式（３）のセットをマトリックス形式にて整え、偏導関数
【数６】
2009520975.tif 000008
及び未知の視差場値
【数７】
2009520975.tif 000009
を列ベクトルに配置できる。よって、線形ＢＣＣＥ項の式は次式のようになる。
【数８】
2009520975.tif 000010
【００３１】
この式では、演算子ｄｉａｇ（ ）がベクトル（フレーム）を、対角線上にベクトル要素（フレームピクセル）を有するマトリックスに変換する。別のマトリックス要素はゼロに等しい。
【００３２】
簡単のため、２つの対角線を含んだマトリックスが記号Ｇにより示されるならば、次式が得られる。
【数９】
2009520975.tif 000011
この解は、次式
【数１０】
2009520975.tif 000012
で表されるノルムを最小にする視差場
【数１１】
2009520975.tif 000013
である。
【００３３】
式（６）で表される問題は、劣決定であり、従来の対応策は、視差場ｕ及びｖがほぼゼロの第２導関数を有するという条件を課することによって正則化を行なうことである。そのために、次の式が加えられる。
【数１２】
2009520975.tif 000014
ここでｕｘ２、ｕｙ２、ｖｘ２、ｖｙ２は２つの視差場の第２空間導関数を示す。これらの第２導関数は、下記のようにそれらを実現（又は近似）するマトリックスとして表すことができる。
【数１３】
2009520975.tif 000015
【００３４】
ここでも簡単のため下記の置き換え：
【数１４】
2009520975.tif 000016
を行なうと、ほぼゼロの第２導関数の基準（７）が次式で表される。
【数１５】
2009520975.tif 000017
【００３５】
式（８）の解は下記の条件を満たす。
【数１６】
2009520975.tif 000018
【００３６】
式（９）により表された基準は、その総和をとることによって、（ＢＣＣＥから得られた）式（６）により表された基準と結合させることができる。演算子Ｈに係数λ（正則化係数という）を乗じることで、式（６）中の項に対する相対的な重要度を式（９）中の項に関連付けることができる。このようにして、視差場が下記の式の解として与えられる。
【数１７】
2009520975.tif 000019
【００３７】
式（１０）において最小化される関数はオプティカルフロー目的関数である。
【００３８】
パラメータλは予め決めておかなければならないことに留意すべきである。このために、いくつかの発見的方法がある。簡単な方法は、いくつかのテストにおいて値を変えて、良好な結果を確保しかつ一意的な解を保証する値のセットを決定することからなる。このことは、パラメータλの変化に対する解の安定性ゆえに可能となる。
【００３９】
式（１０）の解は、式（６）及び（９）をオプティカルフロー系に整えることによって得られる線形連立方程式を解くことにより見いだすことができる。
【数１８】
2009520975.tif 000020
【００４０】
この系は優決定の系であり、一般には最小二乗近似により解くことができる。解は次式により与えられる。
【数１９】
2009520975.tif 000021
【００４１】
２台のカメラによる同じ場面の撮影を考慮することにより、そのようにして撮影されたフレーム間の関係がエピポーラ幾何により表される。両画面内で見ることのできるすべての場面要素が、簡単な式を満たす位置にて２つのフレーム内に投影される。この式の係数は、３ｘ３要素からなるいわゆる基本マトリックスＦ中に含まれる。基本マトリックスは、ビジョンシステムを記述するパラメータ（すなわちカメラの特性及び位置）を考慮し、エピポーラ幾何について同じ場面に関係した２つの画像間に存在する関係を記述する。これはカメラ校正プロセスにより計算できる。場面の同じ要素が、同種の座標に表し得る２つのピクセルにおいてフレーム上に次のように投影される。
【数２０】
2009520975.tif 000022
この座標は次式を満たさなければならない。
【数２１】
2009520975.tif 000023
【００４２】
したがって、２つのフレームのうち第１のフレーム内のピクセルｍ１を考えると、第２のフレーム内のピクセルｍ２は、係数が積Ｆｍ１により決められる直線上に存在しなければならない。対称的に、第２のフレーム内のピクセルｍ２を考えると、ピクセルｍ１は積ｍ２ＴＦに含まれる係数を有した線上に存在しなければならない。これらの線はエピポーラと称され、上記関係はエピポーラ幾何の表現であり、基本マトリックスＦにより完全に表される。
【００４３】
後に説明する技術により、エピポーラ幾何を利用して、同じ場面の２つの画面間に存在する差を記述する視差場を計算でき、それにより得ることのできる正確さを改善できる。しかしながら、基本マトリックスは推定誤差の影響を受け得るので、その中に含まれる情報を絶対的な拘束として用いるのは正しくないかもしれず、したがって本発明の技術では、このようにして表されたエピポーラ幾何からの逸脱に対して費用を関連付けて、相対的な方法で基本マトリックスを用いる。
【００４４】
特に、本発明により、エピポーラ情報から費用項を得ることができる。この項は（式（１０）中に表された）他の従来のオプティカルフロー項と結合されることで、目的関数を修正する。すべての項の影響は正則化係数によって設定できるので、基本マトリックスに関連付けられる相対値の要件は満たされる。
【００４５】
実際には、本発明の技術により、このような逸脱を禁止することなく、エピポーラ幾何からの逸脱に対してペナルティを与えることができる。この目的のため、直線からピクセルまでの距離の式を考慮する必要がある。直線は下記のベクトルによりパラメータ化し得る。
【数２２】
2009520975.tif 000024
直線上の任意のポイントｗ＝［ｘ  ｙ  ｌ］Ｔが次式を満たす。
【数２３】
2009520975.tif 000025
したがって、直線は下記のセットから構成される。
【数２４】
2009520975.tif 000026
【００４６】
直線から一般ポイントｗ＝［ｘ’  ｙ’  ｌ］Ｔまでの距離は、
【数２５】
2009520975.tif 000027
に等しい。
【００４７】
既に述べたように、視差推定により、２つのフレーム中のポイント間の対応を見いだすことができる。従来のオプティカルフロー式では、２つのポイントの直ぐ隣の近傍を比較し、視差場を滑らかに保つために、容易に最小化し得る基準が与えられる。エピポーラ幾何は、オプティカルフロー目的関数への補足として追加し得る追加情報を供給する。
【００４８】
一般には、同種の座標ｚ２＝［ｘ２  ｙ２  ｌ］Ｔを有するすべてのピクセルは、目的関数を最も満足する第１のフレーム中のピクセル（又はより一般にはポイント）ｚ１＝［ｘ１  ｙ１  ｌ］Ｔに関連付けられなければならない。このような関連付けは、視差ベクトルｄ＝ｚ２−ｚ１を意味し、その２つの成分はｕ及びｖである。ここでの主な関心事は、ピクセルｚ２に関連付けられたエピポーラ線からピクセルｚ１までの距離であり、ｚ１＝ｚ２−ｄで表される。
【００４９】
ｚ１を含んだフレーム内のエピポーラ線を表す係数は下記の通りである。
【数２６】
2009520975.tif 000028
【００５０】
式（１６）を考慮すると、エピポーラ線からスポットまでの距離ｚ２−ｄは次式により表すことができる。
【数２７】
2009520975.tif 000029
ここで
【数２８】
2009520975.tif 000030
は開始ポイントであり、
【数２９】
2009520975.tif 000031
は視差ベクトルであり、
【数３０】
2009520975.tif 000032
はエピポーラ線の係数である。
【００５１】
ｚ２−ｄとエピポーラ線との距離をエピポーラ誤差をいう。
【００５２】
オプティカルフロー式中の正則化項にエピポーラ誤差を挿入するためには、すべてのピクセルにおける誤差を視差場の線形関数として表す必要がある。式（１７）中のすべての変数が座標ｘ、ｙの関数であることを考慮すると、次式が得られる。
【数３１】
2009520975.tif 000033
【００５３】
オプティカルフロー式について既に行なったように、視差場ｕ、ｖを列ベクトルに整えることができる。同じようにして残りの係数を下記のように整えることができる。
【数３２】
2009520975.tif 000034
ここで、すべての要素は一意的な座標対ｘ、ｙを有するピクセルに対応している。
【００５４】
このようにして、すべてのピクセルについてエピポーラ誤差を含んだベクトルは次式のようになる。
【数３３】
2009520975.tif 000035
【００５５】
２つの対角線のマトリックスを、
【数３４】
2009520975.tif 000036
とすると、式（１９）の右辺は次式のように書き直すことができる。
【数３５】
2009520975.tif 000037
【００５６】
このベクトルのノルムが、視差場を適用することにより得られるエピポーラ誤差の尺度を与える。本発明では、このノルムの２乗が式（１０）により表されたオプティカルフロー目的関数に加えられ、次式が得られる。
【数３６】
2009520975.tif 000038
【００５７】
係数μが目的関数におけるエピポーラ誤差の相対重みを決定する。もう一方の正則化係数λの場合と同様に、μもまた予め設定される必要がある。この係数は、これも基本マトリックスに割り当てられた信頼度に基づいて発見的に決定できる。新たに導入された総和の第３項は、関連ポイントとエピポーラ線との距離の２乗に比例しており、よってこの距離と共に単調増加する。
【００５８】
最小化の問題を解決するために、係数が下記の系に整えられる。
【数３７】
2009520975.tif 000039
というのは、ノルム
【数３８】
2009520975.tif 000040
が式（２０）において最小化された目的関数と同一であるからである。本発明により修正されたオプティカルフロー式の解（最良近似）は次式により与えられる。
【数３９】
2009520975.tif 000041
【００５９】
オプティカルフローが用いられ且つエピポーラ幾何についての情報が利用可能であるどんな場合にも、上記修正されたオプティカルフロー技術を適用できる。したがって、例えば「オプティカルフロー初期化」、「反復計算解法」及び「マルチ解像度」として公知のプロセスなど、オプティカルフローにより得ることのできる結果を改善することを狙ったプロセスにおいても、本発明の技術を使用できる。
【００６０】
リストアップしたすべてのプロセスにおいて、前の解（実際には改善する必要のある視差場である）から開始してオプティカルフローが適用される。
【００６１】
初期化の場合、オプティカルフローとは異なる方法により生成された視差場を利用する。例えば本出願人の特許出願０５ＷＯ−ＩＢ００３５９８に開示されているように、公知の方法のうち、疎な視差場を求める方法、すなわち特徴ポイントの特定及びフレーム間でのそれらのトラッキングが用いられる。トラッキングされたポイントの移動から補間により、密な場、すなわちすべてのピクセルに対して定められた場を構築できる。このような場は最適な視差の粗い近似であり、オプティカルフローにより求められていない視差の偏位を低減できる。したがって、最終的な視差場を得るために、オプティカルフローがこのような密な場により初期化される。
【００６２】
反復計算解法の場合、オプティカルフローにより生成された視差場が後続のオプティカルフロー適用の初期化場として用いられる。中断基準が満たされるまで、例えば最後の繰り返しで決定された増分の場が所与の閾値より低いエネルギーを有する場合に、このプロセスを何回も繰り返すことができる。
【００６３】
最後に、マルチ解像度の場合、例えば本出願人の特許出願０５ＷＯ−ＩＢ００２９２０に開示されているように、最小サイズから開始してフレームの減縮バージョンにオプティカルフローが階層的に適用される。１つの解像度にて推定された視差場が、より高い解像度で計算を初期化するために適切にスケールアップされ適用される。
【００６４】
上述した３つの場合の各々において、結果として得られる場は２つの場の和として表すことができる。第１の項は前に決定された場であり、第２の項は計算する必要のある残差である。換言すれば、（第２の画像の）すべてのピクセルについて、上記３つの技術の１つにより得られた前の視差成分と、式（２２）に記載のオプティカルフロー目的関数を最小化することにより得られた残差視差成分とが存在する。しかしながら、後に説明する修正により適切に適合させ得る。
【００６５】
前に求められた場は、
【数４０】
2009520975.tif 000042
により示すことができる。オプティカルフローにより計算される残差は、
【数４１】
2009520975.tif 000043
により示すことができる。よって、結果はそれらの和として次のように表すことができる。
【数４２】
2009520975.tif 000044
【００６６】
このように分解された視差場をエピポーラ誤差の式（１７）に挿入することにより、個々のピクセルについて次式が得られる。
【数４３】
2009520975.tif 000045
【００６７】
これは、ベクトル
【数４４】
2009520975.tif 000046
の修正とベクトル
【数４５】
2009520975.tif 000047
の修正を意味する。前者は、
【数４６】
2009520975.tif 000048
となり、後者は、フレームｇ２と開始フレームｇ１との差からなり、前に求められた場
【数４７】
2009520975.tif 000049
を適用し画像変形演算子Ｍ
【数４８】
2009520975.tif 000050
を使用することにより修正されて、
【数４９】
2009520975.tif 000051
となる。
演算子Ｍは、座標（ｘ−ｕ（ｘ，ｙ），ｙ−ｖ（ｘ，ｙ））がフレームの外部に存在すべきピクセルについて適当な規則を用いることにより、双一次補間、双三次補間又は他の補間により実現し得る。この場合、例えば、この演算子は、特定の座標に最も近くかつ画像に属しているピクセルの色を提供できる。
【００６８】
したがって、目的関数の最小化により次の残差
【数５０】
2009520975.tif 000052
が生成される。
【００６９】
マルチ解像度の計算の場合、基本マトリックスを異なる画像サイズに適合させる更なる必要性がある。倍率ｓによりサイズを変える場合には、基本マトリックスを次のように修正しなければならない。
【数５１】
2009520975.tif 000053
したがって、正則化項において用いられる係数ａ、ｂ、ｃが修正される。
【００７０】
以下で、視差場を計算するステップ列を、図２のフローチャートを参照してまとめる。本発明の修正されたオプティカルフロー技術が異なる技術又は繰り返される同じオプティカルフロー技術により得られた前の解に適用されるという、新たに説明する一般的な場合を考慮に入れる（修正オプティカルフロー技術の個々の適用は、ゼロの視差場の初期化と一致するので、このような一般的な技術の取るに足りない場合である）。
【００７１】
このプロセスは、カメラＴ１及びＴ２により２つの同時フレームｇ１及びｇ２を取得し、カメラＴ１及びＴ２の校正パラメータに基づいて基本マトリックスＦを計算し、前の視差場
【数５２】
2009520975.tif 000054
を決定（又は取得）することによって開始する（ステップ１００）。
【００７２】
校正パラメータ（焦点距離及び投影中心などの固有のパラメータ、及び回転−並進マトリックスなどの付随的なパラメータ）は、カメラＴ１、Ｔ２の校正プロセスにおいて予め計算される。
【００７３】
次に、場
【数５３】
2009520975.tif 000055
及び演算子Ｍを適用することにより、開始フレームｇ１の変形が決定される（ステップ２００）。
【００７４】
次に、本プロセスでは式（２６）に従って残差視差場
【数５４】
2009520975.tif 000056
の計算が行われる（ステップ３００）。
【００７５】
次に、前の視差場と残差視差場の２つの成分が合計され（ステップ４００）、全視差場
【数５５】
2009520975.tif 000057
を出力として得る（ステップ５００）。
【図面の簡単な説明】
【００７６】
【図１】２台のカメラと、本発明に記載のプロセスを構成するブロックとを含んだビデオ・キャプチャー・システムを概略的に示す。
【図２】本発明の方法により視差場を得るために実行される処理フローを概略的に示す。
【符号の説明】
【００７７】
Ｔ１  第１のカメラ
Ｔ２  第２のカメラ
ＩＭ１  デジタル画像
ＩＭ２  デジタル画像
ＣＭ  カメラ校正モジュール
ＰＵ  処理装置
【図１】
2009520975.tif 000058
【図２】
2009520975.tif 000059
【国際調査報告】
2009520975.tif 000060
2009520975.tif 000061