(57)【特許請求の範囲】
【請求項１】
動画像を構成する一連の画像内の２枚のフレームを用いて画像上の移動情報であるオプティカルフローの推定値とその共分散行列を計算するオプティカルフロー計算手順と、そのオプティカルフローの推定値と共分散行列を用いて撮像されている物体までの距離とカメラの運動の推定値およびそれらの共分散行列を計算する距離情報計算手順と、これら２つの手順を動画像に対して連続的に適用することで得られる多数の物体までの距離の推定値とカメラの運動の推定値に対して独立に構成されたカルマンフィルタを適用して時間的に融合し、物体までの距離とカメラの運動の精度の高い推定値とその共分散行列を計算する距離情報融合手順を含むことを特徴とする３次元形状復元方法。
【請求項２】
請求項１記載の３次元形状復元方法において、オプティカルフローの推定値とその共分散行列に加えて、カメラの並進運動の大きさとそれに含まれるノイズの分散を入力して使用し、計算される物体までの距離の推定値とカメラの運動の推定値に反映することを特徴とする３次元形状復元方法。
【請求項３】
動画像を構成する一連の画像内の２枚のフレームを用いて画像上の移動情報であるオプティカルフローの推定値とその共分散行列を計算するオプティカルフロー計算手段と、前記オプティカルフローの推定値と共分散行列を用いて撮像されている物体までの距離とカメラの運動の推定値およびそれらの共分散行列を計算する距離情報計算手段と、これら２つの方法を動画像に対して連続的に適用することで得られる多数の物体までの距離とカメラの運動の推定値とそれらの共分散行列を時間的に融合し、物体までの距離とカメラの運動の精度の高い推定値とその共分散行列を計算する距離情報融合手段とを備える３次元形状復元装置において、
前記距離情報融合手段は、前記距離情報計算手段によって計算される物体までの距離の推定値とカメラの運動の推定値の各々に対して独立なカルマンフィルタを構成することを特徴とする３次元形状復元装置。
【請求項４】
請求項３記載の３次元形状復元装置において、距離情報計算手段の入力としてオプティカルフローの推定値とその共分散行列に加えて、カメラの並進運動の大きさとそれに含まれるノイズの分散を使用し、計算される物体までの距離の推定値とカメラの運動の推定値に反映する距離情報融合手段を採用することを特徴とする３次元形状復元装置。
【請求項５】
動画像からオプティカルフローの推定値とオプティカルフローに見積もられる誤差の共分散行列を計算するオプティカルフロー計算手段と、
前記オプティカルフローの推定値と共分散行列およびカメラの並進運動の大きさとそれに含まれるノイズの分散を用いて撮像されている物体までの距離情報とカメラの運動パラメータの推定値および距離情報とカメラの運動パラメータに含まれる誤差の共分散行列を計算する距離情報計算手段と、
前記距離情報の推定値と共分散行列に対して適用する距離情報カルマンフィルタと、前記カメラの運動パラメータの推定値と共分散行列に対して適用する運動パラメータカルマンフィルタとを備え、距離情報とカメラの運動パラメータの精度の高い推定値と誤差の共分散行列を計算する距離情報融合手段とを備えることを特徴とする３次元形状復元装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、環境内の物体までの距離の情報を必要とする場合に、画像を解析して距離の情報を得る３次元形状復元方法および装置に関する。
【０００２】
【従来の技術】
環境内を自律的に移動する移動ロボットや、道路環境を自ら理解して走行する自立走行自動車において、テレビカメラで得られた画像をコンピュータで解析し、必要な情報を得る人工視覚システムを持つことが多い。これらのシステムでは、例えば障害物の検知などのために、環境内の物体までの距離の情報が必要とされる。画像を解析して距離の情報を得るための手法には、ステレオ視などと並んで、動画像の持つ移動情報を利用するＳｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｍｏｔｉｏｎと呼ばれる手法がある。
【０００３】
動画像からオプティカルフローを検出する技術として、例えば
Ｏｈｔａ  Ｎ．：“Ｉｍａｇｅ  Ｍｏｖｅｍｅｎｔ  Ｄｅｔｅｃｔｉｏｎ  ｗｉｔｈ  Ｒｅｌｉａｂｉｌｉｔｙ  Ｉｎｄｉｃｅｓ”，ＩＥＩＣＥ  Ｔｒａｎｓ．，Ｅ７４，１０，ｐｐ．３３７９−３３８８（Ｏｃｔ．１９９１）
に示されている手法があり、また、オプティカルフローからカメラの運動パラメータと撮影されている物体までの距離を計算する手法の例として
太田直哉：“信頼性情報を持ったオプティカルフローからの形状復元とその移動物体検出への応用”，電子情報通信学会論文誌，Ｄ−ＩＩ，Ｖｏｌ．Ｊ７６−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ．１５６２−１５７１（１９９３年８月）
で報告されている手法がある。これら２つの手法により、動画像から物体までの距離とカメラの運動パラメータ、およびそれらの値に見積もられる誤差の分散が計算できる。しかし、これらの手法は、動画像のうちの２枚のフレームを用いるものである。カメラから次々と得られる動画像の各フレームから計算される距離情報とカメラの運動を時間的に融合し、より精度の良い結果を得るためにカルマンフィルタを利用する方法が
Ｍａｔｔｈｉｅｓ  Ｌ．Ｍ．，Ｋａｎａｄｅ  Ｔ．，Ｓｚｅｌｉｓｋｉ  Ｒ．：“Ｋａｌｍａｎ  Ｆｉｌｔｅｒ−ｂａｓｅｄ  Ａｌｇｏｒｉｔｈｍｓ  ｆｏｒＥｓｔｉｍａｔｉｎｇ  Ｄｅｐｔｈ  ｆｒｏｍ  Ｉｍａｇｅ  Ｓｅｑｕｅｎｃｅ”，Ｉｎｔ．Ｊ．Ｃｏｍｐｕｔ．Ｖｉｓｉｏｎ，３，ｐｐ．２０９−２３６（１９８９）
によって示された。しかし、この報告では具体例としてカメラの運動が回転を含まない場合のみを議論しており、一般的なカメラの運動に対しては
Ｈｅｅｌ  Ｊ．：“Ｄｙｎａｍｉｃ  Ｍｏｔｉｏｎ  Ｖｉｓｉｏｎ”，Ｐｒｏｃ．  ｏｆ  Ｉｍａｇｅ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ  Ｗｏｒｋｓｈｏｐ  ’８９，ｐｐ．７０２−７１３（１９８９）
によって示された。
【０００４】
【発明が解決しようとする課題】
Ｈｅｅｌによって提案された方法は、オプティカルフローと距離情報との関係式を線形化し、拡張カルマンフィルタを適用するものである。しかし、オプティカルフローと距離情報との関係は非線形性が強いので、この方法が正しく動作するためのカメラの運動は制限されたものとなり、また、動作の安定性にも問題があった。一般的なカメラの運動に対して安定な動作を可能にするためには、この問題が持つ非線形性を十分考慮してアルゴリズムを構成する必要がある。
【０００５】
本発明の目的は、動画像の各フレームから得られる距離情報とカメラの運動を時間的に融合し、より正確な情報を安定して得ることのできる３次元形状復元方法および装置を提供することにある。
【０００６】
【課題を解決するための手段】
本発明は、動画像を構成する一連の画像内の２枚のフレームを用いて画像上の移動情報であるオプティカルフローの推定値とその共分散行列を計算するオプティカルフロー計算手段と、前記オプティカルフローの推定値と共分散行列を用いて撮像されている物体までの距離とカメラの運動の推定値およびそれらの共分散行列を計算する距離情報計算手段と、これら２つの方法を動画像に対して連続的に適用することで得られる多数の物体までの距離とカメラの運動の推定値とそれらの共分散行列を時間的に融合し、物体までの距離とカメラの運動の精度の高い推定値とその共分散行列を計算する距離情報融合手段とを備える３次元形状復元装置において、
前記距離情報融合手段は、前記距離情報計算手段によって計算される物体までの距離の推定値とカメラの運動の推定値の各々に対して独立なカルマンフィルタを構成することを特徴としている。
【０００７】
また、本発明は、距離情報計算手段の入力としてオプティカルフローの推定値とその共分散行列に加えて、カメラの並進運動の大きさとそれに含まれるノイズの分散を使用し、計算される物体までの距離の推定値とカメラの運動の推定値に反映する距離情報融合手段を採用することを特徴としている。
【０００８】
【作用】
非線形性の強いオプティカルフローと距離情報およびカメラの運動との関係に対して、直接拡張カルマンフィルタを適用すると不安定な動作となる。そこで、距離情報計算手段において問題の持つ非線形性を十分考慮した処理を行い、線形近似が有効となる値を得てからそれらの値に対してカルマンフィルタを適用する。オプティカルフロー計算手段によって動画像からオプティカルフローとそれに見積もられる誤差の共分散行列を計算し、距離情報計算手段によってカメラの運動パラメータと距離情報およびそれらに含まれる誤差の共分散行列を計算する。これらの値は、距離情報融合手段のカルマンフィルタで時間的に融合され、より正確な値となる。距離情報計算手段によって計算される距離情報とカメラの運動パラメータには相関があるので、両者を一括してカルマンフィルタを構成することも考えられるが、状態ベクトルの次元が非常に大きなものとなるため、実際の手法としては現実的ではない。従って、距離情報とカメラの運動パラメータ各々について独立したカルマンフィルタを構成する。なお、距離情報計算手段への入力としてオプティカルフローとは別にカメラの運動速度があるが、これは以下の理由による。オプティカルフローから解析して得られる距離情報は、カメラの並進運動の大きさとの相対的な値のみであり、絶対的な値は知ることができない。距離情報融合手段のカルマンフィルタが正しい動作を行うためには絶対的な値が必要であり、これを得るためには、距離情報計算手段において、カメラの並進運動の絶対値、すなわちカメラの運動速度が速度計などカメラ以外の装置から入力される必要があるからである。しかし、現実的には、カメラの運動はなめらかであることが多く、時間を短時間に限れば、速度が一定であると仮定しても問題がない場合も多い。その場合には、カメラの速度の計測値とそれに含まれるノイズの分散は、適当な値を設定すればよい。
【０００９】
【実施例】
次に、本発明の実施例について、図面を参照して説明する。図１は、本発明の３次元形状復元装置の一実施例を示す構成図である。図１に示す３次元形状復元装置は、動画像からオプティカルフローの推定値とそれに見積もられる誤差の共分散行列を計算するオプティカルフロー計算手段１０と、オプティカルフローの推定値と共分散行列およびカメラの並進運動の大きさとそれに含まれるノイズの分散を用いて撮像されている物体までの距離情報とカメラの運動パラメータの推定値およびそれらに含まれる誤差の共分散行列を計算する距離情報計算手段２０と、距離情報の推定値とカメラの運動パラメータの推定値の各々に対して独立なカルマンフィルタ３０，４０を構成し、距離情報とカメラの運動パラメータの精度の高い推定値とその共分散行列を計算する距離情報融合手段５０とを備えている。
【００１０】
まず、図１のオプティカルフロー計算手段１０については、オプティカルフローとそれに含まれるノイズの共分散行列を出力する手法ならば、本発明の手法で使用することができる。例えば前記の文献
Ｏｈｔａ  Ｎ．：“Ｉｍａｇｅ  Ｍｏｖｅｍｅｎｔ  Ｄｅｔｅｃｔｉｏｎ  ｗｉｔｈ  Ｒｅｌｉａｂｉｌｉｔｙ  Ｉｎｄｉｃｅｓ”，ＩＥＩＣＥ  Ｔｒａｎｓ．，Ｅ７４，１０，ｐｐ．３３７９−３３８８（Ｏｃｔ．１９９１）
または
太田直哉：“オプティカルフローからの形状復元とその移動物体検出”，計測自動制御学会，第２５回パターン計測部会資料，ｐｐ．７−１３（１９９３／１１／１９）
で報告されている手法が利用できる。この手法は、画像上の点ｉでそこでの移動ベクトルの推定値ｕｉ  ＊  とその推定値の誤差の共分散行列Ｖｕｉ（より正確にはその逆行列Ｖｕｉ−１）を出力する。
【００１１】
次に、距離情報計算手段２０では、前記の文献
太田直哉：“信頼性情報を持ったオプティカルフローからの形状復元とその移動物体検出への応用”，電子情報通信学会論文誌，Ｄ−ＩＩ，Ｖｏｌ．Ｊ７６−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ．１５６２−１５７１（１９９３年８月）
に述べられている手法が参考になるが、この手法では、カメラの並進運動の大きさを入力する場合については述べられていないので、以下に述べる。
【００１２】
撮像系のモデルとして焦点距離１の中心投影系を採用する。カメラが静止環境中を並進速度Ｔ，回転速度Ｒで移動したときに、画像上の点ｉ（位置を（ｘｉ  ，ｙｉ  ）とする）に生じるオプティカルフローｕｉ  は次式で表される。
【００１３】
【数１】
0003555159.tif 000002
【００１４】
ただし、
【００１５】
【数２】
0003555159.tif 000003
【００１６】
上式において、添え字ｉ（＝１，・・・，Ｎ）は画像上の各々の点に対応する番号、ｐｉ  は画像上の点ｉでのＺ座標値の逆数（インバースデプスと呼ぶ）である。一方、カメラの速度ｋは次式で与えられる。
【００１７】
ｋ＝｜Ｔ｜＝（Ｔｘ  ２  ＋Ｔｙ  ２  ＋Ｔｚ  ２  ）１／２                        （２）
ここで、距離情報計算手段２０の入力となる量であるオプティカルフローとカメラの速度を１つのベクトルｙ、計算すべき量であるカメラの並進・回転速度とインバースデプスを１つのベクトルθにまとめて表記する。
【００１８】
ｙ＝［ｕ１  ｖ１  ｕ２  ｖ２  ・・・ｕＮ  ｖＮ  ｋ］Ｔ                        （３）
θ＝［Ｔｘ  Ｔｙ  Ｔｚ  Ｒｘ  Ｒｙ  Ｒｚ  ｐ１  ｐ２  ・・・ｐＮ  ］Ｔ  
ベクトルｙはθの関数ｙ（θ）であり、詳細は式（１）および（２）で与えられる。
【００１９】
次に、オプティカルフロー計算手段１０によって実際の動画像から計算されるオプティカルフローと速度計などにより計測されるカメラの速度から作られる観測ベクトルｙ＊  は、真の値ｙに平均０の多次元ガウスノイズｎが加わったものとして確率的なモデル化を行う。
【００２０】
ｙ＊  ＝ｙ（θ）＋ｎ                                              （４）
ノイズｎの共分散行列をＶｙ  とすると、パラメータθが与えられたときに計測値ｙ＊  が観測される確率Ｐ（ｙ＊  ｜θ）は次式となる。
【００２１】
Ｐ（ｙ＊  ｜θ）＝（２π）−Ｎ／２｜Ｖｙ  ｜−１／２ｅｘｐ（−Ｊ／２）      （５）
Ｊ＝（ｙ＊  −ｙ（θ））Ｔ  Ｖｙ  −１（ｙ＊  −ｙ（θ））
計測値ｙ＊  が観測されたときのパラメータθの最ゆう推定値θＭＬは、式（５）を最大にするθ、すなわちＪを最小にするθである。Ｊの最小化は、最急勾配法などの非線形最適化の手法を用いることができる。また、文献
太田直哉：“信頼性情報を持ったオプティカルフローからの形状復元とその移動物体検出への応用”，電子情報通信学会論文誌，Ｄ−ＩＩ，Ｖｏｌ．Ｊ７６−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ．１５６２−１５７１（１９９３年８月）
の第２．３節に示されている最小化アルゴリズムにおいて、カメラの並進速度の大きさ｜Ｔ｜を１に正規化するステップをカメラの速度の計測値ｋ＊  の大きさにするように変更することで、このアルゴリズムがそのまま適用可能である。
【００２２】
次に、推定されたパラメータθＭＬの誤差の共分散行列の計算法について述べる。関数ｙ（θ）の非線形性により、厳密に共分散行列を計算することは容易ではないので、ｙ（θ）をθＭＬ周りでテーラー展開し、１次の項までとることによって線形化する。
【００２３】
ｙＬ  ＝ｙ（θＭＬ）＋（ｄｙ／ｄθ）（θ−θＭＬ）                    （６）
ここで、ｄｙ／ｄθはヤコビ行列である。式（６）をθについて解くと次式となる。
【００２４】
θ＝（ｄｙ／ｄθ）−１（ｙＬ  −ｙ（θＭＬ））＋θＭＬ                  （７）
ベクトルｙＬ  の共分散行列をＶｙ  とすれば、θの共分散行列Ｖｈ  は
Ｖｈ  ＝（ｄｙ／ｄθ）−１Ｖｙ  （（ｄｙ／ｄθ）−１）Ｔ                  （８）
となる。オプティカルフロー検出方法によって得られる分散情報は、共分散行列の逆行列である関係上、実際の計算では、Ｖｙ  の逆行列を用いて計算を行う方が効率的である。そこで、式（８）の逆行列を作り、実際の計算ではこれを用いる。
【００２５】
Ｖｈ  −１    ＝（ｄｙ／ｄθ）Ｔ  Ｖｙ  −１（ｄｙ／ｄθ）                  （９）
一方、距離情報融合手段３０において、計算の容易性からカメラの運動パラメータｍと各インバースデプスｐｉ  に関して独立にカルマンフィルタを構成するので、そのためには、式（９）からそれぞれの共分散行列を作り出す必要がある。ここで、運動パラメータｍとは
ｍ＝［Ｔｘ  Ｔｙ  Ｔｚ  Ｒｘ  Ｒｙ  Ｒｚ  ］Ｔ                              （１０）
である。そこでＶｈ  −１から対応する部分行列を取り出し、それをそれぞれの変数に対する分散の逆行列として使用する。すなわち、カメラの運動パラメータに関しては、Ｖｈ  −１の１行１列から６行６列までの部分行列を運動パラメータの分散の逆行列Ｖｍ  −１とし、ｉ番目のインバースデプスに関しては、ｉ＋６行ｉ＋６列の対角成分を分散の逆数１／σｐｉ２  とする。この操作は、各変数の分散を他の変数の正しい値が得られた場合の条件付き確率で見積もっていることに相当する。
【００２６】
ここで、今まで述べたことをまとめておく。まず、オプティカルフロー計算手段１０によって、画像上の各点での移動ベクトルｕｉ  ＊  とその共分散行列の逆行列Ｖｕｉ−１が計算されると共に、速度計などからカメラの移動速度ｋが得られる。移動速度ｋ＊  にはσｋ  ２  の分散の誤差が含まれているとする。このときｕｉ  ＊  およびｋ＊  の誤差は独立であると仮定する。これらから観測ベクトルｙ＊  と共分散行列の逆行列Ｖｙ  −１を作り、距離情報計算手段２０の入力とする。観測ベクトルｙ＊  は、式（３）で示した順序に各要素を並べる。行列Ｖｙ  −１は、２行２列の行列Ｖｕｉ−１をその対角要素、すなわち２ｉ−１行２ｉ−１列から２ｉ行２ｉ列までの２行２列の部分行列になるように並べ、最後の対角成分２Ｎ＋１行２Ｎ＋１列の要素は１／σｋ  ２  とする。残りの部分は０とする。このようにして作られたｙ＊  とＶｙ  −  １  を用いて式（５）を最小化し、θＭＬを計算すると共に、式（９）によりＶｈ  −１を求める。さらに、式（１０）を参考にθＭＬを分解してｍＭＬとｐＭＬｉ  、Ｖｈ  −１を分解してＶｍ  −１と１／σｐｉ２  を得る。Ｖｍ  −１と１／σｐｉ２  の具体的な形は、式（１）および（９）から計算され、次のようになる。
【００２７】
【数３】
0003555159.tif 000004
【００２８】
距離情報融合手段３０においては、前述のごとくカメラの運動パラメータｍと各インバースデプスｐｉ  に関して独立にカルマンフィルタを構成する。距離情報計算手段２０によってθＭＬとその共分散行列の逆行列Ｖｈ  −１が得られているので、理論的にはθを状態ベクトルとしてカルマンフィルタを構成することができる。しかし、このようなカルマンフィルタを構成すると、実際にＶｈ  −１の逆行列を数値計算により求める必要があり、その大きな次元数のため処理量と安定性の面で問題がある。それを避けるために、θをカメラの運動パラメータｍと各インバースデプスｐｉ  に分解し、それぞれ独立にカルマンフィルタを構成する。
【００２９】
最初にカメラの運動パラメータｍのカルマンフィルタについて述べる。カメラの並進・回転速度は、微少時間では一定であると考え、状態遷移行列を単位行列とし、システムノイズの共分散行列をＱｍ  とすると、時間更新アルゴリズムは次のようになる。
【００３０】
ｍｔ＋１  −  ＝ｍｔ  ＋                                                （１２）
Ｖｍｔ＋１−  ＝Ｖｍｔ＋  ＋Ｑｍ  
一方、観測更新アルゴリズムは次式で与えられる。
【００３１】
ｍｔ  ＋  ＝ｍｔ  −  ＋Ｋｍｔ（ｍｔ  ＊  −ｍｔ  −  ）                        （１３）
Ｖｍｔ＋  ＝（Ｉ−Ｋｍｔ）Ｖｍｔ−  
Ｋｍｔ＝Ｖｍｔ−  （Ｖｍｔ−  ＋Ｖｍｔ＊  ）−１
これらの式で、ベクトルおよび行列の添字ｔおよびｔ＋１は時間ステップを、肩の＋および−はそれぞれ観測更新値と時間更新値を表す。また、Ｉは単位行列であり、ｍｔ  ＊  およびＶｍｔ＊  は時刻ｔにおける観測値とその分散で、距離情報計算手段２０で計算されたｍＭＬとＶｍ  −１の逆行列を使用する。
【００３２】
次に、インバースデプスｐｉ  のカルマンフィルタを構成する。時刻ｔに３次元座標がＸｔ  ＊  であった物体上の点は、その時刻のカメラの並進・回転速度がＴｔ  ＊  およびＲｔ  ＊  とすれば、単位時間後の座標値Ｘｔ＋１  ＊  は次式で与えられる。
【００３３】
Ｘｔ＋１  ＊  ＝−Ｔｔ  ＊  −Ｒｔ  ＊  ×Ｘｔ  ＊                              （１４）
Ｘｔ  ＊  ＝（Ｘｔ  Ｙｔ  Ｚｔ  ）Ｔ  
Ｘｔ＋１  ＊  ＝（Ｘｔ＋１  Ｙｔ＋１  Ｚｔ＋１  ）Ｔ  
上式のＺｔ  とＺｔ＋１  の関係から両時刻のインバースデプスの関係は次のようになる。
【００３４】
ｐｉｔ＋１＝ｐｉｔ／（１＋Ｒｙｔｘｉｔ−Ｒｘｔｙｉｔ−Ｔｚｔｐｉｔ）            （１５）
ここで、上式をｐｉｔで微分すると次式となる。
【００３５】
ｄｐｉｔ＋１／ｄｐｉｔ＝（Ｔｚｔｐｉｔ）／（１＋Ｒｙｔｘｉｔ−Ｒｘｔｙｉｔ−Ｔｚｔｐｉｔ）２  ＋１／（１＋Ｒｙｔｘｉｔ−Ｒｘｔｙｉｔ−Ｔｚｔｐｉｔ）                      （１６）
式（１５）および（１６）より、時間更新アルゴリズムが得られる。
【００３６】
ｐｉｔ＋１−  ＝ｐｉｔ＋  ／（１＋Ｒｙｔｘｉｔ−Ｒｘｔｙｉｔ−Ｔｚｔｐｉｔ＋  ）      （１７）
σｐｉｔ＋１  ２−＝（ｄｐｉｔ＋１／ｄｐｉｔ）２  σｐｉｔ  ２＋＋Ｑｐ  
Ｒｙｔ，Ｒｘｔ，Ｔｚｔは、カメラの運動パラメータのカルマンフィルタの推定値ｍｔ  ＋  の対応する要素を用いる。また、Ｑｐ  は、インバースデプスに関するシステムノイズである。
【００３７】
一方、観測更新アルゴリズムは次のようになる。
【００３８】
ｐｉｔ＋  ＝ｐｉｔ−  ＋Ｋｐｔ（ｐｉｔ＊  −ｐｉｔ−  ）                        （１８）
σｐｉｔ  ２＋＝（１−Ｋｐｔ）σｐｉｔ  ２−
Ｋｐｔ＝σｐｉｔ  ２−／（σｐｉｔ  ２−＋σｐｉｔ  ２＊）
ここで、ｐｉｔ＊  およびσｐｉｔ  ２＊は、時刻ｔに距離情報計算手段２０によって計算された値ｐＭＬｉ  およびσｐｉ２  に対応する。さて、以上で物体上に固定された点のインバースデプスに関するカルマンフィルタが構成されたが、その点は、カメラの運動によって画像上を移動する。従って、ある時刻でのインバースデプスｐｉ  に対応する点は、次の時刻では画像上の異なった位置にあるので、補間によってこれらを関係づける必要があるが、これは次のようにして達成される。式（１８）で示される観測更新アルゴリズムを適用する際に、式（１３）で計算されるその時刻のカメラの運動パラメータの推定値ｍｔ  ＋  から式（１）を用いて推定されるオプティカルフローｕｉ  ＋  を計算する。観測値ｐｉｔ＊  に対応する予測値ｐｉｔ−  は、単位時間前には画像上で−ｕｉ  ＋  だけ離れた位置に存在することになるので、ｐｉｔ−  の画像を内挿してその位置での値を求め、式（１８）内のｐｉｔ−  として使用する。この様子を１次元の図として図２に示した。内挿の方法には、最近隣内挿法、共１次内挿法、３次たたみ込み内挿法などがあり、そのいずれも使用することができる。詳細は以下の参考文献に述べられている。
【００３９】
高木幹雄，下田陽久  監修：画像解析ハンドブック，東京大学出版会，ｐｐ．４１１−４４４（１９９１）
また、予測値ｐｉｔ−  の位置を単位時間だけ前の運動パラメータの推定値ｍｔ−１  ＋  から計算する方法もある。これにはｍｔ−１  ＋  を式（１）に代入して時刻ｔ−１のオプティカルフローｕｉ  ＋  を推定し、図３に示すようにｐｉｔ−  の位置を移動する。移動された位置を標本点として内挿し、観測値ｐｉｔ＊  の位置の値を得る。この方法では、内挿すべき画像の標本点が規則正しい格子上に存在しないので、内挿問題がやや複雑になる。この場合の内挿の１例として以下の方法がある。まず、計算しようとする点に最も近く、かつその点を内部に含むような３つの標本点を決定する。これらの標本点の位置をそれぞれ（ｘａ  ，ｙａ  ），（ｘｂ  ，ｙｂ  ），（ｘｃ  ，ｙｃ  ）とし、値をｐａ  ，ｐｂ  ，ｐｃ  とすると、位置（ｘ，ｙ）の点での値ｐは次式で与えられる。
【００４０】
ｐ＝（ｃ１  ｘ＋ｃ２  ｙ＋ｃ３  ）／ｃ４                              （１９）
ｃ１  ＝（ｙａ  −ｙｂ  ）ｐａ  ＋（ｙａ  −ｙｃ  ）ｐｂ  ＋（ｙｂ  −ｙａ  ）ｐｃ  
ｃ２  ＝（ｘｂ  −ｘｃ  ）ｐａ  ＋（ｘｃ  −ｘａ  ）ｐｂ  ＋（ｘａ  −ｘｂ  ）ｐｃ  
ｃ３  ＝（ｘｃ  ｙｂ  −ｘｂ  ｙｃ  ）ｐａ  ＋（ｘａ  ｙｃ  −ｘｃ  ｙａ  ）ｐｂ  ＋（ｘｂ  ｙａ  −ｘａ  ｙｂ  ）ｐｃ  
ｃ４  ＝（ｘｂ  −ｘｃ  ）ｙａ  ＋（ｘｃ  −ｘａ  ）ｙｂ  ＋（ｘａ  −ｘｂ  ）ｙｃ  
予測値ｐｉｔ−  と同様に分散σｐｉｔ  ２−の内挿も必要であるが、これも以上述べた方法によって達成される。ただし、分散の場合には平方根を求めて標準偏差に直してから内挿を行い、自乗して分散に戻すという操作を行う。
【００４１】
【発明の効果】
本発明によって示された方法および装置を使用することで、動画像の各フレームから得られる距離情報とカメラの運動を時間的に融合し、より正確な情報を安定して得ることができる。
【図面の簡単な説明】
【図１】本発明の３次元形状復元装置の一実施例を示す構成図である。
【図２】インバースデプスの内挿方法を説明する図である。
【図３】インバースデプスの内挿方法を説明する図である。
【符号の説明】
１０  オプティカルフロー計算手段
２０  距離情報計算手段
３０  距離情報融合手段
４０  距離情報カルマンフィルタ
５０  運動パラメータカルマンフィルタ
【図１】
0003555159.tif 000005
【図２】
0003555159.tif 000006
【図３】
0003555159.tif 000007