(57)【要約】【課題】  トリフォーカルトランスファの一次共分散伝播を導き出し、その共分散を、不確定性を定量的に測定する手段として用いることを目的とする。【解決手段】  トリフォーカルトランスファの不確定性を予測する技術を説明する。この技術は、トリリニア方程式のセットにより決められるトリリニアリティの幾何学的な制約が与えられて、３つの画像フレームにおける空間点の透視投影を決定し、トリフォーカルトランスファは、トリフォーカルテンソルと最初の２つの画像フレームにおける点から第３の画像フレームにおける対応点を予測するために用いる、方法の改良である。この改良は、トリフォーカルテンソルを用いて、透視投影される固定シーンの最初の２つの画像フレームにおける対応点に影響を与える不確定性の影響を受ける第３の画像フレームにおけるトリフォーカルトランスファの不確定性を予測する段階を含む。【選択図】  図２
2004151106.tif 000002
【特許請求の範囲】
【請求項１】
トリリニア方程式のセットにより決められるトリリニアリティの幾何学的な制約が与えられて、３つの画像フレームにおいて対応する空間点の透視投影を決定する方法において、トリフォーカルトランスファは、トリフォーカルテンソル及び最初の２つの画像フレームにおける点から、第３の画像フレームにおける対応点を予測するために用いる上記方法における改良方法であって、
上記トリフォーカルテンソルを用いて、透視投影される固定シーンの上記最初の２つの画像フレームにおける上記対応点に影響を与える不確定性の影響を受ける上記第３の画像フレームにおけるトリフォーカルトランスファの不確定性を予測する段階を含む、改良方法。
【請求項２】
上記不確定性を予測する段階は、一次摂動及び共分散伝播の分析に基づき、
ａ）上記３つの画像フレームにおける上記点と上記トリフォーカルテンソルに対する上記トリリニア方程式の偏導関数を導き出す段階と、
ｂ）上記最初の２つの画像フレームにおける上記点と上記トリフォーカルテンソルの入力共分散を導き出す段階と、
ｃ）上記一次入力摂動及び上記共分散を、上記第３の画像フレームにおける上記対応点の一次入力摂動及び共分散に伝播する段階と、
ｄ）１つの点及び対象物全体の不確定性のための定量的な誤り測度を決定する段階と、を含む請求項１記載の方法。
【請求項３】
上記不確定性を予測する段階は、クラメール−ラオ（Ｃｒａｍａｅｒ−Ｒａｏ）パフォーマンス限界アプローチに基づき、
ａ）統計的試験のためのデータモデルを作成する段階と、
ｂ）上記データモデルに繰り返し統計的試験を実行し、ガウス分布からサンプルを引き出す段階と、
ｃ）スコア及びフィッシャー情報行列を導き出す段階と、
ｄ）上記フィッシャー情報行列からクラメール−ラオパフォーマンス限界を導き出す段階と、
ｅ）上記クラメール−ラオパフォーマンス限界を用いて、上記第３の画像フレームにおける上記対応点（ｘ’’，ｙ’’）の分散の限界を特定する段階と、を含む請求項１記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般的に、ビジュアルコンピューティングの分野に関り、特に、トリフォーカルトランスファに関する誤り感度問題に係る。
【背景技術】
【０００２】
透視投影される固定シーンの３つの画像にわたるトリリニアリティ（ｔｒｉｌｉｎｅａｒｉｔｙ）の幾何学的制約が最近明らかとなった。トリフォーカルモデルは、ステレオの場合のように２つのフレームではなく、３つのフレームを同時に用い、且つ、本質的によりロバストである。
【０００３】
トリフォーカルトランスファは、トリリニアリティ制約を用いて、最初の２つの画像フレームにおける対応から第３の画像フレームにおける対応する点／線を見つける。「トリフォーカル」とは、３つのカメラと、関連する透視投影される３つの画像を意味し、「トランスファ」とは、前のフレームにおける点の現在のフレームへの再投影を意味する。より具体的には、第１の画像Ψにおける点（ｘ，ｙ）と、第２の画像Ψ’におけるその対応（ｘ’，ｙ’）と、３つの画像にわたってのトリフォーカルテンソル（ｔｒｉｆｏｃａｌ  ｔｅｎｓｏｒ）Τ（Τｉｊｋ及びｉ，ｊ，ｋ＝１，２，３）が与えられるとすると、トリフォーカルトランスファは、関数マッピング（ｘ’’，ｙ’’）＝ｆ（ｘ，ｙ，ｘ’，ｙ’，Τ）によって、第３の画像Ψ’’における対応点（ｘ’’，ｙ’’）を見つける。トリフォーカルテンソルΤは、パラメータと３つのカメラの動作を支配する２７の係数のセットであり、これは、３×３×３行列と書き表すことができる。
【０００４】
新しい画像において見えないエンティティ（例えば、点及び線）の場所を、他の画像フレームにおいて既に見えるエンティティから予測するトリフォーカルトランスファの能力は、トリフォーカルトランスファを、画像ベースのレンダリング、バーチャルナビゲーション、動き推定及び補償、及び、ビデオ圧縮及び操作といった様々なアプリケーション用の魅力的なツールにする。例えば、画像ベースのレンダリングでは、２Ｄ画像のコレクションを用いて、明らかな３Ｄ再構成なく３Ｄシーンをモデリングする。新しい目視条件（視点、視野、照明等）下の画像が、データベース内に既に格納される画像からワープすることができる。トリフォーカルトランスファは、このタスクのために魅力的なツールであり、何故なら、トリフォーカルトランスファは、透視投影される自由なカメラ動作を説明するからである。同様に、バーチャルナビゲーションでは、固定シーンのバーチャルビューを、既に見られた及び捕捉されたビューから実際に予測することができる。トリフォーカルトランスファは、バーチャルリアリティ、ビデオゲーム、テレビ教育、及び、バーチャルミュージアムといった用途において大きな可能性を有する。動き推定及び補償では、トリフォーカルトランスファは、動き補償の残余を少なくし、また、ビデオ圧縮及び操作に直接的に用いられる符号化効率を高めるという可能性を有する。
【０００５】
トリフォーカルテンソルを用いた３Ｄ対象物の表現は、様々な特許に開示されている。（１）アムノン・シャシュア（Ａｍｎｏｎ  Ｓｈａｓｈｕａ）への「Ａｐｐａｒａｔｕｓ  ａｎｄ  ｍｅｔｈｏｄ  ｆｏｒ  ｒｅｃｒｅａｔｉｎｇ  ａｎｄ  ｍａｎｉｐｕｌａｔｉｎｇ  ａ  ３Ｄ  ｏｂｊｅｃｔ  ｂａｓｅｄ  ｏｎ  ａ  ２Ｄ  ｐｒｏｊｅｃｔｉｏｎ  ｔｈｅｒｅｏｆ」なる名称の特許文献１は、３Ｄ対象物に関する情報を、トリフォーカルテンソルを用いてその３Ｄ対象物の少なくとも１つの２Ｄ投影から生成する方法を開示する。（２）アムノン・シャシュア及びシャイ・アビダン（Ｓｈａｉ  Ａｖｉｄａｎ）への「Ｓｙｎｔｈｅｓｉｚｉｎｇ  ｖｉｒｔｕａｌ  ｔｗｏ  ｄｉｍｅｎｓｉｏｎａｌ  ｉｍａｇｅｓ  ｏｆ  ｔｈｒｅｅ  ｄｉｍｅｎｓｉｏｎａｌ  ｓｐａｃｅ  ｆｒｏｍ  ａ  ｃｏｌｌｅｃｔｉｏｎ  ｏｆ  ｒｅａｌ  ｔｗｏ  ｄｉｍｅｎｓｉｏｎａｌ  ｉｍａｇｅｓ」なる名称の特許文献２は、トリフォーカルテンソル及び最初の２つの画像における対応から、３Ｄ対象物のバーチャル画像を生成する方法を開示する。（３）Ｐ．アナンダン（Ａｎａｎｄａｎ）、Ｍ．イラニ（Ｉｒａｎｉ）、及び、Ｄ．ウェインシャル（Ｗｅｉｎｓｈａｌｌ）への「Ｖｉｅｗ  ｓｙｎｔｈｅｓｉｓ  ｆｒｏｍ  ｐｌｕｒａｌ  ｉｍａｇｅｓ  ｕｓｉｎｇ  ａ  ｔｒｉｆｏｃａｌ  ｔｅｎｓｏｒ  ｄａｔａ  ｓｔｒｕｃｔｕｒｅ  ｉｎ  ａ  ｍｕｌｔｉ−ｖｉｅｗ  ｐａｒａｌｌａｘ  ｇｅｏｍｅｔｒｙ」なる名称の特許文献３は、プレーン−プラス−パララックスとトリフォーカルテンソルデータ構造を用いた、バーチャルビュー生成と類似したタスクの方法を開示する。（４）トマソ・ポギオ（Ｔｏｍａｓｏ  Ｐｏｇｇｉｏ）、デビット・ベイマ、及び、アムノン・シャシュアへの「Ｅｘａｍｐｌｅ−ｂａｓｅｄ  ｉｍａｇｅ  ａｎａｌｙｓｉｓ  ａｎｄ  ｓｙｎｔｈｅｓｉｓ  ｕｓｉｎｇ  ｐｉｘｅｌｗｉｓｅ  ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ」なる名称の特許文献４は、パラメータセットを計算し、画素毎の密度の高いオプティカルフローを決定することにより対象物のバーチャルビューを生成する画像ベースの分析及び合成アプローチを開示する。ただし、パラメータのセットが用いられるので、トリフォーカルテンソルは明記されてはいない。一方、トリフォーカル表現の使用に関する研究は、科学系及びエンジニアリング系のジャーナルにも発表されている。特に、トリリニア方程式（ｔｒｉｌｉｎｅａｒ  ｅｑｕａｔｉｏｎ）は最初に、非特許文献１に登場した。トリフォーカルテンソルの概念及び３つの画像にわたる他の幾何学関係は、非特許文献２に提示された。この題材に関するより包括的な材料は、非特許文献３を参照されたい。動き推定及び補償、また、ビデオ圧縮及び操作へのトリフォーカルモデルの適用は、非特許文献４にて研究された。
【０００６】
（ｘ’’，ｙ’’）＝ｆ（ｘ，ｙ，ｘ’，ｙ’，Τ）の関数マッピングの解は、良好に理解されているが、誤り感度の問題は、十分に調べられていない。事実、このことは、エンジニアリングにおいて、トリフォーカルトランスファが普及するための１つの障害となっている。実際には、点の対応とトリフォーカルテンソルは共に、略常に、特定の種類の雑音に関連付けられる。点（ｘ，ｙ）及び（ｘ’，ｙ’）は、（例えば、コーナ検出器を介して）それらの点の近傍の画素強度／色に基づいて位置付けられる。（ｘ’，ｙ’）の精度は、関連するマッチング又は動く追跡スキームにも依存する。トリフォーカルテンソルＴは、通常、点の対応から推定され、更に、入力雑音にも影響を受ける。従って、入力雑音レベルに対して最善に達成可能なパフォーマンスと、推定されるパラメータへの入力摂動の影響とを調査することに大きな関心がある。
【０００７】
一般的な誤り感度問題及び特定の視覚問題の誤り分析は、以前にも研究されており、かなりの参考文献が入手可能である。例えば、誤り伝搬の概要は、非特許文献５に示される。２つの透視画像からの動作からの構造への一次近似アプローチは、非特許文献６にて研究された。同様のアプローチが、非特許文献７における因数分解法について取られた。更に、Ｃ．Ｋ．キンバル（Ｋｉｍｂａｌｌ）及びＤ．Ｊ．シェイブナ（Ｓｃｈｅｉｂｎｅｒ）への「Ｍｅｔｈｏｄ  ａｎｄ  ａｐｐａｒａｔｕｓ  ｆｏｒ  ｄｅｔｅｒｍｉｎｉｎｇ  ｅｒｒｏｒ  ｉｎ  ｆｏｒｍａｔｉｏｎ  ｐａｒａｍｅｔｅｒ  ｄｅｔｅｒｍｉｎａｔｉｏｎｓ」なる名称の特許文献５では、音響検層技術を介して地層における誤りを判断する方法が開示される。しかし、いずれの従来技術も、トリフォーカルトランスファの方法に特有のものではない。
【０００８】
実際のエンジニアリングの適用において、トリフォーカルトランスファに関連付けられる誤り感度の問題は、アルゴリズム自体と同様に重要である。定量的な誤り測度は、特定のシーンのパフォーマンスとカメラ構成を正確に示し、且つ、以下のような問題に答えることを支援する。例えば、所与の入力雑音レベルに対する（ｘ’’，ｙ’’）におけるトランスファ不確定性はどれくらいか、シーンのどの部分が他の部分より摂動の影響を受けるか、また、パフォーマンスを向上するために他に何ができるか、点の対応の不確定性とトリフォーカルテンソルが定められた場合に、フレームΨ’’における全体のトランスファ不確定性が最小限となるようにするには、どのようにカメラを空間に配置したらいいか、トリフォーカルトランスファの精度は、所与の適用に対し十分であるか、十分でない場合、精度を改善する可能なアプローチは何か、特定のレベル以下のトランスファ不確定性を達成するには、カメラはどれくらい離して（カメラ間の基線）置いたらいいか、トランスファ不確定性がある特定のレベル以下となるには対象物の周りを撮る画像の最小数は何か、といった問題がある。これらの問題に定量的に答えるには、トリフォーカルトランスファの誤り分析のための体系的な方法が、明らかに必要であり、且つ、あれば非常に有利である。
【特許文献１】米国特許第５，８２１，９４３号
【特許文献２】米国特許第６，２１９，４４４号
【特許文献３】米国特許第６，１９８，８５２号
【特許文献４】米国特許第５，７４５，６６８号
【特許文献５】米国特許第５，６６１，６９６号
【非特許文献１】Ａ．シャシュア、「アルジェブライック・ファンクションズ・フォ・レコグニション（Ａｌｇｅｂｒａｉｃ  ｆｕｎｃｔｉｏｎｓ  ｆｏｒ  ｒｅｃｏｇｎｉｔｉｏｎ）」、ＩＥＥＥトランザクションズ・オン・パターン・アナリシス・アンド・マシーン・インテリジェンス（ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ）、１９９５年、第１７巻、ｐ．７７９−７８９
【非特許文献２】Ｒ．Ｉ．ハートレー（Ｈａｒｔｌｅｙ）、「ラインズ・アンド・ポインツ・イン・スリー・ビューズ・アンド・ザ・トリフォーカルテンソル（Ｌｉｎｅｓ  ａｎｄ  ｐｏｉｎｔｓ  ｉｎ  ｔｈｒｅｅ  ｖｉｅｗｓ  ａｎｄ  ｔｈｅ  ｔｒｉｆｏｃａｌ  ｔｅｎｓｏｒ）」、インターナショナル・ジャーナル・オン・コンピュータビジョン（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ）、１９９７年、第２２巻、ｐ．１２５−１４０
【非特許文献３】Ｒ．ハートレー及びＡ．ジサーマン（Ｚｉｓｓｅｒｍａｎ）著、「マルチプル・ビュー・ジオメトリ・イン・コンピュータ・ビジョン（Ｍｕｌｔｉｐｌｅ  ｖｉｅｗ  ｇｅｏｍｅｔｒｙ  ｉｎ  ｃｏｍｐｕｔｅｒ  ｖｉｓｉｏｎ）」、ケンブリッジ・ユニバーシティ・プレス（Ｃａｍｂｒｉｄｇｅ  Ｕｎｉｖｅｒｓｉｔｙ  Ｐｒｅｓｓ）、２００１年
【非特許文献４】Ｚ．サン及びＡ．Ｍ．テカルプ（Ｔｅｋａｌｐ）、「トリフォーカル・モーション・モデリング・フォ・オブジェクトベースド・ビデオ・コンプレッション・アンド・マニピュレーション（Ｔｒｉｆｏｃａｌ  ｍｏｔｉｏｎ  ｍｏｄｅｌｉｎｇ  ｆｏｒ  ｏｂｊｅｃｔ−ｂａｓｅｄ  ｖｉｄｅｏ  ｃｏｍｐｒｅｓｓｉｏｎ  ａｎｄ  ｍａｎｉｐｕｌａｔｉｏｎ）」、ＩＥＥＥトランザクションズ・オン・サーキット・アンド・システムズ・フォ・ビデオ・テクノロジ（ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  Ｏｎ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  ｆｏｒ  Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ）、１９９８年、第８巻、ｐ．６６７−６８５
【非特許文献５】Ｒ．Ｍ．ハラリック（Ｈａｒａｌｉｃｋ）、「コバリアンス・プロパゲーション・イン・コンピュータビジョン（Ｃｏｖａｒｉａｎｃｅ  ｐｒｏｐａｇａｔｉｏｎ  ｉｎ  ｃｏｍｐｕｔｅｒ  ｖｉｓｉｏｎ）」、インターナショナル・ジャーナル・オブ・パターン・レコグニション・アンド・アーティフィシャル・インテリジェンス（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  ａｎｄ  Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ）、１９９６年、第１０巻、第５号、ｐ．５６１−５７２
【非特許文献６】Ｊ．ウェング（Ｗｅｎｇ）、Ｔ．フアング（Ｈｕａｎｇ）、及び、Ｎ．アフジャ（Ａｈｕｊａ）、「モーション・アンド・ストラクチャ・フロム・ツー・パーステクティブ・ビューズ：アルゴリズムス・エラー・アナリシス・アンド・エラー・エスティメーション（Ｍｏｔｉｏｎ  ａｎｄ  ｓｔｒｕｃｔｕｒｅ  ｆｒｏｍ  ｔｗｏ  ｐｅｒｓｐｅｃｔｉｖｅ  ｖｉｅｗ：  Ａｌｇｏｒｉｔｈｍｓ，  ｅｒｒｏｒ  ａｎａｌｙｓｉｓ  ａｎｄ  ｅｒｒｏｒ  ｅｓｔｉｍａｔｉｏｎ）」、ＩＥＥＥトランザクションズ・オン・パターン・アナリシス・マシーン・インテリジェンス（ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ）、１９８９年５月、第１１巻、ｐ．４５１−４７６
【非特許文献７】Ｚ．サン、Ｖ．ラメシュ（Ｒａｍｅｓｈ）、及び、Ａ．Ｍ．テカルプ、「エラー・キャラクタライゼーション・オブ・ザ・ファクトライゼーション・メソッド（Ｅｒｒｏｒ  ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ  ｏｆ  ｔｈｅ  ｆａｃｔｏｒｉｚａｔｉｏｎ  ｍｅｔｈｏｄ）」、アカデミック・プレス・ジャーナル・コンピュータビジョン・アンド・イメージ・アンダスタンディング（Ａｃａｄｅｍｉｃ  Ｐｒｅｓｓ  Ｊｏｕｒｎａｌ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｉｍａｇｅ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ）、２００１年、５月、第８２巻、ｐ．１１０−１３７
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、トリフォーカルトランスファの一次共分散伝播を導き出し、その共分散を、不確定性を定量的に測定する手段として用いることを目的とする。
【００１０】
本発明は更に、特定の入力雑音レベルにおいて最善に達成可能なパフォーマンスを推測するために、トリフォーカルトランスファのクラメール−ラオ（Ｃｒａｍａｅｒ−Ｒａｏ）パフォーマンス限界を導き出すことを目的とする。
【００１１】
本発明は更に、誤り分析の結果を用いて、各点と対象物全体のパフォーマンスを正確に示すことを目的とする。
【００１２】
本発明は更に、誤り分析の結果を用いて、トリフォーカルトランスファの不確定性が最小限となるようカメラを配置することを目的とする。
【課題を解決するための手段】
【００１３】
本発明は、上述した問題の１つ又はそれ以上を解決する。簡単にまとめるに、本発明の１つの面によると、本発明は、トリフォーカルトランスファの不確定性を予測する技術にある。この技術は、トリリニア方程式のセットにより決められるトリリニアリティの幾何学的制約が与えられて、３つの画像フレームにおける空間点の透視投影を決定する方法の改良であり、トリフォーカルトランスファは、トリフォーカルテンソル及び最初の２つの画像フレームにおける点から、第３の画像フレームにおける対応点を予測するために用いられる。この改良は、トリフォーカルテンソルを用いて、透視投影される固定シーンの最初の２つの画像における対応点の不確定性の影響を受ける、第３の画像におけるトリフォーカルトランスファの不確定性を予測する段階を含む。
【００１４】
上述した必要性は、トリフォーカルトランスファに関連付けられる誤り感度の問題、即ち、最初の２つのフレームにおける対応点の不確定性とトリフォーカルテンソルがどのように第３のフレームにおける対応点に影響を与えるのか、を詳しく調べることにより、本発明において満たされる。誤り分析の結果は、カメラプラニング、システムパフォーマンス評価、及び、実際の画像へのトリフォーカルトランスファに用いられる。閉じた形式の分析が、一次共分散伝搬、及び、クラメール−ラオパフォーマンス限界に対し示される。定量的な分析によって、エンジニアリング適用におけるシステムのパフォーマンスをより良好に理解することができる。
【００１５】
開示する発明の利点は、（１）第３のフレームにおける点（ｘ’’，ｙ’’）への摂動を、最初の２つのフレームにおけるその対応点（ｘ，ｙ，ｘ’，ｙ’）とトリフォーカルテンソルへの摂動が与えられて、予測することと、（２）第３のフレームにおける点の共分散を、最初の２つのフレームにおけるその対応点とトリフォーカルトランスファの共分散が与えられて、予測することと、（３）所与の雑音レベルにおいて、第３のフレームにおける点をトランスファするのに最善に達成可能なパフォーマンスを予測することと、（４）誤り分析から定量的測度を導き出して、各点と対象物全体におけるパフォーマンスを正確に示すことと、（５）分析の結果を用いて、第３のフレームにおけるトリフォーカルトランスファの不確定性が最小限となるようカメラプラニングを支援すること、が含まれる。
【００１６】
本発明の上述した面及び他の面、目的、特徴、及び、利点は、添付図面を参照しながら、以下に示す好適な実施例の詳細な説明及び特許請求の範囲をよく検討することにより、より明確に理解することができるであろう。
【発明を実施するための最良の形態】
【００１７】
以下において、通常は、ソフトウェアプログラムとして実施され得る本発明の好適な実施例を説明する。当業者は、そのようなソフトウェアの等価物が、ハードウェアにおいても構成され得ることを容易に認識するであろう。画像操作アルゴリズム及びシステムは周知であるので、本願の説明は、特に、本発明のシステム及び方法の一部を形成する、又は、本発明のシステム及び方法により直接的に関るアルゴリズム及びシステムに関する。そのようなアルゴリズム及びシステムの他の面、それに関連する画像信号を生成若しくは処理するハードウェア及び／又はソフトウェアは、本願には具体的に示さない又は説明しないが、当該技術において周知であるシステム、アルゴリズム、構成要素、及び素子から選択され得る。以下において本発明に応じて説明するシステムが与えられるに、本発明の実施に有用である、特に具体的に示さない、提案しない、又は、説明しないソフトウェアは、従来技術であり、且つ、当業者には周知である。
【００１８】
更に、本願で用いるように、コンピュータプログラムは、コンピュータ可読記憶媒体に格納され得る。コンピュータ可読記憶媒体は、例えば、磁気ディスク（ハードドライブ又はフロッピー（登録商標）ディスク等）又は磁気テープといった磁気記憶媒体、光ディスク、光テープ、又は、機械可読バーコードといった光記憶媒体、ランダムアクセスメモリ（ＲＡＭ）又は読出し専用メモリ（ＲＯＭ）といった半導体電子記憶素子、又は、コンピュータプログラムを格納するために用いられる任意の他の物理装置又は媒体を含む。
【００１９】
図１を参照するに、本発明を実施するためのコンピュータシステム１１０を示す。コンピュータシステム１１０は、１つの好適な実施例を説明するために示すが、本発明は図示するコンピュータシステム１１０に制限されるものではなく、家庭用コンピュータ、キオスク、小売又は卸の写真仕上げといった任意の電子処理システム、又は、デジタル画像を処理する任意の他のシステムで用いられることが可能である。コンピュータシステム１１０は、ソフトウェアプログラムを受信し且つ処理し、また、他の処理機能を行うマイクロプロセッサに基づくユニット１１２を含む。ディスプレイ１１４は、マイクロプロセッサに基づくユニット１１２に電気接続し、例えば、グラフィカルユーザインタフェースによって、ソフトウェアに関連付けられるユーザ関連情報を表示する。キーボード１１６もマイクロプロセッサに基づくユニット１１２に接続し、ユーザがソフトウェアに情報を入力することを可能にする。入力にキーボード１１６を用いる代わりに、当該技術において周知であるように、マウス１１８を用いて、ディスプレイ１１４上のセレクタ１２０を動かし、且つ、セレクタ１２０が重なるアイテムを選択することも可能である。
【００２０】
一般的に、ソフトウェアプログラムを含むコンパクトディスク−読出し専用メモリ（ＣＤ−ＲＯＭ）１２４は、マイクロプロセッサに基づくユニットに挿入されて、マイクロプロセッサに基づくユニット１１２にソフトウェアプログラム及び他の情報を入力する手段を与える。更に、フロッピー（登録商標）ディスク１２６もソフトウェアプログラムを含み得、これも、ソフトウェアプログラムを入力するためにマイクロプロセッサに基づくユニット１１２に挿入される。コンパクトディスク−読出し専用メモリ（ＣＤ−ＲＯＭ）１２４又はフロッピー（登録商標）ディスク１２６は、或いは、マイクロプロセッサに基づくユニット１１２に接続される外部ディスクドライブユニット１２２に挿入されることも可能である。更に、マイクロプロセッサに基づくユニット１１２は、当該技術において周知であるように、ソフトウェアプログラムを内部に格納するようプログラムされることも可能である。マイクロプロセッサに基づくユニット１１２は更に、ローカルエリアネットワーク又はインターネットといった外部ネットワークに接続する電話線といったネットワーク接続１２７も有し得る。プリンタ１２８も、コンピュータシステム１１０から出力のハードコピーを印刷するようマイクロプロセッサに基づくユニット１１２に接続し得る。
【００２１】
画像は、以前は、ＰＣＭＣＩＡカード（パーソナル・コンピュータ・メモリ・カード・インタナショナル・アソシエーションの規格に基づく）と知られ、内部に電子的に具現化されるデジタル画像を含むパーソナルコンピュータカード（ＰＣカード）１３０を介してディスプレイ１１４上に表示され得る。ＰＣカード１３０は、最終的には、マイクロプロセッサに基づくユニット１１２に挿入され、ディスプレイ１１４上に画像を表示することを可能にする。或いは、ＰＣカード１３０は、外部に設置され、且つ、マイクロプロセッサに基づくユニット１１２に接続するＰＣカード読出し器１３２に挿入されることも可能である。画像は、コンパクトディスク１２４、フロッピー（登録商標）ディスク１２６、又はネットワーク接続１２７を介しても入力され得る。ＰＣカード１３０、フロッピー（登録商標）ディスク１２６、又はコンパクトディスク１２４に格納される、又は、ネットワーク接続１２７を介して入力される任意の画像は、デジタルカメラ１３４又はスキャナ（図示せず）といった様々なソースから得ることができる。画像は、マイクロプロセッサに基づくユニット１１２に接続するカメラドッキングポート１３６を介して、又は、マイクロプロセッサに基づくユニット１１２へのケーブル接続１３８を介して直接的に、又は、マイクロプロセッサに基づくユニット１１２へのワイヤレス接続１４０を介して、デジタルカメラ１３４から入力されルことも可能である。
【００２２】
図２を参照するに、本発明の方法の概要を説明する。ｐ＝（ｘ，ｙ，１）、ｐ’＝（ｘ’，ｙ’，１）、及びｐ’’＝（ｘ’’，ｙ’’，１）が、３つの画像フレームΨ２２０、Ψ’２３０、Ψ’’２４０における同一の空間点の透視投影（同次座標）を示すとする。トリフォーカルテンソルΤ２１０と、最初の２つのフレームにおける点ｐ２５０及び点ｐ’２６０とが与えられるに、フレームΨ’’２４０における対応点ｐ’’は、以下に示すように、トリフォーカルトランスファにより予測することができる。
【００２３】
点ｐ’及びｐ’’をそれぞれ通るフレームΨ’及びフレームΨ’’における２つの水平線及び垂直線を選択することにより、トリリニアリティの幾何学的制約は、４つの独立したトリリニア方程式３００に拡張することができる。
【００２４】
【数１】
2004151106.tif 000003
反変（上付き添字）及び共変（下付き添字）の位置において繰り返される指標は、指標の範囲全体の和を示す（縮約）。例えば、Τｉ１１ｐｉ＝Τ１１１ｘ＋Τ２１１ｙ＋Τ３１１である。
【００２５】
ベクトルｒ＝［ｘ，ｙ］Τ、ｓ＝［ｘ’，ｙ’］Τ、及び、ｕ＝［ｘ’’，ｙ’’］Τは、３つのフレームにおける点を示し、ｔ＝［Τ１１１，・・・，Τｉｊｋ，・・・，Τ３３３］Τは、トリフォーカルテンソルのベクトル表現を示すとする。トリリニア方程式は、ｆ（ｕ，ｚ）＝０（ただし、ｆは、４つのトリリニア関数のベクトルであり、ｚ＝［ｒＴ，ｓＴ，ｔＴ］Ｔは、点の対応とトリフォーカルテンソルのベクトルである。ｕとｚとの関係は、実際には、線形系Ａｕ＝ｂとして書き表すことができ、ただし、
【００２６】
【数２】
2004151106.tif 000004
である。２つの変数（ｘ’’，ｙ’’）について４つの方程式３００があり、過剰決定体系に対する解は、
ｕ＝（ＡＴＡ）−１ＡＴｂ
である。
【００２７】
エンジニアリングの適用においても、トリフォーカルトランスファの解に加えて、ロバスト性及び誤り感度の問題は、大きい関心事である。点ｐ’’２７０に関連付けられる点の不確定性は、点ｐ２５０、点ｐ’２６０に関連付けられる不確定性とトリフォーカルテンソル２１０から予測することができる。図２において、点の不確定性は、不確定性の大きさと向きを示す２Ｄの楕円として示す。次に、図３及び図４に、トリフォーカルトランスファの不確定性を決定するための２つのアプローチの詳細を示す。
【００２８】
図３は、トリフォーカルトランスファの一次摂動と共分散の伝搬の閉形式の分析の概略を説明する。結果は、小さい摂動に対し有効であり、また、点の対応及びトリフォーカルテンソルにおける雑音の影響を受ける（ｘ’’，ｙ’’）への摂動の見当を与える。トリリニア方程式（３００）ｆ（ｕ，ｚ）＝０から始め、変数ｒ、ｓ、ｔ、及びｕに対するｆの偏導関数を取る。偏導関数の明白な表現を以下に示し、これは、既知のエンティティから計算することができる。
【００２９】
フレームΨ３２２における点ｐに対するｆの偏導関数は、
【００３０】
【数３】
2004151106.tif 000005
である。フレームΨ’３２４における点ｐ’に対するｆの偏導関数は、
【００３１】
【数４】
2004151106.tif 000006
である。フレームΨ’’３２８における点ｐ’’に対するｆの偏導関数は、
【００３２】
【数５】
2004151106.tif 000007
である。そして、点のトリフォーカルテンソル３２６に対するｆの偏導関数は、
【００３３】
【数６】
2004151106.tif 000008
である。
【００３４】
一方、図３において、入力共分散３３０は、不確定性の測度として点の対応及びトリフォーカルテンソルに対し得られる。一般的に、入力ベクトルΓｚの共分散は、３１×３１の行列（（ｘ，ｙ）に対し２、（ｘ’，ｙ’）に対し２、そして、Ｔに対し２７）である。点の対応とトリフォーカルテンソルとの相互相関を無視すると、Γｚは、ブロック対角行列Γｚ＝ｄｉａｇ｛Γｒ，Γｓ，Γｔ｝として書き表すことができる。最初の２つのフレームにおける点の共分散Γｒ３３２、及びΓｓ３３４は、ヘッセ（Ｈｅｓｓｉａｎ）行列の逆行列として画像強度（未知の倍数を有する）から直接推定することができる。より具体的には、第１の画像３３２における共分散は、
【００３５】
【数７】
2004151106.tif 000009
であり、ただし、ｋは、倍率であり、行列要素は、ｘ及びｙ軸に沿っての強度の２次偏導関数Ｉ（ｘ，ｙ）である。ヘッセ行列は、特徴点の周りの強度面の曲率を示す。共分散Γｓ３３４は、第２のフレームにおいて同様に推定することができる。
【００３６】
トリフォーカルトランスファ３３６の共分散は、カメラパラメータの関数である。３つのカメラの射影行列は、
Ｐ１＝［Ｉ｜０］３×４、Ｐ２＝［Ａ｜ａ４］３×４，Ｐ３＝［Ｂ｜ｂ４］３×４
であるとする。トリフォーカルテンソルのベクトルｔと、全ての別個のカメラパラメータのベクトルＣとに線形関係ｔ＝ＤＣがある場合（ただし、
【００３７】
【数８】
2004151106.tif 000010
）、共分散Γｔ３３６は、線形行列演算Γｔ＝ＤΓｃＤΤによってカメラパラメータΓｃの共分散から計算することができる。実際には、自由なカメラの動作に対し関係は非線形であり、Γｔの可用性が問題である。
【００３８】
全ての偏導関数及び入力共分散は、共分散伝搬モジュール３４０に供給される。このモジュールでは、入力の一次の不確定性が出力に伝搬され、出力Δｕへの入力摂動Δｚの影響を見つける。
【００３９】
【数９】
2004151106.tif 000011
従って、（ｘ’’，ｙ’’）の一次の共分散３５０は、
Γｕ＝Ｅ｛ΔｕΔｕΤ｝＝ＱΓｚＱΤ
となる。点の対応とトリフォーカルテンソルの相互相関を無視すると、以下のように更に単純化される。
【００４０】
【数１０】
2004151106.tif 000012
ただし、
【００４１】
【数１１】
2004151106.tif 000013
は、偏導関数である。（ｘ’’，ｙ’’）の不確定性は、（ｘ，ｙ）、（ｘ’，ｙ’）の不確定性及びΤの関数であることが明らかである。実際には、観察／推定が、計算目的のグランドトルースの代わりに用いられる。
【００４２】
出力共分散から、特定のカメラ構成における１つの点に対する定量的誤り測度
【００４３】
【数１２】
2004151106.tif 000014
３６０、又は、対象物全体に対する定量的誤り測度
【００４４】
【数１３】
2004151106.tif 000015
３７０を導き出すことができる。点の共分散３６０は、どの点が入力摂動により敏感であり、潜在的な改善につながる可能性があるのかを示す。様々なカメラ及びシーン構成における対象物の不確定性３７０を比較することにより、フレームΨ’’において最小のトランスファ不確定性を達成するのに最適な構成はどれであるのかを特定することができる。
【００４５】
図４を参照するに、所与の雑音レベルにおけるトリフォーカルトランスファの、クラメール−ラオパフォーマンス限界として知られる最善に達成可能なパフォーマンス限界を見つけるための別のアプローチを示す。入力雑音の量を仮定すると、予測される限界より良好なパフォーマンスを期待することはできない。このタスクは、統計的な最適化の一般理論を、トリフォーカルトランスファの特定のタスクに合わせることにより行うことが可能である。
【００４６】
（ｘ’’，ｙ’’）を、モデルωｉ＝ｆ（ｚｉ；ｕ）＋εｉ４００に繰り返される統計的試験から利用可能となるデータコレクション（ｚ１，ｚ２，…，ｚＮ）から推定されるパラメータとする。ただし、ｉは１，…，Ｎであり、εは、
【００４７】
【数１４】
2004151106.tif 000016
の確率密度でガウス分布（０，σ２）からサンプリングされたものとする。
スコア４２０は、定義により
【００４８】
【数１５】
2004151106.tif 000017
であり、これは、フィッシャー（Ｆｉｓｈｅｒ）情報行列４３０
【００４９】
【数１６】
2004151106.tif 000018
に導く。クラメール−ラオパフォーマンス限界４４０は、
【００５０】
【数１７】
2004151106.tif 000019
の形式を有する。任意の偏りのない推定器の出力共分散３５０は、フィッシャー情報行列の逆行列よりも小さくなることはできない。
【００５１】
更に、閉じた形式におけるｘ及びｙ成分４５０の分散は、
【００５２】
【数１８】
2004151106.tif 000020
として導き出すことができる。
【００５３】
図３における共分散の伝播と、図４におけるパフォーマンス下限の組合せは、良好な結果を与える。
【００５４】
関連する雑音の多い及び雑音のない変数の数に依存して、実際には幾つかの雑音の多い構成がある。様々な構成は、ベクトルｚの構成のみを変え、分析は同じままである。
【００５５】
図３及び図４において、トリフォーカルトランスファの誤り分析のための２つの方法を示したが、導き出した誤り感度測度をどのように用いるのかを示す以下の特定の実施例を参照する。
【００５６】
図５は、誤り分析結果を用いて、トリフォーカルトランスファの全体の不確定性が最小限となるようカメラを配置する方法を説明する。立方体［−１，１］３である対象物５００の３つの画像（２２０、２３０、及び２４０）が、透視投影で幾つかのカメラによって撮影される。３つのカメラは、同一の固有パラメータを有するとする。ワールド座標系の中心は、カメラＣ１  ５２０の光学的中心に選択される。カメラＣ３  ５４０の光学的中心は、Ｘ軸上に合わされ、このことは、必要である場合は、座標系を回転することにより行うことができる。Ｃ１の中心からＣ３の中心への距離と、Ｃ１の中心から立方体５００への距離はそれぞれ、Ｒとｄである。もう１つのカメラＣ２  ５３０は、フレームΨ２２０（カメラＣ１により撮られる）における点ｐから、フレームΨ’２４０（カメラＣ３により撮られる）における点ｐ’’へのトリフォーカルトランスファのために取り入れられる。点の対応とカメラＣ２及びＣ３の場所が、雑音の影響を受ける場合、フレームΨ’’中にトランスファされる点が最小の不確定性を有するようカメラＣ２を置く場所が問題となる。以下の結果は、図６にＶＲＭＬで示す、１４１のノードを有する３Ｄ飛行機モデル５５０で試験したものである。
【００５７】
並進運動しかなく、且つ、カメラＣ２が、ＹＺ面において、半径ｒを有する円５１５上に置かれる場合、カメラＣ２及びＣ３のパラメータベクトル
【００５８】
【数１９】
2004151106.tif 000021
は、平均値Ｃ＝［０，−γｃｏｓθ，−γｓｉｎθ，−Ｒ，０，０］と共分散
【００５９】
【数２０】
2004151106.tif 000022
とを有し、即ち、Ｃ２及びＣ３の中心は、同一の及び独立したガウス雑音
【００６０】
【数２１】
2004151106.tif 000023
の影響を受ける。ｐ及びｐ’も、
【００６１】
【数２２】
2004151106.tif 000024
の共分散を有するガウス雑音により崩壊すると、点ｐ’’の共分散は、線形行列計算により予測することができる。パラメータＲ＝１、ｄ＝５Ｒ、ｒ＝Ｒ、及びσγ＝σε＝σｃ＝０．００５Ｒの選択により、全体のトランスファ不確定性
【００６２】
【数２３】
2004151106.tif 000025
（−７０°＜θ＜７５°）は、評価されて、図７のようなグラフにされる。最小の不確定性は、Ｃ２の中心を（０，ｒ，０）の付近に置くことにより、θｍｉｎ＝６°において到達する。図８に示すように、トリフォーカルトランスファの不確定性は、ｒが増加するにつれ下がる（θ＝π／４）。フレームΨ及びΨ’において同じ対応の精度が与えられると、Ｃ１とＣ２の間の基線が大きいほど、フレームΨ’’におけるトリフォーカルトランスファの不確定性が小さくなる。従って、カメラＣ２の場所に関する問題は、最適な場所はシーンの構造及びカメラ構成で変わるが、誤り分析結果を用いて定量的に答えることができる。
【００６３】
カメラが常に立方体の中心（０，０，−ｄ）に向くよう、並進運動及び回転運動の両方を受ける場合、カメラの射影行列は、
【００６４】
【数２４】
2004151106.tif 000026
となる。ただし、ｔａｎα＝ｙ／ｄ、ｔａｎβ＝ｘ／ｄである。カメラＣ３は、（Ｒ，０，０）に再び置かれ、Ｃ２は、図５中のＸＹ面における円５１５上に置かれる。
【００６５】
【数２５】
2004151106.tif 000027
のパラメータを用いて、トリフォーカルトランスファの不確定性の曲線を、図９に示す。ここでは、最小の不確定性は、Ｃ２を、Ｙ軸上の（０，ｒ，０）に置くことにより、θ＝０のときに到達する。３Ｄ飛行機モデルの３つの透視投影と、１２の選択されたノードに関連付けられる雑音を図１０に示すが、ここでは、カメラＣ２は、θ＝π／３及びｒ＝Ｒに置かれる。トリフォーカルテンソルと、図１０（ａ）及び１０（ｂ）におけるメッシュノードの対応が与えられるに、図１０（ｃ）における飛行機の２Ｄメッシュモデルは、トリフォーカルトランスファにより予測することができる。誤り分析結果を用いて更に、図１０（ａ）及び１０（ｂ）における点の対応の共分散から、図１０（ｃ）におけるメッシュノードの不確定性を予測することができる。図１０（ｃ）における誤り分布（楕円）の形状及び向きは、カメラＣ２が円上で動くのに従い、θで変化する。
【００６６】
図１１において、実際の画像に対するトリフォーカルトランスファ及び関連付けられる誤り不確定性を説明する。静的シーンの３つの画像（２２０、２３０、及び、２４０）は、動くカメラにより撮影され、トリフォーカルテンソルは、ランダムサンプリングスキーム（ＲＡＮＳＡＣ）により回復する。図１１（ｃ）におけるｐ’’の位置及び関連付けられる誤りは、トリフォーカルトランスファ及び誤り分析により、図１１（ａ）及び図１１（ｂ）におけるその位置及び関連付けられる誤りから予測することができる。図１１では、図１１（ａ）において１５の特徴点が検出され、図１１（ｂ）まで追跡される。そして、フレームΨ’’における対応点及び不確定性は、図１１（ｃ）に示す。これは、トリフォーカルトランスファの誤り分布（大きさと向きの両方）の視覚化ツールを提供する。
【００６７】
まとめると、トリフォーカルトランスファは、トリニアリティの幾何学的な制約に基づいて、透視投影された固定シーンの３つの画像にわたる点／線の対応を見つけ、そして、画像に基づくレンダリング、バーチャルナビゲーション、動き推定及び補償といった用途に有用である。本発明は、トリフォーカルトランスファに関連付けられる誤り感度を決定する、即ち、最初の２つの画像フレームにおける点の対応の不確定性とトリフォーカルテンソルが、どのように第３の画像フレームにおける対応点に影響を与えるのかを決定する方法を開示し、誤り分析結果を、カメラプラニング、システムパフォーマンス評価、及び実際の画像におけるトリフォーカルトランスファに用いる。閉形式の分析を、１次共分散伝播及びクラメール−ラオパフォーマンス限界に対し示す。定量分析は、エンジニアリング適用におけるシステムのパフォーマンスのよりよい理解に導くことができる。
【図面の簡単な説明】
【００６８】
【図１】本発明を実施するコンピュータシステムを示す斜視図である。
【図２】フレームΨ’’における点ｐ’’及びその不確定性が、トリフォーカルテンソルＴとフレームΨ及びΨ’における点対応ｐ及びｐ’から予測可能であることを示す図である。
【図３】トリフォーカルトランスファの共分散伝播のための方法の概要を説明する図である。
【図４】トリフォーカルトランスファのクラメール−リオパフォーマンス限界のための方法を説明する図である。
【図５】トリフォーカルトランスファの最小の不確定性のためのカメラプラニングを示す図である。
【図６】ＶＲＭＬにおける３Ｄ飛行機モデルを示す図である。
【図７】トリフォーカルトランスファの不確定性を、ＹＺ面における角度θの関数として示すグラフである。
【図８】トリフォーカルトランスファの不確定性を、カメラＣ１とカメラＣ２との間の基線の関数として示すグラフである。
【図９】トリフォーカルトランスファの不確定性を、ＸＹ面における角度θの関数として示すグラフである。
【図１０】３Ｄ飛行機モデルの投影を示す図であって、（ａ）及び（ｂ）における最初の２つのフレームにおける１２の選択ノードの関連付けられる不確定性から予測可能である第３のフレーム（ｃ）における１２の選択ノードの関連付けられる不確定性を示す図である。
【図１１】（ａ）、（ｂ）、及び（ｃ）は、実際の画像におけるトリフォーカルトランスファ及び関連付けられる不確定性を示す図である。
【符号の説明】
【００６９】
１１０  コンピュータシステム
１１２  マイクロプロセッサに基づくユニット
１１４  ディスプレイ
１１６  キーボード
１１８  マウス
１２０  ディスプレイ上のセレクタ
１２２  ディスクドライブユニット
１２４  コンパクトディスク−読出し専用メモリ（ＣＤ−ＲＯＭ）
１２６  フロッピー（登録商標）ディスク
１２７  ネットワーク接続
１２８  プリンタ
１３０  パーソナルコンピュータカード（ＰＣカード）
１３２  ＰＣカード読出し器
１３４  デジタルカメラ
１３６  カメラドッキングポート
１３８  ケーブル接続
１４０  ワイヤレス接続
２１０  トリフォーカルテンソル
２２０  第１のフレームΨ
２３０  第２のフレームΨ’
２４０  第３のフレームΨ’’
２５０  第１のフレームにおける点ｐとその不確定性
２６０  第２のフレームにおける点ｐ’とその不確定性
２７０  第３のフレームにおける点ｐ’’とその不確定性
３００  トリリニア方程式
３１０  トリリニア方程式用の偏導関数
３２２  点ｐに対する偏導関数
３２４  点ｐ’に対する偏導関数
３２６  トリフォーカルテンソルに対する偏導関数
３２８  点ｐ’’に対する偏導関数
３３０  入力共分散
３３２  点ｐの共分散
３３４  点ｐ’の共分散
３３６  トリフォーカルテンソルの共分散
３４０  共分散伝播
３５０  点ｐ’’の出力共分散
３６０  １つの点に対する不確定性測度
３７０  シーン対象物に対する不確定性測度
４００  データモデル
４１０  ガウス分布
４２０  スコア
４３０  フィッシャー情報行列
４４０  クラメール−ラオパフォーマンス限界
４５０  ｘ’’及びｙ’’のパフォーマンス限界
５００  撮像下のシーン対象物
５１０  カメラＣ２が置かれるＸＹ面における半径ｒを有する円
５１５  カメラＣ２が置かれるＹＺ面における半径ｒを有する円
５２０  カメラＣ１
５３０  カメラＣ２
５４０  カメラＣ３
５５０  ＶＲＭＬでの３Ｄ飛行機モデル
【図１】
2004151106.tif 000028
【図２】
2004151106.tif 000029
【図３】
2004151106.tif 000030
【図４】
2004151106.tif 000031
【図５】
2004151106.tif 000032
【図６】
2004151106.tif 000033
【図７】
2004151106.tif 000034
【図８】
2004151106.tif 000035
【図９】
2004151106.tif 000036
【図１０】
2004151106.tif 000037
【図１１】
2004151106.tif 000038