(57)【要約】【課題】画像処理や画像認識において多く現れる２次元／３次元の幾何学変換のパラメータ推定において、問題毎、モデル毎に特別なパラメータ化を行うことなく、単に代数的な拘束条件の式を書き下すことにより、様々な変換のパラメータを最適に計算することができる計算手法を提案することを目的とする。【解決手段】拡張ＦＮＳ法を用いれば、モデル毎にパラメータ化を行わず、単に代数的な拘束条件の式を書き下せば、様々な幾何学変換のパラメータを最適に計算できる。また、拡張ＦＮＳ法は２台のカメラで撮影した画像がエピ複線方程式と呼ばれるスカラ方程式をその行列式が０であるという内部拘束を自動的に満たして最適な解を計算するものであり、２次元／３次元幾何学変換におけるベクトル方程式と複数の拘束条件に適用することで、計算される解は精度の理論限界を達成することができる。【選択図】図１
2013246779.tif 000002
【特許請求の範囲】
【請求項１】
画像処理における２次元または３次元の幾何学変換を統一的に最適計算する方法であって、
射影変換に課する拘束条件を自動的に充足する拡張ＦＮＳ法を用いる
ことを特徴とする２次元または３次元幾何学変換の統一的な最適計算方法。
【請求項２】
請求項１に記載の２次元または３次元幾何学変換の統一的な最適計算方法をコンピュータに実行させるプログラム。
【請求項３】
請求項１に記載の２次元または３次元幾何学変換の統一的な最適計算方法を用いた画像処理または画像認識におけるパラメータ推定方法。
【請求項４】
請求項１に記載の２次元または３次元幾何学変換の統一的な最適計算方法を用いた映像処理における動きパラメータ推定方法。
【請求項５】
請求項１に記載の２次元または３次元幾何学変換の統一的な最適計算方法を用いたバーチャルスタジオまたはＡＲシステムにおけるカメラパラメータ推定方法。
【請求項６】
請求項１に記載の２次元または３次元幾何学変換の統一的な最適計算方法を用いた色補正処理における色補正パラメータ推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２次元または３次元幾何学変換の統一的な最適計算方法に関し、特にそのベクトル方程式と複数の拘束条件に適用した計算方法に関する。
【背景技術】
【０００２】
２次元あるいは３次元の幾何学変換のパラメータを計算するために従来よく用いられてきた方法は最小二乗法である。また、パラメータ推定は連立方程式として書き下され、行列の固有値問題に帰着する。計算アルゴリズムとしては、行列の固有値分解あるいは特異値分解によってなされる。
【０００３】
下記特許文献１に開示されている「画像合成装置」では、複数の画像を合成してパノラマ画像を生成するために、複数の画像間の幾何学的な変形を２次元アフィン変換であるとして、その変換パラメータを最小二乗法により計算している。
【０００４】
また、下記特許文献２（米国特許「ＧＥＯＭＥＴＲＩＣ ＲＥＧＩＳＴＲＡＴＩＯＮ ＯＦ ＩＭＡＧＥＳ ＢＹ ＳＩＭＩＬＡＲＩＴＹ ＴＲＡＮＳＦＯＲＭＡＴＩＯＮ ＵＳＩＮＧ ＴＷＯ ＲＥＦＥＲＥＮＣＥ ＰＯＩＮＴＳ」）では、２枚の画像を張り合わせるために２次元相似変換を用いており、その回転と並進とスケール変化を計算するために２点の参照点を用いることが開示されている。
【０００５】
また、下記特許文献３「画像処理装置」でも、複数の画像の合成のために２次元の相似変換パラメータを最小二乗法により計算することが開示されている。画像中の特徴的な点の対応から画像間の幾何学的な変換を計算する場合、たとえ、正しい特徴点の対応付けがなされていても、特徴点の画像座標には抽出手法に関わらず、不確定さ、いわゆる観測誤差が生じる。
【０００６】
観測誤差を克服するためにより多くの特徴点により最小二乗法を用いる対応がとられる。しかし、最小二乗法はすべての観測誤差が方向性を持たない等方性であり、かつすべて一様であることを仮定している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１０−１２６６６５号公報
【特許文献２】米国特許８０７８００４号公報
【特許文献３】特開２００７−０４１７５２号公報
【非特許文献】
【０００８】
【非特許文献１】金谷健一、菅谷保之、「制約付きパラメータ推定のための拡張ＦＮＳ法」情報処理学会研究報告，２００７-ＣＶＩＭ-１５８-４，（２００７-３），鹿児島市（鹿児島大）、２５-３２。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし現実には、観測に用いるセンサによっては、上述したような誤差特性を持たない場合も珍しくない。例えば、２台のカメラによるステレオ視により３次元復元を行った場合、その復元誤差は奥行き方向に大きくなり、誤差の分布としては不均一となる。
【００１０】
また、十分な数の特徴点が得られず、少数の限られた特徴点のみから変換パラメータを推定しなければならない場合には、できるだけ高精度な推定方法を用いなければならない。
【００１１】
データに誤差が含まれている場合には、どのような推定方法を用いても推定した解の共分散行列はある値より小さくならない。すなわち、推定の精度には超えることができない理論的な限界が存在する。
【００１２】
すなわち、最小二乗法は簡易な計算法ではあるが、得られる解の精度が低い。これは、データに含まれる誤差の分布を十分考慮していないためである。データの誤差を克服するために、反復最適化の方法としてガウス・ニュートン法等が用いられるが、推定する問題毎に、モデル毎にパラメータ化を行わなければならず、特に、３次元回転の表し方が様々であり、非線形の複雑な式となる。よい初期値から反復を開始しなければ、誤差が大きくなるにつれて局所解に陥りやすい。
【００１３】
本発明は上述の問題点に鑑み為されたものであって、画像処理や画像認識において多く現れる２次元／３次元の幾何学変換のパラメータ推定において、問題毎、モデル毎に特別なパラメータ化を行うことなく、単に代数的な拘束条件の式を書き下すことにより、様々な変換のパラメータを最適に計算することができる計算手法を提案することを目的とする。
【００１４】
また、本発明は、２次元／３次元データが並進しているのか、回転しているのか、スケール変化しているのか、それらが組み合わさっているのか、どのような幾何学変換であっても、特別な式変形によるパラメータ化をモデル毎に行わずに、すべて同じ計算方法を用いることができる計算手法を提案することを目的とする。
【００１５】
また、本発明は、複数の拘束条件にも対応しているので、相当に応用範囲が広く、２次元／３次元の幾何学変換以外のパラメータ計算にも適用可能な計算手法を提案することを目的とする。
【課題を解決するための手段】
【００１６】
本発明の２次元または３次元幾何学変換の統一的な最適計算方法は、画像処理における２次元または３次元の幾何学変換を統一的に最適計算する方法であって、射影変換に課する拘束条件を自動的に充足する拡張ＦＮＳ法を用いることを特徴とする。
【００１７】
また、本発明のプログラムは、上述の２次元または３次元幾何学変換の統一的な最適計算方法をコンピュータに実行させるプログラムである。
【００１８】
また、本発明の画像処理または画像認識におけるパラメータ推定方法は、上述の２次元または３次元幾何学変換の統一的な最適計算方法を用いる。
【００１９】
また、本発明の映像処理における動きパラメータ推定方法は、上述の２次元または３次元幾何学変換の統一的な最適計算方法を用いる。
【００２０】
また、本発明のバーチャルスタジオまたはＡＲシステムにおけるカメラパラメータ推定方法は、上述の２次元または３次元幾何学変換の統一的な最適計算方法を用いる。
【００２１】
また、本発明の色補正処理における色補正パラメータ推定方法は、上述の２次元または３次元幾何学変換の統一的な最適計算方法を用いる。
【００２２】
また、従来の反復最適化のパラメータ計算法であるガウス・ニュートン法等は、推定するモデル毎に特別なパラメータ化を行わなければならず、複雑な非線形の式になる等、適用するのが煩雑になる傾向があったが、本発明による拡張ＦＮＳ法を用いれば、モデル毎にパラメータ化を行わず、単に代数的な拘束条件の式を書き下せば、様々な幾何学変換のパラメータを最適に計算できる。また、拡張ＦＮＳ法は画像からの３次元復元に用いられる基礎行列の最適計算に提案されたものであるが、２台のカメラで撮影した画像がエピ複線方程式と呼ばれるスカラ方程式をその行列式が０であるという内部拘束を自動的に満たして最適な解を計算するものである。本発明は、これを、２次元／３次元幾何学変換におけるベクトル方程式と複数の拘束条件に適用するものであり、計算される解は精度の理論限界を達成することができる。
【００２３】
具体的には、２次元／３次元幾何学変換モデルを線形化により表し、マハラノビス距離の二乗和を最小にする最尤推定、幾何学変換の内部拘束を代数的な式により表し、反復によりその内部拘束を自動的に満たす計算方法を提案する。さらに、得られた解の信頼性を表す理論的な限界による評価とする。
【００２４】
また、本発明においては、画像処理や画像認識において多く現れるパラメータ推定は、２次元や３次元の幾何学変換によって記述される。２次元や３次元の幾何学変換は、射影変換を最も複雑で自由度（未知パラメータ数）の高い一般モデルとして、それに制約を課すことにより、より自由度の低いアフィン変換、相似変換、剛体変換、回転変換等等が得られる。そのような拘束条件を自動的に満たす最適計算法である「拡張ＦＮＳ法」を用いる。拡張ＦＮＳ法は画像からの３次元復元に用いられる基礎行列の最適計算に提案されたものである。基礎行列は２台のカメラによる画像がエピ複線方程式を満たすことから得られるスカラ方程式をその行列式が０であるという内部拘束を自動的に満たした最適解を計算する。本発明においては、これを、２次元／３次元幾何学変換におけるベクトル方程式と複数の拘束条件に適用するものである。
【発明の効果】
【００２５】
画像処理や画像認識において多く現れる２次元／３次元の幾何学変換のパラメータ推定において、問題毎、モデル毎に特別なパラメータ化を行うことなく、単に代数的な拘束条件の式を書き下せば、様々な変換のパラメータを最適に計算することができる。
【００２６】
また、２次元／３次元データが並進しているのか、回転しているのか、スケール変化しているのか、それらが組み合わさっているのか、どのような幾何学変換であっても、特別な式変形によるパラメータ化をモデル毎に行わずに、すべて同じ計算方法を用いることができる。
【００２７】
また、複数の拘束条件にも対応しているので、相当に応用範囲が広く、２次元／３次元の幾何学変換以外のパラメータ計算にも適用可能である。
【図面の簡単な説明】
【００２８】
【図１】２次元／３次元幾何学変換の階層性について、その一例を説明する図である。
【図２】カラーチャートによる色校正と色補正処理について説明するブロック図である。
【図３】２次元幾何学変換における（ａ）回転と（ｂ）剛体と（ｃ）相似と（ｄ）アフィンと（ｅ）射影とについて各変換イメージを比較説明する図である。
【図４】３次元幾何学変換における（ａ）回転と（ｂ）剛体と（ｃ）相似と（ｄ）アフィンと（ｅ）射影とについての各変換を説明する図である。
【図５】ステレオ画像に加えた標準偏差σの誤差に対する拡張ＦＮＳ法、ＬＭ法、および最小二乗法による３次元相似変換行列のＲＭＳ誤差ＥをＫＣＲ下界とともにプロットしたものである。
【図６】σ＝１の場合の代表的な例に対して、拡張ＦＮＳ法による当てはめ残差Ｊと拘束条件の収束の様子を反復回数に対してプロットしたものである。
【図７】σを横軸に取って拡張ＦＮＳ法、ＬＭ法、最小二乗法によるパラメータ毎のＲＭＳ誤差ＥＲ，Ｅｔ，ＥＳをプロットしたものである。
【図８】拡張ＦＮＳ法の反復過程における当てはめ残差Ｊ（紙面左側）と拘束条件Φｍ（ｕ）（紙面右側）の変化を説明する図である。
【発明を実施するための形態】
【００２９】
本発明は、２次元や３次元の幾何学的な変換において、データに含まれる観測誤差の特性を共分散行列により表し、マハラノビス距離の二乗和を最小にする解を計算し、その推定精度を理論的な限界まで高めることを可能とする計算方法に関する。
【００３０】
２次元あるいは３次元の幾何学変換は、射影変換を最も自由度の高い一般モデルとして、それに拘束条件を課すことにより、より低い自由度のアフィン変換、相似変換、剛体変換、回転変換等が得られるが、これまで用いられてきた計算方法は、いずれも射影変換は射影変換の計算方法、相似変換は相似変換の計算方法等、それぞれの変換におけるそれぞれの計算方法が用いられてきた。これは、特に、３次元回転の表し方に様々な方法があるため、その表現方法により変換のパラメータ表現が異なることによる。
【００３１】
本発明によれば、幾何学変換の階層性に着目して、単に代数的な拘束条件を書き下すことにより、射影変換からアフィン変換、相似変換、剛体変換、回転変換等等、あるいは、並進、回転、スケール変化の組合せによるすべての幾何学変換を統―的に計算することができる。図１は、２次元／３次元幾何学変換の階層性について、その一例を説明する図である。
【００３２】
画像処理や画像認識において多く現れるパラメータ推定は、２次元や３次元の幾何学変換によって記述される。２次元や３次元の幾何学変換は、射影変換を最も複雑で自由度（未知パラメータ数）の高い一般モデルとして、それに制約を課すことにより、より自由度の低いアフィン変換、相似変換、剛体変換、回転変換等等が得られる。そのような拘束条件を自動的に満たす最適計算法である「拡張ＦＮＳ法」を用いる。
【００３３】
拡張ＦＮＳ法は画像からの３次元復元に用いられる基礎行列の最適計算に提案されたものである。基礎行列は２台のカメラによる画像がエピ極線方程式を満たすことから得られるスカラ方程式をその行列式が０であるという内部拘束を自動的に満たした最適解を計算する。
【００３４】
本発明は、典型的にには幾何学変換のパラメータを最適に計算するためのアルゴリズムである。その具体的な計算方法は行列の固有値分解になるが、これを実装するのは、好ましくはソフトウェアプログラムである。ハードウェア（ＦＰＧＡ）実装も可能ではあるが、計算に用いられる行列の固有値分解を実現するのは、ソフトウェアプログラムがより適していると思われる。
【００３５】
画像処理や画像認識を行う場合には、ハードウェア（ＦＰＧＡ）にて画素を直接扱う処理を担当させて、その結果得られるデータをＣＰＵに渡してパラメータ計算をソフトウェアで行うのが好適である。しかし、数値計算の一部を「アクセラレータ」として受け持つ等のハイブリッドな構成も考えられる。アクセラレータとしては、ハードウェア（ＦＰＧＡ）、ＧＰＵ等の利用が考えられる。また、すべてＧＰＵ実装によるソフトウェア実現も可能である。
【００３６】
図２は、カラーチャートによる色校正と色補正処理について説明するブロック図である。３次元ＲＧＢ色空間における色補正パラメータの推定および色補正処理に適用した例の簡易なブロック図はひとつの例であり、色補正のみに本発明が限られるものではない。
【００３７】
図２おいて、色補正モデルとしては、ＲＧＢ毎に独立なゲイン、オフセットおよび３次元ＲＧＢ色空間における回転の組合せ（３次元相似変換）とする。したがって、自由度（未知パラメータ数）は、２×３＋３＝９自由度である。３次元アフィン変換の自由度は１２であり、内部制約式は３個になる。
【００３８】
（３次元相似変換による色補正について）
３次元アフィン変換は次式（１）で示される。
【数１】
2013246779.tif 000003
【００３９】
ただし、Ｚ［・］は、ベクトルの第４成分を１とする正規化作用素である。３次元アフィン変換行列（１）の要素を並べた１３次元ベクトルｕを用いると、上式（１）は次式（２）のように示すことができる。
【００４０】
【数２】
2013246779.tif 000004
ただし、
2013246779.tif 000005
であり、ベクトルａ，ｂの内積を（ａ，ｂ）で示すものとする。ｕにはスケールの不定性があるので、
2013246779.tif 000006
と正規化する。
【数３】
2013246779.tif 000007
【００４１】
３次元相似変換は、上式（１）の左上３×３行列が次式（４）のように示される。
【数４】
2013246779.tif 000008
【００４２】
従って、３次元アフィン変換が３次元相似変換になるための拘束条件は次の式（５）で示すことができ、内部拘束式は式（６）のように示される。
【数５】
2013246779.tif 000009
【数６】
2013246779.tif 000010
【００４３】
３次元アフィン変換の自由度１２（１３次元ベクトルｕを
2013246779.tif 000011
と正規化するので自由度が１だけ減る）が３個の内部拘束式により自由度９となり、これは３次元相似変換の自由度９と一致する。
【００４４】
（２次元／３次元幾何学変換の統一的な最適計算について）
コンピュータビジョンの問題に多く現れる２次元や３次元の幾何学変換を統一的に最適に計算する方法について以下に説明する。射影変換を一般モデルとして、それに制約を課すことにより、アフィン変換、相似変換、剛体変換、回転変換が得られるが、そのような拘束条件を自動的に満たす最適計算法である「拡張ＦＮＳ法」を用いる。また、ステレオ視による３次元復元データにおける３次元相似変換のシミュレーション実験を行い、データの誤差分布が不均一である場合でも、計算した解か推定精度の理論限界を達成することを実験的に示す。
【００４５】
１  はじめに
コンピュータビジョンに現れる問題の多くは、２次元や３次元の幾何学変換のパラメータ推定問題として定式化される。２次元／３次元の幾何学変換は、射影変換を一般モデルとして、パラメータに制約を課すことにより、その部分モデルであるアフィン変換、相似変換、剛体変換、回転変換が得られる。数学的には群（ｇｒｏｕｐ）と呼ばれるものであり、変換の集合をなす変換群（ｔｒａｎｓ ｆｏｒｍａｔｉｏｎ ｇｒｏｕｐ）と称する。ある群が他の群を包含しているとき、包含された群は包含した群の部分群（ｓｕｂｇｒｏｕｐ）であるとされる。それらの部分モデルは様々にパラメータ化することにより標準的にガウス・ニュートン法あるいは収束を強制するために勾配法を加味したレーベンバーグ・マーカート法を用いて推定されることが知られている。ガウス・ニュートン法はバンドル調整（再投影誤差最小化）とも呼ばれ、２次元／３次元幾何学変換のパラメータ推定だけではなく、カメラキャリブレーション、基礎行列の計算、３次元復元など、様々な問題における非線形最適化手法として標準的に用いられているが、そのパラメータ化については、特に３次元回転の表し方により様々であり、非線形の複雑な式となったり、適切な初期値から反復を開始しなければ、誤差が大きくなるにつれて局所解に陥りやすい。一方、公知文献（金谷氏）によれば統計的最適化の理論を構築し、幾何学的モデルを最適に計算する線形解法として、くりこみ法を提案し、楕円の当てはめや３次元復元などの様々な問題に適用している。これをきっかけとして、その後、ＨＥＩＶ法、ＦＮＳ法が提案されている。
【００４６】
パラメータ間に制約がある場合も、金谷氏はそのような内部拘束を考慮せずに解を求めた後、その解か内部拘束を満たすように誤差の統計的な性質を考慮した最適補正を提案している。さらに、内部拘束を自動的に満たすようにＦＮＳ法を拡張した拡張ＦＮＳ法も提案している。また、金谷氏・菅谷氏は拡張ＦＮＳ法による基礎行列の最適計算を示した。一方、松永らは３次元ＲＧＢ色空間における３次元アフィン変換によるレベル制約付き色補正パラメータの推定に拡張ＦＮＳ法を用いた。
【００４７】
本実施形態では、コンピュータビジョンに現れる２次元および３次元幾何学変換のパラメータを拡張ＦＮＳ法により、一般モデルである射影変換に制約を課すことから得られるアフィン変換、相似変換、剛体変換、回転変換の部分モデルを統一的に最適に計算する方法を定式化するとともに、得られた解か推定精度の理論限界を達成することを実験的に示す。
【００４８】
また、当てはめ残差や拘束条件の収束の挙動を観察し、最小二乗法、レーベンバーグ・マーカート法との比較も行う。２章で２次元／３次元幾何学変換についてまとめる。３章では、金谷氏の統計的最適化の理論に基づき、幾何学的当てはめ問題を定式化して、最尤推定、推定精度の評価と理論限界について述べる。４章で２次元／３次元幾何学変換の拡張ＦＮＳ法による統一的な最適計算手順を示し、５章でステレオ視による３次元復元データにおける３次元相似変換のシミュレーション実験を行い、６章でまとめることとする。
【００４９】
２  ２次元および３次元幾何学変換
２.１  回転変換
２次元平面上の点
2013246779.tif 000012
から２次元平面上の点
2013246779.tif 000013
への回転変換は回転行列Ｒを用いて次のように表される。
2013246779.tif 000014
ここで、Ｒは回転を表す２×２行列であり、回転角θとすると、次のように表される。
2013246779.tif 000015
３次元の回転にはいろいろな表現法がある。よく使われるのはオイラー角とロール・ピッチ・ヨー（各座標軸周りの回転角）である。一方、回転軸と回転角、四元数による表現もある。３×３行列である回転行列には９個の成分があるが、その自由度は３しかない。
【表１】
2013246779.tif 000016
例えば、単位ベクトル
2013246779.tif 000017
を回転軸として、その周りに正の回転方向に角度Ωだけ回転する３次元回転行列は次のように与えられる。
2013246779.tif 000018
Ｏｈｔａ氏らは３次元回転を四元数で表現することによりくりこみ法により最適に計算した。Ｎｉｉｔｓｕｍａ氏らはＦＮＳ法により最適に計算した。
【００５０】
２.２  剛体変換
回転に並進を加えたものを剛体変換あるいはユークリッド変換と称する。２次元平面上の点
2013246779.tif 000019
から２次元平面上の点
2013246779.tif 000020
への剛体変換は
2013246779.tif 000021
と表される。ここで、ｔは新たに加えた２次元の並進ベクトルであり、ｘ方向とｙ方向の並進成分ｔｘ，ｔｙを持つ。
上式（４）は同次座標
2013246779.tif 000022
を使えば、次のようにひとつの行列により表すことができる。
2013246779.tif 000023
ここで、Ｚ［・］はベクトルの第３成分を１とする正規化作用素であり、ＨＥは次のような３×３行列である。
2013246779.tif 000024
空間中の点の同次座標を
2013246779.tif 000025
とすると、３次元の剛体変換は次のように表せる。
2013246779.tif 000026
Ｚ［・］は３次元の場合は、ベクトルの第４成分を１とする正規化作用素になる。ＨＥは３次元回転行列Ｒと３次元並進ベクトルｔからなる次のような４×４行列になる。
2013246779.tif 000027
【００５１】
２.３  相似変換
２次元の剛体変換にスケール変換（拡大縮小）を加えたものを２次元の相似変換と称する。２次元平面上の点ｘに作用するスケール変換は水平および垂直方向に等倍することであるから、次のような行列により表される。
2013246779.tif 000028
ただし、ｓはスケール係数である。相似変換は剛体変換とスケール変換の積により
2013246779.tif 000029
と表せる。ここで、Ｈｓは相似変換を表す３×３行列であり、次のようになる。
2013246779.tif 000030
ｓ＝１のとき、相似変換Ｈｓは、剛体変換ＨＥと等しくなる。
また、３次元の相似変換は次のように表せる。
2013246779.tif 000031
ここで、ＨｓはＨＥにスケール変換Ｓを加えた次のような４×４行列になる。
2013246779.tif 000032
Ｓは定数倍のスケール係数ｓにより次のように表せる。
2013246779.tif 000033
【００５２】
２.４  アフィン変換
正方形をひし形にするような変形をせん断変形と称する。すなわち、せん断変形とは直角性は保たれないが、平行度は保たれるような変形である。このような変形は、図形を平面上である角度回転した後、ｘ方向に拡大（あるいは縮小）し、その後もとの角度に逆回転することにより行うことが可能である。このような変形を行う行列Ｄは次のように表せる。
2013246779.tif 000034
ここで、ρはｘ方向に関する拡大（縮小）率であり、ψは回転角である。
２次元の相似変換に対して、このようなせん断変形Ｄを加えたものがアフィン変換である。アフィン変換は次のように表せる。
2013246779.tif 000035
ここで、ＨＡは次のような３×３行列である。
2013246779.tif 000036
アフィン変換で新たに加えたせん断変形Ｄはせん断の方向ψとせん断の大きさρで決まるものであり、その自由度は２である。したがって、アフィン変換の自由度は６である。行列ＨＡを要素で表すと、第３行が（０，０，１）になり、その左上２×２行列が正則であるような自由度６の任意行列であるとしてもよい。
３次元のアフィン変換は次のように表せる。
2013246779.tif 000037
行列ＨＡは第４行が（０，０，０，１）であり、その左上３×３行列が正則であるような任意の４×４行列である。
【００５３】
２.５  射影変換
扇形に変形することを扇形変形と称する。扇形変形では直線性は保たれるが、平行度や直交性は保たれない。すなわち、扇形変形は平行線上の無限遠点を有限な点に移動させるような変形である。このような変形は次のように表される。
2013246779.tif 000038
ここで、Ｂは、
2013246779.tif 000039
である。
２次元のアフィン変換に扇形変形を加えたものが２次元射影変換である。射影変換は次のように表される。
2013246779.tif 000040
ここで、Ｈはアフィン変換行列ＨＡと扇形変形行列Ｂの積であり、次のように表せる。
2013246779.tif 000041
射影変換は自由度６のアフィン変換に自由度２の扇形変形を加えたものであるから、その自由度は８である。射影変換のもとでは、長さや角度のみでなく平行度も保たれない。
行列Ｈは任意の３×３正則行列であるとしてもよい。３×３行列には９個の要素があるが、すべての要素を定数倍しても全く同じ変換を表すことから、その自由度は８である。
３次元の射影変換は次のように表せる。
2013246779.tif 000042
Ｈは任意の４×４正則行列である。４×４行列には１６個の要素があるが、すべての要素を定数倍しても全く同じ変換を表すことから、その自由度は１５である。
図３は、２次元幾何学変換における（ａ）回転と（ｂ）剛体と（ｃ）相似と（ｄ）アフィンと（ｅ）射影とについて各変換イメージを比較説明する図である。
【００５４】
３  幾何学的当てはめ
３.１  幾何学的モデル
Ｎ個のｍ次元データベクトル
2013246779.tif 000043
は、それらの誤差がないときの値
2013246779.tif 000044
が未知のｐ次元パラメータベクトルｕをもつｒ個の拘束条件
2013246779.tif 000045
を満たすとする。これを（幾何学的）モデルと称する。データ
2013246779.tif 000046
の定義される空間
2013246779.tif 000047
をデータ空間、パラメータｕの定義される空間Ｕをパラメータ空間、ｒを拘束条件のランクと称する。ｒ個の方程式（２４）はｘの方程式として互いに代数的に独立で、データ空間
2013246779.tif 000048
に余次元ｒの（代数）多様体Ｓを定義する。
問題は誤差のあるデータ
2013246779.tif 000049
からパラメータｕ推定することである。これはデータ空間のＮ個の点に多様体Ｓを当てはめる問題と解釈できる。この問題を幾何学的当てはめと称する。
【００５５】
［例１］２次元／３次元幾何学変換を推定する問題も典型的な幾何学的当てはめ問題であり、その場合、各データは２次元画像上や３次元空間上の点の位置を表すベクトルである。例えば、第１画像上の点
2013246779.tif 000050
と第２画像上の点
2013246779.tif 000051
が対応すれば、その対応が４次元ベクトル
2013246779.tif 000052
で表せる。３次元空間上の点
2013246779.tif 000053
と点
2013246779.tif 000054
が対応すれば、その対応が６次元ベクトル
2013246779.tif 000055
で表せる。２次元幾何学変換の場合、
2013246779.tif 000056
に対する独立な方程式は２個であるからｒ＝２となり、３次元幾何学変換の場合、
2013246779.tif 000057
に対する独立な方程式は３個であるからｒ＝３となり、ｕはそれぞれ２次元／３次元幾何学変換行列の要素を並べたベクトルである。
式（２４）の
2013246779.tif 000058
は一般にｘの複雑な非線形関数であるが、コンピュータビジョンに現れる多くの問題では、未知パラメータｕに関しては線形であったり、パラメータを付け直して線形に表せることが多い。そのような場合は式（２４）が次の形に表せる。
2013246779.tif 000059
ここで、
2013246779.tif 000060
はｍ次元ベクトルからｐ次元ベクトルヘの（一般に非線形の）写像である。以下、ベクトルａ，ｂの内積を（ａ，ｂ）と書く。ｕにはスケールの不定性があるので
2013246779.tif 000061
と正規化する。
【００５６】
［例２］同一平面を異なる位置から撮影した２画像からＮ個の特徴点を抽出し、第１画像の点
2013246779.tif 000062
が第２画像の点
2013246779.tif 000063
に対応するとする。カメラの焦点距離が十分大きい場合には、両者は２次元アフィン変換で結ばれると見なせる。真の特徴点位置
2013246779.tif 000064
は次の関係を満たす。
2013246779.tif 000065
ここで、
2013246779.tif 000066
であり、ｆ０は要素ｈｉｊのオーダーを揃えるためのほぼ画像サイズの大きさの任意定数である。２次元アフィン変換行列ＨＡを誤差のあるデータ
2013246779.tif 000067
から推定する。
2013246779.tif 000068
と置くと、式（２６）は式（２５）の形に書ける。ｕはアフィン変換行列ＨＡの要素を並べたベクトルである。これにより、データ空間
2013246779.tif 000069
が７次元空間
2013246779.tif 000070
の４次元（代数）多様体として埋め込まれ、パラメータ空間Ｕは
2013246779.tif 000071
の原点を中心とする６次元単位球面
2013246779.tif 000072
となる。
ここで、図４は、３次元幾何学変換における（ａ）回転と（ｂ）剛体と（ｃ）相似と（ｄ）アフィンと（ｅ）射影とについての各変換を説明する図である。
【００５７】
［例３］３次元空間中の点
2013246779.tif 000073
が点
2013246779.tif 000074
に対応する場合、真の特徴点位置を
2013246779.tif 000075
2013246779.tif 000076
とすると、３次元アフィン変換は２次元の場合同様、式（２６）の関係を満たす。ただし、
2013246779.tif 000077
３次元アフィン変換行列ＨＡを誤差のあるデータ
2013246779.tif 000078
2013246779.tif 000079
から推定する。
2013246779.tif 000080
と置くと、３次元アフィン変換も式（２５）の形に書ける。これにより、データ空間
2013246779.tif 000081
が１３次元空間
2013246779.tif 000082
の６次元（代数）多様体として埋め込まれ、パラメータ空間Ｕは
2013246779.tif 000083
の原点を中心とする１２次元単位球面
2013246779.tif 000084
となる。
【００５８】
３.２  最尤推定
写像されたデータ
2013246779.tif 000085
の誤差の挙動を記述する共分散行列を
2013246779.tif 000086
とする。以下
2013246779.tif 000087
を
2013246779.tif 000088
と略記する。
εは誤差の絶対量を表す定数であり、ノイズレベルと呼ぶ。
2013246779.tif 000089
は誤差のデータや方向への依存を定性的に表すものであり、正規化共分散行列と称して既知とする。
誤差がデータ毎に独立で正規分布に従うとすると、
2013246779.tif 000090
の最尤推定は線形化された拘束条件のもとでマハラノビス距離の二乗和
2013246779.tif 000091
を最小にするように
2013246779.tif 000092
を推定することである。
データの誤差は小さいと仮定して、線形近似を用いてラグランジュ乗数により拘束条件（２５）を消去すると式（３２）は次のように書ける。
2013246779.tif 000093
ただし、
2013246779.tif 000094
は
2013246779.tif 000095
を（ｋｌ）要素とするｒｘｒ行列の逆行列の（ｋｌ）要素であり、次のように書く。
2013246779.tif 000096
ここで、
2013246779.tif 000097
は、
2013246779.tif 000098
の正規化共分散行列である。
データの誤差は小さいと仮定しているから、
2013246779.tif 000099
はデータ
2013246779.tif 000100
の正規化共分散行列
2013246779.tif 000101
から線形近似によって次のように計算できる。
2013246779.tif 000102
ただし、
2013246779.tif 000103
は、
2013246779.tif 000104
のｍ×ｐヤコビ行列である。
【００５９】
［例４］２次元アフィン変換の場合、４次元ベクトル
2013246779.tif 000105
2013246779.tif 000106
の正規化共分散行列
2013246779.tif 000107
は、特に特徴的な誤差の現れ方をしない場合はデフォルト値としてＩ４×４を用いる。データ
2013246779.tif 000108
のいずれか一方が誤差を含まない理想的な参照モデルの場合には、
2013246779.tif 000109
とすればよい。
３次元アフィン変換の場合、６次元ベクトル
2013246779.tif 000110
2013246779.tif 000111
の正規化共分散行列
2013246779.tif 000112
は、特に特徴的な誤差の現れ方をしない場合はデフォルト値としてＩ６×６を用いる。データ
2013246779.tif 000113
のいずれか一方が誤差を含まない理想的な参照モデルの場合には、
2013246779.tif 000114
あるいは
2013246779.tif 000115
とすればよい。
これらはいずれも誤差の分布が一様等方であることを仮定しているが、センサによっては誤差の分布が不均一な非等方性であることは珍しくない。
【００６０】
３.３  精度の評価と理論限界
推定値
2013246779.tif 000116
の誤差△ｕを次のように定義する。
2013246779.tif 000117
ここで，ＰＵは
2013246779.tif 000118
にいて、点ｕにおけるパラメータ空間Ｕの接空間
2013246779.tif 000119
への直交射影行列である。Ｉｐ×ｐはｐ次の単位行列である。これから推定値
2013246779.tif 000120
の共分散行列が次のように定義できる。
2013246779.tif 000121
式（３７）は、具体的に次のように計算できる。
2013246779.tif 000122
ただし、行列Ｍを次のように置いた。
2013246779.tif 000123
2013246779.tif 000124
の正規化のためにランクが（ｐ−１）の（ムーア・ペンローズの）一般逆行列となっていることに注意する。
このとき，どのような推定方法で
2013246779.tif 000125
を計算しても、データに誤差がある限り、
2013246779.tif 000126
がある値より小さくならない。すなわち、精度には超えることができない理論的な限界が存在する。これを式で書くと、次のようになる。
2013246779.tif 000127
記号
2013246779.tif 000128
は左辺引く右辺が半正値対称行列であることを表す。行列
2013246779.tif 000129
は式（３９）のＭをデータの真値
2013246779.tif 000130
を用いて計算した値である。式（４０）の右辺はＫＣＲ （Ｋａｎａｔａｎｉ−Ｃｒａｍｅｒ−Ｒａｏ）下界と呼ばれる。最尤推定を行えば、ＫＣＲ下界が
2013246779.tif 000131
の項を除いて等号で成立する。最尤推定はこの意味で最適な推定法である。
【００６１】
４  幾何学変換の統一的な最適計算
４.１  内部拘束
ｕにはスケールの不定性があるので
2013246779.tif 000132
と正規化するが、これは一つの内部拘束である。そして、これ以外にｕに次のｑ個の内部拘束が存在するとする。
2013246779.tif 000133
これらｑ個の式は代数的に独立であるとする。式（４１）はスケール不定のｕに対して成立するとし、各φｍ（ｕ）は
2013246779.tif 000134
次同次式であると仮定する。最尤推定量
2013246779.tif 000135
は式（３３）を内部拘束
2013246779.tif 000136
のもとで最小化することになる。
【００６２】
［例５］２次元相似変換行列は２次元アフィン変換行列（２６）の左上２×２行列を
2013246779.tif 000137
としたものである。２次元相似変換行列は次の内部拘束を満たさなければならない。
2013246779.tif 000138
ここで、Ｉは２次の単位行列である。Ｓを次のように書く。
2013246779.tif 000139
従って、拘束条件（４２）は次のようになる。
2013246779.tif 000140
式（２８）の２次元アフィン変換を表す７次元ベクトルｕの要素を用いると、２次元相似変換行列における内部拘束式は次のような２次同次式で書ける。
2013246779.tif 000141
これにより、データ空間
2013246779.tif 000142
が７次元空間
2013246779.tif 000143
の４次元（代数）多様体として埋め込まれ、パラメータ空間Ｕは
2013246779.tif 000144
の
2013246779.tif 000145
で定義される４次元（代数）多様体となる。
【００６３】
［例６］３次元相似変換行列は３次元アフィン変換行列（２９）の左上３×３行列を
2013246779.tif 000146
としたものである。
Ｓを次のように書く。
2013246779.tif 000147
したがって、拘束条件は次のようになる。
2013246779.tif 000148
式（３０）の３次元アフィン変換を表す１３次元ベクトルｕの要素を用いると、３次元相似変換行列における内部拘束式は次のような２次同次式で書ける。
2013246779.tif 000149
これにより、データ空間
2013246779.tif 000150
が１３次元空間
2013246779.tif 000151
の６次元（代数）多様体として埋め込まれ、パラメータ空間Ｕは
2013246779.tif 000152
の
2013246779.tif 000153
で定義される７次元（代数）多様体となる。
【００６４】
［例７］２次元剛体変換行列は、拘束条件
2013246779.tif 000154
を満たさなければならない。回転行列Ｒを次のように書くと、
2013246779.tif 000155
拘束条件は次のようになる。
2013246779.tif 000156
式（２８）の２次元アフィン変換を表す７次元ベクトルｕの要素を用いると、２次元剛体変換行列における内部拘束式は、２次元相似変換における内部拘束式（４５）と次のような２次同次式になる。
2013246779.tif 000157
これにより、データ空間
2013246779.tif 000158
が７次元空間
2013246779.tif 000159
の４次元（代数）多様体として埋め込まれ、パラメータ空間Ｕは
2013246779.tif 000160
の
2013246779.tif 000161
で定義される３次元（代数）多様体となる。
純粋な２次元回転変換行列は、並進ベクトル
2013246779.tif 000162
2013246779.tif 000163
になり、データおよびパラメータ空間はそれぞれ５次元空間
2013246779.tif 000164
に縮退するが、内部拘束式は式（４５）（５１）と同じである。
【００６５】
［例８］３次元剛体変換行列は、回転行列Ｒを次のように書くと、
2013246779.tif 000165
拘束条件は次のようになる。
2013246779.tif 000166
式（３０）の３次元アフィン変換を表す１３次元ベクトルｕの要素を用いると、３次元剛体変換行列における内部拘束式は、３次元相似変換における内部拘束式（４８）と次のような２次同次式になる。
2013246779.tif 000167
これにより、データ空間
2013246779.tif 000168
が１３次元空間
2013246779.tif 000169
の６次元（代数）多様体として埋め込まれ、パラメータ空間Ｕは
2013246779.tif 000170
の
2013246779.tif 000171
で定義される６次元（代数）多様体となる。
純粋な３次元回転変換行列は、並進ベクトル
2013246779.tif 000172
2013246779.tif 000173
になり、データおよびパラメータ空間はそれぞれ１０次元空間
2013246779.tif 000174
に縮退するが、内部拘束式は式（４８）（５４）と同じである。
2013246779.tif 000175
以外の内部拘束が存在する場合の推定値
2013246779.tif 000176
の共分散行列は次のようになる。
2013246779.tif 000177
ここで、射影行列ＰＵは、内部拘束
2013246779.tif 000178
の勾配ベクトル
2013246779.tif 000179
にシュミットの直交化を施した正規直交系
2013246779.tif 000180
を用いると次のように書ける。
2013246779.tif 000181
ただし、ｐ次元ベクトルｕが内部拘束を受けて、パラメータ空間Ｕがｐ次元空間
2013246779.tif 000182
の（ｐ−ｑ−１）次元多様体となるため、式（３９）の行列ＭをＰＵＭＰＵに置き換え、ランクが（ｐ−ｑ−１）の（ムーア・ペンローズの）一般逆行列になる。
【００６６】
４.２  拡張ＦＮＳ法
式（３３）をｕで微分すると次のようになる。
2013246779.tif 000183
ここで、行列Ｍは式（３９）であり、行列Ｌは次のように置いた。
2013246779.tif 000184
上式中の
2013246779.tif 000185
は次のように定義する。
2013246779.tif 000186
式（３３）を最小にするには式（５７）より
2013246779.tif 000187
2013246779.tif 000188
を解けばよく、固有値問題を反復して解くＦＮＳ法を用いることができるが、ｕには内部拘束が存在するので、内部拘束を自動的に満たすようにＦＮＳ法を拡張した拡張ＦＮＳ法の手順を以下に示す。
【００６７】
１．ｕの初期解を与える。
【００６８】
２．式（３９）（５８）の行列Ｍ，Ｌを計算する。
【００６９】
３．内部拘束の勾配ベクトル
2013246779.tif 000189
を計算し、これにシュミットの直交化を施した正規直交系
2013246779.tif 000190
を求める。
【００７０】
４．次の射影行列
2013246779.tif 000191
を計算する。
2013246779.tif 000192
【００７１】
５．次の行列Ｙを計算する。
2013246779.tif 000193
【００７２】
６．固有値問題
2013246779.tif 000194
の小さいｑ＋１個の固有値に対する単位固有ベクトル
2013246779.tif 000195
を求める。
【００７３】
７．現在の解ｕを次のように
2013246779.tif 000196
に射影した
2013246779.tif 000197
を計算する。
2013246779.tif 000198
【００７４】
８．次のｕ´を計算する。
2013246779.tif 000199
2013246779.tif 000200
は単位ベクトルヘの正規化作用素である
2013246779.tif 000201
。
【００７５】
９．
2013246779.tif 000202
なら
2013246779.tif 000203
を返して終了する。そうでなければ、
2013246779.tif 000204
としてステップ２に戻る。
ｑ＝０とすると、
2013246779.tif 000205
であり、ｕ´はＹの最小固有値に対する固有ベクトルとなり、通常の
2013246779.tif 000206
以外の内部拘束が存在しない場合のＦＮＳ法に帰着する。
【００７６】
４.３  最小二乗法
拡張ＦＮＳ法の反復には初期値が必要であるが、ｕには内部拘束が存在する。よく用いられる簡略化は
2013246779.tif 000207
の正規化以外の制約を無視することである。近似解を求めるのによく用いられるのは、最小二乗法である。式（３３）で
2013246779.tif 000208
（クロネッカのデルタ：ｋ＝ｌで１，それ以外で０）と置くと次のようになる。
2013246779.tif 000209
これは次のように変形される。
2013246779.tif 000210
ただし、次のように置いた。
2013246779.tif 000211
式（６６）はｕの２次形式であるから、これを最小化する単位ベクトルｕは（２次）モーメント行列ＭＬＳの最小固有値に対する単位固有ベクトルである。
【００７７】
５．シミュレーション実験
図３のように曲面格子をその中心の格子点が世界座標の原点にあるように配置し、その後、原点を通るある回転軸の周りに回転し、平行移動し、スケールを変える。そして、ステレオ視によって各格子点の相似変換前後の３次元位置を計測する。２台のカメラは曲面格子を１０度で見込む位置に配置している。画像サイズは５００×８００画素、焦点距離は６００画素を想定している。各格子点を対応点として、そのｘ，ｙ座標に期待値０、標準偏差σ画素の正規乱数を加え、それぞれＫａｎａｔａｎｉらの方法で各格子点の３次元位置を最適に計算する。３次元復元位置をデー夕として、その正規化共分散行列をＮｉｉｔｓｕｍａらの方法で予測して、前節で述べた拡張ＦＮＳ法を適用して３次元相似変換行列を計算する。拡張ＦＮＳ法の初期値には、前節で述べた制約を無視した最小二乗法による解を用いる。
計算した３次元相似変換行列を式（３０）の単位ベクトルｕの形に表し、その誤差を式（３６）より計算する。これを各σで誤差を変えて１０００回ずつ試行し、その平方平均二乗（ＲＭＳ）誤差を次のように評価する。
2013246779.tif 000212
ただし
2013246779.tif 000213
はａ回目の試行の３次元相似変換行列の解のベクトル表現であり、ＰＵは式（５６）の射影行列である。３次元相似変換における拘束条件は式（４８）より得られる。式（５５）の両辺の平方根を取り、式（３７）より
2013246779.tif 000214
であることに注意すると、３次元相似変換行列におけるＲＭＳ誤差のＫＣＲ下界が次のように得られる。
2013246779.tif 000215
比較のために、回転を特異値分解により計算する最小二乗法、リー代数により表現することによるレーベンバーグ・マーカート（ＬＭ）法を適用する。そして、３次元相似変換における回転行列、並進、スケ−ル変化を
2013246779.tif 000216
とし、それらの真値を
2013246779.tif 000217
とするとき、回転の誤差は相対回転
2013246779.tif 000218
の回転角を
2013246779.tif 000219
（゜）で評価し、並進、スケール変化の誤差をそれぞれ
2013246779.tif 000220
として評価する。拡張ＦＮＳ法による３次元相似変換行列は特異値分解により回転行列とスケール変化に分解して評価する。
【００７８】
図５はステレオ画像に加えた標準偏差σの誤差に対する拡張ＦＮＳ法、ＬＭ法、および最小二乗法による３次元相似変換行列のＲＭＳ誤差ＥをＫＣＲ下界とともにプロットしたものである。図５から理解できるように最小二乗法は３次元復元データの誤差分布の不均一性を考慮していないため非常に精度が低い。それに対して拡張ＦＮＳ法はＬＭ法とほぼ同じであり、精度の理論限界にほぼ到達していることがわかる。
【００７９】
図６はσ＝１の場合の代表的な例に対して、拡張ＦＮＳ法による当てはめ残差Ｊと拘束条件
2013246779.tif 000221
の収束の様子を反復回数に対してプロットしたものである。すべての拘束条件が急速に０に収束している。
【００８０】
図７はσを横軸に取って拡張ＦＮＳ法、ＬＭ法、最小二乗法によるパラメータ毎のＲＭＳ誤差ＥＲ，Ｅｔ，ＥＳをプロットしたものである。図７から分かるように最小二乗法では、すべてのパラメータにおいて精度が極めて低い。ＬＭ法、拡張ＦＮＳ法を用いると精度が著しく向上する。
【００８１】
また、図８は、拡張ＦＮＳ法の反復過程における当てはめ残差Ｊ（紙面左側）と拘束条件Φｍ（ｕ）（紙面右側）の変化を説明する図である。
【００８２】
６  まとめ
コンピュータビジョンに現れる２次元／３次元幾何学変換、幾何学的当てはめ問題、最尤推定、推定精度の評価と理論限界についてまとめた。２次元／３次元幾何学変換のパラメータの拡張ＦＮＳ法による統一的な最適計算の方法を示した。ステレオ視による３次元復元データにおける３次元相似変換のシミュレーション実験を行い、拡張ＦＮＳ法により得られた解が推定精度の理論限界を達成することを示した。当てはめ残差や拘束条件の収束の挙動を観察し、最小二乗法、レーペンバーグ・マーカート法との比較も行った。拡張ＦＮＳ法は、２次元／３次元幾何学変換のモデル毎に巧妙なパラメータ化による複雑な式変形を行わなくとも、単に代数的な拘束条件式さえ書き下せば、同一の計算手順によって拘束条件を課した部分モデルの最適な推定結果が得られる。拘束条件が複数ある場合にも対応が可能なため、相当に適用範囲が広い。拡張ＦＮＳ法により推定した複数の異なる部分モデルから最適なモデルを選択することも可能である。
【００８３】
実施形態で説明した内容は、実施形態での説明に限定されることはなく、自明な範囲でその構成を変更し適宜組み合わせることが可能であり、またその処理を適宜変更することができる。
【００８４】
本実施形態で説明した２次元／３次元幾何学変換の統―的な最適計算法は、画像処理や画像認識において多く現れる２次元や３次元の幾何学変換を統―的に最適に計算する方法である。射影変換を最も複雑で自由度の高い一般モデルとして、それに制約を課すことにより、アフィン変換、相似変換、剛体変換、回転変換が得られるが、そのような拘束条件を自動的に満たす最適計算法である拡張ＦＮＳ法を用いる。データに誤差がある場合、パラメータ推定はどのような方法を用いても得られる解の分散がある値以下にはならない。すなわち、精度の理論限界が存在するが、本手法はその理論限界を達成するものである。
【産業上の利用可能性】
【００８５】
本発明は、主に放送機器分野を対象とする方式変換装置や映像処理全般に適用可能である。また、各種画像処理、画像認識におけるパラメータ推定全般に適用することができ、特に、映像処理における動きパラメータ推定、バーチャルスタジオ／ＡＲシステムにおけるカメラパラメータ推定、色補正処理における色補正パラメータ推定の処理等に好適に展開できる。
【符号の説明】
【００８６】
２１０・・カラーチャート認識処理部、２２０・・色補正パラメータ計算処理部、２３０・・色補正処理部。
【図１】
2013246779.tif 000222
【図２】
2013246779.tif 000223
【図３】
2013246779.tif 000224
【図４】
2013246779.tif 000225
【図５】
2013246779.tif 000226
【図６】
2013246779.tif 000227
【図７】
2013246779.tif 000228
【図８】
2013246779.tif 000229