(57)【要約】【課題】より簡単に画像間の位置関係を得ることができるようにする。【解決手段】画像処理装置では、連続して撮影されたＮ枚の撮影画像について、１枚目の撮影画像と、各撮影画像との位置関係を示す同次変換行列Ｐｓを求める演算が行なわれる。すなわち、まず、同じ被写体が投影された２枚の撮影画像の組み合わせが特定され、各組み合わせについて、それらの撮影画像間の位置関係を示す同次変換行列Ｈｕ，ｔが求められる。また、最適化誤差を示す行列δｉ，ｊ、各撮影画像、および同次変換行列Ｈｕ，ｔから、同次変換行列Ｐｓの各要素の重みｗｕ，ｔ［ｉ，ｊ］が算出される。そして、およそＰｓ−１となる行列Ｔｓと、重みｗｕ，ｔ［ｉ，ｊ］、および同次変換行列Ｈｕ，ｔが用いられて、最小二乗法により同次変換行列Ｐｓが算出される。本技術は、画像処理装置に適用することができる。【選択図】図４
2013168089.tif 000002
【特許請求の範囲】
【請求項１】
連続して撮影された複数の撮影画像について、基準となる前記撮影画像と、ｓ枚目の前記撮影画像との位置関係を示す同次変換行列Ｐｓを出力する情報処理装置であって、
前記撮影画像に対する画像解析を行なって、前記複数の前記撮影画像のうちのｕ枚目の前記撮影画像とｔ枚目の前記撮影画像との位置関係を示す同次変換行列Ｈｕ，ｔを算出する画像解析部と、
各ｓの値について、およそＴｓ＝Ｐｓ−１となる行列Ｔｓを定め、前記画像解析部により算出された前記同次変換行列Ｈｕ，ｔ、ｓ＝ｕ，ｔについてのスカラ量α（ｕ，ｔ）、および前記行列Ｔｓに基づいて、
Ｔｕ（α（ｕ，ｔ）Ｐｔ−ＰｕＨｕ，ｔ）＝Δｕ，ｔ
で定義される行列Δｕ，ｔが最小となるように各前記同次変換行列Ｐｓおよび前記スカラ量α（ｕ，ｔ）を算出する同次変換行列算出部と
を備える情報処理装置。
【請求項２】
前記同次変換行列算出部は、前記同次変換行列Ｈｕ，ｔの各要素の微小変動によるｕ枚目の前記撮影画像とｔ枚目の前記撮影画像との位置のずれ量に応じて、前記行列Δｕ，ｔの各要素に重みをつけて前記行列Δｕ，ｔが最小となるように前記同次変換行列Ｐｓおよび前記スカラ量α（ｕ，ｔ）を算出する
請求項１に記載の情報処理装置。
【請求項３】
前記同次変換行列算出部は、前記スカラ量α（ｕ，ｔ）を１として、前記同次変換行列Ｐｓを算出する
請求項１に記載の情報処理装置。
【請求項４】
前記複数の前記撮影画像は、周回しながら３６０度の各方向を撮影して得られた画像であり、ｕ枚目の前記撮影画像とｔ枚目の前記撮影画像は、互いに隣接する前記撮影画像である
請求項１に記載の情報処理装置。
【請求項５】
前記複数の前記撮影画像は、動画像を構成する各フレームの画像であり、
ｕ枚目の前記撮影画像とｔ枚目の前記撮影画像は、互いに隣接する前記撮影画像とされ、
前記同次変換行列算出部は、前記複数の前記撮影画像のうちの前記基準となる前記撮影画像と、連続するＭ枚の前記撮影画像とを用いて、前記同次変換行列Ｐｓおよび前記スカラ量α（ｕ，ｔ）を算出する部分最適化処理を、前記部分最適化処理に用いる前記Ｍ枚の前記撮影画像をずらしながら複数回行なうことで、各前記同次変換行列Ｐｓおよび前記スカラ量α（ｕ，ｔ）を算出する
請求項１に記載の情報処理装置。
【請求項６】
ｕ枚目の前記撮影画像とｔ枚目の前記撮影画像は、前記Ｍ枚の前記撮影画像のうちの互いに隣接する２枚の前記撮影画像、および前記基準となる前記撮影画像と前記Ｍ枚の各前記撮影画像とされる
請求項５に記載の情報処理装置。
【請求項７】
前記部分最適化処理に用いられる前記Ｍ枚の前記撮影画像と、他の部分最適化処理に用いられる前記Ｍ枚の前記撮影画像とに、同じ前記撮影画像が少なくとも１枚含まれている
請求項５に記載の情報処理装置。
【請求項８】
連続して撮影された複数の撮影画像について、基準となる前記撮影画像と、ｓ枚目の前記撮影画像との位置関係を示す同次変換行列Ｐｓを出力する情報処理方法であって、
前記撮影画像に対する画像解析を行なって、前記複数の前記撮影画像のうちのｕ枚目の前記撮影画像とｔ枚目の前記撮影画像との位置関係を示す同次変換行列Ｈｕ，ｔを算出する画像解析ステップと、
各ｓの値について、およそＴｓ＝Ｐｓ−１となる行列Ｔｓを定め、前記画像解析ステップの処理により算出された前記同次変換行列Ｈｕ，ｔ、ｓ＝ｕ，ｔについてのスカラ量α（ｕ，ｔ）、および前記行列Ｔｓに基づいて、
Ｔｕ（α（ｕ，ｔ）Ｐｔ−ＰｕＨｕ，ｔ）＝Δｕ，ｔ
で定義される行列Δｕ，ｔが最小となるように各前記同次変換行列Ｐｓおよび前記スカラ量α（ｕ，ｔ）を算出する同次変換行列算出ステップと
を含む情報処理方法。
【請求項９】
連続して撮影された複数の撮影画像について、基準となる前記撮影画像と、ｓ枚目の前記撮影画像との位置関係を示す同次変換行列Ｐｓを出力する情報処理用のプログラムであって、
前記撮影画像に対する画像解析を行なって、前記複数の前記撮影画像のうちのｕ枚目の前記撮影画像とｔ枚目の前記撮影画像との位置関係を示す同次変換行列Ｈｕ，ｔを算出する画像解析ステップと、
各ｓの値について、およそＴｓ＝Ｐｓ−１となる行列Ｔｓを定め、前記画像解析ステップの処理により算出された前記同次変換行列Ｈｕ，ｔ、ｓ＝ｕ，ｔについてのスカラ量α（ｕ，ｔ）、および前記行列Ｔｓに基づいて、
Ｔｕ（α（ｕ，ｔ）Ｐｔ−ＰｕＨｕ，ｔ）＝Δｕ，ｔ
で定義される行列Δｕ，ｔが最小となるように各前記同次変換行列Ｐｓおよび前記スカラ量α（ｕ，ｔ）を算出する同次変換行列算出ステップと
を含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は情報処理装置および方法、並びにプログラムに関し、特に、より簡単に画像間の位置関係を得ることができるようにした情報処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
例えば、手持ちによりデジタルカメラで連続撮影すると、撮影により得られた各撮影画像の微妙な位置ずれが生じる。そのため、これらの撮影画像に対して画像処理により位置を補正する、いわゆるデジタル手ぶれ補正をしたいという要望があった。
【０００３】
したがって、複数枚（１乃至ＮのＮ枚）の撮影画像を入力とし、それらの撮影画像を解析して、１枚目の撮影画像に対する各撮影画像の位置関係を求めることは、この分野にとって重要な課題である。
【０００４】
なお、議論を簡略化するために、撮影画像を撮影したときのレンズの焦点距離は１であるものとする。例えば撮影画像の焦点距離が１でない場合は、撮影画像を拡大縮小することで焦点距離を１とした画像を作成することが出来るので、以下では全ての撮影画像の焦点距離は１であるとして説明を続ける。
【０００５】
また、手ぶれ補正以外にも、例えばパノラマ画像を作成するときにも、位置関係を求めることは重要である。
【０００６】
すなわち、デジタルカメラを３６０度分パン（周回）させながら、連続撮影した複数の撮影画像から、３６０度のパノラマ画像を作成することを考える。
【０００７】
ここで、周回させながら撮影した撮影画像を、撮影した順番に１枚目の撮影画像，２枚目の撮影画像，・・・，Ｎ枚目の撮影画像の合計Ｎ枚の撮影画像とする。このようにして得られた撮影画像を解析して、１枚目の撮影画像に対する各撮影画像の位置関係を求めることが出来れば、各位置に撮影画像をマッピングしていくことで、３６０度のパノラマ画像を得ることができる。
【０００８】
さて、従来、具体的には以下のようにして、１枚目の撮影画像に対する各撮影画像の位置関係が求められていた。
【０００９】
まず、撮影画像間の位置関係を示す同次変換行列について説明する。ｓ（但し、ｓ＝１乃至Ｎ）枚目の撮影画像に投影されている撮影対象物体の位置をＶｓとし、この撮影対象物体が１枚目の撮影画像に投影されている位置をＶ１とする。
【００１０】
このとき、次式（１）を満たす３×３行列Ｐｓが、１枚目の撮影画像に対するｓ枚目の撮影画像の位置関係を表す同次変換行列（homography）である。
【００１１】
【数１】
2013168089.tif 000003
【００１２】
具体的には、例えば図１に示すように、１枚目の撮影画像ＰＣＴ（１）とｓ枚目の撮影画像ＰＣＴ（ｓ）とに、木や家など同じ撮影対象物体が投影されているとする。撮影対象物体として木の先端に着目すると、図１の例では、ｓ枚目の撮影画像ＰＣＴ（ｓ）の位置Ｖｓに木の先端部分が投影されており、この木の先端部分は、さらに１枚目の撮影画像ＰＣＴ（１）の位置Ｖ１にも投影されている。
【００１３】
このような場合、位置Ｖ１と位置Ｖｓは、上述した式（１）を満たしている。ここで、位置Ｖｓおよび位置Ｖ１は、斉次座標（同次座標（homogeneous coordinate）とも呼ばれている）で表現されている。
【００１４】
すなわち、例えば位置Ｖｓは、次式（２）に示すように、第１行目がｓ枚目の撮影画像を基準とする座標系のＸ座標を、第２行目がｓ枚目の撮影画像を基準とする座標系のＹ座標を、第３行目が「１」である３個の要素から成る３次の縦ベクトルで表現されている。
【００１５】
【数２】
2013168089.tif 000004
【００１６】
また、同次変換行列Ｐｓは、ｓ枚目と１枚目の撮影画像の位置関係を表す３×３行列であり、次式（３）により定義される。
【００１７】
【数３】
2013168089.tif 000005
【００１８】
なお、ｓ＝１のときの同次変換行列Ｐｓ、すなわち同次変換行列Ｐ１は単位行列である。また、式（３）において、Ｐｓ［ｉ，ｊ］（但し、ｉ＝１乃至３，ｊ＝１乃至３）は、同次変換行列Ｐｓのｉ行ｊ列目の要素（スカラ値）を示している。例えばＰｓ［２，３］は、同次変換行列Ｐｓの第２行目第３列目の要素を表している。以下では、任意の行列の要素を、適宜、添え字［ｉ，ｊ］を用いて表現することとする。
【００１９】
さて、例えば図２に示すように、ある２枚の撮影画像、つまりｔ枚目の撮影画像ＰＣＴ（ｔ）とｕ枚目の撮影画像ＰＣＴ（ｕ）を解析した結果、それらの２枚の撮影画像中に、同じ被写体が投影されていたとする。
【００２０】
すなわち、ｕ枚目の撮影画像ＰＣＴ（ｕ）の位置Ｖ（ｕ，ｔ，ｋ）に投影されている被写体が、ｔ枚目の撮影画像ＰＣＴ（ｔ）上では、位置Ｖ（ｔ，ｕ，ｋ）に投影されていたとする。ここで、ｋは被写体を識別する添え字であり、図２の例では５個の被写体がｕ枚目の撮影画像ＰＣＴ（ｕ）とｔ枚目の撮影画像ＰＣＴ（ｔ）との両方に投影されているので、ｋ＝１乃至５である。
【００２１】
上述した式（１）を考えれば、位置Ｖ（ｔ，ｕ，ｋ）と位置Ｖ（ｕ，ｔ，ｋ）の間には、次式（４）に示す関係があることが分かる。
【００２２】
【数４】
2013168089.tif 000006
【００２３】
また、式（４）における位置Ｖ（ｔ，ｕ，ｋ）と位置Ｖ（ｕ，ｔ，ｋ）を３個の要素で明示的に記せば、次式（５）となる。なお、式（５）において、ｘ（ｔ，ｕ，ｋ）およびｙ（ｔ，ｕ，ｋ）は、斉次座標で表現された位置Ｖ（ｔ，ｕ，ｋ）の第１行目および第２行目の要素を表しており、ｘ（ｕ，ｔ，ｋ）およびｙ（ｕ，ｔ，ｋ）は、斉次座標で表現された位置Ｖ（ｕ，ｔ，ｋ）の第１行目および第２行目の要素を表している。
【００２４】
【数５】
2013168089.tif 000007
【００２５】
また、式（５）で示す比例関係は、次式（６）および式（７）と同値である。
【００２６】
【数６】
2013168089.tif 000008
【００２７】
【数７】
2013168089.tif 000009
【００２８】
撮影画像中に同じ被写体が投影されている２枚の全ての組み合わせに対して、式（６）および式（７）が成立する。したがって、１枚目とｓ枚目の位置関係を示す同次変換行列Ｐｓを得るには、式（６）および式（７）を満たす行列Ｐｓ（但し、ｓ＝２乃至Ｎ）を求めればよい。なお、前述のとおり、同次変換行列Ｐ１は単位行列である。
【００２９】
さて、実際には画像解析した対応位置関係には誤差が存在するので、最小二乗法を用いて同次変換行列Ｐｓを求めることになる。すなわち、次式（８）を最小とする同次変換行列Ｐｓ（但しｓ＝２乃至Ｎ）を求めることになる。
【００３０】
【数８】
2013168089.tif 000010
【００３１】
以上においてした説明をまとめると、複数枚（１乃至ＮのＮ枚）の撮影画像を入力とし、それらの撮影画像を解析して、１枚目の撮影画像に対する各撮影画像の位置関係を示す同次変換行列Ｐｓを求める処理手順は、以下の手順となる。
【００３２】
（手順１−１）
１枚目乃至Ｎ枚目の合計のＮ枚の撮影画像が解析されて、撮影画像中に同じ被写体が投影されている２枚の撮影画像の組み合わせが全てピックアップされる。
【００３３】
（手順１−２）
ピックアップされた２枚の撮影画像の組に対して、以下の処理が行なわれる。すなわち、２枚の撮影画像をｔ枚目とｕ枚目の撮影画像として、同じ被写体が投影されている対応位置が求められ、得られた位置が、それぞれ位置Ｖ（ｔ，ｕ，ｋ）と位置Ｖ（ｕ，ｔ，ｋ）とされる。ここで位置Ｖ（ｔ，ｕ，ｋ）と位置Ｖ（ｕ，ｔ，ｋ）におけるｋは、被写体を識別する添え字である。
【００３４】
（手順１−３）
手順１−２で求まった全ての（ｔ，ｕ）の組に対する全ての位置Ｖ（ｔ，ｕ，ｋ）と位置Ｖ（ｕ，ｔ，ｋ）が用いられ、式（８）を最小とする３×３行列Ｐｓ（但しｓ＝２乃至Ｎ）が求められ、同次変換行列Ｐｓとされる。なお、同次変換行列Ｐ１は単位行列である。
【００３５】
以上の手順１−１乃至手順１−３の処理が、１枚目とｓ枚目の撮影画像間の位置関係を示す同次変換行列Ｐｓを求める従来の手法である。このような手法は、例えば非特許文献１の４章「Bundle Adjustment」に記載されている。
【先行技術文献】
【非特許文献】
【００３６】
【非特許文献１】M. Brown and D. Lowe. 「Automatic Panoramic Image Stitching using Invariant Features. 」 International Journal of Computer Vision, 74(1), pages 59-73, 2007
【発明の概要】
【発明が解決しようとする課題】
【００３７】
しかしながら、上述した技術では、撮影画像間の位置関係を簡単に得ることができなかった。
【００３８】
すなわち、上述した技術では、１枚目とｓ枚目の撮影画像間の位置関係を示す最適な同次変換行列Ｐｓ（但しｓ＝２乃至Ｎ）を得るには、式（８）を最小にするという非線形問題を解かなくてはならなかったが、その演算量は膨大な量となってしまう。
【００３９】
本技術は、このような状況に鑑みてなされたものであり、より簡単に画像間の位置関係を得ることができるようにするものである。
【課題を解決するための手段】
【００４０】
本技術の一側面の情報処理装置は、連続して撮影された複数の撮影画像について、基準となる前記撮影画像と、ｓ枚目の前記撮影画像との位置関係を示す同次変換行列Ｐｓを出力する情報処理装置であって、前記撮影画像に対する画像解析を行なって、前記複数の前記撮影画像のうちのｕ枚目の前記撮影画像とｔ枚目の前記撮影画像との位置関係を示す同次変換行列Ｈｕ，ｔを算出する画像解析部と、各ｓの値について、およそＴｓ＝Ｐｓ−１となる行列Ｔｓを定め、前記画像解析部により算出された前記同次変換行列Ｈｕ，ｔ、ｓ＝ｕ，ｔについてのスカラ量α（ｕ，ｔ）、および前記行列Ｔｓに基づいて、Ｔｕ（α（ｕ，ｔ）Ｐｔ−ＰｕＨｕ，ｔ）＝Δｕ，ｔで定義される行列Δｕ，ｔが最小となるように各前記同次変換行列Ｐｓおよび前記スカラ量α（ｕ，ｔ）を算出する同次変換行列算出部とを備える。
【００４１】
前記同次変換行列算出部には、前記同次変換行列Ｈｕ，ｔの各要素の微小変動によるｕ枚目の前記撮影画像とｔ枚目の前記撮影画像との位置のずれ量に応じて、前記行列Δｕ，ｔの各要素に重みをつけて前記行列Δｕ，ｔが最小となるように前記同次変換行列Ｐｓおよび前記スカラ量α（ｕ，ｔ）を算出させることができる。
【００４２】
前記同次変換行列算出部には、前記スカラ量α（ｕ，ｔ）を１として、前記同次変換行列Ｐｓを算出させることができる。
【００４３】
前記複数の前記撮影画像を、周回しながら３６０度の各方向を撮影して得られた画像とし、ｕ枚目の前記撮影画像とｔ枚目の前記撮影画像を、互いに隣接する前記撮影画像とすることができる。
【００４４】
前記複数の前記撮影画像を、動画像を構成する各フレームの画像とし、ｕ枚目の前記撮影画像とｔ枚目の前記撮影画像を、互いに隣接する前記撮影画像とし、前記同次変換行列算出部には、前記複数の前記撮影画像のうちの前記基準となる前記撮影画像と、連続するＭ枚の前記撮影画像とを用いて、前記同次変換行列Ｐｓおよび前記スカラ量α（ｕ，ｔ）を算出する部分最適化処理を、前記部分最適化処理に用いる前記Ｍ枚の前記撮影画像をずらしながら複数回行なうことで、各前記同次変換行列Ｐｓおよび前記スカラ量α（ｕ，ｔ）を算出させることができる。
【００４５】
ｕ枚目の前記撮影画像とｔ枚目の前記撮影画像を、前記Ｍ枚の前記撮影画像のうちの互いに隣接する２枚の前記撮影画像、および前記基準となる前記撮影画像と前記Ｍ枚の各前記撮影画像とすることができる。
【００４６】
前記部分最適化処理に用いられる前記Ｍ枚の前記撮影画像と、他の部分最適化処理に用いられる前記Ｍ枚の前記撮影画像とに、同じ前記撮影画像が少なくとも１枚含まれているようにすることができる。
【００４７】
本技術の一側面の情報処理方法またはプログラムは、連続して撮影された複数の撮影画像について、基準となる前記撮影画像と、ｓ枚目の前記撮影画像との位置関係を示す同次変換行列Ｐｓを出力する情報処理方法またはプログラムであって、前記撮影画像に対する画像解析を行なって、前記複数の前記撮影画像のうちのｕ枚目の前記撮影画像とｔ枚目の前記撮影画像との位置関係を示す同次変換行列Ｈｕ，ｔを算出する画像解析ステップと、各ｓの値について、およそＴｓ＝Ｐｓ−１となる行列Ｔｓを定め、前記画像解析ステップの処理により算出された前記同次変換行列Ｈｕ，ｔ、ｓ＝ｕ，ｔについてのスカラ量α（ｕ，ｔ）、および前記行列Ｔｓに基づいて、Ｔｕ（α（ｕ，ｔ）Ｐｔ−ＰｕＨｕ，ｔ）＝Δｕ，ｔで定義される行列Δｕ，ｔが最小となるように各前記同次変換行列Ｐｓおよび前記スカラ量α（ｕ，ｔ）を算出する同次変換行列算出ステップとを含む。
【００４８】
本技術の一側面においては、連続して撮影された複数の撮影画像について、基準となる前記撮影画像と、ｓ枚目の前記撮影画像との位置関係を示す同次変換行列Ｐｓを出力する情報処理において、前記撮影画像に対する画像解析が行なわれて、前記複数の前記撮影画像のうちのｕ枚目の前記撮影画像とｔ枚目の前記撮影画像との位置関係を示す同次変換行列Ｈｕ，ｔが算出され、各ｓの値について、およそＴｓ＝Ｐｓ−１となる行列Ｔｓが定められ、前記同次変換行列Ｈｕ，ｔ、ｓ＝ｕ，ｔについてのスカラ量α（ｕ，ｔ）、および前記行列Ｔｓに基づいて、Ｔｕ（α（ｕ，ｔ）Ｐｔ−ＰｕＨｕ，ｔ）＝Δｕ，ｔで定義される行列Δｕ，ｔが最小となるように各前記同次変換行列Ｐｓおよび前記スカラ量α（ｕ，ｔ）が算出される。
【発明の効果】
【００４９】
本技術の一側面によれば、より簡単に画像間の位置関係を得ることができる。
【図面の簡単な説明】
【００５０】
【図１】隣接する撮影画像間の対応する位置について説明する図である。
【図２】隣接する撮影画像間の対応する位置について説明する図である。
【図３】重みの算出について説明する図である。
【図４】画像処理装置の構成例を示す図である。
【図５】位置関係算出処理について説明するフローチャートである。
【図６】位置関係算出処理について説明するフローチャートである。
【図７】最適化に用いる撮影画像の組み合わせについて説明する図である。
【図８】最適化計算の対象となる行列について説明する図である。
【図９】最適化計算に用いる撮影画像群のシフトについて説明する図である。
【図１０】画像処理装置の構成例を示す図である。
【図１１】位置関係算出処理について説明するフローチャートである。
【図１２】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００５１】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００５２】
〈第１の実施の形態〉
［本技術について］
本技術は、例えば手持ちで撮影された撮影画像の位置合わせや、３６０度のパノラマ画像を生成するのに必要な、各撮影画像が撮影されたときの撮影方向の計算に関する技術である。
【００５３】
すなわち、本技術では、２枚の撮影画像間の同次変換行列Ｈｕ，ｔが求められた後に、この同次変換行列Ｈｕ，ｔが用いられて１枚目の撮影画像と各撮影画像の間の同次変換行列の最適化が行なわれる。これにより、式（８）の場合と比べて格段に計算量を低減させることができる。
【００５４】
さらに、本技術では、対象としている２枚の撮影画像の一方の撮影画像に対して他方の撮影画像をつなぎ合わせたときの位置のずれ量に比例する重みをかけることで、重み付き誤差の最適化が行なわれる。これにより、より誤差が少なくなるように最適化を行なうことができる。
【００５５】
ここで、まず本技術が解くべき問題を明確化しておく。
【００５６】
本技術が解くべき問題は、カメラ等で異なる方向を連続撮影したＮ枚の撮影画像（１枚目乃至Ｎ枚目の撮影画像）を入力とし、１枚目の撮影画像を基準とした、ｓ枚目の各撮影画像（但しｓ＝２乃至Ｎ）の位置を表現する同次変換行列Ｐｓを求めよというものである。
【００５７】
これに対して本技術では、以下の２つのステップにより、１枚目とｓ枚目（但しｓ＝２乃至Ｎ）の位置関係を示す同次変換行列Ｐｓが求められる。
【００５８】
（最初のステップ）
すなわち、最初のステップとして、２枚の撮影画像、すなわちｔ枚目とｕ枚目の撮影画像を解析することで、これらの２枚の撮影画像間の位置関係を表す同次変換行列Ｈｕ，ｔが求められる。なお、この同次変換行列Ｈｕ，ｔは、後述するように既存の技術を利用して求めることができる。
【００５９】
（次のステップ）
続いて、次のステップとして、撮影画像間の位置関係を表す同次変換行列Ｈｕ，ｔをなるべく満たすような同次変換行列Ｐｓ（但しｓ＝２乃至Ｎ）が求められる。
【００６０】
なお、ここで、同次変換行列Ｐｓとは、１枚目の撮影画像を基準とした、ｓ枚目（但しｓ＝２乃至Ｎ）の撮影画像の位置関係を表現する同次変換行列である。
【００６１】
本技術では、以上の２つのステップにより同次変換行列Ｐｓが求められる。
【００６２】
［最初のステップについて］
次に、これらの「最初のステップ」と「次のステップ」について、より詳細に説明していく。まず、「最初のステップ」では、より詳細には、以下の「手順２−１」と「手順２−２」が行なわれる。
【００６３】
（手順２−１）
すなわち、「手順２−１」では、１枚目乃至Ｎ枚目の合計Ｎ枚の撮影画像が解析されて、撮影画像中に同じ被写体が投影されている２枚の撮影画像の組み合わせが全てピックアップされる。
【００６４】
（手順２−２）
続いて「手順２−２」では、ピックアップされた２枚の撮影画像の組に対して、以下の処理が行なわれる。すなわち、２枚の撮影画像をｔ枚目とｕ枚目の撮影画像とし、同じ被写体が投影されている対応位置が求められ、それぞれ位置Ｖ（ｔ，ｕ，ｋ）および位置Ｖ（ｕ，ｔ，ｋ）とされる。
【００６５】
ここで、位置Ｖ（ｔ，ｕ，ｋ）は、所定のｋ番目の被写体が投影されているｔ枚目の撮影画像上の位置を表しており、位置Ｖ（ｕ，ｔ，ｋ）は、ｋ番目の被写体が投影されているｕ枚目の撮影画像上の位置を表している。
【００６６】
また、位置Ｖ（ｔ，ｕ，ｋ）および位置Ｖ（ｕ，ｔ，ｋ）における添え字「ｋ」は、被写体を識別する添え字であり、これらの位置Ｖ（ｔ，ｕ，ｋ）や位置Ｖ（ｕ，ｔ，ｋ）は、式（５）に示した例と同様に、斉次座標で表現される。すなわち、位置Ｖ（ｔ，ｕ，ｋ）は、第１行目の要素「ｘ（ｔ，ｕ，ｋ）」、第２行目の要素「ｙ（ｔ，ｕ，ｋ）」、および第３行目の要素「１」により表現される。同様に、位置Ｖ（ｕ，ｔ，ｋ）は、第１行目の要素「ｘ（ｕ，ｔ，ｋ）」、第２行目の要素「ｙ（ｕ，ｔ，ｋ）」、および第３行目の要素「１」により表現される。
【００６７】
そして、位置Ｖ（ｔ，ｕ，ｋ）および位置Ｖ（ｕ，ｔ，ｋ）が求められると、これらの位置Ｖ（ｔ，ｕ，ｋ）および位置Ｖ（ｕ，ｔ，ｋ）に基づいて、次式（９）を最小とする３×３同次変換行列Ｈｕ，ｔが求められる。
【００６８】
【数９】
2013168089.tif 000011
【００６９】
すなわち、式（９）を最小とする各要素Ｈｕ，ｔ［ｉ，ｊ］（但し、ｉ＝１乃至３，ｊ＝１乃至３）が求められると、これらの要素Ｈｕ，ｔ［ｉ，ｊ］からなる同次変換行列Ｈｕ，ｔが得られる。ここで、同次変換行列Ｈｕ，ｔには定数倍の不定性が残るので、同次変換行列Ｈｕ，ｔは、次式（１０）を満たすものとする。
【００７０】
【数１０】
2013168089.tif 000012
【００７１】
このようにして、各ｔ，ｕの組み合わせについて、同次変換行列Ｈｕ，ｔが求められる。したがって、撮影画像中に同じ被写体が投影されている２枚の撮影画像の組がＭ組あれば、「最初のステップ」によりＭ個の３×３同次変換行列Ｈｕ，ｔが求まることになる。なお、２枚の画像間の同次変換行列を求める方法は、従来から知られている手法であるので、その詳細な説明は省略する。
【００７２】
また、上述した式（８）は、Ｎ−１個の行列（同次変換行列Ｐ２乃至ＰＮ）の各要素を求めるという未知数が膨大な最小二乗法問題であった。一方、本技術においては、各ｔ，ｕの組に対して、式（９）は１個の行列（同次変換行列Ｈｕ，ｔ）の各要素を求めるだけであるので、未知数が少なく、簡単に同次変換行列Ｈｕ，ｔを求めることができる。
【００７３】
さて、「手順２−１」と「手順２−２」からなる「最初のステップ」を行うことで、撮影画像中に同じ被写体が投影されている２枚の撮影画像の組（ｕ，ｔ）については、次式（１１）を満たす同次変換行列Ｈｕ，ｔが求まったことになる。
【００７４】
【数１１】
2013168089.tif 000013
【００７５】
式（１１）は、ｔ枚目の撮影画像に投影されている撮影対象物体の位置をＶｔとし、この撮影対象物体がｕ枚目の撮影画像に投影されている位置をＶｕとしたときの関係式である。
【００７６】
［次のステップについて］
次に、上述した「次のステップ」について説明する。
【００７７】
上述した式（１）と式（１１）より、次式（１２）の関係を導くことができる。なお、式（１２）において、α（ｕ，ｔ）は比例定数（スカラ量）である。
【００７８】
【数１２】
2013168089.tif 000014
【００７９】
「最初のステップ」で求まった同次変換行列Ｈｕ，ｔに対して、式（１２）を満たす同次変換行列Ｐｓ（但しｓ＝２乃至Ｎ）を求めることが、「次のステップ」の処理内容である。
【００８０】
さて、画像解析により求められた同次変換行列Ｈｕ，ｔには誤差が存在するので、完全に式（１２）を満たすような同次変換行列Ｐｓは、一般的にはありえない。そこで、次式（１３）に示す誤差Δ’ｕ，ｔをなるべく小さくするような同次変換行列Ｐｓが求められることになる。
【００８１】
【数１３】
2013168089.tif 000015
【００８２】
すなわち、次式（１４）に示すように、３×３行列Δ’ｕ，ｔの各要素の二乗和が最小となるような３×３行列Ｐｓ（但しｓ＝２乃至Ｎ）を求め、得られた行列を同次変換行列Ｐｓとすればよい。
【００８３】
【数１４】
2013168089.tif 000016
【００８４】
なお、式（１４）において、累積加算される各要素Δ’ｕ，ｔ［ｉ，ｊ］の二乗値についての（ｕ，ｔ）の組み合わせは、「最初のステップ」の「手順２−１」で求められた全ての組み合わせとされる。また、同次変換行列Ｐ１は単位行列である。
【００８５】
さて、以降において、式（１４）について式変形を行なっていく。
【００８６】
まず、次式（１５）を満たす行列Ｔｓ（但しｓ＝１乃至Ｎ）を考える。なお、行列Ｔ１は単位行列とする。
【００８７】
【数１５】
2013168089.tif 000017
【００８８】
例えば、手持ち撮影による微少なぶれを補正するために、本技術を適用する場合であれば、最終的に求まる同次変換行列Ｐｓも、ほぼ単位行列である。したがって、そのような場合には、行列Ｔｓ（但しｓ＝２乃至Ｎ）を単位行列とすればよい。
【００８９】
また、例えば、３６０度周回撮影をして、得られた撮影画像をつなぎ合わせて３６０度のパノラマ画像を生成する場合に本技術を適用するのであれば、以下のような行列を行列Ｔｓとすればよい。
【００９０】
すなわち、デジタルカメラ等の撮影装置を３６０度分パン（周回）させながら、連続撮影して得られた撮影画像の枚数をＮとする。
【００９１】
この場合、およそ（３６０／Ｎ）度ごとに１枚の撮影が行われているはずである。つまり、ｓ枚目の撮影画像は、１枚目の撮影画像に対しておよそ（３６０×ｓ／Ｎ）度回転していると考えられるので、ｓ枚目と１枚目の撮影画像の位置関係を表す同次変換行列Ｐｓは、ほぼ次式（１６）で表される行列となる。
【００９２】
【数１６】
2013168089.tif 000018
【００９３】
この式（１６）で表される同次変換行列Ｐｓは、（３６０×ｓ／Ｎ）度の回転行列である。そこで、行列Ｔｓ（但しｓ＝２乃至Ｎ）は、式（１６）に示される行列の逆行列である、すなわち次式（１７）に示される定数行列であるとして行列Ｔｓを定義すれば、式（１５）が満たされることになる。式（１７）に示される行列Ｔｓは、（３６０×ｓ／Ｎ）度の逆回転行列である。
【００９４】
【数１７】
2013168089.tif 000019
【００９５】
次に、３×３行列Δｕ，ｔを、次式（１８）で定義する。
【００９６】
【数１８】
2013168089.tif 000020
【００９７】
式（１５）より、次式（１９）に示すように３×３行列Δｕ，ｔは、３×３行列Δ’ｕ，ｔとほぼ等しいといえる。
【００９８】
【数１９】
2013168089.tif 000021
【００９９】
したがって、式（１４）を最小とする同次変換行列Ｐｓを求める代わりに、次式（２０）を最小とする同次変換行列Ｐｓを求めてもよい。
【０１００】
【数２０】
2013168089.tif 000022
【０１０１】
さて、誤差である行列Δｕ，ｔの各要素に対して重みをつけて最小二乗法を解くべきであるので、実際には重みをｗｕ，ｔ［ｉ，ｊ］として、次式（２１）を最小とする同次変換行列Ｐｓを求めればよい。なお、重みｗｕ，ｔ［ｉ，ｊ］については後述する。
【０１０２】
【数２１】
2013168089.tif 000023
【０１０３】
以上においてした説明をまとめると、「次のステップ」では、式（１５）を満たす定数行列Ｔｓ（但しｓ＝１乃至Ｎ）を導入して、式（２１）を最小とする同次変換行列Ｐｓ（但しｓ＝２乃至Ｎ）を求めればよい。
【０１０４】
さて、１枚目乃至Ｎ枚目の合計Ｎ枚の撮影画像を連続撮影する際、撮影装置の光軸中心を、ほぼ動かさないで撮影することが一般的である。そのため、同次変換行列Ｐｓは、ほぼ直交行列となるはずである。
【０１０５】
したがって、式（１２）における右辺の「Ｐｕ−１Ｐｔ」は、ほぼ直交行列となる。また、式（１２）の左辺の同次変換行列Ｈｕ，ｔは、式（１０）を満たす。このことから、比例定数α（ｕ，ｔ）は、ほぼ１である。
【０１０６】
そこで、全ての比例定数α（ｕ，ｔ）が１に固定されて式（２１）が最小となる同次変換行列Ｐｓ（但しｓ＝２乃至Ｎ）が求められる。なお、比例定数α（ｕ，ｔ）が固定されていれば、式（２１）は同次変換行列Ｐｓの各要素に対して２次式となるので、式（２１）の最小問題を簡単に解くことができる。
【０１０７】
次に、求まった同次変換行列Ｐｓ（但しｓ＝２乃至Ｎ）の値が式（２１）に代入されて、スカラ値である比例定数α（ｕ，ｔ）のみが未知パラメータとされ、式（２１）を最小とする比例定数α（ｕ，ｔ）の値が求められる。
【０１０８】
さらに、求まった比例定数α（ｕ，ｔ）の値が式（２１）に代入されて、３×３同次変換行列Ｐｓ（但しｓ＝２乃至Ｎ）が未知パラメータとされ、式（２１）を最小とする同次変換行列Ｐｓが求められる。
【０１０９】
次に、求められた同次変換行列Ｐｓ（但しｓ＝２乃至Ｎ）の値が式（２１）に代入されて、スカラ値である比例定数α（ｕ，ｔ）のみが未知パラメータとされ、式（２１）を最小とする比例定数α（ｕ，ｔ）の値が求められる。
【０１１０】
以下、同様にして、比例定数α（ｕ，ｔ）の値を式（２１）に代入して同次変換行列Ｐｓを求める処理と、同次変換行列Ｐｓを式（２１）に代入して比例定数α（ｕ，ｔ）を求める処理とが規定回数だけ繰り返し交互に行なわれる。これにより、式（２１）を最小とする３×３同次変換行列Ｐｓ（但しｓ＝２乃至Ｎ）、およびスカラ値である比例定数α（ｕ，ｔ）を求めることができる。
【０１１１】
このように、複数の未知パラメータの最適化問題において、未知パラメータを２つの組に分け、１つの組に属する未知パラメータを固定しておいて他方の組みに属する未知パラメータを最適化し、次に、後者の組みに属する未知パラメータを、直前の最適化において求めた値に固定しておいて、前者の組みに属する未知パラメータを最適化していくという処理で式（２１）の最適化問題を簡単に解くことができる。
【０１１２】
すなわち、本技術によれば、式（２１）を最小とする同次変換行列Ｐｓを求めることで、式（８）の最小化問題における場合と比べて、より簡単に同次変換行列Ｐｓを得ることができる。
【０１１３】
次に、重みｗｕ，ｔ［ｉ，ｊ］について説明する。
【０１１４】
重みｗｕ，ｔ［ｉ，ｊ］は、要素Δｕ，ｔ［ｉ，ｊ］、すなわち、行列Δｕ，ｔのｉ行目ｊ列目の要素に対する重みである。
【０１１５】
行列Δｕ，ｔのｉ行目ｊ列目の値、すなわち、比例定数α（ｕ，ｔ）＝１とした式（１８）の右辺のｉ行目ｊ列目の要素の値が、０でない微小な値をもったとしても、次式（２２）と式（２３）で示される２つの方向の差が著しく変化する場合は、重みｗｕ，ｔ［ｉ，ｊ］の値が大きくなるようにされる。これにより、式（１８）の最適化計算において、行列Δｕ，ｔのｉ行目ｊ列目が、極力０に近い値となるようになる。すなわち、極力、式（１２）が満たされるようにされる。
【０１１６】
【数２２】
2013168089.tif 000024
【０１１７】
【数２３】
2013168089.tif 000025
【０１１８】
逆に、行列Δｕ，ｔのｉ行目ｊ列目の値、すなわち、比例定数α（ｕ，ｔ）＝１とした式（１８）の右辺のｉ行目ｊ列目の要素の値が、０から大きく乖離した値をもったとしても、式（２２）と式（２３）で示される２つの方向の差がほとんどない場合は、重みｗｕ，ｔ［ｉ，ｊ］の値が小さくなるようにされる。これにより、式（１８）の最適化計算において、行列Δｕ，ｔのｉ行目ｊ列目が、０に近い値とならなくてもよいようにされる。すなわち、ある程度は式（１２）が満たされなくてもよいようにされる。
【０１１９】
このような重みｗｕ，ｔ［ｉ，ｊ］について、再度、異なる表現で説明する。
【０１２０】
ｔ枚目の撮影画像のある位置Ｖｔに投影されている被写体は、ｕ枚目の撮影画像上では、式（２２）に表される位置Ｖｕに投影されている。これは、そのように式（９）を用いて同次変換行列Ｈｕ，ｔを確定させたのであるから当然である。
【０１２１】
一方、式（２１）の最小二乗法の問題で求めた解である同次変換行列Ｐｓを用いると、ｔ枚目の撮影画像のある位置Ｖｔに投影されている被写体は、ｕ枚目の撮影画像上では式（２３）で表される位置Ｖｕ’に投影されているとされる。
【０１２２】
したがって、式（２２）と式（２３）で示される２つの方向、つまり位置Ｖｕと位置Ｖｕ’の方向に差がなければ、求めた同次変換行列Ｐｓは、良好な解であるといえる。
【０１２３】
逆に、式（２２）と式（２３）で示される２つの方向、つまり位置Ｖｕと位置Ｖｕ’の方向の差が大きければ、求めた同次変換行列Ｐｓは、良好な解であるとはいえない。
【０１２４】
そこで、式（２２）と式（２３）で示される２つの方向の差に大きく寄与する行列Δｕ，ｔの要素Δｕ，ｔ［ｉ，ｊ］については、極力０に近い値となるように重みｗｕ，ｔ［ｉ，ｊ］を制御すればよい。具体的には、式（２１）中の重みｗｕ，ｔ［ｉ，ｊ］の値を大きくすればよい。
【０１２５】
逆に、式（２２）と式（２３）で示される２つの方向の差にほとんど寄与しない行列Δｕ，ｔの要素Δｕ，ｔ［ｉ，ｊ］については、その値を０としなくても、求められた同次変換行列Ｐｓには問題はない。つまり、式（２１）中の重みｗｕ，ｔ［ｉ，ｊ］の値を小さくしておけばよい。
【０１２６】
以上のことをさらに定量的に述べると以下のとおりである。
【０１２７】
まず、式（２２）と式（２３）において、位置Ｖｔと位置Ｖｕ（または、位置Ｖｕ’）を３個の要素で明示的に記すと、次式（２４）および式（２５）となる。
【０１２８】
【数２４】
2013168089.tif 000026
【０１２９】
【数２５】
2013168089.tif 000027
【０１３０】
すなわち、式（２２）の位置Ｖｔと位置Ｖｕを３個の要素で明示的に記したものが式（２４）であり、式（２３）の位置Ｖｔと位置Ｖｕ’を３個の要素で明示的に記したものが式（２５）である。
【０１３１】
また、式（１５）と式（１８）から次式（２６）の関係が成立するので、式（２５）は次式（２７）となる。
【０１３２】
【数２６】
2013168089.tif 000028
【０１３３】
【数２７】
2013168089.tif 000029
【０１３４】
ここで、行列Δｕ，ｔの具体的な行列として、次式（２８）に示す行列δｉ，ｊ（但しｉ＝１乃至３，ｊ＝１乃至３）を定義する。
【０１３５】
【数２８】
2013168089.tif 000030
【０１３６】
ここで、式（２８）に示す各行列δｉ，ｊは、ｉ行目ｊ列目の要素の値がεであり、他の要素の値が０である行列である。なお、ｉ行目ｊ列目の要素の値εは、例えば「0.0001」などの微小な値とされる。
【０１３７】
また、式（２７）の行列Δｕ，ｔを行列δｉ，ｊとした場合における位置Ｖｕ’の第１行目の要素ｘｕ’および第２行目の要素ｙｕ’が、それぞれｘｕ’＝ｘｕ（ｉ，ｊ）’、およびｙｕ’＝ｙｕ（ｉ，ｊ）’であるとする。この場合、式（２７）は次式（２９）となる。
【０１３８】
【数２９】
2013168089.tif 000031
【０１３９】
行列Δｕ，ｔのｉ行目ｊ列目の要素であるΔｕ，ｔ［ｉ，ｊ］が０でない、すなわち、例えば行列Δｕ，ｔが行列δｉ，ｊであるとする。
【０１４０】
この場合、ｔ枚目の撮影画像のある位置Ｖｔについて、式（２２）と式（２３）で示される２つの方向の差は、式（２４）の（ｘｕ，ｙｕ）と、式（２９）の（ｘｕ（ｉ，ｊ）’，ｙｕ（ｉ，ｊ）’）とを用いて、次式（３０）で表現される。
【０１４１】
【数３０】
2013168089.tif 000032
【０１４２】
式（３０）で示される方向の差は、誤差である行列Δｕ，ｔのｉ行目ｊ列目の要素のみが微小な値となり、行列Δｕ，ｔの他の要素は０となる場合における式（２２）と式（２３）で示される２つの方向の差である。
【０１４３】
したがって、式（３０）で示される方向の差が大きい場合、行列Δｕ，ｔのｉ行目ｊ列目の要素Δｕ，ｔ［ｉ，ｊ］は、式（２２）と式（２３）で示される２つの方向の差に大きく寄与することになる。そのような場合には、重みｗｕ，ｔ［ｉ，ｊ］の値を大きくすればよい。
【０１４４】
より具体的には、重みｗｕ，ｔ［ｉ，ｊ］の値は、次式（３１）に示される値とすればよい。すなわち、各位置Ｖｔについて求めた式（３０）で示される差の総和を、位置Ｖｔの個数で除算して得られる値を重みｗｕ，ｔ［ｉ，ｊ］とすればよい。
【０１４５】
【数３１】
2013168089.tif 000033
【０１４６】
なお、式（３１）における（ｘｔ，ｙｔ）についての和は、ｔ枚目の撮影画像内の全ての位置における和でもよいし、ｔ枚目の撮影画像内のうち、ｕ枚目の撮影画像でも撮影されている被写体の部分のみの和でもよい。さらには、簡易的に、ｔ枚目の撮影画像の四隅の位置のみで近似してもよい。
【０１４７】
ここで、より具体的に、ｔ枚目の撮影画像の四隅の位置のみを、式（３１）の計算に用いる位置Ｖｔとする場合について説明する。
【０１４８】
例えば、図３に示すように、ｔ枚目の撮影画像ＰＣＴ（ｔ）の４つの各頂点の位置が位置（ｘ１ｔ，ｙ１ｔ），（ｘ２ｔ，ｙ２ｔ），（ｘ３ｔ，ｙ３ｔ），（ｘ４ｔ，ｙ４ｔ）であるとする。
【０１４９】
この場合、４つの各位置（ｘ１ｔ，ｙ１ｔ）乃至（ｘ４ｔ，ｙ４ｔ）についての式（２４）の関係は、次式（３２）に示すようになる。
【０１５０】
【数３２】
2013168089.tif 000034
【０１５１】
また、任意の（ｉ，ｊ）（但しｉ＝１乃至３，ｊ＝１乃至３）に対して、式（２８）で定義された行列δｉ，ｊを用いて、各位置（ｘ１ｔ，ｙ１ｔ）乃至（ｘ４ｔ，ｙ４ｔ）について式（２９）を具体的に書き下すと次式（３３）となる。但し、式（２８）中のεは、例えば0.0001などの微小な値であるとする。
【０１５２】
【数３３】
2013168089.tif 000035
【０１５３】
さらに、位置Ｖｔが位置（ｘ１ｔ，ｙ１ｔ）乃至（ｘ４ｔ，ｙ４ｔ）である場合、式（３１）は次式（３４）となる。
【０１５４】
【数３４】
2013168089.tif 000036
【０１５５】
この式（３４）を計算すれば、目的とする重みｗｕ，ｔ［ｉ，ｊ］の値を得ることができる。このように、同次変換行列Ｐｓを用いて、撮影画像の位置合わせを行なったときに同次変換行列Ｈｕ，ｔの各要素の微小変動により生じる、隣接する撮影画像間の位置ずれの量に応じて重みｗｕ，ｔ［ｉ，ｊ］を定めることで、より良好な同次変換行列Ｐｓを得ることができるようになる。
【０１５６】
［画像処理装置の構成例］
次に、本技術を適用した具体的な実施の形態について説明する。図４は、本技術を適用した画像処理装置の一実施の形態の構成例を示す図である。
【０１５７】
図４の画像処理装置１１は、取得部２１、画像解析部２２、および同次変換行列算出部２３から構成される。
【０１５８】
取得部２１は、撮影装置により連続撮影して得られたＮ枚の撮影画像を取得し、画像解析部２２、および同次変換行列算出部２３に供給する。画像解析部２２は、取得部２１から供給された撮影画像に基づいて、同じ被写体が投影された撮影画像間の同次変換行列Ｈｕ，ｔを算出し、同次変換行列算出部２３に供給する。
【０１５９】
同次変換行列算出部２３は、取得部２１からの撮影画像と、画像解析部２２からの同次変換行列Ｈｕ，ｔとに基づいて、１枚目とｓ枚目の撮影画像間の位置関係を示す同次変換行列Ｐｓを算出し、出力する。
【０１６０】
また、同次変換行列算出部２３は重み算出部３１を備えており、重み算出部３１は、同次変換行列Ｐｓの算出に用いる重みｗｕ，ｔ［ｉ，ｊ］を算出する。
【０１６１】
なお、同次変換行列算出部２３は、図示せぬメモリを備えている。同次変換行列算出部２３や重み算出部３１は、同次変換行列Ｈｕ，ｔなど、各演算に必要な値を一時的にメモリに記録させ、メモリに記録されている値を用いながら同次変換行列Ｐｓや重みｗｕ，ｔ［ｉ，ｊ］を算出する。
【０１６２】
［位置関係算出処理の説明］
また、画像処理装置１１に撮影画像が供給され、同次変換行列Ｐｓの算出が指示されると、画像処理装置１１は位置関係算出処理を行って、同次変換行列Ｐｓを算出し、出力する。以下、図５のフローチャートを参照して、画像処理装置１１による位置関係算出処理について説明する。
【０１６３】
ステップＳ１１において、取得部２１は、撮影装置により連続して撮影された、１枚目乃至Ｎ枚目の合計Ｎ枚の撮影画像を取得して、画像解析部２２、および同次変換行列算出部２３に供給する。
【０１６４】
ステップＳ１２において、画像解析部２２は、取得部２１から供給された撮影画像を解析して、同じ被写体が投影されている２つの撮影画像の組み合わせを全て特定する。このステップＳ１２の処理は、上述した「手順２−１」の処理に対応する。
【０１６５】
例えば、撮影画像が撮影装置を周回させながら３６０度の各方向を撮影して得られた画像である場合には、互いに隣接する２枚の撮影画像の各組み合わせが、同じ被写体が投影されている撮影画像の全ての組み合わせとなることがある。
【０１６６】
ステップＳ１３において、画像解析部２２は、ステップＳ１２の処理で特定された２つの撮影画像の各組み合わせについて、取得部２１からの撮影画像に基づいて、撮影画像間の位置関係を示す同次変換行列Ｈｕ，ｔを算出し、同次変換行列算出部２３に供給する。
【０１６７】
すなわち、画像解析部２２は、２つの撮影画像の組み合わせ、つまりｔ枚目とｕ枚目の撮影画像について、同じ被写体が投影されている対応位置を求める。具体的には、上述したｔ枚目の撮影画像上の位置Ｖ（ｔ，ｕ，ｋ）と、ｕ枚目の撮影画像上の位置Ｖ（ｕ，ｔ，ｋ）とが求められる。
【０１６８】
そして、画像解析部２２は、求めた位置Ｖ（ｔ，ｕ，ｋ）と位置Ｖ（ｕ，ｔ，ｋ）に基づいて、式（９）を最小とする３×３同次変換行列Ｈｕ，ｔを求める。ここで同次変換行列Ｈｕ，ｔには定数倍の不定性が残るので、同次変換行列Ｈｕ，ｔの要素は式（１０）を満たすものとする。以上のステップＳ１３の処理は、上述した「手順２−２」の処理に対応する。
【０１６９】
ステップＳ１４において、同次変換行列算出部２３は、同次変換行列Ｐｓの算出に用いられる行列Ｔｓ（但しｓ＝１乃至Ｎ）を定める。ここで、行列Ｔｓは、式（１５）に示したように、およそ同次変換行列Ｐｓの逆行列、つまりＰｓ−１となる行列である。
【０１７０】
例えば、画像処理装置１１から出力される同次変換行列Ｐｓが用いられて、手持ち撮影による微小なぶれの補正、つまり手ぶれ補正が行なわれる場合、同次変換行列算出部２３は、行列Ｔｓを単位行列とする。
【０１７１】
また、例えば画像処理装置１１から出力される同次変換行列Ｐｓを用いて、３６０度周回撮影をした撮影画像をつなぎ合わせることで、３６０度のパノラマ画像が生成される場合には、同次変換行列算出部２３は、式（１７）に示される行列を行列Ｔｓとする。
【０１７２】
ステップＳ１５において、重み算出部３１は、取得部２１からの撮影画像、画像解析部２２からの同次変換行列Ｈｕ，ｔ、および式（２８）の行列δｉ，ｊに基づいて、式（３２）乃至式（３４）の計算を行い、重みｗｕ，ｔ［ｉ，ｊ］を算出する。このとき、重みｗｕ，ｔ［ｉ，ｊ］は、ステップＳ１２の処理で特定された２つの撮影画像の各組み合わせについて求められる。
【０１７３】
なお、重みｗｕ，ｔ［ｉ，ｊ］の算出は、式（３２）乃至式（３４）の計算に限らず、式（２４）、式（２９）、および式（３１）の計算により求められてもよい。
【０１７４】
ステップＳ１６において、同次変換行列算出部２３は、同次変換行列Ｐｓの算出に用いる比例定数α（ｕ，ｔ）を１とする。ここで、比例定数α（ｕ，ｔ）の値とされた１は、一時的な値であり、以降の処理において最終的な比例定数α（ｕ，ｔ）の値が定められる。
【０１７５】
ステップＳ１７において、同次変換行列算出部２３は、直前の処理で定められた比例定数α（ｕ，ｔ）を式（２１）に代入し、式（２１）の右式を最小とする同次変換行列Ｐｓ（但しｓ＝２乃至Ｎ）を求める。なお、ｓ＝１における同次変換行列Ｐｓは単位行列とされる。
【０１７６】
例えば、式（２１）の計算では、ステップＳ１４で定められた行列Ｔｓや、ステップＳ１５で求められた重みｗｕ，ｔ［ｉ，ｊ］、画像解析部２２から供給された同次変換行列Ｈｕ，ｔが用いられる。
【０１７７】
ステップＳ１８において、同次変換行列算出部２３は、直前の処理で定められた同次変換行列Ｐｓ（但しｓ＝２乃至Ｎ）を式（２１）に代入し、式（２１）の右式を最小とする比例定数α（ｕ，ｔ）を求める。なお、ｓ＝１における同次変換行列Ｐｓは単位行列とされる。
【０１７８】
ステップＳ１７における場合と同様に、ステップＳ１８においても式（２１）の計算では、ステップＳ１４で定められた行列Ｔｓや、ステップＳ１５で求められた重みｗｕ，ｔ［ｉ，ｊ］、画像解析部２２から供給された同次変換行列Ｈｕ，ｔが用いられる。
【０１７９】
ステップＳ１９において、同次変換行列算出部２３は、式（２１）により同次変換行列Ｐｓおよび比例定数α（ｕ，ｔ）を求める処理、つまりステップＳ１７およびステップＳ１８の処理を規定回数だけ行なったか否かを判定する。
【０１８０】
ステップＳ１９において、まだ規定回数だけ処理を行なっていないと判定された場合、処理はステップＳ１７に戻り、上述した処理が繰り返される。
【０１８１】
これに対して、ステップＳ１９において、規定回数だけ処理を行なったと判定された場合、同次変換行列算出部２３は、最後に求められた同次変換行列Ｐｓを、最終的な同次変換行列Ｐｓとし、処理はステップＳ２０に進む。
【０１８２】
ステップＳ２０において、同次変換行列算出部２３は、１枚目の撮影画像を基準とした、ｓ枚目（但しｓ＝２乃至Ｎ）の撮影画像の位置を示す最終的な同次変換行列Ｐｓを出力し、位置関係算出処理は終了する。このようにして画像処理装置１１から出力された同次変換行列Ｐｓは、撮影画像の手ぶれ補正に用いられたり、パノラマ画像の生成に用いられたりする。
【０１８３】
以上のようにして、画像処理装置１１は、定数行列Ｔｓを導入し、式（２１）の計算により、最適な同次変換行列Ｐｓを算出する。これにより、より簡単に撮影画像間の位置関係を示す同次変換行列Ｐｓを得ることができる。
【０１８４】
〈第２の実施の形態〉
［同次変換行列の算出について］
また、同次変換行列Ｐｓは直交行列であるという条件下で、同次変換行列Ｐｓが算出されるようにしてもよい。
【０１８５】
例えば、撮影装置が光軸中心で回転されている状態で各撮影画像が撮影されたとする。そのような場合、同次変換行列Ｐｓは直交行列となるので、同次変換行列Ｐｓは直交行列であるという条件下で式（２１）を解けばよいことになる。
【０１８６】
そこで、次式（３５）で定義される３×３直交行列Ｑｓ（但しｓ＝１乃至Ｎ）を考える。ここで、行列Ｔｓは式（１５）に示される定数行列である。
【０１８７】
【数３５】
2013168089.tif 000037
【０１８８】
式（１５）から、直交行列Ｑｓは、ほぼ単位行列となるので、各ｓについて直交行列Ｑｓの要素を３つのスカラ量Ａｓ，Ｂｓ，Ｃｓを用いて次式（３６）で表すことができる。
【０１８９】
【数３６】
2013168089.tif 000038
【０１９０】
なぜなら、一般的に直交行列は次式（３７）で表現できる。そして、この実施の形態の場合のように、式（３７）の直交行列が、ほぼ単位行列であるときには、式（３７）の変数Ａ，Ｂ，Ｃは全て微小な値であり、ｃｏｓ（Ａ）＝１，ｓｉｎ（Ａ）＝Ａ等の近似ができるので、式（３７）は式（３８）となるからである。
【０１９１】
【数３７】
2013168089.tif 000039
【０１９２】
【数３８】
2013168089.tif 000040
【０１９３】
また、式（３５）を用いて式（２１）を変形すると、次式（３９）が得られる。
【０１９４】
【数３９】
2013168089.tif 000041
【０１９５】
この実施の形態では、同次変換行列Ｐｓを求める代わりに、式（３９）の計算により直交行列Ｑｓが求められる。そして、得られた直交行列Ｑｓから式（３５）の計算が行なわれ、同次変換行列Ｐｓが求められる。
【０１９６】
［位置関係算出処理の説明］
このように、同次変換行列Ｐｓは直交行列であるという条件下で、同次変換行列Ｐｓが算出される場合、画像処理装置１１は、図６に示す位置関係算出処理を行なって、同次変換行列Ｐｓを算出する。以下、図６のフローチャートを参照して、画像処理装置１１による位置関係算出処理について説明する。
【０１９７】
なお、ステップＳ５１乃至ステップＳ５６の処理は、図５のステップＳ１１乃至ステップＳ１６の処理と同様であるので、その説明は省略する。
【０１９８】
ステップＳ５７において、同次変換行列算出部２３は、直前の処理で定められた比例定数α（ｕ，ｔ）を式（３９）に代入し、式（３９）の右式を最小とする直交行列Ｑｓ（但しｓ＝２乃至Ｎ）、すなわちスカラ量Ａｓ，Ｂｓ，Ｃｓを求める。
【０１９９】
なお、ｓ＝１におけるスカラ量Ａｓ，Ｂｓ，Ｃｓは、全て０であるとし、式（３９）における直交行列Ｑｓは、式（３６）で表される行列であるとする。また、例えば式（３９）の計算では、ステップＳ５４で定められた行列Ｔｓや、ステップＳ５５で求められた重みｗｕ，ｔ［ｉ，ｊ］、画像解析部２２から供給された同次変換行列Ｈｕ，ｔが用いられる。
【０２００】
ステップＳ５８において、同次変換行列算出部２３は、直前の処理で定められた直交行列Ｑｓ（但しｓ＝２乃至Ｎ）、すなわちスカラ量Ａｓ，Ｂｓ，Ｃｓを式（３９）に代入し、式（３９）の右式を最小とする比例定数α（ｕ，ｔ）を求める。
【０２０１】
なお、ｓ＝１におけるスカラ量Ａｓ，Ｂｓ，Ｃｓは、全て１であるとし、式（３９）における直交行列Ｑｓは、式（３６）で表される行列であるとする。また、ステップＳ５７における場合と同様に、ステップＳ５８においても式（３９）の計算では、ステップＳ５４で定められた行列Ｔｓや、ステップＳ５５で求められた重みｗｕ，ｔ［ｉ，ｊ］、画像解析部２２から供給された同次変換行列Ｈｕ，ｔが用いられる。
【０２０２】
ステップＳ５９において、同次変換行列算出部２３は、式（３９）により直交行列Ｑｓおよび比例定数α（ｕ，ｔ）を求める処理、つまりステップＳ５７およびステップＳ５８の処理を規定回数だけ行なったか否かを判定する。
【０２０３】
ステップＳ５９において、まだ規定回数だけ処理を行なっていないと判定された場合、処理はステップＳ５７に戻り、上述した処理が繰り返される。
【０２０４】
これに対して、ステップＳ５９において、規定回数だけ処理を行なったと判定された場合、処理はステップＳ６０に進む。
【０２０５】
ステップＳ６０において、同次変換行列算出部２３は、最後に求められた直交行列Ｑｓ（但しｓ＝２乃至Ｎ）、すなわちスカラ量Ａｓ，Ｂｓ，Ｃｓを用いて、１枚目の撮影画像を基準とした、ｓ枚目（但しｓ＝２乃至Ｎ）の撮影画像の位置を示す同次変換行列Ｐｓを算出する。具体的には、同次変換行列算出部２３は、直交行列Ｑｓと行列Ｔｓに基づいて式（３５）の計算を行なうことで、同次変換行列Ｐｓを算出する。
【０２０６】
最終的な同次変換行列Ｐｓが得られると、同次変換行列算出部２３は、得られた同次変換行列Ｐｓを出力し、位置関係算出処理は終了する。このようにして画像処理装置１１から出力された同次変換行列Ｐｓは、撮影画像の手ぶれ補正に用いられたり、パノラマ画像の生成に用いられたりする。
【０２０７】
以上のようにして、画像処理装置１１は、定数行列Ｔｓと直交行列Ｑｓを導入し、式（３９）および式（３５）の計算により、最適な同次変換行列Ｐｓを算出する。これにより、より簡単に撮影画像間の位置関係を示す同次変換行列Ｐｓを得ることができる。
【０２０８】
以上において説明した第１の実施の形態および第２の実施の形態では、式（８）という複雑な式の最小化問題を、定数行列Ｔｓや直交行列Ｑｓを導入することで、式（２１）や式（３９）に示す簡単な式の最小化問題とした。これにより、従来よりも簡単かつ少ない演算量で同次変換行列Ｐｓを得ることができる。
【０２０９】
また、式（２１）や式（３９）を最小化する際に、各誤差に重みをつけて、最適な誤差配分になるようにされている。つまり、行列Δｕ，ｔのｉ行目ｊ列目の要素が微小な値だけ０からずれたときに、どの程度破綻が生じるか、すなわち撮影画像間の位置ずれが生じるかが計算されて、そのぶれ量が重みｗｕ，ｔ［ｉ，ｊ］とされている。
【０２１０】
〈第３の実施の形態〉
［同次変換行列の最適化計算について］
なお、上述した第１の実施の形態においては、同次変換行列Ｐｓの最適化計算、すなわち式（２１）の最小化計算において、同次変換行列Ｐｓを求める処理と、比例定数α（ｕ，ｔ）を求める処理とを交互に複数回行なうと説明した。つまり、図５のステップＳ１７とステップＳ１８の処理を繰り返し行なうと説明した。
【０２１１】
しかし、同次変換行列Ｐｓの最適化計算において、処理が繰り返し行なわれる回数（規定回数）を１としても、ある程度の精度で同次変換行列Ｐｓを求めることができる。つまり比例定数α（ｕ，ｔ）が１であるとし、式（２１）を最小とする同次変換行列Ｐｓを求める処理を１度だけ行なうようにしても、ある程度の精度で同次変換行列Ｐｓを求めることができる。
【０２１２】
そこで、以下においては、同次変換行列Ｐｓの最適化処理を１度だけ行なうようにし、さらに容易に同次変換行列Ｐｓを求めることができるようにする場合について、説明することとする。
【０２１３】
この実施の形態は、特に、手持ちで撮影されたビデオ映像（動画像）としての各フレームの撮影画像を基準位置へ位置合わせすることにより、手ぶれ等の撮影装置の動きを取り除き、あたかも三脚を用いて撮影したかのような映像を生成する場合等に有用である。以下では、撮影画像が動画像を構成する各フレームの画像であり、動画像から手ぶれを除去する場合を例として説明を続ける。
【０２１４】
例えば、動画像を構成する各フレームの撮影画像と、基準となる撮影画像（以下、基準撮影画像とも称する）との位置関係の誤差を小さくすることを考える。
【０２１５】
この場合、入力された全ての撮影画像の（ｕ，ｔ）の組み合わせについて、撮影画像間の同次変換行列Ｈｕ，ｔを求めておき、全ての同次変換行列Ｐｓを同時に最適化する方法が考えられる。そのような方法が上述した第１の実施の形態の手法である。
【０２１６】
しかし、全ての同次変換行列Ｐｓを同時に最適化する方法では、撮影画像の枚数が増えるほど、２つの撮影画像の組み合わせの数が増えるため、同次変換行列Ｈｕ，ｔの計算コスト、同次変換行列Ｐｓの最適化にかかる計算コスト、および同次変換行列Ｐｓを求めるまで撮影画像を保持しておくのに必要なメモリの容量が大きくなってしまう。
【０２１７】
そこで、本技術では、第１に、全撮影画像のうちのいくつかを１つの撮影画像群として、複数の撮影画像群に分けて順番に同次変換行列Ｐｓの最適化を行い、第２に、撮影画像の組み合わせを限定することで、最適化の計算コストおよびメモリの削減が実現される。
【０２１８】
それでは、以下、より具体的に本実施の形態における最適化について説明していく。なお、以下においては、基準撮影画像は１枚目の撮影画像であるものとする。
【０２１９】
基準撮影画像を含むＮ枚の撮影画像が与えられ、それらの撮影画像のうちのＭ枚の撮影画像を用いて同次変換行列Ｐｓの最適化を行なうとする。
【０２２０】
このとき、Ｍ枚の撮影画像には必ず基準撮影画像が含まれるようにされる。また、Ｍ枚の撮影画像について考えられる２枚の撮影画像の組み合わせの全てではなく、基準撮影画像と他の撮影画像との組み合わせ、および互いに隣接する撮影画像の組み合わせのみが最適化に用いられるようにする。このように１度の最適化計算に用いる撮影画像数や、撮影画像の組み合わせを限定することで、演算量やメモリ容量を削減できる。
【０２２１】
例えば、１度の最適化計算に用いられる撮影画像数Ｍが「５」である場合、図７に示すように、１枚目の撮影画像ＰＣＴ（１）乃至５枚目の撮影画像ＰＣＴ（５）が最適化計算に用いられることになる。
【０２２２】
図７の例では、１枚目の撮影画像ＰＣＴ（１）が基準撮影画像とされている。したがって、この場合、２枚の撮影画像の組（ｕ，ｔ）として、（ｕ，ｔ）＝（１，２），（１，３），（１，４），（１，５），（２，３），（３，４），（４，５）について、同次変換行列Ｈｕ，ｔが求められる。
【０２２３】
そして、次式（４０）がなるべく満たされるように、同次変換行列Ｐｓの最適化が行なわれる。
【０２２４】
【数４０】
2013168089.tif 000042
【０２２５】
なお、式（４０）がなるべく満たされるように、同次変換行列Ｐｓの最適化を行なう場合には、上述した重みｗｕ，ｔ［ｉ，ｊ］が用いられる。
【０２２６】
したがって、式（４０）の最適化では、（ｕ，ｔ）＝（１，２），（１，３），（１，４），（１，５），（２，３），（３，４），（４，５）について、式（２１）の右式を最小とする同次変換行列Ｐｓ（但しｓ＝２乃至５）が求められることになる。
【０２２７】
なお、同次変換行列Ｐ１は単位行列とされ、この実施の形態では、手持ち撮影による手ぶれの補正を例としているので、各行列Ｔｓは単位行列とされる。また、比例定数α（ｕ，ｔ）＝１とされる。
【０２２８】
このようにして得られた同次変換行列Ｐ１乃至同次変換行列Ｐ５が、最適化された同次変換行列Ｐｓとされる。
【０２２９】
その後、最適化に用いられるＭ枚の撮影画像のうちの基準撮影画像を除く（Ｍ−１）枚が、予め定められたシフト量ＳＦだけずらされながら、Ｍ枚の撮影画像を用いた同次変換行列Ｐｓの最適化が行なわれていく。
【０２３０】
例えば、シフト量ＳＦ＝１であり、直前に最適化された撮影画像がｆ−１枚目の撮影画像であるとすると、次の最適化計算では、基準撮影画像と、（ｆ−Ｍ＋２）枚目からｆ枚目の撮影画像とからなるＭ枚の撮影画像が処理対象の撮影画像群として選択される。
【０２３１】
なお、以下、ｆ枚目の撮影画像を最適化対象画像とも称することとし、Ｍ枚の撮影画像を用いた同次変換行列Ｐｓの最適化を部分最適化とも称することとする。つまり、部分最適化処理に用いる連続する（Ｍ−１）枚の撮影画像をずらしながら、複数回の部分最適化処理を行なうことで、最適化されたＮ個の同次変換行列Ｐｓが求められる。また、以下では、シフト量ＳＦは１であるものとして説明を続ける。
【０２３２】
基準撮影画像である１枚目の撮影画像と、（ｆ−Ｍ＋２）枚目乃至ｆ枚目の撮影画像とからなるＭ枚の撮影画像が選択されると、ｔ枚目（但し、ｔ＝（ｆ−Ｍ＋２）乃至ｆ）の撮影画像について、同次変換行列Ｈ１，ｔが求められる。
【０２３３】
これにより、基準撮影画像に対するｔ枚目の撮影画像の位置合わせの誤差を最小化する方程式「Ｐ１Ｈ１，ｔ−Ｐｔ＝０」が得られる。この方程式を部分最適化に用いれば、基準撮影画像との位置ずれが少ない同次変換行列Ｐｓを得ることができる。
【０２３４】
続いて、ｔ枚目（但し、ｔ＝（ｆ−Ｍ＋３）乃至ｆ）の撮影画像について、同次変換行列Ｈｕ，ｔ（但し、ｕ＝ｔ−１）が求められる。これにより、ｔ枚目の撮影画像の直前にある撮影画像、つまりｔ−１枚目の撮影画像に対する位置合わせの誤差を最小化する方程式「ＰｕＨｕ，ｔ−Ｐｔ＝０」が得られる。この方程式を部分最適化に用いれば、位置ずれの少ない高精度な同次変換行列Ｐｓを得ることができる。
【０２３５】
そして、これらの得られた方程式から、最小二乗法により、式（２１）の右式を最小とする同次変換行列Ｐｓ（但しｓ＝（ｆ−Ｍ＋２）乃至ｆ，Ｐ１は単位行列）が求められ、同次変換行列Ｐｆが最適化された同次変換行列とされる。
【０２３６】
以降、ｆ＝Ｎとなるまで、上述した処理が繰り返し行なわれ、最終的に最適化された同次変換行列Ｐ１乃至同次変換行列ＰＮが得られる。
【０２３７】
このようにすることで、処理対象とされた撮影画像群について、基準撮影画像との位置関係を求めると同時に、時間的に連続する撮影画像間での位置関係の位置ずれも小さくすることができ、時間方向に安定した適切な同次変換行列Ｐｓを得ることができる。
【０２３８】
また、上述した撮影画像の組み合わせの同次変換行列Ｈｕ，ｔを用いて同次変換行列Ｐｓの部分最適化を行なうことで、部分最適化、つまり最小二乗法で計算すべき行列が、正方行列、かつ対象行列、かつ帯行列（疎行列）となり、高速に解を求めることができる。
【０２３９】
すなわち、上述の方程式「Ｐ１Ｈ１，ｔ−Ｐｔ＝０」と方程式「ＰｕＨｕ，ｔ−Ｐｔ＝０」のそれぞれを第ｉ行目第ｊ列目の要素ごとの方程式に分け、要素ごとの方程式に重みｗｕ，ｔ［ｉ，ｊ］を乗算して並べることで、連立方程式が得られる。例えば、同次変換行列Ｈｕ，ｔや同次変換行列Ｐｓが３×３行列であれば、９（２Ｍ−３）個の方程式からなる連立方程式が得られる。
【０２４０】
さらに、この連立方程式を行列で表現すると、１つの方程式「Ａｘ＝ｂ」が得られる。ここで、行列Ａは、重みｗｕ，ｔ［ｉ，ｊ］と同次変換行列Ｈｕ，ｔの要素からなる行列である。また、行列ｘは、同次変換行列Ｐｓの要素からなる縦ベクトルであり、行列ｂは、重みｗｕ，ｔ［ｉ，ｊ］と同次変換行列Ｈｕ，ｔの要素からなる縦ベクトルである。
【０２４１】
そして、最小二乗法の計算では、方程式「Ａｘ＝ｂ」の両辺に行列Ａの転置行列である行列ＡＴが乗算されて、方程式「ＡＴＡｘ＝ＡＴｂ」の最適化が行なわれる。
【０２４２】
このとき行列ＡＴＡは、正方行列、かつ対象行列、かつ帯行列となる。したがってＡＴＡは、例えば図８に示すように、非零成分が図中、斜め下方向に並んでいる行列となる。なお、図８において、１つの四角形は行列ＡＴＡを構成する３×３個の要素を表している。したがって、図８の例では行列ＡＴＡは１２×３行、１２×３列からなる行列である。
【０２４３】
また、図８に示す行列ＡＴＡでは、行列ＡＴＡにおける四角形のうち、斜線が施されている四角形は、値が０でない要素、つまり非零成分を含む３×３個の要素のかたまりである。さらに、行列ＡＴＡにおける四角形のうち、斜線が施されていない四角形は、値が０である要素、つまり零成分からなる３×３個の要素（零成分）のかたまりとなっている。
【０２４４】
このように行列ＡＴＡは、多くの零成分を含み、非零成分が図中、右斜め下方向に並んでいる行列となる。したがって、このような行列ＡＴＡから得られる連立一次方程式を例えばＬＵ分解して計算すると、Pivot計算による行交換や現在行と各行との引き算などの計算が行なわれることになるが、それらの計算では非零成分のみ計算を行なえばよいことになる。したがって、計算コストを大幅に削減することができるとともに、零成分については計算用のメモリが不要となり、計算時に必要となるメモリの容量を削減することができる。
【０２４５】
また、この実施の形態の最適化では、部分最適化に用いられる撮影画像から基準撮影画像を除いた（Ｍ−１）枚の撮影画像が、シフト量ＳＦ（ここではＳＦ＝１）だけずらされながら最適化の処理が行なわれていく。このとき、部分最適化に用いる（Ｍ−１）枚の撮影画像のなかに、その直前の部分最適化に用いた撮影画像と同じ撮影画像がいくつか含まれるようにすることで、誤差の少ない位置関係を求めることができる。
【０２４６】
例えば、図９の矢印Ｑ１１に示すように、１枚目の撮影画像ＰＣＴ（１）乃至５枚目の撮影画像ＰＣＴ（５）が用いられて、５枚目の撮影画像ＰＣＴ（５）の最適化、つまり同次変換行列Ｐ５の最適化が行なわれたとする。この場合、Ｍ＝５であり、同次変換行列Ｐ５の最適化には、同次変換行列Ｈ１，２，Ｈ１，３，Ｈ１，４，Ｈ１，５，Ｈ２，３，Ｈ３，４，Ｈ４，５が用いられる。
【０２４７】
シフト量ＳＦが１であるとき、同次変換行列Ｐ６の最適化時には、最適化に用いられる基準撮影画像を除く（Ｍ−１）枚の撮影画像の位置は、同次変換行列Ｐ５の場合における位置からシフト量ＳＦ＝１だけ、時間方向の後方にずらされることになる。
【０２４８】
したがって、同次変換行列Ｐ６の最適化には、矢印Ｑ１２に示すように、１枚目の撮影画像ＰＣＴ（１）と、３枚目の撮影画像ＰＣＴ（３）乃至６枚目の撮影画像ＰＣＴ（６）とが用いられることになる。この場合、同次変換行列Ｐ６の最適化には、同次変換行列Ｈ１，３，Ｈ１，４，Ｈ１，５，Ｈ１，６，Ｈ３，４，Ｈ４，５，Ｈ５，６が用いられる。
【０２４９】
このような同次変換行列Ｐ５の最適化と、同次変換行列Ｐ６の最適化とを比べると、基準撮影画像を除く（Ｍ−１）枚の撮影画像のうち、３枚目の撮影画像ＰＣＴ（３）乃至５枚目の撮影画像ＰＣＴ（５）が重複して用いられることになる。
【０２５０】
そのため、部分最適化計算に用いられる同次変換行列Ｈｕ，ｔのうち、同次変換行列Ｐ５の部分最適化と、同次変換行列Ｐ６の部分最適化とで異なるものは、同次変換行列Ｈ１，２，Ｈ２，３，Ｈ５，６，Ｈ１，６の４つだけである。
【０２５１】
したがって、同次変換行列Ｐ５の部分最適化と、同次変換行列Ｐ６の部分最適化とで重複して選択された撮影画像の同次変換行列Ｐｓは、それぞれの部分最適化で、追加，削除された同次変換行列Ｈｕ，ｔ、つまり重複して用いられていない同次変換行列Ｈｕ，ｔの誤差分だけ変化する。
【０２５２】
しかし、部分最適化に用いる撮影画像の枚数Ｍの値が大きく、それらの部分最適化で重複して用いられる撮影画像（同次変換行列Ｈｕ，ｔ）が充分多い場合には、同次変換行列Ｐ５の部分最適化と同次変換行列Ｐ６の部分最適化とで生じる同次変換行列Ｐｓの変化はわずかとなる。
【０２５３】
つまり、Ｎ枚の撮影画像についての最適化をいくつかの部分最適化に分けて行なう場合でも、各部分最適化計算で、撮影画像が重複して選択されるようにすることで、誤差の少ない位置合わせ結果が得られる。したがって、例えば最適化により得られた同次変換行列を用いて、基準撮影画像に対して動画像の各フレームの撮影画像の位置合わせをすれば、少ないコストで、より安定した映像を得ることができる。つまり、手ぶれが除去された動画像を得ることができる。
【０２５４】
なお、以上においては、Ｍ枚の撮影画像のうち、基準撮影画像と他の撮影画像との組み合わせ、および互いに隣接する撮影画像の組み合わせについて同次変換行列Ｈｕ，ｔを求めると説明したが、他の組み合わせの同次変換行列Ｈｕ，ｔも求められるようにしてもよい。
【０２５５】
そのような場合、例えば各撮影画像と、それらの撮影画像の２つ前の撮影画像との組み合わせについて、同次変換行列Ｈｕ，ｔが求められ、部分最適化計算に用いられてもよい。このように、他の組み合わせを用いると、行列ＡＴＡの非零成分が増えるが、より誤差の少ない安定した結果を得ることができるようになる。
【０２５６】
また、部分最適化に用いる（Ｍ−１）枚の撮影画像のなかに、その直前の部分最適化に用いた撮影画像と同じ撮影画像がいくつか含まれるのであれば、シフト量ＳＦは１に限らず、どのような値とされてもよい。さらに、部分最適化に用いる撮影画像のなかで、その直前の部分最適化に用いられた撮影画像と重複するものが、基準撮影画像だけとなるようにされてもよい。
【０２５７】
［画像処理装置の構成例］
次に、本技術を適用した具体的な実施の形態について説明する。図１０は、本技術を適用した画像処理装置の一実施の形態の構成例を示す図である。なお、図１０において、図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０２５８】
図１０の画像処理装置６１は、取得部２１、選択部７１、画像解析部２２、同次変換行列算出部２３、および変換部７２から構成される。また、同次変換行列算出部２３は、重み算出部３１を備えている。
【０２５９】
選択部７１は、取得部２１から供給された撮影画像から、部分最適化処理に用いるＭ枚の撮影画像を選択し、画像解析部２２、および同次変換行列算出部２３に供給する。
【０２６０】
同次変換行列算出部２３は、選択部７１からの撮影画像と、画像解析部２２からの同次変換行列Ｈｕ，ｔとに基づいて、１枚目とｓ枚目の撮影画像間の位置関係を示す同次変換行列Ｐｓを算出し、撮影画像と同次変換行列Ｐｓを変換部７２に供給する。
【０２６１】
変換部７２は、同次変換行列算出部２３から供給された撮影画像と同次変換行列Ｐｓに基づいて、撮影画像を幾何変換し、出力する。
【０２６２】
［位置関係算出処理の説明］
また、画像処理装置６１に撮影画像が供給され、同次変換行列Ｐｓの算出が指示されると、画像処理装置６１は位置関係算出処理を行って同次変換行列Ｐｓを算出し、同次変換行列Ｐｓで撮影画像を幾何変換する。以下、図１１のフローチャートを参照して、画像処理装置６１による位置関係算出処理について説明する。
【０２６３】
ステップＳ９１において、取得部２１は、撮影装置により撮影された動画像を構成する、１枚目乃至Ｎ枚目の撮影画像を取得して、選択部７１に供給する。
【０２６４】
ステップＳ９２において、選択部７１は、取得部２１から供給された撮影画像から、部分最適化の処理対象とする撮影画像群を選択し、画像解析部２２、および同次変換行列算出部２３に供給する。
【０２６５】
具体的には、選択部７１は、ｆ枚目の撮影画像が最適化対象画像である場合、基準撮影画像である１枚目の撮影画像と、（ｆ−Ｍ＋２）枚目乃至ｆ枚目の撮影画像とからなるＭ枚の撮影画像を選択する。
【０２６６】
ステップＳ９３において、画像解析部２２は、選択部７１から供給された撮影画像に基づいて、基準撮影画像と処理対象のｇ枚目の撮影画像との同次変換行列Ｈ１，ｇを算出し、同次変換行列算出部２３に供給する。
【０２６７】
例えば、画像処理装置６１では、（ｆ−Ｍ＋２）枚目の撮影画像から、ｆ枚目の撮影画像まで順番に処理対象であるｇ枚目の撮影画像とされる。つまり、変数ｇの値は、処理開始時には（ｆ−Ｍ＋２）とされ、その後、１ずつｆまでインクリメントされていく。
【０２６８】
画像解析部２２は、基準撮影画像と処理対象のｇ枚目の撮影画像について、同じ被写体が投影されている対応位置を求め、式（９）を最小とする３×３同次変換行列Ｈ１，ｇを求める。ここで同次変換行列Ｈ１，ｇには定数倍の不定性が残るので、同次変換行列Ｈ１，ｇの要素は式（１０）を満たすものとする。なお、この場合、式（９）および式（１０）において、ｕ＝１，ｔ＝ｇである。
【０２６９】
ステップＳ９４において、重み算出部３１は、選択部７１からの撮影画像、画像解析部２２からの同次変換行列Ｈ１，ｇ、および式（２８）の行列δｉ，ｊに基づいて、式（３２）乃至式（３４）の計算を行い、重みｗ１，ｇ［ｉ，ｊ］を算出する。
【０２７０】
ステップＳ９５において、画像解析部２２は、選択部７１から供給された撮影画像に基づいて、処理対象のｇ枚目の撮影画像と、その撮影画像の直前にあるｇ−１枚目の撮影画像（以下、直前画像とも称する）との同次変換行列Ｈｇ−１，ｇを算出し、同次変換行列算出部２３に供給する。すなわち、ステップＳ９５では、ステップＳ９３と同様の処理が行なわれて同次変換行列Ｈｇ−１，ｇが算出される。
【０２７１】
なお、より詳細には、処理対象として選択された撮影画像群にｇ−１枚目の撮影画像がない場合には、ステップＳ９５の処理は行なわれない。
【０２７２】
ステップＳ９６において、重み算出部３１は、選択部７１からの撮影画像、画像解析部２２からの同次変換行列Ｈｇ−１，ｇ、および式（２８）の行列δｉ，ｊに基づいて、式（３２）乃至式（３４）の計算を行い、重みｗｇ−１，ｇ［ｉ，ｊ］を算出する。すなわち、ステップＳ９６では、ステップＳ９４と同様の処理が行なわれて重みｗｇ−１，ｇ［ｉ，ｊ］が算出される。
【０２７３】
ステップＳ９７において、画像解析部２２は、ｆ枚目の撮影画像まで処理を行なったか否か、つまり変数ｇ＝ｆとなったか否かを判定する。
【０２７４】
ステップＳ９７において、まだｆ枚目の撮影画像まで処理を行なっていないと判定された場合、変数ｇが１だけインクリメントされ、処理はステップＳ９３に戻る。
【０２７５】
これに対して、ステップＳ９７において、ｆ枚目の撮影画像まで処理を行なったと判定された場合、処理はステップＳ９８に進む。
【０２７６】
ステップＳ９８において、同次変換行列算出部２３は、（ｆ−Ｍ＋２）枚目乃至ｆ枚目の撮影画像について求めた同次変換行列Ｈ１，ｇ、同次変換行列Ｈｇ−１，ｇ、重みｗ１，ｇ［ｉ，ｊ］、および重みｗｇ−１，ｇ［ｉ，ｊ］に基づいて、最適化対象の行列を求める。つまり、最小二乗法による最適化計算の対象となる方程式「ＡＴＡｘ＝ＡＴｂ」が求められる。
【０２７７】
ステップＳ９９において、同次変換行列算出部２３は、方程式「ＡＴＡｘ＝ＡＴｂ」を最小二乗法により解いて同次変換行列Ｐｓを求め、同次変換行列Ｐｓと撮影画像を変換部７２に供給する。つまり、同次変換行列Ｐｆ−Ｍ＋２乃至同次変換行列Ｐｆが求められる。このステップＳ９９の処理は、上述した式（２１）により同次変換行列Ｐｓを求めることと同値である。
【０２７８】
ステップＳ１００において、変換部７２は、同次変換行列算出部２３から供給された撮影画像と同次変換行列Ｐｓに基づいて、撮影画像を射影幾何変換し、変換後の撮影画像を動画像の１フレーム分の画像として出力する。
【０２７９】
例えば、変換部７２は、変数ｆ＝Ｍである場合、１枚目乃至ｆ枚目の撮影画像を、それぞれ同次変換行列Ｐ１乃至同次変換行列Ｐｆで変換し、その結果得られたｆ枚の撮影画像を出力する。また、変数ｆ＝Ｍでない場合、変換部７２は、ｆ枚目の撮影画像を同次変換行列Ｐｆで変換し、その結果得られた撮影画像を出力する。
【０２８０】
ステップＳ１０１において、画像処理装置６１は、Ｎ枚目の撮影画像まで処理を行なったか否か、すなわち変数ｆ＝Ｎとされ、Ｎ枚目の撮影画像が同次変換行列ＰＮで変換されて出力されたか否かを判定する。
【０２８１】
ステップＳ１０１において、まだＮ枚目の撮影画像まで処理を行なっていないと判定された場合、処理はステップＳ９２に戻り、上述した処理が繰り返される。このとき、変数ｆは１（より詳細にはシフト量ＳＦ）だけインクリメントされ、変数ｇは、更新後のｆを用いて表される（ｆ−Ｍ＋２）とされる。
【０２８２】
一方、ステップＳ１０１において、Ｎ枚目の撮影画像まで処理を行なったと判定された場合、位置関係算出処理は終了する。
【０２８３】
以上のようにして、画像処理装置６１は、Ｎ枚の撮影画像について、複数回に分けて最適化を行い、１枚目とｓ枚目の撮影画像の位置関係を示す同次変換行列Ｐｓを算出する。これにより、より簡単かつ高精度に同次変換行列Ｐｓを得ることができる。
【０２８４】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０２８５】
図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２８６】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０２８７】
バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、入力部２０６、出力部２０７、記録部２０８、通信部２０９、及びドライブ２１０が接続されている。
【０２８８】
入力部２０６は、キーボード、マウス、マイクロホンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記録部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインターフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
【０２８９】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記録部２０８に記録されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０２９０】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０２９１】
コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。
【０２９２】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２９３】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２９４】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２９５】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２９６】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２９７】
さらに、本技術は、以下の構成とすることも可能である。
【０２９８】
［１］
連続して撮影された複数の撮影画像について、基準となる前記撮影画像と、ｓ枚目の前記撮影画像との位置関係を示す同次変換行列Ｐｓを出力する情報処理装置であって、
前記撮影画像に対する画像解析を行なって、前記複数の前記撮影画像のうちのｕ枚目の前記撮影画像とｔ枚目の前記撮影画像との位置関係を示す同次変換行列Ｈｕ，ｔを算出する画像解析部と、
各ｓの値について、およそＴｓ＝Ｐｓ−１となる行列Ｔｓを定め、前記画像解析部により算出された前記同次変換行列Ｈｕ，ｔ、ｓ＝ｕ，ｔについてのスカラ量α（ｕ，ｔ）、および前記行列Ｔｓに基づいて、
Ｔｕ（α（ｕ，ｔ）Ｐｔ−ＰｕＨｕ，ｔ）＝Δｕ，ｔ
で定義される行列Δｕ，ｔが最小となるように各前記同次変換行列Ｐｓおよび前記スカラ量α（ｕ，ｔ）を算出する同次変換行列算出部と
を備える情報処理装置。
［２］
前記同次変換行列算出部は、前記同次変換行列Ｈｕ，ｔの各要素の微小変動によるｕ枚目の前記撮影画像とｔ枚目の前記撮影画像との位置のずれ量に応じて、前記行列Δｕ，ｔの各要素に重みをつけて前記行列Δｕ，ｔが最小となるように前記同次変換行列Ｐｓおよび前記スカラ量α（ｕ，ｔ）を算出する
［１］に記載の情報処理装置。
［３］
前記同次変換行列算出部は、前記スカラ量α（ｕ，ｔ）を１として、前記同次変換行列Ｐｓを算出する
［１］または［２］に記載の情報処理装置。
［４］
前記複数の前記撮影画像は、周回しながら３６０度の各方向を撮影して得られた画像であり、ｕ枚目の前記撮影画像とｔ枚目の前記撮影画像は、互いに隣接する前記撮影画像である
［１］乃至［３］の何れかに記載の情報処理装置。
［５］
前記複数の前記撮影画像は、動画像を構成する各フレームの画像であり、
ｕ枚目の前記撮影画像とｔ枚目の前記撮影画像は、互いに隣接する前記撮影画像とされ、
前記同次変換行列算出部は、前記複数の前記撮影画像のうちの前記基準となる前記撮影画像と、連続するＭ枚の前記撮影画像とを用いて、前記同次変換行列Ｐｓおよび前記スカラ量α（ｕ，ｔ）を算出する部分最適化処理を、前記部分最適化処理に用いる前記Ｍ枚の前記撮影画像をずらしながら複数回行なうことで、各前記同次変換行列Ｐｓおよび前記スカラ量α（ｕ，ｔ）を算出する
［１］乃至［３］の何れかに記載の情報処理装置。
［６］
ｕ枚目の前記撮影画像とｔ枚目の前記撮影画像は、前記Ｍ枚の前記撮影画像のうちの互いに隣接する２枚の前記撮影画像、および前記基準となる前記撮影画像と前記Ｍ枚の各前記撮影画像とされる
［５］に記載の情報処理装置。
［７］
前記部分最適化処理に用いられる前記Ｍ枚の前記撮影画像と、他の部分最適化処理に用いられる前記Ｍ枚の前記撮影画像とに、同じ前記撮影画像が少なくとも１枚含まれている
［５］または［６］に記載の情報処理装置。
【符号の説明】
【０２９９】
１１  画像処理装置，  ２２  画像解析部，  ２３  同次変換行列算出部，  ３１  重み算出部，  ７１  選択部，  ７２  変換部
【図１】
2013168089.tif 000043
【図２】
2013168089.tif 000044
【図３】
2013168089.tif 000045
【図４】
2013168089.tif 000046
【図５】
2013168089.tif 000047
【図６】
2013168089.tif 000048
【図７】
2013168089.tif 000049
【図８】
2013168089.tif 000050
【図９】
2013168089.tif 000051
【図１０】
2013168089.tif 000052
【図１１】
2013168089.tif 000053
【図１２】
2013168089.tif 000054