(57)【要約】【課題】画像の接合部分で不整合が目立ちにくいパノラマ合成画像を生成する。【解決手段】水平面に沿い、弧を描くように撮影装置を移動させながら連続撮影して得た複数の現像後画像データ１５２がカメラ姿勢データ１５４とともに画像変換処理部１２２に入力される。カメラ姿勢データ１５４に基づいて決定された処理パラメータを用い、複数の現像後画像データ１５２に基づく二次元画像をそれぞれ基準軸を極軸とする仮想球面上に投影する処理をして複数の球面投影画像データ１５８が画像変換処理部１２２で生成される。複数の球面投影画像データ１５８に基づくそれぞれの画像間の動きベクトル１６０が動きベクトル演算処理部１２４で導出される。複数の球面投影画像データ１５８に基づく各画像間の動き補償を動きベクトル１６０に基づいて行い、複数の球面投影画像データ１５８から必要部分を切り出し、貼り合わせてパノラマ合成画像データ１６２が生成される。【選択図】図１
2013046270.tif 000002
【特許請求の範囲】
【請求項１】
水平面に沿い、弧を描くように撮影装置を移動させながら複数回の撮影動作を連続して行って得られた複数の画像データのそれぞれから部分画像データを切り出して貼り合わせ、パノラマ合成画像データを生成する画像貼り合わせ装置であって、
前記複数の画像データを取得する画像取得部と、
前記複数回の撮影動作が前記撮影装置で行われる前または後、もしくは最中に検出された前記撮影装置のチルト方向の傾き角度であるチルト角度に関する情報を含むカメラ姿勢データを取得するカメラ姿勢データ取得部と、
前記カメラ姿勢データに含まれる前記チルト角度に関する情報に基づいて決定された処理パラメータを用い、前記複数の画像データに基づく二次元画像をそれぞれ基準軸を極軸とする仮想球面上に投影する処理をして複数の球面投影画像データを生成する画像変換処理部と、
前記複数の球面投影画像データに基づくそれぞれの画像間の動きベクトルを導出する動きベクトル演算処理部と、
前記複数の球面投影画像データに基づく各画像間の動き補償を前記動きベクトル演算処理部で導出された動きベクトルに基づいて行い、前記複数の球面投影画像データから必要部分を切り出して貼り合わせる処理をしてパノラマ合成画像データを生成する合成処理部と
を備えることを特徴とする画像貼り合わせ装置。
【請求項２】
前記処理パラメータにより、前記仮想球面の前記基準軸と前記二次元画像の面とでなす角度が規定され、
前記画像変換処理部は、前記基準軸と前記二次元画像の面とでなす角度が前記チルト角度と等しくなるように前記基準軸を傾斜させた前記仮想球面上に投影する処理をして前記複数の球面投影画像データを生成することを特徴とする、請求項１に記載の画像貼り合わせ装置。
【請求項３】
前記チルト角度は、前記複数回の撮影動作それぞれに対応して検出されることを特徴とする請求項１または２に記載の画像貼り合わせ装置。
【請求項４】
前記動きベクトル演算処理部は、テンプレートマッチング法を用いて前記それぞれの画像間の動きベクトルを導出することを特徴とする請求項１から３のいずれか一つに記載の画像貼り合わせ装置。
【請求項５】
複数の画像データを合成してパノラマ合成画像データを生成可能な撮影装置であって、
水平面に沿い、弧を描くように前記撮影装置が振られているときに複数回の撮影動作を連続して行い、複数の画像データを生成する撮像素子と、
前記複数回の撮影動作が前記撮像素子で行われる前または後、もしくは最中に、前記撮影装置のチルト方向の傾き角度であるチルト角度を計測し、前記チルト角度に関する情報を含むカメラ姿勢データを生成する姿勢検出部と、
前記カメラ姿勢データに含まれる前記チルト角度に関する情報に基づいて決定された処理パラメータを用い、前記複数の画像データに基づく二次元画像をそれぞれ基準軸を極軸とする仮想球面上に投影する処理をして複数の球面投影画像データを生成する画像変換処理部と、
前記複数の球面投影画像データに基づくそれぞれの画像間の動きベクトルを導出する動きベクトル演算処理部と、
前記複数の球面投影画像データに基づく各画像間の動き補償を前記動きベクトル演算処理部で導出された動きベクトルに基づいて行い、前記複数の球面投影画像データから必要部分を切り出して貼り合わせる処理をしてパノラマ合成画像データを生成する合成処理部と
を備えることを特徴とする撮影装置。
【請求項６】
水平面に沿い、弧を描くように撮影装置を移動させながら複数回の撮影動作を連続して行って得られた複数の画像データのそれぞれから部分画像データを切り出して貼り合わせ、パノラマ合成画像データを生成する画像貼り合わせ方法であって、
前記複数の画像データを取得する画像データ取得ステップと、
前記複数回の撮影動作が前記撮影装置で行われる前または後、もしくは最中に検出された前記撮影装置のチルト方向の傾き角度であるチルト角度に関する情報を含むカメラ姿勢データを取得するカメラ姿勢データ取得ステップと、
前記カメラ姿勢データに含まれる前記チルト角度に関する情報に基づいて決定された処理パラメータを用い、前記複数の画像データに基づく二次元画像をそれぞれ基準軸を極軸とする仮想球面上に投影する処理をして複数の球面投影画像データを生成する画像変換処理ステップと、
前記複数の球面投影画像データに基づくそれぞれの画像間の動きベクトルを導出する動きベクトル導出ステップと、
前記複数の球面投影画像データに基づく各画像間の動き補償を、前記動きベクトル導出ステップで導出された動きベクトルに基づいて行い、前記複数の球面投影画像データから必要部分を切り出して貼り合わせる処理をしてパノラマ合成画像データを生成するパノラマ合成ステップと
を有することを特徴とする画像貼り合わせ方法。
【請求項７】
水平面に沿い、弧を描くように撮影装置を移動させながら複数回の撮影動作を連続して行って得られた複数の画像データのそれぞれから部分画像データを切り出して貼り合わせ、パノラマ合成画像データを生成する処理をコンピュータで行うための画像処理プログラムであって、前記コンピュータに、
前記複数の画像データを取得する画像データ取得手順と、
前記複数回の撮影動作が前記撮影装置で行われる前または後、もしくは最中に検出された前記撮影装置のチルト方向の傾き角度であるチルト角度に関する情報を含むカメラ姿勢データを取得するカメラ姿勢データ取得手順と、
前記カメラ姿勢データに含まれる前記チルト角度に関する情報に基づいて決定された処理パラメータを用い、前記複数の画像データに基づく二次元画像をそれぞれ基準軸を極軸とする仮想球面上に投影する処理をして複数の球面投影画像データを生成する画像変換処理手順と、
前記複数の球面投影画像データに基づくそれぞれの画像間の動きベクトルを導出する動きベクトル導出手順と、
前記複数の球面投影画像データに基づく各画像間の動き補償を、前記動きベクトル導出手順で導出された動きベクトルに基づいて行い、前記複数の球面投影画像データから必要部分を切り出して貼り合わせる処理をしてパノラマ合成画像データを生成するパノラマ合成手順と
を実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数枚画像の貼り合せ技術、広画角なパノラマ画像の生成技術に関する。
【背景技術】
【０００２】
カメラの向きを変えながら撮影して得た複数枚の画像を貼り合せることで広視野画像を生成するパノラマ合成技術がある。このとき、円筒変換や球面投影など仮想曲面への投影変換した画像を生成し、貼り合わせを行うことで、接合部での画像のずれを減じて滑らかに接合できることが知られている。円筒変換を用いたパノラマ合成処理として、特許文献１に開示されるものがある。球面投影を用いたパノラマ合成処理として、特許文献２に開示されるものがある。また近年では、撮影者を中心として弧を描くようにカメラを移動（スイング）させながら数十枚から百枚以上の画像を高速連写撮影し、得られた画像を短冊状に切出して貼り合せることでパノラマ画像を生成する技術も知られている（図８）。この先行技術文献として、特許文献３に開示されるものがある。
【０００３】
円筒変換の処理内容を図９に示す。円筒変換の処理とは、撮影して得られた画像データに基づく二次元の画像を円筒面状の仮想曲面に投影したかのような画像を得る処理である。以下では、撮像面上に形成される像を、この撮像面に接する円筒面状の仮想曲面へ投影する処理として説明する。この場合、仮想曲面の半径ｒは撮影レンズの実焦点距離とする。撮像面上の点を（ｓ，ｔ）とすると、ｓ座標は実焦点距離ｒと入射角度θを用いて、
ｓ＝ｒ・ｔａｎθ  …  （１）
と表すことができる。
【０００４】
撮像面上の各点から円筒中心軸上の１点に集中するように光が進み、仮想曲面に達すると考え、その仮想曲面上に投影され、形成された像を平面に展開する。すると、上記の撮像面上の点（ｓ，ｔ）と対応する、仮想円筒面上の像を展開した平面上における座標位置（ｓ’，ｔ’）は、
ｓ’＝ｒ・θ            …  （２）
ｔ’＝ｔ・ｃｏｓθ      …  （３）
と表すことができる。
【０００５】
画像を構成する画素の各座標値を、上述した式（１）、（２）、（３）を用いて変換することにより、撮像面上に形成される像を円筒面状の仮想曲面に投影し、それを展開したかのような画像を得ることができる。
【０００６】
続いて、球面投影の処理について図１０を参照して説明する。球面投影の処理とは、撮影して得られた画像データに基づく二次元の画像を球面状の仮想曲面に投影したかのような画像を得る処理である。以下では、撮像面上に形成される像を、この撮像面に接する球面状の仮想曲面へ投影する処理として説明する。この場合、仮想曲面の半径ｒは撮影レンズの実焦点距離とする。まず、撮像面上の点を（ｓ，ｔ）とすると、実焦点距離をｒ、ｘ軸回りの回転角度をθＶ、ｙ軸回りの回転角度をθＨとして、
ｓ＝ｒ・ｔａｎθＨ              …  （４）
ｔ＝ｒ・ｔａｎθＶ／ｃｏｓθＨ  …  （５）
で表される。
【０００７】
撮像面上の各点から球面の中心に集中するように光が進み、仮想曲面に達すると考える。そして、上記の撮像面上の点（ｓ，ｔ）と対応する点を球面状の仮想曲面上に投影し、それを正距円筒図法（緯度と経度が等間隔に直交する展開表示図法）で展開した後の平面座標（ｓ’、ｔ’）は、
ｓ’＝ｒ・θＨ                …  （６）
ｔ’＝ｒ・θＶ                …  （７）
で表される。
【０００８】
画像を構成する画素の各座標値を、上述した式（４）、（５）、（６）、（７）を用いて変換することにより、撮像面上に形成される像を球面状の仮想曲面に投影し、それを展開したかのような画像を得ることができる。
【０００９】
図１１（ａ）、図１１（ｂ）は、円筒変換・球面投影による効果を概念的に示したものである。撮影者を中心にカメラを回転させながら複数枚の画像を撮影した場合について考える。被写体像が画面中央に位置する場合と、画面の端部付近に位置する場合とで、撮像面に形成される像の大きさＷ１、Ｗ２を比較する。被写体像が画面の端部付近に位置する場合、撮像面上に形成される被写体像の大きさＷ２は、撮像面の中央に形成される場合の大きさＷ１に比して大きくなる。このように、撮像面上での位置の違いによって、同一被写体、同一撮影距離であっても被写体像の大きさが変化する。
【００１０】
一方、円筒変換や球面投影のように、撮像面の画像を曲面に投影したかのように変換する処理を行うことで、撮像面上での位置に応じて被写体像の大きさが変動するのを抑制することができる。その様子が図１１（ａ）、図１１（ｂ）で寸法Ｗ１’、Ｗ２’として示されている。寸法Ｗ１、Ｗ２の変動に比して、寸法Ｗ１’、Ｗ２’の変動が抑制されていることが見て取れる。
【００１１】
図１２の（ａ）から（ｄ）には、図１１の（ａ）、（ｂ）に示される例に対応するものとして、実際に撮影して得られた画像と、それらの画像を処理して得られる画像の例とを示す。図１２の（ａ）、（ｂ）には、実際に撮影して得られた画像とその画像中の主要被写体を拡大したものが示される。図１２（ａ）においては主要被写体としての椅子の像が画面中央寄りに位置する。図１２（ｂ）においては椅子の像が画面端部寄りに位置する。それぞれの図における椅子の拡大像において、背もたれ部分の幅寸法をＷ１、Ｗ２とすると、寸法Ｗ２が寸法Ｗ１よりも大きくなっている。
【００１２】
図１２（ａ）、図１２（ｂ）に示される画像を円筒変換した結果得られる画像を図１２（ｃ）、図１２（ｄ）に示す。これら図１２（ｃ）、（ｄ）中における椅子の拡大像中、背もたれ部分の幅寸法Ｗ１’、Ｗ２’は略等しくなっている。つまり、図１２（ａ）、（ｂ）に示される像の寸法Ｗ１、Ｗ２の変動に比して、図１２（ｃ）、（ｄ）に示される寸法Ｗ１’、Ｗ２’の変動が抑制されていることが見て取れる。
【００１３】
以上より、撮影者を中心に円弧方向に沿ってカメラを移動しながら撮影して得た複数枚の画像を貼り合わせる場合、円筒変換や球面投影などの曲面投影処理を行うことで、画面内の位置によらず、被写体の大きさを略一定に揃えることが可能となる。したがって、比較的単純な縦横２軸方向の画像全体の位置合わせ処理をするだけで、画像を滑らかにつなぎ合わせることが可能となる。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特許第３２０５５７１号公報
【特許文献２】特許第３８１７３０２号公報
【特許文献３】特開２００７−１７４３０１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
以上に説明した画像のつなぎ合わせは、撮影時のカメラの姿勢によっては良好に機能しない場合がある。ここで、良好に機能しない例について説明する。撮影時にカメラを振る際、カメラの上下方向に沿う軸が、カメラを振る際の軸と平行でない場合、上述した画像のつなぎ合わせが良好に機能しない場合がある。例えば、山の頂上から下方に向かってカメラを俯瞰させた状態でカメラを水平方向に沿って振りながら連続撮影をした場合がこのような場合に相当する。あるいは、低いところから仰ぎ見るようにカメラの上下方向の向き（チルト角）を定め、その状態でカメラを水平方向に沿って振りながら連続撮影をする場合も同様である。本明細書では、連続撮影をしながらカメラを振る際の、カメラの移動軌跡を含む面をスイング面と称し、そのスイング面に対してカメラの撮影レンズの光軸が平行でないことをカメラチルトと称する。
【００１６】
図１３（ａ）、（ｂ）には、カメラチルトの存在しない状態でカメラを振って得られる二枚の画像の例を示す。また、図１３（ｃ）、（ｄ）には、下向きのカメラチルトが存在する状態でカメラを振って得られる二枚の画像の例を示す。図１３（ａ）、（ｂ）、（ｃ）、（ｄ）はいずれも球面投影したものを示している。
【００１７】
図１３（ａ）、（ｂ）に示される、カメラチルトの無い状態で撮影した画像では、画面内の上下方向の中間近傍に存在する、水平方向に延在する直線状の被写体像に歪曲が無い。一方、図１３（ｃ）、（ｄ）に示される、下向きにカメラチルトのある状態で撮影した画像では、上で説明した被写体像に対応する部分（画面内の上下方向の中間近傍に存在する、水平方向に延在する直線状の被写体像）が中高の曲線状に歪曲している。その結果、同じ被写体を同じ撮影距離で撮影していても、画面内の位置に応じて被写体像の傾きや寸法等が変化する。
【００１８】
図１３（ｃ）、（ｄ）に示される画像中から部分画像を切り出し、単純なＸＹ２軸方向の位置合わせをしただけでつなぎ合わせると、上述した画面内の位置に応じた被写体像の歪みの変化により、不連続部を生じる場合がある。その様子が図１４に示されている。図１４は、つなぎ合わせの処理をして得られた画像の一部を拡大して示したものである。図１４では、椅子の座面の側部縁端部分に不連続部Ｇ１が見られる。また、図中、向かって右側に位置する脚部の接地部近傍に不連続部Ｇ２が見られる。
【００１９】
カメラチルトの存在する状態でカメラを水平面に沿うように振って撮影した画像を球面投影したときに上述した歪曲を生じるメカニズムについて、図１５（ａ）、図１５（ｂ）を参照して説明する。ここではカメラを保持した撮影者が回動中心となるようにし、カメラを水平面上で円弧を描くように振りながら異なる位置（向き）で撮影をした場合を考える。また、被写体は被写界に存在する一つの点であるものとし、カメラのシャッタを開放状態にして、上述したようにカメラを振ったとき、撮像面上に形成される点の像（以下、「点像」と称する）の軌跡について考える。カメラのチルトがない場合、点像の位置は経度だけが変化する。従って、球面状の仮想曲面を正距円筒図法（緯度と経度が等間隔に直交する展開図法）で展開するかのように画像の座標変換を行うと、得られた画像の横軸方向（図１０のＳ軸方向）の位置合わせをするだけで位置ずれを補正することができる。一方、カメラチルトの存在する状態でカメラを振って撮影した場合は、緯度も経度も変動する。図１５（ｂ）に示される例では、画像の左右方向の中心近傍において緯度が増すように画像の歪みを生じる。例えば水平線を含む景色を撮影しているものとして、その画像を球面状の仮想曲面に投影し、それをさらに正距円筒図法で展開すると、画像中、上下方向の中央よりも上側に水平線の像が位置すると、水平線の像は中高の（左右方向の中央近傍において上に盛り上がったような）歪みを生じる。
【００２０】
以上より、上記の円筒変換や球面投影などの曲面投影を用いる従来技術では、撮影時にカメラの移動面（スイング面）に対してカメラのチルト方向の傾きがない場合は、単純な円筒変換や球面投影を行うことで画像を滑らかに接合することができるが、撮影時にスイング面に対してカメラのチルト方向の傾きがある場合は、単純な円筒変換や球面投影では画像に歪曲が発生してしまい、滑らかに接合することは困難となる。従来の技術では、このようなカメラのチルト方向傾きに起因した画像歪みを除去することについて、必ずしも十分な配慮がされていなかった。
【００２１】
本発明は、上記の課題に鑑みてなされたものであり、撮影時にカメラの移動面（スイング面）に対してカメラのチルト方向の傾きが存在する場合においても、画像貼り合わせにおける位置合わせ残差を抑制し、滑らかなパノラマ画像が得られるようにすることを目的とする。
【課題を解決するための手段】
【００２２】
本発明の第１の態様に係る画像貼り合わせ装置は、水平面に沿い、弧を描くように撮影装置を移動させながら複数回の撮影動作を連続して行って得られた複数の画像データのそれぞれから部分画像データを切り出して貼り合わせ、パノラマ合成画像データを生成する。この画像貼り合わせ装置は、
前記複数の画像データを取得する画像取得部と、
前記複数回の撮影動作が前記撮影装置で行われる前または後、もしくは最中に検出された前記撮影装置のチルト方向の傾き角度であるチルト角度に関する情報を含むカメラ姿勢データを取得するカメラ姿勢データ取得部と、
前記カメラ姿勢データに含まれる前記チルト角度に関する情報に基づいて決定された処理パラメータを用い、前記複数の画像データに基づく二次元画像をそれぞれ基準軸を極軸とする仮想球面上に投影する処理をして複数の球面投影画像データを生成する画像変換処理部と、
前記複数の球面投影画像データに基づくそれぞれの画像間の動きベクトルを導出する動きベクトル演算処理部と、
前記複数の球面投影画像データに基づく各画像間の動き補償を前記動きベクトル演算処理部で導出された動きベクトルに基づいて行い、前記複数の球面投影画像データから必要部分を切り出して貼り合わせる処理をしてパノラマ合成画像データを生成する合成処理部と
を備える。
【００２３】
本発明の第２の態様に係る撮影装置は、複数の画像データを合成してパノラマ合成画像データを生成可能で、
水平面に沿い、弧を描くように前記撮影装置が振られているときに複数回の撮影動作を連続して行い、複数の画像データを生成する撮像素子と、
前記複数回の撮影動作が前記撮像素子で行われる前または後、もしくは最中に、前記撮影装置のチルト方向の傾き角度であるチルト角度を計測し、前記チルト角度に関する情報を含むカメラ姿勢データを生成する姿勢検出部と、
前記カメラ姿勢データに含まれる前記チルト角度に関する情報に基づいて決定された処理パラメータを用い、前記複数の画像データに基づく二次元画像をそれぞれ基準軸を極軸とする仮想球面上に投影する処理をして複数の球面投影画像データを生成する画像変換処理部と、
前記複数の球面投影画像データに基づくそれぞれの画像間の動きベクトルを導出する動きベクトル演算処理部と、
前記複数の球面投影画像データに基づく各画像間の動き補償を前記動きベクトル演算処理部で導出された動きベクトルに基づいて行い、前記複数の球面投影画像データから必要部分を切り出して貼り合わせる処理をしてパノラマ合成画像データを生成する合成処理部と
を備える。
【００２４】
本発明の第３の態様に係る画像貼り合わせ方法は、水平面に沿い、弧を描くように撮影装置を移動させながら複数回の撮影動作を連続して行って得られた複数の画像データのそれぞれから部分画像データを切り出して貼り合わせ、パノラマ合成画像データを生成する画像貼り合わせ方法であって、
前記複数の画像データを取得する画像データ取得ステップと、
前記複数回の撮影動作が前記撮影装置で行われる前または後、もしくは最中に検出された前記撮影装置のチルト方向の傾き角度であるチルト角度に関する情報を含むカメラ姿勢データを取得するカメラ姿勢データ取得ステップと、
前記カメラ姿勢データに含まれる前記チルト角度に関する情報に基づいて決定された処理パラメータを用い、前記複数の画像データに基づく二次元画像をそれぞれ基準軸を極軸とする仮想球面上に投影する処理をして複数の球面投影画像データを生成する画像変換処理ステップと、
前記複数の球面投影画像データに基づくそれぞれの画像間の動きベクトルを導出する動きベクトル導出ステップと、
前記複数の球面投影画像データに基づく各画像間の動き補償を、前記動きベクトル導出ステップで導出された動きベクトルに基づいて行い、前記複数の球面投影画像データから必要部分を切り出して貼り合わせる処理をしてパノラマ合成画像データを生成するパノラマ合成ステップと
を有する。
【００２５】
本発明の第４の態様に係る画像処理プログラムは、水平面に沿い、弧を描くように撮影装置を移動させながら複数回の撮影動作を連続して行って得られた複数の画像データのそれぞれから部分画像データを切り出して貼り合わせ、パノラマ合成画像データを生成する処理をコンピュータで行うための画像処理プログラムであって、前記コンピュータに、
前記複数の画像データを取得する画像データ取得手順と、
前記複数回の撮影動作が前記撮影装置で行われる前または後、もしくは最中に検出された前記撮影装置のチルト方向の傾き角度であるチルト角度に関する情報を含むカメラ姿勢データを取得するカメラ姿勢データ取得手順と、
前記カメラ姿勢データに含まれる前記チルト角度に関する情報に基づいて決定された処理パラメータを用い、前記複数の画像データに基づく二次元画像をそれぞれ基準軸を極軸とする仮想球面上に投影する処理をして複数の球面投影画像データを生成する画像変換処理手順と、
前記複数の球面投影画像データに基づくそれぞれの画像間の動きベクトルを導出する動きベクトル導出手順と、
前記複数の球面投影画像データに基づく各画像間の動き補償を、前記動きベクトル導出手順で導出された動きベクトルに基づいて行い、前記複数の球面投影画像データから必要部分を切り出して貼り合わせる処理をしてパノラマ合成画像データを生成するパノラマ合成手順と
を実行させる。
【発明の効果】
【００２６】
本発明によれば、カメラをスイング面に沿って弧を描くように向きを変えながら連像撮影をして複数の静止画を得る際に、カメラのスイング面に対してカメラチルトが存在する場合においても、カメラチルトを考慮した画像変換処理を行うことによって、複数の画像を貼り合わせる際の不整合部分が生じるのを抑制し、滑らかなパノラマ画像を得ることが可能となる。
【図面の簡単な説明】
【００２７】
【図１】画像貼り合わせ装置を、電子カメラに組み込んだ場合の構成例を示すブロック図である。
【図２】第１の実施の形態の電子カメラで実行される連続撮影および画像合成処理の処理手順を概略的に説明するフローチャートである。
【図３】球面投影変換の処理を概念的に説明する図であり、（ａ）はカメラチルト角を考慮しない場合の処理を、（ｂ）はカメラチルト角を考慮した場合の処理を、それぞれ示す図である。
【図４】球面投影変換の処理に際しての変数の定義を説明する図である。
【図５】球面投影変換の処理に際してカメラチルト角を考慮した処理をした場合の効果を説明する図であり、（ａ）はカメラチルト角を考慮しない場合の例を、（ｂ）はカメラチルト角を考慮した場合の例を、それぞれ示す図である。
【図６】カメラチルト角を考慮して球面投影変換の処理がなされた画像を貼り合わせて生成された画像の一部を拡大して示す図である。
【図７】第２の実施の形態の電子カメラで実行される連続撮影および画像合成処理の処理手順を概略的に説明するフローチャートである。
【図８】カメラを水平なスイング面に沿って振りながら連続撮影を行い、得られた画像を短冊状に切り出して貼り合わせ、パノラマ合成画像を生成する様子を概念的に説明する図である。
【図９】円筒変換の原理を説明する図である。
【図１０】球面投影変換の原理を説明する図であり、（ａ）は球面投影変換の処理を概念的に示す図であり、（ｂ）は球面投影変換の処理に際しての変数の定義および座標変換式導出の原理を説明する図である。
【図１１】従来の技術に係る円筒変換、球面投影において撮像面上における被写体像の大きさと投影曲面上における被写体像の大きさとの関係を説明する図であり、（ａ）は被写体が画面中央にある場合の例を、（ｂ）は被写体が画面端にある場合の例を、それぞれ示す図である。
【図１２】従来の技術に係る円筒変換、球面投影の処理による効果を説明する図であり、（ａ）、（ｂ）は処理前の画像中、被写体の画面中に存在する位置によって像の大きさが変化する様子を、（ｃ）、（ｄ）は処理後の画像中、被写体の画面中に存在する位置によらず、像の大きさが略同一となる様子を、それぞれ説明する図である。
【図１３】従来の技術に係る円筒変換、球面投影の処理において、カメラチルトの影響を受ける様子を説明する図であり、（ａ）、（ｂ）はカメラチルトの無い状態で撮影して得られた画像を処理した場合の例を、（ｃ）、（ｄ）はカメラチルトのある状態で撮影して得られた画像を処理した場合の例を、それぞれ示す図である。
【図１４】従来の技術に係る円筒変換、球面投影の処理後の画像を貼り合わせて生成された画像の一部を拡大して示す図であり、カメラチルトの影響を受けて画像の接合部分に不整合を生じている例を示す図である。
【図１５】従来の技術に係る球面投影変換の処理においてカメラチルトの影響を受けて画像の歪曲を生じるメカニズムを説明する図であり、（ａ）はカメラチルトの無い場合の様子を、（ｂ）はカメラチルトのある場合の様子を、それぞれ説明する図である。
【発明を実施するための形態】
【００２８】
−第１の実施形態−
（内部構成）
図１は、第１の実施形態における画像貼り合わせ装置１２０を、電子カメラ１００へ組み込んだ場合の構成例を示すブロック図である。電子カメラ１００は、撮影レンズとカメラ本体とが一体型に構成されるカメラでもよいし、撮影レンズ交換式のカメラでもよい。電子カメラ１００は、スチルカメラであっても、静止画撮影が可能なムービーカメラであってもよい。
【００２９】
電子カメラ１００は、撮影光学系１０２と、撮像素子１０４と、メモリ１０６と、画像処理部１１０と、画像貼り合わせ装置１２０と、制御部１４０と、画像メモリ１４２とを備える。画像貼り合わせ装置１２０は、角速度センサ１２８と、画像変換処理部１２２と、動きベクトル演算処理部１２４と、合成処理部１２６とを備える。図中、実線の矢印はデータの流れを表しており、破線は制御信号の伝達経路を表している。
【００３０】
制御部１４０はＣＰＵ等を備えて構成され、電子カメラ１００の動作を統括的に制御する。すなわち、電子カメラ１００の動作モードが画像記録モード、画像再生モード等に切り換えられ、その際にユーザによって動作モード等の設定が行われるのに応じて、撮像素子１０４、画像貼り合わせ装置１２０、画像処理部１１０、画像メモリ１４２のそれぞれで行われる動作を統括的に制御する。以下では、電子カメラ１００がパノラマ画像生成モードに設定されてユーザによりレリーズ操作がなされた場合を例に説明する。つまり、撮影者は、電子カメラ１００の動作モードをパノラマ画像生成モードに切り換えた後、撮影者を中心として円弧を描くように電子カメラ１００を振って（スイングして）撮影方向をずらしながら連続撮影を行う。その結果、一連の複数フレームの静止画像データが得られ、電子カメラ１００内の各構成要素は以下に説明する処理を行う。
【００３１】
画像メモリ１４２は、フラッシュメモリやハードディスクドライブ等で構成される。画像メモリ１４２は電子カメラ１００に内蔵されるものであってもよいし、電子カメラ１００に対して着脱自在に構成されていてもよい。
【００３２】
撮像素子１０４は、例えば、ＣＣＤやＣＭＯＳのイメージセンサで構成され、撮影レンズや絞り等を有する撮影光学系１０２によって撮像素子１０４のイメージエリア上に形成される被写体像を光電変換し、画像信号を生成して出力する。本明細書において撮像素子１０４は内部にアンプやＡ／Ｄコンバータ等が備えられるＣＭＯＳ撮像素子であり、デジタル画像信号を出力可能に構成されるものとする。撮像素子１０４はまた、そのイメージエリアに配列された画素上にベイヤ配列のオンチップカラーフィルタが配置された単板式の撮像素子であるものとする。撮像素子１０４から出力されるデジタル画像信号はメモリ１０６に現像前画像データ１５０として一時的に保存される。
【００３３】
なお、図１には図示されていないが、電子カメラ１００はレンズシャッタ、フォーカルプレンシャッタ、液晶式のシャッタ等、物理的に開閉するシャッタを備えていて、連続撮影動作時にシャッタが連続的に開閉動作するようにしてもよい。あるいは、撮像素子１０４自体がセンサシャッタの機能を備えていて、上述した物理的に開閉するシャッタを開放状態に維持したまま連続撮影をすることが可能に構成されていてもよい。その際、撮像素子１０４は、グローバルシャッタ方式（撮像素子１０４の受光上の全画素でほぼ同時に露光動作の開始および停止が行われる方式）で露光動作可能に構成されていることが望ましい。理由は、ローリングシャッタ方式により動体を撮影したときに生じる画像の歪みを、グローバルシャッタ方式では抑止できるからである。
【００３４】
現像前画像データ１５０は、撮像素子１０４の受光面上に形成されるオンチップカラーフィルタの配列（ベイヤ配列）に基づいて画素ごとにＲ（Ｒｅｄ）信号、Ｇ（Ｇｒｅｅｎ）信号、Ｂ（Ｂｌｕｅ）信号のうちのいずれか一つの情報を有する、いわゆるＲａｗ形式の画像データである。この現像前画像データは、必要に応じてＲａｗ画像データファイルとして画像メモリ１４２に記録することができる。
【００３５】
画像処理部１１０は、メモリ１０６に保存されている現像前画像データ１５０にデモザイキング、ノイズ低減、ホワイトバランス、色補正、階調変換等の処理をして現像後画像データ１５２を生成する。この現像後画像データ１５２は、圧縮処理されて画像メモリ１４２に画像ファイルとして記録することも可能である。ただし、本実施の形態において電子カメラ１００はパノラマ画像生成モードで一連の撮影動作が行われ、得られた複数フレームの現像後画像データ１５２が処理されて一つのパノラマ合成画像が生成されるものとする。その場合、画像処理部１１０により生成された現像後画像データ１５２はメモリ１０６に一時的に記録される。
【００３６】
画像貼り合わせ装置１２０は、画像処理部１１０により生成された複数フレームの現像後画像データ１５２を以下に説明するように処理して一つのパノラマ合成画像データ１６２を生成する。
【００３７】
角速度センサ１２８は、電子カメラ１００のチルト角度を検出可能に構成されるセンサである。チルト角度とは、水平面に対する撮影光学系１０２の光軸の傾き角度を意味する。以下でチルトの向き説明する場合、チルト角度は、撮影光学系１０２の光軸が水平面よりも上向きのとき、正の値をとり、水平面よりも下向きのとき、負の値をとるものとする。パノラマ画像生成モードで一連の複数フレームの撮影が行われる際に角速度センサ１２８によって計測動作が行われ、電子カメラ１００のチルト角度を表すカメラ姿勢データ１５４が角速度センサ１２８から出力される。
【００３８】
画像変換処理部１２２は、メモリ１０６に一時的に記録されている現像後画像データ１５２に対して仮想球面への投影処理と平面展開の処理とを行い、球面投影画像データ１５８を生成してメモリ１０６に一時的に記録する。画像変換処理部１２２は、上述した球面投影画像データ１５８の生成に際して、撮影時に設定されていた焦点距離等の撮影パラメータ１５６と、撮影時にチルト角を計測して得られたカメラ姿勢データ１５４とを参照する。なお、先に説明したように、現像後画像データ１５２は複数フレーム分がメモリ１０６に一時的に記録されるので、画像変換処理部１２２はそれぞれのフレームの現像後画像データ１５２に対して画像変換の処理を行う。その結果、メモリ１０６内には複数フレーム分の球面投影画像データ１５８が一時的に記録される。
【００３９】
動きベクトル演算処理部１２４は、複数枚の球面投影画像データ１５８について各画像間の位置ずれ量を表す動きベクトル１６０を求める。すなわち、動きベクトル演算処理部１２４は、複数枚の球面投影画像データ１５８に基づく複数の画像それぞれから注目画像ブロックを抽出し、時間的に隣接しあう複数の画像間で上記注目画像ブロックの移動量および移動方向を求めて動きベクトル１６０を求める。動きベクトル演算処理部１２４で求められた、各隣接画像間の動きベクトル１６０はメモリ１０６に一時的に記録される。動きベクトル１６０を求める処理としては、例えば、基準となる画像中において複数の動きベクトル測定領域を設定し、この動きベクトル測定領域の画像をテンプレートとして参照画像とのテンプレートマッチングの処理を行う方法がある。そして、それぞれの動きベクトル測定領域に対応する動きベクトル１６０が導出される。
【００４０】
テンプレートマッチング処理は、テンプレートを参照画像中の探索領域内で走査しながら一致指標を演算し、一致指標が最も高くなる位置を検出する処理である。参照画像中で一致指標が最も高くなる位置と基準画像中の対応位置（テンプレートの存在する位置）との位置ずれ量が計算され、位置ずれの方向と位置ずれ量とを規定する動きベクトルとして出力される。一致指標は、SAD（Sum of Absolute intensity Difference：差の絶対値和）、SSD（Sum of Squared intensity Difference：差の二乗和）、NCC（Normalized Cross-Correlation：正規化相互相関）など公知の技術を用いて導出することが可能である。
【００４１】
合成処理部１２６は、メモリ１０６に記録されている複数フレームの球面投影画像データ１５８について、動きベクトル演算処理部１２４で求められた動きベクトル１６０を参照して、複数の画像間の位置ずれを補正しながら貼り合わせ処理を行うことでパノラマ合成画像データ１６２を生成し、メモリ１０６に格納する。このとき、必要に応じて、輪郭形状を矩形にするため画像の周辺部を切り取ってメモリに格納する。以上のようにして現像処理を含む各種画像処理が施された画像は、圧縮処理されて画像メモリ１４２に画像ファイルとして記録される。また、必要に応じて不図示の表示装置等に表示される。
【００４２】
（処理シーケンス）
図２は、第１の実施形態における画像貼り合わせ装置１２０を備える電子カメラ１００によって行われる画像貼り合わせ処理の内容を示すフローチャートである。例えば、電子カメラ１００がパノラマ画像を生成するためのパノラマ画像生成モードに設定されており、ユーザによってレリーズボタンの押圧操作が行われると、図２に示される処理が開始される。
【００４３】
ステップＳ２００では、ユーザがレリーズボタンを押圧操作した時点における電子カメラ１００のチルト方向の傾きが計測され、カメラ姿勢データ１５４としてメモリ１０６に蓄積される。
【００４４】
ステップＳ２０２では、焦点距離、シャッタ速度、ＩＳＯ感度、絞り値等の露光条件を一定に固定した状態で連写撮影が行われる。このとき、電子カメラ１００には、電子カメラ１００を振る方向を示す矢印等が表示され、撮影者はそれに従って円弧を描くように電子カメラ１００を振りながら撮影を行う。すなわち、水平面に沿うように電子カメラ１００をスイングさせながら撮影を行う。
【００４５】
上述したＳ２００、Ｓ２０２の処理についてはその順番を逆にし、連続撮影の後にカメラチルト角の計測が行われても良い。あるいは、連続撮影動作開始後の所定のタイミングでカメラチルト角の計測が行われても良い。
【００４６】
ステップＳ２０４では、ステップＳ２０２において連写撮影して得られた複数フレームの現像前画像データ１５０それぞれに対してデモザイキング、ノイズ低減、ホワイトバランス、階調変換、色補正等の処理をし、現像後画像データ１５２を生成する処理が行われる。この処理が、図１を参照して説明した画像処理部１１０で行われる処理に相当する。
【００４７】
ステップＳ２０６では、ステップＳ２０４で現像処理して得られた複数フレームの現像後画像データ１５２それぞれに対して、焦点距離などの撮影パラメータ１５６とＳ２００で計測されたカメラチルト角（カメラ姿勢データ１５４）とを参照して球面投影変換および平面展開をする処理が行われて複数フレームの球面投影画像データ１５８が生成される。この処理が、図１を参照して説明した画像変換処理部１２２で行われる処理に相当する。
【００４８】
球面投影処理の処理内容を図３（ａ）、図３（ｂ）を参照して説明する。ここでは撮影時に、電子カメラ１００がチルトした状態でスイングされた場合を例に説明する。このカメラチルトを考慮せずに球面投影を行った場合、被写界内の一点に対応する点像の移動軌跡は図３（ａ）に示されるように経度だけでなく緯度も変化する。これは図１５を参照して説明したのと同様である。
【００４９】
図３（ｂ）は、本発明の実施の形態における球面投影処理の処理内容を概念的に示す図である。図３（ｂ）に示される処理では、画像を投影する球面の軸（極軸）が、角速度センサ１２８で計測されたチルト角度だけ傾けられる。球面の半径は実焦点距離であるものとする。電子カメラ１００のチルト角度だけ極軸を傾けた球面に対してｘ，ｙ，ｚ３軸の直交座標を設定し、ｘ軸回りの回転角度をθｘ、ｙ軸回りの回転角度をθｙとすると（図４）、半径ｒの球面上の点（ｘ，ｙ，ｚ）とｘ軸回り，ｙ軸回りの回転角θｘ，θｙとの間では以下に示す関係、すなわち、
（ｘ，ｙ，ｚ）＝（r・cosθx・sinθy，r・sinθx，r・cosθx・cosθy）
…（８）
が成り立つ。
【００５０】
通常の（チルト角度を考慮しない）座標系（ｘ’，ｙ’，ｚ’）とチルト角度を考慮した座標系（ｘ，ｙ、ｚ）とはチルト角度φだけ座標系がずれているので、次の関係、
【００５１】
【数１】
2013046270.tif 000003
が成り立つ。
【００５２】
カメラ基準の（チルト角度を考慮しない）座標系におけるｘ’軸回り、ｙ’軸回りそれぞれの回転角をθ’ｘ、θ’ｙとすると次の関係、
θ’ｘ＝ａｒｃｓｉｎ（ｙ’）            …  （１０）
θ’ｙ＝ａｒｃｔａｎ（ｘ’／ｚ’）      …  （１１）
が成り立つ。
【００５３】
一つの点から光が放射状に出射して撮像面に入射すると仮定した場合、カメラ基準の球面座系（θ’ｘ、θ’ｙ）を用いると、撮像面の対応位置（ｓ，ｔ）は、
ｓ＝ｒ・ｔａｎ（θ’ｙ）                    …  （１２）
ｔ＝ｒ・ｔａｎ（θ’ｘ）／ｔａｎ（θ’ｙ）  …  （１３）
で表される。
【００５４】
以上に説明した式（８）から式（１３）より、撮像面上の位置（ｓ，ｔ）と、カメラチルト角を考慮した球面座標（θｘ，θｙ）との間の対応関係を求めることができる。カメラチルト角を考慮した球面座標（θｘ，θｙ）は、以下の（１４）、（１５）で示す式、
ｓ’＝ｒ・θｙ            …  （１４）
ｔ’＝ｒ・θｘ            …  （１５）
を用いて正距円筒図法で示される平面座標（ｓ’，ｔ’）に展開可能となる。
【００５５】
以上より、撮像面上に形成される画像（画像データに基づく二次元画像）を、カメラチルト角度を考慮した球面座標系の仮想曲面に投影することができる。
【００５６】
図２の説明に戻る。ステップＳ２０８では、Ｓ２０６の処理を経て得られた複数枚の球面投影画像データ１５８について、画像間の位置ずれを表す動きベクトル１６０を求める処理が行われる。
【００５７】
ステップＳ２１０では、Ｓ２０６で生成された複数枚の球面投影画像データ１５８について、Ｓ２０８で導出された動きベクトル１６０を用いて画像間の位置ずれを補正しながら貼り合わせ処理を行うことでパノラマ合成画像データ１６２を生成する処理が行われる。
【００５８】
以上に説明したように、レリーズ押圧操作時にカメラチルト角が計測され、そのチルト角度分だけ補正した球面投影画像を生成することによって、２軸方向の比較的単純な位置合わせ処理によって、画像貼り合わせに際しての位置合わせ残差を減じることが可能となる。
【００５９】
なお、本実施の形態では、連写撮影を開始した後のカメラチルト角は大きく変化しないことを前提としている。連続撮影中にカメラチルト角が変化するのに対応可能とする例については第２の実施の形態で説明する。
【００６０】
以上に説明した処理を行って生成される画像の例について図５、図６を参照して説明する。図５（ａ）には、カメラチルト角を考慮しないで球面投影画像生成の処理をして得られた画像の例を示す。図５（ｂ）には、カメラチルト角を考慮して球面投影画像生成の処理をして得られた画像の例を示す。図５（ａ）と図５（ｂ）とを比較すればあきらかであるように、本発明の実施の形態による球面投影変換の処理により、水平方向に延在する直線状の被写体の像の湾曲が抑制されていることが分かる。
【００６１】
図５（ｂ）に示される画像を貼り合わせて得られた画像の一部を拡大したものを図６に示す。図６に示される画像では、図１４を参照して説明したような不連続部が殆ど目立たなくなっている。このとき、画像の回転や倍率変換等の処理をすることなく、２軸方向の単純な位置合わせをするだけで滑らかな貼り合わせをすることができるので、画像貼り合わせの処理負荷を減じることが可能となる。
【００６２】
−第２の実施形態−
第２の実施の形態では、以下で詳細に説明するように、連続撮影が行われる際、毎回の撮影動作に対応してカメラチルト角の計測が行われ、その計測結果がカメラ姿勢データ１５４として記録される。その後、各画像を球面投影変換する時に、その画像を撮影する際に計測して得られたカメラチルト角が参照される。
【００６３】
本発明の第２の実施の形態に係る画像貼り合わせ装置１２０も、図１を参照して説明した第１の実施の形態に係る画像貼り合わせ装置１２０と同様の構成を備える。また、画像貼り合わせ装置１２０が電子カメラ１００に適用されるのも第１の実施の形態と同様である。第１の実施の形態と異なるのは以下に説明する処理シーケンスである。
【００６４】
（処理シーケンス）
図７は、第２の実施形態における画像貼り合わせ装置１２０を備える電子カメラ１００によって行われる画像貼り合わせ処理の手順を説明するフローチャートである。第１の実施の形態と同様、例えば、電子カメラ１００がパノラマ画像を生成するためのパノラマ画像生成モードに設定されており、ユーザによってレリーズボタンの押圧操作が行われると、図２に示される処理が開始される。
【００６５】
ステップＳ７００では、電子カメラ１００のチルト方向の傾きが計測され、電子カメラ１００の姿勢データ１３０としてメモリ１０６に蓄積される。
【００６６】
ステップＳ７０２では、焦点距離、シャッタ速度、ＩＳＯ感度、絞り値等の露光条件を一定に固定した状態で１フレーム分の撮影が行われる。このとき、電子カメラ１００には、電子カメラ１００を振る方向を示す矢印等が表示され、撮影者はそれに従って円弧を描くように電子カメラ１００を振りながら撮影を行う。すなわち、水平面に沿うように電子カメラ１００をスイングさせながら撮影を行う。
【００６７】
上述したＳ７００、Ｓ７０２の処理についてはその順番を逆にし、毎撮影動作の後にカメラチルト角の計測が行われても良い。あるいは、撮影動作とカメラチルト角の計測とが略同じタイミングで行われてもよい。
【００６８】
ステップＳ７０４では、レリーズスイッチがオフになったか否かの判定が行われる。Ｓ７０４での判定が否定される間、Ｓ７００でのカメラチルト角の計測とＳ７０２での撮影とが繰り返し行われる。Ｓ７０４での判定が肯定された場合の分岐先であるＳ７０６において、Ｓ７０２の撮影動作で得られた複数フレームの現像前画像データ１５０それぞれに対してデモザイキング、ノイズ低減、ホワイトバランス、階調変換、色補正等の処理をし、現像後画像データ１５２を生成する処理が行われる。この処理が、図１を参照して説明した画像処理部１１０で行われる処理に相当する。
【００６９】
ステップＳ７０８では、ステップＳ７０６で現像処理して得られた複数フレームの現像後画像データ１５２それぞれに対して、焦点距離などの撮影パラメータ１５６とＳ７００で計測されたカメラチルト角（カメラ姿勢データ１５４）とを参照して球面投影変換および平面展開をする処理が行われて複数フレームの球面投影画像データ１５８が生成される。この処理が、図１を参照して説明した画像変換処理部１２２で行われる処理に相当する。
【００７０】
以下、Ｓ７１０、Ｓ７１２の処理は第１の実施の形態で図２を参照して説明したＳ２０８、Ｓ２１０の処理とそれぞれ同様であるので詳細な説明を省略する。
【００７１】
第１の実施形態では、連続撮影の開始前にカメラチルト角が計測され、その後連続撮影して得られた全ての画像について球面投影変換の処理をする際に、上記カメラチルト角が一律に適用される。これに対し、第２の実施の形態では、１フレームの撮影動作に対応して１回ずつ、カメラチルト角度の計測が行われ、撮影画像のそれぞれに適したチルト角度が設定され、球面投影変換の処理が行われる点が異なる。これによって、連写撮影中にカメラのチルト角度が変動した場合においても、縦横２軸方向の比較的単純な位置合せ処理によって画像間の位置ずれを補正することができ、接合部の不整合の目立ちにくい滑らかなパノラマ画像を得ることが可能となる。
【００７２】
以上、第１および第２の実施の形態で、画像貼り合わせ装置１２０が電子カメラ１００に実装される例について説明したが、情報処理装置と、この情報処理装置上で実行されるプログラムとによって画像貼り合わせ装置１２０が実現されてもよい。その場合、複数の画像データとカメラ姿勢データとを取得し、図２のＳ２０４からＳ２１０までの処理手順、あるいは図７のＳ７０６からＳ７１２までの処理手順を情報処理装置が実行するためのプログラムが情報処理装置内の補助記憶装置にストアされる。これらのプログラムは補助記憶装置から読み出されて情報処理装置内のメモリ上にロードされ、情報処理装置により実行される。この場合、現像前画像データ１５０または現像後画像データ１５２がカメラ姿勢データ１５４、撮影パラメータ１５６とともに電子カメラ１００の画像メモリ１４２に画像ファイルとして記録され、その画像ファイルが情報処理装置に入力される。生成されたパノラマ合成画像データに基づく画像は情報処理装置に接続される表示装置等に出力可能である。また、生成されたパノラマ合成画像データを収容する画像ファイルを情報処理装置が生成して記録することも可能である。
【００７３】
情報処理装置としては、汎用のコンピュータであってもよいし、画像処理専用の装置、ビデオレコーダ等であってもよい。
【００７４】
以上では、一連の静止画像撮影動作が連続して行われて得られた複数の静止画像データをもとにパノラマ合成画像データが生成される例について説明したが本発明はそれに限られない。例えば、動画の撮影に際してカメラをパンしながら風景を撮影する場合がある。ユーザはその動画像を再生し、その中から気に入ったシーンを見つけ出したときに、特定の時間区間のシーンを選択し、パノラマ合成画像データを生成するコマンドを発する。画像貼り合わせ装置１２０は、ユーザにより選択された時間区間中の動画像データから複数枚の静止画像を切り出し、画像変換、動きベクトル導出、パノラマ合成の処理をすることができる。この場合、動画像撮影中に角速度センサ１２８は電子カメラ１００のチルト角を適宜の時間間隔で計測し、その計測結果がカメラ姿勢データ１５４として動画像データに付加されているものとする。
【産業上の利用可能性】
【００７５】
本発明に係る画像貼り合わせ装置は、デジタルスチルカメラ、デジタルムービーカメラに組み込んだものとすることが可能である。さらには、パーソナルコンピュータ、ビデオレコーダ、携帯電話あるいは携帯情報端末装置などに実装することも可能である。
【符号の説明】
【００７６】
１００  …  電子カメラ
１０２  …  撮影光学系
１０４  …  撮像素子
１０６  …  メモリ
１１０  …  画像処理部
１２０  …  画像貼り合わせ装置
１２２  …  画像変換処理部
１２４  …  動きベクトル演算処理部
１２６  …  合成処理部
１２８  …  角速度センサ
１４０  …  制御部
１４２  …  画像メモリ
１５０  …  現像前画像データ
１５２  …  現像後画像データ
１５４  …  カメラ姿勢データ
１５６  …  撮影パラメータ
１５８  …  球面投影画像データ
１６０  …  動きベクトル
１６２  …  パノラマ合成画像データ
【図１】
2013046270.tif 000004
【図２】
2013046270.tif 000005
【図３】
2013046270.tif 000006
【図４】
2013046270.tif 000007
【図７】
2013046270.tif 000008
【図８】
2013046270.tif 000009
【図９】
2013046270.tif 000010
【図１０】
2013046270.tif 000011
【図１５】
2013046270.tif 000012
【図５】
2013046270.tif 000013
【図６】
2013046270.tif 000014
【図１１】
2013046270.tif 000015
【図１２】
2013046270.tif 000016
【図１３】
2013046270.tif 000017
【図１４】
2013046270.tif 000018