(57)【要約】【課題】より適切な視差を有する立体画像を表示できるようにする。【解決手段】撮像装置１１は、回動中心Ｃ１１を中心として回動している状態で、複数の撮像画像Ｐ（１）乃至Ｐ（Ｎ）を撮像する。撮像対象となった空間上の特定領域が表示される画像の表示が指示されると、撮像装置１１は、特定領域が表示される撮像画像のなかから、特定領域内の被写体に、予め定めた大きさの視差が生じる２つの撮像画像を選択し、それらの撮像画像から特定領域内の被写体が表示される領域を切り出して、右眼用および左眼用の部分画像とする。これらの部分画像は、適切な視差を有しているので、レンチキュラ方式等により、同時に表示させれば、奥行き感のある立体的な画像を表示させることができる。本発明は、カメラに適用することができる。【選択図】図１
2011082918.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、前記撮像画像の撮像時に撮像対象となった特定領域が表示され、互いに視差を有する第１の部分画像および第２の部分画像を生成する画像処理装置であって、
前記撮像画像を利用した動き推定により、前記特定領域が表示される複数の前記撮像画像のなかから、前記特定領域内の被写体の視差が予め定めた大きさとなる２つの撮像画像を特定する特定手段と、
前記２つの撮像画像のそれぞれから、前記特定領域が表示される領域を切り出して、前記第１の部分画像および前記第２の部分画像を生成する部分画像生成手段と
を備える画像処理装置。
【請求項２】
前記部分画像生成手段は、前記２つの撮像画像の一方を含む連続して撮像された複数の前記撮像画像のそれぞれから、前記特定領域が表示される領域を切り出して、複数の前記第１の部分画像のそれぞれを生成し、前記２つの撮像画像の他方を含む連続して撮像された複数の前記撮像画像のそれぞれから、前記特定領域が表示される領域を切り出して、複数の前記第２の部分画像のそれぞれを生成する
請求項１に記載の画像処理装置。
【請求項３】
前記第１の部分画像および前記第２の部分画像からなる画像対が同時に表示されることで、前記特定領域が立体表示されるように、複数の前記画像対を所定の時間間隔で順番に表示させる表示制御手段をさらに備える
請求項２に記載の画像処理装置。
【請求項４】
複数の前記撮像画像上の所定の領域が切り出されて得られた短冊画像のそれぞれを並べて合成し、前記撮像対象の前記特定領域を含む領域が表示されるパノラマ画像を生成するとともに、複数の前記撮像画像上の前記所定の領域が、前記撮像手段の移動方向に対応する方向と反対の特定方向にずらされた位置の領域が切り出されて得られた、他の短冊画像のそれぞれを並べて合成し、他のパノラマ画像を生成するパノラマ画像生成手段をさらに備え、
前記特定手段は、前記パノラマ画像と、前記他のパノラマ画像とを用いた動き推定により、前記パノラマ画像上の各領域の動きを検出することで、前記特定領域内の被写体の視差の大きさを求め、前記特定領域内の被写体の視差が前記予め定めた大きさである場合、前記パノラマ画像および前記他のパノラマ画像のそれぞれの生成に用いられた、前記特定領域内の被写体が表示される前記撮像画像のそれぞれを、前記２つの撮像画像とする
請求項２に記載の画像処理装置。
【請求項５】
前記特定手段は、最も多く検出された前記移動方向に対応する方向への動きの大きさに対する、前記特定領域内における前記特定方向への最も大きい動きの相対的な大きさが前記予め定めた大きさとなる場合、前記視差が前記予め定めた大きさであると特定する
請求項４に記載の画像処理装置。
【請求項６】
撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、前記撮像画像の撮像時に撮像対象となった特定領域が表示され、互いに視差を有する第１の部分画像および第２の部分画像を生成する画像処理装置であって、
前記撮像画像を利用した動き推定により、前記特定領域が表示される複数の前記撮像画像のなかから、前記特定領域内の被写体の視差が予め定めた大きさとなる２つの撮像画像を特定する特定手段と、
前記２つの撮像画像のそれぞれから、前記特定領域が表示される領域を切り出して、前記第１の部分画像および前記第２の部分画像を生成する部分画像生成手段と
を備える画像処理装置の画像処理方法において、
前記特定手段が、複数の前記撮像画像のなかから、視差が前記予め定めた大きさとなる前記２つの撮像画像を特定し、
前記部分画像生成手段が、前記２つの撮像画像から、前記第１の部分画像および前記第２の部分画像を生成する
ステップを含む画像処理方法。
【請求項７】
撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、前記撮像画像の撮像時に撮像対象となった特定領域が表示され、互いに視差を有する第１の部分画像および第２の部分画像を生成する画像処理用のプログラムであって、
前記撮像画像を利用した動き推定により、前記特定領域が表示される複数の前記撮像画像のなかから、前記特定領域内の被写体の視差が予め定めた大きさとなる２つの撮像画像を特定し、
前記２つの撮像画像のそれぞれから、前記特定領域が表示される領域を切り出して、前記第１の部分画像および前記第２の部分画像を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置および方法、並びにプログラムに関し、特に、より適切な視差を有する立体画像を得ることができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラの普及により、多くの写真を撮像するユーザが増えてきている。また、撮像された大量の写真を効果的に提示する方法も求められている。
【０００３】
例えば、撮像された写真の効果的な提示方法として、いわゆるパノラマ画像が知られている。パノラマ画像は、撮像装置を所定方向にパンさせながら撮像して得られた複数の静止画像を、それらの静止画像上の同じ被写体が重なるように並べることにより得られる１枚の静止画像である（例えば、特許文献１参照）。
【０００４】
このようなパノラマ画像によれば、通常の撮像装置による１枚分の静止画像の撮像範囲（画角）よりも、より広い範囲の空間を被写体として表示させることができるので、より効果的に撮像された被写体の画像を表示することができる。
【０００５】
また、パノラマ画像を得るために、撮像装置をパンさせながら複数の静止画像を撮像した場合には、いくつかの静止画像に、同じ被写体が含まれていることがある。そのような場合において、異なる静止画像上の同じ被写体は、互いに異なる位置から撮像されたものであるから、視差が生じていることになる。これを利用して、複数の静止画像から、互いに視差を有する２つの画像（以下、立体画像と称する）を生成すれば、これらの画像をレンチキュラ方式で同時に表示することで、撮像対象となった被写体を立体的に表示することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第３１６８４４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、立体画像を生成しようとする場合、撮像装置による撮像対象となった撮像空間上のどの領域を表示させる画像を生成するかによって、その生成に適した静止画像は異なる。
【０００８】
すなわち、所定の静止画像上の被写体と、他の静止画像上の同じ被写体の視差は、撮像時における撮像装置からその被写体までの距離によって変化する。例えば、撮像対象となった領域内の撮像装置に近い近景の被写体よりも、撮像装置から遠い遠景の被写体の方が視差は、より小さくなる。
【０００９】
したがって、同じ静止画像を用いて生成した立体画像であっても、近景の被写体を表示させる立体画像の視差と、遠景の被写体を表示させる立体画像の視差とは異なることになる。そのため、立体画像の生成時には、表示させる領域に応じて、生成に用いられる静止画像として、適切な視差を有する静止画像の選択が必要となる。
【００１０】
ところが、上述した技術では、表示させようとする領域ごとに、視差についての考慮がされないため、適切な視差を有する２つの画像からなる立体画像を生成することはできなかった。
【００１１】
本発明は、このような状況に鑑みてなされたものであり、より適切な視差を有する立体画像を得ることができるようにするものである。
【課題を解決するための手段】
【００１２】
本発明の一側面の画像処理装置は、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、前記撮像画像の撮像時に撮像対象となった特定領域が表示され、互いに視差を有する第１の部分画像および第２の部分画像を生成する画像処理装置であって、前記撮像画像を利用した動き推定により、前記特定領域が表示される複数の前記撮像画像のなかから、前記特定領域内の被写体の視差が予め定めた大きさとなる２つの撮像画像を特定する特定手段と、前記２つの撮像画像のそれぞれから、前記特定領域が表示される領域を切り出して、前記第１の部分画像および前記第２の部分画像を生成する部分画像生成手段とを備える。
【００１３】
前記部分画像生成手段には、前記２つの撮像画像の一方を含む連続して撮像された複数の前記撮像画像のそれぞれから、前記特定領域が表示される領域を切り出させて、複数の前記第１の部分画像のそれぞれを生成させ、前記２つの撮像画像の他方を含む連続して撮像された複数の前記撮像画像のそれぞれから、前記特定領域が表示される領域を切り出させて、複数の前記第２の部分画像のそれぞれを生成させることができる。
【００１４】
画像処理装置には、前記第１の部分画像および前記第２の部分画像からなる画像対が同時に表示されることで、前記特定領域が立体表示されるように、複数の前記画像対を所定の時間間隔で順番に表示させる表示制御手段をさらに設けることができる。
【００１５】
画像処理装置には、複数の前記撮像画像上の所定の領域が切り出されて得られた短冊画像のそれぞれを並べて合成し、前記撮像対象の前記特定領域を含む領域が表示されるパノラマ画像を生成するとともに、複数の前記撮像画像上の前記所定の領域が、前記撮像手段の移動方向に対応する方向と反対の特定方向にずらされた位置の領域が切り出されて得られた、他の短冊画像のそれぞれを並べて合成し、他のパノラマ画像を生成するパノラマ画像生成手段をさらに設け、前記特定手段には、前記パノラマ画像と、前記他のパノラマ画像とを用いた動き推定により、前記パノラマ画像上の各領域の動きを検出させることで、前記特定領域内の被写体の視差の大きさを求めさせ、前記特定領域内の被写体の視差が前記予め定めた大きさである場合、前記パノラマ画像および前記他のパノラマ画像のそれぞれの生成に用いられた、前記特定領域内の被写体が表示される前記撮像画像のそれぞれを、前記２つの撮像画像とさせることができる。
【００１６】
前記特定手段には、最も多く検出された前記移動方向に対応する方向への動きの大きさに対する、前記特定領域内における前記特定方向への最も大きい動きの相対的な大きさが前記予め定めた大きさとなる場合、前記視差が前記予め定めた大きさであると特定させることができる。
【００１７】
本発明の一側面の画像処理方法またはプログラムは、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、前記撮像画像の撮像時に撮像対象となった特定領域が表示され、互いに視差を有する第１の部分画像および第２の部分画像を生成する画像処理方法またはプログラムであって、前記撮像画像を利用した動き推定により、前記特定領域が表示される複数の前記撮像画像のなかから、前記特定領域内の被写体の視差が予め定めた大きさとなる２つの撮像画像を特定し、前記２つの撮像画像のそれぞれから、前記特定領域が表示される領域を切り出して、前記第１の部分画像および前記第２の部分画像を生成するステップを含む。
【００１８】
本発明の一側面においては、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、前記撮像画像の撮像時に撮像対象となった特定領域が表示され、互いに視差を有する第１の部分画像および第２の部分画像が生成される場合において、前記撮像画像を利用した動き推定により、前記特定領域が表示される複数の前記撮像画像のなかから、前記特定領域内の被写体の視差が予め定めた大きさとなる２つの撮像画像が特定され、前記２つの撮像画像のそれぞれから、前記特定領域が表示される領域が切り出されて、前記第１の部分画像および前記第２の部分画像が生成される。
【発明の効果】
【００１９】
本発明の一側面によれば、より適切な視差を有する立体画像を得ることができる。
【図面の簡単な説明】
【００２０】
【図１】撮像画像の撮像方法を説明する図である。
【図２】撮像時の視差について説明する図である。
【図３】立体パノラマ動画像の表示例を示す図である。
【図４】本発明を適用した撮像装置の一実施の形態の構成例を示す図である。
【図５】信号処理部の構成例を示す図である。
【図６】動画像再生処理を説明するフローチャートである。
【図７】撮像画像の位置合わせについて説明する図である。
【図８】中心座標の算出について説明する図である。
【図９】立体パノラマ動画像の再生処理を説明するフローチャートである。
【図１０】短冊画像の切り出しについて説明する図である。
【図１１】立体パノラマ動画像の生成について説明する図である。
【図１２】立体部分動画像の再生処理を説明するフローチャートである。
【図１３】立体部分動画像の生成について説明する図である。
【図１４】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照して、本発明を適用した実施の形態について説明する。
【００２２】
［立体パノラマ動画像の説明］
本発明を適用した撮像装置は、例えばカメラなどからなり、撮像装置が移動している状態で、撮像装置が連続的に撮像した複数の撮像画像から、１つの立体パノラマ動画像を生成する。立体パノラマ動画像は、視差を有する２つのパノラマ動画像から構成される。
【００２３】
パノラマ動画像は、撮像装置が１度の撮像により撮像することができる実空間上の撮像範囲（画角）よりも、より広い範囲の領域が被写体として表示される複数のパノラマ画像からなる画像群である。したがって、パノラマ動画像は、パノラマ動画像を構成する各パノラマ画像を１フレーム分の画像と考えれば１つの動画像であるということもできるし、パノラマ動画像を構成する各パノラマ画像を１枚の静止画像と考えれば静止画像群であるということもできる。以下では、説明を簡単にするため、パノラマ動画像が、動画像であるものとして説明を続ける。
【００２４】
ユーザが撮像装置に立体パノラマ動画像を生成させようとする場合、ユーザは撮像装置を操作して、立体パノラマ動画像の生成に用いられる撮像画像を撮像させる。
【００２５】
例えば、図１に示すように撮像画像の撮像時には、ユーザは、撮像装置１１の光学レンズを図中、手前側に向けて、回動中心Ｃ１１を中心として撮像装置１１を図中、右から左方向に回動（パン）させながら連続して被写体を撮像させる。このとき、ユーザは、静止している同じ被写体が、連続して撮像される複数の撮像画像に含まれるように、撮像装置１１の回動速度を調整する。
【００２６】
このように撮像装置１１を移動させながら撮像画像を撮像させることで、Ｎ枚の撮像画像Ｐ（１）乃至撮像画像Ｐ（Ｎ）が得られる。
【００２７】
ここで、撮像画像Ｐ（１）は、Ｎ枚の撮像画像のうち最も撮像時刻の古い画像、つまり最初に撮像された画像であり、撮像画像Ｐ（Ｎ）はＮ枚の撮像画像のうち、最も撮像時刻の新しい、最後に撮像された画像である。以下では、ｎ番目（但し、１≦ｎ≦Ｎ）に撮像された撮像画像を撮像画像Ｐ（ｎ）とも称することとする。
【００２８】
なお、各撮像画像は、連写された静止画像であってもよいし、撮影された動画像の１フレーム分の画像であってもよい。
【００２９】
また、図１において、撮像装置１１自体を９０度だけ回転させ、つまり撮像装置１１を横向きにして撮像を行った方が、図中、縦方向により長い撮像画像を得ることができる場合には、撮像装置１１を横向きにして撮像画像の撮像を行うようにしてもよい。そのような場合、撮像画像が撮像装置１１と同じ方向に９０度だけ回転されて、立体パノラマ動画像の生成が行われる。
【００３０】
このようにしてＮ枚の撮像画像が得られると、撮像装置１１は、これらの撮像画像を用いて互いに視差を有する２つのパノラマ動画像を生成する。ここで、パノラマ動画像は、Ｎ枚の撮像画像の撮像時に撮像対象となった撮像空間上の全領域が被写体として表示される動画像である。
【００３１】
撮像画像から、視差を有する２つのパノラマ動画像が得られるのは、撮像装置１１が移動している状態で、複数の撮像画像を撮像するため、それらの撮像画像上の被写体は、視差を有することになるからである。
【００３２】
例えば、図２に示すように、回動中心Ｃ１１を中心として、図中、矢印方向に撮像装置１１を回動させながら撮像画像を撮像したときに、位置ＰＴ１および位置ＰＴ２において、撮像画像が撮像されたとする。
【００３３】
この場合、撮像装置１１が位置ＰＴ１と位置ＰＴ２のそれぞれにあるときに撮像された撮像画像には、同じ被写体Ｈ１１が含まれるが、それらの撮像画像は撮像位置、つまり被写体Ｈ１１の観察位置が異なるので、視差が生じることになる。撮像装置１１が一定の回動速度で回動する場合には、回動中心Ｃ１１から撮像装置１１までの距離が長いほど、例えば回動中心Ｃ１１から位置ＰＴ１の距離が長いほど、視差は大きくなる。
【００３４】
このようにして生じる視差を利用して、観察位置の異なる（視差を有する）２つのパノラマ動画像を生成し、それらのパノラマ動画像をレンチキュラ方式等により同時に再生すれば、ユーザに立体的なパノラマ動画像を提示することができる。
【００３５】
なお、以下、立体パノラマ動画像を構成する２つのパノラマ動画像のうち、ユーザの右眼により観察されるように表示させるパノラマ動画像を右眼用のパノラマ動画像と称する。また、立体パノラマ動画像を構成する２つのパノラマ動画像のうち、ユーザの左眼により観察されるように表示させるパノラマ動画像を左眼用のパノラマ動画像と称する。
【００３６】
立体パノラマ動画像が生成されると、例えば撮像装置１１には、図３に示す立体パノラマ動画像ＰＭＶが表示される。ユーザは、表示された立体パノラマ動画像ＰＭＶ上の所定の領域と倍率を指定することにより、さらにその領域が、指定された倍率で拡大表示される新たな動画像を表示させることができる。
【００３７】
例えば、ユーザにより立体パノラマ動画像ＰＭＶの任意の位置と倍率が指定されると、撮像装置１１には、指定された位置を中心とし、指定された倍率により定まる立体パノラマ動画像ＰＭＶ上の領域ＢＰのみを被写体とする立体部分動画像が表示される。つまり立体部分動画像を表示させる処理は、立体パノラマ動画像の一部の領域を拡大表示させる処理である。
【００３８】
［撮像装置の構成］
図４は、本発明を適用した撮像装置１１の一実施の形態の構成例を示す図である。
【００３９】
撮像装置１１は、操作入力部２１、撮像部２２、撮像制御部２３、信号処理部２４、バス２５、バッファメモリ２６、圧縮伸張部２７、ドライブ２８、記録媒体２９、表示制御部３０、および表示部３１から構成される。
【００４０】
操作入力部２１はボタンなどからなり、ユーザの操作を受けて、その操作に応じた信号を信号処理部２４に供給する。撮像部２２は、光学レンズや撮像素子などからなり、被写体からの光を光電変換することにより撮像画像を撮像して、撮像制御部２３に供給する。撮像制御部２３は撮像部２２による撮像を制御するとともに、撮像部２２から取得した撮像画像を信号処理部２４に供給する。
【００４１】
信号処理部２４は、バス２５を介してバッファメモリ２６乃至ドライブ２８、および表示制御部３０と接続されており、操作入力部２１からの信号に応じて撮像装置１１の全体を制御する。
【００４２】
例えば、信号処理部２４は、撮像制御部２３からの撮像画像を、バス２５を介してバッファメモリ２６に供給したり、バッファメモリ２６から取得した撮像画像から立体パノラマ動画像を生成したりする。また、信号処理部２４は、バッファメモリ２６から取得した撮像画像から、立体部分動画像も生成する。
【００４３】
バッファメモリ２６は、SDRAM（Synchronous Dynamic Random Access Memory）などからなり、バス２５を介して供給された撮像画像等のデータを一時的に記録する。圧縮伸張部２７は、バス２５を介して供給された画像を所定の方式によりエンコードしたり、デコードしたりする。
【００４４】
ドライブ２８は、バス２５から供給された立体パノラマ動画像を記録媒体２９に記録させたり、記録媒体２９に記録されている立体パノラマ動画像を読み出してバス２５に出力したりする。記録媒体２９は、撮像装置１１に着脱可能な不揮発性のメモリからなり、ドライブ２８の制御に従って立体パノラマ動画像を記録する。
【００４５】
表示制御部３０は、バス２５を介して供給された立体パノラマ動画像等を表示部３１に供給して表示させる。表示部３１は、例えばLCD（Liquid Crystal Display）やレンチキュラレンズからなり、表示制御部３０の制御に従って、レンチキュラ方式で画像を立体表示する。
【００４６】
［信号処理部の構成］
また、図４の信号処理部２４は、より詳細には図５に示すように構成される。
【００４７】
すなわち、信号処理部２４は、動き推定部６１、立体パノラマ動画生成部６２、および立体部分動画生成部６３から構成される。
【００４８】
動き推定部６１は、バス２５を介して供給された、撮像時刻の異なる２つの撮像画像を用いて動き推定（Motion Estimation）を行う。動き推定部６１は、座標算出部７１を備えている。
【００４９】
座標算出部７１は、動き推定の結果に基づいて、２つの撮像画像上の同じ被写体が重なるように、それらの撮像画像を、所定の平面上に並べて配置したときの各撮像画像の相対的な位置関係を示す情報を生成する。具体的には、所定の平面上に２次元のｘｙ座標系をとったときの撮像画像の中心の位置の座標（以下、中心座標と称する）が、撮像画像の相対的な位置関係を示す情報として算出される。
【００５０】
立体パノラマ動画生成部６２は、バス２５を介して供給された撮像画像および中心座標を用いて、立体パノラマ動画像を生成する。立体パノラマ動画生成部６２は、短冊画像生成部７２を備えている。
【００５１】
短冊画像生成部７２は、撮像画像および中心座標を用いて、撮像画像上の所定の領域を切り出して、右眼用および左眼用の短冊画像を生成する。立体パノラマ動画生成部６２は、生成された右眼用および左眼用の短冊画像をそれぞれ合成して、右眼用および左眼用のパノラマ画像を生成する。また、立体パノラマ動画生成部６２は、右眼用および左眼用のパノラマ画像を複数生成することで、パノラマ画像群である右眼用および左眼用のパノラマ動画像を生成する。
【００５２】
ここで、１フレーム分のパノラマ動画像、つまり１つのパノラマ画像は、撮像画像の撮像時に撮像対象となった撮像空間上の全範囲（領域）が被写体として表示される画像である。
【００５３】
立体部分動画生成部６３は、バス２５を介して供給された撮像画像および中心座標を用いて、立体部分動画像を生成する。立体部分動画像は、立体パノラマ動画像上の所定の領域のみが表示される画像である、複数の部分画像から構成される。
【００５４】
また、立体部分動画生成部６３は、視差算出部７３を備えている。視差算出部７３は、パノラマ動画像を構成する２つのフレームのパノラマ画像を用いた動き推定により、立体部分動画像を生成するのに適した撮像画像群を特定する。
【００５５】
立体部分動画生成部６３は、視差算出部７３により特定された撮像画像、および中心座標を用いて、撮像画像上の所定の領域を切り出して右眼用および左眼用の部分画像を生成することで、部分画像群である右眼用および左眼用の部分動画像を生成する。これらの右眼用および左眼用の部分動画像から、１つの立体部分動画像が構成される。
【００５６】
［動画像再生処理の説明］
次に、図６のフローチャートを参照して、撮像装置１１が撮像画像を撮像して立体パノラマ動画像等の各種の動画像を生成し、それらの動画像を再生する動画像再生処理について説明する。この動画像再生処理は、ユーザにより操作入力部２１が操作され、立体パノラマ動画像の生成が指示されると開始される。
【００５７】
ステップＳ１１において、撮像部２２は、図１に示したように撮像装置１１が移動している状態で、被写体を撮像する。これにより、１枚（以下、１フレームと称する）の撮像画像が得られる。撮像部２２で撮像された撮像画像は、撮像部２２から撮像制御部２３を介して信号処理部２４に供給される。
【００５８】
ステップＳ１２において、信号処理部２４は、撮像部２２から供給された撮像画像を、バス２５を介してバッファメモリ２６に供給し、一時的に記録させる。このとき、信号処理部２４は、記録させる撮像画像が何番目に撮像された撮像画像であるかを特定できるように、撮像画像にフレーム番号を付して記録させる。なお、以下、ｎ番目に撮像された撮像画像Ｐ（ｎ）を、フレームｎの撮像画像Ｐ（ｎ）とも称することとする。
【００５９】
ステップＳ１３において、動き推定部６１は、バス２５を介してバッファメモリ２６から現フレームｎと、その直前のフレーム（ｎ−１）の撮像画像を取得し、動き推定により撮像画像の位置合わせを行う。
【００６０】
例えば、直前のステップＳ１２においてバッファメモリ２６に記録された撮像画像が、ｎ番目に撮像された撮像画像Ｐ（ｎ）である場合、動き推定部６１は、現フレームｎの撮像画像Ｐ（ｎ）と、直前のフレーム（ｎ−１）の撮像画像Ｐ（ｎ−１）を取得する。
【００６１】
そして、動き推定部６１は、図７に示すように、撮像画像Ｐ（ｎ）上の９個のブロックBL(n)−1乃至ブロックBR(n)−3と同じ画像が、直前のフレームの撮像画像Ｐ（ｎ−１）上のどの位置にあるかを探索することで、位置合わせを行う。
【００６２】
ここで、ブロックBC(n)−1乃至ブロックBC(n)−3は、撮像画像Ｐ（ｎ）のほぼ中央に位置する図中、縦方向の仮想的な直線である境界CL−n上に、図中縦方向に並んでいる矩形領域である。
【００６３】
また、ブロックBL(n)−1乃至ブロックBL(n)−3は、撮像画像Ｐ（ｎ）の図中、境界CL−nの左側に位置する、縦方向の仮想的な直線である境界LL−n上に、図中縦方向に並んでいる矩形領域である。同様に、ブロックBR(n)−1乃至ブロックBR(n)−3は、撮像画像Ｐ（ｎ）の図中、境界CL−nの右側に位置する、縦方向の仮想的な直線である境界RL−n上に、図中縦方向に並んでいる矩形領域である。これらの９個のブロックBL(n)−1乃至ブロックBR(n)−3の位置は、予め定められている。
【００６４】
動き推定部６１は、撮像画像Ｐ（ｎ）上の９個の各ブロックについて、そのブロックと同じ形状および大きさである撮像画像Ｐ（ｎ−１）上の領域であって、ブロックとの差分の最も小さい領域（以下、ブロック対応領域と称する）を探索する。ここで、ブロックとの差分は、処理対象のブロック、例えばブロックBL(n)−1と、ブロック対応領域の候補とされている領域との同じ位置の画素の画素値の差分絶対値の和などとされる。
【００６５】
このような動き推定を行うと、撮像画像Ｐ（ｎ）上のブロックBL(n)−1乃至ブロックBR(n)−3のそれぞれに対して、それらのブロックの相対的な位置関係と同じ位置関係で撮像画像Ｐ（ｎ−１）上に位置するブロック対応領域が得られることになる。
【００６６】
撮像画像Ｐ（ｎ）上の処理対象のブロックに対応する、撮像画像Ｐ（ｎ−１）のブロック対応領域は、撮像画像Ｐ（ｎ−１）上において、処理対象のブロックとの差分が最も小さい領域である。そのため、ブロック対応領域には、処理対象のブロックと同じ画像が表示されているものと推定される。
【００６７】
したがって、ブロックBL(n)−1乃至ブロックBR(n)−3と、対応するブロック対応領域とが重なるように所定平面上に撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ−１）とを重ねて並べれば、それらの撮像画像上の同じ被写体が重なるはずである。
【００６８】
しかしながら、実際には、ブロックとブロック対応領域とが全く同じ位置関係とはならないことがある。そのため、より詳細には動き推定部６１は、全てのブロックとブロック対応領域とがほぼ重なるように、撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ−１）とを平面上に並べて、その結果を撮像画像の位置合わせの結果とする。
【００６９】
なお、撮像画像上に動きのある被写体があり、その被写体が撮像画像Ｐ（ｎ）上のブロック内に含まれる場合には、得られた９個のブロック対応領域は、ブロックBL(n)−1乃至ブロックBR(n)−3と同じ位置関係とはならなくなる。
【００７０】
そこで、動き推定部６１は、得られたブロック対応領域のそれぞれの相対的な位置関係が、撮像画像Ｐ（ｎ）上のブロックの相対的な位置関係と異なる場合には、動きのある被写体が含まれると推定されるブロックを除外し、再度、動き推定による位置合わせを行う。つまり、他のブロック対応領域と相対的な位置関係が異なるブロック対応領域が検出され、検出されたブロック対応領域に対応する撮像画像Ｐ（ｎ）上のブロックが処理対象から除外されて、残りのブロックのみが用いられて再度、動き推定が行われる。
【００７１】
具体的には、ブロックBL(n)−1乃至ブロックBR(n)−3が距離ＱＬの間隔で、図７中、縦横等間隔に並んでいるとする。例えば、互いに隣り合うブロックBL(n)−1とブロックBL(n)−2との距離、およびブロックBL(n)−1とブロックBC(n)−1との距離は、ともにＱＬとなる。この場合、動き推定部６１は、各ブロックに対応するブロック対応領域の相対的な位置関係に基づいて、撮像画像Ｐ（ｎ）上の動きのあるブロックを検出する。
【００７２】
すなわち、動き推定部６１は、ブロックBR(n)−3に対応するブロック対応領域と、ブロックBC(n)−3に対応するブロック対応領域など、互いに隣接するブロック対応領域同士の距離ＱＭを求める。
【００７３】
その結果、ブロックBR(n)−2およびブロックBC(n)−3については、それらのブロックに対応するブロック対応領域と、ブロックBR(n)−3に対応するブロック対応領域との距離ＱＭの、距離ＱＬとの差の絶対値が、予め定められた閾値以上であったとする。
【００７４】
また、ブロックBR(n)−2およびブロックBC(n)−3に対応するブロック対応領域と、他の隣接するブロック対応領域（ブロックBR(n)−3のブロック対応領域を除く）との距離ＱＭの、距離ＱＬとの差の絶対値は、予め定められた閾値未満であったとする。
【００７５】
この場合、ブロックBR(n)−3とは異なる他のブロックのブロック対応領域は、各ブロックの相対的な位置関係と同じ位置関係で並んでいる。ところが、ブロックBR(n)−3のブロック対応領域だけは、他のブロック対応領域に対して、各ブロックの位置関係とは異なる位置関係となっている。このような検出結果が得られた場合、動き推定部６１はブロックBR(n)−3に、動きのある被写体が含まれているとする。
【００７６】
なお、動きのあるブロックの検出には、互いに隣接するブロック対応領域同士の距離だけでなく、注目するブロック対応領域の隣接する他のブロック対応領域に対する回転角度などが用いられてもよい。つまり、例えば他のブロック対応領域に対して、所定の角度以上、傾いているブロック対応領域があれば、そのブロック対応領域に対応するブロックに、動きのある被写体が含まれているとされる。
【００７７】
このようにして、動きのあるブロックが検出されると、動き推定部６１は、その動きのあるブロックを除く残りのブロックを用いた動き推定により、再度、撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ−１）との位置合わせを行う。
【００７８】
このように、動きのある被写体が含まれるブロックを除外し、動きのない被写体、つまりいわゆる背景のみが含まれるブロックだけを用いて位置合わせを行うことで、より正確に位置合わせを行うことができる。この位置合わせの結果に従って撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ−１）を並べれば、動きのない被写体が重なるように、それらの撮像画像を重ねて並べることができる。
【００７９】
位置合わせが行われると、次に座標算出部７１は、これまでに撮像された撮像画像Ｐ（１）乃至撮像画像Ｐ（ｎ）を、各フレームの位置合わせの結果に従って所定の平面上、つまりｘｙ座標系上に並べたときの撮像画像Ｐ（ｎ）の中心座標を算出する。
【００８０】
例えば、図８に示すように、撮像画像Ｐ（１）の中心がｘｙ座標系の原点の位置となり、かつ撮像画像に含まれる同じ被写体が重なるように、各撮像画像が並べられる。なお、図中、横方向はｘ方向を示しており、縦方向はｙ方向を示している。また、撮像画像Ｐ（１）乃至撮像画像Ｐ（ｎ）上の各点Ｏ（１）乃至点Ｏ（ｎ）は、それらの撮像画像の中心の位置を示している。
【００８１】
例えば、処理対象の現フレームの撮像画像が撮像画像Ｐ（ｎ）であるとすると、撮像画像Ｐ（１）乃至撮像画像Ｐ（ｎ−１）のそれぞれの中心の点Ｏ（１）乃至点Ｏ（ｎ−１）の中心座標が既に求められて、バッファメモリ２６に記録されている。
【００８２】
座標算出部７１は、バッファメモリ２６から撮像画像Ｐ（ｎ−１）の中心座標を読み出して、読み出した中心座標と、撮像画像Ｐ（ｎ）および撮像画像Ｐ（ｎ−１）の位置合わせの結果とから、撮像画像Ｐ（ｎ）の中心座標を求める。つまり、点Ｏ（ｎ）のｘ座標およびｙ座標が中心座標として求められる。
【００８３】
図６のフローチャートの説明に戻り、ステップＳ１３において位置合わせが行われ、撮像画像Ｐ（ｎ）の中心座標が求められると、処理はステップＳ１４に進む。
【００８４】
ステップＳ１４において、動き推定部６１は、得られた撮像画像Ｐ（ｎ）の中心座標をバッファメモリ２６に供給し、撮像画像Ｐ（ｎ）と関連付けて記録させる。
【００８５】
ステップＳ１５において、信号処理部２４は、予め定められた所定枚数の撮像画像を撮像したか否かを判定する。例えば、図１に示したように、所定の空間上の領域を、Ｎ回に分けて撮像する場合、Ｎ枚の撮像画像が撮像されたときに、所定枚数の撮像画像を撮像したと判定される。
【００８６】
なお、撮像装置１１にジャイロセンサなど、撮像装置１１が回動した角度を検出できる機器が設けられている場合には、撮像画像を撮像した枚数ではなく、撮像画像の撮像を開始してから撮像装置１１が所定の角度だけ回動したかが判定されるようにしてもよい。この場合であっても、所定の空間上の特定の領域全体が被写体とされて、撮像画像の撮像が行われたか否かを特定することができる。
【００８７】
ステップＳ１５において、まだ所定枚数の撮像画像を撮像していないと判定された場合、処理はステップＳ１１に戻り、次のフレームの撮像画像が撮像される。
【００８８】
これに対して、ステップＳ１５において、所定枚数の撮像画像を撮像したと判定された場合、処理はステップＳ１６に進む。
【００８９】
ステップＳ１６において、撮像装置１１は、立体パノラマ動画像の再生処理を行う。すなわち、信号処理部２４は、バッファメモリ２６から撮像画像および中心座標を取得して、それらの撮像画像および中心座標に基づいて、視差を有する２つのパノラマ動画像を生成する。また、表示制御部３０は、生成された２つのパノラマ動画像、すなわち立体パノラマ動画像を再生し、表示部３１に右眼用および左眼用のパノラマ画像対を順番に表示させる。なお、立体パノラマ動画像の再生処理の詳細は後述する。
【００９０】
ステップＳ１７において、信号処理部２４は、再生中の立体パノラマ動画像の一部の領域の拡大表示、つまり立体部分動画像の再生を指示する操作を受け付ける。
【００９１】
立体パノラマ動画像の再生が開始されると、表示部３１には、例えば図３に示した立体パノラマ動画像が表示される。すると、ユーザは、必要に応じて操作入力部２１を操作し、表示された立体パノラマ動画像上の所望の位置、および拡大させる倍率を指定する等して、立体部分動画像の再生を指示する。ユーザによる操作が行われると、その操作に応じた信号が、操作入力部２１から信号処理部２４に供給される。
【００９２】
ステップＳ１８において、信号処理部２４は、操作入力部２１からの信号に基づいて、立体パノラマ動画像の一部の領域の拡大表示が指示されたか否かを判定する。
【００９３】
ステップＳ１８において、拡大表示が指示されたと判定された場合、ステップＳ１９において、撮像装置１１は、立体部分動画像の再生処理を行って、動画像再生処理は終了する。すなわち、バッファメモリ２６に記録されている撮像画像および中心座標に基づいて、立体部分動画像が生成され、生成された立体部分動画像が再生される。なお、立体部分動画像の再生処理の詳細は後述する。
【００９４】
これに対して、ステップＳ１８において、拡大表示が指示されなかったと判定された場合、表示部３１に表示されている立体パノラマ動画像の再生が終了すると、動画像再生処理は終了する。
【００９５】
このようにして、撮像装置１１は、異なる時刻に撮像された複数の撮像画像を用いて立体パノラマ動画像を生成し、再生する。また、撮像装置１１は、立体パノラマ動画像の再生中に、ユーザにより一部の領域の拡大表示が指示されると、指示された領域が表示される立体部分動画像を生成し、再生する。
【００９６】
［立体パノラマ動画像の再生処理の説明］
次に、図９のフローチャートを参照して、図６のステップＳ１６の処理に対応する立体パノラマ動画像の再生処理について説明する。
【００９７】
ステップＳ４１において、短冊画像生成部７２は、バッファメモリ２６から、Ｎ枚の撮像画像とその中心座標を取得し、取得した撮像画像および中心座標に基づいて、各撮像画像の所定の領域を切り出して、右眼用および左眼用の短冊画像を生成する。
【００９８】
例えば、短冊画像生成部７２は、図１０に示すように撮像画像Ｐ（ｎ）上の境界LL−nを基準として定まる領域を切り出し領域ＴＲ（ｎ）とし、切り出し領域ＴＲ（ｎ）を切り出して右眼用の短冊画像とする。また、短冊画像生成部７２は、撮像画像Ｐ（ｎ）上の境界RL−nを基準として定まる領域を切り出し領域ＴＬ（ｎ）とし、切り出し領域ＴＬ（ｎ）を切り出して左眼用の短冊画像とする。なお、図１０にいて図７における場合と対応する部分には同一の符号を付してあり、その説明は省略する。
【００９９】
図１０では、連続して撮像された撮像画像Ｐ（ｎ）および撮像画像Ｐ（ｎ＋１）が、それらの中心座標に基づいて、同じ被写体が重なるように並べられている。撮像画像Ｐ（ｎ＋１）上の境界LL−（n＋1）は、撮像画像Ｐ（ｎ）における境界LL−nに対応する境界である。つまり、境界LL−nおよび境界LL−（n＋1）は、撮像画像Ｐ（ｎ）および撮像画像Ｐ（ｎ＋１）上の同じ位置にある図中、縦方向の仮想的な直線である。
【０１００】
同様に、図中、縦方向の直線である、撮像画像Ｐ（ｎ＋１）上の境界RL−（n＋1）は、撮像画像Ｐ（ｎ）における境界RL−nに対応する境界である。
【０１０１】
また、図中、縦方向の直線である境界ML（L）−nおよび境界MR（L）−nは、撮像画像Ｐ（ｎ）上の境界LL−n近傍にある直線であって、それぞれ境界LL−nの左側および右側に、予め定められた距離だけ離れて位置している。
【０１０２】
同様に、図中、縦方向の直線である境界ML（L）−（n＋1）および境界MR（L）−（n＋1）は、撮像画像Ｐ（ｎ＋１）上の境界LL−（n＋1）近傍にある直線であって、それぞれ境界LL−（n＋1）の左側および右側に、予め定められた距離だけ離れて位置している。
【０１０３】
さらに、図中、縦方向の直線である境界ML（R）−nおよび境界MR（R）−nは、撮像画像Ｐ（ｎ）上の境界RL−n近傍にある直線であって、それぞれ境界RL−nの左側および右側に、予め定められた距離だけ離れて位置している。同様に、図中、縦方向の直線である境界ML（R）−（n＋1）および境界MR（R）−（n＋1）は、撮像画像Ｐ（ｎ＋１）上の境界RL−（n＋1）近傍にある直線であって、それぞれ境界RL−（n＋1）の左側および右側に、予め定められた距離だけ離れて位置している。
【０１０４】
例えば、短冊画像生成部７２は、撮像画像Ｐ（ｎ）から右眼用の短冊画像を切り出す場合、撮像画像Ｐ（ｎ）上における、境界ML（L）−nから、境界MR（L）−（n＋1）の位置までの切り出し領域ＴＲ（ｎ）を、右眼用の短冊画像として切り出す。ここで、撮像画像Ｐ（ｎ）上における境界MR（L）−（n＋1）の位置とは、撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ＋１）を並べたときに、境界MR（L）−（n＋1）と重なる撮像画像Ｐ（ｎ）上の位置である。また、以下、フレームｎの撮像画像Ｐ（ｎ）から切り出された、右眼用の短冊画像を、短冊画像ＴＲ（ｎ）とも称することとする。
【０１０５】
同様に、撮像画像Ｐ（ｎ−１）から右眼用の短冊画像が切り出される場合には、撮像画像Ｐ（ｎ−１）上における、境界ML（L）−（n−1）から、境界MR（L）−nの位置までの切り出し領域ＴＲ（ｎ−１）が右眼用の短冊画像として切り出される。
【０１０６】
したがって、短冊画像ＴＲ（ｎ）において、境界ML（L）−nから境界MR（L）−nの位置までの領域の被写体は、短冊画像ＴＲ（ｎ−１）における、境界ML（L）−nから境界MR（L）−nの位置までの領域の被写体と基本的には同じ被写体となる。但し、短冊画像ＴＲ（ｎ）および短冊画像ＴＲ（ｎ−１）は、それぞれ撮像画像Ｐ（ｎ）および撮像画像Ｐ（ｎ−１）から切り出された画像であるので、同じ被写体であっても撮像された時刻は異なる。
【０１０７】
同様に短冊画像ＴＲ（ｎ）において、境界ML（L）−（n＋1）から境界MR（L）−（n＋1）の位置までの領域の被写体は、短冊画像ＴＲ（ｎ＋１）における、境界ML（L）−（n＋1）から境界MR（L）−（n＋1）の位置までの領域の被写体と基本的に同じとなる。
【０１０８】
また、例えば、短冊画像生成部７２は、撮像画像Ｐ（ｎ）から左眼用の短冊画像を切り出す場合、撮像画像Ｐ（ｎ）上における、境界ML（R）−nから、境界MR（R）−（n＋1）の位置までの切り出し領域ＴＬ（ｎ）を、左眼用の短冊画像として切り出す。ここで、撮像画像Ｐ（ｎ）上における境界MR（R）−（n＋1）の位置とは、撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ＋１）を並べたときに、境界MR（R）−（n＋1）と重なる撮像画像Ｐ（ｎ）上の位置である。また、以下、フレームｎの撮像画像Ｐ（ｎ）から切り出された、左眼用の短冊画像を、短冊画像ＴＬ（ｎ）とも称することとする。
【０１０９】
このように、撮像画像から、撮像画像上の図中、中央から左側に位置する境界を基準として定まる領域を切り出して右眼用の短冊画像とし、それらの短冊画像を並べれば、Ｎ枚の撮像画像の撮像時に撮像対象となった撮像空間上の全範囲（領域）が表示されることになる。各撮像画像から得られた右眼用の短冊画像を並べて合成することで得られる１つの画像が、右眼用のパノラマ動画像を構成する１フレーム分のパノラマ画像とされる。
【０１１０】
また、撮像画像から、撮像画像上の図中、中央から右側に位置する境界を基準として定まる領域を切り出して左眼用の短冊画像とし、それらの短冊画像を並べれば、撮像対象となった撮像空間上の全範囲が表示されることになる。左眼用の短冊画像を並べて合成することで得られる１つの画像が、左眼用のパノラマ動画像を構成する１フレーム分のパノラマ画像とされる。
【０１１１】
そして、これらの右眼用および左眼用のパノラマ画像には、同じ被写体が表示されているが、それらの被写体は視差を有することになる。そのため、右眼用および左眼用のパノラマ画像を同時に表示させれば、これらのパノラマ画像を観察するユーザには、パノラマ画像上の被写体が立体的に見えることになる。
【０１１２】
図９のフローチャートの説明に戻り、撮像画像から、右眼用および左眼用の短冊画像が得られると、処理はステップＳ４１からステップＳ４２に進む。
【０１１３】
ステップＳ４２において、立体パノラマ動画生成部６２は、右眼用および左眼用の短冊画像と、撮像画像の中心座標とに基づいて、各フレームの短冊画像を並べて合成し、立体パノラマ動画像の１フレーム分の画像データを生成する。
【０１１４】
すなわち、立体パノラマ動画生成部６２は、右眼用の短冊画像を並べて合成し、右眼用のパノラマ動画像の１フレーム分の画像データを生成するとともに、左眼用の短冊画像を並べて合成し、左眼用のパノラマ動画像の１フレーム分の画像データを生成する。このようにして得られた画像データ、つまり右眼用のパノラマ画像と、左眼用のパノラマ画像とが、立体パノラマ動画像の１フレームを構成する。
【０１１５】
例えば、立体パノラマ動画生成部６２は、図１０の短冊画像ＴＲ（ｎ）および短冊画像ＴＲ（ｎ−１）を合成するにあたり、それらの短冊画像における境界ML（L）−nから境界MR（L）−nの位置までの領域については、重み付き加算によりパノラマ画像の画素の画素値を求める。
【０１１６】
つまり、中心座標に基づいて短冊画像ＴＲ（ｎ）および短冊画像ＴＲ（ｎ−１）を並べると、それらの短冊画像における境界ML（L）−nから境界MR（L）−nの位置までの領域が互いに重なることになる。立体パノラマ動画生成部６２は、短冊画像ＴＲ（ｎ）および短冊画像ＴＲ（ｎ−１）の互いに重なっている画素の画素値を重み付き加算し、その結果得られた値を、それらの画素に対応する位置のパノラマ画像の画素の画素値とする。
【０１１７】
なお、短冊画像ＴＲ（ｎ）と短冊画像ＴＲ（ｎ−１）における、境界ML（L）−nから境界MR（L）−nの位置までの領域の画素の重み付き加算時の重みは、次のような特徴を有するように定められる。
【０１１８】
すなわち、境界LL−nから境界MR（L）−nまでの位置の画素については、画素の位置が境界LL−nから境界MR（L）−nの位置により近くなるにしたがって、パノラマ画像の生成に対する短冊画像ＴＲ（ｎ）の画素の寄与率がより高くなるようにされる。逆に、境界LL−nから境界ML（L）−nまでの位置の画素については、画素の位置が境界LL−nから境界ML（L）−nの位置により近くなるにしたがって、パノラマ画像の生成に対する短冊画像ＴＲ（ｎ−１）の画素の寄与率がより高くなるようにされる。
【０１１９】
また、パノラマ画像の生成時において、短冊画像ＴＲ（ｎ）の境界MR（L）−nから境界ML（L）−（n＋1）までの領域は、その領域がそのままパノラマ画像とされる。
【０１２０】
さらに、短冊画像ＴＲ（ｎ）と短冊画像ＴＲ（ｎ＋１）との合成時には、それらの短冊画像における境界ML（L）−（n＋1）から境界MR（L）−（n＋1）の位置までの領域については、重み付き加算によりパノラマ画像の画素の画素値が求められる。
【０１２１】
すなわち、境界LL−（n＋1）から境界MR（L）−（n＋1）までの位置の画素については、画素の位置が境界LL−（n＋1）から境界MR（L）−（n＋1）の位置により近くなるにしたがって、パノラマ画像の生成に対する短冊画像ＴＲ（ｎ＋１）の画素の寄与率がより高くなるようにされる。逆に、境界LL−（n＋1）から境界ML（L）−（n＋1）までの位置の画素については、画素の位置が境界LL−（n＋1）から境界ML（L）−（n＋1）の位置により近くなるにしたがって、パノラマ画像の生成に対する短冊画像ＴＲ（ｎ）の画素の寄与率がより高くなるようにされる。
【０１２２】
さらに、左眼用の短冊画像ＴＬ（ｎ）と短冊画像ＴＬ（ｎ−１）の合成や、短冊画像ＴＬ（ｎ）と短冊画像ＴＬ（ｎ＋１）の合成においても、短冊画像ＴＲ（ｎ）の場合と同様に、それらの短冊画像の互いに重なる部分については、重み付き加算が行われる。
【０１２３】
このように、短冊画像の合成にあたり、連続するフレームの短冊画像の端近傍の領域を重み付き加算してパノラマ画像の画素の画素値とすることにより、単に短冊画像を並べて１つの画像とする場合と比べて、より自然な画像を得ることができる。
【０１２４】
例えば、単に短冊画像を並べてパノラマ画像とする場合、短冊画像の端付近の被写体の輪郭が歪になってしまったり、連続するフレームの短冊画像の明るさが異なると、パノラマ画像の領域ごとに明るさのむらが生じたりする恐れがある。
【０１２５】
そこで、立体パノラマ動画生成部６２では、短冊画像の端近傍の領域を重み付き加算により合成することで、被写体の輪郭が歪になったり、明るさのむらが生じたりすることを防止し、より自然なパノラマ画像を得ることができる。
【０１２６】
また、撮像画像の位置合わせ時に、動き推定部６１が撮像画像に基づいて、撮像部２２を構成する光学レンズによるレンズ歪みを検出しておき、短冊画像の合成時に、短冊画像生成部７２が、レンズ歪みの検出結果を用いて短冊画像を補正するようにしてもよい。すなわち、レンズ歪みの検出結果に基づいて、短冊画像に生じた歪みが画像処理により補正される。
【０１２７】
以上のようにして得られた１フレーム分の立体パノラマ動画像は、Ｎ枚の撮像画像の撮像時に撮像対象となった撮像空間上の全撮像範囲の領域が被写体として表示される画像である。立体パノラマ動画生成部６２は、１フレーム分の立体パノラマ動画像を生成すると、生成した立体パノラマ動画像の画像データを、バス２５を介して圧縮伸張部２７に供給する。
【０１２８】
ステップＳ４３において、圧縮伸張部２７は、立体パノラマ動画生成部６２から供給された立体パノラマ動画像の画像データを、例えばJPEG（Joint Photographic Experts Group）方式でエンコードし、バス２５を介してドライブ２８に供給する。
【０１２９】
ドライブ２８は、圧縮伸張部２７からの立体パノラマ動画像の画像データを記録媒体２９に供給し、記録させる。画像データの記録時においては、画像データには、立体パノラマ動画生成部６２によりフレーム番号が付与される。
【０１３０】
ステップＳ４４において、信号処理部２４は、予め定められた所定フレーム分だけ立体パノラマ動画像の画像データを生成したか否かを判定する。例えば、Ｍフレームの画像データからなる立体パノラマ動画像が生成されると定められている場合には、Ｍフレーム分の画像データが得られたときに、所定フレーム分の立体パノラマ動画像を生成したと判定される。
【０１３１】
ステップＳ４４において、まだ所定フレーム分の立体パノラマ動画像を生成していないと判定された場合、処理はステップＳ４１に戻り、立体パノラマ動画像の次のフレームの画像データが生成される。
【０１３２】
例えば、立体パノラマ動画像の１フレーム目の右眼用のパノラマ画像が生成される場合、図１０を参照して説明したように、撮像画像Ｐ（ｎ）の境界ML（L）−nから、境界MR（L）−（n＋1）の位置までの切り出し領域ＴＲ（ｎ）が切り出されて短冊画像とされる。
【０１３３】
そして、立体パノラマ動画像の２フレーム目以降の右眼用のパノラマ画像が生成される場合、撮像画像Ｐ（ｎ）からの短冊画像の切り出し領域ＴＲ（ｎ）の位置が、境界LL−nから境界LL−（n＋1）までの幅ＣＷの分ずつ図１０中、左方向にずらされていく。
【０１３４】
つまり、右眼用のパノラマ動画像のｍフレーム目の短冊画像を、短冊画像ＴＲ（ｎ）−ｍ（但し、１≦ｍ≦Ｍ）とする。この場合、ｍフレーム目の短冊画像ＴＲ（ｎ）−ｍの切り出し位置は、短冊画像ＴＲ（ｎ）−１の切り出し位置である切り出し領域ＴＲ（ｎ）が図１０中、左側に幅ＣＷの（ｍ−１）倍の距離だけずれた位置とされる。
【０１３５】
したがって、例えば２フレーム目の短冊画像ＴＲ（ｎ）−２が切り出される領域は、撮像画像Ｐ（ｎ）上の図１０における切り出し領域ＴＲ（ｎ）と同じ形状および大きさの領域であって、その右端の位置が境界MR（L）−nの位置となる領域とされる。
【０１３６】
ここで、短冊画像の切り出し領域がずらされる方向は、撮像画像の撮像時に撮像装置１１を回動させる方向に応じて、予め定められる。例えば、図１０の例においては、所定のフレームの撮像画像の中心位置に対して、その次のフレームの撮像画像の中心位置が、常に図中、右側に位置するように、撮像装置１１が回動されることが前提とされている。つまり、図１０の例においては、撮像装置１１の移動方向が、図中、右方向であることが前提とされている。
【０１３７】
撮像装置１１の移動に伴う撮像画像の中心位置の移動の方向と反対方向に、短冊画像の切り出し位置をフレームごとにずらしていけば、パノラマ動画像を構成する各パノラマ画像において、動きのない同じ被写体は、同じ位置に表示されることになるからである。
【０１３８】
右眼用の場合と同様に、左眼用のパノラマ画像が生成される場合にも、撮像画像Ｐ（ｎ）からの短冊画像の切り出し領域ＴＬ（ｎ）の位置は、境界RL−nから境界RL−（n＋1）までの幅の分ずつ図１０中、左方向にずらされていく。
【０１３９】
このように、短冊画像の切り出し位置をフレームごとにずらしながら、パノラマ動画像の各フレームの画像データを生成すると、例えば図１１に示すような立体パノラマ動画像が得られる。なお、図１１において図中、横方向は図１０における横方向に対応している。例えば、図１１における横方向はｘｙ座標系のｘ方向に対応する。
【０１４０】
図１１の例では、Ｎ枚の撮像画像Ｐ（１）乃至撮像画像Ｐ（Ｎ）のそれぞれから、短冊画像ＴＬ（１）−１乃至短冊画像ＴＬ（Ｎ）−１が生成され、それらの短冊画像が合成されて左眼用のパノラマ画像ＰＬ−１が得られる。
【０１４１】
同様に、Ｎ枚の撮像画像Ｐ（１）乃至撮像画像Ｐ（Ｎ）のそれぞれから、短冊画像ＴＬ（１）−２乃至短冊画像ＴＬ（Ｎ）−２が生成され、それらの短冊画像が合成されて左眼用のパノラマ画像ＰＬ−２が得られる。ここで、パノラマ画像ＰＬ−１およびパノラマ画像ＰＬ−２は、それぞれ左眼用のパノラマ動画像の１フレーム目および２フレーム目を構成する画像である。
【０１４２】
また、Ｎ枚の撮像画像Ｐ（１）乃至撮像画像Ｐ（Ｎ）のそれぞれから、短冊画像ＴＲ（１）−１乃至短冊画像ＴＲ（Ｎ）−１が生成され、それらの短冊画像が合成されて右眼用のパノラマ画像ＰＲ−１が得られる。
【０１４３】
同様に、Ｎ枚の撮像画像Ｐ（１）乃至撮像画像Ｐ（Ｎ）のそれぞれから、短冊画像ＴＲ（１）−２乃至短冊画像ＴＲ（Ｎ）−２が生成され、それらの短冊画像が合成されて右眼用のパノラマ画像ＰＲ−２が得られる。ここで、パノラマ画像ＰＲ−１およびパノラマ画像ＰＲ−２は、それぞれ右眼用のパノラマ動画像の１フレーム目および２フレーム目を構成する画像である。
【０１４４】
ここで、例えば撮像画像Ｐ（２）における短冊画像ＴＬ（２）−２の切り出し領域は、短冊画像ＴＬ（２）−１の切り出し領域を図中、左側に幅ＣＷだけずらした位置の領域とされる。この幅ＣＷの大きさは、撮像画像のフレームごとに変化する。
【０１４５】
さらに、例えば短冊画像ＴＬ（１）−１と短冊画像ＴＬ（２）−２とには、異なる時刻の同じ被写体が表示されることになる。また、短冊画像ＴＬ（１）−１と短冊画像ＴＲ（ｍ）−１とにも、異なる時刻の同じ被写体が表示されることになる。
【０１４６】
このように、各パノラマ画像ＰＬ−１乃至パノラマ画像ＰＲ−２には、異なる時刻の同じ被写体が表示されることになる。また、立体パノラマ動画像を構成する各フレームの右眼用と左眼用のパノラマ画像は、視差を有することになる。
【０１４７】
さらに、パノラマ画像は、異なる複数のフレームの撮像画像から得られた短冊画像が合成されて生成されるため、１つのパノラマ画像であっても、各領域に表示される被写体は、それぞれ撮像された時刻が異なる。
【０１４８】
なお、より詳細には、各パノラマ画像の端の部分は、撮像画像Ｐ（１）および撮像画像Ｐ（Ｎ）が用いられて生成される。例えば、パノラマ画像ＰＬ−１の図中、左端の部分は、撮像画像Ｐ（１）の左端から短冊画像ＴＬ（１）−１の右端の部分の画像とされる。
【０１４９】
図９のフローチャートの説明に戻り、ステップＳ４４において、所定フレーム分の立体パノラマ動画像を生成したと判定された場合、信号処理部２４は、ドライブ２８を介して記録媒体２９から立体パノラマ動画像を構成する各フレームのパノラマ画像を読み出す。そして、信号処理部２４は、読み出した右眼用および左眼用のパノラマ画像を圧縮伸張部２７に供給してデコードを指示し、処理はステップＳ４５に進む。
【０１５０】
ステップＳ４５において、圧縮伸張部２７は信号処理部２４から供給された立体パノラマ動画像の画像データ、つまりパノラマ画像を、例えばJPEG方式でデコードし、信号処理部２４に供給する。
【０１５１】
ステップＳ４６において、信号処理部２４は、立体パノラマ動画像を構成する、各フレームの右眼用および左眼用のパノラマ画像を予め定められた大きさに縮小する。例えば、パノラマ画像全体が、表示部３１の表示画面上に表示しきれる大きさとなるように、縮小処理が行われる。
【０１５２】
信号処理部２４は、立体パノラマ動画像を縮小すると、縮小された立体パノラマ動画像を表示制御部３０に供給する。なお、縮小された立体パノラマ動画像も記録媒体２９に供給されて記録されるようにしてもよい。
【０１５３】
ステップＳ４７において、表示制御部３０は、信号処理部２４からの立体パノラマ動画像を、表示部３１に供給して、立体パノラマ動画像の再生を開始させる。つまり、表示制御部３０は、右眼用および左眼用のパノラマ動画像の各フレームを、所定の時間間隔で順番に表示部３１に供給して、レンチキュラ方式により立体表示させる。
【０１５４】
具体的には、表示部３１は、各フレームの右眼用および左眼用のパノラマ画像をいくつかの短冊状の画像に分割し、分割した右眼用の画像および左眼用の画像を所定の方向に交互に並べて表示することにより、立体パノラマ動画像を表示する。このようにして分割されて表示された右眼用のパノラマ画像と、左眼用のパノラマ画像の光は、それぞれ表示部３１を構成するレンチキュラレンズにより、表示部３１を見るユーザの右眼および左眼に導かれる。これにより、ユーザの目には、立体的なパノラマ動画像が観察される。
【０１５５】
表示部３１に立体パノラマ動画像が表示（再生）されると、立体パノラマ動画像の再生処理は終了し、その後、処理は図６のステップＳ１７に進む。
【０１５６】
このようにして、撮像装置１１は、異なる時刻に撮像された複数の撮像画像のそれぞれから、切り出し領域をずらしながら複数の右眼用および左眼用の短冊画像を生成し、短冊画像を合成して各フレームの立体パノラマ動画像を生成する。
【０１５７】
このようにして生成された立体パノラマ動画像によれば、撮像された被写体に動きを持たせ、その動きを表現することができるだけでなく、被写体を立体的に表示することができるので、撮像された被写体の画像をより効果的に表示することができる。
【０１５８】
しかも、１つのパノラマ画像上の各領域の被写体は、それぞれ異なる時刻のものとなるので、より面白味のある画像を提示することができる。つまり、撮像された被写体をさらに効果的に表示することができる。
【０１５９】
なお、以上においては、Ｎ枚の撮像画像を撮像し、一旦、全ての撮像画像をバッファメモリ２６に記録させてから、それらの撮像画像を用いて立体パノラマ動画像を生成すると説明したが、撮像画像の撮像を行いながら、同時に立体パノラマ動画像の生成を行ってもよい。
【０１６０】
また、一旦、立体パノラマ動画像を生成してから、その立体パノラマ動画像を縮小すると説明したが、撮像画像から直接、縮小された立体パノラマ動画像を生成するようにしてもよい。この場合、立体パノラマ動画像を再生するまでの処理量をより少なくすることができるので、より迅速に立体パノラマ動画像を表示させることができる。さらに、パーソナルコンピュータ等の装置に、撮像画像から立体パノラマ動画像を生成する機能を設け、カメラにより撮像された撮像画像から立体パノラマ動画像を生成させるようにしてもよい。
【０１６１】
［立体部分動画像の再生処理の説明］
次に、図１２のフローチャートを参照して、図６のステップＳ１９の処理に対応する立体部分動画像の再生処理について説明する。この立体部分動画像の再生処理は、ユーザにより立体パノラマ動画像上の所定の位置が指定され、立体部分動画像の再生が指示されると開始される。
【０１６２】
ステップＳ８１において、立体部分動画生成部６３の視差算出部７３は、操作入力部２１からの信号に応じて、バッファメモリ２６に記録されている撮像画像および中心座標と、立体パノラマ動画像とに基づき、撮像画像のなかから処理対象となる撮像画像を特定する。
【０１６３】
すなわち、視差算出部７３は、立体パノラマ動画像を構成するパノラマ画像上における、ユーザにより指定された位置を中心とし、ユーザにより指定された拡大倍率により定まる領域を特定する。例えば、図３の領域ＢＰが、立体部分動画像で表示される領域として特定される。
【０１６４】
そして、視差算出部７３は、領域ＢＰ内に含まれる被写体が表示されている撮像画像を処理対象の撮像画像とする。つまり、ｘｙ座標系上に各撮像画像を配置した場合に、複数の撮像画像のうち、撮像画像内に領域ＢＰに対応するｘｙ座標系上の領域が含まれるものが、処理対象の撮像画像とされる。したがって、処理対象として、連続する複数フレームの撮像画像が特定されることになる。
【０１６５】
ステップＳ８２において、視差算出部７３は、再生中の立体パノラマ動画像を構成する一方のパノラマ動画像のパノラマ画像、例えば左眼用のパノラマ動画像を構成する２つのパノラマ画像を選択する。
【０１６６】
例えば、処理対象とされた撮像画像群のうち、最も古いフレーム番号の撮像画像上の、領域ＢＰ内の被写体と同じ被写体の部分が用いられて生成された、左眼用のパノラマ動画像のパノラマ画像と、そのパノラマ画像の次のフレームのパノラマ画像とが選択される。なお、最も古いフレーム番号の撮像画像の領域ＢＰ内の被写体と同じ被写体の部分が用いられて生成された左眼用のパノラマ画像が複数ある場合、それらのパノラマ画像のうち、最も古いフレーム番号のパノラマ画像と、その次のフレームのパノラマ画像が選択される。
【０１６７】
ステップＳ８３において、視差算出部７３は、選択した２つのパノラマ画像を用いた動き推定を行い、視差の大きさを求める。
【０１６８】
例えば、左眼用のフレームｍのパノラマ画像ＰＬ−ｍと、フレーム（ｍ＋１）のパノラマ画像ＰＬ−（ｍ＋１）が選択されたとする。この場合、視差算出部７３は、パノラマ画像ＰＬ−（ｍ＋１）をいくつかのブロックに分割し、それらのブロックに表示される被写体が、パノラマ画像ＰＬ−ｍ上のどの位置に表示されているかを探索することにより、各ブロックの動きベクトルを算出する。これにより、パノラマ画像上の各領域の動きが検出されることになる。
【０１６９】
ここで、撮像空間上において、撮像装置１１により近い側を近景側と呼び、撮像装置１１からより遠い側を遠景側と呼ぶこととすると、動き推定により得られる各ブロックの動きベクトルは、次のような特徴を有している。
【０１７０】
すなわち、ブロックの動きベクトルは、より遠景側の被写体を含むブロックほど、撮像画像の撮像時の撮像装置１１の移動方向（ｘ方向）と同じ方向、例えば図１１の右方向のより大きなベクトルとなる。逆に、より近景側の被写体を含むブロックほど、ブロックの動きベクトルは、撮像画像の撮像時の撮像装置１１の移動方向と反対方向、例えば図１１の左方向のより大きなベクトルとなる。
【０１７１】
したがって、各ブロックのうち、最も撮像装置１１の移動方向に大きい動きベクトルが得られたブロックには、パノラマ画像上において最も遠景側に位置する被写体が表示されていることになる。逆に、各ブロックのうち、最も撮像装置１１の移動方向と反対方向に大きい動きベクトルが得られたブロックには、パノラマ画像上において最も近景側に位置する被写体が表示されていることになる。
【０１７２】
通常、パノラマ画像全体には、近景よりも遠景の被写体がより多く含まれるため、多くのブロックの動きベクトルは、撮像装置１１の移動方向のベクトルとなるはずである。視差算出部７３は、方向が撮像装置１１の移動方向であるブロックの動きベクトルのうち、最も多く検出された大きさの動きベクトルを選択する。つまり、選択された動きベクトルにより示される動きが、パノラマ画像上の遠景の平均的な動きとされる。
【０１７３】
そして、視差算出部７３は、パノラマ画像上における、これから表示させようとする領域ＢＰ（領域ＢＰと同じ位置の領域）内のブロックを抽出し、抽出したブロックの動きベクトルと、選択した動きベクトルとの差を求める。この差の演算は、２つのパノラマ画像を重ねて並べた状態から、遠景の視差が打ち消されるように、一方のパノラマ画像を選択した動きベクトルの分だけずらす処理を行うことと等価である。つまり、遠景の被写体が重なるように、２つのパノラマ画像を並べることと等価である。
【０１７４】
視差算出部７３は、差の算出後の動きベクトルのうち、方向が撮像装置１１の移動方向と反対方向である、最も大きさが大きい動きベクトルを特定し、特定された動きベクトルの大きさを、２つのフレーム間のパノラマ画像上における領域ＢＰの視差の大きさとする。
【０１７５】
このようにして特定された動きベクトルのブロック内には、領域ＢＰ内において、最も近景側に位置する被写体が含まれているはずである。したがって、求めた領域ＢＰの視差の大きさは、領域ＢＰ内において最も近景側にある被写体の、パノラマ画像の平均的な遠景に対する相対的な動きの大きさとなる。換言すれば、パノラマ画像の平均的な遠景の視差に対する、領域ＢＰ内の最も近景側の被写体の相対的な視差の大きさとなる。
【０１７６】
さらに言えば、平均的な遠景の被写体は、領域ＢＰ内にも含まれている可能性が高いので、領域ＢＰの視差の大きさは、領域ＢＰ内における遠景の視差に対する近景側の被写体の相対的な視差の大きさとなる。
【０１７７】
ステップＳ８４において、視差算出部７３は、求めた視差の大きさが、予め定められた適切な大きさであるか否かを判定する。例えば、求めた視差の大きさが、予め定められた大きさ以上である場合、適切な大きさであると判定される。
【０１７８】
ステップＳ８４において、適切な大きさでないと判定された場合、処理はステップＳ８２に戻り、上述した処理が繰り返される。すなわち、新たに２つのパノラマ画像が選択されて、領域ＢＰの視差の大きさが求められる。
【０１７９】
例えば、図１３に示すように、立体パノラマ動画像ＰＭＶ上の領域ＢＰ内の被写体が表示される処理対象の撮像画像として、撮像画像Ｐ（１）乃至撮像画像Ｐ（１０）の１０枚の撮像画像が特定されたとする。なお、図１３において、図３における場合と対応する部分には、同一の符号を付してあり、その説明は省略する。また、図１３において、図中、横方向は図１０における横方向、すなわちｘｙ座標系のｘ方向に対応する。
【０１８０】
図１３では、各撮像画像およびパノラマ画像（立体パノラマ動画像ＰＭＶ）は、それらの画像上の同じ被写体が、横方向の同じ位置となるように並べられている。上述したステップＳ８２において、最初に２つのパノラマ画像が選択される場合、まず、最もフレーム番号の古い撮像画像Ｐ（１）と、その次にフレーム番号の古い撮像画像Ｐ（２）とのそれぞれが選択される。そして、それらの撮像画像が用いられて生成されたパノラマ画像が選択される。つまり、撮像画像Ｐ（１）上の領域ＢＰ内の被写体が表示される領域が短冊画像とされたパノラマ画像と、撮像画像Ｐ（２）上の領域ＢＰ内の被写体が表示される領域が短冊画像とされたパノラマ画像とが選択される。
【０１８１】
その後、選択されたパノラマ画像から領域ＢＰの視差が求められ、その視差の大きさがステップＳ８４において適切ではないと判定された場合には、次に、撮像画像Ｐ（１）と撮像画像Ｐ（３）が選択され、それらの撮像画像が用いられて生成されたパノラマ画像が選択される。
【０１８２】
このように、求めた領域ＢＰの視差が適切な大きさとなるまで、撮像画像Ｐ（１）と、まだ選択されていない撮像画像のうち、最も撮像画像Ｐ（１）に近いフレームの撮像画像とが選択されていく。そして、それらの選択された撮像画像が用いられて生成されたパノラマ画像が用いられて、領域ＢＰの視差の大きさが求められる。
【０１８３】
その結果、例えば、撮像画像Ｐ（１）と撮像画像Ｐ（４）とが選択されたときに、領域ＢＰの視差の大きさが適切であると判定されたとする。この場合、撮像画像Ｐ（１）上の領域ＧＬ（１）が切り出されて、立体部分動画像の１フレーム目を構成する左眼用の部分画像とされ、撮像画像Ｐ（４）上の領域ＧＲ（１）が切り出されて、立体部分動画像の１フレーム目を構成する右眼用の部分画像とされる。
【０１８４】
ここで、領域ＧＬ（１）および領域ＧＲ（１）は、領域ＢＰ内の被写体が表示される領域である。つまり、ｘｙ座標系上に撮像画像を並べた場合に、領域ＢＰと同じ位置にある撮像画像の領域が切り出されて部分画像とされる。
【０１８５】
同様に、撮像画像Ｐ（２）上の領域ＧＬ（２）が切り出されて、立体部分動画像の２フレーム目の左眼用の部分画像とされ、撮像画像Ｐ（５）上の領域ＧＲ（２）が切り出されて、立体部分動画像の２フレーム目の右眼用の部分画像とされる。
【０１８６】
このようにして、順次、次のフレームの撮像画像から、立体部分動画像の次のフレームの右眼用および左眼用の部分画像が生成される。図１３の例では、撮像画像Ｐ（１）乃至撮像画像Ｐ（７）から、それぞれ領域ＢＰ内の被写体が表示される領域が切り出されて、１フレーム目乃至７フレーム目の左眼用の部分画像が生成される。また、撮像画像Ｐ（４）乃至撮像画像Ｐ（１０）から、それぞれ領域ＢＰ内の被写体が表示される領域が切り出されて、１フレーム目乃至７フレーム目の右眼用の部分画像が生成される。これにより、合計７フレームの立体部分動画像が得られることになる。
【０１８７】
ここで、立体部分動画像の１フレーム目の生成に用いられる撮像画像Ｐ（１）と撮像画像Ｐ（４）は、領域ＢＰの視差の大きさと同じ大きさの視差を有している。より詳細には、領域ＧＬ（１）および領域ＧＲ（１）内の最も近景側の被写体同士の、遠景の被写体の視差に対する相対的な視差の大きさは、ステップＳ８４の判定処理に用いられる視差の大きさとなる。
【０１８８】
したがって、判定処理に用いられる視差の大きさを、適切な大きさに定めておけば、立体部分動画像の同じフレームを構成する右眼用および左眼用の部分画像上の近景側の被写体は、遠景の被写体の視差に対して、相対的に予め定めた適切な大きさの視差を持つことになる。すなわち、表示される被写体に適切な遠近感を与え、奥行きのある立体的な画像を表示させることができるようになる。
【０１８９】
このとき、立体部分動画像の１フレーム目の生成に用いられる２つの撮像画像を、最も近景側の被写体の視差の大きさに基づいて定めるのは、遠景の被写体よりも近景の被写体の方が、撮像画像のフレーム間の視差はより大きいためである。つまり、遠景側の被写体を基準として、立体部分動画像の１フレーム目の生成に用いられる撮像画像を選択すると、近景側の被写体の視差が大きくなり過ぎたり、小さくなり過ぎたりして、かえって画像の立体感が損なわれる場合があるからである。
【０１９０】
このように、撮像装置１１は、大きい倍率で、立体パノラマ動画像上の遠景を拡大表示させる場合には、遠景の視差は小さく奥行き感がないので、充分な視差が得られるように、ある程度フレームが離れた撮像画像を用いて、左右の眼の部分画像を生成する。
【０１９１】
逆に、撮像装置１１は、小さい倍率で、立体パノラマ動画像上の近景を拡大表示させる場合には、近景の視差は大きく、近いフレームの撮像画像でも充分な視差が得られるので、ある程度近いフレームの撮像画像を用いて、左右の眼の部分画像を生成する。
【０１９２】
すなわち、撮像画像の撮像時に撮像対象となった撮像空間のどの領域を拡大表示させるかに応じて、適切な視差制御が行われ、最適な視差を有する立体部分動画像が生成されることになる。
【０１９３】
なお、以上においては、パノラマ画像を用いて動き推定を行うと説明したが、パノラマ画像における、領域ＢＰ内の被写体が表示される領域や、領域ＢＰ内の被写体が表示される撮像画像そのものが用いられて動き推定されてもよい。パノラマ画像や撮像画像そのものなど、撮像画像を利用した動き推定を行えば、領域ＢＰの視差を求めることができるからである。
【０１９４】
図１２のフローチャートの説明に戻り、ステップＳ８４において、求めた領域ＢＰの視差の大きさが、適切な大きさであると判定されると、処理はステップＳ８５に進む。
【０１９５】
ステップＳ８５において、立体部分動画生成部６３は、撮像画像の中心座標を用いて、処理対象の撮像画像における領域ＢＰ内の被写体が表示される領域を切り出し、右眼用および左眼用の部分画像を生成する。
【０１９６】
例えば、図１３に示したように、立体部分動画生成部６３は、撮像画像Ｐ（１）乃至撮像画像Ｐ（７）から、領域ＢＰ内の被写体が表示される領域を切り出して、右眼用の部分動画像の１フレーム目乃至７フレーム目を構成する部分画像とする。
【０１９７】
また、立体部分動画生成部６３は、撮像画像Ｐ（４）乃至撮像画像Ｐ（１０）から、領域ＢＰ内の被写体が表示される領域を切り出して、左眼用の部分動画像の１フレーム目乃至７フレーム目を構成する部分画像とする。そして、これらの右眼用および左眼用の部分画像群が、立体部分動画像とされる。
【０１９８】
立体部分動画像が生成されると、立体部分動画生成部６３は、得られた立体部分動画像を表示制御部３０に供給する。
【０１９９】
ステップＳ８６において、表示制御部３０は、立体部分動画生成部６３から供給された立体部分動画像を、表示部３１に供給して表示させる。つまり、表示制御部３０は、立体部分動画像の各フレームを構成する右眼用および左眼用の部分画像対を、所定の時間間隔で順番に表示部３１に供給して、レンチキュラ方式により立体表示させる。
【０２００】
表示部３１に立体部分動画像が表示されると、立体部分動画像の再生処理は終了し、その後、図６の動画像再生処理も終了する。
【０２０１】
このようにして撮像装置１１は、撮像対象となった撮像空間上の表示しようとする領域の大きさ、つまりパノラマ画像上の指定された位置と拡大倍率に応じて、その表示しようとする領域に適した視差を有し、その領域が含まれる２つの撮像画像を特定する。そして、撮像装置１１は、それらの２つの撮像画像の一方を含む連続するフレームの撮像画像から右眼用の部分画像を生成し、他方の撮像画像を含む連続するフレームの撮像画像から左眼用の部分画像を生成することで、立体部分動画像を得る。
【０２０２】
このように、表示させようとする領域に応じて、適切な視差を有する撮像画像を特定し、それらの撮像画像から立体部分動画像を生成することで、表示させようとする領域によらず、常により適切な視差を有する立体部分動画像を得ることができる。
【０２０３】
なお、以上においては、立体部分動画像として表示させようとする領域を指定するために、立体パノラマ動画像を表示させると説明したが、右眼用および左眼用のパノラマ画像からなる立体パノラマ画像を表示させるようにしてもよい。この場合、ユーザは、立体パノラマ画像上の位置と、拡大表示の倍率を指定して、立体部分動画像の再生を指示する。
【０２０４】
また、立体パノラマ動画像上の位置および倍率が指定されたときに、立体部分動画像を表示させるのではなく、右眼用および左眼用の部分画像からなる立体部分画像が表示されるようにしてもよい。そのような場合、例えば図１３の領域ＧＬ（１）および領域ＧＲ（１）から切り出された部分画像の対が、立体部分画像として表示される。
【０２０５】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２０６】
図１４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２０７】
コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。
【０２０８】
バス３０４には、さらに、入出力インターフェース３０５が接続されている。入出力インターフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記録部３０８、ネットワークインターフェースなどよりなる通信部３０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。
【０２０９】
以上のように構成されるコンピュータでは、CPU３０１が、例えば、記録部３０８に記録されているプログラムを、入出力インターフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。
【０２１０】
コンピュータ（CPU３０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０２１１】
そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インターフェース３０５を介して、記録部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記録部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記録部３０８に、あらかじめインストールしておくことができる。
【０２１２】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２１３】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２１４】
１１  撮像装置，  ２２  撮像部，  ２４  信号処理部，  ６１  動き推定部，  ６２  立体パノラマ動画生成部，  ６３  立体部分動画生成部，  ７１  座標算出部，  ７２  短冊画像生成部，  ７３  視差算出部
【図１】
2011082918.tif 000003
【図２】
2011082918.tif 000004
【図３】
2011082918.tif 000005
【図４】
2011082918.tif 000006
【図５】
2011082918.tif 000007
【図６】
2011082918.tif 000008
【図７】
2011082918.tif 000009
【図８】
2011082918.tif 000010
【図９】
2011082918.tif 000011
【図１０】
2011082918.tif 000012
【図１１】
2011082918.tif 000013
【図１２】
2011082918.tif 000014
【図１３】
2011082918.tif 000015
【図１４】
2011082918.tif 000016