(57)【要約】【課題】異なる視差を有する立体画像を提示できるようにする。【解決手段】撮像装置１１は、回動中心Ｃ１１を中心として回動している状態で、撮像画像Ｐ（１）乃至Ｐ（Ｎ）を撮像する。撮像装置１１は、撮像画像の所定の領域を短冊画像として切り出し、短冊画像を並べて合成することで、撮像空間上の領域を被写体とするパノラマ画像を生成する。撮像装置１１は、短冊画像の切り出し位置をずらしながら、複数のパノラマ画像を生成することで、複数のパノラマ画像からなるパノラマ動画像を得る。撮像装置１１は、指定された視差に応じて、視差を有する複数のパノラマ動画像のうちの２つを選択し、２つのパノラマ動画像からなる立体パノラマ動画像を得る。立体パノラマ動画像を構成する２つのパノラマ動画像を、レンチキュラ方式で同時に再生すれば、被写体を立体的に表示することができる。本発明は、カメラに適用することができる。【選択図】図１
2011082919.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、異なる前記撮像画像に含まれる同じ被写体が重なるように、複数の前記撮像画像を所定の平面上に並べたときの前記撮像画像のぞれぞれの相対的な位置関係を示す位置情報を生成する位置情報生成手段と、
前記位置情報に基づいて複数の前記撮像画像を前記平面上に並べた場合に、前記撮像画像上の第１の基準位置乃至第３の基準位置から、前記撮像画像と重ねて並べられた他の撮像画像の前記第１の基準位置乃至前記第３の基準位置までの前記撮像画像上の第１の領域乃至第３の領域を切り出して、複数の前記撮像画像のそれぞれから第１の短冊画像乃至第３の短冊画像を生成する短冊画像生成手段と、
複数の前記撮像画像から得られた前記第１の短冊画像乃至前記第３の短冊画像のそれぞれを並べて合成することにより、複数の前記撮像画像の撮像時に撮像対象となった撮像空間上の同じ領域が表示され、互いに視差を有する第１のパノラマ画像乃至第３のパノラマ画像を生成するパノラマ画像生成手段と、
前記第１のパノラマ画像乃至前記第３のパノラマ画像のうちの２つを選択する選択手段と
を備え、
前記第１の基準位置は、前記撮像画像上において前記第２の基準位置と前記第３の基準位置との間に位置し、前記第１の基準位置から前記第２の基準位置までの距離は、前記第１の基準位置から前記第３の基準位置までの距離とは異なる
画像処理装置。
【請求項２】
前記選択手段により選択された前記第１のパノラマ画像乃至前記第３のパノラマ画像のうちの２つを同時に表示させることで、前記撮像空間上の前記同じ領域を立体表示させる表示制御手段をさらに備える
請求項１に記載の画像処理装置。
【請求項３】
前記短冊画像生成手段は、複数の前記撮像画像について、前記撮像画像上の前記第１の領域乃至前記第３の領域を所定方向にずらしながら、前記撮像画像から複数の前記第１の短冊画像乃至前記第３の短冊画像を生成し、
前記パノラマ画像生成手段は、前記第１の領域乃至前記第３の領域のそれぞれの位置ごとに、前記第１のパノラマ画像乃至前記第３のパノラマ画像を生成することで、前記撮像空間上の前記同じ領域が表示される複数の前記第１のパノラマ画像乃至前記第３のパノラマ画像のそれぞれからなる画像群を生成する
請求項１に記載の画像処理装置。
【請求項４】
前記位置情報生成手段は、前記撮像画像上の予め定められた複数のブロック領域を用いて、前記撮像画像よりも前の時刻に撮像された撮像画像から、複数の前記ブロック領域と対応するブロック対応領域のそれぞれを探索することにより、前記位置情報を生成する
請求項１に記載の画像処理装置。
【請求項５】
前記位置情報生成手段は、複数の前記ブロック領域の相対的な位置関係と、複数の前記ブロック対応領域の相対的な位置関係とに基づいて、動きのある被写体が含まれる前記ブロック領域を検出し、前記動きのある被写体が含まれる前記ブロック領域が検出された場合、複数の前記ブロック領域のうち、検出された前記ブロック領域とは異なる前記ブロック領域を用いて前記ブロック対応領域を探索することにより、前記位置情報を生成する
請求項４に記載の画像処理装置。
【請求項６】
撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、異なる前記撮像画像に含まれる同じ被写体が重なるように、複数の前記撮像画像を所定の平面上に並べたときの前記撮像画像のぞれぞれの相対的な位置関係を示す位置情報を生成する位置情報生成手段と、
前記位置情報に基づいて複数の前記撮像画像を前記平面上に並べた場合に、前記撮像画像上の第１の基準位置乃至第３の基準位置から、前記撮像画像と重ねて並べられた他の撮像画像の前記第１の基準位置乃至前記第３の基準位置までの前記撮像画像上の第１の領域乃至第３の領域を切り出して、複数の前記撮像画像のそれぞれから第１の短冊画像乃至第３の短冊画像を生成する短冊画像生成手段と、
複数の前記撮像画像から得られた前記第１の短冊画像乃至前記第３の短冊画像のそれぞれを並べて合成することにより、複数の前記撮像画像の撮像時に撮像対象となった撮像空間上の同じ領域が表示され、互いに視差を有する第１のパノラマ画像乃至第３のパノラマ画像を生成するパノラマ画像生成手段と、
前記第１のパノラマ画像乃至前記第３のパノラマ画像のうちの２つを選択する選択手段と
を備える画像処理装置の画像処理方法において、
前記位置情報生成手段が、複数の前記撮像画像から前記位置情報を生成し、
前記短冊画像生成手段が、複数の前記撮像画像から前記第１の短冊画像乃至前記第３の短冊画像を生成し、
前記パノラマ画像生成手段が、前記第１の短冊画像乃至前記第３の短冊画像のそれぞれから、前記第１のパノラマ画像乃至前記第３のパノラマ画像のそれぞれを生成し、
前記選択手段が、前記第１のパノラマ画像乃至前記第３のパノラマ画像のうちの２つを選択する
ステップを含み、
前記第１の基準位置は、前記撮像画像上において前記第２の基準位置と前記第３の基準位置との間に位置し、前記第１の基準位置から前記第２の基準位置までの距離は、前記第１の基準位置から前記第３の基準位置までの距離とは異なる
画像処理方法。
【請求項７】
撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、異なる前記撮像画像に含まれる同じ被写体が重なるように、複数の前記撮像画像を所定の平面上に並べたときの前記撮像画像のぞれぞれの相対的な位置関係を示す位置情報を生成し、
前記位置情報に基づいて複数の前記撮像画像を前記平面上に並べた場合に、前記撮像画像上の第１の基準位置乃至第３の基準位置から、前記撮像画像と重ねて並べられた他の撮像画像の前記第１の基準位置乃至前記第３の基準位置までの前記撮像画像上の第１の領域乃至第３の領域を切り出して、複数の前記撮像画像のそれぞれから第１の短冊画像乃至第３の短冊画像を生成し、
複数の前記撮像画像から得られた前記第１の短冊画像乃至前記第３の短冊画像のそれぞれを並べて合成することにより、複数の前記撮像画像の撮像時に撮像対象となった撮像空間上の同じ領域が表示され、互いに視差を有する第１のパノラマ画像乃至第３のパノラマ画像を生成し、
前記第１のパノラマ画像乃至前記第３のパノラマ画像のうちの２つを選択する
ステップを含む処理をコンピュータに実行させ、
前記第１の基準位置は、前記撮像画像上において前記第２の基準位置と前記第３の基準位置との間に位置し、前記第１の基準位置から前記第２の基準位置までの距離は、前記第１の基準位置から前記第３の基準位置までの距離とは異なる
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置および方法、並びにプログラムに関し、特に、異なる視差を有する立体画像を提示できるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラの普及により、多くの写真を撮像するユーザが増えてきている。また、撮像された大量の写真を効果的に提示する方法も求められている。
【０００３】
例えば、撮像された写真の効果的な提示方法として、いわゆるパノラマ画像が知られている。パノラマ画像は、撮像装置を所定方向にパンさせながら撮像して得られた複数の静止画像を、それらの静止画像上の同じ被写体が重なるように並べることにより得られる１枚の静止画像である（例えば、特許文献１参照）。
【０００４】
このようなパノラマ画像によれば、通常の撮像装置による１枚分の静止画像の撮像範囲（画角）よりも、より広い範囲の空間を被写体として表示させることができるので、より効果的に撮像された被写体の画像を表示することができる。
【０００５】
また、パノラマ画像を得るために、撮像装置をパンさせながら複数の静止画像を撮像した場合には、いくつかの静止画像に、同じ被写体が含まれていることがある。そのような場合において、異なる静止画像上の同じ被写体は、互いに異なる位置から撮像されたものであるから、視差が生じていることになる。これを利用して、複数の静止画像から、互いに視差を有する２つの画像（以下、立体画像と称する）を生成すれば、これらの画像をレンチキュラ方式などで同時に表示することで、撮像対象となった被写体を立体的に表示することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第３１６８４４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、立体画像を表示させようとする場合、立体画像を構成する２つの画像間の視差（視点間隔）の大きさを、所望の大きさに変化させたいという要求が生じ得る。しかしながら、上述した技術では、生成する立体画像の視差についての考慮はされていないため、このような要求を満たすことはできなかった。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、ユーザの要求に応じて、異なる視差の立体画像を提示することができるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の一側面の画像処理装置は、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、異なる前記撮像画像に含まれる同じ被写体が重なるように、複数の前記撮像画像を所定の平面上に並べたときの前記撮像画像のぞれぞれの相対的な位置関係を示す位置情報を生成する位置情報生成手段と、前記位置情報に基づいて複数の前記撮像画像を前記平面上に並べた場合に、前記撮像画像上の第１の基準位置乃至第３の基準位置から、前記撮像画像と重ねて並べられた他の撮像画像の前記第１の基準位置乃至前記第３の基準位置までの前記撮像画像上の第１の領域乃至第３の領域を切り出して、複数の前記撮像画像のそれぞれから第１の短冊画像乃至第３の短冊画像を生成する短冊画像生成手段と、複数の前記撮像画像から得られた前記第１の短冊画像乃至前記第３の短冊画像のそれぞれを並べて合成することにより、複数の前記撮像画像の撮像時に撮像対象となった撮像空間上の同じ領域が表示され、互いに視差を有する第１のパノラマ画像乃至第３のパノラマ画像を生成するパノラマ画像生成手段と、前記第１のパノラマ画像乃至前記第３のパノラマ画像のうちの２つを選択する選択手段とを備え、前記第１の基準位置は、前記撮像画像上において前記第２の基準位置と前記第３の基準位置との間に位置し、前記第１の基準位置から前記第２の基準位置までの距離は、前記第１の基準位置から前記第３の基準位置までの距離とは異なる。
【００１０】
画像処理装置には、前記選択手段により選択された前記第１のパノラマ画像乃至前記第３のパノラマ画像のうちの２つを同時に表示させることで、前記撮像空間上の前記同じ領域を立体表示させる表示制御手段をさらに設けることができる。
【００１１】
前記短冊画像生成手段には、複数の前記撮像画像について、前記撮像画像上の前記第１の領域乃至前記第３の領域を所定方向にずらしながら、前記撮像画像から複数の前記第１の短冊画像乃至前記第３の短冊画像を生成させ、前記パノラマ画像生成手段には、前記第１の領域乃至前記第３の領域のそれぞれの位置ごとに、前記第１のパノラマ画像乃至前記第３のパノラマ画像を生成させることで、前記撮像空間上の前記同じ領域が表示される複数の前記第１のパノラマ画像乃至前記第３のパノラマ画像のそれぞれからなる画像群を生成させることができる。
【００１２】
前記位置情報生成手段には、前記撮像画像上の予め定められた複数のブロック領域を用いて、前記撮像画像よりも前の時刻に撮像された撮像画像から、複数の前記ブロック領域と対応するブロック対応領域のそれぞれを探索することにより、前記位置情報を生成させることができる。
【００１３】
前記位置情報生成手段には、複数の前記ブロック領域の相対的な位置関係と、複数の前記ブロック対応領域の相対的な位置関係とに基づいて、動きのある被写体が含まれる前記ブロック領域を検出させ、前記動きのある被写体が含まれる前記ブロック領域が検出された場合、複数の前記ブロック領域のうち、検出された前記ブロック領域とは異なる前記ブロック領域を用いて前記ブロック対応領域を探索させることにより、前記位置情報を生成させることができる。
【００１４】
本発明の一側面の画像処理方法またはプログラムは、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、異なる前記撮像画像に含まれる同じ被写体が重なるように、複数の前記撮像画像を所定の平面上に並べたときの前記撮像画像のぞれぞれの相対的な位置関係を示す位置情報を生成し、前記位置情報に基づいて複数の前記撮像画像を前記平面上に並べた場合に、前記撮像画像上の第１の基準位置乃至第３の基準位置から、前記撮像画像と重ねて並べられた他の撮像画像の前記第１の基準位置乃至前記第３の基準位置までの前記撮像画像上の第１の領域乃至第３の領域を切り出して、複数の前記撮像画像のそれぞれから第１の短冊画像乃至第３の短冊画像を生成し、複数の前記撮像画像から得られた前記第１の短冊画像乃至前記第３の短冊画像のそれぞれを並べて合成することにより、複数の前記撮像画像の撮像時に撮像対象となった撮像空間上の同じ領域が表示され、互いに視差を有する第１のパノラマ画像乃至第３のパノラマ画像を生成し、前記第１のパノラマ画像乃至前記第３のパノラマ画像のうちの２つを選択するステップを含み、前記第１の基準位置は、前記撮像画像上において前記第２の基準位置と前記第３の基準位置との間に位置し、前記第１の基準位置から前記第２の基準位置までの距離は、前記第１の基準位置から前記第３の基準位置までの距離とは異なる。
【００１５】
本発明の一側面においては、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、異なる前記撮像画像に含まれる同じ被写体が重なるように、複数の前記撮像画像を所定の平面上に並べたときの前記撮像画像のぞれぞれの相対的な位置関係を示す位置情報が生成され、前記位置情報に基づいて複数の前記撮像画像を前記平面上に並べた場合に、前記撮像画像上の第１の基準位置乃至第３の基準位置から、前記撮像画像と重ねて並べられた他の撮像画像の前記第１の基準位置乃至前記第３の基準位置までの前記撮像画像上の第１の領域乃至第３の領域が切り出されて、複数の前記撮像画像のそれぞれから第１の短冊画像乃至第３の短冊画像が生成され、複数の前記撮像画像から得られた前記第１の短冊画像乃至前記第３の短冊画像のそれぞれを並べて合成することにより、複数の前記撮像画像の撮像時に撮像対象となった撮像空間上の同じ領域が表示され、互いに視差を有する第１のパノラマ画像乃至第３のパノラマ画像が生成され、前記第１のパノラマ画像乃至前記第３のパノラマ画像のうちの２つが選択され、前記第１の基準位置は、前記撮像画像上において前記第２の基準位置と前記第３の基準位置との間に位置し、前記第１の基準位置から前記第２の基準位置までの距離は、前記第１の基準位置から前記第３の基準位置までの距離とは異なる。
【発明の効果】
【００１６】
本発明の一側面によれば、ユーザの要求に応じて、異なる視差の立体画像を提示することができる。
【図面の簡単な説明】
【００１７】
【図１】撮像画像の撮像方法を説明する図である。
【図２】撮像時の視差について説明する図である。
【図３】本発明を適用した撮像装置の一実施の形態の構成例を示す図である。
【図４】信号処理部の構成例を示す図である。
【図５】立体パノラマ動画像の再生処理を説明するフローチャートである。
【図６】撮像画像の位置合わせについて説明する図である。
【図７】中心座標の算出について説明する図である。
【図８】短冊画像の切り出しについて説明する図である。
【図９】パノラマ動画像の生成について説明する図である。
【図１０】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照して、本発明を適用した実施の形態について説明する。
【００１９】
［立体パノラマ動画像の説明］
本発明を適用した撮像装置は、例えばカメラなどからなり、撮像装置が移動している状態で、撮像装置が連続的に撮像した複数の撮像画像から、立体パノラマ動画像を生成する。立体パノラマ動画像は、視差を有する２つのパノラマ動画像から構成される。
【００２０】
パノラマ動画像は、撮像装置が１度の撮像により撮像することができる実空間上の撮像範囲（画角）よりも、より広い範囲の領域が被写体として表示される複数のパノラマ画像からなる画像群である。したがって、パノラマ動画像は、パノラマ動画像を構成する各パノラマ画像を１フレーム分の画像と考えれば１つの動画像であるということもできるし、パノラマ動画像を構成する各パノラマ画像を１枚の静止画像と考えれば静止画像群であるということもできる。以下では、説明を簡単にするため、パノラマ動画像が、動画像であるものとして説明を続ける。
【００２１】
ユーザが撮像装置に立体パノラマ動画像を生成させようとする場合、ユーザは撮像装置を操作して、立体パノラマ動画像の生成に用いられる撮像画像を撮像させる。
【００２２】
例えば、図１に示すように撮像画像の撮像時には、ユーザは、撮像装置１１の光学レンズを図中、手前側に向けて、回動中心Ｃ１１を中心として撮像装置１１を図中、右から左方向に回動（パン）させながら連続して被写体を撮像させる。このとき、ユーザは、静止している同じ被写体が、連続して撮像される複数の撮像画像に含まれるように、撮像装置１１の回動速度を調整する。
【００２３】
このように撮像装置１１を移動させながら撮像画像を撮像させることで、Ｎ枚の撮像画像Ｐ（１）乃至撮像画像Ｐ（Ｎ）が得られる。
【００２４】
ここで、撮像画像Ｐ（１）は、Ｎ枚の撮像画像のうち最も撮像時刻の古い画像、つまり最初に撮像された画像であり、撮像画像Ｐ（Ｎ）はＮ枚の撮像画像のうち、最も撮像時刻の新しい、最後に撮像された画像である。以下では、ｎ番目（但し、１≦ｎ≦Ｎ）に撮像された撮像画像を撮像画像Ｐ（ｎ）とも称することとする。
【００２５】
なお、各撮像画像は、連写された静止画像であってもよいし、撮影された動画像の１フレーム分の画像であってもよい。
【００２６】
また、図１において、撮像装置１１自体を９０度だけ回転させ、つまり撮像装置１１を横向きにして撮像を行った方が、図中、縦方向により長い撮像画像を得ることができる場合には、撮像装置１１を横向きにして撮像画像の撮像を行うようにしてもよい。そのような場合、撮像画像が撮像装置１１と同じ方向に９０度だけ回転されて、立体パノラマ動画像の生成が行われる。
【００２７】
このようにしてＮ枚の撮像画像が得られると、撮像装置１１は、これらの撮像画像を用いて複数のパノラマ動画像を生成する。ここで、パノラマ動画像は、Ｎ枚の撮像画像の撮像時に撮像対象となった撮像空間上の全領域が被写体として表示される動画像である。撮像装置１１では、互いに視差を有する複数のパノラマ動画像が生成される。
【００２８】
撮像画像から、互いに視差を有するパノラマ動画像が得られるのは、撮像装置１１が移動している状態で、複数の撮像画像を撮像するため、それらの撮像画像上の被写体は、視差を有することになるからである。
【００２９】
例えば、図２に示すように、回動中心Ｃ１１を中心として、図中、矢印方向に撮像装置１１を回動させながら撮像画像を撮像したときに、位置ＰＴ１および位置ＰＴ２において、撮像画像が撮像されたとする。
【００３０】
この場合、撮像装置１１が位置ＰＴ１と位置ＰＴ２のそれぞれにあるときに撮像された撮像画像には、同じ被写体Ｈ１１が含まれるが、それらの撮像画像は撮像位置、つまり被写体Ｈ１１の観察位置が異なるので、視差が生じることになる。撮像装置１１が一定の回動速度で回動する場合には、回動中心Ｃ１１から撮像装置１１までの距離が長いほど、例えば回動中心Ｃ１１から位置ＰＴ１の距離が長いほど、視差は大きくなる。
【００３１】
このようにして生じる視差を利用して、観察位置の異なる（視差を有する）複数のパノラマ動画像を生成し、それらのパノラマ動画像のうちの２つを、レンチキュラ方式等で同時に再生すれば、ユーザに立体的なパノラマ動画像を提示することができる。
【００３２】
なお、以下、立体パノラマ動画像を構成する２つのパノラマ動画像のうち、ユーザの右眼により観察されるように表示させるパノラマ動画像を右眼用のパノラマ動画像と称する。また、立体パノラマ動画像を構成する２つのパノラマ動画像のうち、ユーザの左眼により観察されるように表示させるパノラマ動画像を左眼用のパノラマ動画像と称する。
【００３３】
［撮像装置の構成］
図３は、本発明を適用した撮像装置１１の一実施の形態の構成例を示す図である。
【００３４】
撮像装置１１は、操作入力部２１、撮像部２２、撮像制御部２３、信号処理部２４、バス２５、バッファメモリ２６、圧縮伸張部２７、ドライブ２８、記録媒体２９、表示制御部３０、および表示部３１から構成される。
【００３５】
操作入力部２１はボタンなどからなり、ユーザの操作を受けて、その操作に応じた信号を信号処理部２４に供給する。撮像部２２は、光学レンズや撮像素子などからなり、被写体からの光を光電変換することにより撮像画像を撮像して、撮像制御部２３に供給する。撮像制御部２３は撮像部２２による撮像を制御するとともに、撮像部２２から取得した撮像画像を信号処理部２４に供給する。
【００３６】
信号処理部２４は、バス２５を介してバッファメモリ２６乃至ドライブ２８、および表示制御部３０と接続されており、操作入力部２１からの信号に応じて撮像装置１１の全体を制御する。
【００３７】
例えば、信号処理部２４は、撮像制御部２３からの撮像画像を、バス２５を介してバッファメモリ２６に供給したり、バッファメモリ２６から取得した撮像画像からパノラマ動画像を生成したりする。
【００３８】
バッファメモリ２６は、SDRAM（Synchronous Dynamic Random Access Memory）などからなり、バス２５を介して供給された撮像画像等のデータを一時的に記録する。圧縮伸張部２７は、バス２５を介して供給されたパノラマ動画像を所定の方式によりエンコードしたり、デコードしたりする。
【００３９】
ドライブ２８は、バス２５から供給されたパノラマ動画像を記録媒体２９に記録させたり、記録媒体２９に記録されているパノラマ動画像を読み出してバス２５に出力したりする。記録媒体２９は、撮像装置１１に着脱可能な不揮発性のメモリからなり、ドライブ２８の制御に従ってパノラマ動画像を記録する。
【００４０】
表示制御部３０は、バス２５を介して供給された立体パノラマ動画像を表示部３１に供給して表示させる。表示部３１は、例えばLCD（Liquid Crystal Display）やレンチキュラレンズからなり、表示制御部３０の制御に従って、レンチキュラ方式で画像を立体表示する。
【００４１】
［信号処理部の構成］
また、図３の信号処理部２４は、より詳細には図４に示すように構成される。
【００４２】
すなわち、信号処理部２４は、動き推定部６１、短冊画像生成部６２、パノラマ動画生成部６３、および選択部６４から構成される。
【００４３】
動き推定部６１は、バス２５を介して供給された、撮像時刻の異なる２つの撮像画像を用いて動き推定（Motion Estimation）を行う。動き推定部６１は、座標算出部７１を備えている。
【００４４】
座標算出部７１は、動き推定の結果に基づいて、２つの撮像画像上の同じ被写体が重なるように、それらの撮像画像を、所定の平面上に並べて配置したときの各撮像画像の相対的な位置関係を示す情報を生成する。具体的には、所定の平面上に２次元のｘｙ座標系をとったときの撮像画像の中心の位置の座標（以下、中心座標と称する）が、撮像画像の相対的な位置関係を示す情報として算出される。
【００４５】
短冊画像生成部６２は、バス２５を介して供給された撮像画像および中心座標を用いて、撮像画像上の所定の領域を切り出して短冊画像とし、パノラマ動画生成部６３に供給する。
【００４６】
パノラマ動画生成部６３は、短冊画像生成部６２からの短冊画像を合成して複数のパノラマ画像を生成することで、パノラマ画像群であるパノラマ動画像を生成する。パノラマ動画生成部６３では、互いに視差のある複数のパノラマ動画像が生成される。なお、１フレーム分のパノラマ動画像、つまり１つのパノラマ画像は、撮像画像の撮像時に撮像対象となった撮像空間上の全範囲（領域）が被写体として表示される画像である。
【００４７】
選択部６４は、ユーザにより指定された視差（視点間隔）に応じて、互いに視差のある複数のパノラマ動画像のうちの２つを、立体パノラマ動画像を構成する右眼用および左眼用のパノラマ動画像として選択し、表示制御部３０に出力する。
【００４８】
［立体パノラマ動画像の再生処理の説明］
次に、図５のフローチャートを参照して、撮像装置１１が撮像画像を撮像して立体パノラマ動画像を生成し、立体パノラマ動画像を再生する立体パノラマ動画像の再生処理について説明する。この立体パノラマ動画像の再生処理は、ユーザにより操作入力部２１が操作され、立体パノラマ動画像の生成が指示されると開始される。
【００４９】
ステップＳ１１において、撮像部２２は、図１に示したように撮像装置１１が移動している状態で、被写体を撮像する。これにより、１枚（以下、１フレームと称する）の撮像画像が得られる。撮像部２２で撮像された撮像画像は、撮像部２２から撮像制御部２３を介して信号処理部２４に供給される。
【００５０】
ステップＳ１２において、信号処理部２４は、撮像部２２から供給された撮像画像を、バス２５を介してバッファメモリ２６に供給し、一時的に記録させる。このとき、信号処理部２４は、記録させる撮像画像が何番目に撮像された撮像画像であるかを特定できるように、撮像画像にフレーム番号を付して記録させる。なお、以下、ｎ番目に撮像された撮像画像Ｐ（ｎ）を、フレームｎの撮像画像Ｐ（ｎ）とも称することとする。
【００５１】
ステップＳ１３において、動き推定部６１は、バス２５を介してバッファメモリ２６から現フレームｎと、その直前のフレーム（ｎ−１）の撮像画像を取得し、動き推定により撮像画像の位置合わせを行う。
【００５２】
例えば、直前のステップＳ１２においてバッファメモリ２６に記録された撮像画像が、ｎ番目に撮像された撮像画像Ｐ（ｎ）である場合、動き推定部６１は、現フレームｎの撮像画像Ｐ（ｎ）と、直前のフレーム（ｎ−１）の撮像画像Ｐ（ｎ−１）を取得する。
【００５３】
そして、動き推定部６１は、図６に示すように、撮像画像Ｐ（ｎ）上の９個のブロックBL(n)−1乃至ブロックBR(n)−3と同じ画像が、直前のフレームの撮像画像Ｐ（ｎ−１）上のどの位置にあるかを探索することで、位置合わせを行う。
【００５４】
ここで、ブロックBC(n)−1乃至ブロックBC(n)−3は、撮像画像Ｐ（ｎ）のほぼ中央に位置する図中、縦方向の仮想的な直線である境界CL−n上に、図中縦方向に並んでいる矩形領域である。
【００５５】
また、ブロックBL(n)−1乃至ブロックBL(n)−3は、撮像画像Ｐ（ｎ）の図中、境界CL−nの左側に位置する、縦方向の仮想的な直線である境界LL−n上に、図中縦方向に並んでいる矩形領域である。同様に、ブロックBR(n)−1乃至ブロックBR(n)−3は、撮像画像Ｐ（ｎ）の図中、境界CL−nの右側に位置する、縦方向の仮想的な直線である境界RL−n上に、図中縦方向に並んでいる矩形領域である。これらの９個のブロックBL(n)−1乃至ブロックBR(n)−3の位置は、予め定められている。
【００５６】
動き推定部６１は、撮像画像Ｐ（ｎ）上の９個の各ブロックについて、そのブロックと同じ形状および大きさである撮像画像Ｐ（ｎ−１）上の領域であって、ブロックとの差分の最も小さい領域（以下、ブロック対応領域と称する）を探索する。ここで、ブロックとの差分は、処理対象のブロック、例えばブロックBL(n)−1と、ブロック対応領域の候補とされている領域との同じ位置の画素の画素値の差分絶対値の和などとされる。
【００５７】
このような動き推定を行うと、撮像画像Ｐ（ｎ）上のブロックBL(n)−1乃至ブロックBR(n)−3のそれぞれに対して、それらのブロックの相対的な位置関係と同じ位置関係で撮像画像Ｐ（ｎ−１）上に位置するブロック対応領域が得られることになる。
【００５８】
撮像画像Ｐ（ｎ）上の処理対象のブロックに対応する、撮像画像Ｐ（ｎ−１）のブロック対応領域は、撮像画像Ｐ（ｎ−１）上において、処理対象のブロックとの差分が最も小さい領域である。そのため、ブロック対応領域には、処理対象のブロックと同じ画像が表示されているものと推定される。
【００５９】
したがって、ブロックBL(n)−1乃至ブロックBR(n)−3と、対応するブロック対応領域とが重なるように所定平面上に撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ−１）とを重ねて並べれば、それらの撮像画像上の同じ被写体が重なるはずである。
【００６０】
しかしながら、実際には、ブロックとブロック対応領域とが全く同じ位置関係とはならないことがある。そのため、より詳細には動き推定部６１は、全てのブロックとブロック対応領域とがほぼ重なるように、撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ−１）とを平面上に並べて、その結果を撮像画像の位置合わせの結果とする。
【００６１】
なお、撮像画像上に動きのある被写体があり、その被写体が撮像画像Ｐ（ｎ）上のブロック内に含まれる場合には、得られた９個のブロック対応領域は、ブロックBL(n)−1乃至ブロックBR(n)−3と同じ位置関係とはならなくなる。
【００６２】
そこで、動き推定部６１は、得られたブロック対応領域のそれぞれの相対的な位置関係が、撮像画像Ｐ（ｎ）上のブロックの相対的な位置関係と異なる場合には、動きのある被写体が含まれると推定されるブロックを除外し、再度、動き推定による位置合わせを行う。つまり、他のブロック対応領域と相対的な位置関係が異なるブロック対応領域が検出され、検出されたブロック対応領域に対応する撮像画像Ｐ（ｎ）上のブロックが処理対象から除外されて、残りのブロックのみが用いられて再度、動き推定が行われる。
【００６３】
具体的には、ブロックBL(n)−1乃至ブロックBR(n)−3が距離ＱＬの間隔で、図６中、縦横等間隔に並んでいるとする。例えば、互いに隣り合うブロックBL(n)−1とブロックBL(n)−2との距離、およびブロックBL(n)−1とブロックBC(n)−1との距離は、ともにＱＬとなる。この場合、動き推定部６１は、各ブロックに対応するブロック対応領域の相対的な位置関係に基づいて、撮像画像Ｐ（ｎ）上の動きのあるブロックを検出する。
【００６４】
すなわち、動き推定部６１は、ブロックBR(n)−3に対応するブロック対応領域と、ブロックBC(n)−3に対応するブロック対応領域など、互いに隣接するブロック対応領域同士の距離ＱＭを求める。
【００６５】
その結果、ブロックBR(n)−2およびブロックBC(n)−3については、それらのブロックに対応するブロック対応領域と、ブロックBR(n)−3に対応するブロック対応領域との距離ＱＭの、距離ＱＬとの差の絶対値が、予め定められた閾値以上であったとする。
【００６６】
また、ブロックBR(n)−2およびブロックBC(n)−3に対応するブロック対応領域と、他の隣接するブロック対応領域（ブロックBR(n)−3のブロック対応領域を除く）との距離ＱＭの、距離ＱＬとの差の絶対値は、予め定められた閾値未満であったとする。
【００６７】
この場合、ブロックBR(n)−3とは異なる他のブロックのブロック対応領域は、各ブロックの相対的な位置関係と同じ位置関係で並んでいる。ところが、ブロックBR(n)−3のブロック対応領域だけは、他のブロック対応領域に対して、各ブロックの位置関係とは異なる位置関係となっている。このような検出結果が得られた場合、動き推定部６１はブロックBR(n)−3に、動きのある被写体が含まれているとする。
【００６８】
なお、動きのあるブロックの検出には、互いに隣接するブロック対応領域同士の距離だけでなく、注目するブロック対応領域の隣接する他のブロック対応領域に対する回転角度などが用いられてもよい。つまり、例えば他のブロック対応領域に対して、所定の角度以上、傾いているブロック対応領域があれば、そのブロック対応領域に対応するブロックに、動きのある被写体が含まれているとされる。
【００６９】
このようにして、動きのあるブロックが検出されると、動き推定部６１は、その動きのあるブロックを除く残りのブロックを用いた動き推定により、再度、撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ−１）との位置合わせを行う。
【００７０】
このように、動きのある被写体が含まれるブロックを除外し、動きのない被写体、つまりいわゆる背景のみが含まれるブロックだけを用いて位置合わせを行うことで、より正確に位置合わせを行うことができる。この位置合わせの結果に従って撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ−１）を並べれば、動きのない被写体が重なるように、それらの撮像画像を重ねて並べることができる。
【００７１】
位置合わせが行われると、次に座標算出部７１は、これまでに撮像された撮像画像Ｐ（１）乃至撮像画像Ｐ（ｎ）を、各フレームの位置合わせの結果に従って所定の平面上、つまりｘｙ座標系上に並べたときの撮像画像Ｐ（ｎ）の中心座標を算出する。
【００７２】
例えば、図７に示すように、撮像画像Ｐ（１）の中心がｘｙ座標系の原点の位置となり、かつ撮像画像に含まれる同じ被写体が重なるように、各撮像画像が並べられる。なお、図中、横方向はｘ方向を示しており、縦方向はｙ方向を示している。また、撮像画像Ｐ（１）乃至撮像画像Ｐ（ｎ）上の各点Ｏ（１）乃至点Ｏ（ｎ）は、それらの撮像画像の中心の位置を示している。
【００７３】
例えば、処理対象の現フレームの撮像画像が撮像画像Ｐ（ｎ）であるとすると、撮像画像Ｐ（１）乃至撮像画像Ｐ（ｎ−１）のそれぞれの中心の点Ｏ（１）乃至点Ｏ（ｎ−１）の中心座標が既に求められて、バッファメモリ２６に記録されている。
【００７４】
座標算出部７１は、バッファメモリ２６から撮像画像Ｐ（ｎ−１）の中心座標を読み出して、読み出した中心座標と、撮像画像Ｐ（ｎ）および撮像画像Ｐ（ｎ−１）の位置合わせの結果とから、撮像画像Ｐ（ｎ）の中心座標を求める。つまり、点Ｏ（ｎ）のｘ座標およびｙ座標が中心座標として求められる。
【００７５】
図５のフローチャートの説明に戻り、ステップＳ１３において位置合わせが行われ、撮像画像Ｐ（ｎ）の中心座標が求められると、処理はステップＳ１４に進む。
【００７６】
ステップＳ１４において、動き推定部６１は、得られた撮像画像Ｐ（ｎ）の中心座標をバッファメモリ２６に供給し、撮像画像Ｐ（ｎ）と関連付けて記録させる。
【００７７】
ステップＳ１５において、信号処理部２４は、予め定められた所定枚数の撮像画像を撮像したか否かを判定する。例えば、図１に示したように、所定の空間上の領域を、Ｎ回に分けて撮像する場合、Ｎ枚の撮像画像が撮像されたときに、所定枚数の撮像画像を撮像したと判定される。
【００７８】
なお、撮像装置１１にジャイロセンサなど、撮像装置１１が回動した角度を検出できる機器が設けられている場合には、撮像画像を撮像した枚数ではなく、撮像画像の撮像を開始してから撮像装置１１が所定の角度だけ回動したかが判定されるようにしてもよい。この場合であっても、所定の空間上の特定の領域全体が被写体とされて、撮像画像の撮像が行われたか否かを特定することができる。
【００７９】
ステップＳ１５において、まだ所定枚数の撮像画像を撮像していないと判定された場合、処理はステップＳ１１に戻り、次のフレームの撮像画像が撮像される。
【００８０】
これに対して、ステップＳ１５において、所定枚数の撮像画像を撮像したと判定された場合、処理はステップＳ１６に進む。
【００８１】
ステップＳ１６において、短冊画像生成部６２は、バッファメモリ２６から、Ｎ枚の撮像画像とその中心座標を取得し、取得した撮像画像および中心座標に基づいて、各撮像画像の所定の領域を切り出して短冊画像を生成する。
【００８２】
例えば、短冊画像生成部６２は、図８に示すように撮像画像Ｐ（ｎ）上の境界ML−n、境界LL−n、および境界RL−nを基準として定まる領域ＴＭ（ｎ）、領域ＴＬ（ｎ）、および領域ＴＲ（ｎ）のそれぞれを切り出して、短冊画像とする。なお、図８にいて図６における場合と対応する部分には同一の符号を付してあり、その説明は省略する。
【００８３】
図８では、連続して撮像された撮像画像Ｐ（ｎ）および撮像画像Ｐ（ｎ＋１）が、それらの中心座標に基づいて、同じ被写体が重なるように並べられており、図８における横方向は、例えば図７のｘ方向に対応する。
【００８４】
撮像画像Ｐ（ｎ）上の境界ML−nは、境界CL−nの図中、左側に位置する縦方向の仮想的な直線であり、撮像画像Ｐ（ｎ＋１）上の境界ML−（n＋1）は、撮像画像Ｐ（ｎ）の境界ML−nに対応する境界である。つまり、境界ML−nおよび境界ML−（n＋1）は、撮像画像Ｐ（ｎ）および撮像画像Ｐ（ｎ＋１）上の同じ位置にある図中、縦方向の仮想的な直線である。
【００８５】
撮像画像Ｐ（ｎ＋１）上の境界LL−（n＋1）は、撮像画像Ｐ（ｎ）における境界LL−nに対応する境界であり、撮像画像Ｐ（ｎ＋１）上の境界RL−（n＋1）は、撮像画像Ｐ（ｎ）における境界RL−nに対応する境界である。
【００８６】
また、図中、縦方向の直線である境界ML（M）−nおよび境界MR（M）−nは、撮像画像Ｐ（ｎ）上の境界ML−n近傍にある直線であって、それぞれ境界ML−nの左側および右側に、予め定められた距離だけ離れて位置している。同様に、図中、縦方向の直線である境界ML（M）−（n＋1）および境界MR（M）−（n＋1）は、撮像画像Ｐ（ｎ＋１）上の境界ML−（n＋1）近傍にある直線であって、それぞれ境界ML−（n＋1）の左側および右側に、予め定められた距離だけ離れて位置している。
【００８７】
図中、縦方向の直線である境界ML（L）−nおよび境界MR（L）−nは、撮像画像Ｐ（ｎ）上の境界LL−n近傍にある直線であって、それぞれ境界LL−nの左側および右側に、予め定められた距離だけ離れて位置している。
【００８８】
また、図中、縦方向の直線である境界ML（L）−（n＋1）および境界MR（L）−（n＋1）は、撮像画像Ｐ（ｎ＋１）上の境界LL−（n＋1）近傍にある直線であって、それぞれ境界LL−（n＋1）の左側および右側に、予め定められた距離だけ離れて位置している。
【００８９】
さらに、図中、縦方向の直線である境界ML（R）−nおよび境界MR（R）−nは、撮像画像Ｐ（ｎ）上の境界RL−n近傍にある直線であって、それぞれ境界RL−nの左側および右側に、予め定められた距離だけ離れて位置している。同様に、図中、縦方向の直線である境界ML（R）−（n＋1）および境界MR（R）−（n＋1）は、撮像画像Ｐ（ｎ＋１）上の境界RL−（n＋1）近傍にある直線であって、それぞれ境界RL−（n＋1）の左側および右側に、予め定められた距離だけ離れて位置している。
【００９０】
短冊画像生成部６２は、撮像画像Ｐ（ｎ）から３つの領域ＴＭ（ｎ）、領域ＴＬ（ｎ）、および領域ＴＲ（ｎ）のそれぞれを切り出して、短冊画像とする。
【００９１】
例えば、撮像画像Ｐ（ｎ）上における、境界ML（M）−nから、境界MR（M）−（n＋1）の位置までの領域ＴＭ（ｎ）が１つの短冊画像（以下、短冊画像ＴＭ（ｎ）とも称する）として切り出される。ここで、撮像画像Ｐ（ｎ）上における境界MR（M）−（n＋1）の位置とは、撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ＋１）を並べたときに、境界MR（M）−（n＋1）と重なる撮像画像Ｐ（ｎ）上の位置である。
【００９２】
同様に、撮像画像Ｐ（ｎ−１）のほぼ中央からは、撮像画像Ｐ（ｎ−１）上における、境界ML（M）−（n−1）から境界MR（M）−nの位置までの領域ＴＭ（ｎ−１）が１つの短冊画像として切り出される。
【００９３】
したがって、短冊画像ＴＭ（ｎ）において、境界ML（M）−nから境界MR（M）−nの位置までの領域の被写体は、短冊画像ＴＭ（ｎ−１）における、境界ML（M）−nから境界MR（M）−nの位置までの領域の被写体と基本的には同じ被写体となる。但し、短冊画像ＴＭ（ｎ）および短冊画像ＴＭ（ｎ−１）は、それぞれ撮像画像Ｐ（ｎ）および撮像画像Ｐ（ｎ−１）から切り出された画像であるので、同じ被写体であっても撮像された時刻は異なる。
【００９４】
同様に短冊画像ＴＭ（ｎ）において、境界ML（M）−（n＋1）から境界MR（M）−（n＋1）の位置までの領域の被写体は、短冊画像ＴＭ（ｎ＋１）における、境界ML（M）−（n＋1）から境界MR（M）−（n＋1）の位置までの領域の被写体と基本的に同じとなる。
【００９５】
また、撮像画像Ｐ（ｎ）上における、境界ML（L）−nから、境界MR（L）−（n＋1）の位置までの領域ＴＬ（ｎ）が１つの短冊画像（以下、短冊画像ＴＬ（ｎ）とも称する）として切り出される。さらに、撮像画像Ｐ（ｎ）上における、境界ML（R）−nから、境界MR（R）−（n＋1）の位置までの領域ＴＲ（ｎ）が１つの短冊画像（以下、短冊画像ＴＲ（ｎ）とも称する）として切り出される。
【００９６】
この場合においても、撮像画像Ｐ（ｎ）上における境界MR（L）−（n＋1）および境界MR（R）−（n＋1）の位置とは、撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ＋１）を並べたときに、それらの境界と重なる撮像画像Ｐ（ｎ）上の位置である。
【００９７】
このように、各撮像画像Ｐ（ｎ）からは、図中、ほぼ中央の領域ＴＭ（ｎ）、左側の領域ＴＬ（ｎ）、および右側の領域ＴＲ（ｎ）のそれぞれが切り出されて、短冊画像ＴＭ（ｎ）、短冊画像ＴＬ（ｎ）、および短冊画像ＴＲ（ｎ）とされる。
【００９８】
そして、Ｎ枚の撮像画像から得られた短冊画像ＴＭ（ｎ）を並べて合成すれば、１つのパノラマ画像が得られる。同様に、Ｎ枚の撮像画像から得られた短冊画像ＴＬ（ｎ）を並べて合成すれば１つのパノラマ画像が得られ、Ｎ枚の撮像画像から得られた短冊画像ＴＲ（ｎ）を並べて合成すれば１つのパノラマ画像が得られる。これらのパノラマ画像は、Ｎ枚の撮像画像の撮像時に撮像対象となった撮像空間上の全範囲（領域）が表示される画像であり、互いに視差を有している。
【００９９】
図５のフローチャートの説明に戻り、撮像画像から短冊画像が得られると、短冊画像生成部６２は、得られた短冊画像と、各撮像画像の中心座標とをパノラマ動画生成部６３に供給し、その後、処理はステップＳ１６からステップＳ１７に進む。
【０１００】
ステップＳ１７において、パノラマ動画生成部６３は、短冊画像生成部６２からの短冊画像と、撮像画像の中心座標とに基づいて、各フレームの短冊画像を並べて合成し、パノラマ動画像の１フレーム分の画像データを生成する。
【０１０１】
すなわち、パノラマ動画生成部６３は、Ｎ枚の撮像画像Ｐ（ｎ）のほぼ中央の領域から切り出されたＮ枚の短冊画像ＴＭ（ｎ）を並べて合成し、パノラマ動画像の１フレーム分の画像データ、つまり１つのパノラマ画像を生成する。
【０１０２】
同様に、パノラマ動画生成部６３は、Ｎ枚の撮像画像Ｐ（ｎ）から切り出されたＮ枚の短冊画像ＴＬ（ｎ）を並べて合成し、パノラマ動画像の１フレーム分の画像データとする。さらに、パノラマ動画生成部６３は、Ｎ枚の撮像画像Ｐ（ｎ）から切り出されたＮ枚の短冊画像ＴＲ（ｎ）を並べて合成し、パノラマ動画像の１フレーム分の画像データとする。
【０１０３】
なお、以下、短冊画像ＴＭ（ｎ）、短冊画像ＴＬ（ｎ）、および短冊画像ＴＲ（ｎ）のそれぞれから生成されたパノラマ画像を、パノラマ画像ＰＭ、パノラマ画像ＰＬ、およびパノラマ画像ＰＲとも称することとする。また、パノラマ画像ＰＭ、パノラマ画像ＰＬ、およびパノラマ画像ＰＲのそれぞれからなるパノラマ動画像のそれぞれを、パノラマ動画像ＰＭＭ、パノラマ動画像ＰＭＬ、およびパノラマ動画像ＰＭＲとも称することとする。
【０１０４】
さらに、より詳細にはパノラマ動画生成部６３は、例えば短冊画像ＴＭ（ｎ）および短冊画像ＴＭ（ｎ−１）を合成するにあたり、それらの短冊画像における境界ML（M）−nから境界MR（M）−nの位置までの領域については、重み付き加算によりパノラマ画像の画素の画素値を求める。
【０１０５】
つまり、中心座標に基づいて短冊画像ＴＭ（ｎ）および短冊画像ＴＭ（ｎ−１）を並べると、それらの短冊画像における境界ML（M）−nから境界MR（M）−nの位置までの領域が互いに重なることになる。パノラマ動画生成部６３は、短冊画像ＴＭ（ｎ）および短冊画像ＴＭ（ｎ−１）の互いに重なっている画素の画素値を重み付き加算し、その結果得られた値を、それらの画素に対応する位置のパノラマ画像の画素の画素値とする。
【０１０６】
なお、短冊画像ＴＭ（ｎ）と短冊画像ＴＭ（ｎ−１）における、境界ML（M）−nから境界MR（M）−nの位置までの領域の画素の重み付き加算時の重みは、次のような特徴を有するように定められる。
【０１０７】
すなわち、境界ML−nから境界MR（M）−nまでの位置の画素については、画素の位置が境界ML−nから境界MR（M）−nの位置により近くなるにしたがって、パノラマ画像の生成に対する短冊画像ＴＭ（ｎ）の画素の寄与率がより高くなるようにされる。逆に、境界ML−nから境界ML（M）−nまでの位置の画素については、画素の位置が境界ML−nから境界ML（M）−nの位置により近くなるにしたがって、パノラマ画像の生成に対する短冊画像ＴＭ（ｎ−１）の画素の寄与率がより高くなるようにされる。
【０１０８】
また、パノラマ画像の生成時において、短冊画像ＴＭ（ｎ）の境界MR（M）−nから境界ML（M）−（n＋1）までの領域は、その領域がそのままパノラマ画像とされる。
【０１０９】
さらに、短冊画像ＴＭ（ｎ）と短冊画像ＴＭ（ｎ＋１）との合成時には、それらの短冊画像における境界ML（M）−（n＋1）から境界MR（M）−（n＋1）の位置までの領域については、重み付き加算によりパノラマ画像の画素の画素値が求められる。
【０１１０】
すなわち、境界ML−（n＋1）から境界MR（M）−（n＋1）までの位置の画素については、画素の位置が境界ML−（n＋1）から境界MR（M）−（n＋1）の位置により近くなるにしたがって、パノラマ画像の生成に対する短冊画像ＴＭ（ｎ＋１）の画素の寄与率がより高くなるようにされる。逆に、境界ML−（n＋1）から境界ML（M）−（n＋1）までの位置の画素については、画素の位置が境界ML−（n＋1）から境界ML（M）−（n＋1）の位置により近くなるにしたがって、パノラマ画像の生成に対する短冊画像ＴＭ（ｎ）の画素の寄与率がより高くなるようにされる。
【０１１１】
さらに、短冊画像ＴＬ（ｎ）や短冊画像ＴＲ（ｎ）の合成においても、短冊画像ＴＭ（ｎ）の場合と同様に、それらの短冊画像の他の短冊画像と重なる部分については、重み付き加算が行われる。
【０１１２】
このように、短冊画像の合成にあたり、連続するフレームの短冊画像の端近傍の領域を重み付き加算してパノラマ画像の画素の画素値とすることにより、単に短冊画像を並べて１つの画像とする場合と比べて、より自然な画像を得ることができる。
【０１１３】
例えば、単に短冊画像を並べてパノラマ画像とする場合、短冊画像の端付近の被写体の輪郭が歪になってしまったり、連続するフレームの短冊画像の明るさが異なると、パノラマ画像の領域ごとに明るさのむらが生じたりする恐れがある。
【０１１４】
そこで、パノラマ動画生成部６３では、短冊画像の端近傍の領域を重み付き加算により合成することで、被写体の輪郭が歪になったり、明るさのむらが生じたりすることを防止し、より自然なパノラマ画像を得ることができる。
【０１１５】
また、撮像画像の位置合わせ時に、動き推定部６１が撮像画像に基づいて、撮像部２２を構成する光学レンズによるレンズ歪みを検出しておき、短冊画像の合成時に、短冊画像生成部６２が、レンズ歪みの検出結果を用いて短冊画像を補正するようにしてもよい。すなわち、レンズ歪みの検出結果に基づいて、短冊画像に生じた歪みが画像処理により補正される。
【０１１６】
以上のようにして３つのパノラマ動画像のそれぞれの１フレームを構成する、パノラマ画像ＰＭ、パノラマ画像ＰＬ、およびパノラマ画像ＰＲが得られると、パノラマ動画生成部６３は、それらのパノラマ画像を、バス２５を介して圧縮伸張部２７に供給する。
【０１１７】
ステップＳ１８において、圧縮伸張部２７は、パノラマ動画生成部６３から供給されたパノラマ動画像の画像データを、例えばJPEG（Joint Photographic Experts Group）方式でエンコードし、バス２５を介してドライブ２８に供給する。
【０１１８】
ドライブ２８は、圧縮伸張部２７からのパノラマ動画像の画像データを記録媒体２９に供給し、記録させる。画像データの記録時においては、各画像データには、パノラマ動画生成部６３によりフレーム番号が付与される。
【０１１９】
ステップＳ１９において、信号処理部２４は、予め定められた所定フレーム分だけパノラマ動画像の画像データを生成したか否かを判定する。例えば、Ｍフレームの画像データからなるパノラマ動画像が生成されると定められている場合には、Ｍフレーム分の画像データが得られたときに、所定フレーム分のパノラマ動画像を生成したと判定される。
【０１２０】
ステップＳ１９において、まだ所定フレーム分のパノラマ動画像を生成していないと判定された場合、処理はステップＳ１６に戻り、パノラマ動画像の次のフレームの画像データが生成される。
【０１２１】
例えば、パノラマ動画像ＰＭＭの１フレーム目のパノラマ画像が生成される場合、図８を参照して説明したように、撮像画像Ｐ（ｎ）の境界ML（M）−nから、境界MR（M）−（n＋1）の位置までの領域ＴＭ（ｎ）が切り出されて短冊画像とされる。
【０１２２】
そして、パノラマ動画像ＰＭＭの２フレーム目以降のパノラマ画像が生成される場合、短冊画像が切り出される撮像画像Ｐ（ｎ）の領域ＴＭ（ｎ）の位置が、境界ML−nから境界ML−（n＋1）までの幅ＣＷの分ずつ図８中、左方向にずらされていく。
【０１２３】
つまり、パノラマ動画像ＰＭＭのｍフレーム目の生成に用いる短冊画像を、短冊画像ＴＭ（ｎ）−ｍ（但し、１≦ｍ≦Ｍ）とする。この場合、ｍフレーム目の短冊画像ＴＭ（ｎ）−ｍの切り出し位置は、短冊画像ＴＭ（ｎ）−１の切り出し位置である領域ＴＭ（ｎ）が図８中、左側に幅ＣＷの（ｍ−１）倍の距離だけずれた位置とされる。
【０１２４】
したがって、例えば２フレーム目の短冊画像ＴＭ（ｎ）−２が切り出される領域は、撮像画像Ｐ（ｎ）上の図８における領域ＴＭ（ｎ）と同じ形状および大きさの領域であって、その右端の位置が境界MR（M）−nの位置となる領域とされる。
【０１２５】
ここで、短冊画像の切り出し領域がずらされる方向は、撮像画像の撮像時に撮像装置１１を回動させる方向に応じて、予め定められる。例えば、図８の例においては、所定のフレームの撮像画像の中心位置に対して、その次のフレームの撮像画像の中心位置が、常に図中、右側に位置するように、撮像装置１１が回動されることが前提とされている。つまり、図８の例においては、撮像装置１１の移動方向が、図中、右方向であることが前提とされている。
【０１２６】
撮像装置１１の移動に伴う撮像画像の中心位置の移動の方向と反対方向に、短冊画像の切り出し位置をフレームごとにずらしていけば、パノラマ動画像を構成する各パノラマ画像において、動きのない同じ被写体は、同じ位置に表示されることになるからである。
【０１２７】
パノラマ動画像ＰＭＭの場合と同様に、パノラマ動画像ＰＭＬおよびパノラマ動画像ＰＭＲが生成される場合にも、短冊画像が切り出される撮像画像Ｐ（ｎ）の領域ＴＬ（ｎ）および領域ＴＲ（ｎ）の位置は、境界LL−nから境界LL−（n＋1）までの幅、および境界RL−nから境界RL−（n＋1）までの幅の分ずつ図８中、左方向にずらされていく。
【０１２８】
このように、短冊画像の切り出し位置をフレームごとにずらしながら、パノラマ動画像の各フレームの画像データを生成すると、例えば図９に示すようなパノラマ動画像が得られる。なお、図９において図中、横方向は図８における横方向に対応している。例えば、図９における横方向はｘｙ座標系のｘ方向に対応する。
【０１２９】
図９の例では、Ｎ枚の撮像画像Ｐ（１）乃至撮像画像Ｐ（Ｎ）のそれぞれから、短冊画像ＴＲ（１）−１乃至短冊画像ＴＲ（Ｎ）−１が生成され、それらの短冊画像が合成されてパノラマ画像ＰＲ−１が得られる。
【０１３０】
同様に、Ｎ枚の撮像画像Ｐ（１）乃至撮像画像Ｐ（Ｎ）のそれぞれから、短冊画像ＴＲ（１）−２乃至短冊画像ＴＲ（Ｎ）−２が生成され、それらの短冊画像が合成されてパノラマ画像ＰＲ−２が得られる。パノラマ画像ＰＲ−１およびパノラマ画像ＰＲ−２は、それぞれパノラマ動画像ＰＭＲの１フレーム目および２フレーム目を構成する画像である。
【０１３１】
また、Ｎ枚の撮像画像Ｐ（１）乃至撮像画像Ｐ（Ｎ）のそれぞれから、短冊画像ＴＬ（１）−１乃至短冊画像ＴＬ（Ｎ）−１が生成され、それらの短冊画像が合成されてパノラマ画像ＰＬ−１が得られる。
【０１３２】
同様に、Ｎ枚の撮像画像Ｐ（１）乃至撮像画像Ｐ（Ｎ）のそれぞれから、短冊画像ＴＬ（１）−２乃至短冊画像ＴＬ（Ｎ）−２が生成され、それらの短冊画像が合成されてパノラマ画像ＰＬ−２が得られる。パノラマ画像ＰＬ−１およびパノラマ画像ＰＬ−２は、それぞれパノラマ動画像ＰＭＬの１フレーム目および２フレーム目を構成する画像である。
【０１３３】
また、図示されていないが、撮像画像Ｐ（１）乃至撮像画像Ｐ（Ｎ）からは、短冊画像ＴＭ（ｎ）が切り出されて、パノラマ動画像ＰＭＭの各フレームを構成するパノラマ画像も生成される。
【０１３４】
ここで、例えば撮像画像Ｐ（２）における短冊画像ＴＲ（２）−２の切り出し領域は、短冊画像ＴＲ（２）−１の切り出し領域を図中、左側に幅ＣＷだけずらした位置の領域とされる。この幅ＣＷの大きさは、撮像画像のフレームごとに変化する。
【０１３５】
さらに、例えば短冊画像ＴＲ（１）−１と短冊画像ＴＲ（２）−２とには、異なる時刻の同じ被写体が表示されることになる。また、短冊画像ＴＲ（１）−１と短冊画像ＴＬ（ｍ）−１とにも、異なる時刻の同じ被写体が表示されることになる。
【０１３６】
このように、各パノラマ画像ＰＲ−１乃至パノラマ画像ＰＬ−２には、異なる時刻の同じ被写体が表示されることになる。つまり、各パノラマ画像は、互いに視差を有することになる。さらに、パノラマ画像は、異なる複数のフレームの撮像画像から得られた短冊画像が合成されて生成されるため、１つのパノラマ画像であっても、各領域に表示される被写体は、それぞれ撮像された時刻が異なる。
【０１３７】
なお、より詳細には、各パノラマ画像の端の部分は、撮像画像Ｐ（１）および撮像画像Ｐ（Ｎ）が用いられて生成される。例えば、パノラマ画像ＰＲ−１の図中、左端の部分は、撮像画像Ｐ（１）の左端から短冊画像ＴＲ（１）−１の右端の部分の画像とされる。
【０１３８】
図５のフローチャートの説明に戻り、ステップＳ１９において、所定フレーム分のパノラマ動画像を生成したと判定された場合、信号処理部２４は、これから表示させようとする立体パノラマ動画像の視差の大きさの指定を受け付けて、処理はステップＳ２０に進む。
【０１３９】
撮像装置１１では、以上において説明した処理により、３つのパノラマ動画像ＰＭＭ、パノラマ動画像ＰＭＬ、およびパノラマ動画像ＰＭＲが生成されて、記録媒体２９に記録される。
【０１４０】
パノラマ動画像ＰＭＭは、撮像画像上の図８中、ほぼ中央の領域ＴＭ（ｎ）が切り出されて生成された動画像である。また、パノラマ動画像ＰＭＬおよびパノラマ動画像ＰＭＲは、撮像画像上の図８中、中央から左側の領域ＴＬ（ｎ）および右側の領域ＴＲ（ｎ）が切り出されて生成された動画像である。
【０１４１】
ここで、領域ＴＭ（ｎ）は、撮像画像Ｐ（ｎ）の中央より、図中、やや左側に位置するので、領域ＴＭ（ｎ）から領域ＴＬ（ｎ）までの距離は、領域ＴＭ（ｎ）から領域ＴＲ（ｎ）までの距離よりも短い。したがって、パノラマ画像ＰＭとパノラマ画像ＰＬの視差の大きさ、パノラマ画像ＰＭとパノラマ画像ＰＲの視差の大きさ、およびパノラマ画像ＰＬとパノラマ画像ＰＲの視差の大きさは、それぞれ異なることになる。
【０１４２】
いま、パノラマ動画像ＰＭＭとパノラマ動画像ＰＭＬとからなる立体パノラマ動画像を立体パノラマ動画像ＭＬと称し、パノラマ動画像ＰＭＭとパノラマ動画像ＰＭＲとからなる立体パノラマ動画像を立体パノラマ動画像ＭＲと称することとする。また、パノラマ動画像ＰＭＬとパノラマ動画像ＰＭＲとからなる立体パノラマ動画像を立体パノラマ動画像ＬＲと称することとする。
【０１４３】
このとき、立体パノラマ動画像ＭＬにおいては、パノラマ動画像ＰＭＬおよびパノラマ動画像ＰＭＭが、それぞれ右眼用および左眼用のパノラマ動画像とされる。同様に、立体パノラマ動画像ＭＲにおいては、パノラマ動画像ＰＭＭおよびパノラマ動画像ＰＭＲが、それぞれ右眼用および左眼用のパノラマ動画像とされる。また、立体パノラマ動画像ＬＲにおいては、パノラマ動画像ＰＭＬおよびパノラマ動画像ＰＭＲが、それぞれ右眼用および左眼用のパノラマ動画像とされる。
【０１４４】
これらの３つの立体パノラマ動画像では、立体パノラマ動画像ＬＲが最も視差（視点間隔）が大きく、その次に立体パノラマ動画像ＭＲの視差が大きく、立体パノラマ動画像ＭＬの視差が最も小さい。したがって、これらの３つの立体パノラマ動画像のうちの、何れを表示部３１に表示させるかによって、視差の異なる立体パノラマ動画像の表示が可能となる。
【０１４５】
そこで、撮像装置１１は、視差の大きさとして、「視差大」、「視差中」、または「視差小」の何れかをユーザに指定させ、ユーザの指定に応じた視差の立体パノラマ動画像を表示する。すなわち、「視差大」、「視差中」、および「視差小」のそれぞれの指定に対し、立体パノラマ動画像ＬＲ、立体パノラマ動画像ＭＲ、および立体パノラマ動画像ＭＬのそれぞれが再生される。
【０１４６】
ステップＳ２０において、選択部６４は、操作入力部２１からの信号に基づいて、記録媒体２９に記録されている３つのパノラマ動画像から、２つのパノラマ動画像を選択する。例えば、ユーザにより「視差大」が指定された場合、選択部６４は、立体パノラマ動画像の視差が最も大きくなるパノラマ動画像ＰＭＬおよびパノラマ動画像ＰＭＲを選択する。
【０１４７】
２つのパノラマ動画像、つまり指定された視差を有する立体パノラマ動画像を選択すると、選択部６４は、ドライブ２８を介して記録媒体２９から、選択した２つのパノラマ動画像を読み出す。そして、選択部６４は、読み出したパノラマ動画像の画像データを圧縮伸張部２７に供給してデコードを指示し、処理はステップＳ２１に進む。
【０１４８】
ステップＳ２１において、圧縮伸張部２７は選択部６４から供給された２つのパノラマ動画像の画像データ、つまりパノラマ画像を、例えばJPEG方式でデコードし、信号処理部２４に供給する。
【０１４９】
ステップＳ２２において、信号処理部２４は、パノラマ動画像を構成する、各フレームのパノラマ画像を予め定められた大きさに縮小する。例えば、パノラマ画像全体が、表示部３１の表示画面上に表示しきれる大きさとなるように、縮小処理が行われる。
【０１５０】
信号処理部２４は、パノラマ動画像を縮小すると、縮小された２つのパノラマ動画像からなる立体パノラマ動画像を表示制御部３０に供給する。例えば、立体パノラマ動画像ＬＲが表示される場合、パノラマ動画像ＰＭＬが右眼用とされ、パノラマ動画像ＰＭＲが左眼用とされる。
【０１５１】
ステップＳ２３において、表示制御部３０は、信号処理部２４からの立体パノラマ動画像を、表示部３１に供給して立体パノラマ動画像を表示させる。つまり、表示制御部３０は、右眼用および左眼用のパノラマ動画像の各フレームを、所定の時間間隔で順番に表示部３１に供給して、レンチキュラ方式により立体表示させる。
【０１５２】
具体的には、表示部３１は、各フレームの右眼用および左眼用のパノラマ画像をいくつかの短冊状の画像に分割し、分割した右眼用の画像および左眼用の画像を所定の方向に交互に並べて表示することにより、立体パノラマ動画像を表示する。このようにして分割されて表示された右眼用のパノラマ画像と、左眼用のパノラマ画像の光は、それぞれ表示部３１を構成するレンチキュラレンズにより、表示部３１を見るユーザの右眼および左眼に導かれる。これにより、ユーザの目には、立体的なパノラマ動画像が観察される。
【０１５３】
表示部３１に立体パノラマ動画像が表示（再生）されると、立体パノラマ動画像の再生処理は終了する。
【０１５４】
このようにして、撮像装置１１は、異なる時刻に撮像された複数の撮像画像のそれぞれから、切り出し領域をずらしながら複数の短冊画像を生成し、短冊画像を合成して各フレームのパノラマ動画像を生成する。
【０１５５】
また、撮像装置１１は、複数のパノラマ動画像を生成し、ユーザにより指定された視差の大きさに応じて、それらの複数のパノラマ動画像のうちの２つを選択し、選択した２つのパノラマ動画像からなる立体パノラマ動画像を表示させる。
【０１５６】
このようにして生成された立体パノラマ動画像によれば、撮像された被写体に動きを持たせ、その動きを表現することができるだけでなく、被写体を立体的に表示することができるので、撮像された被写体の画像をより効果的に表示することができる。
【０１５７】
しかも、１つのパノラマ画像上の各領域の被写体は、それぞれ異なる時刻のものとなるので、より面白味のある画像を提示することができる。つまり、撮像された被写体をさらに効果的に表示することができる。
【０１５８】
また、複数のパノラマ動画像を予め生成して記録しておくようにしたので、ユーザの要求に応じて、異なる視差の立体パノラマ動画像を提示することができる。すなわち、ユーザは、所望する視差の大きさを指定して、指定した視差を有する立体パノラマ動画像を鑑賞することができる。
【０１５９】
撮像装置１１では、３つのパノラマ動画像を生成しておき、ユーザの視差の指定に応じて、３つの異なる視差を有する立体パノラマ動画像の何れかを表示させる例について説明したが、４以上の異なる視差を有する立体パノラマ動画像を表示させてもよい。そのような場合、表示可能な立体パノラマ動画像の数に応じた数だけ、互いに視差を有するパノラマ動画像が生成され、記録媒体２９に記録される。
【０１６０】
また、３つのパノラマ動画像が記録媒体２９に記録されるのではなく、３つの立体パノラマ動画像ＬＲ、立体パノラマ動画像ＭＲ、および立体パノラマ動画像ＭＬが予め生成されて、記録媒体２９に記録されるようにしてもよい。そのような場合、ユーザにより指定された視差を有する立体パノラマ動画像が記録媒体２９から読み出されて、表示される。
【０１６１】
なお、以上においては、Ｎ枚の撮像画像を撮像し、一旦、全ての撮像画像をバッファメモリ２６に記録させてから、それらの撮像画像を用いてパノラマ動画像を生成すると説明したが、撮像画像の撮像を行いながら、同時にパノラマ動画像の生成を行ってもよい。
【０１６２】
また、一旦、パノラマ動画像を生成してから、そのパノラマ動画像を縮小すると説明したが、撮像画像から直接、縮小されたパノラマ動画像を生成するようにしてもよい。この場合、立体パノラマ動画像を再生するまでの処理量をより少なくすることができるので、より迅速に立体パノラマ動画像を表示させることができる。さらに、パーソナルコンピュータ等の装置に、撮像画像からパノラマ動画像を生成する機能を設け、カメラにより撮像された撮像画像からパノラマ動画像を生成させるようにしてもよい。
【０１６３】
さらに、以上においては、撮像画像の撮像時に撮像対象となった撮像空間の全範囲の領域が、パノラマ画像の被写体として表示される例について説明したが、撮像空間の全範囲の領域内の一部の領域だけがパノラマ画像上に表示されるようにしてもよい。そのような場合、撮像空間上の撮像対象となった一部の領域だけが立体パノラマ動画像として表示されることになる。
【０１６４】
さらに、また、立体パノラマ動画像が表示されるのではなく、指定された視差を有する右眼用および左眼用のパノラマ画像からなる立体パノラマ画像が表示されるようにしてもよい。そのような場合、例えばパノラマ画像ＰＭ、パノラマ画像ＰＬ、およびパノラマ画像ＰＲから、指定された視差により定まる２つのパノラマ画像が選択され、それらの選択されたパノラマ画像からなる立体パノラマ画像が表示される。
【０１６５】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１６６】
図１０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１６７】
コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。
【０１６８】
バス３０４には、さらに、入出力インターフェース３０５が接続されている。入出力インターフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記録部３０８、ネットワークインターフェースなどよりなる通信部３０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。
【０１６９】
以上のように構成されるコンピュータでは、CPU３０１が、例えば、記録部３０８に記録されているプログラムを、入出力インターフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。
【０１７０】
コンピュータ（CPU３０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１７１】
そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インターフェース３０５を介して、記録部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記録部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記録部３０８に、あらかじめインストールしておくことができる。
【０１７２】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１７３】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１７４】
１１  撮像装置，  ２２  撮像部，  ２４  信号処理部，  ６１  動き推定部，  ６２  短冊画像生成部，  ６３  パノラマ動画生成部，  ６４  選択部
【図１】
2011082919.tif 000003
【図２】
2011082919.tif 000004
【図３】
2011082919.tif 000005
【図４】
2011082919.tif 000006
【図５】
2011082919.tif 000007
【図６】
2011082919.tif 000008
【図７】
2011082919.tif 000009
【図８】
2011082919.tif 000010
【図９】
2011082919.tif 000011
【図１０】
2011082919.tif 000012