(57)【特許請求の範囲】
【請求項１】
撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、前記撮像画像の撮像時に撮像対象となった特定領域が表示される、連続する複数の出力画像を生成する出力画像生成手段と、
前記出力画像を用いた動き推定により、前記出力画像から動きのある動被写体を検出する検出手段と、
前記動被写体の検出結果に基づいて、連続して撮像された、いくつかの前記撮像画像から得られた前記出力画像である第１の出力画像からなる第１の出力画像群について、前記第１の出力画像に前記動被写体が含まれており、かつ複数の前記出力画像のうちの、前記第１の出力画像と予め定められた視差を有する出力画像である第２の出力画像における、前記第１の出力画像の前記動被写体が表示されている被写体領域に対応する領域に前記動被写体が含まれている場合、前記第１の出力画像の前記被写体領域を、前記被写体領域に対応する前記第２の出力画像の領域の画像に置き換えることにより前記第１の出力画像を補正する補正手段と、
前記第１の出力画像群を構成する前記第１の出力画像のそれぞれと前記視差を有する前記第２の出力画像のそれぞれからなる第２の出力画像群、および補正された前記第１の出力画像群からなる立体出力画像群を生成する立体出力画像生成手段と
を備える画像処理装置。
【請求項２】
前記出力画像生成手段は、複数の前記撮像画像から、前記特定領域が表示される領域を切り出して、複数の前記出力画像を生成する
請求項１に記載の画像処理装置。
【請求項３】
撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、前記撮像画像の撮像時に撮像対象となった特定領域が表示される、連続する複数の出力画像を生成する出力画像生成手段と、
前記出力画像を用いた動き推定により、前記出力画像から動きのある動被写体を検出する検出手段と、
前記動被写体の検出結果に基づいて、連続して撮像された、いくつかの前記撮像画像から得られた前記出力画像である第１の出力画像からなる第１の出力画像群について、前記第１の出力画像に前記動被写体が含まれており、かつ複数の前記出力画像のうちの、前記第１の出力画像と予め定められた視差を有する出力画像である第２の出力画像における、前記第１の出力画像の前記動被写体が表示されている被写体領域に対応する領域に前記動被写体が含まれている場合、前記第１の出力画像の前記被写体領域を、前記被写体領域に対応する前記第２の出力画像の領域の画像に置き換えることにより前記第１の出力画像を補正する補正手段と、
前記第１の出力画像群を構成する前記第１の出力画像のそれぞれと前記視差を有する前記第２の出力画像のそれぞれからなる第２の出力画像群、および補正された前記第１の出力画像群からなる立体出力画像群を生成する立体出力画像生成手段と
を備える画像処理装置の画像処理方法において、
前記出力画像生成手段が、前記撮像画像に基づいて、連続する複数の前記出力画像を生成し、
前記検出手段が、前記出力画像から前記動被写体を検出し、
前記補正手段が、前記第１の出力画像に前記動被写体が含まれており、かつ前記第２の出力画像における、前記被写体領域に対応する領域に前記動被写体が含まれている場合、前記第１の出力画像を補正し、
前記立体出力画像生成手段が、前記立体出力画像群を生成する
ステップを含む画像処理方法。
【請求項４】
撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、前記撮像画像の撮像時に撮像対象となった特定領域が表示される、連続する複数の出力画像を生成し、
前記出力画像を用いた動き推定により、前記出力画像から動きのある動被写体を検出し、
前記動被写体の検出結果に基づいて、連続して撮像された、いくつかの前記撮像画像から得られた前記出力画像である第１の出力画像からなる第１の出力画像群について、前記第１の出力画像に前記動被写体が含まれており、かつ複数の前記出力画像のうちの、前記第１の出力画像と予め定められた視差を有する出力画像である第２の出力画像における、前記第１の出力画像の前記動被写体が表示されている被写体領域に対応する領域に前記動被写体が含まれている場合、前記第１の出力画像の前記被写体領域を、前記被写体領域に対応する前記第２の出力画像の領域の画像に置き換えることにより前記第１の出力画像を補正し、
前記第１の出力画像群を構成する前記第１の出力画像のそれぞれと前記視差を有する前記第２の出力画像のそれぞれからなる第２の出力画像群、および補正された前記第１の出力画像群からなる立体出力画像群を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項５】
撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像のそれぞれについて、前記撮像画像上の所定の領域を切り出して第１の短冊画像を生成するとともに、前記撮像画像上の前記所定の領域とは異なる領域を切り出して第２の短冊画像を生成する短冊画像生成手段と、
複数の前記撮像画像から得られた前記第１の短冊画像および前記第２の短冊画像のそれぞれを並べて合成することにより、複数の前記撮像画像の撮像時に撮像対象となった撮像空間上の同じ領域が表示され、互いに視差を有する第１のパノラマ画像および第２のパノラマ画像からなる立体パノラマ画像を生成するパノラマ画像生成手段と、
前記撮像画像を用いた動き推定により、前記撮像画像から動きのある動被写体を検出する検出手段と、
前記動被写体の検出結果に基づいて、前記第１のパノラマ画像に前記動被写体が含まれている場合、前記第１のパノラマ画像上の前記動被写体が含まれる被写体領域を、前記撮像画像上の前記動被写体が表示されている、前記被写体領域に対応する領域の画像である置換画像に置き換えて前記第１のパノラマ画像を補正するとともに、前記被写体領域に対応する前記第２のパノラマ画像の領域を、前記第１のパノラマ画像の補正に用いた前記置換画像に置き換えて前記第２のパノラマ画像を補正する補正手段と
を備える画像処理装置。
【請求項６】
撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像のそれぞれについて、前記撮像画像上の所定の領域を切り出して第１の短冊画像を生成するとともに、前記撮像画像上の前記所定の領域とは異なる領域を切り出して第２の短冊画像を生成する短冊画像生成手段と、
複数の前記撮像画像から得られた前記第１の短冊画像および前記第２の短冊画像のそれぞれを並べて合成することにより、複数の前記撮像画像の撮像時に撮像対象となった撮像空間上の同じ領域が表示され、互いに視差を有する第１のパノラマ画像および第２のパノラマ画像からなる立体パノラマ画像を生成するパノラマ画像生成手段と、
前記撮像画像を用いた動き推定により、前記撮像画像から動きのある動被写体を検出する検出手段と、
前記動被写体の検出結果に基づいて、前記第１のパノラマ画像に前記動被写体が含まれている場合、前記第１のパノラマ画像上の前記動被写体が含まれる被写体領域を、前記撮像画像上の前記動被写体が表示されている、前記被写体領域に対応する領域の画像である置換画像に置き換えて前記第１のパノラマ画像を補正するとともに、前記被写体領域に対応する前記第２のパノラマ画像の領域を、前記第１のパノラマ画像の補正に用いた前記置換画像に置き換えて前記第２のパノラマ画像を補正する補正手段と
を備える画像処理装置の画像処理方法であって、
前記短冊画像生成手段が、前記撮像画像から前記第１の短冊画像および前記第２の短冊画像を生成し、
前記パノラマ画像生成手段が、前記第１の短冊画像および前記第２の短冊画像のそれぞれを並べて合成し、前記第１のパノラマ画像および前記第２のパノラマ画像を生成し、
前記検出手段が、前記撮像画像から前記動被写体を検出し、
前記補正手段が、前記動被写体の検出結果に基づいて、前記第１のパノラマ画像に前記動被写体が含まれている場合、前記第１のパノラマ画像および前記第２のパノラマ画像を補正する
ステップを含む画像処理方法。
【請求項７】
撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像のそれぞれについて、前記撮像画像上の所定の領域を切り出して第１の短冊画像を生成するとともに、前記撮像画像上の前記所定の領域とは異なる領域を切り出して第２の短冊画像を生成し、
複数の前記撮像画像から得られた前記第１の短冊画像および前記第２の短冊画像のそれぞれを並べて合成することにより、複数の前記撮像画像の撮像時に撮像対象となった撮像空間上の同じ領域が表示され、互いに視差を有する第１のパノラマ画像および第２のパノラマ画像からなる立体パノラマ画像を生成し、
前記撮像画像を用いた動き推定により、前記撮像画像から動きのある動被写体を検出し、
前記動被写体の検出結果に基づいて、前記第１のパノラマ画像に前記動被写体が含まれている場合、前記第１のパノラマ画像上の前記動被写体が含まれる被写体領域を、前記撮像画像上の前記動被写体が表示されている、前記被写体領域に対応する領域の画像である置換画像に置き換えて前記第１のパノラマ画像を補正するとともに、前記被写体領域に対応する前記第２のパノラマ画像の領域を、前記第１のパノラマ画像の補正に用いた前記置換画像に置き換えて前記第２のパノラマ画像を補正する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置および方法、並びにプログラムに関し、特に、違和感のない、より自然な立体画像を得ることができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラの普及により、多くの写真を撮像するユーザが増えてきている。また、撮像された大量の写真を効果的に提示する方法も求められている。
【０００３】
例えば、撮像された写真の効果的な提示方法として、いわゆるパノラマ画像が知られている。パノラマ画像は、撮像装置を所定方向にパンさせながら撮像して得られた複数の静止画像を、それらの静止画像上の同じ被写体が重なるように並べることにより得られる１枚の静止画像である（例えば、特許文献１参照）。
【０００４】
このようなパノラマ画像によれば、通常の撮像装置による１枚分の静止画像の撮像範囲（画角）よりも、より広い範囲の空間を被写体として表示させることができるので、より効果的に撮像された被写体の画像を表示することができる。
【０００５】
また、パノラマ画像を得るために、撮像装置をパンさせながら複数の静止画像を撮像した場合には、いくつかの静止画像に、同じ被写体が含まれていることがある。そのような場合において、異なる静止画像上の同じ被写体は、互いに異なる位置から撮像されたものであるから、視差が生じていることになる。これを利用して、複数の静止画像から、互いに視差を有する２つの画像（以下、立体画像と称する）を生成すれば、これらの画像をレンチキュラ方式で同時に表示することで、撮像対象となった被写体を立体的に表示することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第３１６８４４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、立体画像を構成する２つの画像の各領域の画像は互いに撮像時刻が異なるため、撮像対象となった領域内に動いている被写体（以下、動被写体とも称する）が含まれている場合には、２つの画像の同じ領域に、同じ被写体が表示されなくなることがある。例えば、立体画像を構成する２つの画像上の異なる位置に、同じ動被写体が表示されている場合などがある。このような場合、それらの２つの画像をレンチキュラ方式で同時に表示させると、動被写体近傍の領域は、違和感のある不自然な画像となってしまう。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、違和感のない、より自然な立体画像を得ることができるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の第１の側面の画像処理装置は、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、前記撮像画像の撮像時に撮像対象となった特定領域が表示される、連続する複数の出力画像を生成する出力画像生成手段と、前記出力画像を用いた動き推定により、前記出力画像から動きのある動被写体を検出する検出手段と、前記動被写体の検出結果に基づいて、連続して撮像された、いくつかの前記撮像画像から得られた前記出力画像である第１の出力画像からなる第１の出力画像群について、前記第１の出力画像に前記動被写体が含まれており、かつ複数の前記出力画像のうちの、前記第１の出力画像と予め定められた視差を有する出力画像である第２の出力画像における、前記第１の出力画像の前記動被写体が表示されている被写体領域に対応する領域に前記動被写体が含まれている場合、前記第１の出力画像の前記被写体領域を、前記被写体領域に対応する前記第２の出力画像の領域の画像に置き換えることにより前記第１の出力画像を補正する補正手段と、前記第１の出力画像群を構成する前記第１の出力画像のそれぞれと前記視差を有する前記第２の出力画像のそれぞれからなる第２の出力画像群、および補正された前記第１の出力画像群からなる立体出力画像群を生成する立体出力画像生成手段とを備える。
【００１０】
前記出力画像生成手段には、複数の前記撮像画像から、前記特定領域が表示される領域を切り出させて、複数の前記出力画像を生成させることができる。
【００１３】
本発明の第１の側面の画像処理方法またはプログラムは、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、前記撮像画像の撮像時に撮像対象となった特定領域が表示される、連続する複数の出力画像を生成し、前記出力画像を用いた動き推定により、前記出力画像から動きのある動被写体を検出し、前記動被写体の検出結果に基づいて、連続して撮像された、いくつかの前記撮像画像から得られた前記出力画像である第１の出力画像からなる第１の出力画像群について、前記第１の出力画像に前記動被写体が含まれており、かつ複数の前記出力画像のうちの、前記第１の出力画像と予め定められた視差を有する出力画像である第２の出力画像における、前記第１の出力画像の前記動被写体が表示されている被写体領域に対応する領域に前記動被写体が含まれている場合、前記第１の出力画像の前記被写体領域を、前記被写体領域に対応する前記第２の出力画像の領域の画像に置き換えることにより前記第１の出力画像を補正し、前記第１の出力画像群を構成する前記第１の出力画像のそれぞれと前記視差を有する前記第２の出力画像のそれぞれからなる第２の出力画像群、および補正された前記第１の出力画像群からなる立体出力画像群を生成するステップを含む。
【００１４】
本発明の第１の側面においては、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、前記撮像画像の撮像時に撮像対象となった特定領域が表示される、連続する複数の出力画像が生成され、前記出力画像を用いた動き推定により、前記出力画像から動きのある動被写体が検出され、前記動被写体の検出結果に基づいて、連続して撮像された、いくつかの前記撮像画像から得られた前記出力画像である第１の出力画像からなる第１の出力画像群について、前記第１の出力画像に前記動被写体が含まれており、かつ複数の前記出力画像のうちの、前記第１の出力画像と予め定められた視差を有する出力画像である第２の出力画像における、前記第１の出力画像の前記動被写体が表示されている被写体領域に対応する領域に前記動被写体が含まれている場合、前記第１の出力画像の前記被写体領域を、前記被写体領域に対応する前記第２の出力画像の領域の画像に置き換えることにより前記第１の出力画像が補正され、前記第１の出力画像群を構成する前記第１の出力画像のそれぞれと前記視差を有する前記第２の出力画像のそれぞれからなる第２の出力画像群、および補正された前記第１の出力画像群からなる立体出力画像群が生成される。
【００１５】
本発明の第２の側面の画像処理装置は、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像のそれぞれについて、前記撮像画像上の所定の領域を切り出して第１の短冊画像を生成するとともに、前記撮像画像上の前記所定の領域とは異なる領域を切り出して第２の短冊画像を生成する短冊画像生成手段と、複数の前記撮像画像から得られた前記第１の短冊画像および前記第２の短冊画像のそれぞれを並べて合成することにより、複数の前記撮像画像の撮像時に撮像対象となった撮像空間上の同じ領域が表示され、互いに視差を有する第１のパノラマ画像および第２のパノラマ画像からなる立体パノラマ画像を生成するパノラマ画像生成手段と、前記撮像画像を用いた動き推定により、前記撮像画像から動きのある動被写体を検出する検出手段と、前記動被写体の検出結果に基づいて、前記第１のパノラマ画像に前記動被写体が含まれている場合、前記第１のパノラマ画像上の前記動被写体が含まれる被写体領域を、前記撮像画像上の前記動被写体が表示されている、前記被写体領域に対応する領域の画像である置換画像に置き換えて前記第１のパノラマ画像を補正するとともに、前記被写体領域に対応する前記第２のパノラマ画像の領域を、前記第１のパノラマ画像の補正に用いた前記置換画像に置き換えて前記第２のパノラマ画像を補正する補正手段とを備える。
【００１８】
本発明の第２の側面の画像処理方法またはプログラムは、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像のそれぞれについて、前記撮像画像上の所定の領域を切り出して第１の短冊画像を生成するとともに、前記撮像画像上の前記所定の領域とは異なる領域を切り出して第２の短冊画像を生成し、複数の前記撮像画像から得られた前記第１の短冊画像および前記第２の短冊画像のそれぞれを並べて合成することにより、複数の前記撮像画像の撮像時に撮像対象となった撮像空間上の同じ領域が表示され、互いに視差を有する第１のパノラマ画像および第２のパノラマ画像からなる立体パノラマ画像を生成し、前記撮像画像を用いた動き推定により、前記撮像画像から動きのある動被写体を検出し、前記動被写体の検出結果に基づいて、前記第１のパノラマ画像に前記動被写体が含まれている場合、前記第１のパノラマ画像上の前記動被写体が含まれる被写体領域を、前記撮像画像上の前記動被写体が表示されている、前記被写体領域に対応する領域の画像である置換画像に置き換えて前記第１のパノラマ画像を補正するとともに、前記被写体領域に対応する前記第２のパノラマ画像の領域を、前記第１のパノラマ画像の補正に用いた前記置換画像に置き換えて前記第２のパノラマ画像を補正するステップを含む。
【００１９】
本発明の第２の側面においては、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像のそれぞれについて、前記撮像画像上の所定の領域が切り出されて第１の短冊画像が生成されるとともに、前記撮像画像上の前記所定の領域とは異なる領域が切り出されて第２の短冊画像が生成され、複数の前記撮像画像から得られた前記第１の短冊画像および前記第２の短冊画像のそれぞれを並べて合成することにより、複数の前記撮像画像の撮像時に撮像対象となった撮像空間上の同じ領域が表示され、互いに視差を有する第１のパノラマ画像および第２のパノラマ画像からなる立体パノラマ画像が生成され、前記撮像画像を用いた動き推定により、前記撮像画像から動きのある動被写体が検出され、前記動被写体の検出結果に基づいて、前記第１のパノラマ画像に前記動被写体が含まれている場合、前記第１のパノラマ画像上の前記動被写体が含まれる被写体領域が、前記撮像画像上の前記動被写体が表示されている、前記被写体領域に対応する領域の画像である置換画像に置き換えられて前記第１のパノラマ画像が補正されるとともに、前記被写体領域に対応する前記第２のパノラマ画像の領域が、前記第１のパノラマ画像の補正に用いた前記置換画像に置き換えられて前記第２のパノラマ画像が補正される。
【発明の効果】
【００２０】
本発明の第１の側面によれば、違和感のない、より自然な立体画像を得ることができる。
【００２１】
本発明の第２の側面によれば、違和感のない、より自然な立体画像を得ることができる。
【図面の簡単な説明】
【００２２】
【図１】撮像画像の撮像方法を説明する図である。
【図２】撮像時の視差について説明する図である。
【図３】立体パノラマ動画像の表示例を示す図である。
【図４】本発明を適用した撮像装置の一実施の形態の構成例を示す図である。
【図５】信号処理部の構成例を示す図である。
【図６】動画像再生処理を説明するフローチャートである。
【図７】撮像画像の位置合わせについて説明する図である。
【図８】中心座標の算出について説明する図である。
【図９】立体パノラマ動画像の再生処理を説明するフローチャートである。
【図１０】短冊画像の切り出しについて説明する図である。
【図１１】立体パノラマ動画像の生成について説明する図である。
【図１２】立体部分動画像の再生処理を説明するフローチャートである。
【図１３】立体部分動画像の生成について説明する図である。
【図１４】立体パノラマ画像の表示処理を説明するフローチャートである。
【図１５】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２３】
以下、図面を参照して、本発明を適用した実施の形態について説明する。
【００２４】
［立体パノラマ動画像の説明］
本発明を適用した撮像装置は、例えばカメラなどからなり、撮像装置が移動している状態で、撮像装置が連続的に撮像した複数の撮像画像から、１つの立体パノラマ動画像を生成する。立体パノラマ動画像は、視差を有する２つのパノラマ動画像から構成される。
【００２５】
パノラマ動画像は、撮像装置が１度の撮像により撮像することができる実空間上の撮像範囲（画角）よりも、より広い範囲の領域が被写体として表示される複数のパノラマ画像からなる画像群である。したがって、パノラマ動画像は、パノラマ動画像を構成する各パノラマ画像を１フレーム分の画像と考えれば１つの動画像であるということもできるし、パノラマ動画像を構成する各パノラマ画像を１枚の静止画像と考えれば静止画像群であるということもできる。以下では、説明を簡単にするため、パノラマ動画像が、動画像であるものとして説明を続ける。
【００２６】
ユーザが撮像装置に立体パノラマ動画像を生成させようとする場合、ユーザは撮像装置を操作して、立体パノラマ動画像の生成に用いられる撮像画像を撮像させる。
【００２７】
例えば、図１に示すように撮像画像の撮像時には、ユーザは、撮像装置１１の光学レンズを図中、手前側に向けて、回動中心Ｃ１１を中心として撮像装置１１を図中、右から左方向に回動（パン）させながら連続して被写体を撮像させる。このとき、ユーザは、静止している同じ被写体が、連続して撮像される複数の撮像画像に含まれるように、撮像装置１１の回動速度を調整する。
【００２８】
このように撮像装置１１を移動させながら撮像画像を撮像させることで、Ｎ枚の撮像画像Ｐ（１）乃至撮像画像Ｐ（Ｎ）が得られる。
【００２９】
ここで、撮像画像Ｐ（１）は、Ｎ枚の撮像画像のうち最も撮像時刻の古い画像、つまり最初に撮像された画像であり、撮像画像Ｐ（Ｎ）はＮ枚の撮像画像のうち、最も撮像時刻の新しい、最後に撮像された画像である。以下では、ｎ番目（但し、１≦ｎ≦Ｎ）に撮像された撮像画像を撮像画像Ｐ（ｎ）とも称することとする。
【００３０】
なお、各撮像画像は、連写された静止画像であってもよいし、撮影された動画像の１フレーム分の画像であってもよい。
【００３１】
また、図１において、撮像装置１１自体を９０度だけ回転させ、つまり撮像装置１１を横向きにして撮像を行った方が、図中、縦方向により長い撮像画像を得ることができる場合には、撮像装置１１を横向きにして撮像画像の撮像を行うようにしてもよい。そのような場合、撮像画像が撮像装置１１と同じ方向に９０度だけ回転されて、立体パノラマ動画像の生成が行われる。
【００３２】
このようにしてＮ枚の撮像画像が得られると、撮像装置１１は、これらの撮像画像を用いて互いに視差を有する２つのパノラマ動画像を生成する。ここで、パノラマ動画像は、Ｎ枚の撮像画像の撮像時に撮像対象となった撮像空間上の全領域が被写体として表示される動画像である。
【００３３】
撮像画像から、視差を有する２つのパノラマ動画像が得られるのは、撮像装置１１が移動している状態で、複数の撮像画像を撮像するため、それらの撮像画像上の被写体は、視差を有することになるからである。
【００３４】
例えば、図２に示すように、回動中心Ｃ１１を中心として、図中、矢印方向に撮像装置１１を回動させながら撮像画像を撮像したときに、位置ＰＴ１および位置ＰＴ２において、撮像画像が撮像されたとする。
【００３５】
この場合、撮像装置１１が位置ＰＴ１と位置ＰＴ２のそれぞれにあるときに撮像された撮像画像には、同じ被写体Ｈ１１が含まれるが、それらの撮像画像は撮像位置、つまり被写体Ｈ１１の観察位置が異なるので、視差が生じることになる。撮像装置１１が一定の回動速度で回動する場合には、回動中心Ｃ１１から撮像装置１１までの距離が長いほど、例えば回動中心Ｃ１１から位置ＰＴ１の距離が長いほど、視差は大きくなる。
【００３６】
このようにして生じる視差を利用して、観察位置の異なる（視差を有する）２つのパノラマ動画像を生成し、それらのパノラマ動画像をレンチキュラ方式等により同時に再生すれば、ユーザに立体的なパノラマ動画像を提示することができる。
【００３７】
なお、以下、立体パノラマ動画像を構成する２つのパノラマ動画像のうち、ユーザの右眼により観察されるように表示させるパノラマ動画像を右眼用のパノラマ動画像と称する。また、立体パノラマ動画像を構成する２つのパノラマ動画像のうち、ユーザの左眼により観察されるように表示させるパノラマ動画像を左眼用のパノラマ動画像と称する。
【００３８】
立体パノラマ動画像が生成されると、例えば撮像装置１１には、図３に示す立体パノラマ動画像ＰＭＶが表示される。ユーザは、立体パノラマ動画像ＰＭＶが表示されている状態で、立体パノラマ動画像ＰＭＶに関連する他の画像の表示を指示することで、さらにその指示に応じた画像を表示させることができる。
【００３９】
例えば、ユーザにより立体パノラマ動画像ＰＭＶの任意の位置と拡大の倍率が指定されると、撮像装置１１には、指定された位置を中心とし、指定された倍率により定まる立体パノラマ動画像ＰＭＶ上の領域ＢＰのみを被写体とする立体部分動画像が表示される。つまり立体部分動画像を表示させる処理は、立体パノラマ動画像の一部の領域を拡大表示させる処理である。
【００４０】
また、ユーザの指示に応じて、撮像装置１１には立体パノラマ画像が表示される。立体パノラマ画像は、立体パノラマ動画像ＰＭＶに表示されている撮像空間の領域と同じ領域が表示される静止画像である。つまり、立体パノラマ画像は、立体パノラマ動画像ＰＭＶの１フレームを構成する右眼用および左眼用のパノラマ画像からなる画像対である。
【００４１】
［撮像装置の構成］
図４は、本発明を適用した撮像装置１１の一実施の形態の構成例を示す図である。
【００４２】
撮像装置１１は、操作入力部２１、撮像部２２、撮像制御部２３、信号処理部２４、バス２５、バッファメモリ２６、圧縮伸張部２７、ドライブ２８、記録媒体２９、表示制御部３０、および表示部３１から構成される。
【００４３】
操作入力部２１はボタンなどからなり、ユーザの操作を受けて、その操作に応じた信号を信号処理部２４に供給する。撮像部２２は、光学レンズや撮像素子などからなり、被写体からの光を光電変換することにより撮像画像を撮像して、撮像制御部２３に供給する。撮像制御部２３は撮像部２２による撮像を制御するとともに、撮像部２２から取得した撮像画像を信号処理部２４に供給する。
【００４４】
信号処理部２４は、バス２５を介してバッファメモリ２６乃至ドライブ２８、および表示制御部３０と接続されており、操作入力部２１からの信号に応じて撮像装置１１の全体を制御する。
【００４５】
例えば、信号処理部２４は、撮像制御部２３からの撮像画像を、バス２５を介してバッファメモリ２６に供給したり、バッファメモリ２６から取得した撮像画像から立体パノラマ動画像を生成したりする。また、信号処理部２４は、バッファメモリ２６から取得した撮像画像から、立体部分動画像も生成する。
【００４６】
バッファメモリ２６は、SDRAM（Synchronous Dynamic Random Access Memory）などからなり、バス２５を介して供給された撮像画像等のデータを一時的に記録する。圧縮伸張部２７は、バス２５を介して供給された画像を所定の方式によりエンコードしたり、デコードしたりする。
【００４７】
ドライブ２８は、バス２５から供給された立体パノラマ動画像を記録媒体２９に記録させたり、記録媒体２９に記録されている立体パノラマ動画像を読み出してバス２５に出力したりする。記録媒体２９は、撮像装置１１に着脱可能な不揮発性のメモリからなり、ドライブ２８の制御に従って立体パノラマ動画像を記録する。
【００４８】
表示制御部３０は、バス２５を介して供給された立体パノラマ動画像等を表示部３１に供給して表示させる。表示部３１は、例えばLCD（Liquid Crystal Display）やレンチキュラレンズからなり、表示制御部３０の制御に従って、レンチキュラ方式で画像を立体表示する。
【００４９】
［信号処理部の構成］
また、図４の信号処理部２４は、より詳細には図５に示すように構成される。
【００５０】
すなわち、信号処理部２４は、動き推定部６１、立体パノラマ動画生成部６２、立体部分動画生成部６３、および立体パノラマ画像生成部６４から構成される。
【００５１】
動き推定部６１は、バス２５を介して供給された、撮像時刻の異なる２つの撮像画像を用いて動き推定（Motion Estimation）を行う。動き推定部６１は、座標算出部７１および動被写体情報生成部７２を備えている。
【００５２】
座標算出部７１は、動き推定の結果に基づいて、２つの撮像画像上の同じ被写体が重なるように、それらの撮像画像を、所定の平面上に並べて配置したときの各撮像画像の相対的な位置関係を示す情報を生成する。具体的には、所定の平面上に２次元のｘｙ座標系をとったときの撮像画像の中心の位置の座標（以下、中心座標と称する）が、撮像画像の相対的な位置関係を示す情報として算出される。
【００５３】
動被写体情報生成部７２は、中心座標に基づいて２つの撮像画像を平面上に重ねて並べた場合に、それらの撮像画像の互いに重なる部分の差分を求めることで、撮像画像から動きのある被写体を検出し、その検出結果を示す動被写体情報を生成する。なお、以下、撮像画像などの画像上において動きのある被写体を、動被写体とも呼ぶこととする。
【００５４】
立体パノラマ動画生成部６２は、バス２５を介して供給された撮像画像および中心座標を用いて、右眼用および左眼用のパノラマ動画像からなる立体パノラマ動画像を生成する。立体パノラマ動画生成部６２は、短冊画像生成部７３を備えている。
【００５５】
短冊画像生成部７３は、撮像画像および中心座標を用いて、撮像画像上の所定の領域を切り出して、右眼用および左眼用の短冊画像を生成する。立体パノラマ動画生成部６２は、生成された右眼用および左眼用の短冊画像をそれぞれ合成して、右眼用および左眼用のパノラマ画像を生成する。また、立体パノラマ動画生成部６２は、右眼用および左眼用のパノラマ画像を複数生成することで、パノラマ画像群である右眼用および左眼用のパノラマ動画像を生成する。
【００５６】
ここで、１フレーム分のパノラマ動画像、つまり１つのパノラマ画像は、撮像画像の撮像時に撮像対象となった撮像空間上の全範囲（領域）が被写体として表示される画像である。
【００５７】
立体部分動画生成部６３は、バス２５を介して供給された撮像画像および中心座標を用いて、立体部分動画像を生成する。立体部分動画像は、立体パノラマ動画像上の所定の領域のみが表示される画像である、複数の部分画像から構成される。
【００５８】
また、立体部分動画生成部６３は、部分画像生成部７４、動き検出部７５、および補正部７６を備えている。部分画像生成部７４は、複数の撮像画像のなかから、立体パノラマ動画像上の所定の領域が表示される撮像画像を特定し、それらの特定された撮像画像から、その所定の領域が表示されている領域を切り出して、部分画像とする。
【００５９】
動き検出部７５は、生成された部分画像を用いた動き推定により、部分画像から動被写体を検出する。補正部７６は、動き検出部７５による動きの検出結果に基づいて、部分画像を補正して、部分画像から動被写体を除去（消去）したり、同じフレームの右眼用および左眼用の部分画像の同じ位置に同じ動被写体が表示されるようにしたりする。
【００６０】
立体部分動画生成部６３は、補正された連続するいくつかのフレームの部分画像を右眼用の部分動画像とするとともに、補正された連続するいくつかのフレームの部分画像を左眼用の部分動画像として、部分画像群である右眼用および左眼用の部分動画像を生成する。これらの右眼用および左眼用の部分動画像から、１つの立体部分動画像が構成される。
【００６１】
立体パノラマ画像生成部６４は、信号処理部２４により取得された立体パノラマ動画像の１フレームを構成する右眼用および左眼用のパノラマ画像の対を、立体パノラマ画像とする。立体パノラマ画像生成部６４は、補正部７７を備えている。
【００６２】
補正部７７は、バス２５を介して供給された撮像画像、中心座標、および動被写体情報に基づいて、右眼用および左眼用のパノラマ画像を補正して、パノラマ画像から動被写体を消去したり、右眼用および左眼用のパノラマ画像の同じ位置に同じ動被写体が表示されるようにしたりする。補正部７７により補正された右眼用および左眼用のパノラマ画像が、最終的な立体パノラマ画像とされる。
【００６３】
［動画像再生処理の説明］
次に、図６のフローチャートを参照して、撮像装置１１が撮像画像を撮像して立体パノラマ動画像等の各種の動画像を生成し、それらの動画像を再生する動画像再生処理について説明する。この動画像再生処理は、ユーザにより操作入力部２１が操作され、立体パノラマ動画像の生成が指示されると開始される。
【００６４】
ステップＳ１１において、撮像部２２は、図１に示したように撮像装置１１が移動している状態で、被写体を撮像する。これにより、１枚（以下、１フレームと称する）の撮像画像が得られる。撮像部２２で撮像された撮像画像は、撮像部２２から撮像制御部２３を介して信号処理部２４に供給される。
【００６５】
ステップＳ１２において、信号処理部２４は、撮像部２２から供給された撮像画像を、バス２５を介してバッファメモリ２６に供給し、一時的に記録させる。このとき、信号処理部２４は、記録させる撮像画像が何番目に撮像された撮像画像であるかを特定できるように、撮像画像にフレーム番号を付して記録させる。なお、以下、ｎ番目に撮像された撮像画像Ｐ（ｎ）を、フレームｎの撮像画像Ｐ（ｎ）とも称することとする。
【００６６】
ステップＳ１３において、動き推定部６１は、バス２５を介してバッファメモリ２６から現フレームｎと、その直前のフレーム（ｎ−１）の撮像画像を取得し、動き推定により撮像画像の位置合わせを行う。
【００６７】
例えば、直前のステップＳ１２においてバッファメモリ２６に記録された撮像画像が、ｎ番目に撮像された撮像画像Ｐ（ｎ）である場合、動き推定部６１は、現フレームｎの撮像画像Ｐ（ｎ）と、直前のフレーム（ｎ−１）の撮像画像Ｐ（ｎ−１）を取得する。
【００６８】
そして、動き推定部６１は、図７に示すように、撮像画像Ｐ（ｎ）上の９個のブロックBL(n)−1乃至ブロックBR(n)−3と同じ画像が、直前のフレームの撮像画像Ｐ（ｎ−１）上のどの位置にあるかを探索することで、位置合わせを行う。
【００６９】
ここで、ブロックBC(n)−1乃至ブロックBC(n)−3は、撮像画像Ｐ（ｎ）のほぼ中央に位置する図中、縦方向の仮想的な直線である境界CL−n上に、図中縦方向に並んでいる矩形領域である。
【００７０】
また、ブロックBL(n)−1乃至ブロックBL(n)−3は、撮像画像Ｐ（ｎ）の図中、境界CL−nの左側に位置する、縦方向の仮想的な直線である境界LL−n上に、図中縦方向に並んでいる矩形領域である。同様に、ブロックBR(n)−1乃至ブロックBR(n)−3は、撮像画像Ｐ（ｎ）の図中、境界CL−nの右側に位置する、縦方向の仮想的な直線である境界RL−n上に、図中縦方向に並んでいる矩形領域である。これらの９個のブロックBL(n)−1乃至ブロックBR(n)−3の位置は、予め定められている。
【００７１】
動き推定部６１は、撮像画像Ｐ（ｎ）上の９個の各ブロックについて、そのブロックと同じ形状および大きさである撮像画像Ｐ（ｎ−１）上の領域であって、ブロックとの差分の最も小さい領域（以下、ブロック対応領域と称する）を探索する。ここで、ブロックとの差分は、処理対象のブロック、例えばブロックBL(n)−1と、ブロック対応領域の候補とされている領域との同じ位置の画素の画素値の差分絶対値の和などとされる。
【００７２】
このような動き推定を行うと、撮像画像Ｐ（ｎ）上のブロックBL(n)−1乃至ブロックBR(n)−3のそれぞれに対して、それらのブロックの相対的な位置関係と同じ位置関係で撮像画像Ｐ（ｎ−１）上に位置するブロック対応領域が得られることになる。
【００７３】
撮像画像Ｐ（ｎ）上の処理対象のブロックに対応する、撮像画像Ｐ（ｎ−１）のブロック対応領域は、撮像画像Ｐ（ｎ−１）上において、処理対象のブロックとの差分が最も小さい領域である。そのため、ブロック対応領域には、処理対象のブロックと同じ画像が表示されているものと推定される。
【００７４】
したがって、ブロックBL(n)−1乃至ブロックBR(n)−3と、対応するブロック対応領域とが重なるように所定平面上に撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ−１）とを重ねて並べれば、それらの撮像画像上の同じ被写体が重なるはずである。
【００７５】
しかしながら、実際には、ブロックとブロック対応領域とが全く同じ位置関係とはならないことがある。そのため、より詳細には動き推定部６１は、全てのブロックとブロック対応領域とがほぼ重なるように、撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ−１）とを平面上に並べて、その結果を撮像画像の位置合わせの結果とする。
【００７６】
なお、撮像画像上に動きのある被写体があり、その被写体が撮像画像Ｐ（ｎ）上のブロック内に含まれる場合には、得られた９個のブロック対応領域は、ブロックBL(n)−1乃至ブロックBR(n)−3と同じ位置関係とはならなくなる。
【００７７】
そこで、動き推定部６１は、得られたブロック対応領域のそれぞれの相対的な位置関係が、撮像画像Ｐ（ｎ）上のブロックの相対的な位置関係と異なる場合には、動きのある被写体が含まれると推定されるブロックを除外し、再度、動き推定による位置合わせを行う。つまり、他のブロック対応領域と相対的な位置関係が異なるブロック対応領域が検出され、検出されたブロック対応領域に対応する撮像画像Ｐ（ｎ）上のブロックが処理対象から除外されて、残りのブロックのみが用いられて再度、動き推定が行われる。
【００７８】
具体的には、ブロックBL(n)−1乃至ブロックBR(n)−3が距離ＱＬの間隔で、図７中、縦横等間隔に並んでいるとする。例えば、互いに隣り合うブロックBL(n)−1とブロックBL(n)−2との距離、およびブロックBL(n)−1とブロックBC(n)−1との距離は、ともにＱＬとなる。この場合、動き推定部６１は、各ブロックに対応するブロック対応領域の相対的な位置関係に基づいて、撮像画像Ｐ（ｎ）上の動きのあるブロックを検出する。
【００７９】
すなわち、動き推定部６１は、ブロックBR(n)−3に対応するブロック対応領域と、ブロックBC(n)−3に対応するブロック対応領域など、互いに隣接するブロック対応領域同士の距離ＱＭを求める。
【００８０】
その結果、ブロックBR(n)−2およびブロックBC(n)−3については、それらのブロックに対応するブロック対応領域と、ブロックBR(n)−3に対応するブロック対応領域との距離ＱＭの、距離ＱＬとの差の絶対値が、予め定められた閾値以上であったとする。
【００８１】
また、ブロックBR(n)−2およびブロックBC(n)−3に対応するブロック対応領域と、他の隣接するブロック対応領域（ブロックBR(n)−3のブロック対応領域を除く）との距離ＱＭの、距離ＱＬとの差の絶対値は、予め定められた閾値未満であったとする。
【００８２】
この場合、ブロックBR(n)−3とは異なる他のブロックのブロック対応領域は、各ブロックの相対的な位置関係と同じ位置関係で並んでいる。ところが、ブロックBR(n)−3のブロック対応領域だけは、他のブロック対応領域に対して、各ブロックの位置関係とは異なる位置関係となっている。このような検出結果が得られた場合、動き推定部６１はブロックBR(n)−3に、動きのある被写体が含まれているとする。
【００８３】
なお、動きのあるブロックの検出には、互いに隣接するブロック対応領域同士の距離だけでなく、注目するブロック対応領域の隣接する他のブロック対応領域に対する回転角度などが用いられてもよい。つまり、例えば他のブロック対応領域に対して、所定の角度以上、傾いているブロック対応領域があれば、そのブロック対応領域に対応するブロックに、動きのある被写体が含まれているとされる。
【００８４】
このようにして、動きのあるブロックが検出されると、動き推定部６１は、その動きのあるブロックを除く残りのブロックを用いた動き推定により、再度、撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ−１）との位置合わせを行う。
【００８５】
このように、動きのある被写体が含まれるブロックを除外し、動きのない被写体、つまりいわゆる背景のみが含まれるブロックだけを用いて位置合わせを行うことで、より正確に位置合わせを行うことができる。この位置合わせの結果に従って撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ−１）を並べれば、動きのない被写体が重なるように、それらの撮像画像を重ねて並べることができる。
【００８６】
位置合わせが行われると、次に座標算出部７１は、これまでに撮像された撮像画像Ｐ（１）乃至撮像画像Ｐ（ｎ）を、各フレームの位置合わせの結果に従って所定の平面上、つまりｘｙ座標系上に並べたときの撮像画像Ｐ（ｎ）の中心座標を算出する。
【００８７】
例えば、図８に示すように、撮像画像Ｐ（１）の中心がｘｙ座標系の原点の位置となり、かつ撮像画像に含まれる同じ被写体が重なるように、各撮像画像が並べられる。なお、図中、横方向はｘ方向を示しており、縦方向はｙ方向を示している。また、撮像画像Ｐ（１）乃至撮像画像Ｐ（ｎ）上の各点Ｏ（１）乃至点Ｏ（ｎ）は、それらの撮像画像の中心の位置を示している。
【００８８】
例えば、処理対象の現フレームの撮像画像が撮像画像Ｐ（ｎ）であるとすると、撮像画像Ｐ（１）乃至撮像画像Ｐ（ｎ−１）のそれぞれの中心の点Ｏ（１）乃至点Ｏ（ｎ−１）の中心座標が既に求められて、バッファメモリ２６に記録されている。
【００８９】
座標算出部７１は、バッファメモリ２６から撮像画像Ｐ（ｎ−１）の中心座標を読み出して、読み出した中心座標と、撮像画像Ｐ（ｎ）および撮像画像Ｐ（ｎ−１）の位置合わせの結果とから、撮像画像Ｐ（ｎ）の中心座標を求める。つまり、点Ｏ（ｎ）のｘ座標およびｙ座標が中心座標として求められる。
【００９０】
図６のフローチャートの説明に戻り、ステップＳ１３において位置合わせが行われ、撮像画像Ｐ（ｎ）の中心座標が求められると、処理はステップＳ１４に進む。
【００９１】
ステップＳ１４において、動被写体情報生成部７２は、中心座標に基づいて、現フレームの撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ−１）とをｘｙ座標系上に並べた場合に、それらの撮像画像の互いに重なる部分から動被写体を検出し、動被写体情報を生成する。
【００９２】
具体的には、動被写体情報生成部７２は、撮像画像Ｐ（ｎ）および撮像画像Ｐ（ｎ−１）の中心座標に基づいて、それらの撮像画像をｘｙ座標系上に並べる。そして、動被写体情報生成部７２は、必要に応じて、バッファメモリ２６に記録されている動被写体情報を参照しながら、撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ−１）の重なる部分について、各領域の画素の画素値の差分を求めて、動被写体を検出する。
【００９３】
撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ−１）とを重ねて並べると、動きのない同じ被写体は重なるはずである。そこで、動被写体情報生成部７２は、例えば撮像画像において、画素値の差分の絶対値が所定の閾値以上である画素からなる、所定の大きさ以上の領域が検出された場合、その領域を動被写体の表示されている領域とする。
【００９４】
動被写体情報生成部７２では、連続する２つのフレームの撮像画像を用いて動被写体の検出が行われる。そのため、動被写体情報生成部７２は、それらの検出結果と各フレームの撮像画像とから、どのフレームから撮像画像上に動被写体が出現したかと、これまで表示されていた動被写体が、どのフレームで撮像画像に表示されなくなったかを知ることができる。また、動被写体情報生成部７２は、動被写体の検出結果と撮像画像とから、ブロックマッチング等により個々の動被写体を識別することもできる。つまり、各撮像画像上の動被写体が、同一のものであるか否かを特定することができる。
【００９５】
動被写体情報生成部７２は、撮像画像Ｐ（ｎ）を対象として動被写体の検出を行うと、その検出結果を示す動被写体情報を生成する。例えば、動被写体情報は、撮像画像Ｐ（ｎ）上における動被写体の有無を示す情報、撮像画像Ｐ（ｎ）上のどの位置に動被写体があるかを示す位置情報、および撮像画像Ｐ（ｎ）に含まれる各動被写体を特定するための特定情報からなる。
【００９６】
ステップＳ１５において、動き推定部６１は、得られた撮像画像Ｐ（ｎ）の中心座標および動被写体情報をバッファメモリ２６に供給し、撮像画像Ｐ（ｎ）と関連付けて記録させる。
【００９７】
ステップＳ１６において、信号処理部２４は、予め定められた所定枚数の撮像画像を撮像したか否かを判定する。例えば、図１に示したように、所定の空間上の領域を、Ｎ回に分けて撮像する場合、Ｎ枚の撮像画像が撮像されたときに、所定枚数の撮像画像を撮像したと判定される。
【００９８】
なお、撮像装置１１にジャイロセンサなど、撮像装置１１が回動した角度を検出できる機器が設けられている場合には、撮像画像を撮像した枚数ではなく、撮像画像の撮像を開始してから撮像装置１１が所定の角度だけ回動したかが判定されるようにしてもよい。この場合であっても、所定の空間上の特定の領域全体が被写体とされて、撮像画像の撮像が行われたか否かを特定することができる。
【００９９】
ステップＳ１６において、まだ所定枚数の撮像画像を撮像していないと判定された場合、処理はステップＳ１１に戻り、次のフレームの撮像画像が撮像される。
【０１００】
これに対して、ステップＳ１６において、所定枚数の撮像画像を撮像したと判定された場合、処理はステップＳ１７に進む。
【０１０１】
ステップＳ１７において、撮像装置１１は、立体パノラマ動画像の再生処理を行う。すなわち、信号処理部２４は、バッファメモリ２６から撮像画像および中心座標を取得して、それらの撮像画像および中心座標に基づいて、視差を有する２つのパノラマ動画像を生成する。また、表示制御部３０は、生成された２つのパノラマ動画像、すなわち立体パノラマ動画像を再生し、表示部３１に右眼用および左眼用のパノラマ画像対を順番に表示させる。なお、立体パノラマ動画像の再生処理の詳細は後述する。
【０１０２】
ステップＳ１８において、信号処理部２４は、操作入力部２１からの信号に基づいて、立体部分動画像の再生が指示されたか否かを判定する。例えば、ユーザの操作入力部２１への操作により、立体パノラマ動画像上の所定の領域と拡大倍率とが指定され、立体部分動画像の再生が指示されると、立体部分動画像の再生が指示されたと判定される。
【０１０３】
ステップＳ１８において、立体部分動画像の再生が指示されたと判定された場合、ステップＳ１９において、撮像装置１１は、立体部分動画像の再生処理を行って、動画像再生処理は終了する。
【０１０４】
すなわち、バッファメモリ２６に記録されている撮像画像および中心座標に基づいて、立体部分動画像が生成され、生成された立体部分動画像が再生される。なお、立体部分動画像の再生処理の詳細は後述する。
【０１０５】
これに対して、ステップＳ１８において、立体部分動画像の再生が指示されなかったと判定された場合、処理はステップＳ２０に進む。
【０１０６】
ステップＳ２０において、信号処理部２４は、操作入力部２１からの信号に基づいて、立体パノラマ画像の表示が指示されたか否かを判定する。
【０１０７】
ステップＳ２０において、立体パノラマ画像の表示が指示されたと判定された場合、ステップＳ２１において、撮像装置１１は、立体パノラマ画像の表示処理を行って、動画像再生処理は終了する。すなわち、表示中の立体パノラマ動画像と、バッファメモリ２６に記録されている撮像画像、中心座標、および動被写体情報とに基づいて、立体パノラマ画像が生成され、表示される。なお、立体パノラマ画像の表示処理の詳細は後述する。
【０１０８】
これに対して、ステップＳ２０において、立体パノラマ画像の表示が指示されなかったと判定された場合、表示部３１に表示されている立体パノラマ動画像の再生が終了すると、動画像再生処理は終了する。
【０１０９】
このようにして、撮像装置１１は、異なる時刻に撮像された複数の撮像画像を用いて立体パノラマ動画像を生成し、再生する。また、撮像装置１１は、立体パノラマ動画像の再生中に、ユーザにより立体部分動画像の再生や、立体パノラマ画像の表示が指示されると、その指示に応じて立体部分動画像を再生したり、立体パノラマ画像を表示したりする。
【０１１０】
［立体パノラマ動画像の再生処理の説明］
次に、図９のフローチャートを参照して、図６のステップＳ１７の処理に対応する立体パノラマ動画像の再生処理について説明する。
【０１１１】
ステップＳ５１において、短冊画像生成部７３は、バッファメモリ２６から、Ｎ枚の撮像画像とその中心座標を取得し、取得した撮像画像および中心座標に基づいて、各撮像画像の所定の領域を切り出して、右眼用および左眼用の短冊画像を生成する。
【０１１２】
例えば、短冊画像生成部７３は、図１０に示すように撮像画像Ｐ（ｎ）上の境界LL−nを基準として定まる領域を切り出し領域ＴＲ（ｎ）とし、切り出し領域ＴＲ（ｎ）を切り出して右眼用の短冊画像とする。また、短冊画像生成部７３は、撮像画像Ｐ（ｎ）上の境界RL−nを基準として定まる領域を切り出し領域ＴＬ（ｎ）とし、切り出し領域ＴＬ（ｎ）を切り出して左眼用の短冊画像とする。なお、図１０にいて図７における場合と対応する部分には同一の符号を付してあり、その説明は省略する。
【０１１３】
図１０では、連続して撮像された撮像画像Ｐ（ｎ）および撮像画像Ｐ（ｎ＋１）が、それらの中心座標に基づいて、同じ被写体が重なるように並べられている。撮像画像Ｐ（ｎ＋１）上の境界LL−（n＋1）は、撮像画像Ｐ（ｎ）における境界LL−nに対応する境界である。つまり、境界LL−nおよび境界LL−（n＋1）は、撮像画像Ｐ（ｎ）および撮像画像Ｐ（ｎ＋１）上の同じ位置にある図中、縦方向の仮想的な直線である。
【０１１４】
同様に、図中、縦方向の直線である、撮像画像Ｐ（ｎ＋１）上の境界RL−（n＋1）は、撮像画像Ｐ（ｎ）における境界RL−nに対応する境界である。
【０１１５】
また、図中、縦方向の直線である境界ML（L）−nおよび境界MR（L）−nは、撮像画像Ｐ（ｎ）上の境界LL−n近傍にある直線であって、それぞれ境界LL−nの左側および右側に、予め定められた距離だけ離れて位置している。
【０１１６】
同様に、図中、縦方向の直線である境界ML（L）−（n＋1）および境界MR（L）−（n＋1）は、撮像画像Ｐ（ｎ＋１）上の境界LL−（n＋1）近傍にある直線であって、それぞれ境界LL−（n＋1）の左側および右側に、予め定められた距離だけ離れて位置している。
【０１１７】
さらに、図中、縦方向の直線である境界ML（R）−nおよび境界MR（R）−nは、撮像画像Ｐ（ｎ）上の境界RL−n近傍にある直線であって、それぞれ境界RL−nの左側および右側に、予め定められた距離だけ離れて位置している。同様に、図中、縦方向の直線である境界ML（R）−（n＋1）および境界MR（R）−（n＋1）は、撮像画像Ｐ（ｎ＋１）上の境界RL−（n＋1）近傍にある直線であって、それぞれ境界RL−（n＋1）の左側および右側に、予め定められた距離だけ離れて位置している。
【０１１８】
例えば、短冊画像生成部７３は、撮像画像Ｐ（ｎ）から右眼用の短冊画像を切り出す場合、撮像画像Ｐ（ｎ）上における、境界ML（L）−nから、境界MR（L）−（n＋1）の位置までの切り出し領域ＴＲ（ｎ）を、右眼用の短冊画像として切り出す。ここで、撮像画像Ｐ（ｎ）上における境界MR（L）−（n＋1）の位置とは、撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ＋１）を並べたときに、境界MR（L）−（n＋1）と重なる撮像画像Ｐ（ｎ）上の位置である。また、以下、フレームｎの撮像画像Ｐ（ｎ）から切り出された、右眼用の短冊画像を、短冊画像ＴＲ（ｎ）とも称することとする。
【０１１９】
同様に、撮像画像Ｐ（ｎ−１）から右眼用の短冊画像が切り出される場合には、撮像画像Ｐ（ｎ−１）上における、境界ML（L）−（n−1）から、境界MR（L）−nの位置までの切り出し領域ＴＲ（ｎ−１）が右眼用の短冊画像として切り出される。
【０１２０】
したがって、短冊画像ＴＲ（ｎ）において、境界ML（L）−nから境界MR（L）−nの位置までの領域の被写体は、短冊画像ＴＲ（ｎ−１）における、境界ML（L）−nから境界MR（L）−nの位置までの領域の被写体と基本的には同じ被写体となる。但し、短冊画像ＴＲ（ｎ）および短冊画像ＴＲ（ｎ−１）は、それぞれ撮像画像Ｐ（ｎ）および撮像画像Ｐ（ｎ−１）から切り出された画像であるので、同じ被写体であっても撮像された時刻は異なる。
【０１２１】
同様に短冊画像ＴＲ（ｎ）において、境界ML（L）−（n＋1）から境界MR（L）−（n＋1）の位置までの領域の被写体は、短冊画像ＴＲ（ｎ＋１）における、境界ML（L）−（n＋1）から境界MR（L）−（n＋1）の位置までの領域の被写体と基本的に同じとなる。
【０１２２】
また、例えば、短冊画像生成部７３は、撮像画像Ｐ（ｎ）から左眼用の短冊画像を切り出す場合、撮像画像Ｐ（ｎ）上における、境界ML（R）−nから、境界MR（R）−（n＋1）の位置までの切り出し領域ＴＬ（ｎ）を、左眼用の短冊画像として切り出す。ここで、撮像画像Ｐ（ｎ）上における境界MR（R）−（n＋1）の位置とは、撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ＋１）を並べたときに、境界MR（R）−（n＋1）と重なる撮像画像Ｐ（ｎ）上の位置である。また、以下、フレームｎの撮像画像Ｐ（ｎ）から切り出された、左眼用の短冊画像を、短冊画像ＴＬ（ｎ）とも称することとする。
【０１２３】
このように、撮像画像から、撮像画像上の図中、中央から左側に位置する境界を基準として定まる領域を切り出して右眼用の短冊画像とし、それらの短冊画像を並べれば、Ｎ枚の撮像画像の撮像時に撮像対象となった撮像空間上の全範囲（領域）が表示されることになる。各撮像画像から得られた右眼用の短冊画像を並べて合成することで得られる１つの画像が、右眼用のパノラマ動画像を構成する１フレーム分のパノラマ画像とされる。
【０１２４】
また、撮像画像から、撮像画像上の図中、中央から右側に位置する境界を基準として定まる領域を切り出して左眼用の短冊画像とし、それらの短冊画像を並べれば、撮像対象となった撮像空間上の全範囲が表示されることになる。左眼用の短冊画像を並べて合成することで得られる１つの画像が、左眼用のパノラマ動画像を構成する１フレーム分のパノラマ画像とされる。
【０１２５】
そして、これらの右眼用および左眼用のパノラマ画像には、同じ被写体が表示されているが、それらの被写体は視差を有することになる。そのため、右眼用および左眼用のパノラマ画像を同時に表示させれば、これらのパノラマ画像を観察するユーザには、パノラマ画像上の被写体が立体的に見えることになる。
【０１２６】
図９のフローチャートの説明に戻り、撮像画像から、右眼用および左眼用の短冊画像が得られると、処理はステップＳ５１からステップＳ５２に進む。
【０１２７】
ステップＳ５２において、立体パノラマ動画生成部６２は、右眼用および左眼用の短冊画像と、撮像画像の中心座標とに基づいて、各フレームの短冊画像を並べて合成し、立体パノラマ動画像の１フレーム分の画像データを生成する。
【０１２８】
すなわち、立体パノラマ動画生成部６２は、右眼用の短冊画像を並べて合成し、右眼用のパノラマ動画像の１フレーム分の画像データを生成するとともに、左眼用の短冊画像を並べて合成し、左眼用のパノラマ動画像の１フレーム分の画像データを生成する。このようにして得られた画像データ、つまり右眼用のパノラマ画像と、左眼用のパノラマ画像とが、立体パノラマ動画像の１フレームを構成する。
【０１２９】
例えば、立体パノラマ動画生成部６２は、図１０の短冊画像ＴＲ（ｎ）および短冊画像ＴＲ（ｎ−１）を合成するにあたり、それらの短冊画像における境界ML（L）−nから境界MR（L）−nの位置までの領域については、重み付き加算によりパノラマ画像の画素の画素値を求める。
【０１３０】
つまり、中心座標に基づいて短冊画像ＴＲ（ｎ）および短冊画像ＴＲ（ｎ−１）を並べると、それらの短冊画像における境界ML（L）−nから境界MR（L）−nの位置までの領域が互いに重なることになる。立体パノラマ動画生成部６２は、短冊画像ＴＲ（ｎ）および短冊画像ＴＲ（ｎ−１）の互いに重なっている画素の画素値を重み付き加算し、その結果得られた値を、それらの画素に対応する位置のパノラマ画像の画素の画素値とする。
【０１３１】
なお、短冊画像ＴＲ（ｎ）と短冊画像ＴＲ（ｎ−１）における、境界ML（L）−nから境界MR（L）−nの位置までの領域の画素の重み付き加算時の重みは、次のような特徴を有するように定められる。
【０１３２】
すなわち、境界LL−nから境界MR（L）−nまでの位置の画素については、画素の位置が境界LL−nから境界MR（L）−nの位置により近くなるにしたがって、パノラマ画像の生成に対する短冊画像ＴＲ（ｎ）の画素の寄与率がより高くなるようにされる。逆に、境界LL−nから境界ML（L）−nまでの位置の画素については、画素の位置が境界LL−nから境界ML（L）−nの位置により近くなるにしたがって、パノラマ画像の生成に対する短冊画像ＴＲ（ｎ−１）の画素の寄与率がより高くなるようにされる。
【０１３３】
また、パノラマ画像の生成時において、短冊画像ＴＲ（ｎ）の境界MR（L）−nから境界ML（L）−（n＋1）までの領域は、その領域がそのままパノラマ画像とされる。
【０１３４】
さらに、短冊画像ＴＲ（ｎ）と短冊画像ＴＲ（ｎ＋１）との合成時には、それらの短冊画像における境界ML（L）−（n＋1）から境界MR（L）−（n＋1）の位置までの領域については、重み付き加算によりパノラマ画像の画素の画素値が求められる。
【０１３５】
すなわち、境界LL−（n＋1）から境界MR（L）−（n＋1）までの位置の画素については、画素の位置が境界LL−（n＋1）から境界MR（L）−（n＋1）の位置により近くなるにしたがって、パノラマ画像の生成に対する短冊画像ＴＲ（ｎ＋１）の画素の寄与率がより高くなるようにされる。逆に、境界LL−（n＋1）から境界ML（L）−（n＋1）までの位置の画素については、画素の位置が境界LL−（n＋1）から境界ML（L）−（n＋1）の位置により近くなるにしたがって、パノラマ画像の生成に対する短冊画像ＴＲ（ｎ）の画素の寄与率がより高くなるようにされる。
【０１３６】
さらに、左眼用の短冊画像ＴＬ（ｎ）と短冊画像ＴＬ（ｎ−１）の合成や、短冊画像ＴＬ（ｎ）と短冊画像ＴＬ（ｎ＋１）の合成においても、短冊画像ＴＲ（ｎ）の場合と同様に、それらの短冊画像の互いに重なる部分については、重み付き加算が行われる。
【０１３７】
このように、短冊画像の合成にあたり、連続するフレームの短冊画像の端近傍の領域を重み付き加算してパノラマ画像の画素の画素値とすることにより、単に短冊画像を並べて１つの画像とする場合と比べて、より自然な画像を得ることができる。
【０１３８】
例えば、単に短冊画像を並べてパノラマ画像とする場合、短冊画像の端付近の被写体の輪郭が歪になってしまったり、連続するフレームの短冊画像の明るさが異なると、パノラマ画像の領域ごとに明るさのむらが生じたりする恐れがある。
【０１３９】
そこで、立体パノラマ動画生成部６２では、短冊画像の端近傍の領域を重み付き加算により合成することで、被写体の輪郭が歪になったり、明るさのむらが生じたりすることを防止し、より自然なパノラマ画像を得ることができる。
【０１４０】
また、撮像画像の位置合わせ時に、動き推定部６１が撮像画像に基づいて、撮像部２２を構成する光学レンズによるレンズ歪みを検出しておき、短冊画像の合成時に、短冊画像生成部７３が、レンズ歪みの検出結果を用いて短冊画像を補正するようにしてもよい。すなわち、レンズ歪みの検出結果に基づいて、短冊画像に生じた歪みが画像処理により補正される。
【０１４１】
以上のようにして得られた１フレーム分の立体パノラマ動画像は、Ｎ枚の撮像画像の撮像時に撮像対象となった撮像空間上の全撮像範囲の領域が被写体として表示される画像である。立体パノラマ動画生成部６２は、１フレーム分の立体パノラマ動画像を生成すると、生成した立体パノラマ動画像の画像データを、バス２５を介して圧縮伸張部２７に供給する。
【０１４２】
ステップＳ５３において、圧縮伸張部２７は、立体パノラマ動画生成部６２から供給された立体パノラマ動画像の画像データを、例えばJPEG（Joint Photographic Experts Group）方式でエンコードし、バス２５を介してドライブ２８に供給する。
【０１４３】
ドライブ２８は、圧縮伸張部２７からの立体パノラマ動画像の画像データを記録媒体２９に供給し、記録させる。画像データの記録時においては、画像データには、立体パノラマ動画生成部６２によりフレーム番号が付与される。
【０１４４】
なお、記録媒体２９に立体パノラマ動画像が記録される場合に、立体パノラマ動画像とともに中心座標および動被写体情報も、記録媒体２９に記録されるようにしてもよい。
【０１４５】
ステップＳ５４において、信号処理部２４は、予め定められた所定フレーム分だけ立体パノラマ動画像の画像データを生成したか否かを判定する。例えば、Ｍフレームの画像データからなる立体パノラマ動画像が生成されると定められている場合には、Ｍフレーム分の画像データが得られたときに、所定フレーム分の立体パノラマ動画像を生成したと判定される。
【０１４６】
ステップＳ５４において、まだ所定フレーム分の立体パノラマ動画像を生成していないと判定された場合、処理はステップＳ５１に戻り、立体パノラマ動画像の次のフレームの画像データが生成される。
【０１４７】
例えば、立体パノラマ動画像の１フレーム目の右眼用のパノラマ画像が生成される場合、図１０を参照して説明したように、撮像画像Ｐ（ｎ）の境界ML（L）−nから、境界MR（L）−（n＋1）の位置までの切り出し領域ＴＲ（ｎ）が切り出されて短冊画像とされる。
【０１４８】
そして、立体パノラマ動画像の２フレーム目以降の右眼用のパノラマ画像が生成される場合、撮像画像Ｐ（ｎ）からの短冊画像の切り出し領域ＴＲ（ｎ）の位置が、境界LL−nから境界LL−（n＋1）までの幅ＣＷの分ずつ図１０中、左方向にずらされていく。
【０１４９】
つまり、右眼用のパノラマ動画像のｍフレーム目の短冊画像を、短冊画像ＴＲ（ｎ）−ｍ（但し、１≦ｍ≦Ｍ）とする。この場合、ｍフレーム目の短冊画像ＴＲ（ｎ）−ｍの切り出し位置は、短冊画像ＴＲ（ｎ）−１の切り出し位置である切り出し領域ＴＲ（ｎ）が図１０中、左側に幅ＣＷの（ｍ−１）倍の距離だけずれた位置とされる。
【０１５０】
したがって、例えば２フレーム目の短冊画像ＴＲ（ｎ）−２が切り出される領域は、撮像画像Ｐ（ｎ）上の図１０における切り出し領域ＴＲ（ｎ）と同じ形状および大きさの領域であって、その右端の位置が境界MR（L）−nの位置となる領域とされる。
【０１５１】
ここで、短冊画像の切り出し領域がずらされる方向は、撮像画像の撮像時に撮像装置１１を回動させる方向に応じて、予め定められる。例えば、図１０の例においては、所定のフレームの撮像画像の中心位置に対して、その次のフレームの撮像画像の中心位置が、常に図中、右側に位置するように、撮像装置１１が回動されることが前提とされている。つまり、図１０の例においては、撮像装置１１の移動方向が、図中、右方向であることが前提とされている。
【０１５２】
撮像装置１１の移動に伴う撮像画像の中心位置の移動の方向と反対方向に、短冊画像の切り出し位置をフレームごとにずらしていけば、パノラマ動画像を構成する各パノラマ画像において、動きのない同じ被写体は、同じ位置に表示されることになるからである。
【０１５３】
右眼用の場合と同様に、左眼用のパノラマ画像が生成される場合にも、撮像画像Ｐ（ｎ）からの短冊画像の切り出し領域ＴＬ（ｎ）の位置は、境界RL−nから境界RL−（n＋1）までの幅の分ずつ図１０中、左方向にずらされていく。
【０１５４】
このように、短冊画像の切り出し位置をフレームごとにずらしながら、パノラマ動画像の各フレームの画像データを生成すると、例えば図１１に示すような立体パノラマ動画像が得られる。なお、図１１において図中、横方向は図１０における横方向に対応している。例えば、図１１における横方向はｘｙ座標系のｘ方向に対応する。
【０１５５】
図１１の例では、Ｎ枚の撮像画像Ｐ（１）乃至撮像画像Ｐ（Ｎ）のそれぞれから、短冊画像ＴＬ（１）−１乃至短冊画像ＴＬ（Ｎ）−１が生成され、それらの短冊画像が合成されて左眼用のパノラマ画像ＰＬ−１が得られる。
【０１５６】
同様に、Ｎ枚の撮像画像Ｐ（１）乃至撮像画像Ｐ（Ｎ）のそれぞれから、短冊画像ＴＬ（１）−２乃至短冊画像ＴＬ（Ｎ）−２が生成され、それらの短冊画像が合成されて左眼用のパノラマ画像ＰＬ−２が得られる。パノラマ画像ＰＬ−１およびパノラマ画像ＰＬ−２は、それぞれ左眼用のパノラマ動画像の１フレーム目および２フレーム目を構成する画像である。
【０１５７】
また、Ｎ枚の撮像画像Ｐ（１）乃至撮像画像Ｐ（Ｎ）のそれぞれから、短冊画像ＴＲ（１）−１乃至短冊画像ＴＲ（Ｎ）−１が生成され、それらの短冊画像が合成されて右眼用のパノラマ画像ＰＲ−１が得られる。
【０１５８】
同様に、Ｎ枚の撮像画像Ｐ（１）乃至撮像画像Ｐ（Ｎ）のそれぞれから、短冊画像ＴＲ（１）−２乃至短冊画像ＴＲ（Ｎ）−２が生成され、それらの短冊画像が合成されて右眼用のパノラマ画像ＰＲ−２が得られる。パノラマ画像ＰＲ−１およびパノラマ画像ＰＲ−２は、それぞれ右眼用のパノラマ動画像の１フレーム目および２フレーム目を構成する画像である。
【０１５９】
ここで、例えば撮像画像Ｐ（２）における短冊画像ＴＲ（２）−２の切り出し領域は、短冊画像ＴＲ（２）−１の切り出し領域を図中、左側に幅ＣＷだけずらした位置の領域とされる。この幅ＣＷの大きさは、撮像画像のフレームごとに変化する。
【０１６０】
さらに、例えば短冊画像ＴＬ（１）−１と短冊画像ＴＬ（２）−２とには、異なる時刻の同じ被写体が表示されることになる。また、短冊画像ＴＬ（１）−１と短冊画像ＴＲ（ｍ）−１とにも、異なる時刻の同じ被写体が表示されることになる。
【０１６１】
このように、各パノラマ画像ＰＬ−１乃至パノラマ画像ＰＲ−２には、異なる時刻の同じ被写体が表示されることになる。また、立体パノラマ動画像を構成する各フレームの右眼用と左眼用のパノラマ画像は、視差を有することになる。
【０１６２】
さらに、パノラマ画像は、異なる複数のフレームの撮像画像から得られた短冊画像が合成されて生成されるため、１つのパノラマ画像であっても、各領域に表示される被写体は、それぞれ撮像された時刻が異なる。
【０１６３】
なお、より詳細には、各パノラマ画像の端の部分は、撮像画像Ｐ（１）および撮像画像Ｐ（Ｎ）が用いられて生成される。例えば、パノラマ画像ＰＬ−１の図中、左端の部分は、撮像画像Ｐ（１）の左端から短冊画像ＴＬ（１）−１の右端までの部分の画像とされる。
【０１６４】
図９のフローチャートの説明に戻り、ステップＳ５４において、所定フレーム分の立体パノラマ動画像を生成したと判定された場合、信号処理部２４は、ドライブ２８を介して記録媒体２９から立体パノラマ動画像を構成する各フレームのパノラマ画像を読み出す。そして、信号処理部２４は、読み出した右眼用および左眼用のパノラマ画像を圧縮伸張部２７に供給してデコードを指示し、処理はステップＳ５５に進む。
【０１６５】
ステップＳ５５において、圧縮伸張部２７は信号処理部２４から供給された立体パノラマ動画像の画像データ、つまりパノラマ画像を、例えばJPEG方式でデコードし、信号処理部２４に供給する。
【０１６６】
ステップＳ５６において、信号処理部２４は、圧縮伸張部２７からの立体パノラマ動画像を構成する、各フレームの右眼用および左眼用のパノラマ画像を予め定められた大きさに縮小する。例えば、パノラマ画像全体が、表示部３１の表示画面上に表示しきれる大きさとなるように、縮小処理が行われる。
【０１６７】
信号処理部２４は、立体パノラマ動画像を縮小すると、縮小された立体パノラマ動画像を表示制御部３０に供給する。なお、縮小された立体パノラマ動画像も記録媒体２９に供給されて記録されるようにしてもよい。
【０１６８】
ステップＳ５７において、表示制御部３０は、信号処理部２４からの立体パノラマ動画像を表示部３１に供給して、立体パノラマ動画像の再生を開始させる。つまり、表示制御部３０は、右眼用および左眼用のパノラマ動画像の各フレームを、所定の時間間隔で順番に表示部３１に供給して、レンチキュラ方式により立体表示させる。
【０１６９】
具体的には、表示部３１は、各フレームの右眼用および左眼用のパノラマ画像をいくつかの短冊状の画像に分割し、分割した右眼用の画像および左眼用の画像を所定の方向に交互に並べて表示することにより、立体パノラマ動画像を表示する。このようにして分割されて表示された右眼用のパノラマ画像と、左眼用のパノラマ画像の光は、それぞれ表示部３１を構成するレンチキュラレンズにより、表示部３１を見るユーザの右眼および左眼に導かれる。これにより、ユーザの目には、立体的なパノラマ動画像が観察される。
【０１７０】
表示部３１に立体パノラマ動画像が表示（再生）されると、立体パノラマ動画像の再生処理は終了し、その後、処理は図６のステップＳ１８に進む。
【０１７１】
このようにして、撮像装置１１は、異なる時刻に撮像された複数の撮像画像のそれぞれから、切り出し領域をずらしながら複数の右眼用および左眼用の短冊画像を生成し、短冊画像を合成して各フレームの立体パノラマ動画像を生成する。
【０１７２】
このようにして生成された立体パノラマ動画像によれば、撮像された被写体に動きを持たせ、その動きを表現することができるだけでなく、被写体を立体的に表示することができるので、撮像された被写体の画像をより効果的に表示することができる。
【０１７３】
しかも、１つのパノラマ画像上の各領域の被写体は、それぞれ異なる時刻のものとなるので、より面白味のある画像を提示することができる。つまり、撮像された被写体をさらに効果的に表示することができる。
【０１７４】
なお、以上においては、Ｎ枚の撮像画像を撮像し、一旦、全ての撮像画像をバッファメモリ２６に記録させてから、それらの撮像画像を用いて立体パノラマ動画像を生成すると説明したが、撮像画像の撮像を行いながら、同時に立体パノラマ動画像の生成を行ってもよい。
【０１７５】
また、一旦、立体パノラマ動画像を生成してから、その立体パノラマ動画像を縮小すると説明したが、撮像画像から直接、縮小された立体パノラマ動画像を生成するようにしてもよい。この場合、立体パノラマ動画像を再生するまでの処理量をより少なくすることができるので、より迅速に立体パノラマ動画像を表示させることができる。さらに、パーソナルコンピュータ等の装置に、撮像画像から立体パノラマ動画像を生成する機能を設け、カメラにより撮像された撮像画像から立体パノラマ動画像を生成させるようにしてもよい。
【０１７６】
［立体部分動画像の再生処理の説明］
次に、図１２のフローチャートを参照して、図６のステップＳ１９の処理に対応する立体部分動画像の再生処理について説明する。この立体部分動画像の再生処理は、ユーザにより立体パノラマ動画像上の所定の位置と拡大倍率が指定され、立体部分動画像の再生が指示されると開始される。
【０１７７】
ステップＳ８１において、部分画像生成部７４は、操作入力部２１からの信号に応じて、バッファメモリ２６に記録されている撮像画像および中心座標と、立体パノラマ動画像とに基づき、撮像画像のなかから処理対象となる撮像画像を特定する。
【０１７８】
すなわち、部分画像生成部７４は、立体パノラマ動画像を構成するパノラマ画像上における、ユーザにより指定された位置を中心とし、ユーザにより指定された拡大倍率により定まる領域を特定する。具体的には、縮小されて表示されているパノラマ画像を指定された倍率で拡大表示したときに、表示部３１に表示しきれる大きさの領域が特定される。これにより、例えば図３の領域ＢＰが、立体部分動画像で表示される領域として特定される。
【０１７９】
そして、部分画像生成部７４は、領域ＢＰ内に含まれる被写体が表示されている撮像画像を処理対象の撮像画像とする。つまり、ｘｙ座標系上に各撮像画像を配置した場合に、複数の撮像画像のうち、撮像画像内に領域ＢＰに対応するｘｙ座標系上の領域が含まれるものが、処理対象の撮像画像とされる。したがって、処理対象として、連続する複数フレームの撮像画像が特定されることになる。
【０１８０】
ステップＳ８２において、部分画像生成部７４は、処理対象の撮像画像のそれぞれについて、撮像画像の中心座標を用いて、撮像画像における領域ＢＰ内の被写体が表示される領域を切り出し、部分画像を生成する。これにより、連続する複数フレームの部分画像が得られることになる。
【０１８１】
ステップＳ８３において、動き検出部７５は、得られた部分画像のフレーム間で動きを検出する。すなわち、動き検出部７５は、連続する２つのフレームの部分画像を用いた動き推定を行い、その結果に基づいて、動きのない同じ被写体が重なるように、２つの部分画像を所定の平面上に並べる。そして、動き検出部７５は、それらの部分画像の互いに重なる部分について、各領域の画素の画素値の差分を求めて、動被写体を検出する。
【０１８２】
例えば、部分画像において、画素値の差分の絶対値が所定の閾値以上である画素からなる、所定の大きさ以上の領域が検出された場合、その領域が動被写体の領域であるとされる。このようにして、全ての部分画像について、連続する２つの部分画像同士の差分が求められて動被写体の検出が行われる。
【０１８３】
これにより、動被写体の検出結果と部分画像とから、どのフレームから部分画像上に動被写体が出現したかと、これまで表示されていた動被写体が、どのフレームで部分画像に表示されなくなったかを知ることができる。また、動被写体の検出結果と部分画像とから、ブロックマッチング等により個々の動被写体を識別することもできる。
【０１８４】
ステップＳ８４において、動き検出部７５は、部分画像からの動被写体の検出結果に基づいて、連続する複数フレームの部分画像のうち、動被写体が表示されている部分画像を特定する。
【０１８５】
ステップＳ８５において、補正部７６は、動被写体の検出結果と、動被写体の含まれる部分画像の特定結果とに基づいて、部分画像を補正する。
【０１８６】
例えば、フレーム１乃至フレーム４の連続する部分画像があり、フレーム１およびフレーム４の部分画像には動被写体が含まれていないが、フレーム２およびフレーム３の部分画像には、同じ動被写体が含まれていたとする。これらのフレームでは、撮像画像の撮像時刻が異なるので、フレームごとに異なる位置に動被写体が表示されることになる。
【０１８７】
この場合、補正部７６は、動被写体の検出結果に基づいて、フレーム２の部分画像上の動被写体を含む領域と同じ位置にある、フレーム１の部分画像の領域を切り出して、置換画像とする。そして、補正部７６は、フレーム２の部分画像上の動被写体近傍の領域を、切り出しにより得られた置換画像と置き換えることにより、つまり置換画像をフレーム２の部分画像に貼り付けることにより、フレーム２の部分画像を補正する。
【０１８８】
フレーム１の部分画像から切り出される置換画像は、フレーム２の部分画像の動被写体の後にある静止した背景と同じ背景が表示されている画像である。つまり、この補正は、処理対象の部分画像上の動被写体近傍の領域の画像を、その部分画像と異なり、動被写体の表示されていない他の部分画像における、処理対象の部分画像上の動被写体に対応する領域の画像に置き換える処理である。
【０１８９】
このような補正処理により、フレーム２の部分画像の動被写体が、動被写体の後ろにある背景に置き換えられて、部分画像から動被写体が違和感なく除去（消去）されることになる。
【０１９０】
なお、フレーム１およびフレーム２の部分画像は互いに視差を有するので、より詳細には、置換画像と、フレーム２の部分画像の動被写体近傍の領域の画像とに共通して含まれる被写体に基づいて、置換画像が貼り付けられる。すなわち、フレーム２の部分画像と、置換画像とを、それらの画像に含まれる同じ被写体が重なるように配置した場合に、フレーム２の部分画像において、置換画像と重なる領域が、置換画像に置き換えられることになる。これにより、視差の影響で補正後の部分画像が不自然な画像になってしまうことを防止することができる。
【０１９１】
同様に、補正部７６は、動被写体の検出結果に基づいて、フレーム３の部分画像上の動被写体を含む領域と同じ位置にある、フレーム１の部分画像の領域を切り出して置換画像とし、フレーム３の部分画像上の動被写体近傍の領域を置換画像に置き換える。これにより、フレーム３の部分画像も補正され、部分画像から動被写体が除去される。
【０１９２】
なお、フレーム２の部分画像上において、フレーム３の部分画像における動被写体のある領域と同じ領域に動被写体がない場合には、フレーム２の部分画像から置換画像が生成されるようにしてもよい。この場合、フレーム２の部分画像から切り出された置換画像が、フレーム３の部分画像に貼り付けられて、フレーム３の部分画像が補正される。
【０１９３】
また、視差の影響を最小限に抑えるためには、置換画像が切り出されるフレームは、動被写体を含む処理対象のフレームからなるべく近いフレームとされることが望ましい。
【０１９４】
このようにして、補正部７６は、連続する複数フレームの部分画像すべてについて、部分画像に動被写体が含まれる場合に、その部分画像を補正する。その結果、動被写体が含まれない、連続する複数フレームの部分画像が得られることになる。
【０１９５】
すると、立体部分動画生成部６３は、予め定められた立体部分動画像の視差の大きさに基づいて、補正された連続するフレームの部分画像から立体部分動画像を生成する。
【０１９６】
例えば、図１３に示すように連続する１０フレームの撮像画像Ｐ（１）乃至撮像画像Ｐ（１０）から、連続する１０フレームの部分画像が生成され、それらの部分画像が必要に応じて補正されたとする。
【０１９７】
なお、図１３において、図３における場合と対応する部分には、同一の符号を付してあり、その説明は省略する。また、図１３において、図中、横方向は図１０における横方向、すなわちｘｙ座標系のｘ方向に対応する。
【０１９８】
図１３では、各撮像画像およびパノラマ画像（立体パノラマ動画像ＰＭＶ）は、それらの画像上の同じ被写体が、横方向の同じ位置となるように並べられており、撮像画像Ｐ（１）から、領域ＧＬ（１）が切り出されて部分画像とされている。また、撮像画像Ｐ（２）から領域ＧＬ（２）が切り出されて部分画像とされている。さらに、例えば撮像画像Ｐ（４）および撮像画像Ｐ（５）から、領域ＧＲ（１）および領域ＧＲ（２）が切り出されて部分画像とされている。
【０１９９】
ここで、領域ＧＬ（１）乃至領域ＧＲ（２）は、領域ＢＰ内の被写体が表示される領域である。つまり、ｘｙ座標系上に撮像画像を並べた場合に、領域ＢＰと同じ位置にある撮像画像の領域が切り出されて部分画像とされる。
【０２００】
このようにして、撮像画像Ｐ（１）乃至撮像画像Ｐ（１０）のそれぞれから部分画像が生成されると、それらの部分画像が必要に応じて補正され、例えば部分画像から動被写体が除去される。その後、立体部分動画生成部６３は、予め定められた立体部分動画像の視差の大きさに基づいて、互いに視差を有する部分動画像対からなる立体部分動画像を生成する。
【０２０１】
例えば、撮像画像Ｐ（１）乃至撮像画像Ｐ（７）から得られた部分画像のそれぞれが、左眼用の部分動画像の１フレーム目乃至７フレーム目を構成する部分画像とされる。また、撮像画像Ｐ（４）乃至撮像画像Ｐ（１０）から得られた部分画像のそれぞれが、右眼用の部分動画像の１フレーム目乃至７フレーム目を構成する部分画像とされる。これにより、右眼用および左眼用の部分動画像からなる、合計７フレームの立体部分動画像が得られることになる。
【０２０２】
ここで、立体部分動画像の１フレーム目の生成に用いられる撮像画像Ｐ（１）と撮像画像Ｐ（４）は、予め定められた大きさの視差を有している。このように、立体部分動画像の１フレーム目とする左右の眼の部分画像を、予め定められた視差を有するように選択し、それらのフレームを先頭とする連続するフレームの部分画像を、右眼用および左眼用の部分動画像とすれば、適切な視差を有する立体部分動画像が得られる。
【０２０３】
そして、このようにして得られた立体部分動画像を再生すれば、表示される被写体に適切な遠近感を与え、奥行きのある立体的な画像を表示させることができるようになる。
【０２０４】
なお、部分画像を補正する例として、部分画像から動被写体を除去する場合について説明したが、立体部分動画像を構成する同じフレームの左右の眼の部分画像のほぼ同じ位置に、同じ動被写体が表示されるように、部分画像が補正されてもよい。
【０２０５】
そのような場合、立体部分動画生成部６３は、予め定められた立体部分動画像の視差の大きさに基づいて、補正前の連続するフレームの部分画像から立体部分動画像を生成する。例えば、図１３の例の場合、撮像画像Ｐ（１）乃至撮像画像Ｐ（７）から得られた部分画像のそれぞれが、左眼用の部分動画像の１フレーム目乃至７フレーム目を構成する部分画像とされる。また、撮像画像Ｐ（４）乃至撮像画像Ｐ（１０）から得られた部分画像のそれぞれが、右眼用の部分動画像の１フレーム目乃至７フレーム目を構成する部分画像とされ、これらの２つの部分動画像からなる合計７フレームの立体部分動画像が得られる。
【０２０６】
立体部分動画像が得られると、補正部７６は、動被写体の検出結果と、動被写体の含まれる部分画像の特定結果とに基づいて、立体部分動画像を構成する各部分画像を補正する。
【０２０７】
具体的には、補正部７６は、立体部分動画像の１フレーム目の右眼用および左眼用の部分画像を比較する。その結果、例えば、それらの部分画像には、静止した被写体としての乗用車と、動被写体としての人が含まれており、右眼用のフレームでは、人が乗用車からある程度離れた位置におり、左眼用のフレームでは、人が乗用車近傍にいたとする。
【０２０８】
このとき補正部７６は、１フレーム目の右眼用の部分画像における、乗用車と人とが含まれる領域の画像を置換画像として切り出す。つまり、右眼用の部分画像における、その部分画像上の動被写体と、左眼用の部分画像上の動被写体と同じ位置の領域との両方の領域が含まれる領域が、置換画像として切り出される。
【０２０９】
そして補正部７６は、１フレーム目の左眼用の部分画像における人が含まれる、置換画像に対応する領域を置換画像と置き換えることにより、１フレーム目の左眼用の部分画像を補正する。つまり、左眼用の部分画像における、その部分画像上の動被写体と、右眼用の部分画像上の動被写体と同じ位置の領域との両方の領域が含まれる領域に、置換画像が貼り付けられる。
【０２１０】
なお、この場合においても視差の影響を抑制するために、左眼用の部分画像と置換画像とを、それらの画像に含まれる動きのない同じ被写体が重なるように配置したときに、部分画像において、置換画像と重なる領域が、置換画像に置き換えられる。
【０２１１】
このようにして、１フレーム目の左眼用の部分画像を補正すると、１フレーム目の左右の眼の部分画像には、乗用車からある程度離れた位置に人が表示されることになる。つまり、左右の部分画像のそれぞれ対応する位置に同じ動被写体が表示されることになり、これらの部分画像をレンチキュラ方式等により立体表示させれば、違和感なく動被写体を立体表示させることができる。
【０２１２】
同様にして、補正部７６は、立体部分動画像を構成する各フレームについて、同じフレームの左右の眼の部分画像同士を比較し、右眼用の部分画像から置換画像を切り出して、左眼用の部分画像に置換画像を貼り付ける。
【０２１３】
例えば、右眼用の部分画像には動被写体が表示されていないが、左眼用の部分画像に動被写体が表示されている場合には、右眼用の部分画像における、左眼用の部分画像の動被写体と同じ位置の領域が置換画像として切り出される。そして、得られた置換画像が左眼用の部分画像に貼り付けられて、左眼用の部分画像から動被写体が除去される。
【０２１４】
逆に、右眼用の部分画像には動被写体が表示されているが、左眼用の部分画像には動被写体が表示されていない場合にも、右眼用の部分画像における動被写体の領域が置換画像として切り出される。そして、置換画像が、左眼用の部分画像における、右眼用の部分画像の動被写体と同じ位置の領域に貼り付けられて、左眼用の部分画像に動被写体が付加される。
【０２１５】
このようにして、左眼用の部分画像が必要に応じて補正されると、立体部分動画生成部６３は、補正後の右眼用および左眼用の部分動画像からなる部分動画像対を、最終的な立体部分動画像とする。
【０２１６】
なお、同じフレームの左右の眼の部分画像に、動被写体が含まれていない場合には、そのフレームの部分画像の補正は行われない。すなわち、同じフレームの左右の眼の何れかに動被写体が含まれる場合、または同じフレームの左右の眼の両方に動被写体が含まれ、かつそれらの動被写体の表示位置が異なる場合に、左眼用の部分画像の補正が行われる。
【０２１７】
以上においては、右眼用の部分画像を基準として左眼用の部分画像を補正する例について説明したが、左眼用の部分画像が基準とされて、右眼用の部分画像が補正されてもよい。
【０２１８】
また、同じフレームの左右の眼の部分画像において、互いに離れた位置に動被写体が表示されている場合には、それらの動被写体ごとに置換画像が生成されてもよい。
【０２１９】
例えば、右眼用の部分画像上の動被写体が含まれる領域が置換画像として切り出されて、左眼用の部分画像における、右眼用の部分画像の動被写体と同じ位置の領域に、置換画像が貼り付けられる。これにより、左眼用の部分画像における、右眼用の部分画像上の動被写体とほぼ同じ位置に、同じ動被写体が表示されるようになる。
【０２２０】
さらに、右眼用の部分画像における、左眼用の部分画像の動被写体と同じ位置の領域が置換画像として切り出されて、左眼用の部分画像における動被写体が含まれる領域に、置換画像が貼り付けられる。これにより、左眼用の部分画像から、もともと存在していた動被写体が除去されることになる。
【０２２１】
なお、この場合、左眼用の部分画像の動被写体の含まれる領域に貼り付けられる置換画像は、右眼用の部分画像ではなく、処理対象の左眼用の部分画像のフレームに近いフレームの左眼用の部分画像から生成されてもよい。すなわち、処理対象のフレームに最も近いフレームの左眼用の部分画像であって、処理対象のフレームの左眼用の部分画像上の動被写体の位置と同じ位置に、動被写体が表示されていない部分画像が特定され、特定された部分画像から置換画像が生成される。
【０２２２】
図１２のフローチャートの説明に戻り、ステップＳ８５において部分画像が補正され、立体部分動画像が得られると、立体部分動画生成部６３は、得られた立体部分動画像を、バス２５を介して表示制御部３０に供給し、処理はステップＳ８６に進む。
【０２２３】
ステップＳ８６において、表示制御部３０は、立体部分動画生成部６３から供給された立体部分動画像を、表示部３１に供給して表示させる。つまり、表示制御部３０は、立体部分動画像の各フレームを構成する右眼用および左眼用の部分画像対を、所定の時間間隔で順番に表示部３１に供給して、レンチキュラ方式により立体表示させる。
【０２２４】
なお、生成された立体部分動画像が表示されるだけでなく、立体部分動画像が立体部分動画生成部６３からドライブ２８に供給されて、記録媒体２９に記録されるようにしてもよい。
【０２２５】
表示部３１に立体部分動画像が表示されると、立体部分動画像の再生処理は終了し、その後、図６の動画像再生処理も終了する。
【０２２６】
このようにして撮像装置１１は、撮像対象となった撮像空間上の表示しようとする領域の大きさ、つまりパノラマ画像上の指定された位置と拡大倍率に応じて、特定の領域が表示される部分画像を生成する。そして、撮像装置１１は、得られた複数の部分画像を適宜、補正して、補正後の部分画像から立体部分動画像を生成する。
【０２２７】
このように、部分画像を補正して、立体部分動画像を構成する左右の眼の部分画像から、動被写体を除去したり、左右の眼の部分画像において、ほぼ同じ位置に動被写体が表示されるようにしたりすることで、違和感のない、より自然な立体画像を得ることができる。
【０２２８】
なお、立体パノラマ動画像上の位置および倍率が指定されたときに、立体部分動画像を表示させるのではなく、右眼用および左眼用の部分画像からなる立体部分画像が表示されるようにしてもよい。そのような場合、例えば図１３の領域ＧＬ（１）および領域ＧＲ（１）から切り出された部分画像の対が補正され、立体部分画像として表示される。
【０２２９】
また、立体パノラマ動画像についても、図１２を参照して説明した処理と同様の処理を行うことで、立体パノラマ動画像から動被写体を除去したり、左右の眼のパノラマ画像のほぼ同じ位置に動被写体が表示されるようにしたりすることが可能である。そのような場合、右眼用および左眼用のそれぞれの連続するフレームのパノラマ画像から動被写体が検出され、各パノラマ画像が補正されることになる。
【０２３０】
［立体パノラマ画像の表示処理の説明］
次に、図１４のフローチャートを参照して、図６のステップＳ２１の処理に対応する立体パノラマ画像の表示処理について説明する。この立体パノラマ画像の表示処理は、立体パノラマ動画像の再生中に、立体パノラマ画像の表示が指示されると開始される。
【０２３１】
ステップＳ１２１において、信号処理部２４は、操作入力部２１からの信号に応じて表示制御部３０を制御し、立体パノラマ動画像の再生を一時停止させる。これにより、表示部３１に立体表示されている立体パノラマ動画像が一時停止（ポーズ）される。
【０２３２】
なお、いわゆるコマ送り操作を可能とし、立体パノラマ動画像の再生が一時停止された後も、ユーザが操作入力部２１を操作して、そのフレームの前または後のフレームが表示部３１に表示されるようにしてもよい。これにより、ユーザは所望するフレームを表示部３１に表示させたまま、立体パノラマ動画像の再生を一時停止させることができる。
【０２３３】
ステップＳ１２２において、立体パノラマ画像生成部６４は、一時停止された立体パノラマ動画像の表示部３１に表示されているフレームを特定する。そして、立体パノラマ画像生成部６４は、信号処理部２４から立体パノラマ動画像の特定されたフレームの左右の眼のパノラマ画像を取得する。
【０２３４】
例えば、信号処理部２４は、立体パノラマ動画像を再生する場合に、その再生が終了するまでは、デコードされた、縮小前の立体パノラマ動画像を保持している。立体パノラマ画像生成部６４は、信号処理部２４から、特定されたフレームの縮小前の右眼用および左眼用のパノラマ画像を取得する。また、立体パノラマ画像生成部６４は、バッファメモリ２６から、Ｎ枚の撮像画像、中心座標、および動被写体情報も取得する。
【０２３５】
ステップＳ１２３において、立体パノラマ画像生成部６４は、中心座標および動被写体情報に基づいて、取得したフレームの右眼用および左眼用のパノラマ画像上における、動被写体が表示されている位置を特定する。
【０２３６】
例えば、処理対象のフレームの番号と中心座標とを用いれば、立体パノラマ画像生成部６４は、処理対象のパノラマ画像の各領域が、どの撮像画像のどの領域から生成されたかを特定することができる。さらに、立体パノラマ画像生成部６４は、パノラマ画像の各領域の生成に用いられた撮像画像が特定されると、その撮像画像の動被写体情報から、パノラマ画像上のどの領域に動被写体が表示されているかを特定することができる。つまり、パノラマ画像上における動被写体の表示位置が特定される。
【０２３７】
ステップＳ１２４において、補正部７７は、動被写体の表示位置の特定結果と、撮像画像、中心座標、および動被写体情報とに基づいて、パノラマ画像を補正する。
【０２３８】
例えば、右眼用のパノラマ画像の所定の位置に動被写体が表示されており、その動被写体が表示されている部分が、撮像画像Ｐ（ｎ）が用いられて生成されたとする。この場合、補正部７７は、動被写体情報に基づいて、撮像画像Ｐ（ｎ）のフレームに最も近いフレームの撮像画像であって、撮像画像Ｐ（ｎ）上の動被写体と同じ位置に、動被写体が表示されていない撮像画像を特定する。
【０２３９】
そして、補正部７７は、特定された撮像画像における、撮像画像Ｐ（ｎ）上の動被写体が含まれる領域と同じ領域を切り出して、置換画像とする。補正部７７は、右眼用のパノラマ画像上の動被写体近傍の領域を、得られた置換画像に置き換えることにより右眼用のパノラマ画像を補正する。
【０２４０】
撮像画像から切り出される置換画像は、右眼用のパノラマ画像の動被写体の後にある静止した背景と同じ背景が表示されている画像である。つまり、この補正は、パノラマ画像上の動被写体近傍の領域の画像を、その領域の生成に用いられた撮像画像と異なり、動被写体の表示されていない他の撮像画像における、パノラマ画像上の動被写体に対応する領域の画像に置き換える処理である。
【０２４１】
この補正により、右眼用のパノラマ画像上の動被写体が、その動被写体の後ろにある背景に置き換えられて、パノラマ画像から動被写体が違和感なく除去されることになる。
【０２４２】
なお、より詳細には、置換画像の貼り付け時には、視差による影響を抑制するため、パノラマ画像と置換画像を、それらの画像に含まれる同じ被写体が重なるように配置した場合に、パノラマ画像において置換画像と重なる領域が、置換画像に置き換えられる。
【０２４３】
右眼用の場合と同様に、補正部７７は、左眼用のパノラマ画像についても、そのパノラマ画像から、動被写体を除去する。なお、パノラマ画像に動被写体が含まれていない場合には、そのパノラマ画像の補正は行われない。立体パノラマ画像生成部６４は、補正された右眼用および左眼用のパノラマ画像対を、最終的な立体パノラマ画像とする。このように、パノラマ画像から動被写体を除去して立体パノラマ画像とし、この立体パノラマ画像を立体表示すれば、違和感のない、より自然な立体画像を表示させることができる。
【０２４４】
なお、パノラマ画像を補正する例として、パノラマ画像から動被写体を除去する場合について説明したが、立体パノラマ画像を構成する左右の眼のパノラマ画像のほぼ同じ位置に、同じ動被写体が表示されるように、パノラマ画像が補正されてもよい。
【０２４５】
そのような場合、補正部７７は、動被写体の表示位置の特定結果と、撮像画像、中心座標、および動被写体情報とに基づいて、撮像画像から切り出した同じ置換画像を、左右の眼のパノラマ画像に貼り付けて、それらのパノラマ画像を補正する。
【０２４６】
例えば、左右の眼のパノラマ画像には、静止した乗用車と、動被写体としての人とが表示され、右眼用のパノラマ画像では、人が乗用車からある程度離れた位置におり、左眼用のパノラマ画像では、人が乗用車近傍にいたとする。また、右眼用のパノラマ画像の人近傍の領域は、撮像画像Ｐ（ｎ）から生成されたと特定されたとする。
【０２４７】
このとき補正部７７は、撮像画像Ｐ（ｎ）における、乗用車と人とが含まれる領域の画像を置換画像として切り出す。つまり、撮像画像Ｐ（ｎ）とパノラマ画像を、動きのない同じ被写体が重なるようにｘｙ座標系上に並べた場合に、撮像画像Ｐ（ｎ）における、撮像画像上の動被写体と、左眼用のパノラマ画像上の動被写体と同じ位置の領域との両方が含まれる領域が、置換画像として切り出される。
【０２４８】
そして補正部７７は、右眼用および左眼用のパノラマ画像における、置換画像に対応する人が含まれる領域を置換画像と置き換えることにより、それらのパノラマ画像を補正する。なお、この場合においても視差の影響を抑制するために、パノラマ画像と置換画像とを、それらの画像に含まれる同じ被写体が重なるように配置したときに、パノラマ画像において、置換画像と重なる領域が、置換画像に置き換えられる。
【０２４９】
このようにして左右の眼のパノラマ画像を補正すると、それらのパノラマ画像上では、乗用車からある程度離れた位置に、動被写体としての人が表示されることになる。つまり、左右の眼のパノラマ画像のそれぞれ対応する位置に、同じ動被写体が表示されることになり、これらのパノラマ画像をレンチキュラ方式等により立体表示させれば、違和感なく動被写体を立体表示させることができる。
【０２５０】
立体パノラマ画像生成部６４は、このようにして補正された左右の眼のパノラマ画像対を、立体パノラマ画像とする。
【０２５１】
なお、左右の眼のパノラマ画像の両方に動被写体が表示されていない場合には、パノラマ画像の補正は行われない。すなわち、左右の眼の少なくとも何れか一方のパノラマ画像に動被写体が含まれる場合に、パノラマ画像の補正が行われる。
【０２５２】
また、左右の眼のパノラマ画像において、互いに離れた位置に動被写体が表示されている場合には、それらの動被写体ごとに置換画像が生成されてもよい。
【０２５３】
例えば、右眼用のパノラマ画像上の動被写体の部分の生成に用いられた撮像画像から、その動被写体の部分が切り出されて置換画像とされ、この置換画像が、右眼用のパノラマ画像上の動被写体の部分の領域に貼り付けられる。また、この置換画像が、左眼用のパノラマ画像における、右眼用のパノラマ画像上の動被写体と同じ位置の領域に貼り付けられる。これにより、左眼用のパノラマ画像には、もとから存在していた動被写体と、補正により表示される動被写体との２つが表示されることになる。
【０２５４】
そこで、補正部７７は、さらに左眼用のパノラマ画像上の動被写体の部分の生成に用いられた撮像画像Ｐ（ｎ）のフレームに最も近いフレームの撮像画像であって、撮像画像Ｐ（ｎ）上の動被写体と同じ位置に、動被写体が表示されていない撮像画像を特定する。
【０２５５】
そして、補正部７７は、特定された撮像画像における、撮像画像Ｐ（ｎ）上の動被写体が含まれる領域と同じ領域を切り出して置換画像とし、左眼用のパノラマ画像上のもとから存在していた動被写体近傍の領域を、置換画像に置き換える。これにより、左眼用のパノラマ画像にもとから存在していた動被写体が除去される。このような補正によっても、左右の眼のパノラマ画像のそれぞれ対応する位置に、同じ動被写体が表示されるように、パノラマ画像を補正することができる。
【０２５６】
なお、この場合において、左眼用のパノラマ画像上から、もとから存在していた動被写体を除去するために、その動被写体がある左眼用のパノラマ画像上の位置と同じ位置にある右眼用のパノラマ画像の領域が、置換画像とされてもよい。このようにして得られた置換画像は、左眼用のパノラマ画像の動被写体の位置に貼り付けられて、その動被写体が除去される。但し、この場合、右眼用のパノラマ画像における、左眼用のパノラマ画像の動被写体と同じ位置に、動被写体が存在しないことが前提となる。
【０２５７】
図１４のフローチャートの説明に戻り、ステップＳ１２４においてパノラマ画像が補正され、立体パノラマ画像が得られると、立体パノラマ画像生成部６４は、得られた立体パノラマ画像を表示制御部３０に供給し、処理はステップＳ１２５に進む。
【０２５８】
ステップＳ１２５において、表示制御部３０は、立体パノラマ画像生成部６４から供給された立体パノラマ画像を、表示部３１に供給して表示させる。つまり、表示制御部３０は、立体パノラマ画像の右眼用および左眼用のパノラマ画像対を表示部３１に供給して、レンチキュラ方式により立体表示させる。
【０２５９】
なお、生成された立体パノラマ画像が表示されるだけでなく、立体パノラマ画像が立体パノラマ画像生成部６４からドライブ２８に供給されて、記録媒体２９に記録されるようにしてもよい。
【０２６０】
表示部３１に立体パノラマ画像が表示されると、立体パノラマ画像の表示処理は終了し、その後、図６の動画像再生処理も終了する。
【０２６１】
このようにして撮像装置１１は、再生中の立体パノラマ動画像を構成する、特定のフレームのパノラマ画像を補正して、立体パノラマ画像を生成する。
【０２６２】
このように、パノラマ画像を補正して、立体パノラマ画像を構成するパノラマ画像から動被写体を除去したり、左右のパノラマ画像において、ほぼ同じ位置に動被写体が表示されるようにしたりすることで、違和感のない、より自然な立体画像を得ることができる。
【０２６３】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２６４】
図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２６５】
コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。
【０２６６】
バス３０４には、さらに、入出力インターフェース３０５が接続されている。入出力インターフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記録部３０８、ネットワークインターフェースなどよりなる通信部３０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。
【０２６７】
以上のように構成されるコンピュータでは、CPU３０１が、例えば、記録部３０８に記録されているプログラムを、入出力インターフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。
【０２６８】
コンピュータ（CPU３０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０２６９】
そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インターフェース３０５を介して、記録部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記録部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記録部３０８に、あらかじめインストールしておくことができる。
【０２７０】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２７１】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２７２】
１１  撮像装置，  ２２  撮像部，  ２４  信号処理部，  ６１  動き推定部，  ６２  立体パノラマ動画生成部，  ６３  立体部分動画生成部，  ６４  立体パノラマ画像生成部，  ７１  座標算出部，  ７２  動被写体情報生成部，  ７３  短冊画像生成部，  ７４  部分画像生成部，  ７５  動き検出部，  ７６  補正部，  ７７  補正部
【図１】
0005418127.tif 000002
【図２】
0005418127.tif 000003
【図３】
0005418127.tif 000004
【図４】
0005418127.tif 000005
【図５】
0005418127.tif 000006
【図６】
0005418127.tif 000007
【図７】
0005418127.tif 000008
【図８】
0005418127.tif 000009
【図９】
0005418127.tif 000010
【図１０】
0005418127.tif 000011
【図１１】
0005418127.tif 000012
【図１２】
0005418127.tif 000013
【図１３】
0005418127.tif 000014
【図１４】
0005418127.tif 000015
【図１５】
0005418127.tif 000016