(57)【要約】【課題】撮像装置の装置構成の複雑化を招くことなく、パノラマ動画像を再生したときの撮影揺れによる画像揺れを確実に抑制することができるパノラマ動画像補正プログラム、パノラマ動画像補正方法、記録媒体及びパノラマ動画像補正装置並びにパノラマ撮影装置を提供する。【解決手段】パノラマ動画像のうち隣り合うコマ間において特徴点を認識し、隣り合うコマ間において認識した特徴点のピッチ変位量、ロール変位量及びヨー変位量を検出し、検出したピッチ変位量、ロール変位量及びヨー変位量のうち少なくとも一つに基づいて、対応するパノラマ動画像の各コマにおける変位量の変動を平滑化するように、対応するパノラマ動画像の変位量を補正する。【選択図】図１６
2015023470.tif 000002
【特許請求の範囲】
【請求項１】
パノラマ動画像を補正するパノラマ動画像補正プログラムであって、
前記パノラマ動画像のうち隣り合うコマ間において特徴点を認識する特徴点認識ステップと、
前記隣り合うコマ間において前記特徴点認識ステップにて認識した前記特徴点のピッチング方向における変位量であるピッチ変位量を検出するピッチ変位検出ステップと、
前記隣り合うコマ間において前記特徴点認識ステップにて認識した前記特徴点のローリング方向における変位量であるロール変位量を検出するロール変位検出ステップと、
前記隣り合うコマ間において前記特徴点認識ステップにて認識した前記特徴点のヨーイング方向における変位量であるヨー変位量を検出するヨー変位検出ステップと、
前記ピッチ変位検出ステップにて検出した前記ピッチ変位量、前記ロール変位検出ステップにて検出した前記ロール変位量、及び、前記ヨー変位検出ステップにて検出した前記ヨー変位量のうち少なくとも一つに基づいて、対応する前記パノラマ動画像の各コマにおける変位量の変動を平滑化するように、対応する前記パノラマ動画像の変位量を補正する変動補正ステップと
を含む各ステップをコンピュータに実行させるためのパノラマ動画像補正プログラム。
【請求項２】
請求項１に記載のパノラマ動画像補正プログラムであって、
前記補正された前記パノラマ動画像において、特定の再生対象に対して追従させた所定サイズの再生フレームを切り出し、切り出した前記再生フレームに対して前記パノラマ動画像を再生する再生処理ステップをさらに含むことを特徴とするパノラマ動画像補正プログラム。
【請求項３】
パノラマ動画像を補正するパノラマ動画像補正プログラムであって、
前記パノラマ動画像の各コマにおいてピッチング方向における変位量であるピッチ変位量、ローリング方向における変位量であるロール変位量、及び、ヨーイング方向における変位量であるヨー変位量を入力する入力制御ステップと、
前記入力制御ステップにて入力した前記ピッチ変位量、前記入力制御ステップにて検出した前記ロール変位量、及び、前記入力制御ステップにて検出した前記ヨー変位量のうち少なくとも一つに基づいて、対応する前記パノラマ動画像の各コマにおける変位量の変動を平滑化するように、対応する前記パノラマ動画像の変位量を補正する変動補正ステップと
を含む各ステップをコンピュータに実行させるためのパノラマ動画像補正プログラム。
【請求項４】
請求項３に記載のパノラマ動画像補正プログラムであって、
前記補正された前記パノラマ動画像において、特定の再生対象に対して追従させた所定サイズの再生フレームを切り出し、切り出した前記再生フレームに対して前記パノラマ動画像を再生する再生処理ステップをさらに含むことを特徴とするパノラマ動画像補正プログラム。
【請求項５】
パノラマ動画像を補正するパノラマ動画像補正方法であって、
請求項１から請求項４までの何れか１項に記載のパノラマ動画像補正プログラムにおける前記各ステップを含むことを特徴とするパノラマ動画像補正方法。
【請求項６】
請求項１から請求項４までの何れか１項に記載のパノラマ動画像補正プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項７】
パノラマ動画像を補正するパノラマ動画像補正装置であって、
前記パノラマ動画像のうち隣り合うコマ間において特徴点を認識する特徴点認識手段と、
前記隣り合うコマ間において前記特徴点認識手段にて認識した前記特徴点のピッチング方向における変位量であるピッチ変位量を検出するピッチ変位検出手段と、
前記隣り合うコマ間において前記特徴点認識手段にて認識した前記特徴点のローリング方向における変位量であるロール変位量を検出するロール変位検出手段と、
前記隣り合うコマ間において前記特徴点認識手段にて認識した前記特徴点のヨーイング方向における変位量であるヨー変位量を検出するヨー変位検出手段と、
前記ピッチ変位検出手段にて検出した前記ピッチ変位量、前記ロール変位検出手段にて検出した前記ロール変位量、及び、前記ヨー変位検出手段にて検出した前記ヨー変位量のうち少なくとも一つに基づいて、対応する前記パノラマ動画像の各コマにおける変位量の変動を平滑化するように、対応する前記パノラマ動画像の変位量を補正する変動補正手段と
を備えることを特徴とするパノラマ動画像補正装置。
【請求項８】
請求項７に記載のパノラマ動画像補正装置であって、
前記補正された前記パノラマ動画像において、特定の再生対象に対して追従させた所定サイズの再生フレームを切り出し、切り出した前記再生フレームに対して前記パノラマ動画像を再生する再生処理手段をさらに備えることを特徴とするパノラマ動画像補正装置。
【請求項９】
パノラマ動画像を補正するパノラマ動画像補正装置であって、
前記パノラマ動画像の各コマにおいてピッチング方向における変位量であるピッチ変位量、ローリング方向における変位量であるロール変位量、及び、ヨーイング方向における変位量であるヨー変位量を入力する入力制御手段と、
前記入力制御手段にて入力した前記ピッチ変位量、前記入力制御手段にて検出した前記ロール変位量、及び、前記入力制御手段にて検出した前記ヨー変位量のうち少なくとも一つに基づいて、対応する前記パノラマ動画像の各コマにおける変位量の変動を平滑化するように、対応する前記パノラマ動画像の変位量を補正する変動補正手段と
を備えることを特徴とするパノラマ動画像補正装置。
【請求項１０】
請求項９に記載のパノラマ動画像補正装置であって、
前記補正された前記パノラマ動画像において、特定の再生対象に対して追従させた所定サイズの再生フレームを切り出し、切り出した前記再生フレームに対して前記パノラマ動画像を再生する再生処理手段をさらに備えることを特徴とするパノラマ動画像補正装置。
【請求項１１】
複数の動画像を全方位的に撮影するパノラマ撮影装置であり、請求項１若しくは請求項２に記載のパノラマ動画像補正プログラム又は請求項７若しくは請求項８に記載のパノラマ動画像補正装置に利用されるパノラマ撮影装置であって、
動画を撮影する複数の撮像装置と、
前記複数の撮像装置を全方位的に撮影可能に搭載する撮影支持体と、
予め定めた所定方向に伸縮可能とされて一端部がパノラマ撮影装置本体に支持され、かつ、他端部が前記撮影支持体を支持する伸縮部材と
を備えていることを特徴とするパノラマ撮影装置。
【請求項１２】
複数の動画像を全方位的に撮影するパノラマ撮影装置であり、請求項３若しくは請求項４に記載のパノラマ動画像補正プログラム又は請求項９若しくは請求項１０に記載のパノラマ動画像補正装置に利用されるパノラマ撮影装置であって、
動画を撮影する複数の撮像装置と、
前記複数の撮像装置を全方位的に撮影可能に搭載する撮影支持体と、
予め定めた所定方向に伸縮可能とされて一端部がパノラマ撮影装置本体に支持され、かつ、他端部が前記撮影支持体を支持する伸縮部材と、
前記撮影支持体に搭載されて、前記撮像装置の撮影コマ間時間毎のピッチング方向における変位量であるピッチ変位量、ローリング方向における変位量であるロール変位量、及び、ヨーイング方向における変位量であるヨー変位量を出力する総合慣性運動計測装置と、
前記総合慣性運動計測装置から出力された前記ピッチ変位量、前記ロール変位量及び前記ヨー変位量を前記撮影コマ間時間毎に記憶する記憶部と、
前記記憶部に記憶した前記ピッチ変位量、前記ロール変位量及び前記ヨー変位量を出力する出力部と
を備えていることを特徴とするパノラマ撮影装置。
【請求項１３】
請求項１１又は請求項１２に記載のパノラマ撮影装置であって、
前記パノラマ撮影装置本体は、飛行体を備え、
前記伸縮部材は、前記一端部が前記飛行体の機体に支持されていることを特徴とするパノラマ撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パノラマ動画像を補正するパノラマ動画像補正プログラム、パノラマ動画像補正方法、記録媒体、及び、パノラマ動画像補正装置、並びに、複数の動画像を全方位的に撮影するパノラマ撮影装置に関する。
【背景技術】
【０００２】
複数の動画像を用いてパノラマ動画像を生成する手法は、従来から知られている（例えば特許文献１参照）。
【０００３】
パノラマ動画像を生成する手法では、例えば、撮影画像がオーバーラップするように全方位的に配置したデジタルビデオカメラ等の複数の撮像装置により撮影した複数の動画像のそれぞれオーバーラップさせた共通画像をコマ毎に合成することで、パノラマ動画像を生成する。
【０００４】
このようなパノラマ動画像においては、複数の動画像を撮影する際の撮影揺れ（例えば、撮像装置の撮影時の揺動や振動等の撮影揺れ）が発生することがあり、そうすると、パノラマ動画像を再生したときに画像揺れが発生する。
【０００５】
この点に関し、特許文献２（段落［００７４］）には、ジャイロセンサにより撮像装置のブレ、振動を検出し、ブレや振動を打ち消す演算を撮像装置側で行う構成が記載されている。
【０００６】
また、撮像装置の撮影姿勢がローリング方向及びピッチング方向のうち少なくとも一つの方向に傾いたときに、撮影姿勢を水平に維持する姿勢安定化装置（いわゆるスタビライザー）を用いることが従来から知られている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０００−２５３３９１号公報
【特許文献２】特開２０１２−１２４６１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献２に記載の構成では、撮影時に撮像装置側で演算処理する必要があり、撮像装置の装置構成の複雑化を招く。また、姿勢安定化装置を用いる場合には、撮像装置の撮影姿勢を水平にするまでに遅延が生じ、しかも、振動に対して対応しきれない場合があり、従って、複数の動画像を撮影する際の撮影揺れを確実に抑制することができず、これにより、パノラマ動画像を再生したときに撮影揺れによる画像揺れを確実に抑制することができていないのが実情である。
【０００９】
そこで、本発明は、撮像装置の装置構成の複雑化を招くことなく、パノラマ動画像を再生したときの撮影揺れによる画像揺れを確実に抑制することができるパノラマ動画像補正プログラム、パノラマ動画像補正方法、記録媒体及びパノラマ動画像補正装置並びにパノラマ撮影装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、前記課題を解決するために、次の第１態様及び第２態様のパノラマ動画像補正プログラム、パノラマ動画像補正方法、記録媒体、第１態様及び第２態様のパノラマ動画像補正装置並びに第１態様及び第２態様のパノラマ撮影装置を提供する。
【００１１】
（１）第１態様のパノラマ動画像補正プログラム
パノラマ動画像を補正するパノラマ動画像補正プログラムであって、前記パノラマ動画像のうち隣り合うコマ間において特徴点を認識する特徴点認識ステップと、前記隣り合うコマ間において前記特徴点認識ステップにて認識した前記特徴点のピッチング方向における変位量であるピッチ変位量を検出するピッチ変位検出ステップと、前記隣り合うコマ間において前記特徴点認識ステップにて認識した前記特徴点のローリング方向における変位量であるロール変位量を検出するロール変位検出ステップと、前記隣り合うコマ間において前記特徴点認識ステップにて認識した前記特徴点のヨーイング方向における変位量であるヨー変位量を検出するヨー変位検出ステップと、前記ピッチ変位検出ステップにて検出した前記ピッチ変位量、前記ロール変位検出ステップにて検出した前記ロール変位量、及び、前記ヨー変位検出ステップにて検出した前記ヨー変位量のうち少なくとも一つに基づいて、対応する前記パノラマ動画像の各コマにおける変位量の変動を平滑化するように、対応する前記パノラマ動画像の変位量を補正する変動補正ステップとを含む各ステップをコンピュータに実行させるためのパノラマ動画像補正プログラム。
【００１２】
（２）第２態様のパノラマ動画像補正プログラム
パノラマ動画像を補正するパノラマ動画像補正プログラムであって、前記パノラマ動画像の各コマにおいてピッチング方向における変位量であるピッチ変位量、ローリング方向における変位量であるロール変位量、及び、ヨーイング方向における変位量であるヨー変位量を入力する入力制御ステップと、前記入力制御ステップにて入力した前記ピッチ変位量、前記入力制御ステップにて検出した前記ロール変位量、及び、前記入力制御ステップにて検出した前記ヨー変位量のうち少なくとも一つに基づいて、対応する前記パノラマ動画像の各コマにおける変位量の変動を平滑化するように、対応する前記パノラマ動画像の変位量を補正する変動補正ステップとを含む各ステップをコンピュータに実行させるためのパノラマ動画像補正プログラム。
【００１３】
（３）第１態様のパノラマ動画像補正方法
パノラマ動画像を補正するパノラマ動画像補正方法であって、前記本発明に係る第１態様又は第２態様のパノラマ動画像補正プログラムにおける前記各ステップを含むことを特徴とするパノラマ動画像補正方法。
【００１４】
（４）記録媒体
前記本発明に係る第１態様又は第２態様の記載のパノラマ動画像補正プログラムを記録したコンピュータ読み取り可能な記録媒体。
【００１５】
（５）第１態様のパノラマ動画像補正装置
パノラマ動画像を補正するパノラマ動画像補正装置であって、前記パノラマ動画像のうち隣り合うコマ間において特徴点を認識する特徴点認識手段と、前記隣り合うコマ間において前記特徴点認識手段にて認識した前記特徴点のピッチング方向における変位量であるピッチ変位量を検出するピッチ変位検出手段と、前記隣り合うコマ間において前記特徴点認識手段にて認識した前記特徴点のローリング方向における変位量であるロール変位量を検出するロール変位検出手段と、前記隣り合うコマ間において前記特徴点認識手段にて認識した前記特徴点のヨーイング方向における変位量であるヨー変位量を検出するヨー変位検出手段と、前記ピッチ変位検出手段にて検出した前記ピッチ変位量、前記ロール変位検出手段にて検出した前記ロール変位量、及び、前記ヨー変位検出手段にて検出した前記ヨー変位量のうち少なくとも一つに基づいて、対応する前記パノラマ動画像の各コマにおける変位量の変動を平滑化するように、対応する前記パノラマ動画像の変位量を補正する変動補正手段とを備えることを特徴とするパノラマ動画像補正装置。
【００１６】
（６）第２態様のパノラマ動画像補正装置
パノラマ動画像を補正するパノラマ動画像補正装置であって、前記パノラマ動画像の各コマにおいてピッチング方向における変位量であるピッチ変位量、ローリング方向における変位量であるロール変位量、及び、ヨーイング方向における変位量であるヨー変位量を入力する入力制御手段と、前記入力制御手段にて入力した前記ピッチ変位量、前記入力制御手段にて検出した前記ロール変位量、及び、前記入力制御手段にて検出した前記ヨー変位量のうち少なくとも一つに基づいて、対応する前記パノラマ動画像の各コマにおける変位量の変動を平滑化するように、対応する前記パノラマ動画像の変位量を補正する変動補正手段とを備えることを特徴とするパノラマ動画像補正装置。
【００１７】
（７）第１態様のパノラマ撮影装置
複数の動画像を全方位的に撮影するパノラマ撮影装置であり、前記本発明に係る第１態様のパノラマ動画像補正プログラム又は前記本発明に係る第１態様のパノラマ動画像補正装置に利用されるパノラマ撮影装置であって、動画を撮影する複数の撮像装置と、前記複数の撮像装置を全方位的に撮影可能に搭載する撮影支持体と、予め定めた所定方向に伸縮可能とされて一端部がパノラマ撮影装置本体に支持され、かつ、他端部が前記撮影支持体を支持する伸縮部材とを備えていることを特徴とするパノラマ撮影装置。
【００１８】
（８）第２態様のパノラマ撮影装置
複数の動画像を全方位的に撮影するパノラマ撮影装置であり、前記本発明に係る第２態様のパノラマ動画像補正プログラム又は前記本発明に係る第２態様のパノラマ動画像補正装置に利用されるパノラマ撮影装置であって、動画を撮影する複数の撮像装置と、前記複数の撮像装置を全方位的に撮影可能に搭載する撮影支持体と、予め定めた所定方向に伸縮可能とされて一端部がパノラマ撮影装置本体に支持され、かつ、他端部が前記撮影支持体を支持する伸縮部材と、前記撮影支持体に搭載されて、前記撮像装置の撮影コマ間時間毎のピッチング方向における変位量であるピッチ変位量、ローリング方向における変位量であるロール変位量、及び、ヨーイング方向における変位量であるヨー変位量を出力する総合慣性運動計測装置と、前記総合慣性運動計測装置から出力された前記ピッチ変位量、前記ロール変位量及び前記ヨー変位量を前記撮影コマ間時間毎に記憶する記憶部と、前記記憶部に記憶した前記ピッチ変位量、前記ロール変位量及び前記ヨー変位量を出力する出力部とを備えていることを特徴とするパノラマ撮影装置。
【００１９】
本発明に係る第１態様及び第２態様のパノラマ動画像補正プログラム並びに第１態様及び第２態様のパノラマ動画像補正方法において、前記補正された前記パノラマ動画像において、特定の再生対象に対して追従させた所定サイズの再生フレームを切り出し、切り出した前記再生フレームに対して前記パノラマ動画像を再生する再生処理ステップをさらに含む態様を例示できる。また、本発明に係る第１態様及び第２態様のパノラマ動画像補正装置において、前記補正された前記パノラマ動画像において、特定の再生対象に対して追従させた所定サイズの再生フレームを切り出し、切り出した前記再生フレームに対して前記パノラマ動画像を再生する再生処理手段をさらに備える態様を例示できる。
【００２０】
本発明に係る第１態様及び第２態様のパノラマ撮影装置において、前記パノラマ撮影装置本体は、飛行体を備え、前記伸縮部材は、前記一端部が前記飛行体の機体に支持されている態様を例示できる。
【発明の効果】
【００２１】
本発明によると、撮像装置の装置構成の複雑化を招くことなく、パノラマ動画像を再生したときの撮影揺れによる画像揺れを確実に抑制することが可能となる。
【図面の簡単な説明】
【００２２】
【図１】パノラマ撮影装置の概略構成を示す概略斜視図である。
【図２】パノラマ撮影装置における飛行体の回転翼及び脚部が開いている状態を模式的に示す概略構成図である。
【図３】パノラマ撮影装置における飛行体の回転翼及び脚部が折り畳まれている状態を模式的に示す概略構成図である。
【図４】複数の撮像装置の配置状態を示す模式図であって、（ａ）は、その側面図であり、（ｂ）は、その平面図又は底面図である。
【図５】パノラマ撮影装置における伸縮部材の概略構成を示す斜視図である。
【図６】撮影支持体を保持した姿勢安定化装置を模式的に示す概略構成図であって、（ａ）は、その正面図であり、（ｂ）は、その側面図である。
【図７】撮影支持体を保持した姿勢安定化装置を模式的に示す概略構成図であって、（ａ）は、機体がローリング方向に傾いた状態での伸縮部材と姿勢安定化装置との位置関係を示す正面図であり、（ｂ）は、機体がピッチング方向に傾いた状態での伸縮部材と姿勢安定化装置との位置関係を示す側面図である。
【図８】コンピュータの概略斜視図である。
【図９】コンピュータのシステム構成を示すブロック図である。
【図１０】撮像装置により動画像を撮影する際の撮影揺れを説明するための説明図であって、（ａ）は、全方位の撮影対象を表した球体の中心に配置した撮影支持体の撮影姿勢が水平にあるときの撮影状態を示す図であり、（ｂ）は、（ａ）に示す破線部分の撮影画像を示す図である。
【図１１】撮像装置により動画像を撮影する際の撮影揺れを説明するための説明図であって、（ａ）は、図１０（ａ）に示す撮影支持体の撮影姿勢に対して撮影支持体がピッチング方向におけるピッチ変位角度で傾斜したときの撮影状態を示す図であり、（ｂ）は、（ａ）に示す破線部分の撮影画像を示す図である。
【図１２】撮像装置により動画像を撮影する際の撮影揺れを説明するための説明図であって、（ａ）は、図１０（ａ）に示す撮影支持体の撮影姿勢に対して撮影支持体がローリング方向におけるロール変位角度で傾斜したときの撮影状態を示す図であり、（ｂ）は、（ａ）に示す破線部分の撮影画像を示す図である。
【図１３】撮像装置により動画像を撮影する際の撮影揺れを説明するための説明図であって、（ａ）は、図１０（ａ）に示す撮影支持体の撮影姿勢に対して撮影支持体がヨーイング方向におけるヨー変位角度で回転したときの撮影状態を示す図であり、（ｂ）は、（ａ）に示す破線部分の撮影画像を示す図である。
【図１４】撮影揺れのある状態で撮影されたパノラマ動画像を再生したときの再生画像の画像揺れを説明するための説明図であって、（ａ）は、全方位にパノラマ画像を構成した球体の中心に配置した人が破線部分の再生動画像を見ている状態を示す図であり、（ｂ）は、（ａ）に示す破線部分に再生された再生画像において撮影支持体の撮影姿勢が図１１（ａ）、図１２（ａ）及び図１３（ａ）に示す姿勢を組み合わせた姿勢のときの画像を示す図である。
【図１５】図８及び図９に示すコンピュータにおける制御部において第１実施形態に係るパノラマ動画像補正プログラムを実行する制御構成の一例を示す概略構成図である。
【図１６】パノラマ動画像の隣り合うコマ間における特徴点の変位量の変動を第１実施形態に係るパノラマ動画像補正プログラムにより平滑化する平滑化処理の一例を示すフローチャートである。
【図１７】パノラマ動画像のうち一のコマにおいてユーザにより注目すべき１又は複数箇所の画像部分が指定される指定画面を示す平面図である。
【図１８】パノラマ動画像のうち隣り合うコマ間における特徴点の認識を説明するための説明図であって、（ａ）は、一のコマのパノラマ画像を示す図であり、（ｂ）は、次のコマのパノラマ画像を示す図である。
【図１９】座標回転公式を説明するための説明図であって、右手系３次元直交座標（ｘ，ｙ，ｚ）に対してｘ軸回りにピッチ変位角度だけ回転させた座標（Ｘ，Ｙ，Ｚ）の斜視図である。
【図２０】座標回転公式を説明するための説明図であって、図１９に示す座標（ｘ，ｙ，ｚ）に対してｘ軸回りにピッチ変位角度だけ回転させた座標（Ｘ，Ｙ，Ｚ）をｘ軸方向から見た座標を示す図である。
【図２１】ピッチ変位検出手段、ロール変位検出手段及びヨー変位検出手段にて検出した特徴点の変位量の各コマにおける変動状態を概略的に示すグラフであって、（ａ）は、ピッチ変位角度の各コマにおける変動状態を示すグラフであり、（ｂ）は、ロール変位角度の各コマにおける変動状態を示すグラフであり、（ｃ）は、ヨー変位角度の各コマにおける変動状態を示すグラフである。
【図２２】パノラマ動画像の全方位を表示する全体画面と、パノラマ動画像の指定された複数の画像部分の範囲をそれぞれ表示する複数の指定画面とを用いてパノラマ動画像を補正するユーザインタフェースを示す表示画面を示す平面図である。
【図２３】第２実施形態に用いられるパノラマ撮影装置における制御装置を中心に示す概略ブロック図である。
【図２４】図８及び図９に示すコンピュータにおける制御部において第２実施形態に係るパノラマ動画像補正プログラムを実行する制御構成の一例を示す概略構成図である。
【図２５】パノラマ動画像の隣り合うコマ間における撮影姿勢の変位量の変動を第２実施形態に係るパノラマ動画像補正プログラムにより平滑化する平滑化処理の一例を示すフローチャートである。
【図２６】図８及び図９に示すコンピュータにおける制御部において第３実施形態に係るパノラマ動画像補正プログラムを実行する制御構成の一例を示す概略構成図である。
【図２７】補正されたパノラマ動画像を第３実施形態に係るパノラマ動画像補正プログラムにより再生する再生処理の一例を示すフローチャートである。
【図２８】再生中のパノラマ動画像において同じ再生対象が移り変わっていく様子を示す概略図である。
【図２９】パノラマ動画像のうちユーザにより特定の第１設定コマから第ｍ設定コマのコマ番目に指定されたｍ個のコマにおいてユーザにより再生すべき特定の画像位置に設定フレームが指定される状態を示す概念図である。
【図３０】実際にユーザが入力操作を行う設定画面であって、（ａ）は、第１設定コマのコマ番目の設定フレームを設定する設定画面を示す平面図であり、（ｂ）は、第２設定コマのコマ番目の設定フレームを設定する設定画面を示す平面図であり、（ｃ）は、第ｍ設定コマのコマ番目の設定フレームを設定する設定画面を示す平面図である。
【図３１】直交座標（ｘ，ｙ，ｚ）と極座標（ｒ，δ，φ）との間の変換公式を説明するための説明図である。
【図３２】フレームデータ検出手段にて検出した各設定フレームのフレームデータとしてフレーム角度を第ｉ設定コマのコマ番目毎にプロットしたグラフであって、（ａ）は、第１フレーム角度のグラフであり、（ｂ）は、第２フレーム角度のグラフである。
【図３３】パノラマ画像を構成した球体において、再生フレーム軌跡推定手段にて推定した各コマの再生フレームの軌跡を示す概略図である。
【図３４】再生フレーム軌跡推定手段にて推定した各コマの再生フレームに映し出された再生対象を示す表示画面であって、（ａ）から（ｅ）は、それぞれ、１００コマ目、２００コマ目、３００コマ目、４００コマ目、５００コマ目を示す表示画面を示す平面図である。
【図３５】図８及び図９に示すコンピュータにおける制御部において第３実施形態に係るパノラマ動画像補正プログラムを実行する制御構成の他の例を示す概略構成図である。
【図３６】パノラマ撮影装置においてパノラマ撮影装置本体と撮像装置を支持した撮影支持体との間の距離の違いによりパノラマ撮影装置本体の部分が写っていない視野の範囲が異なることを説明するための説明図であって、（ａ）は、パノラマ撮影装置本体と撮影支持体との間の距離を短くした場合の一例を示す模式図であり、（ｂ）は、パノラマ撮影装置本体と撮影支持体との間の距離を長くした場合の一例を示す模式図である。
【発明を実施するための形態】
【００２３】
以下、本発明に係る実施の形態について図面を参照しながら説明する。
【００２４】
（パノラマ撮影装置）
図１は、パノラマ撮影装置１００の概略構成を示す概略斜視図である。図２は、パノラマ撮影装置１００における飛行体４０の回転翼４３及び脚部４４が開いている状態を模式的に示す概略構成図である。図３は、パノラマ撮影装置１００における飛行体４０の回転翼４３及び脚部４４が折り畳まれている状態を模式的に示す概略構成図である。図４は、複数の撮像装置１０〜１０の配置状態を示す模式図である。図４（ａ）は、その側面図であり、図４（ｂ）は、その平面図又は底面図である。図５は、パノラマ撮影装置１００における伸縮部材３０の概略構成を示す斜視図である。
【００２５】
パノラマ撮影装置１００は、複数（ここでは１２個）の動画像を全方位的に撮影するものであり、動画を撮影する複数（ここでは１２台）の撮像装置１０〜１０と、複数の撮像装置１０〜１０を全方位的に撮影可能に搭載する撮影支持体２０と、予め定めた所定方向（ここでは上下方向）に伸縮可能とされて一端部３１（図２及び図３参照）がパノラマ撮影装置本体１０１に支持され、かつ、他端部３２（図２及び図３参照）が撮影支持体２０を支持する伸縮部材３０とを備えている。この例では、伸縮部材３０は、後述する姿勢安定化装置４５を介して撮影支持体２０を支持している。
【００２６】
詳しくは、パノラマ撮影装置本体１０１は、飛行体４０を備えており、伸縮部材３０は、一端部３１が飛行体４０の機体４１に支持されている。
【００２７】
具体的には、飛行体４０は、無人飛行体（ＵＡＶ）とされており、ここでは、無線遠隔操縦される小型無人ヘリコプターとされている。この小型無人ヘリコプターとしては、回転翼（ローター）の数が１つのものであってもよいし、複数の回転翼が機体４１の周りに均等に配設されたマルチコプターであってもよい。マルチコプターとしては、４つの回転翼を有するクアッドコプターや６つの回転翼を有するヘキサコプター或いは８つの回転翼を有するオプトコプターを例示できる。飛行体４０は、ここでは、８つの回転翼４３〜４３を有するオプトコプターとされている。
【００２８】
撮像装置１０〜１０は、ここでは、フルハイビジョン（1,929×1,080の解像度：60プログレッシブ）の小型デジタルビデオカメラとされている。撮像装置１０〜１０としては、さらに高解像度のものを用いることが好ましく、パノラマ動画像の一部を切り出した後の動画像についても、ある程度高解像度となるように、例えば、８Ｋ解像度以上のものを用いることが好ましい。
【００２９】
撮像装置１０〜１０は、撮影対象を全方位的に撮影した動画像のファイルデータを第１外部記録媒体ＭＥ１〜ＭＥ１（図４参照）に保存する構成とされている。第１外部記録媒体ＭＥ１としては、それには限定されないが、代表的にはＳＤ（Secure Digital）メモリカードを例示できる。
【００３０】
撮影支持体２０（図４参照）は、撮像装置１０〜１０により撮影した動画像が所定の撮影面積比率（例えば２５％〜３０％程度）でオーバーラップするように、撮像装置１０〜１０を全方位的に支持するようになっている。
【００３１】
詳しくは、撮影支持体２０は、真上に１台の撮像装置１０を支持し、真下に１台の撮像装置１０を支持し、残りの台数（ここでは１０台）のうち、半分（ここでは５台）の撮像装置１０〜１０が水平面に対して上側に所定の角度θ（例えば３０度程度）で傾斜するように（図４（ａ）参照）、かつ、周方向に均等になるように（図４（ｂ）参照）半分の撮像装置１０〜１０を支持し、同様に、残り半分（ここでは５台）の撮像装置１０〜１０が水平面に対して下側に所定の角度θ（例えば３０度程度）で傾斜するように（図４（ａ）参照）、かつ、周方向に均等になるように（図４（ｂ）参照）残り半分の撮像装置１０〜１０を支持する構成とされている。
【００３２】
伸縮部材３０（図５参照）は、ここでは、いわゆるマジックハンドのような構成とされている。なお、図５では、伸縮部材３０が最も縮んだ状態を示している。
【００３３】
伸縮部材３０は、互いに回動自在に交差した複数対の棒状部材３３ａ〜３３ａの両端部を互いに回動自在に連結した伸縮部３３を備えている。これにより、パノラマ撮影装置１００のコンパクト化を実現することが可能となる。伸縮部材３０は、ここでは、伸長時の長さが１．４ｍ程度とされており、縮小時は伸長時の１０分の１程度にすることができる。
【００３４】
本実施の形態では、伸縮部材３０は、二つの伸縮部３３，３３における棒状部材３３ａ〜３３ａの両端部を、連結部材３４を介して連結させたものとされている。伸縮部材３０は、モーター駆動による巻き上げ機構等の駆動機構により自動的に伸縮できるようになっている。
【００３５】
また、飛行体４０（図２及び図３参照）は、機体４１に対して水平方向に沿った軸線回りに回動自在に設けられて複数（ここでは８つ）の回転翼４３〜４３をそれぞれ支持する複数（ここでは８つ）のアーム部４２〜４２をさらに備えている。アーム部４２〜４２は、水平方向に沿う飛行姿勢（図２参照）と、鉛直方向に沿う折り畳み姿勢（図３参照）との間で折り畳み可能とされている。これにより、飛行するとき以外のときに、飛行体４０のコンパクト化、ひいてはパノラマ撮影装置１００のコンパクト化を実現することが可能となる。アーム部４２〜４２は、先端部において回転翼４３〜４３が、飛行姿勢（図２参照）では回転翼４３〜４３が上を向くように、かつ、折り畳み姿勢（図３参照）では回転翼４３〜４３が外側を向くようにアーム部４２〜４２に対して直角又は略直角に設けられている。
【００３６】
また、飛行体４０は、機体４１に対して水平方向に沿った軸線回りに回動可能に設けられた複数（ここでは２つ）の脚部４４，４４をさらに備えている。脚部４４，４４は、斜め方向に沿う飛行姿勢（図２参照）と、鉛直方向に沿う折り畳み姿勢（図３参照）との間で折り畳み可能とされている。これにより、飛行するとき以外のときに、飛行体４０のコンパクト化、ひいてはパノラマ撮影装置１００のコンパクト化を実現することが可能となる。脚部４４，４４には、先端部において水平方向に沿ったランディングギア４４ａ，４４ａが設けられている。
【００３７】
伸縮部材３０の他端部３２には、飛行中において撮像装置１０〜１０を支持した撮影支持体２０の姿勢を水平に維持する姿勢安定化装置４５（いわゆるスタビライザー）（後述する図６及び図７参照）が設けられている
図６及び図７は、撮影支持体２０を保持した姿勢安定化装置４５を模式的に示す概略構成図である。図６（ａ）は、その正面図であり、図６（ｂ）は、その側面図である。また、図７（ａ）は、機体４１がローリング方向Ｖに傾いた状態での伸縮部材３０と姿勢安定化装置４５との位置関係を示す正面図であり、図７（ｂ）は、機体４１がピッチング方向Ｕに傾いた状態での伸縮部材３０と姿勢安定化装置４５との位置関係を示す側面図である。
【００３８】
撮影支持体２０は、姿勢安定化装置４５における支持部材（具体的には支持フレーム）４５１に回動自在に支持されている。姿勢安定化装置４５は、伸縮部材３０の下部に設けられており（図７参照）、支持部材４５１を備えている。支持部材４５１は、伸縮部材３０に対して、所定の第１水平方向に沿った第１回転軸線Ａ（具体的には回転軸４５１ａ）回りに回転自在に設けられている。撮影支持体２０は、支持部材４５１に対して、第１水平方向に直交する第２水平方向に沿った第２回転軸線Ｂ（具体的には回転軸４５１ｂ）回りに回転自在に設けられている。
【００３９】
そして、撮影支持体２０は、真下に設けられた撮像装置１０のレンズ２２が下方を向くように、支持部材４５１に対して着脱可能に設けられている。ここで、図６及び図７中の符号Ｃで示す点は、撮影支持体２０の中心である撮像中心Ｃとなっており、支持部材４５１の構成だけを考えた場合において第２回転軸線Ｂ回りに機体４１が傾いても撮像中心Ｃがズレないようにするために、第２回転軸線Ｂと撮像中心Ｃとを合致させている。
【００４０】
かかる構成を備えた姿勢安定化装置４５では、正面から見た時（図７（ａ）参照）、機体４１がたとえ第１回転軸線Ａ回りの回転方向であるローリング方向Ｖ（左右方向）に傾いたとしても、支持部材４５１は、機体４１に対して第１回転軸線Ａを中心に相対的に回転することができると共に、側面から見た時（図７（ｂ）参照）、機体４１がたとえ第２回転軸線Ｂ回りの回転方向であるピッチング方向Ｕ（上下方向）に傾いたとしても、撮影支持体２０は、支持部材４５１に対して第２回転軸線Ｂを中心に相対的に回転することができる。これにより、機体４１がたとえローリング方向Ｖ及び／又はピッチング方向Ｕに傾いたとしても、支持部材４５１を介して機体４１に支持された撮影支持体２０を水平に保つことが可能となる。
【００４１】
（パノラマ撮影装置によるパノラマ撮影）
以上説明したパノラマ撮影装置１００によりパノラマ撮影を行うのであるが、このパノラマ撮影を行うにあたって、各撮像装置１０〜１０の動画像における撮影開始のコマを合わせる必要がある。
【００４２】
撮影開始のコマを合わせる手法は各種考えられるが、ここでは、先ず、各撮像装置１０〜１０の全てに対して、点灯／消灯可能な複数の光源（好ましくは発光ダイオード素子）を写り込むようにし、次に、各光源を点灯し、各撮像装置１０〜１０の撮影スイッチを同時にオンした後、各光源を同時に消灯する。こうすることで、各光源が点灯又は消灯したときのコマを撮影開始のコマとすることができる。なお、各撮像装置１０〜１０は、何れも同じ撮影速度（例えば６０コマ／秒）とされている。
【００４３】
そして、飛行体４０を飛行させ、各撮像装置１０〜１０の撮影を開始する。撮影された動画像のファイルデータは、各撮像装置１０〜１０において第１外部記録媒体ＭＥ１〜ＭＥ１に記録される。
【００４４】
各撮像装置１０〜１０の撮影が終了すると、各撮像装置１０〜１０から第１外部記録媒体ＭＥ１〜ＭＥ１（図４参照）を取り外し、第１外部記録媒体ＭＥ１〜ＭＥ１に記録された動画像のファイルデータをパノラマ動画像生成装置として作用するコンピュータ２００（後述する図８及び図９参照）に取り込む。
【００４５】
（コンピュータの構成）
図８は、コンピュータ２００の概略斜視図であり、図９は、コンピュータ２００のシステム構成を示すブロック図である。
【００４６】
コンピュータ２００（具体的にはパーソナルコンピュータ）は、外部装置（マンマシンインタフェース）として、キーボードやポインティングデバイス等を含む入力部２１０と、ディスプレイ等の表示部２２０とを備えている。
【００４７】
また、コンピュータ２００は、図９に示すように、内部装置として、市販のアプリケーションソフトウェアＡＰや後述するパノラマ動画像補正プログラムＰａ〜Ｐｃを実行したり、各種の演算処理を実行したりする各種の処理を実行する制御部２３０と、記憶部２４０と、第１読み取り部２５０と、第２読み取り部２６０とを備えている。
【００４８】
制御部２３０は、表示部２２０に対し、各種の入力画面を表示し、ユーザが入力部２１０を操作して必要な情報の入力を受ける。
【００４９】
記憶部２４０は、ＲＡＭ等の揮発メモリ２４１及びハードディスク装置やフラッシュメモリ等の不揮発メモリ２４２を含んでいる。
【００５０】
揮発メモリ２４１は、制御部２３０により演算処理等の各種の処理を実行する際にワークメモリ等として適宜使用される。
【００５１】
第１読み取り部２５０は、市販のアプリケーションソフトウェアＡＰやパノラマ動画像補正プログラムＰａが記録されたＣＤ（Compact Disc）−ＲＯＭ等の記録媒体Ｍを読み取るようになっている。不揮発メモリ２４２には、第１読み取り部２５０によって読み取られた市販のアプリケーションソフトウェアＡＰやパノラマ動画像補正プログラムＰａ〜Ｐｃを含むソフトウェアが予め格納（インストール）される。なお、記録媒体Ｍは、ＵＳＢ（Universal Serial Bus）メモリやＳＤ（Secure Digital）メモリカードであってもよい。また、市販のアプリケーションソフトウェアＡＰやパノラマ動画像補正プログラムＰａ〜Ｐｃは、インターネット回線を通じてダウンロードされたものであってもよい。
【００５２】
また、第２読み取り部２６０は、撮像装置１０〜１０で撮影した動画像のファイルデータを記録した第１外部記録媒体ＭＥ１を読み取るようになっている。不揮発メモリ２４２には、第２読み取り部２６０によって読み取られた動画像のファイルデータが格納される。
【００５３】
（パノラマ動画像の生成）
パノラマ動画像は、撮像装置１０〜１０から第１外部記録媒体ＭＥ１〜ＭＥ１を介して取り込まれた動画像のファイルデータにより市販のアプリケーションソフトウェアＡＰを用いて生成することができる。これにより、全方位的に撮影した複数の動画像から生成されたパノラマ動画像を得ることができる。ここでは、アプリケーションソフトウェアＡＰを用いてパノラマ動画像を生成するにあたって、撮影した各撮像装置１０〜１０の動画像のファイルデータにおいて、光源が点灯又は消灯したときのコマを撮影開始のコマとすることで、各撮像装置１０〜１０の動画像の撮影開始タイミングを一致させている。
【００５４】
かかるアプリケーションソフトウェアＡＰによるパノラマ動画像の生成については、従来公知の手法を用いることができ、ここでは詳しい説明を省略する。アプリケーションソフトウェアＡＰとしては、それには限定されないが、例えば、Ｋｏｌｏｒ社製の「Ａｕｔｏｐａｎｏ  Ｖｉｄｅｏ」を用いることができる。
【００５５】
（撮影揺れによる画像揺れについて）
ところで、パノラマ動画像においては、撮影揺れ（例えば、撮像装置１０〜１０の撮影時の揺動や振動等の撮影揺れ）による画像揺れが発生することがある。
【００５６】
図１０から図１３は、撮像装置１０〜１０により動画像を撮影する際の撮影揺れを説明するための説明図である。
【００５７】
撮像装置１０〜１０により動画像を撮影する際の撮影揺れは、全方位の撮影対象Ｓａを表した球体（天球）Ｑ１の中心に撮像装置１０〜１０を支持した撮影支持体２０を配置し、撮影支持体２０の撮影姿勢を変化させた時の撮影画像を示すことで、理解しやすくなる。
【００５８】
図１０（ａ）は、全方位の撮影対象Ｓａを表した球体Ｑ１の中心に配置した撮影支持体２０の撮影姿勢が水平にあるときの撮影状態を示している。図１０（ｂ）は、図１０（ａ）に示す破線部分の撮影画像を示している。図１１（ａ）は、図１０（ａ）に示す撮影支持体２０の撮影姿勢に対して撮影支持体２０がピッチング方向Ｕにおけるピッチ変位角度αで傾斜したときの撮影状態を示している。図１１（ｂ）は、図１１（ａ）に示す破線部分の撮影画像を示している。図１２（ａ）は、図１０（ａ）に示す撮影支持体２０の撮影姿勢に対して撮影支持体２０がローリング方向Ｖにおけるロール変位角度βで傾斜したときの撮影状態を示している。図１２（ｂ）は、図１２（ａ）に示す破線部分の撮影画像を示している。図１３（ａ）は、図１０（ａ）に示す撮影支持体２０の撮影姿勢に対して撮影支持体２０がヨーイング方向Ｗにおけるヨー変位角度γで回転したときの撮影状態を示している。図１３（ｂ）は、図１３（ａ）に示す破線部分の撮影画像を示している。
【００５９】
＜撮影支持体が水平姿勢の場合＞
図１０（ａ）に示す撮影支持体２０の撮影姿勢は水平な姿勢となっている。この場合、図１０（ｂ）に示すように、破線部分の撮影画像の水平線（地平線）ＨＬは、そのまま水平とされる。
【００６０】
＜撮影支持体がピッチング方向に傾斜した撮影姿勢の場合＞
図１１（ａ）に示す撮影支持体２０の撮影姿勢は、水平に対してピッチング方向Ｕにピッチ変位角度α（この例では２５度）で前後が上又は下（この例では前方が上、後方が下）になるように傾斜した姿勢となっている。この場合、図１１（ｂ）に示すように、破線部分の撮影画像は、水平線ＨＬが中央部で上がる又は下がり（この例では中央部で下がり）、両側で下がる又は上がる（この例では両側で上がる）ように湾曲する撮影画像となる。
【００６１】
＜撮影支持体がローリング方向に傾斜した撮影姿勢の場合＞
図１２（ａ）に示す撮影支持体２０の撮影姿勢は、水平に対してローリング方向Ｖにロール変位角度β（この例では２５度）で右左が上又は下（この例では右方が下、左方が上）になるように傾斜した姿勢となっている。この場合、図１２（ｂ）に示すように、破線部分の撮影画像は、水平線ＨＬが中央を境に両側で上下する（この例では右方で上、左方で下になる）ように湾曲する撮影画像となる。
【００６２】
＜撮影支持体がヨーイング方向に回転した撮影姿勢の場合＞
図１３（ａ）に示す撮影支持体２０の撮影姿勢は、図１０（ａ）に示す撮影支持体２０の撮影姿勢に対して鉛直方向に沿った第３回転軸線回りの回転方向であるヨーイング方向Ｗにヨー変位角度γ（この例では９０度）で時計回り又は反時計回り（この例では時計回り）に回転した姿勢となっている。この場合、図１３（ｂ）に示すように、破線部分の撮影画像は、水平線ＨＬが水平とされ、図１０（ａ）に示す撮影画像の全方位の撮影対象Ｓａが左方向又は右方向（この例では左方向）にずれる撮影画像となる。
【００６３】
すなわち、撮像装置１０〜１０は、撮影揺れが発生すると、撮影支持体２０がピッチング方向Ｕの傾斜、ローリング方向Ｖの傾斜及びヨーイング方向Ｗの回転のうち少なくとも一つが組み合わされた撮影姿勢となって撮影することになる。このようにして、撮影揺れがある状態で撮影された複数の動画を用いて生成したパノラマ動画像を再生すると、非常に見にくい再生画像となる。
【００６４】
図１４は、撮影揺れのある状態で撮影されたパノラマ動画像ＰＶを再生したときの再生画像の画像揺れを説明するための説明図である。
【００６５】
撮影揺れのある状態で撮影された複数の動画を用いて生成したパノラマ動画像ＰＶを再生したときの再生画像の画像揺れは、全方位にパノラマ画像を構成した球体Ｑ２の中心に人ＨＭを配置することで、理解しやすくなる。
【００６６】
図１４（ａ）は、全方位にパノラマ画像を構成した球体Ｑ２の中心に配置した人ＨＭが破線部分の再生画像を見ている状態を示している。図１４（ｂ）は、図１４（ａ）に示す破線部分に再生された再生画像において撮影支持体２０の撮影姿勢が図１１（ａ）、図１２（ａ）及び図１３（ａ）に示す姿勢を組み合わせた姿勢のときの画像を示している。
【００６７】
撮影支持体２０の撮影姿勢が図１０（ａ）に示す姿勢のときには、パノラマ動画像ＰＶは、ピッチング方向Ｕ、ローリング方向Ｖ及びヨーイング方向Ｗの何れにもずれていない。
【００６８】
この場合、パノラマ画像を構成した球体Ｑ２の図１４（ａ）に示す破線部分に映し出される再生画像は、水平線ＨＬがそのまま水平とされた画像（図１０（ｂ）参照）になる。
【００６９】
一方、撮影支持体２０の撮影姿勢が図１０（ａ）に示す姿勢から、図１１（ａ）から図１３（ａ）に示す姿勢のうち少なくとも一つの姿勢（この例では図１１（ａ）から図１３（ａ）に示す姿勢全てを組み合わせた姿勢）に変化したときには、パノラマ動画像ＰＶは、ピッチング方向Ｕ、ローリング方向Ｖ及びヨーイング方向Ｗのうち少なくとも一つの方向に変位した変位量（例えば、ピッチ変位角度α、ロール変位角度β、ヨー変位角度γのうち少なくとも一つの角度、この例では全ての方向の変位量）だけずれる。
【００７０】
この場合、パノラマ画像を構成した球体Ｑ２の図１４（ａ）に示す破線部分に映し出される再生画像は、中央部で上がる又は下がる（この例では中央部で下がる）ように湾曲する画像と、中央を境に両側で上下する（この例では左方で下、右方で上になる）ように湾曲する画像と、全方位の撮影対象Ｓａが左方向又は右方向（この例では左方向）にずれた画像とのうち、少なくとも一つの画像（この例ではこれら３つの画像）を組み合わせた画像（図１４（ｂ）参照）になる。
【００７１】
そこで、本第１実施形態では、図１４（ａ）に示す変位量（例えば、ピッチ変位角度α、ロール変位角度β、ヨー変位角度γ）の各コマにおける変動を平滑化することで、見やすい再生画像にするパノラマ動画像ＰＶの補正を行う。
【００７２】
（パノラマ動画像の補正）
パノラマ動画像ＰＶの補正は、第１実施形態に係るパノラマ動画像補正プログラムＰａの各ステップをコンピュータ２００（図８及び図９参照）に実行させることで行う。
【００７３】
＜第１実施形態に係るプログラムのソフトウェア構成＞
図１５は、図８及び図９に示すコンピュータ２００における制御部２３０において第１実施形態に係るパノラマ動画像補正プログラムＰａを実行する制御構成の一例を示す概略構成図である。
【００７４】
第１実施形態に係るパノラマ動画像補正プログラムＰａは、特徴点認識ステップと、ピッチ変位検出ステップと、ロール変位検出ステップと、ヨー変位検出ステップと、変動補正ステップとを含む各ステップを制御部２３０に実行させる。すなわち、制御部２３０は、特徴点認識手段Ｐ１と、ピッチ変位検出手段Ｐ２と、ロール変位検出手段Ｐ３と、ヨー変位検出手段Ｐ４と、変動補正手段Ｐ５とを含む各手段として機能するようになっている。
【００７５】
以下に、パノラマ動画像ＰＶの隣り合うコマ間における特徴点の変位量（この例では、ピッチ変位角度α、ロール変位角度β、ヨー変位角度γ）の変動を平滑化する図１６に示す処理例のフローチャートについて、図１７から図２２を参照しながら説明する。
【００７６】
図１６は、パノラマ動画像ＰＶの隣り合うコマ間における特徴点の変位量の変動を第１実施形態に係るパノラマ動画像補正プログラムＰａにより平滑化する平滑化処理の一例を示すフローチャートである。
【００７７】
（特徴点の認識）
制御部２３０は、先ず、パノラマ動画像ＰＶのうち隣り合うコマ間において特徴点を特徴点認識手段Ｐ１により認識する（ステップＳ１１）。
【００７８】
図１７は、パノラマ動画像ＰＶのうち一のコマにおいてユーザにより注目すべき１又は複数箇所の画像部分が指定される指定画面Ｇａを示している。
【００７９】
詳しくは、特徴点認識手段Ｐ１は、先ず、パノラマ動画像ＰＶにおいてユーザにより指定された一のコマのパノラマ画像を表示する（図１７参照）。
【００８０】
次に、特徴点認識手段Ｐ１は、図１７に示す一のコマのパノラマ画像においてユーザにより指定された１又は複数箇所の画像部分の範囲Ｒ１，Ｒ２を受け付ける。なお、図１７に示す例では、複数箇所の画像部分の範囲Ｒ１，Ｒ２が指定された状態（具体的には指定画面Ｇａ内において注目すべき２つの撮影対象Ｓを枠で囲んだ状態）を示している。
【００８１】
図１８は、パノラマ動画像ＰＶのうち隣り合うコマ間における特徴点Ｈの認識を説明するための説明図である。図１８（ａ）は、一のコマのパノラマ画像を示しており、図１８（ｂ）は、次のコマのパノラマ画像を示している。
【００８２】
次に、特徴点認識手段Ｐ１は、指定された複数の画像部分の範囲Ｒ１，Ｒ２において、所定の認識処理を行う。かかる認識処理としては、それには限定されないが、例えば、２値化処理を行って撮影対象Ｓの輪郭部分を抽出し、得られた輪郭分部において一のコマ（図１８（ａ）参照）と次のコマ（図１８（ｂ）参照）との間で一致するとみなせる部分を特徴点Ｈ（Ｈ１，Ｈ２）として認識する認識処理を例示できる。かかる認識処理は、従来公知の各種の手法により行うことができ、ここでは詳しい説明は省略する。
【００８３】
（特徴点の変位量の検出）
次に、制御部２３０は、隣り合うコマ間において特徴点認識手段Ｐ１にて認識した特徴点Ｈ（Ｈ１，Ｈ２）のピッチング方向Ｕにおける変位量であるピッチ変位量としてピッチ変位角度αをピッチ変位検出手段Ｐ２により検出し（ステップＳ１２）（図１６参照）、隣り合うコマ間において特徴点認識手段Ｐ１にて認識した特徴点Ｈ（Ｈ１，Ｈ２）のローリング方向Ｖにおける変位量であるロール変位量としてロール変位角度βをロール変位検出手段Ｐ３により検出し（ステップＳ１３）（図１６参照）、隣り合うコマ間において特徴点認識手段Ｐ１にて認識した特徴点Ｈ（Ｈ１，Ｈ２）のヨーイング方向Ｗにおける変位量であるヨー変位量としてヨー変位角度γをヨー変位検出手段Ｐ４により検出する（ステップＳ１４）（図１６参照）。
【００８４】
これらピッチ変位角度α、ロール変位角度β及びヨー変位角度γは、パノラマ画像を構成した球体Ｑ２（図１４（ａ）参照）の球面上における２点間の変位量として説明することができる。そして、球体Ｑ２の球面上における２点間の変位量は、従来公知の座標回転公式を用いて算出することができる。
【００８５】
図１９及び図２０は、座標回転公式を説明するための説明図である。図１９は、右手系３次元直交座標（ｘ，ｙ，ｚ）に対してｘ軸回りにピッチ変位角度αだけ回転させた座標（Ｘ，Ｙ，Ｚ）の斜視図を示しており、図２０は、図１９に示す座標（ｘ，ｙ，ｚ）に対してｘ軸回りにピッチ変位角度αだけ回転させた座標（Ｘ，Ｙ，Ｚ）をｘ軸方向から見た座標を示している
図１９に示す座標（ｘ，ｙ，ｚ）に対して、図２０に示すように、ｘ軸回りに（ピッチング方向Ｕに）ピッチ変位角度αだけ回転させた座標を（Ｘ，Ｙ，Ｚ）とすると、点Ｍの座標（Ｘ，Ｙ，Ｚ）の値は、座標（ｘ，ｙ，ｚ）とピッチ変位角度αとを用いると、例えば、以下の式（１）に示すように表される。ここで、右手系３次元直交座標の場合、反時計回りを正としている。
【００８６】
【数１】
2015023470.tif 000003
【００８７】
同様に、ｙ軸回りに（ローリング方向Ｖに）ロール変位角度βだけ回転させた場合、及び、ｚ軸回りに（ヨーイング方向Ｗに）ヨー変位角度γだけ回転させた場合については、例えば、以下の式（２）及び式（３）に示すようにそれぞれ表される。
【００８８】
【数２】
2015023470.tif 000004
【００８９】
【数３】
2015023470.tif 000005
【００９０】
そして、ピッチ変位角度α、ロール変位角度β及びヨー変位角度γは、式（１）、式（２）及び式（３）を三角関数の合成公式（この例ではｓｉｎ：正接での合成公式）を用いて変形することで、以下の式（４）、式（５）及び式（６）に示すようにそれぞれ表すことができる。
【００９１】
【数４】
2015023470.tif 000006
【００９２】
【数５】
2015023470.tif 000007
【００９３】
【数６】
2015023470.tif 000008
【００９４】
このようにして、特徴点Ｈ（Ｈ１，Ｈ２）の変位量としてピッチ変位角度α、ロール変位角度β、ヨー変位角度γが得られるのであるが、図１７に示す例のように、画像部分の範囲が複数箇所指定されている場合には、特徴点Ｈ（Ｈ１，Ｈ２）の変位量としてピッチ変位角度α、ロール変位角度β、ヨー変位角度γが複数得られる。この場合、本第１実施形態では、特徴点Ｈは、得られた複数の特徴点Ｈ１，Ｈ２の変位量としてピッチ変位角度α、ロール変位角度β、ヨー変位角度γの平均を取っている。
【００９５】
次に、制御部２３０は、変動補正手段Ｐ５により、ピッチ変位検出手段Ｐ２にて検出したピッチ変位角度α（ｈ）に基づいて、パノラマ動画像ＰＶの各コマにおけるピッチ変位角度α（ｈ）の変動を平滑化するようにパノラマ動画像ＰＶのピッチング方向Ｕにおけるピッチ変位量（具体的にはピッチング方向Ｕにおける画素の座標）を補正するか、或いは／さらに、ロール変位検出手段Ｐ３にて検出したロール変位角度β（ｈ）に基づいて、パノラマ動画像ＰＶの各コマにおけるロール変位角度β（ｈ）の変動を平滑化するようにパノラマ動画像ＰＶのローリング方向Ｖにおけるロール変位量（具体的にはローリング方向Ｖにおける画素の座標）を補正するか、或いは／さらに、ヨー変位検出手段Ｐ４にて検出したヨー変位角度γ（ｈ）に基づいて、パノラマ動画像ＰＶの各コマにおけるヨー変位角度γ（ｈ）の変動を平滑化するようにパノラマ動画像ＰＶのヨーイング方向Ｗにおけるヨー変位量（具体的にはヨーイング方向Ｗにおける画素の座標）を補正する（ステップＳ１５）（図１６参照）。ここで、ｈは、パノラマ動画像ＰＶの各コマのコマ番目を表す値であり、１〜総コマ数ｔまでの整数である。ピッチ変位角度α（ｈ）は、ｈの値を添え字としたピッチ変位角度αの配列を意味し、ロール変位角度β（ｈ）は、ｈの値を添え字としたロール変位角度βの配列を意味し、ヨー変位角度γ（ｈ）は、ｈの値を添え字としたヨー変位角度γの配列を意味する。
【００９６】
なお、図１６において、ステップＳ１２、ステップＳ１３、ステップＳ１４は、ステップＳ１１の後で、かつ、ステップＳ１５の前であれば、順序は任意である。
【００９７】
＜平滑化処理の具体例＞
図２１は、ピッチ変位検出手段Ｐ２、ロール変位検出手段Ｐ３及びヨー変位検出手段Ｐ４にて検出した特徴点Ｈの変位量の各コマにおける変動状態を概略的に示すグラフである。図２１（ａ）は、ピッチ変位角度α（ｈ）の各コマにおける変動状態を示しており、図２１（ｂ）は、ロール変位角度β（ｈ）の各コマにおける変動状態を示しており、図２１（ｃ）は、ヨー変位角度γ（ｈ）の各コマにおける変動状態を示している。
【００９８】
なお、図２１において、実線は特徴点Ｈの変位量の変動を平滑化する前の変動状態を示しており、破線は特徴点Ｈの変位量の変動を平滑化した後の変動状態を示している。
【００９９】
本第１実施形態の平滑化処理において、図２１（ａ）に示すピッチ変位では、変動補正手段Ｐ５により、各コマのピッチ変位角度α（ｈ）を所定の数式に代入することで、図２１（ａ）に示す破線の近似曲線を得るようになっている。図２１（ｂ）に示すロール変位では、変動補正手段Ｐ５により、各コマのロール変位角度β（ｈ）を所定の数式に代入することで、図２１（ｂ）に示す破線の近似曲線を得るようになっている。図２１（ｃ）に示すヨー変位では、変動補正手段Ｐ５により、各コマのヨー変位角度γ（ｈ）を所定の数式に代入することで、図２１（ｃ）に示す破線の近似曲線を得るようになっている。
【０１００】
本第１実施形態では、ピッチ変位角度α（ｈ）を代入する所定の数式、ロール変位角度β（ｈ）を代入する所定の数式、及び、ヨー変位角度γ（ｈ）を代入する所定の数式は、最小二乗法によるｎ次元の近似式（ｎは２以上の整数）とされている。ここで、ｎの値は、ユーザにより任意に設定可能とされている。なお、ピッチ変位角度α（ｈ）を代入する所定の数式、ロール変位角度β（ｈ）を代入する所定の数式、及び、ヨー変位角度γ（ｈ）を代入する所定の数式は、何れも同じ数式であってもよいし、互いに異なる数式であってもよい。
【０１０１】
そして、変動補正手段Ｐ５は、補正する前の画素の座標（ｘ，ｙ，ｚ）と、特徴点Ｈの変動が平滑化された変位量（具体的には、ピッチ変位角度α１（ｈ）、ロール変位角度β１（ｈ）、ヨー変位角度γ１（ｈ））とを以下の式（７）に代入することで、平滑化した後の画素の座標（Ｘ，Ｙ，Ｚ）を得るようになっている。これにより、パノラマ動画像ＰＶを補正することができる。
【０１０２】
【数７】
2015023470.tif 000009
【０１０３】
ところで、変位量（例えば、ピッチ変位角度α（ｈ）、ロール変位角度β（ｈ）、ヨー変位角度γ（ｈ））の変動を平滑化する前において、検出した特徴点Ｈの変位量が大きすぎる場合（例えば撮影対象Ｓ自身が動いている場合など）には、撮影揺れではないとみなすことができる。
【０１０４】
従って、本第１実施形態では、変動補正手段Ｐ５は、ピッチ変位検出手段Ｐ２にて検出したピッチ変位角度α（ｈ）のうち所定閾値以内のピッチ変位角度を抽出し、抽出したピッチ変位角度から、パノラマ動画像ＰＶの各コマにおけるピッチ変位角度の変動を平滑化するようにパノラマ動画像ＰＶのピッチ変位量（具体的にはピッチング方向Ｕにおける画素の座標）を補正する。こうすることで、変動補正手段Ｐ５は、ピッチ変位検出手段Ｐ２にて検出したピッチ変位角度α（ｈ）から、撮影揺れではないとみなせるピッチ変位角度を補正対象から除外することができる。
【０１０５】
また、変動補正手段Ｐ５は、ロール変位検出手段Ｐ３にて検出したロール変位角度β（ｈ）のうち所定閾値以内のロール変位角度を抽出し、抽出したロール変位角度から、パノラマ動画像ＰＶの各コマにおけるロール変位角度の変動を平滑化するようにパノラマ動画像ＰＶのロール変位量（具体的にはローリング方向Ｖにおける画素の座標）を補正する。こうすることで、変動補正手段Ｐ５は、ロール変位検出手段Ｐ３にて検出したロール変位角度β（ｈ）から、撮影揺れではないとみなせるロール変位角度を補正対象から除外することができる。
【０１０６】
また、変動補正手段Ｐ５は、ヨー変位検出手段Ｐ４にて検出したヨー変位角度γ（ｈ）のうち所定閾値以内のヨー変位角度を抽出し、抽出したヨー変位角度から、パノラマ動画像ＰＶの各コマにおけるヨー変位角度の変動を平滑化するようにパノラマ動画像ＰＶのヨー変位量（具体的にはヨーイング方向Ｗにおける画素の座標）を補正する。こうすることで、変動補正手段Ｐ５は、ヨー変位検出手段Ｐ４にて検出したヨー変位角度γ（ｈ）から、撮影揺れではないとみなせるヨー変位角度を補正対象から除外することができる。
【０１０７】
ここで、ピッチ変位角度α（ｈ）の所定閾値、ロール変位角度β（ｈ）の所定閾値、及び、ヨー変位角度γ（ｈ）の所定閾値は、パラメータとしてユーザにより任意に設定可能とされている。なお、ピッチ変位角度α（ｈ）の所定閾値、ロール変位角度β（ｈ）の所定閾値、及び、ヨー変位角度γ（ｈ）の所定閾値は、互いに異なる値とされていてもよいし、何れも同じ値とされていてもよい。
【０１０８】
図２２は、パノラマ動画像ＰＶの全方位を表示する全体画面Ｇ１と、パノラマ動画像ＰＶの指定された複数の画像部分の範囲Ｒ１，Ｒ２をそれぞれ表示する複数の指定画面Ｇ２，Ｇ３とを用いてパノラマ動画像ＰＶを補正するユーザインタフェースを示す表示画面Ｇｂを示している。
【０１０９】
ユーザは、図２２に示すように、パノラマ動画像ＰＶの全方位を表示する全体画面Ｇ１、パノラマ動画像ＰＶの指定された複数箇所（ここでは２箇所）の画像部分の範囲Ｒ１，Ｒ２をそれぞれ表示する複数（ここでは２つ）の指定画面Ｇ２，Ｇ３を見ながら、ピッチ変位角度α（ｈ）、ロール変位角度β（ｈ）、ヨー変位角度γ（ｈ）の所定閾値を適宜変更したり、ｎをパラメータとするピッチ変位角度α（ｈ）、ロール変位角度β（ｈ）、ヨー変位角度γ（ｈ）のｎ次元の近似式に対するｎの値を適宜変更したりして、パノラマ動画像ＰＶの隣り合うコマ間における特徴点Ｈの変位量としてピッチ変位角度α（ｈ）、ロール変位角度β（ｈ）、ヨー変位角度γ（ｈ）の変動が所望の平滑化状態になるようにパノラマ動画像ＰＶを繰り返し補正する。また、特徴点Ｈの変位量としてピッチ変位角度α（ｈ）、ロール変位角度β（ｈ）、ヨー変位角度γ（ｈ）を常にゼロにする補正を行ってもよい。このように、ピッチ変位角度α（ｈ）及びロール変位角度β（ｈ）を常にゼロにすると、撮影支持体２０の撮影姿勢が常に水平な再生画像とし、ヨー変位角度γ（ｈ）をゼロにすると、常に所定方向を向いたような再生画像とすることができる。
【０１１０】
すなわち、特徴点Ｈの変位量としてピッチ変位角度α（ｈ）、ロール変位角度β（ｈ）、ヨー変位角度γ（ｈ）の変動の平滑化の程度を適宜変更することができる。
【０１１１】
例えば、Ｆ１（フォーミュラ１）のレーシングカーに撮像装置１０〜１０を搭載したとする。Ｆ１のコースにはカント（カーブでの道路の傾き）がある。このような場合、特徴点Ｈの変位量としてピッチ変位角度α（ｈ）、ロール変位角度β（ｈ）を常にゼロにして、パノラマ動画像ＰＶを水平線ＨＬが常に歪まないような補正にしてしまうと、レーシングカーが常に水平に保たれているような画像となり違和感がある。よって、ヨー変位角度γ（ｈ）に対するブレの補正と、ピッチ変位角度α（ｈ）、ロール変位角度β（ｈ）に対する微振動分の補正とを行うことが望ましい。
【０１１２】
一方、大型の船に撮像装置１０〜１０を搭載したとする。基本的に大型の船は、通常は、水平に移動するものである。仮に波で揺れたとしても、高波の臨場感を出すといったことでなければ、画像は水平の方が見やすいので、特徴点Ｈの変位量としてピッチ変位角度α（ｈ）、ロール変位角度β（ｈ）、ヨー変位角度γ（ｈ）の全てをゼロにする補正を行うことが望ましい。
【０１１３】
そして、特徴点Ｈの変位量としてピッチ変位角度α（ｈ）、ロール変位角度β（ｈ）、ヨー変位角度γ（ｈ）の変動が所望の平滑化状態になると、パノラマ動画像ＰＶの補正を確定する。
【０１１４】
［第２実施形態］
図２３は、第２実施形態に用いられるパノラマ撮影装置１００における制御装置６０を中心に示す概略ブロック図である。
【０１１５】
第２実施形態に用いられるパノラマ撮影装置１００は、第１実施形態に係るパノラマ撮影装置１００において、３軸の角度（角速度）と加速度を検出するＩＭＵ５０（Inertial Measurement Unit：総合慣性運動計測装置）と、制御装置６０と、出力部７０とをさらに備えている。
【０１１６】
第２実施形態において、第１実施形態と実質的に同じ構成要素には同一符号を付し、その説明を省略する。
【０１１７】
第２実施形態に用いられるパノラマ撮影装置１００は、いわば、第１実施形態における特徴点認識手段Ｐ１、ピッチ変位検出手段Ｐ２、ロール変位検出手段Ｐ３及びヨー変位検出手段Ｐ４の代わりに、ＩＭＵ５０、制御装置６０及び出力部７０を備えたものである。すなわち、第１実施形態では、コンピュータ２００側において特徴点認識手段Ｐ１、ピッチ変位検出手段Ｐ２、ロール変位検出手段Ｐ３及びヨー変位検出手段Ｐ４によりパノラマ動画像ＰＶから特徴点Ｈの変位量としてピッチ変位角度α（ｈ）、ロール変位角度β（ｈ）、ヨー変位角度γ（ｈ）を取得したが、本第２実施形態では、パノラマ撮影装置１００側においてＩＭＵ５０、制御装置６０及び出力部７０により撮影姿勢の変位量としてピッチ変位角度α（ｈ）、ロール変位角度β（ｈ）、ヨー変位角度γ（ｈ）を取得する。
【０１１８】
詳しくは、ＩＭＵ５０は、撮影開始のコマのタイミングと同期するタイミングで計測を開始するようになっている。そして、ＩＭＵ５０は、撮影支持体２０に設けられており、撮像装置１０の撮影コマ間時間毎に、ピッチング方向Ｕにおけるピッチ変位量としてピッチ変位角度α（ｈ）を、ローリング方向Ｖにおけるロール変位量としてロール変位角度β（ｈ）を、ヨーイング方向Ｗにおけるヨー変位量としてヨー変位角度γ（ｈ）を出力するようになっている。ここで、撮影コマ間時間とは、撮影時での隣り合うコマ間の時間であり、撮像装置１０の撮影速度の逆数をとった値である。例えば、撮像装置１０の撮影速度が６０コマ／秒の場合には、撮影コマ間時間は１／６０秒となる。
【０１１９】
具体的には、ＩＭＵ５０は、撮影コマ間時間毎にピッチング方向Ｕにおけるピッチ絶対角度（例えば水平に対する角度）を検出するピッチ絶対角度検出手段と、撮影コマ間時間毎にローリング方向Ｖにおけるロール絶対角度（例えば水平に対する角度）を検出するロール絶対角度検出手段と、撮影コマ間時間毎にヨーイング方向Ｗにおけるヨー絶対角度（例えば基準方向に対する角度）を検出するヨー絶対角度検出手段と、ピッチ絶対角度検出手段にて検出したピッチ絶対角度の隣り合うコマ間のピッチ絶対角度の差分（ピッチ変位角度α）をピッチング方向Ｕにおけるピッチ変位量として演算するピッチ変位演算手段と、ロール絶対角度検出手段にて検出したロール絶対角度の隣り合うコマ間のロール絶対角度の差分（ロール変位角度β）をローリング方向Ｖにおけるロール変位量として演算するロール変位演算手段と、ヨー絶対角度検出手段にて検出したヨー絶対角度の隣り合うコマ間のヨー絶対角度の差分（ヨー変位角度γ）をヨーイング方向Ｗにおけるヨー変位量として演算するヨー変位演算手段と、ピッチ変位演算手段にて演算したピッチ変位量、ロール変位演算手段にて演算したロール変位量、及び、ヨー変位演算手段にて演算したヨー変位量を出力する変位出力手段とを備える。
【０１２０】
制御装置６０は、ＲＯＭ（Read Only Memory）や電気的書き換え可能な不揮発ＲＯＭ等の不揮発メモリ６１ａ、ＲＡＭ（Random Access Memory）等の揮発メモリ６１ｂを含む記憶部６１と、ＣＰＵ（Central Processing Unit）等のマイクロコンピュータからなる処理部６２と、出力部（具体的には書き込み部）７０とを備えている。制御装置６０及び出力部７０は、機体４１に設けられている。撮像装置１０〜１０、ＩＭＵ５０及び出力部７０は、制御装置６０に電気的に接続されている。
【０１２１】
制御装置６０は、処理部６２が記憶部６１の不揮発メモリ６１ａにおけるＲＯＭに予め格納された制御プログラムを記憶部６１の揮発メモリ６１ｂにおけるＲＡＭ上にロードして実行することにより、各種構成要素の作動制御を行うようになっている。
【０１２２】
制御装置６０は、撮像装置１０〜１０の撮影開始のコマのタイミングと同期するタイミング（この例では撮像装置１０〜１０に写った光源が点灯又は消灯したタイミングの信号が入力されるようになっていて光源が点灯又は消灯したタイミング）の信号が入力されてＩＭＵ５０に出力するようになっている。
【０１２３】
制御装置６０は、撮像装置１０の撮影コマ間時間毎に、ＩＭＵ５０から出力された撮影姿勢のピッチ変位量、ロール変位量及びヨー変位量としてそれぞれピッチ変位角度α（ｈ）、ロール変位角度β（ｈ）及びヨー変位角度γ（ｈ）を記憶部６１に一旦記憶する記憶制御手段Ｍ１と、記憶部６１に一旦記憶したピッチ変位角度α（ｈ）、ロール変位角度β（ｈ）及びヨー変位角度γ（ｈ）を記憶部６１から書き込み部６３における第２外部記録媒体ＭＥ２に出力（記録）する出力制御手段Ｍ２とを備える。
【０１２４】
また、出力部７０は、第２外部記録媒体ＭＥ２を挿脱可能な構成とされ、かつ、第２外部記録媒体ＭＥ２を装着した状態で第２外部記録媒体ＭＥ２にＩＭＵ５０からのピッチ変位角度α（ｈ）、ロール変位角度β（ｈ）及びヨー変位角度γ（ｈ）の情報を書き込むことが可能な構成とされている。第２外部記録媒体ＭＥ２としては、それには限定されないが、代表的にはＳＤメモリカードを例示できる。
【０１２５】
（パノラマ撮影装置によるパノラマ撮影）
飛行体４０を飛行させ、各撮像装置１０〜１０の撮影を開始するまでの作業は、第１実施形態の場合と同様であり、ここでは、その説明を省略する。
【０１２６】
撮影された動画像のファイルデータは、各撮像装置１０〜１０において第１外部記録媒体ＭＥ１〜ＭＥ１に記録され、かつ、ＩＭＵ５０から出力されたピッチ変位角度α（ｈ）、ロール変位角度β（ｈ）及びヨー変位角度γ（ｈ）は、出力部７０において第２外部記録媒体ＭＥ２に記録される。
【０１２７】
次に、各撮像装置１０〜１０の撮影が終了すると、各撮像装置１０〜１０から第１外部記録媒体ＭＥ１〜ＭＥ１を取り出すと共に、出力部７０から第２外部記録媒体ＭＥ２を取り外し、第１外部記録媒体ＭＥ１〜ＭＥ１に記録された動画像のファイルデータ、並びに、第２外部記録媒体ＭＥ２に記録されたピッチ変位角度α（ｈ）、ロール変位角度β（ｈ）及びヨー変位角度γ（ｈ）のファイルデータをコンピュータ２００に取り込む。
【０１２８】
（コンピュータの構成）
図８及び図９に示すコンピュータ２００において、第２読み取り部２６０の読み取り動作以外は、第１実施形態の場合と同様である。第２読み取り部２６０は、ＩＭＵ５０からのピッチ変位角度α（ｈ）、ロール変位角度β（ｈ）及びヨー変位角度γ（ｈ）のファイルデータを記録した第２外部記録媒体ＭＥ２を読み取るようになっている。不揮発メモリ２４２には、第２読み取り部２６０によって読み取られたピッチ変位角度α（ｈ）、ロール変位角度β（ｈ）及びヨー変位角度γ（ｈ）のファイルデータが格納される。
【０１２９】
（パノラマ動画像の生成）
パノラマ動画像ＰＶの生成については、第１実施形態の場合と同様であり、ここでは、その説明を省略する。
【０１３０】
（パノラマ動画像の補正）
パノラマ動画像ＰＶの補正は、第２実施形態に係るパノラマ動画像補正プログラムＰｂの各ステップをコンピュータ２００（図８及び図９参照）に実行させることで行う。
【０１３１】
＜第２実施形態に係るプログラムのソフトウェア構成＞
図２４は、図８及び図９に示すコンピュータ２００における制御部２３０において第２実施形態に係るパノラマ動画像補正プログラムＰｂを実行する制御構成の一例を示す概略構成図である。
【０１３２】
第２実施形態に係るパノラマ動画像補正プログラムＰｂは、入力制御ステップと、変動補正ステップとを含む各ステップを制御部２３０に実行させる。すなわち、制御部２３０は、入力制御手段Ｐ６と、変動補正手段Ｐ５とを含む各手段として機能するようになっている。
【０１３３】
以下に、パノラマ動画像ＰＶの隣り合うコマ間における撮影姿勢の変位量の変動を平滑化する図２５に示す処理例のフローチャートについて説明する。
【０１３４】
図２５は、パノラマ動画像ＰＶの隣り合うコマ間における撮影姿勢の変位量の変動を第２実施形態に係るパノラマ動画像補正プログラムＰｂにより平滑化する平滑化処理の一例を示すフローチャートである。
【０１３５】
制御部２３０は、入力制御手段Ｐ６により、パノラマ動画像ＰＶの各コマにおいてピッチング方向Ｕにおけるピッチ変位量としてピッチ変位角度α（ｈ）を入力し、ローリング方向Ｖにおけるロール変位量としてロール変位角度β（ｈ）を入力し、さらに、ヨーイング方向Ｗにおけるヨー変位量としてヨー変位角度γ（ｈ）を入力する（ステップＳ２１）。
【０１３６】
詳しくは、入力制御手段Ｐ６は、ＩＭＵ５０からの撮影姿勢の変位量のファイルデータを記録した第２外部記録媒体ＭＥ２を第２読み取り部２６０により読み取り、第２読み取り部２６０にて読み取った撮影姿勢の変位量のファイルデータを不揮発メモリ２４２に格納する。
【０１３７】
次に、制御部２３０は、変動補正手段Ｐ５により、入力制御手段Ｐ６にて入力したピッチ変位角度α（ｈ）に基づいて、パノラマ動画像ＰＶの各コマにおけるピッチ変位角度α（ｈ）の変動を平滑化するようにパノラマ動画像ＰＶのピッチング方向Ｕにおけるピッチ変位量（具体的にはピッチング方向Ｕにおける画素の座標）を補正するか、或いは／さらに、入力制御手段Ｐ６にて入力したロール変位角度β（ｈ）に基づいて、パノラマ動画像ＰＶの各コマにおけるロール変位角度β（ｈ）の変動を平滑化するようにパノラマ動画像ＰＶのローリング方向Ｖにおけるロール変位量（具体的にはローリング方向Ｖにおける画素の座標）を補正するか、或いは／さらに、入力制御手段Ｐ６にて入力したヨー変位角度γ（ｈ）に基づいて、パノラマ動画像ＰＶの各コマにおけるヨー変位角度γ（ｈ）の変動を平滑化するようにパノラマ動画像ＰＶのヨーイング方向Ｗにおけるヨー変位量（具体的にはヨーイング方向Ｗにおける画素の座標）を補正する（ステップＳ２２）（図２５参照）。
【０１３８】
＜平滑化処理の具体例＞
平滑化処理の具体例については、第１実施形態における平滑化処理の具体例の説明と同様であり、ここでは説明を省略する。但し、第１実施形態の場合には、検出した特徴点Ｈの変位量が大きすぎる場合（例えば撮影対象Ｓ自身が動いている場合など）に撮影揺れではないとみなすために、検出したピッチ変位角度α（ｈ）、ロール変位角度β（ｈ）及びヨー変位角度γ（ｈ）から所定閾値以内のピッチ変位角度、ロール変位角度及びヨー変位角度を抽出したが、本第２実施形態の場合には、ＩＭＵ５０で実際の撮影姿勢（撮影揺れ）を検出することから、入力制御手段Ｐ６にて入力したピッチ変位角度α（ｈ）、ロール変位角度β（ｈ）及びヨー変位角度γ（ｈ）から所定閾値以内のピッチ変位角度、ロール変位角度及びヨー変位角度を抽出しないようにしてもよい。
【０１３９】
［第３実施形態］
ところで、パノラマ動画像ＰＶは、全方位の画像が動画像として撮影されているので、撮影対象Ｓをあらゆる撮影アングルから撮影していることになる。従って、パノラマ動画像ＰＶの再生を行うに際に、所望の再生対象が映るように所望の再生対象に対して予め定めた所定サイズの再生フレームを追従させながら再生フレームの位置を自動的に変化させることで、所望の再生対象を再生フレームに映し出すことができる。
【０１４０】
そこで、本第３実施形態では、第１実施形態に係るパノラマ動画像補正プログラムＰａ又は第２実施形態に係るパノラマ動画像補正プログラムＰｂにて補正（平滑化）されたパノラマ動画像ＰＶの再生を行うにあたり、再生フレームの位置を再生対象の動きに合わせて自動的に変化させる。
【０１４１】
第３実施形態において、第１実施形態及び第２実施形態と実質的に同じ構成要素には同一符号を付し、その説明を省略する。
【０１４２】
（パノラマ動画像の再生）
パノラマ動画像ＰＶの再生は、第３実施形態に係るパノラマ動画像補正プログラムＰｃの各ステップをコンピュータ２００（図８及び図９参照）に実行させることで行う。
【０１４３】
＜第３実施形態に係るプログラムのソフトウェア構成＞
図２６は、図８及び図９に示すコンピュータ２００における制御部２３０において第３実施形態に係るパノラマ動画像補正プログラムＰｃを実行する制御構成の一例を示す概略構成図である。
【０１４４】
第３実施形態に係るパノラマ動画像補正プログラムＰｃは、パノラマ動画像補正プログラムＰａ又はパノラマ動画像補正プログラムＰａに加えて、補正されたパノラマ動画像ＰＶにおいて、特定の再生対象に対して追従させた所定サイズの再生フレームＦＬを切り出し、切り出した再生フレームＦＬに対してパノラマ動画像ＰＶを再生する再生処理ステップをさらに含む各ステップを制御部２３０に実行させる。すなわち、制御部２３０は、再生処理手段Ｐ１０をさらに含む各手段として機能するようになっている。
【０１４５】
詳しくは、第３実施形態に係るパノラマ動画像補正プログラムＰｃは、設定フレーム設定ステップと、フレームデータ検出ステップと、再生フレーム軌跡推定ステップと、再生ステップとを含む各ステップを制御部２３０に実行させる。すなわち、制御部２３０は、設定フレーム設定手段Ｐ１１と、フレームデータ検出手段Ｐ１２と、再生フレーム軌跡推定手段Ｐ１３と、再生手段Ｐ１４とを含む各手段として機能するようになっている。
【０１４６】
以下に、補正されたパノラマ動画像ＰＶを第３実施形態に係るパノラマ動画像補正プログラムＰｃにより再生する図２７に示す処理例のフローチャートについて、図２８から図３４を参照しながら説明する。
【０１４７】
図２７は、補正されたパノラマ動画像ＰＶを第３実施形態に係るパノラマ動画像補正プログラムＰｃにより再生する再生処理の一例を示すフローチャートである。
【０１４８】
図２８は、再生中のパノラマ動画像ＰＶにおいて同じ再生対象Ｔ（１）〜Ｔ（ｔ）が各コマで移り変わっていく様子を示す概略図である。ここで、再生対象Ｔ（１）〜Ｔ（ｔ）は、１〜ｔの値を添え字とした再生対象Ｔの配列を意味する。なお、図２８では、パノラマ動画像ＰＶの総コマ数ｔを６００コマとし、同じ再生対象Ｔ（１）〜Ｔ（６００）のうち１コマ目、１００コマ目、２００コマ目、３００コマ目、４００コマ目、５００コマ目、６００コマ目の再生対象Ｔの状態を１つの図で示している。
【０１４９】
（設定フレームの設定）
図２８に示すように、同じ再生対象Ｔ（１）〜Ｔ（ｔ）（この例ではｔ＝６００）の画像位置（具体的には画素の座標）がコマ毎に異なっているパノラマ動画像ＰＶにおいては、一のコマでの特定の再生対象Ｔ（ｔｓｔ）（例えばｔｓｔ＝１００）から他のコマでの特定の再生対象Ｔ（ｔｅｄ）（例えばｔｅｄ＝５００）がそれぞれ映るようにコマ毎に再生フレームＦＬ（ｔｓｔ）〜ＦＬ（ｔｅｄ）をユーザの入力操作により設定することが考えられるが、そうすると、再生フレームＦＬ（ｔｓｔ）〜ＦＬ（ｔｅｄ）の設定に手間がかかる。
【０１５０】
そこで、制御部２３０は、先ず、補正されたパノラマ動画像ＰＶのうち互いに離間した２以上のコマに対して予め定めた所定サイズ（例えば、ディスプレイの解像度に対応する画面サイズ）の設定フレームＳＦＬ（Ｅ（１））〜ＳＦＬ（Ｅ（ｍ））を設定フレーム設定手段Ｐ１１により設定する（ステップＳ３１）（図２７参照）。この設定は、ユーザの入力操作により行う。ここで、ｍは設定数であって２以上、かつ、パノラマ動画像ＰＶの総コマ数ｔより小さい整数を表している。Ｅ（１）〜Ｅ（ｍ）は、１〜ｍの値を添え字とした第１設定コマＥから第ｍ設定コマＥの配列を意味し、設定フレームＳＦＬ（Ｅ（１））〜ＳＦＬ（Ｅ（ｍ））は、Ｅ（１）〜Ｅ（ｍ）の値を添え字とした設定フレームＳＦＬの配列を意味する。
【０１５１】
図２９は、パノラマ動画像ＰＶのうちユーザにより特定の第１設定コマＥ（１）から第ｍ設定コマＥ（ｍ）のコマ番目に指定されたｍ個のコマにおいてユーザにより再生すべき特定の画像位置に設定フレームＳＦＬ（Ｅ（１））〜ＳＦＬ（Ｅ（ｍ））が指定される状態を示す概念図である。なお、図２９において、右側では、ユーザの入力操作により指定された第１設定コマＥ（１）のコマ番目（この例では１００コマ目）の設定フレームＳＦＬ（Ｅ（１））を、中央では、ユーザの入力操作により指定された第２設定コマＥ（２）のコマ番目（この例では３００コマ目）の設定フレームＳＦＬ（Ｅ（２））を、左側では、ユーザの入力操作により指定された第ｍ設定コマＥ（ｍ）のコマ番目（この例では５００コマ目）の設定フレームＳＦＬ（Ｅ（ｍ））を１つの図で示している。
【０１５２】
具体的には、パノラマ動画像ＰＶの総コマ数ｔを６００コマとし、設定数ｍを３とする場合、設定フレーム設定手段Ｐ１１は、６００コマのパノラマ動画像ＰＶのうち、ユーザの入力操作により指定された特定の第１設定コマＥ（１）のコマ番目（この例では１００コマ目）における、ユーザの入力操作により指定された特定の第１画像位置（この例では再生対象Ｔ（１００）が映っている位置）において所定サイズの設定フレームＳＦＬ（Ｅ（１））（この例ではＥ（１）＝１００）を設定し、ユーザの入力操作により指定された特定の第２設定コマＥ（２）のコマ番目（この例では３００コマ目）における、ユーザの入力操作により指定された特定の第２画像位置（この例では再生対象Ｔ（３００）が映っている位置）において所定サイズの設定フレームＳＦＬ（Ｅ（２））（この例ではＥ（２）＝３００）を設定し、ユーザの入力操作により指定された特定の第３設定コマＥ（３）のコマ番目（この例では５００コマ目）における、ユーザの入力操作により指定された特定の第３画像位置（この例では再生対象Ｔ（５００）が映っている位置）において所定サイズの設定フレームＳＦＬ（Ｅ（３））（この例ではＥ（３）＝５００）を設定する。
【０１５３】
図３０は、実際にユーザが入力操作を行う設定画面Ｇ（１）〜Ｇ（ｍ）を示している。図３０（ａ）は、第１設定コマＥ（１）のコマ番目の設定フレームＳＦＬ（Ｅ（１））を設定する設定画面Ｇ（１）を示しており、図３０（ｂ）は、第２設定コマＥ（２）のコマ番目の設定フレームＳＦＬ（Ｅ（２））を設定する設定画面Ｇ（２）を示しており、図３０（ｃ）は、第ｍ設定コマＥ（ｍ）のコマ番目の設定フレームＳＦＬ（Ｅ（ｍ））を設定する設定画面Ｇ（ｍ）を示している。ここで、指定画面Ｇ（１）〜Ｇ（ｍ）は、１〜ｍの値を添え字とした指定画面Ｇの配列を意味する。
【０１５４】
詳しくは、設定フレーム設定手段Ｐ１１は、先ず、パノラマ動画像ＰＶをユーザにより任意のコマで停止可能に再生する。
【０１５５】
次に、設定フレーム設定手段Ｐ１１は、ユーザの入力操作により停止した第１設定コマＥ（１）のコマ番目（この例では１００コマ目）のパノラマ画像（静止画像）においてユーザの入力操作により指定された第１画像位置（この例では再生対象Ｔ（１００）が映っている位置）の設定フレームＳＦＬ（Ｅ（１））を受け付け（図３０（ａ）参照）、次にユーザの入力操作により停止した第２設定コマＥ（２）のコマ番目（この例では３００コマ目）のパノラマ画像（静止画像）においてユーザの入力操作により指定された第２画像位置（この例では再生対象Ｔ（３００）が映っている位置）の設定フレームＳＦＬ（Ｅ（２））を受け付け（図３０（ｂ）参照）、以下同様に、第ｍ設定コマＥ（ｍ）のコマ番目（この例では第３設定コマＥ（３）の５００コマ目）のパノラマ画像（静止画像）においてユーザの入力操作により指定された第ｍ画像位置（この例では再生対象Ｔ（５００）が映っている位置）の設定フレームＳＦＬ（Ｅ（ｍ））を受け付ける（図３０（ｃ）参照）。
【０１５６】
次に、制御部２３０は、設定フレーム設定手段Ｐ１１にて設定した各設定フレームＳＦＬ（Ｅ（１））〜ＳＦＬ（Ｅ（ｍ））のフレームデータＤＴ（ｘ，ｙ，ｚ，Ｅ（１））〜ＤＴ（ｘ，ｙ，ｚ，Ｅ（ｍ））をフレームデータ検出手段Ｐ１２により検出する（ステップＳ３２）（図２７参照）。ここで、フレームデータＤＴ（ｘ，ｙ，ｚ，Ｅ（１））〜ＤＴ（ｘ，ｙ，ｚ，Ｅ（ｍ））は、座標（ｘ，ｙ，ｚ）、Ｅ（１）〜Ｅ（ｍ）の値を添え字としたフレームデータＤＴの配列を意味する。フレームデータＤＴ（ｘ，ｙ，ｚ，Ｅ（１））〜ＤＴ（ｘ，ｙ，ｚ，Ｅ（ｍ））の値は、設定フレームＳＦＬ（Ｅ（１））〜ＳＦＬ（Ｅ（ｍ））における何れの座標の値としてもよいが、本第３実施形態では、中央部の座標の値としている。
【０１５７】
詳しくは、フレームデータ検出手段Ｐ１２は、パノラマ画像を構成した球体Ｑ２において、設定フレームＳＦＬ（Ｅ（１））〜ＳＦＬ（Ｅ（ｍ））のフレームデータＤＴ（ｘ，ｙ，ｚ，Ｅ（１））〜ＤＴ（ｘ，ｙ，ｚ，Ｅ（ｍ））により、基準位置（具体的にはｘ軸及びｙ軸に沿った面）からの角度である第１フレーム角度δ（Ｅ（１））〜δ（Ｅ（ｍ））、基準軸（具体的にはｚ軸）回りの基準位置（具体的にはｘ軸）からの角度である第２フレーム角度φ（Ｅ（１））〜φ（Ｅ（ｍ））を算出する。ここで、第１フレーム角度δ（Ｅ（１））〜δ（Ｅ（ｍ））は、Ｅ（１）〜Ｅ（ｍ）の値を添え字とした第１フレーム角度δの配列を意味し、第２フレーム角度φ（Ｅ（１））〜φ（Ｅ（ｍ））は、Ｅ（１）〜Ｅ（ｍ）の値を添え字とした第２フレーム角度φの配列を意味する。
【０１５８】
これらの第１フレーム角度δ及び第２フレーム角度φは、従来公知の直交座標（ｘ，ｙ，ｚ）と極座標（ｒ，δ，φ）との間の変換公式を用いて算出することができる。
【０１５９】
図３１は、直交座標（ｘ，ｙ，ｚ）と極座標（ｒ，δ，φ）との間の変換公式を説明するための説明図である。
【０１６０】
図３１に示す座標から以下の式（８）を得ることができる。
【０１６１】
【数８】
2015023470.tif 000010
【０１６２】
ここで、ｒは、パノラマ画像を構成した球体Ｑ２の半径であり、パノラマ画像の全周における画素数及び画素のサイズを用いて算出した円周距離を２πで割ることで得ることができる。
【０１６３】
第１フレーム角度δ（Ｅ（１））〜δ（Ｅ（ｍ））は、式（８）を変形した以下の式（９）で算出することができる。
【０１６４】
【数９】
2015023470.tif 000011
【０１６５】
第２フレーム角度φ（Ｅ（１））〜φ（Ｅ（ｍ））は、式（８）を変形した以下の式（１０）で算出することができる。
【０１６６】
【数１０】
2015023470.tif 000012
【０１６７】
図３２は、フレームデータ検出手段Ｐ１２にて検出した各設定フレームＳＦＬ（Ｅ（ｉ））のフレームデータＤＴ（ｘ，ｙ，ｚ，Ｅ（ｉ））としてフレーム角度を第ｉ設定コマＥ（ｉ）のコマ番目毎にプロットしたグラフである。図３２（ａ）は、第１フレーム角度δ（Ｅ（ｉ））のグラフを示しており、図３２（ｂ）は、第２フレーム角度φ（Ｅ（ｉ））のグラフを示している。ここで、ｉは、１からｍまでの整数としている。
【０１６８】
図３３は、パノラマ画像を構成した球体Ｑ２において、再生フレーム軌跡推定手段Ｐ１３にて推定した各コマの再生フレームＦＬ（ｊ）の軌跡を示す概略図である。ここで、ｊは、第１設定コマＥ（１）のコマ番目（この例では１００コマ目）から第ｍ設定コマＥ（ｍ）のコマ番目（この例では５００コマ目）までの整数としている。再生フレームＦＬ（ｊ）は、ｊの値を添え字とした再生フレームＦＬの配列を意味する。なお、図３３では、１００コマ目、２００コマ目、３００コマ目、４００コマ目、５００コマ目の再生フレームＦＬを示している。
【０１６９】
次に、制御部２３０は、フレームデータ検出手段Ｐ１２にて検出した各設定フレームＳＦＬ（Ｅ（ｉ））のフレームデータＤＴ（ｘ，ｙ，ｚ，Ｅ（ｉ））に基づいて、２以上のコマにおける最初のコマの第１設定コマＥ（１）のコマ番目（具体的には１００コマ目）から最後のコマの第ｍ設定コマＥ（ｍ）のコマ番目（具体的には５００コマ目）までの各コマの再生フレームＦＬ（ｊ）の軌跡を再生フレーム軌跡推定手段Ｐ１３により推定する（ステップＳ３３）（図２７参照）。これにより、パノラマ動画像ＰＶから再生フレームＦＬ（ｊ）を再生対象Ｔの動きに合わせて自動的に切り出すことができる。
【０１７０】
ところで、第１フレーム角度δ（Ｅ（ｉ））及び第２フレーム角度φ（Ｅ（ｉ））をそのまま直線で結ぶように各再生フレームＦＬ（ｊ）の軌跡を推定すると（図３２の実線参照）、再生フレームＦＬ（ｊ）が直線的で角張った動きとなる。
【０１７１】
そこで、本第３実施形態の各再生フレームＦＬ（ｊ）の軌跡推定処理において、図３２（ａ）に示す第１フレーム角度δ（Ｅ（ｉ））では、再生フレーム軌跡推定手段Ｐ１３により、第１設定コマＥ（１）から第ｍ設定コマＥ（ｍ）までの第１フレーム角度δ（Ｅ（ｉ））を所定の数式に代入することで、図３２（ａ）に示す破線の近似曲線を得るようになっている。図３２（ｂ）に示す第２フレーム角度φ（Ｅ（ｉ））では、再生フレーム軌跡推定手段Ｐ１３により、第１設定コマＥ（１）から第ｍ設定コマＥ（ｍ）までの第２フレーム角度φ（Ｅ（ｉ））を所定の数式に代入することで、図３２（ｂ）に示す破線の近似曲線を得るようになっている。これにより、再生フレームＦＬ（ｊ）を曲線的で滑らかな動きとすることができる（図３３参照）。
【０１７２】
本第３実施形態では、第１フレーム角度δ（Ｅ（ｉ））を代入する所定の数式、及び、第２フレーム角度φ（Ｅ（ｉ））を代入する所定の数式は、最小二乗法によるｋ次元の近似式（ｋは２以上の整数）とされている。ここで、ｋの値は、ユーザにより任意に設定可能とされている。なお、第１フレーム角度δ（Ｅ（ｉ））を代入する所定の数式、及び、第２フレーム角度φ（Ｅ（ｉ））を代入する所定の数式は、何れも同じ数式であってもよいし、互いに異なる数式であってもよい。
【０１７３】
そして、再生フレーム軌跡推定手段Ｐ１３は、第１フレーム角度δ（Ｅ（ｉ））と第２フレーム角度φ（Ｅ（ｉ））とを、前述した式（８）に代入することで、第１設定コマＥ（１）から第ｍ設定コマＥ（ｍ）までの各コマ毎の座標（ｘ，ｙ，ｚ）を得るようになっている。これにより、再生フレームＦＬ（ｊ）の軌跡を推定することができる。
【０１７４】
次に、制御部２３０は、再生手段Ｐ１４により、再生フレーム軌跡推定手段Ｐ１３にて推定した各コマの再生フレームＦＬ（ｊ）の軌跡に対するパノラマ動画像ＰＶを再生する（ステップＳ３４）（図２７参照）。
【０１７５】
図３４は、再生フレーム軌跡推定手段Ｐ１３にて推定した各コマの再生フレームＦＬ（ｊ）に映し出された再生対象Ｔ（ｊ）を示す表示画面Ｇｃを示している。図３４（ａ）から図３４（ｅ）は、それぞれ、１００コマ目、２００コマ目、３００コマ目、４００コマ目、５００コマ目を示す表示画面Ｇｃを示している。
【０１７６】
図３４に示すように、再生手段Ｐ１４は、パノラマ動画像ＰＶの再生を行うに際に、所望の再生対象Ｔ（ｊ）が映るように所望の再生対象Ｔ（ｊ）に対して再生フレームＦＬ（ｊ）を追従させながら再生フレームＦＬ（ｊ）の位置を自動的に変化させることで、所望の再生対象Ｔ（ｊ）を再生フレームＦＬ（ｊ）に映し出すことができる。これにより、ユーザは、パノラマ動画像ＰＶに映っている多数の再生対象のうち、所望の再生対象Ｔ（ｊ）に注目して再生対象Ｔ（ｊ）を観察することができる。例えば、図２８に示すように、右から左に移動しているものから撮影したパノラマ動画像ＰＶから、特定の再生対象Ｔ（ｊ）を見続けるような動画を切り出すことが可能となる。これにより、無線遠隔操縦しながら、撮影時に実際に撮像装置を動かさなくてもよく、さらに言えば、撮像装置を対象方向に向けると言った高等テクニックを行わなくてもよく、見やすく安定したパノラマ動画像ＰＶを再生することができる。
【０１７７】
（第３実施形態の他の例）
図３５は、図８及び図９に示すコンピュータ２００における制御部２３０において第３実施形態に係るパノラマ動画像補正プログラムＰｃを実行する制御構成の他の例を示す概略構成図である。
【０１７８】
図３５に示すように、制御部２３０は、図２６に示す設定フレーム設定手段Ｐ１１、フレームデータ検出手段Ｐ１２及び再生フレーム軌跡推定手段Ｐ１３に代えて、補正されたパノラマ動画像ＰＶのうち最初のコマから最後のコマまでの隣り合うコマ間において特徴点を認識する補正後特徴点認識手段Ｐ１５と、補正されたパノラマ動画像ＰＶのうち最初のコマから最後のコマまでの隣り合うコマ間において補正後特徴点認識手段Ｐ１５にて認識した特徴点の位置が一致するように再生フレームＦ（ｊ）の軌跡を取得するフレーム軌跡取得手段Ｐ１６とを備えていてもよい。この場合、再生手段Ｐ１４は、再生フレーム軌跡取得手段Ｐ１６にて取得した各コマの再生フレームＦＬ（ｊ）の軌跡に対するパノラマ動画像を再生することができる。なお、かかる構成において、制御部２３０は、最初のコマ及び最後のコマをユーザにより指定するように構成されていてもよい。
【０１７９】
（本実施の形態について）
以上説明したように、本実施の形態によれば、ピッチ変位量（具体的にはピッチ変位角度α（ｈ））に基づいて、パノラマ動画像ＰＶの各コマにおけるピッチ変位量の変動を平滑化するようにパノラマ動画像ＰＶのピッチ変位量を補正するか、或いは／さらに、ロール変位量（具体的にはロール変位角度β（ｈ））に基づいて、パノラマ動画像ＰＶの各コマにおけるロール変位量の変動を平滑化するようにパノラマ動画像ＰＶのロール変位量を補正するか、或いは／さらに、ヨー変位量（具体的にはヨー変位角度γ（ｈ））に基づいて、パノラマ動画像ＰＶの各コマにおけるヨー変位量の変動を平滑化するようにパノラマ動画像ＰＶのヨー変位量を補正することができる。これにより、撮像装置１０〜１０の装置構成の複雑化を招くことなく、パノラマ動画像ＰＶを再生したときの撮影揺れによる画像揺れを確実に抑制することが可能となる。例えば、本実施の形態のように、撮像装置１０〜１０を飛行体４０に搭載した場合、旋回時に傾いた方が望ましいことがあるが、要求されるシチュエーションによっては、水平の方が望ましいこともある。特に、小型の無為人飛行体（ＵＡＶ）の場合、風により大きく揺れることがあるので、本実施の形態に係る補正は非常に有効である。
【０１８０】
また、本実施の形態では、補正されたパノラマ動画像ＰＶにおいて、特定の再生対象に対して追従させた所定サイズの再生フレームＦＬ（ｊ）を切り出すことで、最初のコマから最後のコマの再生フレームＦＬ（ｊ）において、あたかも人が手持ちの撮像装置で特定の撮影対象（注目すべき画像部分）を狙っているような、或いは、スイングして周囲を撮影しているように抽出してパノラマ動画像ＰＶを再生することができる。
【０１８１】
ところで、パノラマ撮影装置１００においてパノラマ撮影装置本体１０１と撮像装置１０〜１０との間の距離が短い場合、次のような不都合がある。
【０１８２】
図３６は、パノラマ撮影装置１００においてパノラマ撮影装置本体１０１と撮像装置１０〜１０を支持した撮影支持体２０との間の距離の違いによりパノラマ撮影装置本体１０１の部分が写っていない視野の範囲Ｆが異なることを説明するための説明図である。図３６（ａ）は、パノラマ撮影装置本体１０１と撮影支持体２０との間の距離を短くした場合の一例を示しており、図３６（ｂ）は、パノラマ撮影装置本体１０１と撮影支持体２０との間の距離を長くした場合の一例を示している。
【０１８３】
パノラマ撮影装置１００において、図３６（ａ）に示すように、パノラマ撮影装置本体１０１と撮影支持体２０との間の距離を短くすると、パノラマ動画像ＰＶにおいてパノラマ撮影装置本体１０１の部分が写っていない視野の範囲Ｆが狭くなり、例えば、建物ＢＬと建物ＢＬとの間の谷間において建物ＢＬを下から撮影しようとすると、パノラマ撮影装置本体１０１が撮影範囲に入ってしまい、狭い撮影範囲でしかパノラマ撮影を行うことができない。
【０１８４】
この点、本実施の形態では、図３６（ｂ）に示すように、パノラマ撮影装置１００が伸縮部材３０を備え、撮影時には、伸縮部材３０を伸ばすことで、パノラマ撮影装置本体１０１の部分が写っていない視野の範囲Ｆを広くすることができ、例えば、建物ＢＬと建物ＢＬとの間の谷間において建物ＢＬを下から撮影する場合でも、広い撮影範囲でパノラマ撮影を行うことが可能となる。一方、撮影時以外の時には、伸縮部材３０を短くすることで、伸縮部材３０が邪魔にならないようにすることができる。
【０１８５】
また、本実施の形態では、パノラマ撮影装置本体１０１が飛行体４０を備えていることで、空中で飛行しながら全方位的に撮影したパノラマ動画を得ることができる。
【０１８６】
なお、本実施の形態では、撮像装置１０〜１０を飛行体４０に搭載したが、それに限定されるものではなく、車や船舶等の移動体に搭載したり、或いは、人が持つようにしてもよい。
【０１８７】
また、本実施の形態では、パノラマ動画像補正装置としてコンピュータ２００（具体的にはパーソナルコンピュータ）を用いたが、高速処理を行う観点から、カスタムＩＣチップを備えたパノラマ動画像補正装置としてもよい。
【０１８８】
本発明は、以上説明した実施の形態に限定されるものではなく、他のいろいろな形で実施することができる。そのため、かかる実施の形態はあらゆる点で単なる例示にすぎず、限定的に解釈してはならない。本発明の範囲は請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
【符号の説明】
【０１８９】
１０        撮像装置
２０        撮影支持体
３０        伸縮部材
４０        飛行体
４１        機体
５０        ＩＭＵ（総合慣性運動計測装置）
６０        制御装置
６１        記憶部
６２        処理部
７０        出力部
１００      パノラマ撮影装置
１０１      パノラマ撮影装置本体
２００      コンピュータ（パノラマ動画像補正装置の一例）
ＤＴ        フレームデータ
ＦＬ        再生フレーム
Ｈ          特徴点
Ｍ          記録媒体
Ｐ１        特徴点認識手段
Ｐ２        ピッチ変位検出手段
Ｐ３        ロール変位検出手段
Ｐ４        ヨー変位検出手段
Ｐ５        変動補正手段
Ｐ６        入力制御手段
Ｐ１０      再生処理手段
Ｐ１１      設定フレーム設定手段
Ｐ１２      フレームデータ検出手段
Ｐ１３      再生フレーム軌跡推定手段
Ｐ１４      再生手段
Ｐ１５      補正後特徴点認識手段
Ｐ１６      フレーム軌跡取得手段
Ｐａ        パノラマ動画像補正プログラム
Ｐｂ        パノラマ動画像補正プログラム
Ｐｃ        パノラマ動画像補正プログラム
ＰＶ        パノラマ動画像
Ｓ          撮影対象
Ｓａ        全方位の撮影対象
ＳＦＬ      設定フレーム
Ｔ          再生対象
Ｕ          ピッチング方向
Ｖ          ローリング方向
Ｗ          ヨーイング方向
α          ピッチ変位角度（ピッチ変位量の一例）
β          ロール変位角度（ロール変位量の一例）
γ          ヨー変位角度（ヨー変位量の一例）
δ          第１フレーム角度
φ          第２フレーム角度
【図１】
2015023470.tif 000013
【図２】
2015023470.tif 000014
【図３】
2015023470.tif 000015
【図４】
2015023470.tif 000016
【図５】
2015023470.tif 000017
【図６】
2015023470.tif 000018
【図７】
2015023470.tif 000019
【図８】
2015023470.tif 000020
【図９】
2015023470.tif 000021
【図１０】
2015023470.tif 000022
【図１１】
2015023470.tif 000023
【図１２】
2015023470.tif 000024
【図１３】
2015023470.tif 000025
【図１４】
2015023470.tif 000026
【図１５】
2015023470.tif 000027
【図１６】
2015023470.tif 000028
【図１７】
2015023470.tif 000029
【図１８】
2015023470.tif 000030
【図１９】
2015023470.tif 000031
【図２０】
2015023470.tif 000032
【図２１】
2015023470.tif 000033
【図２２】
2015023470.tif 000034
【図２３】
2015023470.tif 000035
【図２４】
2015023470.tif 000036
【図２５】
2015023470.tif 000037
【図２６】
2015023470.tif 000038
【図２７】
2015023470.tif 000039
【図２８】
2015023470.tif 000040
【図２９】
2015023470.tif 000041
【図３０】
2015023470.tif 000042
【図３１】
2015023470.tif 000043
【図３２】
2015023470.tif 000044
【図３３】
2015023470.tif 000045
【図３４】
2015023470.tif 000046
【図３５】
2015023470.tif 000047
【図３６】
2015023470.tif 000048