(57)【特許請求の範囲】
【請求項１】
１つ以上のプロセッサ実行モジュールを制御するプロセッサと、
単一のカメラを移動させながら連続的に撮影した複数の入力映像フレームの中央領域を用いて２次元リファレンスパノラマ映像を生成するリファレンス生成部と、
前記複数の入力映像フレームの各入力映像フレームから、前記各入力映像フレームと前記２次元リファレンスパノラマ映像とを予め設定された抽出位置において比較して、算出された類似度が最大値を有する場合の左眼ストリップ及び右眼ストリップを抽出するストリップ抽出部と、
前記左眼ストリップ及び前記右眼ストリップそれぞれに基づいて左眼パノラマ映像及び右眼パノラマ映像を生成するパノラマ映像生成部と、
を備えることを特徴とする映像処理装置。
【請求項２】
前記リファレンス生成部は、前記複数の入力映像フレームそれぞれで、予め設定された中央領域を結合して前記２次元リファレンスパノラマ映像を生成する、
ことを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記ストリップ抽出部は、
前記２次元リファレンスパノラマ映像を基準として、前記各入力映像フレームの予め設定された左眼ストリップの抽出位置で垂直方向に算出された類似度が最大値を有する場合の左眼ストリップを抽出する左眼ストリップ抽出部と、
前記２次元リファレンスパノラマ映像を基準として、前記各入力映像フレームの予め設定された右眼ストリップの抽出位置で垂直方向に算出された類似度が最大値を有する場合の右眼ストリップを抽出する右眼ストリップ抽出部と、
を備えることを特徴とする請求項１又は２に記載の映像処理装置。
【請求項４】
前記ストリップ抽出部は、
前記２次元リファレンスパノラマ映像と対応する入力映像フレームで予め設定された左眼ストリップ抽出位置のテンプレートマッチングによって最大相関値を有する左眼ストリップを抽出する左眼ストリップ抽出部と、
前記２次元リファレンスパノラマ映像と対応する入力映像フレームで予め設定された右眼ストリップ抽出位置のテンプレートマッチングによって最大相関値を有する右眼ストリップを抽出する右眼ストリップ抽出部と、
を備えることを特徴とする請求項１又は２に記載の映像処理装置。
【請求項５】
前記ストリップ抽出部は、前記２次元リファレンスパノラマ映像と対応する入力映像フレームで予め設定された左眼ストリップ抽出位置及び予め設定された右眼ストリップ抽出位置のカラー値間の相関関係に基づいて左眼ストリップ及び右眼ストリップを抽出する、
ことを特徴とする請求項１又は２に記載の映像処理装置。
【請求項６】
前記ストリップ抽出部は、前記２次元リファレンスパノラマ映像と対応する入力映像フレームで同じ幅の左眼ストリップ及び右眼ストリップを抽出する、
ことを特徴とする請求項１又は２に記載の映像処理装置。
【請求項７】
前記左眼パノラマ映像及び前記右眼パノラマ映像間のディスパリティに基づいて３次元パノラマ映像を生成する３次元パノラマ映像生成部をさらに備える、
ことを特徴とする請求項１に記載の映像処理装置。
【請求項８】
撮影装置から入力された映像を球変換し、球変換された映像の間に特徴点マッチングによって映像の整合を行う処理部と、
前記球変換された映像の間の移動量を算出する算出部と、
前記移動量が予め設定された目標を満足するかを判断する第１判断部と、
前記移動量が予め設定された目標を満足する場合、前記球変換された映像を格納し、格納された球変換された映像の個数が３次元パノラマ映像の生成に必要な個数を満足するかを判断する第２判断部と、
をさらに備えることを特徴とする請求項１乃至７の何れか一項に記載の映像処理装置。
【請求項９】
１つ以上のプロセッサ実行モジュールを制御するプロセッサと、
単一のカメラを移動させながら連続的に撮影した複数の入力映像フレームの間の特徴点マッチングによって前記複数の入力映像フレームに対して映像の整合を行うグローバルアライメント部と、
２次元リファレンスパノラマ映像を用いて、前記整合された前記複数の入力映像フレームそれぞれで右眼ストリップ及び左眼ストリップを垂直方向に局所的に位置合わせするローカルアライメント部と
を備え、
前記ローカルアライメント部は、前記左眼ストリップ及び前記右眼ストリップに基づいて左眼パノラマ映像及び右眼パノラマ映像を生成する、
ことを特徴とする映像処理装置。
【請求項１０】
前記２次元リファレンスパノラマ映像は、前記複数の入力映像フレームの中央領域に基づいて生成される、
ことを特徴とする請求項９に記載の映像処理装置。
【請求項１１】
前記ローカルアライメント部は、前記２次元リファレンスパノラマ映像に基づいて前記複数の入力映像フレームで算出された類似度が最大値を有する場合の左眼ストリップ及び右眼ストリップを抽出する、
ことを特徴とする請求項９又は１０に記載の映像処理装置。
【請求項１２】
プロセッサによって、
単一のカメラを移動させながら連続的に撮影した複数の入力映像フレームそれぞれの中央領域を用いて２次元リファレンスパノラマ映像を生成するステップと、
前記複数の入力映像フレームの各入力映像フレームから、前記各入力映像フレームと前記２次元リファレンスパノラマ映像とを予め設定された抽出位置において比較して、算出された類似度が最大値を有する場合の左眼ストリップ及び右眼ストリップを抽出するステップと、
前記左眼ストリップ及び前記右眼ストリップに基づいて左眼パノラマ映像及び右眼パノラマ映像を生成するステップと、
を含むことを特徴とする映像処理方法。
【請求項１３】
前記２次元リファレンスパノラマ映像を生成するステップは、前記複数の入力映像フレームそれぞれで、予め設定された中央領域を結合して前記２次元リファレンスパノラマ映像を生成する、
ことを特徴とする請求項１２に記載の映像処理方法。
【請求項１４】
前記左眼ストリップ及び右眼ストリップを抽出するステップは、
前記２次元リファレンスパノラマ映像を基準として、前記各入力映像フレームの予め設定された左眼ストリップの抽出位置で垂直方向に算出された類似度が最大値を有する場合の左眼ストリップを抽出するステップと、
前記２次元リファレンスパノラマ映像を基準として、前記各入力映像フレームの予め設定された右眼ストリップの抽出位置で垂直方向に算出された類似度が最大値を有する場合の右眼ストリップを抽出するステップと、
を含むことを特徴とする請求項１２又は１３に記載の映像処理方法。
【請求項１５】
前記左眼ストリップ及び右眼ストリップを抽出するステップは、
前記２次元リファレンスパノラマ映像と対応する入力映像フレームで予め設定された左眼ストリップ抽出位置のテンプレートマッチングによって最大相関値を有する左眼ストリップを抽出するステップと、
前記２次元リファレンスパノラマ映像と対応する入力映像フレームで予め設定された右眼ストリップ抽出位置のテンプレートマッチングによって最大相関値を有する右眼ストリップを抽出するステップと、
を含むことを特徴とする請求項１２又は１３に記載の映像処理方法。
【請求項１６】
前記左眼ストリップ及び右眼ストリップを抽出するステップは、前記２次元リファレンスパノラマ映像と対応する入力映像フレームで予め設定された左眼ストリップ抽出位置及び予め設定された右眼ストリップ抽出位置のカラー値間の相関関係に基づいて左眼ストリップ及び右眼ストリップを抽出する、
ことを特徴とする請求項１２又は１３に記載の映像処理方法。
【請求項１７】
単一のカメラを移動させながら連続的に撮影した連続的に入力される複数の入力映像フレームそれぞれの中央領域を用いて２次元リファレンスパノラマ映像を生成するステップと、
前記複数の入力映像フレームの各入力映像フレームから、前記各入力映像フレームと前記２次元リファレンスパノラマ映像とを予め設定された抽出位置において比較して、算出された類似度が最大値を有する場合の左眼ストリップ及び右眼ストリップを抽出するステップと、
プロセッサによって、前記抽出された左眼ストリップ及び右眼ストリップを用いて左眼パノラマ映像及び右眼パノラマ映像を生成するステップと、
を含むことを特徴とする３次元パノラマ映像を生成する方法。
【請求項１８】
コンピュータに、請求項１７に記載の方法を実行させるプログラムを記録したコンピュータで読み取り可能な記録媒体。
【請求項１９】
１つ以上のプロセッサで動作するモジュールを含むプロセッサと、
単一のカメラを移動させながら連続的に撮影した連続的に入力される複数の入力映像フレームそれぞれの中央領域を用いて２次元リファレンスパノラマ映像を生成するリファレンス生成部と、
前記複数の入力映像フレームの各入力映像フレームから、前記各入力映像フレームと前記２次元リファレンスパノラマ映像とを予め設定された抽出位置において比較して、算出された類似度が最大値を有する場合の左眼ストリップ及び右眼ストリップを抽出するストリップ抽出部と、
前記ストリップ抽出部で抽出された前記左眼ストリップ及び前記右眼ストリップを用いて左眼パノラマ映像及び右眼パノラマ映像を生成するパノラマ映像生成部と、
を備えることを特徴とする３次元パノラマ映像生成カメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
下記の実施形態は、単一のカメラを用いて３次元パノラマ映像を生成する装置及び方法に関する。
【背景技術】
【０００２】
普通のパノラマ映像を生成する方式は、ユーザがカメラの揺れなしに流し撮り（panning）しながら数枚の映像を撮影することを仮定し、左眼と右眼に該当するステレオパノラマを付ける。しかし、実際の撮影ではユーザがカメラを回転させて撮影するとき微細な手の震えが存在し、同じ地点に対する左眼パノラマ及び右眼パノマラの入力映像が若干の時間差を有する互いに異なる映像であるため、その画質が低下するという問題が発生する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明の目的は、同じ被写体に対して左眼パノラマ映像及び右眼パノラマ映像の入力ストリップの撮影視点が異なって撮影瞬間の時間差が存在することによって発生する左眼及び右眼パノラマ映像の部分的なアライメントの不一致（ディスパリティ“disparity”）を３次元パノラマ映像の生成前に補正する方法を提供する。
【０００４】
本発明の目的は、入力映像の中央領域を用いることによって、手震えにより発生するカメラの回転の影響を最小化することのできる２次元リファレンスパノラマ映像を生成する方法を提供する。
【０００５】
本発明の目的は、２次元リファレンスパノラマ映像を基準としてローカルアライメントにより左眼パノラマ映像及び右眼パノラマ映像を生成することによって、高画質の３次元パノラマ映像を生成する方法を提供する。
【０００６】
本発明の目的は、ローカルアライメントを用いることによって、入力映像の撮影制約条件からある程度緩和され、３次元パノラマ映像の生成が可能な低い仕様のカメラシステムを提供する。
【課題を解決するための手段】
【０００７】
一実施形態において、映像処理装置は、１つ以上のプロセッサ実行モジュールを制御するプロセッサと、複数の入力映像フレームの中央領域を用いて２次元リファレンスパノラマ映像を生成するリファレンス生成部と、前記複数の入力映像フレームの各入力映像フレームから、前記各入力映像フレームと前記２次元リファレンスパノラマ映像とを比較して算出された類似度が最大値を有する場合の左眼ストリップ及び右眼ストリップを抽出するストリップ抽出部とを備える。
【０００８】
一実施形態において、前記リファレンス生成部は、前記複数の入力映像フレームそれぞれで、予め設定された中央領域を結合して前記２次元リファレンスパノラマ映像を生成してもよい。
【０００９】
一実施形態において、前記ストリップ抽出部は、前記２次元リファレンスパノラマ映像を基準として、前記各入力映像フレームの予め設定された左眼ストリップの抽出位置で垂直方向に算出された類似度が最大値を有する場合の左眼ストリップを抽出する左眼ストリップ抽出部と、前記２次元リファレンスパノラマ映像を基準として、前記各入力映像フレームの予め設定された右眼ストリップの抽出位置で垂直方向に算出された類似度が最大値を有する場合の右眼ストリップを抽出する右眼ストリップ抽出部とを備えてもよい。
【００１０】
一実施形態において、前記ストリップ抽出部は、前記２次元リファレンスパノラマ映像と対応する入力映像フレームで予め設定された左眼ストリップ抽出位置のテンプレートマッチングによって最大相関値を有する左眼ストリップを抽出する左眼ストリップ抽出部と、前記２次元リファレンスパノラマ映像と対応する入力映像フレームで予め設定された右眼ストリップ抽出位置のテンプレートマッチングによって最大相関値を有する右眼ストリップを抽出する右眼ストリップ抽出部とを備えてもよい。
【００１１】
一実施形態において、前記ストリップ抽出部は、前記２次元リファレンスパノラマ映像と対応する入力映像フレームで予め設定された左眼ストリップ抽出位置及び予め設定された右眼ストリップ抽出位置のカラー値間の相関関係に基づいて左眼ストリップ及び右眼ストリップを抽出してもよい。
【００１２】
一実施形態において、前記ストリップ抽出部は、前記２次元リファレンスパノラマ映像と対応する入力映像フレームで同じ幅の左眼ストリップ及び右眼ストリップを抽出してもよい。
【００１３】
他の一実施形態において、前記左眼ストリップ及び前記右眼ストリップそれぞれに基づいて左眼パノラマ映像及び右眼パノラマ映像を生成するパノラマ映像生成部をさらに備えてもよい。
【００１４】
他の一実施形態において、前記左眼パノラマ映像及び前記右眼パノラマ映像間のディスパリティに基づいて３次元パノラマ映像を生成する３次元パノラマ映像生成部をさらに備えてもよい。
【００１５】
他の一実施形態において、映像処理装置は、撮影装置から入力された映像を球変換（sphere  transformation）し、球変換された映像の間に特徴点マッチングによって映像の整合を行う処理部と、前記球変換された映像の間の移動量を算出する算出部と、前記移動量が予め設定された目標を満足するかを判断する第１判断部と、前記移動量が予め設定された目標を満足するとき、前記球変換された映像を格納し、格納された球変換された映像の個数が３次元パノラマ映像の生成に必要な個数を満足するかを判断する第２判断部とをさらに備えてもよい。
【００１６】
一実施形態において、映像処理装置は、１つ以上のプロセッサ実行モジュールを制御するプロセッサと、複数の入力映像フレームの間の特徴点マッチングによって前記複数の入力映像フレームに対して映像の整合を行うグローバルアライメント（global alignment）部と、２次元リファレンスパノラマ映像を用いて前記複数の入力映像フレームそれぞれで右眼ストリップ及び左眼ストリップを垂直方向に局部的に位置合わせするローカルアライメント（local  alignment）部とを備える。
【００１７】
一実施形態において、前記２次元リファレンスパノラマ映像は、前記複数の入力映像フレームの中央領域に基づいて生成されてもよい。
【００１８】
一実施形態において、前記ローカルアライメント部は、前記２次元リファレンスパノラマ映像に基づいて前記複数の入力映像フレームで算出された類似度が最大値を有する場合の左眼ストリップ及び右眼ストリップを抽出してもよい。
【００１９】
一実施形態において、前記ローカルアライメント部は、前記左眼ストリップ及び前記右眼ストリップに基づいて左眼パノラマ映像及び右眼パノラマ映像を生成してもよい。
【００２０】
一実施形態において、映像処理方法は、プロセッサによって、複数の入力映像フレームそれぞれの中央領域を用いて２次元リファレンスパノラマ映像を生成するステップと、前記複数の入力映像フレームの各入力映像フレームから、前記各入力映像フレームと前記２次元リファレンスパノラマ映像とを比較して算出された類似度が最大値を有する場合の左眼ストリップ及び右眼ストリップを抽出するステップとを含む。
【００２１】
一実施形態において、前記２次元リファレンスパノラマ映像を生成するステップは、前記複数の入力映像フレームそれぞれで、予め設定された中央領域を結合して前記２次元リファレンスパノラマ映像を生成してもよい。
【００２２】
一実施形態において、前記左眼ストリップ及び右眼ストリップを抽出するステップは、前記２次元リファレンスパノラマ映像を基準として、前記各入力映像フレームの予め設定された左眼ストリップの抽出位置で垂直方向に算出された類似度が最大値を有する場合の左眼ストリップを抽出するステップと、前記２次元リファレンスパノラマ映像を基準として、前記各入力映像フレームの予め設定された右眼ストリップの抽出位置で垂直方向に算出された類似度が最大値を有する場合の右眼ストリップを抽出するステップとを含んでもよい。
【００２３】
一実施形態において、前記左眼ストリップ及び右眼ストリップを抽出するステップは、前記２次元リファレンスパノラマ映像と対応する入力映像フレームで予め設定された左眼ストリップ抽出位置のテンプレートマッチングによって最大相関値を有する左眼ストリップを抽出するステップと、前記２次元リファレンスパノラマ映像と対応する入力映像フレームで予め設定された右眼ストリップ抽出位置のテンプレートマッチングによって最大相関値を有する右眼ストリップを抽出するステップとを含んでもよい。
【００２４】
一実施形態において、前記左眼ストリップ及び右眼ストリップを抽出するステップは、前記２次元リファレンスパノラマ映像と対応する入力映像フレームで予め設定された左眼ストリップ抽出位置及び予め設定された右眼ストリップ抽出位置のカラー値間の相関関係に基づいて左眼ストリップ及び右眼ストリップを抽出してもよい。
【００２５】
一実施形態において、前記左眼ストリップ及び前記右眼ストリップに基づいて左眼パノラマ映像及び右眼パノラマ映像を生成するステップをさらに含んでもよい。
【００２６】
一実施形態において、３次元パノラマ映像を生成する方法は、連続的に入力される複数の入力映像フレームそれぞれの中央領域を用いて２次元リファレンスパノラマ映像を生成するステップと、前記複数の入力映像フレームの各入力映像フレームから、前記各入力映像フレームと前記２次元リファレンスパノラマ映像とを比較して算出された類似度が最大値を有する場合の左眼ストリップ及び右眼ストリップを抽出するステップと、プロセッサによって、前記抽出された左眼ストリップ及び右眼ストリップを用いて左眼パノラマ映像及び右眼パノラマ映像を生成するステップとを含む。
【００２７】
一実施形態において、３次元パノラマ映像生成カメラは、１つ以上のプロセッサで動作するモジュールを含むプロセッサと、連続的に入力される複数の入力映像フレームそれぞれの中央領域を用いて２次元リファレンスパノラマ映像を生成するリファレンス生成部と、前記複数の入力映像フレームの各入力映像フレームから、前記各入力映像フレームと前記２次元リファレンスパノラマ映像とを比較して算出された類似度が最大値を有する場合の左眼ストリップ及び右眼ストリップを抽出するストリップ抽出部とを備える。
【発明の効果】
【００２８】
一実施形態に係る映像処理装置は、入力映像の中央領域を用いることによって、左眼パノラマ映像及び右眼パノラマ映像の失敗確率を減少させることができ、ローカルアライメントを行うことによって高画質の３次元パノラマ映像を生成することができる。
【００２９】
また、一実施形態に係る映像処理装置は、ローカルアライメントのミスを予防するため、細かく入力映像を撮影しなければならない制約条件から解放される。すなわち、３次元パノラマ映像の生成に必要な入力映像フレームの個数を減らすことができる。したがって、低い仕様のカメラシステムでも３次元パノラマ映像を生成することができる。
【００３０】
一実施形態に係る映像処理装置は、同じ被写体に対して左眼パノラマ映像及び右眼パノラマ映像の入力ストリップの撮影視点が異なって撮影瞬間の時間差が存在することにより発生する左眼及び右眼パノラマ映像の部分的な位置ずれを３次元パノラマ映像の生成前に補正することができる。
【図面の簡単な説明】
【００３１】
【図１Ａ】単一のカメラで撮影された映像の系列を示す図である。
【図１Ｂ】単一のカメラで撮影された映像の系列を示す図である。
【図２】入力映像に回転が発生した場合、被写体の位置変化を示す図である。
【図３】一実施形態に係る映像処理装置のブロック図である。
【図４】他の一実施形態に係る映像処理装置のブロック図である。
【図５】一実施形態に係る２次元リファレンスパノラマ映像の生成過程を示す図である。
【図６】一実施形態に係る左眼ストリップ及び右眼ストリップを抽出する過程を示す図である。
【図７Ａ】一実施形態に係るローカルアライメント前とローカルアライメント後を示す図である。
【図７Ｂ】一実施形態に係るローカルアライメント前とローカルアライメント後を示す図である。
【図８】一実施形態に係る映像処理方法のフローチャートである。
【図９】一実施形態に係る映像処理装置を含むカメラのブロック図である。
【発明を実施するための形態】
【００３２】
以下、一実施形態に係る実施形態を添付する図面を参照しながら詳細に説明する。
【００３３】
２枚の視点が異なる左眼パノラマ映像及び右眼パノラマ映像に基づいて３次元パノラマ映像が生成される。したがって、左眼パノラマ映像及び右眼パノラマ映像が間違って生成されたり、同じ被写体を観測する位置で被写体のディスパリティが発生する場合に生成される３次元パノラマ映像は画質が低下され、ユーザに目まいを発生させることがある。
【００３４】
特に、同じ被写体に対する左眼パノラマ映像及び右眼パノラマ映像の入力ストリップの抽出位置が異なり、左眼パノラマ映像と右眼パノラマ映像との間の時間差で局所的な動きが発生する可能性が大きいことから、３次元パノラマ映像の特定部分でユーザへの目まいを発生させる場合がある。
【００３５】
したがって、入力映像間の移動（translation）情報を用いたグローバルアライメントと共に、左眼パノラマ映像及び右眼パノラマ映像に対する精密なローカルアライメントが必要である。
【００３６】
図１Ａ及び図１Ｂは、単一のカメラで撮影された映像の系列を示す図である。
【００３７】
連続する数枚の入力映像に対して球変換と特徴点マッチングを用いた映像の整合を行うことによってグローバル・移動情報を取得することができる。言い換えれば、撮影された被写体の移動情報は入力映像から取得されてもよい。
【００３８】
ここで、左眼パノラマ映像と右眼パノラマ映像を最大に一致させるためには、一定の移動を有する入力フレームをパノラマ映像の入力として選択しなければならない。
【００３９】
しかし、ユーザまたは撮影者がカメラを手に持って直接カメラを回転させながらパノラマ撮影を行う場合、撮影されてカメラに入力される映像は揺れ、このとき発生した揺れは入力映像で水平及び垂直方向の移動と共に回転移動の形態に表現される。水平及び垂直方向に発生した移動に対しては、グローバルアライメントの過程で連続する数枚の入力映像に対して球変換と特徴点マッチングを用いた映像の整合により揺れを補正してもよいが、流し撮りによって入力映像に回転が存在する場合、左眼パノラマ映像と右眼パノラマ映像との間のアライメントが困難になり、回転が存在する領域で生成された映像を見るユーザに目まいを誘発させることなる。
【００４０】
図１Ａは、撮影装置を用いてパノラマ映像を生成する場合に撮影装置の揺れなしに理想的に撮影映像が入力される場合を示す。この場合に入力映像では垂直方向に移動が発生しない。
【００４１】
図１Ｂを参照すると、撮影装置の揺れによって入力映像に回転が発生する場合、回転が発生した入力映像１１０に基づいて生成された左眼パノラマ映像１２０及び右眼パノラマ映像１３０にも回転が発生したことが分かる。このような回転によって同じ被写体を撮影したものにも映像にディスパリティが発生してユーザに目まいを引き起こし、不便さを与えることになる。
【００４２】
図２は、入力映像に回転が発生した場合、被写体の位置変化を示す図である。
【００４３】
図１に示すように入力映像に回転が発生すると、左眼パノラマ映像及び右眼パノラマ映像の入力となる右眼ストリップと左眼ストリップの移動値も変わり得る。
【００４４】
映像２１０は、撮影時カメラの揺れがない場合を示す。映像２２０は、撮影時カメラが右側に傾く場合を示す。映像２３０は、撮影装置で認識する被写体の回転を示す。映像２３０について説明すると、映像２１０に比べて中央領域２３３よりも右側ストリップ２３５及び左側ストリップ２３１が上下に回転が激しいことを確認することができる。すなわち、中央領域２３３よりも右側ストリップ２３５及び左側ストリップ２３１で撮影された被写体の映像に変化が深刻である。右側ストリップ２３５は中央領域２３３の右側に位置する被写体の領域を意味し、左側ストリップ２３１は中央領域２３３の左側に位置する被写体の領域の意味する。
【００４５】
入力映像フレーム間のグローバル・移動情報は、映像全体に対する平均値で算出されるため、回転が発生しても移動値は大きく変化しない。例えば、図２に示す左眼ストリップ２３１及び右眼ストリップ２３５のように、右眼ストリップ及び左眼ストリップの垂直方向の移動は互いに反対方向に発生してもよい。図２に示す映像２３０のように、同じ量の垂直方向の移動が互いに反対方向に左眼ストリップ及び右眼ストリップに発生すると、グローバル・移動情報は平均値として測定されるため、値の変化が大きくない場合もある。
【００４６】
回転による水平方向（ｘ軸）への平均の移動値の変化量は、垂直方向（ｙ軸）の移動値の変化量に比べて小さい。図２において、回転による水平方向（ｘ軸）への平均の移動値の変化量は大きく変化しない。
【００４７】
したがって、グローバル・アライメント情報を用いて左眼パノラマ映像及び右眼パノラマ映像を最初に位置合わせした後、右眼ストリップ及び左眼ストリップを垂直方向にローカルアライメントすることで、グローバルアライメントのみを行った場合よりもさらに位置合わせされた左眼パノラマ映像及び右眼パノラマ映像を生成することができる。
【００４８】
図３は、一実施形態に係る映像処理装置のブロック図である。図３を参照すると、映像処理装置は、例えば、リファレンス生成部３１０、ストリップ抽出部３２０、制御部３３０、パノラマ映像生成部３４０及び３次元パノラマ映像生成部３５０を備える。
【００４９】
リファレンス生成部３１０は、複数の入力映像フレームの中央領域を用いて２次元リファレンスパノラマ映像を生成する。例えば、中央領域は入力映像フレームを所定の基準により左側領域、中央領域、及び右側領域の３つの領域に区分する場合に中央領域を意味する。所定の基準は映像処理装置に予め設定されてもよい。また、所定の基準はユーザの設定に応じて調整されてもよい。また、所定の基準は、回転の変化量に基づいて決定されてもよい。
【００５０】
複数の入力映像フレームは、所定の時間間隔で撮影装置またはカメラから撮影される映像を意味する。前記所定の時間間隔は、実施形態に係る互いに同一の間隔であってもよく、互いに異なる間隔であってもよい。
【００５１】
リファレンス生成部３１０は、複数の入力映像フレームそれぞれで予め設定された中央領域を結合して２次元リファレンスパノラマ映像を生成する。中央領域は、左側領域または右側領域に比べて相対的に回転の変化量が小さい。したがって、中央領域の結合によって生成された２次元リファレンスパノラマ映像は、入力映像の左側領域で抽出するストリップ（strip）及び入力映像の右側領域で抽出するストリップの基準映像になり得る。
【００５２】
ストリップ抽出部３２０は、２次元リファレンスパノラマ映像に基づいて複数の入力映像フレームで算出された類似度が最大値を有する場合の左眼ストリップ及び右眼ストリップを抽出する。例えば、類似度はテンプレートマッチングによって算出されてもよい。ストリップ抽出部３２０は、テンプレートマッチングによって算出された類似度が最も大きい場合の左眼ストリップ及び右眼ストリップを入力映像から抽出されてもよい。他の例として、類似度は特徴点のマッチングによって算出されてもよい。特徴点をマッチングする方式は、特徴点の種類に応じて様々である。他の例として、類似度はパターンマッチングによって算出されてもよい。更なる例として、類似度はヒストグラムマッチングによって算出されてもよい。
【００５３】
ストリップ抽出部３２０は、複数の入力映像フレームのうちフレームの移動量を比較して２次元リファレンスパノラマ映像と同一の移動量を有する入力映像フレームを推定し、同一の移動量を有する入力映像フレームと２次元リファレンスパノラマ映像との間に類似度を判断する。
【００５４】
ストリップ抽出部３２０は、左眼ストリップ抽出部３２１及び右眼ストリップ抽出部３２３を備える。
【００５５】
左眼ストリップ抽出部３２１は、２次元リファレンスパノラマ映像を基準として、予め設定された左眼ストリップの抽出位置で垂直方向に算出された類似度が最大値を有する場合の左眼ストリップを抽出する。
【００５６】
左眼ストリップは、ユーザの左側の目に見える映像のスリットを意味する。より具体的に、左眼ストリップを抽出する位置のうち、水平方向の位置は２次元リファレンスパノラマ映像を生成する以前過程で決定されてもよい。複数の入力映像フレーム間に映像の整合を行う過程で水平方向の位置が決定されてもよい。
【００５７】
または、左眼ストリップの水平方向の抽出位置は、撮影装置の初期値または撮影者の設定値に設定されてもよい。
【００５８】
左眼ストリップ抽出部３２１は、上下（すなわち、垂直方向）に２次元リファレンスパノラマ映像のテンプレートを入力映像フレームとマッチングさせながら類似度を算出する。左眼ストリップ抽出部３２１は、入力映像フレームで予め設定された類似度に最も近い類似度を有する位置の左眼ストリップを抽出したり、類似度が最大値を有する位置の左眼ストリップを抽出する。例えば、予め設定された類似度が９０％である場合、９０％に最も近い類似度を有する位置の左眼ストリップが抽出されてもよい。
【００５９】
右眼ストリップ抽出部３２３は、２次元リファレンスパノラマ映像を基準として予め設定された右眼ストリップの抽出位置で垂直方向に算出された類似度が最大値を有する場合の右眼ストリップを抽出する。
【００６０】
右眼ストリップは、ユーザの右側の目に見える映像のスリットを意味する。より具体的に、右眼ストリップを抽出する位置のうち、水平方向の位置は２次元リファレンスパノラマ映像を生成する以前の過程で決定されてもよい。複数の入力映像フレームの間に映像の整合を行う過程で水平方向の位置が決定されてもよい。
【００６１】
または、右眼ストリップの水平方向の抽出位置は、撮影装置の初期値または撮影者の設定値に設定されてもよい。
【００６２】
右眼ストリップ抽出部３２３は、予め設定された水平位置で上下（すなわち、垂直方向）に２次元リファレンスパノラマ映像のテンプレートを入力映像フレームとマッチングさせながら類似度を算出する。右眼ストリップ抽出部３２３は、入力映像フレームで予め設定された類似度に最も近い類似度を有する位置の右眼ストリップを抽出したり、類似度が最大値を有する位置の右眼ストリップを抽出する。例えば、予め設定された類似度が９０％である場合、９０％に最も近い類似度を有する位置の右眼ストリップが抽出されてもよい。
【００６３】
左眼ストリップ抽出部３２１は、２次元リファレンスパノラマ映像と対応する入力映像フレームで予め設定された左眼ストリップ抽出位置のテンプレートマッチングによって最大相関値を有する左眼ストリップを抽出する。例えば、テンプレートマッチングによって相関値が算出されてもよい。他の例として、相関値は特徴点のマッチングによって算出されてもよい。特徴点をマッチングする方式は、特徴点の種類に応じて様々であってもよい。他の例として、相関値はパターンマッチングによって算出されてもよい。他の例として、相関値はヒストグラムマッチングによって算出されてもよい。
【００６４】
右眼ストリップ抽出部３２３は、２次元リファレンスパノラマ映像と対応する入力映像フレームで予め設定された右眼ストリップ抽出位置のテンプレートマッチングによって最大相関値を有する右眼ストリップを抽出する。例えば、テンプレートマッチングによって相関値が算出されてもよい。他の例として、相関値は特徴点のマッチングによって算出されてもよい。特徴点をマッチングする方式は特徴点の種類に応じて様々である。他の例として、相関値はパターンマッチングによって算出されてもよい。他の例として、相関値はヒストグラムマッチングによって算出されてもよい。
【００６５】
ストリップ抽出部３２０は、２次元リファレンスパノラマ映像と対応する入力映像フレームで予め設定された左眼ストリップ抽出位置及び予め設定された右眼ストリップ抽出位置のカラー値間の相関関係に基づいて左眼ストリップ及び右眼ストリップを抽出する。ストリップ抽出部３２０は、２次元リファレンスパノラマ映像のテンプレートのＲＧＢ（Red,Green,Blue）値を入力映像フレームと比較して相関値を算出する。ストリップ抽出部３２０は、入力映像フレームで最大相関値を有する位置のストリップを抽出する。
【００６６】
ストリップ抽出部３２０は、２次元リファレンスパノラマ映像と対応する入力映像フレームで同じ幅の左眼ストリップ及び右眼ストリップを抽出する。ストリップ抽出部３２０は幅が一定のストリップを抽出する。すなわち、入力映像フレームで抽出される左眼ストリップ及び右眼ストリップの幅は同一である。
【００６７】
パノラマ映像生成部３４０は、ストリップ抽出部３２０で抽出された左眼ストリップ及び右眼ストリップに基づいて左眼パノラマ映像及び右眼パノラマ映像を生成する。パノラマ映像生成部３４０は、左眼ストリップを結合して左眼パノラマ映像を生成してもよい。パノラマ映像生成部３４０は、右眼ストリップをブレンディングして右眼パノラマ映像を生成してもよい。
【００６８】
３次元パノラマ映像生成部３５０は、左眼パノラマ映像及び右眼パノラマ映像間のディスパリティに基づいて３次元パノラマ映像を生成する。３次元パノラマ映像生成部３５０は、映像処理分野でディスパリティを考慮して３次元映像を生成する技術を用いてもよい。また、３次元パノラマ映像生成部３５０は、２次元の立体映像に基づいて３次元映像を生成する技術を用いてもよい。
【００６９】
処理部３６０は、撮影装置またはカメラから入力された映像を球変換し、球変換された映像の間で特徴点マッチングによって映像の整合を実行してもよい。入力映像は円形のベースラインで撮影されて歪曲されてもよい。処理部３６０は、入力映像を撮影位置に応じて距離及び角度を考慮して歪曲された映像を球変換してもよい。処理部３６０は、球変換された映像の間に特徴点マッチングを実行することができる。特徴点は、入力映像で被写体の形または色などを基準として決定されてもよい。
【００７０】
算出部３７０は、球変換された映像の間の移動量を算出する。処理部３６０で映像の整合が完了した後、算出部３７０は映像の整合の結果に基づいて入力された映像間の移動量を算出する。例えば、算出部３７０は被写体が入力映像でどれだけ移動したかを算出してもよい。
【００７１】
算出部３７０は、移動量の算出によって入力映像の移動情報を取得してもよい。移動情報に基づいて左眼ストリップ及び右眼ストリップの水平方向の位置が決定されてもよい。
【００７２】
第１判断部３８０は、移動量が予め設定された目標を満足するかを判断する。算出部３７０で算出された移動量が予め設定された目標を満足しなければ、球変換された映像を格納せず、再び映像の撮影を要求してもよい。
【００７３】
第２判断部３９０は、算出部３７０で算出された移動量が予め設定された目標を満足すれば、球変換された映像を格納し、格納された球変換された映像の個数が３次元パノラマ映像の生成に必要な個数を満足するかを判断する。例えば、３次元パノラマ映像の生成に必要な個数は、３次元パノラマ映像の解像度、容量、及び映像処理装置の処理速度に基づいて決定されてもよい。
【００７４】
格納された球変換された映像の個数が３次元パノラマ映像の生成に必要な個数を満足すれば、格納された球変換された映像は２次元リファレンスパノラマ映像の生成に必要な入力映像になり得る。
【００７５】
制御部３３０は映像処理装置の全般的な制御を担当し、リファレンス生成部３１０、ストリップ抽出部３２０、パノラマ映像生成部３４０、３次元パノラマ映像生成部３５０、処理部３６０、算出部３７０、第１判断部３８０及び第２判断部３９０の機能を行う。図３に示す実施形態でこれを別に構成して示す理由は各機能を区別して説明するためである。したがって、実際に製品を実現する場合この全てを制御部３３０で処理するように構成してもよく、または、この一部のみを制御部３３０で処理するように構成してもよい。
【００７６】
図４は、他の一実施形態に係る映像処理装置のブロック図である。図４を参照すると、映像処理装置は、例えば、グローバルアライメント部４１０及びローカルアライメント部４２０を備える。
【００７７】
グローバルアライメント部４１０は、複数の入力映像フレームの間の特徴点のマッチングによって複数の入力映像フレームに対して映像の整合を行う。グローバルアライメント部４１０は入力映像フレームそれぞれを球変換してもよい。グローバルアライメント部４１０は、映像の整合によって入力映像フレーム間の移動情報を取得してもよい。
【００７８】
ローカルアライメント部４２０は、２次元リファレンスパノラマ映像に基づいて複数の入力映像フレームそれぞれで右眼ストリップ及び左眼ストリップを垂直方向に局所的に位置合わせする。
【００７９】
２次元リファレンスパノラマ映像は、複数の入力映像フレームの予め設定された中央領域に基づいて生成される。ローカルアライメント部４２０は、予め設定された中央領域を結合して２次元リファレンスパノラマ映像を生成する。
【００８０】
例えば、ローカルアライメント部４２０は、２次元リファレンスパノラマ映像を基準として入力映像フレームの右眼ストリップの抽出位置及び左眼ストリップの抽出位置で垂直方向にテンプレートマッチングによって相関値を算出する。より具体的に、右眼ストリップの抽出位置及び左眼ストリップの抽出位置は、入力映像フレームで水平方向の位置を意味する。水平方向の位置は、グローバルアライメント部４１０で取得した移動情報に基づいて決定されてもよい。他の例として、相関値は特徴点のマッチングによって算出されてもよい。特徴点をマッチングする方式は特徴点の種類に応じて様々であってもよい。他の例として、相関値はパターンマッチングによって算出されてもよい。他の例として、相関値はヒストグラムマッチングによって算出されてもよい。
【００８１】
ローカルアライメント部４２０は、テンプレートマッチングによって入力映像フレームで垂直方向の位置を決定してもよい。ローカルアライメント部４２０は、最大相関値を有する位置で右眼ストリップ及び左眼ストリップをそれぞれ抽出してもよい。
【００８２】
ローカルアライメント部４２０は、２次元リファレンスパノラマ映像に基づいて複数の入力映像フレームで算出された類似度が最大値を有する場合の左眼ストリップ及び右眼ストリップを抽出する。例えば、類似度はテンプレートマッチングの相関値に決定されてもよい。すなわち、相関値が高ければ、類似度も高いと判断する。他の例として、相関値は特徴点のマッチングによって算出されてもよい。特徴点をマッチングする方式は特徴点の種類に応じて様々である。他の例として、相関値はパターンマッチングによって算出されてもよい。他の例として、相関値はヒストグラムマッチングによって算出されてもよい。
【００８３】
ローカルアライメント部４２０は、左眼ストリップ及び右眼ストリップに基づいて左眼パノラマ映像及び右眼パノラマ映像を生成する。ローカルアライメント部４２０は２次元リファレンスパノラマ映像に基づいて、入力映像フレームで垂直方向に類似度の高い左眼ストリップ及び右眼ストリップを抽出し、左眼ストリップを結合して左眼パノラマ映像を生成し、右眼ストリップを結合して右眼パノラマ映像を生成することで、左眼ストリップ及び右眼ストリップを位置合わせする。
【００８４】
ローカルアライメント部４２０は、左眼パノラマ映像及び右眼パノラマ映像を用いて３次元パノラマ映像を生成してもよい。
【００８５】
図５は、一実施形態に係る２次元リファレンスパノラマ映像の生成過程を示す図である。
【００８６】
回転によって左眼ストリップ及び右眼ストリップの全が正確ではない垂直方向の位置情報を有するため、２つのうち１つを基準として残りを位置合わせすることは新しいエラーを発生させることがある。
【００８７】
回転による影響が最も小さい入力映像の中央領域が左眼ストリップ及び右側ストリップの全てを同一に位置合わせする基準になり得る。
【００８８】
図５を参照すると、入力映像の中央領域５０１、５０３、５０５、５０７、５０９、５１１、５１３、５１５を用いて２次元リファレンスパノラマ映像５２０を生成する。
【００８９】
図６は、一実施形態に係る左眼ストリップ及び右眼ストリップを抽出する過程を示す図である。
【００９０】
例えば、２次元リファレンスパノラマ映像６１０を基準として入力映像フレームから左眼ストリップ及び右眼ストリップを抽出しようとする部分で、テンプレートマッチングによって最も類似度の大きい領域が左眼ストリップ及び右眼ストリップから抽出されることで、左眼ストリップ及び右眼ストリップが撮影装置またはカメラの揺れに対応して垂直方向に位置合わせされる。
【００９１】
図６を参照すると、２次元リファレンスパノラマ映像６１０を基準として入力映像フレーム６２０、６３０で左眼ストリップ６２１、６３１が抽出され、入力映像フレーム６４０、６５０、６６０で右眼ストリップ６４１、６５１、６６１が抽出される。
【００９２】
ここで、入力映像フレーム６２０で抽出される左眼ストリップ６２１及び入力映像フレーム６３０で抽出される左眼ストリップ６３１の水平方向の位置は同一である。しかし、垂直方向の位置は互いに異なる。例えば、テンプレートマッチングによって左眼ストリップ６２１及び左眼ストリップ６３１の垂直方向の位置が決定されてもよい。他の例として、左眼ストリップ６２１及び左眼ストリップ６３１の垂直方向の位置は特徴点のマッチングによって算出されてもよい。特徴点をマッチングする方式は、特徴点の種類に応じて様々である。他の例として、左眼ストリップ６２１及び左眼ストリップ６３１の垂直方向の位置はパターンマッチングによって算出されてもよい。他の例として、左眼ストリップ６２１及び左眼ストリップ６３１の垂直方向の位置はヒストグラムマッチングによって算出されてもよい。右眼ストリップ６４１、６５１、６６１の垂直方向の位置も左眼ストリップ６２１、６３１の垂直方向の位置を算出する方式と同じ方式で算出されてもよい。
【００９３】
入力映像フレーム６４０で抽出される右眼ストリップ６４１、入力映像フレーム６５０で抽出される右眼ストリップ６５１、及び入力映像フレーム６６０で抽出される右眼ストリップ６６１の水平方向の位置は同一である。しかし、垂直方向の位置は互いに異なる。テンプレートマッチングによって右眼ストリップ６４１、右眼ストリップ６５１、及び右眼ストリップ６６１の垂直方向の位置が決定される。
【００９４】
２次元リファレンスパノラマ映像６１０に対応する入力映像フレームだけ左眼ストリップ及び右眼ストリップが抽出されてもよい。
【００９５】
左眼ストリップ６２１、６３１を結合して左眼パノラマ映像が生成されてもよく、右眼ストリップ６４１、６５１、６６１を結合して右眼パノラマ映像が生成されてもよい。
【００９６】
図７Ａ及び７Ｂは、一実施形態に係るローカルアライメント前とローカルアライメント後を示す図である。
【００９７】
図７Ａは、垂直方向にローカルアライメントを行う前に同じ被写体に対して左眼パノラマ映像及び右眼パノラマ映像が垂直方向に一致していない例であり、図７Ｂは、垂直方向にローカルアライメントを行った後に左眼パノラマ映像及び右眼パノラマ映像が位置合わせされている例である。
【００９８】
より詳しくは、図７Ａに示す右側映像は下方向に回転が発生した場合であり、図７Ｂに示す右側映像は、図７Ａに示す下方向の回転がローカルアライメントによって垂直方向に位置合わせされた映像である。
【００９９】
図８は、一実施形態に係る映像処理方法のフローチャートである。
【０１００】
ステップＳ８００において、映像処理装置は、撮影装置が一方向に回転する間に順次映像を撮影する。または、映像処理装置は撮影装置を一方向に回転させたとき、順次撮影された映像が入力される。ステップＳ８０５において、映像処理装置は撮影映像または入力映像を球変換する。映像処理装置は、回転による歪みを球変換することによって補償する。映像処理装置は、球変換された映像間に特徴点マッチングによって映像の整合を実行する。
【０１０１】
ステップＳ８１０において、映像処理装置は球変換された映像間の移動量を算出する。映像の整合を完了した後、映像処理装置は映像の整合の結果に基づいて入力された映像間の移動量を算出する。ステップＳ８１５ステップにおいて、映像処理装置は移動量が予め設定された目標を満足するかを判断する。算出された移動量が予め設定された目標を満足しない場合、映像処理装置は球変換された映像を格納せずに再び映像を撮影する。
【０１０２】
ステップＳ８２０において、映像処理装置は算出された移動量が予め設定された目標を満足する場合、球変換された映像を格納する。ステップＳ８２５において、映像処理装置は格納された球変換された映像の個数が３次元パノラマ映像の生成に必要な個数を満足するかを判断する。３次元パノラマ映像の生成に必要な個数は、例えば、３次元パノラマ映像の解像度、容量及び映像処理装置の処理速度のうちの１つ以上に基づいて決定されてもよい。
【０１０３】
ステップＳ８３０において、映像処理装置は２次元リファレンスパノラマ映像を生成する。映像処理装置は、格納された球変換された映像の中央領域を結合して２次元リファレンスパノラマ映像を生成する。
【０１０４】
ステップＳ８３５において、映像処理装置は左眼ストリップを抽出する。映像処理装置は、２次元リファレンスパノラマを基準として同一の移動量を有する入力映像フレームで左眼ストリップを抽出する。例えば、映像処理装置は、入力映像フレームで垂直方向にテンプレートマッチングによって算出された類似度が最大値を有する場合の領域を抽出してもよい。他の例として、類似度は、特徴点のマッチングによって算出されてもよい。特徴点をマッチングする方式は特徴点の種類に応じて様々である。他の例として、類似度はパターンマッチングによって算出されてもよい。他の例として、類似度はヒストグラムマッチングによって算出されてもよい。
【０１０５】
ステップＳ８４０において、映像処理装置は右眼ストリップを抽出する。映像処理装置は、２次元リファレンスパノラマを基準として同一の移動量を有する入力映像フレームで右眼ストリップを抽出する。ステップＳ８４５において、映像処理装置は左眼パノラマ映像を生成する。映像処理装置は、抽出された左眼ストリップを結合して左眼パノラマ映像を生成する。
【０１０６】
ステップＳ８５０において、映像処理装置は右眼パノラマ映像を生成する。映像処理装置は、抽出された右眼ストリップを結合して右眼パノラマ映像を生成する。ステップＳ８５５において、映像処理装置は３次元パノラマ映像を生成する。映像処理装置は、左眼パノラマ映像と右眼パノラマ映像との間のディスパリティを考慮して３次元パノラマ映像を生成する。映像処理装置は左眼パノラマ映像及び右眼パノラマ映像の水平方向の時差を最適化して３次元パノラマ映像を生成する。
【０１０７】
図９は、一実施形態に係る映像処理装置を含むカメラのブロック図である。図９を参照すると、カメラ９００は、例えば、コントローラ９０１及び映像処理装置９０２を備える。
【０１０８】
カメラ９００は、デジタルカメラまたはデジタルビデオカメラであってもよい。または、異なる可能な様々な種類のカメラであってもよい。
【０１０９】
コントローラ９０１は、カメラ９００及び映像処理装置９０２を制御するために１つ以上の制御信号を生成する。コントローラ９０１は１つ以上のプロセッサを含んでもよい。
【０１１０】
映像処理装置９０２は、カメラ９００の３次元パノラマ映像を生成するために用いられる。例えば、映像処理装置９０２は、リファレンス生成器、ストリップ抽出器、コントローラ、パノラマ映像生成器及び３次元パノラマ映像生成器を備える。以上の構成は、図３で説明した構成と類似の方式で動作するため、具体的な説明は省略する。
【０１１１】
映像処理装置９０２は、カメラ９００内部に設けられてもよい。または、カメラ９００に付着してもよい。または、カメラ９００から分離される構成であってもよい。映像処理装置９０２は、以上の説明で言及された機能を実行してもよい。映像処理装置９０２は１つ以上の内部プロセッサを含んでもよく、コントローラ９０１に含まれた１つ以上のプロセッサと同一の映像処理装置９０２内に含まれた１つ以上のプロセッサによって制御されてもよい。
【０１１２】
一実施形態に係る映像処理装置はカメラ関連製品に用いられてもよく、映像処理方法はソフトウェアで用いられてもよい。例えば、デジタルカメラ、カメラ映像処理プロセッサのような製品に用いられてもよい。
【０１１３】
一実施形態に係る映像処理装置は、撮影装置の揺れによる回転の変換量にそれほど敏感ではない入力映像の中央領域を用いて２次元リファレンスパノラマ映像を生成し、２次元リファレンスパノラマ映像に基づいて左眼パノラマ映像及び右眼パノラマ映像を生成する。
【０１１４】
一実施形態に係る映像処理装置は、入力映像の中央領域を用いることによって左眼パノラマ映像及び右眼パノラマ映像の失敗確率を減少させることができ、ローカルアライメントを行うことで高画質の３次元パノラマ映像を生成することができる。
【０１１５】
また、一実施形態に係る映像処理装置は、ローカルアライメントの失敗を予防するために、細かく入力映像を撮影しなければならないという制約条件から解放される。すなわち、３次元パノラマ映像の生成に必要な入力映像フレームの個数を減らすことができる。したがって、低い仕様のカメラシステムでも３次元パノラマ映像を生成することができる。
【０１１６】
一実施形態に係る映像処理装置は、同じ被写体に対して左眼パノラマ映像及び右眼パノラマ映像の入力ストリップの撮影視点が異なり、撮影瞬間の時間差が存在することによって発生する左眼及び右眼パノラマ映像の部分的な位置ずれを予め予防することができる。
【０１１７】
入力映像の中央領域を用いて回転の影響を最小化することのできる２次元リファレンスパノラマ映像を生成することができる。２次元リファレンスパノラマ映像を基準としてローカルアライメントによって左眼パノラマ映像及び右眼パノラマ映像を生成することで、高画質の３次元パノラマ映像を生成することができる。また、ローカルアライメントを用いることによって、入力映像の撮影条件がある程度緩和され、低い仕様のカメラシステムでも３次元パノラマ映像を生成することができる。
【０１１８】
一実施形態に係る映像処理装置は、撮影装置の揺れによる回転の変換量にそれほど敏感ではない入力映像の中央領域を用いて２次元リファレンスパノラマ映像を生成し、２次元リファレンスパノラマ映像に基づいて左眼パノラマ映像及び右眼パノラマ映像を生成することができる。
【０１１９】
一実施形態に係る映像処理装置は、入力映像の中央領域を用いることによって左眼パノラマ映像及び右眼パノラマ映像の失敗確率を減少させることができ、ローカルアライメントを行うことで高画質の３次元パノラマ映像を生成することができる。
【０１２０】
また、一実施形態に係る映像処理装置は、ローカルアライメントの失敗を予防するために、細かく入力映像を撮影しなければならないという制約から解放される。すなわち、３次元パノラマ映像の生成に必要な入力映像フレームの個数を減らすことができる。したがって、低い仕様のカメラシステムでも３次元パノラマ映像を生成することができる。
【０１２１】
一実施形態に係る映像処理装置は、同じ被写体に対して左眼パノラマ映像及び右眼パノラマ映像の入力ストリップの撮影視点が異なり、撮影瞬間の時間差が存在することによって発生する左眼及び右眼パノラマ映像の部分的な位置ずれを予め予防することができる。
【０１２２】
入力映像の中央領域を用いて回転の影響を最小化することのできる２次元リファレンスパノラマ映像を生成することができる。
【０１２３】
２次元リファレンスパノラマ映像を基準としてローカルアライメントによって左眼パノラマ映像及び右眼パノラマ映像を生成することで、高画質の３次元パノラマ映像を生成することができる。
【０１２４】
また、ローカルアライメントを用いることによって、入力映像の撮影条件がある程度緩和され、低い仕様のカメラシステムでも３次元パノラマ映像を生成することができる。
【０１２５】
上述した方法は、多様なコンピュータ手段によって行うことができるプログラム命令の形態で実現されても良く、かかるプログラム命令は、コンピュータ読み出し可能媒体に記録されてもよい。前記コンピュータ読み出し可能媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせたものを含んでもよい。前記媒体に記録されるプログラム命令は、本発明のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み出し可能記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気記録媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を格納し遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを用いてコンピュータによって実行できる高級言語コードが含まれる。前記したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆も同様である。
【０１２６】
以上のように本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような記載から多様な修正及び変形が可能である。
【０１２７】
したがって、本発明の範囲は、説明された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。
【符号の説明】
【０１２８】
３１０  リファレンス生成部
３２０  ストリップ抽出部
３３０  制御部
３４０  パノラマ映像生成部
３５０  ３次元パノラマ映像生成部
３６０  処理部
３７０  算出部
３８０  第１判断部
３９０  第２判断部
【図１Ａ】
0006289811.tif 000002
【図１Ｂ】
0006289811.tif 000003
【図２】
0006289811.tif 000004
【図３】
0006289811.tif 000005
【図４】
0006289811.tif 000006
【図５】
0006289811.tif 000007
【図６】
0006289811.tif 000008
【図７Ａ】
0006289811.tif 000009
【図７Ｂ】
0006289811.tif 000010
【図８】
0006289811.tif 000011
【図９】
0006289811.tif 000012