(57)【特許請求の範囲】
【請求項１】
ある視点の第一入力映像と別の視点の第二入力映像とに基づいて、前記第二入力映像の内挿フレームを生成する多視点映像フレーム内挿装置であって、
前記第一入力映像と前記第二入力映像との間の視差ベクトルを推定する視差推定手段と、
前記第一入力映像の動きベクトルを推定する動き推定手段と、
前記動き推定手段により推定された動きベクトルに従って、前記視差推定手段により推定された視差ベクトルを動き補償する動き補償手段と、
前記動き補償手段により動き補償された視差ベクトルに従って、前記第一入力映像を視差補償し、前記第二入力映像の内挿フレームを生成する視差補償手段と、
を備えることを特徴とする多視点映像フレーム内挿装置。
【請求項２】
ある視点の第一入力映像と別の視点の第二入力映像とに基づいて、前記第二入力映像の内挿フレームを生成する多視点映像フレーム内挿装置であって、
前記第一入力映像と前記第二入力映像との間の視差ベクトルを推定する視差推定手段、前記第一入力映像の動きベクトルを推定する動き推定手段、前記視差推定手段により推定された視差ベクトルに従って、前記動き推定手段により推定された動きベクトルを視差補償する視差補償手段、及び前記視差補償手段により視差補償された動きベクトルに従って、前記第二入力映像を動き補償し、前記第二入力映像の内挿フレームを生成する動き補償手段を備える第１の多視点映像フレーム内挿装置、及び、請求項１に記載の多視点映像フレーム内挿装置のうちのいずれか一方または両方と、
前記第二入力映像の動きベクトルを、第二動きベクトルとして推定する第二動き推定手段と、
前記第二動き推定手段により推定された第二動きベクトルに従って、前記第二入力映像を動き補償し、前記第二入力映像の内挿フレームを生成する第二動き補償手段と、
前記第１の多視点映像フレーム内挿装置及び請求項１に記載の多視点映像フレーム内挿装置のうちのいずれか一方または両方により生成された内挿フレームと、前記第二動き補償手段により生成された内挿フレームとを合成し、合成後の内挿フレームを前記第二入力映像の新たな内挿フレームとして出力する映像合成手段と、
を備えることを特徴とする多視点映像フレーム内挿装置。
【請求項３】
ある視点の第一入力映像と別の視点の第二入力映像とに基づいて、前記第二入力映像の内挿フレームを生成する多視点映像フレーム内挿方法であって、
前記第一入力映像と前記第二入力映像との間の視差ベクトルを推定するステップと、
前記第一入力映像の動きベクトルを推定するステップと、
前記動きベクトルに従って前記視差ベクトルを動き補償し、動き補償した視差ベクトルを生成するステップと、
前記動き補償した視差ベクトルに従って前記第一入力映像を視差補償し、前記第二入力映像の内挿フレームを生成するステップと、
を有することを特徴とする多視点映像フレーム内挿方法。
【請求項４】
コンピュータを、請求項１または２に記載の多視点映像フレーム内挿装置として機能させるための多視点映像フレーム内挿プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像のフレーム内挿を行う技術に関し、特に、多視点映像のうちのある視点の低速映像に対し、別の視点の高速映像を利用して内挿フレームを生成する多視点映像フレーム内挿装置、方法及びプログラムに関する。
【背景技術】
【０００２】
従来、対象物を複数の視点から撮影し、これにより得られた多視点映像を伝送する多視点映像伝送システムが知られている。多視点映像（２視点映像を含む）を立体テレビ放送等で用いる場合には、ある視点の映像は高フレームレート（高速）で伝送し、他の視点の映像はより低フレームレート（低速）で伝送する。この多視点映像伝送システムによれば、伝送帯域を節減することができ、効率的な多視点映像の伝送を実現することができる。
【０００３】
このような多視点映像伝送システムでは、映像のフレームレートに差があったとしても、視聴者は、視差の認知が可能であるため、提示された映像に立体感を感じ取ることができる。また、人間の視覚特性は、より高品質な映像に頼って精細な絵柄を認知する傾向があるため、視聴者は、どちらかというと高品質寄りの映像を主観品質として認知することができる。
【０００４】
ところで、映像処理の技術分野では、映像品質を向上させるための技術が知られている。例えば、映像のフレームレートを、低フレームレートから高フレームレートに変換する手法として、同一フレームを複数回提示する手法、近傍フレーム同士で平均値または重みつき平均値を用いる手法、動きベクトルに基づいて被写体の動きを考慮した中割フレームを生成する手法（特許文献１を参照）が提案されている。具体的には、特許文献１の手法は、映像のフィールド間で動きベクトルを検出し、外部からの指示により映像を内挿する時間位置を決定し、検出した動きベクトルに基づいて、決定した時間位置に映像を内挿するものである。これにより、映像の速度を可変にすることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−８８８４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、前述の同一フレームを複数回提示する手法では、映像の動きにぎこちなさを生じる。また、前述の近傍フレーム同士で平均値または重みつき平均値を用いる手法では、中割画像にぼやけや二重像を生じてしまい、精細感が低下し、またはフリッカが発生してしまう。また、前述の特許文献１に記載された動きベクトルに基づく手法では、特に動きが大きい場合に、動きベクトルの頑健な抽出が困難となり、動き補償の単位であるブロック状に、劣化が露呈してしまう。
【０００７】
これらのいずれの手法も、一つの映像系列に対して内挿を行うものであり、複数の映像系列の相関を利用する方式にはなっていない。
【０００８】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、ある視点の第一入力映像及び別の視点の第二入力映像を含む多視点映像に対し、第二入力映像の内挿フレームを、第一入力映像を利用して生成することで、第二入力映像の高精細化を実現可能な多視点映像フレーム内挿装置、方法及びプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
前記課題を解決するため、本発明の請求項１に係る多視点映像フレーム内挿装置は、ある視点の第一入力映像と別の視点の第二入力映像とに基づいて、前記第二入力映像の内挿フレームを生成する多視点映像フレーム内挿装置であって、前記第一入力映像と前記第二入力映像との間の視差ベクトルを推定する視差推定手段と、前記第一入力映像の動きベクトルを推定する動き推定手段と、前記動き推定手段により推定された動きベクトルに従って、前記視差推定手段により推定された視差ベクトルを動き補償する動き補償手段と、前記動き補償手段により動き補償された視差ベクトルに従って、前記第一入力映像を視差補償し、前記第二入力映像の内挿フレームを生成する視差補償手段と、を備えることを特徴とする。
【００１１】
本発明の請求項２に係る多視点映像フレーム内挿装置は、ある視点の第一入力映像と別の視点の第二入力映像とに基づいて、前記第二入力映像の内挿フレームを生成する多視点映像フレーム内挿装置であって、前記第一入力映像と前記第二入力映像との間の視差ベクトルを推定する視差推定手段、前記第一入力映像の動きベクトルを推定する動き推定手段、前記視差推定手段により推定された視差ベクトルに従って、前記動き推定手段により推定された動きベクトルを視差補償する視差補償手段、及び前記視差補償手段により視差補償された動きベクトルに従って、前記第二入力映像を動き補償し、前記第二入力映像の内挿フレームを生成する動き補償手段を備える第１の多視点映像フレーム内挿装置、及び、請求項１に記載の多視点映像フレーム内挿装置のうちのいずれか一方または両方と、前記第二入力映像の動きベクトルを、第二動きベクトルとして推定する第二動き推定手段と、前記第二動き推定手段により推定された第二動きベクトルに従って、前記第二入力映像を動き補償し、前記第二入力映像の内挿フレームを生成する第二動き補償手段と、前記第１の多視点映像フレーム内挿装置及び請求項１に記載の多視点映像フレーム内挿装置のうちのいずれか一方または両方により生成された内挿フレームと、前記第二動き補償手段により生成された内挿フレームとを合成し、合成後の内挿フレームを前記第二入力映像の新たな内挿フレームとして出力する映像合成手段と、を備えることを特徴とする。
【００１３】
本発明の請求項３に係る多視点映像フレーム内挿方法は、ある視点の第一入力映像と別の視点の第二入力映像とに基づいて、前記第二入力映像の内挿フレームを生成する多視点映像フレーム内挿方法であって、前記第一入力映像と前記第二入力映像との間の視差ベクトルを推定するステップと、前記第一入力映像の動きベクトルを推定するステップと、前記動きベクトルに従って前記視差ベクトルを動き補償し、動き補償した視差ベクトルを生成するステップと、前記動き補償した視差ベクトルに従って前記第一入力映像を視差補償し、前記第二入力映像の内挿フレームを生成するステップと、を有することを特徴とする。
【００１４】
本発明の請求項４に係る多視点映像フレーム内挿プログラムは、コンピュータを、請求項１または２に記載の多視点映像フレーム内挿装置として機能させることを特徴とする。
【発明の効果】
【００１５】
以上のように、本発明によれば、第二入力映像の内挿フレームを、第一入力映像を利用して生成するようにしたから、第二入力映像を時間方向に高精細化することができる。
【図面の簡単な説明】
【００１６】
【図１】実施例１に係る多視点映像フレーム内挿装置の動作例の説明図である。
【図２】実施例１に係る多視点映像フレーム内挿装置の構成例を示すブロック図である。
【図３】実施例１に係る多視点映像フレーム内挿装置の処理を示すフローチャートである。
【図４】実施例１の視差補償手段の処理を説明する図であり、（１）は動きベクトルＶ１の例を示し、（２）は視差ベクトルＤ０の例を示し、（３）は視差ベクトルＤ０だけ部分領域をずらしたときの動きベクトルＶ１の例を示し、（４）は視差補償した動きベクトルＷ１の例を示す。
【図５】実施例１の動き補償手段の処理を説明する図であり、（１）は第二入力映像Ｓ０の例を示し、（２）は動きベクトルＷ１の例を示し、（３）は出力内挿映像Ｓ１の例を示す。
【図６】実施例２に係る多視点映像フレーム内挿装置の動作例の説明図である。
【図７】実施例２に係る多視点映像フレーム内挿装置の構成例を示すブロック図である。
【図８】実施例２に係る多視点映像フレーム内挿装置の処理を示すフローチャートである。
【図９】実施例２の動き補償手段の処理を説明する図である。（１）は視差ベクトルＤ０の例を示し、（２）は動きベクトルＶ１の例を示し、（３）は動きベクトルＶ１だけ部分領域をずらしたときの視差ベクトルＤ０の例を示し、（４）は動き補償した視差ベクトルＥ０の例を示す。
【図１０】実施例２の視差補償手段の処理を説明する図である。（１）は第一入力映像Ｆ１の例を示し、（２）は視差ベクトルＥ０の例を示し、（３）は出力内挿映像Ｓ１の例を示す。
【図１１】実施例３に係る多視点映像フレーム内挿装置の動作例の説明図である。
【図１２】実施例３に係る多視点映像フレーム内挿装置の構成例を示すブロック図である。
【図１３】実施例３に係る多視点映像フレーム内挿装置の処理を示すフローチャートである。
【図１４】実施例４に係る多視点映像フレーム内挿装置の動作例の説明図である。
【発明を実施するための形態】
【００１７】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。以下に説明する実施例１〜４に係る多視点映像フレーム内挿装置は、ある視点（視点１）から撮影された高速映像（第一入力映像Ｆ）と、別の視点（視点２）から撮影された低速映像（第二入力映像Ｓ）とを入力し、第一入力映像Ｆ及び第二入力映像Ｓを用いて、視点２の第二入力映像Ｓの内挿フレームである出力内挿映像を生成する。
【００１８】
尚、多視点映像フレーム内挿装置は、さらに別の視点（視点Ｖ；Ｖは３以上の整数）から撮影された低速映像も入力し、視点１の第一入力映像Ｆ及び視点Ｖの第二入力映像Ｓを用いて、視点Ｖの第二入力映像Ｓの内挿フレームである出力内挿映像を生成するようにしてもよい。この場合の多視点映像フレーム内挿装置は、後述する「視点２」を「視点Ｖ」に置き換えた構成を付加したものとすればよい。
【００１９】
以下、高速映像である第一入力映像をＦｔとし、低速映像である第二入力映像をＳｔとする。添え字のｔはフレーム番号を表す。第一入力映像Ｆｔについては、整数ｔのフレームが存在するものとし、第二入力映像Ｓｔについては、Ｄの整数倍（Ｄは２以上の整数）のｔについてフレームが存在するものとする。多視点映像フレーム内挿装置は、第二入力映像Ｓｔに対し、Ｄの整数倍以外のｔについてフレームを生成するものであり、以下に示す実施例１〜４では、Ｄ＝２の場合を示している。第一入力映像Ｆｔのサンプリング時刻はｔ＝・・・，−２，−１，０，１，２，・・・、第二入力映像Ｓｔのサンプリング時刻はｔ＝・・・，−４，−２，０，２，４，・・・であり、多視点映像フレーム内挿装置は、第二入力映像Ｓｔに対し、ｔ＝・・・，−３，−１，１，３，・・・の内挿フレームを生成する。
【実施例１】
【００２０】
まず、実施例１について説明する。実施例１は、視点１と視点２との間の視差ベクトル及び視点１の動きベクトルを用いて、視点２の動きベクトルを予測し、予測した視点２の動きベクトルを用いて視点２の映像を動き補償し、視点２の内挿フレーム（出力内挿映像）を生成するものである。
【００２１】
図１は、実施例１に係る多視点映像フレーム内挿装置の動作例の説明図であり、図２は、その構成例を示すブロック図であり、図３は、その処理を示すフローチャートである。図２を参照して、実施例１に係る多視点映像フレーム内挿装置１は、視差推定手段１１、遅延手段１２、動きベクトル推定手段（動き推定手段）１３、視差補償手段１４及び動き補償手段１５を備えている。
【００２２】
以下、第一入力映像Ｆｔの隣接する２個のフレームＦ０，Ｆ１（以下、第一入力映像Ｆ０，Ｆ１という。）及び第二入力映像ＳｔのフレームＳ０（以下、第二入力映像Ｓ０という。）から、視点２の出力内挿映像のフレームＳ１（以下、出力内挿映像Ｓ１という。）を生成する手法について説明する。生成する視点２の出力内挿映像Ｓ１は、視点１の第一入力映像Ｆ１であるサンプリング時刻ｔ＝１のフレームに対応するものである。多視点映像フレーム内挿装置１が視点１の第一入力映像Ｆ０，Ｆ１及び視点２の第二入力映像Ｓ０を入力すると（ステップＳ３０１）、視差推定手段１１は、第一入力映像Ｆ０を入力すると共に、第二入力映像Ｓ０を入力し、第一入力映像Ｆ０及び第二入力映像Ｓ０に基づいて、第二入力映像Ｓ０から第一入力映像Ｆ０への視差ベクトルＤ０を推定する（ステップＳ３０２）。視差ベクトルＤ０は、視差補償手段１４に出力される。
【００２３】
視差ベクトルＤ０は、典型的には、第一入力映像Ｆ０と第二入力映像Ｓ０との間のパターン照合により部分領域毎の対応付けが行われ、視差推定されたベクトルであって、フレーム内の部分領域毎に求めた複数の視差ベクトルのマップである。すなわち、マッチングした部分領域を基準にした、第一入力映像Ｆ０の画素座標と第二入力映像Ｓ０の画素座標との間の差をいい、その差の大きさ及び方向を示すべクトルで表したものである。
【００２４】
例えば、視差推定手段１１は、第二入力映像Ｓ０（または第一入力映像Ｆ０）をブロック分割し（部分領域に分割し）、各ブロックの画素値パターンと最も類似する領域を、相互相関の最大化または誤差の最小化によって第一入力映像Ｆ０（または第二入力映像Ｓ０）の中から探索することにより、視差ベクトルＤ０を推定する。
【００２５】
遅延手段１２は、第一入力映像Ｆ０を入力し、第一入力映像Ｆ０を、第一入力映像Ｆｔのフレーム間隔に相当する時間分遅延させ、遅延させた第一入力映像Ｆ０を動きベクトル推定手段１３に出力する（ステップＳ３０３）。後述する動きベクトル推定手段１３において、時刻ｔ−１（＝０）のフレーム（第一入力映像Ｆ０）を時刻ｔ（＝１）の時点で参照するために、遅延手段１２は、１時点前のフレーム（第一入力映像Ｆ０）を記憶する。
【００２６】
動きベクトル推定手段１３は、第一入力映像Ｆ１を入力すると共に、遅延手段１２から第一入力映像Ｆ０を入力し、第一入力映像Ｆ０，Ｆ１に基づいて、第一入力映像Ｆ０から第一入力映像Ｆ１への動きベクトルＶ１を推定する（ステップＳ３０４）。動きベクトルＶ１は、視差補償手段１４に出力される。
【００２７】
動きベクトルＶ１は、典型的には、第一入力映像Ｆ０，Ｆ１のパターン照合により部分領域毎の対応付けが行われ、推定されたベクトルであって、フレーム内の部分領域毎に求めた複数の動きベクトルのマップである。すなわち、マッチングした部分領域を基準にした、第一入力映像Ｆ０の画素座標と第一入力映像Ｆ１の画素座標との間の差をいい、その差の大きさ及び方向を示すべクトルで表したものである。
【００２８】
例えば、動きベクトル推定手段１３は、第一入力映像Ｆ０（または第一入力映像Ｆ１）をブロック分割し（部分領域に分割し）、各ブロックの画素値パターンと最も類似する領域を、相互相関の最大化または誤差の最小化によって第一入力映像Ｆ１（または第一入力映像Ｆ０）の中から探索することにより、動きベクトルＶ１を推定する。
【００２９】
視差補償手段１４は、視差推定手段１１から視差ベクトルＤ０を入力すると共に、動きベクトル推定手段１３から動きベクトルＶ１を入力し、第二入力映像Ｓ０の部分領域毎に、視差ベクトルＤ０の符号を逆にしたベクトル−Ｄ０に従って、動きベクトルＶ１を視差補償し、視差補償した動きベクトルＷ１（第二入力映像Ｓ０から出力内挿映像Ｓ１への動きベクトルＷ１）を生成する（ステップＳ３０５）。視差補償した動きベクトルＷ１は、動き補償手段１５に出力される。これにより、視点１における動きベクトルＶ１の分布が、視点２における動きベクトルの予測分布を示す動きベクトルＷ１に変換される。
【００３０】
図４は、視差補償手段１４の処理を説明する図である。（１）は動きベクトルＶ１の例を示し、（２）は視差ベクトルＤ０の例を示し、（３）は視差ベクトルＤ０だけ部分領域をずらしたときの動きベクトルＶ１の例を示し、（４）は視差補償した動きベクトルＷ１の例を示す。図４（１）に示すように、動きベクトルＶ１は、第一入力映像Ｆｔのフレームがブロック分割された所定の部分領域毎に、異なるベクトルを有しており、図４（２）に示すように、視差ベクトルＤ０は、第二入力映像Ｓｔのフレームがブロック分割された所定の部分領域毎に、異なるベクトルを有している。尚、動きベクトルＶ１及び視差ベクトルＤ０は、画素単位で異なるベクトルを有していてもよい。
【００３１】
視差補償手段１４は、図４（１）に示した動きベクトルＶ１に対し、図４（２）に示した視差ベクトルＤ０だけずらした部分領域（図４（３）の点線で示す領域）に存在する動きベクトル（図４（３）の点線内の動きベクトル）について、その動きベクトルを、視差ベクトルＤ０の符号を反転したベクトル−Ｄ０だけ並進することにより、動きベクトルＶ１を視差補償し、視差補償した動きベクトルＷ１を生成する（図４（４）を参照）。尚、図４（３）に示した動きベクトルを、視差ベクトルＤ０の符号を反転したベクトル−Ｄ０だけ並進させた結果、図４（４）の斜線部のように、ベクトルが未定義の箇所が存在し得る。この場合、視差補償手段１４は、その箇所の動きベクトルＷ１についてはゼロベクトルとするか、または近傍の動きベクトルＷ１を用いて外挿したベクトルに設定する。
【００３２】
図１〜図３に戻って、動き補償手段１５は、第二入力映像Ｓ０を入力すると共に、視差補償手段１４から動きベクトルの予測分布を示す動きベクトルＷ１を入力し、第二入力映像Ｓ０の部分領域毎に、動きベクトルＷ１に従って第二入力映像Ｓ０を動き補償し、動き補償した出力内挿映像Ｓ１を生成し（ステップＳ３０６）、出力内挿映像Ｓ１を出力する（ステップＳ３０７）。出力内挿映像Ｓ１は、第一入力映像Ｆ１の時刻に対応した映像となる。
【００３３】
図５は、動き補償手段１５の処理を説明する図である。（１）は第二入力映像Ｓ０の例を示し、（２）は動きベクトルＷ１の例を示し、（３）は出力内挿映像Ｓ１の例を示す。動き補償手段１５は、図５（１）に示した第二入力映像Ｓ０に対し、図５（２）に示した動きベクトルＷ１の符号を逆にしたベクトル−Ｗ１だけずらした部分領域（図５（３）の点線で示す領域）に存在する映像（図５（３）の点線内の映像）について、その映像を、動きベクトルＷ１だけ並進することにより、第二入力映像Ｓ０を動き補償し、動き補償した出力内挿映像Ｓ１を生成する（図５（３）を参照）。
【００３４】
以上のように、実施例１に係る多視点映像フレーム内挿装置１によれば、視差推定手段１１が、第一入力映像Ｆ０及び第二入力映像Ｓ０に基づいて、第二入力映像Ｓ０から第一入力映像Ｆ０への視差ベクトルＤ０を推定し、動きベクトル推定手段１３が、第一入力映像Ｆ０，Ｆ１に基づいて、第一入力映像Ｆ０から第一入力映像Ｆ１への動きベクトルＶ１を推定し、視差補償手段１４が、第二入力映像Ｓ０の部分領域毎に、視差ベクトルＤ０の符号を逆にしたベクトル−Ｄ０に従って、動きベクトルＶ１を視差補償し、視差補償した動きベクトルＷ１（第二入力映像Ｓ０から出力内挿映像Ｓ１への動きベクトルＷ１）を生成するようにした。また、動き補償手段１５が、第二入力映像Ｓ０の部分領域毎に、動きベクトルＷ１に従って第二入力映像Ｓ０を動き補償し、動き補償した出力内挿映像Ｓ１を生成するようにした。これにより、視点２の低速映像である第二入力映像Ｓ０の内挿フレーム（出力内挿映像Ｓ１）を、別の視点１の高速映像である第一入力映像Ｆ０，Ｆ１を利用して生成するようにしたから、低速映像の高精細化を実現することができる。
【００３５】
（実施例１の変形例）
実施例１の変形例として、多視点映像フレーム内挿装置１は、第一入力映像Ｆ０，Ｆ１の代わりに第一入力映像Ｆ１，Ｆ２を入力し、第二入力映像Ｓ０の代わりに第二入力映像Ｓ２を入力するようにしてもよい（後述する図１４を参照）。この場合、視差推定手段１１は、第一入力映像Ｆ２及び第二入力映像Ｓ２に基づいて視差ベクトルＤ２を推定し、動きベクトル推定手段１３は、第一入力映像Ｆ１，Ｆ２に基づいて動きベクトル−Ｖ２を推定する。また、視差補償手段１４は、視差ベクトルＤ２に従って動きベクトル−Ｖ２を視差補償し、動きベクトル−Ｗ２を生成し、動き補償手段１５は、動きベクトル−Ｗ２に従って第二入力映像Ｓ２を動き補償し、出力内挿映像Ｓ１を生成する。
【実施例２】
【００３６】
次に、実施例２について説明する。実施例２は、視点１と視点２との間の視差ベクトル及び視点１の動きベクトルを用いて、生成すべき内挿フレームの時点の視差ベクトルを予測し、予測した視差ベクトルを用いて視点１の映像を視差補償し、視点２の内挿フレーム（出力内挿映像）を生成するものである。
【００３７】
図６は、実施例２に係る多視点映像フレーム内挿装置の動作例の説明図であり、図７は、その構成例を示すブロック図であり、図８は、その処理を示すフローチャートである。図７を参照して、実施例２に係る多視点映像フレーム内挿装置２は、視差推定手段１１、遅延手段１２、動きベクトル推定手段１３、動き補償手段２１及び視差補償手段２２を備えている。多視点映像フレーム内挿装置２の視差推定手段１１、遅延手段１２及び動きベクトル推定手段１３は、図２に示した多視点映像フレーム内挿装置１の視差推定手段１１、遅延手段１２及び動きベクトル推定手段１３と同様である。
【００３８】
以下、視点１の第一入力映像Ｆ０，Ｆ１及び視点２の第二入力映像Ｓ０から視点２の出力内挿映像Ｓ１を生成する手法について説明する。図８において、ステップＳ８０１〜ステップＳ８０４の処理は、図３に示したステップＳ３０１〜ステップＳ３０４の処理と同様であるから、説明を省略する。
【００３９】
動き補償手段２１は、ステップＳ８０４から移行して、視差推定手段１１から視差ベクトルＤ０を入力すると共に、動きベクトル推定手段１３から動きベクトルＶ１を入力し、第二入力映像Ｓ０の部分領域毎に、動きベクトルＶ１に従って視差ベクトルＤ０を動き補償し、動き補償した視差ベクトルＥ０（第一入力映像Ｆ１から出力内挿映像Ｓ１への視差ベクトルＥ０）を生成する（ステップＳ８０５）。動き補償した視差ベクトルＥ０は、視差補償手段２２に出力される。これにより、時刻ｔ＝０における視点２から視点１への視差ベクトルＤ０の分布が、時刻ｔ＝１における視点１から視点２への視差ベクトルの予測分布を示す視差ベクトルＥ０に変換される。
【００４０】
図９は、動き補償手段２１の処理を説明する図である。（１）は視差ベクトルＤ０の例を示し、（２）は動きベクトルＶ１の例を示し、（３）は動きベクトルＶ１だけ部分領域をずらしたときの視差ベクトルＤ０の例を示し、（４）は動き補償した視差ベクトルＥ０の例を示す。図９（１）に示すように、視差ベクトルＤ０は、第二入力映像Ｓｔのフレームがブロック分割された所定の部分領域毎に、異なるベクトルを有しており、図９（２）に示すように、動きベクトルＶ１は、第一入力映像Ｆｔのフレームがブロック分割された所定の部分領域毎に、異なるベクトルを有している。尚、視差ベクトルＤ０及び動きベクトルＶ１は、画素単位で異なるベクトルを有していてもよい。
【００４１】
動き補償手段２１は、図９（１）に示した視差ベクトルＤ０に対し、図９（２）に示した動きベクトルＶ１の符号を反転したベクトル−Ｖ１だけずらした部分領域（図９（３）の点線で示す領域）に存在する視差ベクトル（図９（３）の点線内の視差ベクトル）について、その視差ベクトルを、動きベクトルＶ１だけ並進することにより、視差ベクトルＤ０を動き補償し、動き補償した視差ベクトルＥ０を生成する（図９（４）を参照）。尚、図９（３）に示した視差ベクトルを、動きベクトルＶ１だけ並進させた結果、図９（４）の斜線部のように、ベクトルが未定義の箇所が存在し得る。この場合、動き補償手段２１は、その箇所の視差ベクトルＥ０についてはゼロベクトルとするか、または近傍の視差ベクトルＥ０を用いて外挿したベクトルに設定する。
【００４２】
図６〜図８に戻って、視差補償手段２２は、第一入力映像Ｆ１を入力すると共に、動き補償手段２１から視差ベクトルの予測分布を示す視差ベクトルＥ０を入力し、第二入力映像Ｓ０の部分領域毎に、視差ベクトルＥ０に従って第一入力映像Ｆ１を視差補償し、視差補償した出力内挿映像Ｓ１を生成し（ステップＳ８０６）、出力内挿映像Ｓ１を出力する（ステップＳ８０７）。出力内挿映像Ｓ１は、第一入力映像Ｆ１の時刻に対応した映像となる。
【００４３】
図１０は、視差補償手段２２の処理を説明する図である。（１）は第一入力映像Ｆ１の例を示し、（２）は視差ベクトルＥ０の例を示し、（３）は出力内挿映像Ｓ１の例を示す。視差補償手段２２は、図１０（１）に示した第一入力映像Ｆ１に対し、図１０（２）に示した視差ベクトルＥ０の符号を逆にしたベクトル−Ｅ０だけずらした部分領域（図１０（３）の点線で示す領域）に存在する映像（図１０（３）の点線内の映像）について、その映像を、視差ベクトルＥ０だけ並進することにより、第一入力映像Ｆ１を視差補償し、視差補償した出力内挿映像Ｓ１を生成する（図１０（３）を参照）。
【００４４】
以上のように、実施例２に係る多視点映像フレーム内挿装置２によれば、視差推定手段１１が、第一入力映像Ｆ０及び第二入力映像Ｓ０に基づいて、第二入力映像Ｓ０から第一入力映像Ｆ０への視差ベクトルＤ０を推定し、動きベクトル推定手段１３が、第一入力映像Ｆ０，Ｆ１に基づいて、第一入力映像Ｆ０から第一入力映像Ｆ１への動きベクトルＶ１を推定し、動き補償手段２１が、第二入力映像Ｓ０の部分領域毎に、動きベクトルＶ１に従って視差ベクトルＤ０を動き補償し、動き補償した視差ベクトルＥ０（第一入力映像Ｆ１から出力内挿映像Ｓ１への視差ベクトルＥ０）を生成するようにした。また、視差補償手段２２が、第二入力映像Ｓ０の部分領域毎に、視差ベクトルＥ０に従って第一入力映像Ｆ１を視差補償し、視差補償した出力内挿映像Ｓ１を生成するようにした。これにより、視点２の低速映像である第二入力映像Ｓ０の内挿フレーム（出力内挿映像Ｓ１）を、別の視点１の高速映像である第一入力映像Ｆ０，Ｆ１を利用して生成するようにしたから、低速映像の高精細化を実現することができる。
【００４５】
（実施例２の変形例）
実施例２の変形例として、多視点映像フレーム内挿装置２は、第一入力映像Ｆ０，Ｆ１の代わりに第一入力映像Ｆ１，Ｆ２を入力し、第二入力映像Ｓ０の代わりに第二入力映像Ｓ２を入力するようにしてもよい（後述する図１４を参照）。この場合、視差推定手段１１は、第一入力映像Ｆ２及び第二入力映像Ｓ２に基づいて視差ベクトルＤ２を推定し、動きベクトル推定手段１３は、第一入力映像Ｆ１，Ｆ２に基づいて動きベクトル−Ｖ２を推定する。また、動き補償手段２１は、動きベクトル−Ｖ２に従って視差ベクトルＤ２を動き補償し、視差ベクトルＥ２を生成し、視差補償手段２２は、視差ベクトルＥ２に従って第一入力映像Ｆ１を視差補償し、出力内挿映像Ｓ１を生成する。
【実施例３】
【００４６】
次に、実施例３について説明する。実施例３は、視点２の動きベクトルを用いて視点２の映像を動き補償し、視点２の内挿フレーム（出力内挿映像）を生成し、この出力内挿映像と、実施例１または２にて生成した視点２の出力内挿映像とを合成するものである。
【００４７】
図１１は、実施例３に係る多視点映像フレーム内挿装置の動作例の説明図であり、図１２は、その構成例を示すブロック図であり、図１３は、その処理を示すフローチャートである。図１２を参照して、実施例３に係る多視点映像フレーム内挿装置３は、図２に示した実施例１の多視点映像フレーム内挿装置１の構成または図７に示した実施例２の多視点映像フレーム内挿装置２の構成に加え、第二遅延手段３１、第二動きベクトル推定手段（第二動き推定手段）３２、第二動き補償手段３３及び映像合成手段３４を備えている。
【００４８】
以下、視点１の第一入力映像Ｆ０，Ｆ１及び視点２の第二入力映像Ｓ０，Ｓ２から視点２の出力内挿映像Ｓ１を生成する手法について説明する。生成する視点２の出力内挿映像Ｓ１は、視点１の第一入力映像Ｆ１であるサンプリング時刻ｔ＝１のフレームに対応するものである。多視点映像フレーム内挿装置３は、視点１の第一入力映像Ｆ０，Ｆ１及び視点２の第二入力映像Ｓ０，Ｓ２を入力すると（ステップＳ１３０１）、実施例１，２に示したとおり、第一入力映像Ｆ０，Ｆ１及び第二入力映像Ｓ０に基づいて出力内挿映像Ｓ１を生成し（ステップＳ１３０２）、出力内挿映像Ｓ１を第一内挿映像Ｓ１−１とする（ステップＳ１３０３）。図１３におけるステップＳ１３０２の処理は、多視点映像フレーム内挿装置３が多視点映像フレーム内挿装置１を備える場合、図３に示した実施例１のステップＳ３０２〜ステップＳ３０６の処理と同様であり、多視点映像フレーム内挿装置３が多視点映像フレーム内挿装置２を備える場合、図８に示した実施例２のステップＳ８０２〜ステップＳ８０６の処理と同様であるから、説明を省略する。
【００４９】
第二遅延手段３１は、ステップＳ１３０１から移行して、第二入力映像Ｓ０を入力し、第二入力映像Ｓ０を、第二入力映像Ｓｔのフレーム間隔に相当する時間分遅延させ、遅延させた第二入力映像Ｓ０を第二動きベクトル推定手段３２に出力する（ステップＳ１３０４）。後述する第二動きベクトル推定手段３２において、第二入力映像Ｓ０から第二入力映像Ｓ２への動きベクトルＺ２の分布を生成するために、第二遅延手段３１は、１時点前の第二入力映像Ｓ０を記憶する。
【００５０】
第二動きベクトル推定手段３２は、第二入力映像Ｓ２を入力すると共に、遅延手段３１から第二入力映像Ｓ０を入力し、第二入力映像Ｓ０，Ｓ２に基づいて、第二入力映像Ｓ０から第二入力映像Ｓ２への動きベクトルＺ２を推定する（ステップＳ１３０５）。動きベクトルＺ２は、第二動き補償手段３３に出力される。
【００５１】
動きベクトルＺ２は、典型的には、第二入力映像Ｓ０，Ｓ２のパターン照合により部分領域毎の対応付けが行われ、推定されたベクトルであって、フレーム内の部分領域毎に求めた複数の動きベクトルのマップである。すなわち、マッチングした部分領域を基準にした、第二入力映像Ｓ０の画素座標と第二入力映像Ｓ２の画素座標との間の差をいい、その差の大きさ及び方向を示すべクトルで表したものである。
【００５２】
例えば、第二動きベクトル推定手段３２は、第二入力映像Ｓ０（または第二入力映像Ｓ２）をブロック分割し（部分領域に分割し）、各ブロックの画素値パターンと最も類似する領域を、相互相関の最大化または誤差の最小化によって第二入力映像Ｓ２（または第二入力映像Ｓ０）の中から探索することにより、動きベクトルＺ２を推定する。
【００５３】
第二動き補償手段３３は、第二入力映像Ｓ０を入力すると共に、第二動きベクトル推定手段３２から動きベクトルＺ２を入力し、第二入力映像Ｓ０の部分領域毎に、動きベクトルＺ２を所定倍したベクトルに従って、第二入力映像Ｓ０を動き補償し、動き補償した第二内挿映像Ｓ１−２を生成する（ステップＳ１３０６）。ここで、所定倍とは、例えば、動き補償元の第二入力映像Ｓ０から動き補償先の第二内挿映像Ｓ１−２への時刻の差分を、動きベクトルＺ２を推定した２フレームにおける第二入力映像Ｓ０から第二入力映像Ｓ２への時間の差分で除した値である。本例の所定倍は１／２である。
【００５４】
尚、第二動き補償手段３３は、第二入力映像Ｓ０の代わりに第二入力映像Ｓ２を入力し、第二入力映像Ｓ２の部分領域毎に、動きベクトルＺ２を所定倍して符号を逆にしたベクトルに従って、第二入力映像Ｓ２を動き補償し、動き補償した第二内挿映像Ｓ１−２を生成するようにしてもよい。
【００５５】
映像合成手段３４は、ステップＳ１３０３及びステップＳ１３０６から移行して、多視点映像フレーム内挿装置１または多視点映像フレーム内挿装置２から第一内挿映像Ｓ１−１を入力すると共に、第二動き補償手段３３から第二内挿映像Ｓ１−２を入力し、第一内挿映像Ｓ１−１と第二内挿映像Ｓ１−２とを合成して出力内挿映像Ｓ１を生成し（ステップＳ１３０７）、出力内挿映像Ｓ１を出力する（ステップＳ１３０８）。出力内挿映像Ｓ１は、第一入力映像Ｆ１の時刻に対応した映像となる。例えば、映像合成手段３４は、第一内挿映像Ｓ１−１と第二内挿映像Ｓ１−２との平均を求め、その結果を出力内挿映像Ｓ１として出力する。
【００５６】
以上のように、実施例３に係る多視点映像フレーム内挿装置３によれば、実施例１の多視点映像フレーム内挿装置１または実施例２の多視点映像フレーム内挿装置２が第一内挿映像Ｓ１−１を生成し、第二動きベクトル推定手段３２が、第二入力映像Ｓ０，Ｓ２に基づいて、第二入力映像Ｓ０から第二入力映像Ｓ２への動きベクトルＺ２を推定し、第二動き補償手段３３が、第二入力映像Ｓ０の部分領域毎に、動きベクトルＺ２を所定倍したベクトルに従って、第二入力映像Ｓ０を動き補償し、動き補償した第二内挿映像Ｓ１−２を生成するようにした。また、映像合成手段３４が、第一内挿映像Ｓ１−１と第二内挿映像Ｓ１−２とを合成して出力内挿映像Ｓ１を生成するようにした。これにより、視点２の低速映像である第二入力映像Ｓ０の内挿フレーム（出力内挿映像Ｓ１）を、別の視点１の高速映像である第一入力映像Ｆ０，Ｆ１を利用して生成するようにしたから、低速映像の高精細化を実現することができる。また、第一内挿映像Ｓ１−１と第二内挿映像Ｓ１−２とを合成するようにしたから、実施例１，２に比べて頑健性の高い出力内挿映像Ｓ１を生成することができる。
【実施例４】
【００５７】
次に、実施例４について説明する。実施例４は、視点２の動きベクトルを用いて視点２の映像を動き補償し、視点２の内挿フレーム（出力内挿映像）を生成し、この出力内挿映像と、前述の実施例１の変形例または実施例２の変形例（第一入力映像Ｆ０，Ｆ１の代わりに第一入力映像Ｆ１，Ｆ２を入力し、第二入力映像Ｓ０の代わりに第二入力映像Ｓ２を入力する例）にて生成した視点２の出力内挿映像とを合成するものである。
【００５８】
図１４は、実施例４に係る多視点映像フレーム内挿装置の動作例の説明図である。実施例４に係る多視点映像フレーム内挿装置４は、図１２に示した実施例３と同様の構成部を備えているが、多視点映像フレーム内挿装置１，２が、第一入力映像Ｆ０，Ｆ１の代わりに第一入力映像Ｆ１，Ｆ２を入力し、第二入力映像Ｓ０の代わりに第二入力映像Ｓ２を入力する点で、実施例３と相違する。多視点映像フレーム内挿装置１，２の視差推定手段１１及び遅延手段１２、多視点映像フレーム内挿装置１の動きベクトル推定手段１３及び視差補償手段１４、多視点映像フレーム内挿装置２の動き補償手段２１及び視差補償手段２２の各処理は、実施例１の変形例及び実施例２の変形例に示したので、ここでは説明を省略する。このように、多視点映像フレーム内挿装置４が多視点映像フレーム内挿装置１を備える場合、多視点映像フレーム内挿装置１の動き補償手段１５は、動きベクトル−Ｗ２に従って第二入力映像Ｓ２を動き補償し、第一内挿映像Ｓ１−１を生成する。また、多視点映像フレーム内挿装置４が多視点映像フレーム内挿装置２を備える場合、多視点映像フレーム内挿装置２の視差補償手段２２は、視差ベクトルＥ２に従って第一入力映像Ｆ１を視差補償し、第一内挿映像Ｓ１−１を生成する。
【００５９】
したがって、多視点映像フレーム内挿装置４は、第一入力映像Ｆ１，Ｆ２及び第二入力映像Ｓ０，Ｓ２を入力し、第一入力映像Ｆ１，Ｆ２及び第二入力映像Ｓ２から第一内挿映像Ｓ１−１を生成し、第二入力映像Ｓ０，Ｓ２から第二内挿映像Ｓ１−２を生成し、第一内挿映像Ｓ１−１及び第二入力映像Ｓ０，Ｓ２から出力内挿映像Ｓ１を生成する。
【００６０】
以上のように、実施例４に係る多視点映像フレーム内挿装置４によれば、視点２の低速映像である第二入力映像Ｓ２の内挿フレーム（出力内挿映像Ｓ１）を、別の視点１の高速映像である第一入力映像Ｆ１，Ｆ２を利用して生成するようにしたから、低速映像の高精細化を実現することができる。また、第一内挿映像Ｓ１−１と第二内挿映像Ｓ１−２とを合成するようにしたから、実施例１，２に比べて頑健性の高い出力内挿映像Ｓ１を生成することができる。
【００６１】
尚、実施例３，４の多視点映像フレーム内挿装置３，４における映像合成手段３４は、第一内挿映像Ｓ１−１と第二内挿映像Ｓ１−２との間で重み付き平均を求め、その結果を出力内挿映像Ｓ１とするようにしてもよい。この場合の重み付けは、例えば、第一内挿映像Ｓ１−１及び第二内挿映像Ｓ１−２における部分領域毎の信頼度に応じて、信頼度が高いほど大きな重みを与えるようにする。
【００６２】
信頼度は、例えば、視差推定時に用いた照合方法（例えば、ブロックマッチング）の評価関数（例えば、相互相関または誤差の評価関数）の値、及び／または動き推定時に用いた照合方法（例えば、ブロックマッチング）の評価関数（例えば、相互相関または誤差の評価関数）の値に基づいて、部分領域毎に定義する。
【００６３】
具体的には、実施例１，２の多視点映像フレーム内挿装置１，２による視差推定手段１１は、視差ベクトルＤ０を求めた際の評価関数の値に基づいて、信頼度ｒＤ（０≦ｒＤ≦１；相互相関が大きいまたは誤差が小さいほどｒＤは大きくする）を部分領域毎に求め、動きベクトル推定手段１３は、動きベクトルＶ１を求めた際の評価関数の値に基づいて、信頼度ｒＶ（０≦ｒＶ≦１；相互相関が大きいまたは誤差が小さいほどｒＶは大きくする）を部分領域毎に求める。また、実施例３，４の第二動きベクトル推定手段３２は、動きベクトルＺ２を求めた際の評価関数の値に基づいて、信頼度ｒＶ２（０≦ｒＶ２≦１；相互相関が大きいまたは誤差が小さいほどｒＶ２は大きくする）を部分領域毎に求める。そして、映像合成手段３４は、多視点映像フレーム内挿装置１，２の視差推定手段１１及び動きベクトル推定手段１３から部分領域毎の信頼度ｒＤ，ｒＶを入力し、これらの積ｒＤ×ｒＶを第一内挿映像Ｓ１−１の部分領域毎の信頼度とする。また、映像合成手段３４は、第二動きベクトル推定手段３２から部分領域毎の信頼度ｒＶ２を入力し、これを第二内挿映像Ｓ１−２の部分領域毎の信頼度とする。そして、映像合成手段３４は、第一内挿映像Ｓ１−１の部分領域毎の信頼度ｒＤ×ｒＶ及び第二内挿映像Ｓ１−２の部分領域毎の信頼度ｒＶ２に基づいて、信頼度が高いほど大きい重みを与えるように、部分領域毎に、第一内挿映像Ｓ１−１の重み及び第二内挿映像Ｓ１−２の重みを求める。そして、映像合成手段３４は、これらの重みを用いて、第一内挿映像Ｓ１−１と第二内挿映像Ｓ１−２との間で部分領域毎に重み付き平均を求め、その結果を出力内挿映像Ｓ１とする。
【００６４】
この場合、映像合成手段３４は、第一内挿映像Ｓ１−１の信頼度と第二内挿映像Ｓ１−２の信頼度とを部分領域毎に比較し、部分領域毎に、信頼度が高い方の第一内挿映像Ｓ１−１または第二内挿映像Ｓ１−２をパッチ状につなぎ合わせ、出力内挿映像Ｓ１を生成するようにしてもよい。
【００６５】
（実施例３，４の変形例）
実施例３，４の変形例１として、多視点映像フレーム内挿装置３，４は、多視点映像フレーム内挿装置１及び多視点映像フレーム内挿装置２を備え、映像合成手段３４は、多視点映像フレーム内挿装置１により生成された第一内挿映像Ｓ1-1-1と、多視点映像フレーム内挿装置２により生成された第一内挿映像Ｓ1-1-2とを入力すると共に、第二動き補償手段３３から第二内挿映像Ｓ１−２を入力するようにしてもよい。この場合、映像合成手段３４は、第一内挿映像Ｓ1-1-1と第一内挿映像Ｓ1-1-2と第二内挿映像Ｓ１−２との平均を求める等して合成し、出力内挿映像Ｓ１を生成する。
【００６６】
また、実施例３，４の変形例２として、多視点映像フレーム内挿装置３，４の第二動きベクトル推定手段３２は、第二入力映像Ｓ０から第二入力映像Ｓ２への動きベクトルＺ２を推定することに加えて、第二入力映像Ｓ２から第二入力映像Ｓ０への動きベクトルＺ２’も推定し、第二動き補償手段３３は、第二入力映像Ｓ０を入力すると共に、第二動きベクトル推定手段３２から動きベクトルＺ２を入力し、第二入力映像Ｓ０を動き補償し、動き補償した第二内挿映像Ｓ1-2-1を生成することに加えて、第二入力映像Ｓ２を入力すると共に、第二動きベクトル推定手段３２から動きベクトルＺ２’を入力し、第二入力映像Ｓ２の部分領域毎に、動きベクトルＺ２’を所定倍したベクトルに従って、第二入力映像Ｓ２を動き補償し、動き補償した第二内挿映像Ｓ1-2-2を生成するようにしてもよい。この場合、映像合成手段３４は、第一内挿映像Ｓ１−１と第二内挿映像Ｓ1-2-1と第二内挿映像Ｓ1-2-2との平均を求める等して合成し、出力内挿映像Ｓ１を生成する。
【００６７】
また、実施例３，４の変形例３として、多視点映像フレーム内挿装置３，４は、多視点映像フレーム内挿装置１及び多視点映像フレーム内挿装置２を備え、多視点映像フレーム内挿装置３の第二動きベクトル推定手段３２は、動きベクトルＺ２，Ｚ２’を推定し、第二動き補償手段３３は、第二内挿映像Ｓ1-2-1，Ｓ1-2-2を生成するようにしてもよい。この場合、映像合成手段３４は、第一内挿映像Ｓ1-1-1と第一内挿映像Ｓ1-1-2と第二内挿映像Ｓ1-2-1と第二内挿映像Ｓ1-2-2との平均を求める等して合成し、出力内挿映像Ｓ１を生成する。
【００６８】
また、実施例３，４の変形例４として、新たな多視点映像フレーム内挿装置は、実施例３の多視点映像フレーム内挿装置１，２及び実施例４の多視点映像フレーム内挿装置１，２の４つの多視点映像フレーム内挿装置のうち、１つ以上の多視点映像フレーム内挿装置を備え、さらに、第二遅延手段３１、第二動きベクトル推定手段３２、第二動き補償手段３３及び映像合成手段３４を備えるようにしてもよい。この場合、映像合成手段３４は、１つ以上の多視点映像フレーム内挿装置から１つ以上の第一内挿映像を入力すると共に、第二動き補償手段３３から１つまたは２つの第二内挿映像を入力し、これらの平均を求める等して合成し、出力内挿映像Ｓ１を生成する。
【００６９】
尚、本発明の実施例１〜４による多視点映像フレーム内挿装置１〜４のハードウェア構成としては、通常のコンピュータを使用することができる。多視点映像フレーム内挿装置１〜４は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。実施例１の多視点映像フレーム内挿装置１に備えた視差推定手段１１、遅延手段１２、動きベクトル推定手段１３、視差補償手段１４及び動き補償手段１５の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。実施例２の多視点映像フレーム内挿装置２に備えた視差推定手段１１、遅延手段１２、動きベクトル推定手段１３、動き補償手段２１及び視差補償手段２２の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。実施例３，４の多視点映像フレーム内挿装置３，４に備えた多視点映像フレーム内挿装置１または多視点映像フレーム内挿装置２、第二遅延手段３１、第二動きベクトル推定手段３２、第二動き補償手段３３及び映像合成手段３４は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
【符号の説明】
【００７０】
１，２，３，４  多視点映像フレーム内挿装置
１１  視差推定手段
１２  遅延手段
１３  動きベクトル推定手段
１４，２２  視差補償手段
１５，２１  動き補償手段
３１  第二遅延手段
３２  第二動きベクトル推定手段
３３  第二動き補償手段
３４  映像合成手段
【図１】
0005977964.tif 000002
【図２】
0005977964.tif 000003
【図３】
0005977964.tif 000004
【図４】
0005977964.tif 000005
【図５】
0005977964.tif 000006
【図６】
0005977964.tif 000007
【図７】
0005977964.tif 000008
【図８】
0005977964.tif 000009
【図９】
0005977964.tif 000010
【図１０】
0005977964.tif 000011
【図１１】
0005977964.tif 000012
【図１２】
0005977964.tif 000013
【図１３】
0005977964.tif 000014
【図１４】
0005977964.tif 000015