(57)【要約】【課題】入力映像から補間画像を生成する際に、解像度の低下やフリッカを防止し、かつ、高周波成分を含む鮮鋭な輪郭像を得る。【解決手段】フレーム補間装置１は、動き推定元画像、動き推定先画像、及び動き補償元画像の組を複数組決定するフレーム選択部１０と、前記動き推定元画像及び前記動き推定先画像間の動きベクトルである基準動きベクトルを求める動き推定部２０と、前記基準動きベクトルをスカラー倍して、前記動き補償元画像及び前記補間画像間の動きベクトルである補間動きベクトルを求める動き補償部３０と、前記複数組の動き補償元画像について前記補間動きベクトルにより小数精度で動き補償を行った複数の動き補償画像を重畳して補間画像を生成する画像重畳部４０と、を備える。【選択図】図１
2014027405.tif 000002
【特許請求の範囲】
【請求項１】
入力映像の補間画像を生成するフレーム補間装置であって、
入力映像から動き推定元画像、動き推定先画像、及び動き補償元画像の組を複数組決定するフレーム選択部と、
前記動き推定元画像及び前記動き推定先画像間の動きベクトルである基準動きベクトルを求める動き推定部と、
前記基準動きベクトルをスカラー倍して、前記動き補償元画像及び前記補間画像間の動きベクトルである補間動きベクトルを求める動き補償部と、
前記複数組の動き補償元画像について前記補間動きベクトルにより小数精度で動き補償を行った複数の動き補償画像を重畳して前記補間画像を生成する画像重畳部と、
を備えることを特徴とするフレーム補間装置。
【請求項２】
前記画像重畳部は、前記動きベクトルを算出する際の類似度に応じて、前記動き補償画像を部分領域ごとに重み付けして重畳することを特徴とする、請求項１に記載のフレーム補間装置。
【請求項３】
前記画像重畳部は、前記動き推定元画像、前記動き推定先画像、前記動き補償元画像、及び前記補間画像の時刻位置に応じて、前記動き補償画像を重み付けして重畳することを特徴とする、請求項１又は２に記載のフレーム補間装置。
【請求項４】
前記画像重畳部は、前記動き補償画像を点拡がり関数により畳み込み演算した後に重畳して前記補間画像を生成することを特徴とする、請求項１から３のいずれか一項に記載のフレーム補間装置。
【請求項５】
前記画像重畳部は、前記動き補償画像を入力映像の解像度よりも高解像な画像とすることを特徴とする、請求項１から４のいずれか一項に記載のフレーム補間装置。
【請求項６】
前記画像重畳部は、前記動き補償画像を重畳した後、解像度を変換して前記補間画像を生成することを特徴とする、請求項１から５のいずれか一項に記載のフレーム補間装置。
【請求項７】
コンピュータを、請求項１から６のいずれか一項に記載のフレーム補間装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のフレームを参照して補間フレームを生成し、フレームを時間補間するフレーム補間装置及びそのプログラムに関する。
【背景技術】
【０００２】
従来、画速（フレーム周波数）をより高いフレーム周波数へと変換するため、同一フレームを複数回提示する手法がある。例えば、フレーム周波数が３０Ｈｚの各フレームを２回ずつ提示することでフレーム周波数を６０Ｈｚに変換することができる。また、同一フレームを提示する回数を可変とした手法もある。例えば、２−３変換と称される手法では、フレーム周波数が２４Ｈｚの奇数番目のフレームを２回、偶数番目のフレームを３回提示することで、フレーム周波数が６０Ｈｚの映像を得ることができる。
【０００３】
また、補間フレームの時刻に隣接する２フレームの各画素値の平均、又は重み付き平均によって、補間フレームの画素値を決定する手法もある。
【０００４】
さらに、映像の動きベクトルを利用して動き補償を行うことで、よりスムーズな補間フレームを生成する手法が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３４９５４８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、従来の同一フレームを複数回提示する手法では、映像の動きがぎこちなくなるという問題があった。また、平均や重み付き平均により補間フレームを生成する手法によれば、映像の動きのぎこちなさは改善するものの、補間フレームにおいて動物体が二重像となり、解像度が低下するという問題や、補間フレームと補間ではない元来のフレームとの画質の違いがフリッカのように見えてしまうという問題があった。
【０００７】
また、従来の特許文献１のような手法では、動きのぎこちなさや二重像は改善されるものの、動きが異なる被写体が同一ブロックに含まれている場合の動き補償誤差や、動き推定の精度の粗さによって生じる標本点の小数精度の誤差に起因して、動き補償に用いるブロックの境界が目立つことがある。動き補償を小数画素精度で行えば、標本点の小数精度の誤差は改善できるものの、小数画素精度の画素位置の移動（位相シフト）を行うディジタルフィルタの特性に起因して輪郭のぼやけやリンギングが生じることがある。
【０００８】
かかる事情に鑑みてなされた本発明の目的は、入力映像から補間画像を生成する際に、解像度の低下やフリッカを防止し、かつ、高周波成分を含む鮮鋭な輪郭像を得ることが可能なフレーム補間装置及びそのプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明に係るフレーム補間装置は、入力映像の補間画像を生成するフレーム補間装置であって、入力映像から動き推定元画像、動き推定先画像、及び動き補償元画像の組を複数組決定するフレーム選択部と、前記動き推定元画像及び前記動き推定先画像間の動きベクトルである基準動きベクトルを求める動き推定部と、前記基準動きベクトルをスカラー倍して、前記動き補償元画像及び前記補間画像間の動きベクトルである補間動きベクトルを求める動き補償部と、前記複数組の動き補償元画像について前記補間動きベクトルにより小数精度で動き補償を行った複数の動き補償画像を重畳して前記補間画像を生成する画像重畳部と、を備えることを特徴とする。
【００１０】
さらに、本発明に係るフレーム補間装置において、前記画像重畳部は、前記動きベクトルを算出する際の類似度に応じて、前記動き補償画像を部分領域ごとに重み付けして重畳することを特徴とする。
【００１１】
さらに、本発明に係るフレーム補間装置において、前記画像重畳部は、前記動き推定元画像、前記動き推定先画像、前記動き補償元画像、及び前記補間画像の時刻位置に応じて、前記動き補償画像を重み付けして重畳することを特徴とする。
【００１２】
さらに、本発明に係るフレーム補間装置において、画像重畳部は、前記動き補償画像を点拡がり関数により畳み込み演算した後に重畳して前記補間画像を生成することを特徴とする。
【００１３】
さらに、本発明に係るフレーム補間装置において、前記画像重畳部は、前記動き補償画像を入力映像の解像度よりも高解像な画像とすることを特徴とする。
【００１４】
さらに、本発明に係るフレーム補間装置において、前記画像重畳部は、前記動き補償画像を重畳した後、解像度を変換して前記補間画像を生成することを特徴とする。
【００１５】
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記フレーム補間装置として機能させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、補間フレームの１画素に対して複数の参照フレームの画素の画素値が影響を及ぼすため、解像度の低下やフリッカを防止でき、かつ補間フレームの被写体の輪郭が滑らかになる。また、参照フレームが空間方向の折り返し歪を含む場合には、位置合わせによる折り返し歪成分の位相回転が複数フレームの重ね合わせにより相殺されて輪郭のジャギー（がたつき）が軽減するとともに、高周波成分を含む鮮鋭な輪郭像を得ることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態に係るフレーム補間装置の構成例を示すブロック図である。
【図２】本発明の一実施形態に係るフレーム補間装置における選択制御部が参照するルックアップテーブルの例を示す図である。
【図３】本発明の一実施形態に係るフレーム補間装置の動作の概要を説明するための図である。
【図４】本発明の一実施形態に係るフレーム補間装置における画像重畳部の動作を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明によるフレーム補間装置の一実施形態について、図面を参照して詳細に説明する。本明細書では、ｆはフレーム番号を示し、Ｉ（ｆ）はフレーム番号ｆの画像を示す。また、フレーム時刻位置をフレーム番号で表す。
【００１９】
図１は、本発明の一実施形態に係るフレーム補間装置の構成例を示すブロック図である。図１に示すように、フレーム補間装置１は、フレーム選択部１０と、動き推定部２０と、動き補償部３０と、画像重畳部４０と、を備える。フレーム選択部１０は、フレーム記憶部１１と、入出力切換部１２と、選択制御部１３と、を有する。
【００２０】
フレーム補間装置１は、入力映像の複数の画像フレームから、フレーム時刻位置ｆｑにおける補間画像を生成する。なお、フレーム時刻位置ｆｑは整数時刻位置であっても、非整数時刻位置であっても構わない。例えば、ｆｑ＝３．２５は、フレーム番号３の画像と、フレーム番号４の画像の各時刻を１：３に内分した時刻位置を指す。
【００２１】
フレーム選択部１０は、入力映像から動き推定元画像、動き推定先画像、及び動き補償元画像の組を複数組決定する。動き推定元画像とは、後述する動き推定部２０にて、動き推定の対象元となる画像フレームである。動き推定先画像とは、後述する動き推定部２０にて、動き推定の対象先となる画像フレームである。動き補償元画像とは、後述する画像重畳部４０にて、補間画像を生成するために重畳処理される画像フレームである。
【００２２】
フレーム記憶部１１は、入力映像の現時点以前のフレームを２時点以上記憶する。例えば、フレーム記憶部１１はリングバッファにより実現することができる。図１に示す例では、フレーム記憶部１１は、現時点（フレーム番号ｆｔ−０）から過去６時点目（フレーム番号ｆｔ−６）までの７フレームを記憶・出力可能としている。
【００２３】
入出力切換部１２は、例えばマトリックススイッチで構成され、各出力Ａ，Ｂ，Ｐが、入力０から入力６のうち一つを選択するよう動作する。つまり、入出力切換部１２の列１２１（出力Ａ）は、フレーム記憶部１１から動き推定元画像としてフレーム番号ｆａの画像Ｉ（ｆａ）を選択し、動き推定部２０に出力する。入出力切換部１２の列１２２（出力Ｂ）は、フレーム記憶部１１から動き推定先画像としてフレーム番号ｆｂの画像Ｉ（ｆｂ）を選択し、動き推定部２０に出力する。入出力切換部１２の列１２３（出力Ｐ）は、フレーム記憶部１１から動き補償元画像としてフレーム番号ｆｐの画像Ｉ（ｆｐ）を選択し、画像重畳部４０に出力する。
【００２４】
なお、入出力切換部１２は、複数の出力が一つの入力を選択しても構わないが、一つの出力が複数の入力を選択することは許されない。また、動き推定元画像のフレーム番号ｆａと動き推定先画像のフレーム番号ｆｂとは一致してはならないが、動き推定元画像のフレーム番号ｆａと動き補償元画像のフレーム番号ｆｐとは一致してもよく、また、動き推定先画像のフレーム番号ｆｂと動き補償元画像のフレーム番号ｆｐとが一致してもよい。
【００２５】
選択制御部１３は、入出力切換部１２の接点を制御する。選択制御部１３は、入出力切換部１２において閉じる接点の組み合わせパターンを複数通り試行する。例えば、選択制御部１３は、時分割的に接点の組み合わせパターンを変化させる。
【００２６】
選択制御部１３は、例えば、各出力が選択すべき入力を複数通りルックアップテーブルに記憶しておき、該ルックアップテーブルを順次参照することで入出力切換部１２において閉じる接点の組み合わせパターンを複数通り試行することができる。
【００２７】
図２は、選択制御部１３が参照するルックアップテーブルの例を示す図である。図２に示す例では、ｋ＝１〜１３の１３通りの組み合わせパターンを記憶している。ｋ＝１〜１２のパターンでは出力Ｐと出力Ａ、又は出力Ｐと出力Ｂとが共通の入力を選択し、Ｋ＝１３のパターンでは各出力が異なる入力を選択する。
【００２８】
また、選択制御部１３は、内部にカウンタを有し、出力Ａと出力Ｂとが同じ入力を選択する場合を除く複数の組み合わせを順次選択させてもよい。例えば、選択制御部１３は、以下の疑似コード（Ｃ＋＋言語の流儀にて記載）のように実装することができる。
for(int j = 0; j < nFrames; j++) {
Connect(B, j);
for(int i = 0; i < nFrames; i++) {
if(i == j) continue;
Connect(A, i);
MotionEstimation();
for(int m = 0; m < nFrames; m++) {
Connect(P, m);
MotionCompensation();
Overlay();
}
}
}
【００２９】
なお、関数Connect(s, t)により、出力sに対して入力tのみが選択されるように接点群を開閉すべく選択制御部１３が制御されるものとする。また、nFramesはフレーム記憶部１１の出力可能なフレーム時点数を表す自然数とする。図１の例では、nFrames=7である。また、MotionEstimation()、MotionCompensation()、及びOverlay()は、それぞれ後述する動き推定部２０、動き補償部３０、及び画像重畳部４０の動作を行う関数である。
【００３０】
図３は、フレーム補間装置の動作の概要を説明するための図である。以下、図３を参照して動き推定部２０、動き補償部３０、及び画像重畳部４０について説明する。なお、フレーム番号ｆａ，ｆｂ，ｆｐ，及びｆｑの時間の前後関係は任意である。
【００３１】
動き推定部２０は、選択制御部１３から入力された動き推定元画像Ｉ（ｆａ）及び動き推定先画像Ｉ（ｆｂ）の類似度に基づき、動き推定元画像Ｉ（ｆａ）内の各領域が動き推定先画像Ｉ（ｆｂ）内のどの領域に対応するかを求め、動き推定元画像Ｉ（ｆａ）及び動き推定先画像Ｉ（ｆｂ）間の動きベクトルｖｎを動き補償部３０に出力する。
【００３２】
例えば、動き推定部２０は、動き推定元画像内のｎ番目（ｎは１≦ｎ≦Ｎなる自然数。Ｎは部分領域の総数であり自然数。）の部分領域（ブロック領域）Ｂｎに対応する動き推定先画像Ｉ（ｆｂ）内の領域を求め、その結果を動きベクトルｖｎとする。動き推定元画像Ｉ（ｆａ）及び動き推定先画像Ｉ（ｆｂ）の類似度に基づく動きベクトルｖｎの算出例を次式（１）〜（３）に示す。ここで、Ｉ（ｆ；ｘ）は、フレーム番号ｆの画像Ｉ（ｆ）の画像座標ｘ（ｘは２次元のベクトル）における画素値である。
【００３３】
【数１】
2014027405.tif 000003
【００３４】
【数２】
2014027405.tif 000004
【００３５】
【数３】
2014027405.tif 000005
【００３６】
式（１）は絶対値誤差和（ＳＡＤ；Sum of Absolute Difference）の最小化、式（２）は二乗誤差和（ＳＳＤ；Sum of Squared Difference)の最小化、式(３)は正規化相互相関(ＮＣＣ;Normalized Cross Correlation）の最大化に基づく動きベクトルｖｎの算出法である。
【００３７】
なお、画像の部分領域同士の類似度を評価する手法であれば、式（１）〜（３）に示す以外の尺度によって動きベクトルｖｎを求めてもよい。また、図には示さないが、画像内の部分領域間の並進を表す動きベクトルｖｎだけではなく、拡大率や回転角をも求めることや、アフィン変換や射影変換（ホモグラフィ）などの幾何変換によって対応付けを求めることを行ってもよい。
【００３８】
動き補償部３０は、動き推定元画像のフレーム番号ｆａ、動き推定先画像のフレーム番号ｆｂ、及び動き補償元画像のフレーム番号ｆｐに基づき、動きベクトルｖｎを用いて部分領域Ｂｎを変換（典型的には並進）して部分領域Ｃｎを算出し、画像重畳部４０に出力する。例えば、動き補償部３０は、次式（４）により部分領域Ｃｎを算出する。
【００３９】
【数４】
2014027405.tif 000006
【００４０】
また、動き補償部３０は、次式（５）に示すように、動き推定元画像のフレーム番号ｆａ、動き推定先画像のフレーム番号ｆｂ、動き補償元画像のフレーム番号ｆｐ、及び補間画像のフレーム時刻位置ｆｑに基づく倍数によって動きベクトルｖｎをスカラー倍してベクトルｕｎを算出し、画像重畳部４０に出力する。
【００４１】
【数５】
2014027405.tif 000007
【００４２】
図３及び以下の説明において、選択制御部１３がｋ回目の選択をしたときの処理であることを識別するために上付きの（ｋ）を付して、動き推定元画像のフレーム番号をｆａ（ｋ）、動き推定先画像のフレーム番号をｆｂ（ｋ）、動き補償元画像のフレーム番号をｆｐ（ｋ）、動きベクトルをｖｎ（ｋ）、動きベクトルをスカラー倍したベクトルをｕｎ（ｋ）、変換後の部分領域をＣｎ（ｋ）というように記す。ここで、ｋは０以上Ｋ以下の整数であり、Ｋは自然数とする。
【００４３】
画像重畳部４０は、複数フレームの動き補償元画像Ｉ（ｆｐ）に対して動きベクトルに基づく小数精度（入力映像の画素間隔よりも細かい精度）の動き補償を行い、小数精度の動き補償を行った画像同士を小数精度で位相を合わせて重ね合わせることにより補間画像を生成する。具体的には、画像重畳部４０は、積算画像Ｊ（ｋ）、及び重み画像Ｗ（ｋ）を用いて補間画像Ｈを生成するため、積算画像Ｊ（ｋ）及び重み画像Ｗ（ｋ）を格納するメモリを有する。
【００４４】
積算画像Ｊ（ｋ）及び重み画像Ｗ（ｋ）の解像度は共に、入力映像を構成する画像フレームの解像度と同じ、又はより高解像であるのが好適である。積算画像Ｊ（ｋ）及び重み画像Ｗ（ｋ）については、画像座標ｘが小数値を取り得るものとし、画像座標ｘにおける画素値をそれぞれＪ（ｋ）（ｘ）及びＷ（ｋ）（ｘ）と記す。入力映像を構成する画像フレームにおける画像座標ｘは、積算画像Ｊ（ｋ）及び重み画像Ｗ（ｋ）における画像座標ｘに対応させるものとする。例えば、入力映像を構成する画像フレームが水平Ｘ画素、垂直Ｙ画素である場合に、積算画像Ｊ（ｋ）及び重み画像Ｗ（ｋ）の解像度が水平ＳＸＸ画素、垂直ＳＹＹ画素である場合、積算画像Ｊ（ｋ）及び重み画像Ｗ（ｋ）は水平方向１／ＳＸ画素刻み、垂直方向１／ＳＹ画素刻みで標本化されるものとする。
【００４５】
図４は、画像重畳部４０の動作を示すフローチャートである。画像重畳部４０は、まず、すべての標本点位置（画像座標）ｘについて、Ｊ（０）（ｘ）＝Ｗ（０）（ｘ）＝０とおいて初期化を行う（ステップＳ１０１）。そして、選択制御部１３にて新たな動き推定元画像Ｉ（ｆａ（ｋ））、動き推定先画像Ｉ（ｆｂ（ｋ））、動き補償元画像Ｉ（ｆｐ（ｋ））の組が選択されるごとに、ｋを１だけインクリメントする（ステップＳ１０２）。
【００４６】
繰り返しｋ番目（ｋ≧１）において、フレーム補間装置１は、フレーム番号ｆａ（ｋ）の動き推定元画像Ｉ（ｆａ（ｋ））と、フレーム番号ｆｂ（ｋ）の動き推定先画像Ｉ（ｆｂ（ｋ））と、フレーム番号ｆｐ（ｋ）の動き補償元画像Ｉ（ｆｐ（ｋ））とに基づき、積算画像Ｊ（ｋ−１）に対して画素値を重畳することで、新たな積算画像Ｊ（ｋ）を生成する（ステップＳ１０３）。
【００４７】
具体的には、選択制御部１３がｋ回目（ｋ≧１）の選択を行ったとき、画像重畳部４０は、次式（６）で表される演算を行う。式（６）中の
2014027405.tif 000008
は畳み込み演算を表す。また、ｗｎ（ｋ）は非負の重み値、ｈ（ｘ）は点拡がり関数（ＰＳＦ；Point Spread Function）を表す。
【００４８】
【数６】
2014027405.tif 000009
【００４９】
また、画像重畳部４０は、フレーム番号ｆａ（ｋ）の動き推定元画像Ｉ（ｆａ（ｋ））と、フレーム番号ｆｂ（ｋ）の動き推定先画像Ｉ（ｆｂ（ｋ））とに基づき、重み画像Ｗ（ｋ−１）に対して画像重畳を行うことで、新たな重み画像Ｗ（ｋ）を生成する（ステップＳ１０４）。
【００５０】
具体的には、選択制御部１３がｋ回目（ｋ≧１）の選択を行ったとき、画像重畳部４０は、次式（７）で表される演算を行う。
【００５１】
【数７】
2014027405.tif 000010
【００５２】
式（６），（７）における重み値ｗｎ（ｋ）は定数（例えば１）であってもよいし、部分領域Ｃｎごとに（すなわちｎに応じて）可変であってもよいし、選択制御部１３の選択パターンに応じて（すなわちｋに応じて）可変であってもよいし、ｎ及びｋの両方に関して可変であってもよい。
【００５３】
部分領域Ｃｎごとに重み値ｗｎ（ｋ）を変化させる方法としては、式（１）〜（３）で評価される画像の類似度の最適値（最小値又は最大値）に応じ、類似度が高い（誤差が小さい、又は相関が高い）ほど重みを大きくする方法がある。
【００５４】
また、選択制御部１３の選択パターンに応じて重み値ｗｎ（ｋ）を変化させる方法としては、動き推定元画像のフレーム番号ｆａ（ｋ）、動き推定先画像のフレーム番号ｆｂ（ｋ）、動き補償元画像のフレーム番号ｆｐ（ｋ）、及び補間画像のフレーム時刻位置ｆｑの時間の間隔に応じて設定する方法がある。例えば、次式（８）に示すように、動き推定のフレーム間隔｜ｆｐ（ｋ）−ｆｑ｜や動き補償のフレーム間隔｜ｆａ（ｋ）−ｆｂ（ｋ）｜が短いほど重みが大きくなるよう設定することができる。
【００５５】
【数８】
2014027405.tif 000011
【００５６】
式（６）で用いられる点拡がり関数ｈ（ｘ）は、２次元単位インパルスであってもよいし、それ以外の関数であっても構わない。例えば、点拡がり関数ｈ（ｘ）として、打ち切りＳｉｎｃ関数やＬａｎｃｚｏｓ関数を用いることができる。例えば、点拡がり関数ｈ（ｘ）を、Ｌａｎｃｚｏｓ−３関数Ｌに基づき、次式（９）のように定義することができる。なお、Ｃはｈ（ｘ）の直流ゲインが１となるように正規化するための係数である。α及びβは、点拡がり関数の拡がり（すなわちカットオフ周波数）を調整するためのパラメータである。α及びβは、例えば正の定数とし、好ましくは１以下とする。例えば、α＝β＝０．８とする。
【００５７】
【数９】
2014027405.tif 000012
【００５８】
画像重畳部４０は、ｋ＝Ｋとなるまでの間、ステップＳ１０２〜ステップＳ１０４の処理を繰り返し行う（ステップＳ１０５）。そして、画像重畳部４０は、繰り返しＫ回目において、次式（１０）に示すように、画素ごとに積算画像Ｊ（Ｋ）を重み画像Ｗ（Ｋ）によって除することにより、補間画像Ｈ（ｆｑ）を生成し、出力する（ステップＳ１０６）。
【００５９】
【数１０】
2014027405.tif 000013
【００６０】
画像重畳部４０は、必要に応じて、式（１０）によって得られた画像の解像度を変換してから出力してもよい。例えば、画像重畳部４０は、入力映像の画像フレームの解像度と一致するよう補間画像Ｈ（ｆｑ）の解像度を変換してもよい。また、画像重畳部４０は、補間画像Ｈ（ｆｑ）を内挿補間などにより補間してさらに解像度を上げてもよい。
【００６１】
以上説明したように、フレーム補間装置１は、フレーム選択部１０により入力映像から動き推定元画像、動き推定先画像、及び動き補償元画像の組を複数組決定し、動き推定部２０により動き推定元画像及び動き推定先画像間の動きベクトルである基準動きベクトルｖｎを求め、動き補償部３０により基準動きベクトルをスカラー倍して、動き補償元画像及び補間画像間の動きベクトルである補間動きベクトルｕｎを求め、画像重畳部４０により複数組の動き補償元画像について補間動きベクトルｕｎにより小数精度で動き補償を行った複数の動き補償画像を重畳して補間画像を生成する。
【００６２】
このため、フレーム補間装置１によれば、補間フレームの１画素に対して複数の参照フレームの画素の画素値が影響を及ぼすため、補間フレームの被写体の輪郭が滑らかになる。また、参照フレームが空間方向の折り返し歪を含む場合には、位置合わせによる折り返し歪成分の位相回転が複数フレームの重ね合わせにより相殺されて輪郭のジャギー（がたつき）が軽減するとともに、高周波成分を含む鮮鋭な輪郭像を得ることができる。この輪郭像の鮮鋭化は、複数フレームの位置合わせを行って高域成分を復元する複数フレーム超解像技術でも同様の効果を得ることができるが、複数フレーム超解像技術は重ね合わせた複数フレームのうちあるフレーム時刻における鮮鋭化画像を生成するのに対し、本発明に係る方法では重ね合わせた複数フレームに含まれる時点はもちろん、含まれない時点（小数フレーム時点であっても構わない）における鮮鋭化画像をも生成し得る点で上位互換である。
【００６３】
ここで、画像重畳部４０は、動きベクトルを算出する際の類似度や、動き推定元画像、動き推定先画像、動き補償元画像、及び補間画像の時刻位置に応じて、動き補償画像を重み付けして重畳するのが好適である。これにより、動き推定の類似度や、補間画像の算出に用いる画像と補間画像との時間間隔に応じた信頼度の高低を重み付けにより反映することができるため、領域ごとに信頼性の高い画像重畳が可能となる。
【００６４】
また、画像重畳部４０は、動き補償画像を点拡がり関数により畳み込み演算した後に重畳して補間画像を生成するのが好適である。これにより、動き補償の結果、標本位置が完全に対応しない場合でも補間により値を補うことが可能となる。また、点拡がり関数の拡がり（例えば、標準偏差）の出力画像の画素間隔に応じて適切に設計すれば（例えば、標準偏差が０．５画素程度）、（入力画像が折り返し歪を含む場合には）超解像効果による先鋭化が可能となる。
【００６５】
また、画像重畳部４０は、前記重ね合わせ処理を、入力映像の解像度よりも高解像な画像上にスケーリングして実行するのが好適である。これにより、前記高解像な画像上における１画素間隔が、入力映像上における１画素未満の間隔に対応するため、入力映像の解像度を基準としたときの小数精度の重ね合わせ処理を実現することができる。また、小数精度の重ね合わせ処理を、入力映像の解像度と同じ又はそれ未満の画像上で行う場合には、小数精度の位相シフトを行うディジタルフィルタ処理が必要であるのに対し、本発明に係る方法のように入力映像の解像度よりも高解像な画像上で重ね合わせ処理を行う場合には前記ディジタルフィルタ処理を省略しても構わない。さらに、本発明に係る方法によれば、重ね合わせ処理を行った結果の画像は入力映像の解像度よりも高いため、単純な補間よりも高画質な画像拡大処理を兼務させることができる。
【００６６】
また、画像重畳部４０は、必要に応じて、動き補償画像を重畳した後、解像度を変換した画像を補間画像としてもよい。解像度を下げる場合にはオーバサンプリングの効果を生じるため、補間画像に折り返し歪が生じにくくなる。また、解像度を上げる場合には、重畳処理を行わずに解像度を上げる場合と比較して、必要となるメモリ容量を少なくすることができる。
【００６７】
なお、上述したフレーム補間装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、フレーム補間装置１の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。
【００６８】
上述の実施形態は、代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の構成ブロックは複数を１つに組み合わせたり、或いは分割したりすることが可能である。
【産業上の利用可能性】
【００６９】
このように、本発明によれば、複数の参照画像から高画質な補間画像を生成することができるので、補間画像を生成する任意の用途に有用である。
【符号の説明】
【００７０】
１      フレーム補間装置
１０    フレーム選択部
１１    フレーム記憶部
１２    入出力切換部
１２１，１２２，１２３  マトリックススイッチの列
１３    選択制御部
２０    動き推定部
３０    動き補償部
４０    画像重畳部
１００，２００  動き推定元画像
１０１，２０１  動き推定先画像
１０２，２０２  動き補償元画像
１０３，２０３  補間画像の時刻位置
３００  補間画像
【図１】
2014027405.tif 000014
【図２】
2014027405.tif 000015
【図３】
2014027405.tif 000016
【図４】
2014027405.tif 000017