(57)【要約】【課題】入力映像内の被写体が等速直線運動以外の移動をする場合であっても高精度な動き補償を行い、補間フレームの画質を向上させる。【解決手段】フレーム補間装置１は、入力フレーム群から動き推定元フレーム及び２以上の動き推定先フレームを選択するフレーム選択部１１と、前記動き推定元フレームから前記動き推定先フレームの各々への第１の動きベクトルを求める照合部１３と、照合部１３により得られた複数の第１の動きベクトルに非線形関数を当てはめて、入力フレーム群から選択した動き補償元フレームから補間フレームへの第２の動きベクトルを求めるパラメータ推定部１４と、前記動き補償元フレームを前記第２の動きベクトルに基づいて動き補償して補間フレームの画像を生成する動き補償部１５と、を備える。【選択図】図１
2014086813.tif 000002
【特許請求の範囲】
【請求項１】
入力フレーム群のうちの複数のフレームを参照して補間フレーム画像を生成するフレーム補間装置であって、
入力フレーム群から動き推定元フレーム及び２以上の動き推定先フレームを選択するフレーム選択部と、
前記動き推定元フレームから前記動き推定先フレームの各々への第１の動きベクトルを求める照合部と、
前記照合部により得られた複数の第１の動きベクトルに非線形関数を当てはめて、前記入力フレーム群から選択された動き補償元フレームから補間フレームへの第２の動きベクトルを求めるパラメータ推定部と、
前記動き補償元フレームを前記第２の動きベクトルに基づいて動き補償して補間フレーム画像を生成する動き補償部と、
を備えることを特徴とするフレーム補間装置。
【請求項２】
前記パラメータ推定部は、前記非線形関数の当てはめを誤差最小化により行うことを特徴とする、請求項１に記載のフレーム補間装置。
【請求項３】
前記パラメータ推定部は、前記非線形関数を２次以上の多項式とし、二乗誤差最小化による当てはめの問題を線形化して解析的に求解することを特徴とする、請求項２に記載のフレーム補間装置。
【請求項４】
前記パラメータ推定部は、前記非線形関数をスプライン曲線又はベジエ曲線により定義することを特徴とする、請求項１に記載のフレーム補間装置。
【請求項５】
前記動き補償部は、前記第２の動きベクトルにより前記動き補償元フレームの複数の画素が前記補間フレームの同位置に対応付けられた場合には、該複数の画素の値の平均値を補間フレームの画素値とすることを特徴とする、請求項１から４のいずれか一項に記載のフレーム補間装置。
【請求項６】
前記動き補償部は、前記補間フレームにおいて、前記動き補償元フレームの画素が対応付けられなかった画素の値を、該画素位置における１以上の入力フレームの重み付け和とすることを特徴とする、請求項１から５のいずれか一項に記載のフレーム補間装置。
【請求項７】
コンピュータを、請求項１から６のいずれか一項に記載のフレーム補間装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力フレーム群のうちの複数のフレームを参照して補間フレーム画像を生成し、フレームを時間方向に補間するフレーム補間装置及びそのプログラムに関する。
【背景技術】
【０００２】
従来、フレームを時間方向に補間して補間フレームを生成する手法として、補間対象時刻の前後のいずれかのフレームを補間フレームとして複数回提示する手法が知られている。しかし、同一フレームを複数回提示する手法では、映像の動きがぎこちなくなってしまう。
【０００３】
そこで、補間対象時刻の前後フレームを平均又は重み付き平均した画像を補間フレームとする手法や、補間対象時刻の前後フレームから動きベクトルを求め、動き補償を行うことで補間フレームを生成する手法が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３４９５４８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、従来の前後フレームの平均又は重み付き平均を用いる手法や、特許文献１に記載されたような動き補償を用いる従来の手法では、映像中の被写体が等速直線運動しているとの仮定の下で動き補償を行うため、加速度的な運動などの非線形な運動をする被写体では動きがぎこちなくなるという問題があった。
【０００６】
かかる事情に鑑みてなされた本発明の目的は、入力映像内の被写体が等速直線運動以外の移動をする場合であっても高精度な動き補償を行うことができ、補間フレームの画質を向上させることが可能なフレーム補間装置及びそのプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明に係るフレーム補間装置は、入力フレーム群のうちの複数のフレームを参照して補間フレーム画像を生成するフレーム補間装置であって、入力フレーム群から動き推定元フレーム及び２以上の動き推定先フレームを選択するフレーム選択部と、前記動き推定元フレームから前記動き推定先フレームの各々への第１の動きベクトルを求める照合部と、前記照合部により得られた複数の第１の動きベクトルに非線形関数を当てはめて、前記入力フレーム群から選択された動き補償元フレームから、補間フレームへの第２の動きベクトルを求めるパラメータ推定部と、前記動き補償元フレームを前記第２の動きベクトルに基づいて動き補償して補間フレーム画像を生成する動き補償部と、を備えることを特徴とする。
【０００８】
さらに、本発明に係るフレーム補間装置において、前記パラメータ推定部は、前記非線形関数の当てはめを誤差最小化により行うことを特徴とする。
【０００９】
さらに、本発明に係るフレーム補間装置において、前記パラメータ推定部は、前記非線形関数を２次以上の多項式とし、二乗誤差最小化による当てはめの問題を線形化して解析的に求解することを特徴とする。
【００１０】
さらに、本発明に係るフレーム補間装置において、前記パラメータ推定部は、前記非線形関数をスプライン曲線又はベジエ曲線により定義することを特徴とする。
【００１１】
さらに、本発明に係るフレーム補間装置において、前記画像重畳部は、前記動き補償部は、前記第２の動きベクトルにより前記動き補償元フレームの複数の画素が前記補間フレームの同位置に対応付けられた場合には、該複数の画素の値の平均値を補間フレームの画素値とすることを特徴とする。
【００１２】
さらに、本発明に係るフレーム補間装置において、前記補間フレームにおいて、前記動き補償元フレームの画素が対応付けられなかった画素の値を、該画素位置における１以上の入力フレームの重み付け和とすることを特徴とする。
【００１３】
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記フレーム補間装置として機能させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、入力映像内の被写体が等速直線運動以外の移動をする場合であっても高精度な動き補償を行うことができ、補間フレームの画質を向上させることが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に係るフレーム補間装置の構成例を示すブロック図である。
【図２】本発明の一実施形態に係るフレーム補間装置における照合部の処理例を説明するための図である。
【図３】本発明の一実施形態に係るフレーム補間装置におけるパラメータ推定部の第１の処理例を説明するための図である。
【図４】本発明の一実施形態に係るフレーム補間装置におけるパラメータ推定部の第２の処理例を説明するための図である。
【発明を実施するための形態】
【００１６】
以下、本発明によるフレーム補間装置の一実施形態について、図面を参照して詳細に説明する。本明細書では、入力フレーム群（入力映像）をＩとし、そのフレーム番号ｆのフレームをＩ（ｆ）と記し、フレームＩ（ｆ）の画像座標（ｘ，ｙ）における画素値をＩ（ｆ，ｘ，ｙ）と記す。また、生成する補間フレームをＪとし、そのフレーム番号ｆのフレームをＪ（ｆ）と記し、補間フレームＪ（ｆ）の画像座標（ｘ，ｙ）における画素値をＪ（ｆ，ｘ，ｙ）と記す。また、フレーム時刻位置をフレーム番号で表すものとする。
【００１７】
図１は、本発明の一実施形態に係るフレーム補間装置の構成例を示すブロック図である。図１に示すように、フレーム補間装置１は、フレーム選択部１１と、走査部１２と、複数の照合部１３と、パラメータ推定部１４と、動き補償部１５とを備える。図１に示す実施形態では、照合部１３を３つ（１３−１乃至１３−３）備えるものとして、以下説明する。
【００１８】
フレーム補間装置１は、入力フレーム群Ｉのうちの複数のフレームを参照して、フレーム時刻位置ｆにおける補間フレーム画像Ｊ（ｆ）を生成する。なお、フレーム時刻位置ｆは整数時刻位置であっても、非整数時刻位置であっても構わない。例えば、ｆ＝３．２５は、フレーム番号３のフレームの時刻位置と、フレーム番号４のフレームの時刻位置を１：３に内分した時刻位置を指す。
【００１９】
フレーム選択部１１は、入力フレーム群Ｉから動き推定元フレーム及び２以上の動き推定先フレームを選択して記憶する。図１に示すフレーム選択部１１は、動き推定元フレームＩ（ａ）、及び３つの動き推定先フレームＩ（ｂ１），Ｉ（ｂ２），Ｉ（ｂ３）を選択し記憶する。なお、フレーム番号ａ，ｂ１，ｂ２，ｂ３は、互いに異なる番号であれば、その順序を問わない。
【００２０】
走査部１２は、動き推定元フレームＩ（ａ）上に部分領域を順次設定するため、走査の第ｋステップ（ｋは０≦ｋ＜Ｓｘ・Ｓｙなる整数、Ｓｘ及びＳｙは走査の水平及び垂直方向の標本点数を表す自然数）において座標（ｐｋ，ｑｋ）を順次生成するカウンタである。そして、座標（ｐｋ，ｑｋ）を照合部１３及び動き補償部１５に出力する。例えば、走査部１２は、次式（１）で表される座標（ｐｋ，ｑｋ）を順次出力する。
【００２１】
【数１】
2014086813.tif 000003
【００２２】
式（１）において、ｋ％ＳｘはｋをＳｘで除したときの剰余を表す。また、
2014086813.tif 000004
は、ｋをＳｘで除したときの値を超えない最大の整数を表す。また、Ｗｘ及びＷｙはフレームＩ（ａ）上における水平方向及び垂直方向の標本化間隔を表す自然数である。さらに、（Ｐ０，Ｑ０）はフレームＩ（ａ）上における水平方向及び垂直方向の標本化の始点の画像座標である。
【００２３】
例えば、走査部１２が、１９２０画素×１０８０画素のフレームＩ（ａ）を、水平１６画素、垂直８画素の間隔で、左上原点を始点として水平１２０点、垂直１３５点標本化すべくラスタ走査する場合には、Ｓｘ＝１２０、Ｓｙ＝１３５、Ｗｘ＝１６、Ｗｙ＝８、Ｐ０＝０、及びＱ０＝０となる。
【００２４】
照合部１３は、動き推定元フレーム及び動き推定先フレームを参照して、動き推定元フレームから各動き推定先フレームへの動きベクトルＶ１（第１の動きベクトル）を求め、パラメータ推定部１４に出力する。図１に示す実施形態では、各照合部１３−ｓ（ｓはＳ以下の自然数；Ｓは２以上の自然数；図１の例ではＳ＝３）が参照する動き推定元フレームはフレームＩ（ａ）で共通である一方、動き推定先フレームは全て異なるフレームＩ（ｂｓ）とする。以下では、一つの照合部１３に注目し、動き推定元フレームをＩ（ａ）、動き推定先フレームをＩ（ｂ）としてその動作を説明する。
【００２５】
図２は、照合部１３の処理内容を説明するための図であり、動き推定元フレームＩ（ａ）及び動き推定先フレームをＩ（ｂ１），Ｉ（ｂ２），Ｉ（ｂ３）を示している。図２に示す部分領域Ｂｋは、走査部１２により指定される座標（ｐｋ，ｑｋ）に基づいて設定される領域であり、本実施形態では（ｐｋ，ｑｋ）を左上座標とする幅Ａｘ、高さＡｙの矩形領域とする。このとき、部分領域Ｂｋは次式（２）で表される。
【００２６】
【数２】
2014086813.tif 000005
【００２７】
照合部１３は、動き推定元フレーム及び動き推定先フレーム間の対応付けを、部分領域Ｂｋごとに実行する。つまり、照合部１３は、動き推定元フレームＩ（ａ）の部分領域Ｂｋの画素値パターンと類似する領域を動き推定先フレームＩ（ｂ）内において探索し、動き推定元フレームＩ（ａ）及び動き推定先フレームＩ（ｂ）間の対応付けを行う動きベクトルＶ１（ａ，ｂ）＝（ｕｋ（ａ，ｂ），ｖｋ（ａ，ｂ））を求める。例えば、照合部１３が差分絶対値和（ＳＡＤ；Sum of Absolute Difference）の最小化に基づき照合を行う場合には、動きベクトルＶ１（ａ，ｂ）＝（ｕｋ（ａ，ｂ），ｖｋ（ａ，ｂ））を次式（３）により求める。ここで、領域Ｄは動きベクトルの探索範囲を表す。
【００２８】
【数３】
2014086813.tif 000006
【００２９】
なお、照合部１３は、差分絶対値和の最小化の代わりに、例えば、差分二乗和（ＳＳＤ；Sum of Squared Difference)の最小化、相互相関（正規化相互相関を含む）の最大化、領域内の画素値ヒストグラム間のBhattacharrya距離の最小化など、任意の照合方法により動きベクトルを求めることができる。また、照合部１３は照合前にエッジ検出、平滑化、ノイズ除去等のフィルタ処理や特徴抽出を行ってもよい。
【００３０】
パラメータ推定部１４は、照合部１３−ｓにより求められた複数の動きベクトルＶ１（ａ，ｂｓ）＝（ｕｋ（ａ，ｂｓ），ｖｋ（ａ，ｂｓ））の水平成分及び垂直成分に対して、非線形関数ｇ（θ；ｔ）及びｈ（θ；ｔ）を当てはめ、入力フレーム群Ｉから選択された動き補償元フレームから補間フレームＪ（ｃ）へ至るフレーム補間用の動きベクトルＶ２（第２の動きベクトル）を算出し、動き補償部１５に出力する。θは非線形関数の形状を変化させるパラメータであり、ｔは時刻（フレーム）を表す。
【００３１】
図３は、パラメータ推定部１４の処理内容を説明するための図であり、動き推定元フレームＩ（ａ）、動き推定先フレームをＩ（ｂ１），Ｉ（ｂ２），Ｉ（ｂ３）、及び補間フレームＪ（ｃ）を示している。図３では、動き補償元フレームを動き推定元フレームＩ（ａ）とし、動き補償元Ｉ（ａ）から補間フレームＪ（ｃ）へのフレーム補間用の動きベクトルＶ２（ａ，ｃ）＝（（ｕ＾ｋ（ａ，ｃ），ｖ＾ｋ（ａ，ｃ））を求める例を示している。
【００３２】
まず、パラメータ推定部１４は、動きベクトルＶ１（ａ，ｂｓ）＝（ｕｋ（ａ，ｂｓ），ｖｋ（ａ，ｂｓ））に非線形関数ｇ（θ；ｔ），ｈ（θ；ｔ）を二乗誤差最小化や絶対値誤差最小化などの誤差最小化により当てはめ、予測曲線Ｐを求める。例えば、二乗誤差最小化による当てはめを行う場合には、次式（４）によって当てはめ結果のパラメータθ＾ｋを導出する。また、絶対値誤差最小化による当てはめを行う場合には、次式（５）によって当てはめ結果のパラメータθ＾ｋを導出する。
【００３３】
【数４】
2014086813.tif 000007
【００３４】
【数５】
2014086813.tif 000008
【００３５】
式（４）の当てはめには、例えば、繰り返し演算による非線形最小二乗法を用いることができる。既知の繰り返し演算による非線形最小二乗法としては、例えばLevenberg-Marquardt法を用いることができる。
【００３６】
なお、パラメータ推定部１４は、非線形関数ｇ（θ；ｔ），ｈ（θ；ｔ）を２次以上の多項式関数とすることで、二乗誤差最小化による当てはめの問題を線形化して解析的に求解することができる。この場合、非線形関数として次式（６）に示すＮ次関数（Ｎは２以上の自然数）及びＭ次関数（Ｍは２以上の自然数）を用いることができる。ここで、αｋ（ｎ）及びβｋ（ｎ）はパラメータθｋを構成する要素である。
【００３７】
【数６】
2014086813.tif 000009
【００３８】
このとき、式（６）の当てはめは、Ｓ≧ＮかつＳ≧Ｍであれば、繰り返し演算によることなく次式（７）により解析的に解くことができる。
【００３９】
【数７】
2014086813.tif 000010
【００４０】
ここで、
2014086813.tif 000011
は、αｋ（１），αｋ（２），…，αｋ（Ｎ），βｋ（１），βｋ（２），…，βｋ（Ｍ）の最適化結果である。
【００４１】
あるいは、非線形関数ｇ（θ；ｔ），ｈ（θ；ｔ）を次式（８）のように定義し、パラメータθを次式（９）のように定義した場合には、次式（１０）に示すように、解析的に当てはめ結果のパラメータθ＾ｋを導出することができる。
【００４２】
【数８】
2014086813.tif 000012
【００４３】
【数９】
2014086813.tif 000013
【００４４】
【数１０】
2014086813.tif 000014
【００４５】
このほか、パラメータ推定部１４は、非線形関数ｇ及び非線形関数ｈを、点列（ｕｋ（ａ，ｂｓ），ｖｋ（ａ，ｂｓ））（ｓ＝１，２，…，Ｓ）を通過するようなベジエ曲線又はスプライン曲線として定義してもよい。
【００４６】
続いて、パラメータ推定部１４は、最適化したパラメータを設定した非線形関数に補間対象の時刻ｃを代入することで、フレーム補間用の動きベクトルＶ２（ａ，ｃ）＝（ｕ＾ｋ（ａ，ｃ），ｖ＾ｋ（ａ，ｃ））を得る。すなわち、パラメータ推定部１４は、次式（１１）に示す演算を行う。
【００４７】
【数１１】
2014086813.tif 000015
【００４８】
動き補償部１５は、動き補償元フレーム（本実施形態ではＩ（ａ））の部分領域Ｂｋをフレーム補間用の動きベクトルＶ２によって動き補償し、補間フレームＪ（ｃ）の画像を生成する。例えば、動き補償部１５は、次式（１２）で表されるように、動き補償元フレームＩ（ａ）の各部分領域Ｂｋの画素値パターンをフレーム補間用の動きベクトルＶ２（ａ，ｃ）＝（ｕ＾ｋ（ａ，ｃ），ｖ＾ｋ（ａ，ｃ））に基づいて移動させて補間フレームＪ（ｃ）上に貼り付ける演算を実行する。
【００４９】
【数１２】
2014086813.tif 000016
【００５０】
ここで、式（１２）の演算により全てのｋについて貼り付け操作を行うと、フレーム補間用の動きベクトルＶ２の如何によっては、同じ画素位置に重複して貼り付け操作をすることも考えられる。この場合、式（１２）によれば最後に貼り付けた画素が補間フレームＪ（ｃ）の画像に反映されることとなる。一方で、重複して貼り付け操作が行われた画素については、それら複数の貼り付け結果の平均値を補間フレームＪ（ｃ）の画素値として採用することも可能である。この場合には、動き補償部１５は、次式（１３）で表されるように、動き補償元フレームＩ（ａ）の各部分領域Ｂｋの画素値パターンをフレーム補間用の動きベクトルＶ２に基づいて移動させて補間フレームＪ（ｃ）上に重ね合わせる演算を実行する。ここで、Ｋは部分領域Ｂｋの総数Ｓｘ・Ｓｙである。
【００５１】
【数１３】
2014086813.tif 000017
【００５２】
式（１３）におけるＱ（ｋ）は、貼り付けの際に領域が互いに重複した画素についてはそれらの画素値の総和を画素位置毎に算出するためのバッファ（画像）である。Ｒ（ｋ）は、各画素位置に何回貼り付け操作が行われたかをカウントするためのバッファである。Ｋ個の全部分領域につき貼り付け操作を行った後、その結果であるＱ（Ｋ-１）をＲ（Ｋ-１）によって画素位置毎に除することにより、複数の貼り付け結果の平均値を得る。
【００５３】
式（１３）における画像Ｐは、補間フレームＪ（ｃ）上において、動き補償元フレームＩ（ａ）の画素値パターンが一度も重ね合わされなかった領域を埋め合わせるための画像である。例えば、次式（１４）に示すように、ある入力フレーム（ここでは動き補償元フレームＩ（ａ））と同一とすることや、次式（１５）に示すように複数の入力フレームの重みづけ和（ここでは重みｗｓ）とすることができる。
【００５４】
【数１４】
2014086813.tif 000018
【００５５】
【数１５】
2014086813.tif 000019
【００５６】
上述した実施形態では、図３に示すように動き補償部１５が入力フレームＩ（ａ）を動き補償元フレームとして補間フレームＪ（ｃ）の画像を生成するものとして説明した。しかし、動き補償の対象となる動き補償元フレームは入力フレームＩ（ａ）に限定されるものではない。例えば、図４に示すように、動き補償部１５が入力フレームＩ（ｂｓ）（図４ではｓ＝２の場合を例示）上における対応部分領域Ｂｋをフレーム補間用の動きベクトルＶ２によって動き補償して補間フレームＪ（ｃ）の画像を生成してもよい。
【００５７】
以上説明したように、フレーム補間装置１は、まずフレーム選択部１１により、入力フレーム群から動き推定元フレーム及び２以上の動き推定先フレームを選択する。次に、照合部１３により、動き推定元フレームから各動き推定先フレームへの動きベクトルＶ１を求める。そして、パラメータ推定部１４により、照合部１３にて得られた複数の動きベクトルＶ１に非線形関数を当てはめて、入力フレーム群Ｉから選択した動き補償元フレームから補間フレームへのフレーム補間用の動きベクトルＶ２を求める。最後に、動き補償部１５により、動き補償元フレームをフレーム補間用の動きベクトルＶ２に基づいて動き補償して補間フレーム画像を生成する。このため、本発明に係るフレーム補間装置１によれば、入力映像内の被写体が等速直線運動以外の移動をする場合であっても高精度な動き補償を行うことができ、補間フレームの画質向上させることが可能となる。
【００５８】
なお、上述したフレーム補間装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、フレーム補間装置１の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。
【００５９】
上述の実施形態は、代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の構成ブロックは複数を１つに組み合わせたり、あるいは分割したりすることが可能である。
【産業上の利用可能性】
【００６０】
このように、本発明によれば、補間フレームの画質を向上させることができるので、入力フレーム群の補間フレームを生成する任意の用途に有用である。
【符号の説明】
【００６１】
１    フレーム補間装置
１１  フレーム選択部
１２  走査部
１３  照合部
１４  パラメータ推定部
１５  動き補償部
【図１】
2014086813.tif 000020
【図２】
2014086813.tif 000021
【図３】
2014086813.tif 000022
【図４】
2014086813.tif 000023