(57)【要約】【課題】フレーム間で画像の連続性が失われる場合であっても、適切な補間フレームを得ることを可能とする。【解決手段】フレーム補間装置１は、補間フレームに対する相対的な時刻ａ及びｂ（｜ｂ｜＞｜ａ｜）における画像フレームＩ（ａ）及びＩ（ｂ）を複数対入力し、補間フレーム内の点（ｐ，ｑ）及び画像フレームＩ（ｂ）内の点（ｐ＋ｕ，ｑ＋ｖ）を時空間内で通る直線が画像フレームＩ（ａ）と交差する点（ｐ＋ａｕ／ｂ，ｑ＋ａｖ／ｂ）の画素値と、画像フレームＩ（ｂ）内の点（ｐ＋ｕ，ｑ＋ｖ）の画素値との誤差を評価し、画像フレームの対ごとに動きベクトルを推定する動き推定部１１と、動きベクトルに基づいて画像フレームＩ（ａ）及びＩ（ｂ）の少なくとも一方を動き補償して画像フレームの対ごとに動き補償画像を生成する動き補償部１２と、動き補償画像を重畳して補間フレームを生成する補間フレーム生成部１３と、を備える。【選択図】図１
2015119409.tif 000002
【特許請求の範囲】
【請求項１】
複数対の画像フレームから補間フレームを生成するフレーム補間装置であって、
補間フレームに対する相対的な時刻ａ及びｂ（｜ｂ｜＞｜ａ｜）における画像フレームＩ（ａ）及びＩ（ｂ）を複数対入力し、前記補間フレーム内の点（ｐ，ｑ）及び前記画像フレームＩ（ｂ）内の点（ｐ＋ｕ，ｑ＋ｖ）を時空間内で通る直線が前記画像フレームＩ（ａ）と交差する点（ｐ＋ａｕ／ｂ，ｑ＋ａｖ／ｂ）の画素値と、前記画像フレームＩ（ｂ）内の点（ｐ＋ｕ，ｑ＋ｖ）の画素値との誤差を評価し、前記画像フレームＩ（ａ）及びＩ（ｂ）の対ごとに動きベクトルを推定する動き推定部と、
前記動きベクトルに基づいて前記画像フレームＩ（ａ）及びＩ（ｂ）の少なくとも一方を動き補償して前記画像フレームＩ（ａ）及びＩ（ｂ）の対ごとに動き補償画像を生成する動き補償部と、
前記動き補償画像を重畳して補間フレームを生成する補間フレーム生成部と、
を備えることを特徴とするフレーム補間装置。
【請求項２】
前記補間フレーム生成部は、前記動き補償画像を重畳する際に、前記誤差が大きいほど重みが小さくなるように重みづけを行うことを特徴とする、請求項１に記載のフレーム補間装置。
【請求項３】
前記補間フレーム生成部は、前記動き補償画像を重畳する際に、該動き補償画像の動き補償元の画像フレームと前記補間フレームとの時刻が離れているほど重みが小さくなるように重みづけを行うことを特徴とする、請求項１又は２に記載のフレーム補間装置。
【請求項４】
コンピュータを、請求項１から３のいずれか一項に記載のフレーム補間装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力フレーム群のうちの複数のフレームを参照して補間フレームを生成し、フレームを時間方向に補間するフレーム補間装置及びそのプログラムに関する。
【背景技術】
【０００２】
従来、動画像の時間分解能を向上させる手法として、フレーム補間技術が用いられている。例えば、隣接フレームの相加平均をとることで中割りのフレームを生成し、もともと存在したフレームと中割りの補間フレームとを交互に配置することでフレーム周波数を倍増する方法が知られている。中割りの補間フレームが隣接フレームの時刻間の中央にあるとは限らない場合には、例えばその時間的な距離に応じて、隣接フレームを重み付け平均して合成する方法もとられる。
【０００３】
しかし、隣接フレームの相加平均や重み付け平均により補間フレームを生成する手法では、動物体が補間フレーム上で二重像になってしまう。そのため、フレーム間で動きベクトルを求め、動きベクトルを按分して動き補償を適用することで内挿フレームを生成する手法が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３７９３３３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の手法を含め動きベクトルを用いる手法では、動物体が補間フレーム上で二重像になるという問題は軽減される。しかし、例えば被写体の背後から別の被写体が現れる場合や、フラッシュが焚かれた瞬間のようにある特定フレームだけ全体が明るい、あるいは暗い場合に、動きベクトル推定を誤ってしまうことや、動き補償元に前記別の被写体が写っておらず適切な動き補償を行えないことがあり、このような場合には適切な補間フレームが得られないという問題があった。
【０００６】
かかる事情に鑑みてなされた本発明の目的は、フレーム間で画像の連続性が失われる場合であっても、適切な補間フレームを得ることが可能なフレーム補間装置及びそのプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明に係るフレーム補間装置は、複数対の画像フレームから補間フレームを生成するフレーム補間装置であって、補間フレームに対する相対的な時刻ａ及びｂ（｜ｂ｜＞｜ａ｜）における画像フレームＩ（ａ）及びＩ（ｂ）を複数対入力し、前記補間フレーム内の点（ｐ，ｑ）及び前記画像フレームＩ（ｂ）内の点（ｐ＋ｕ，ｑ＋ｖ）を時空間内で通る直線が前記画像フレームＩ（ａ）と交差する点（ｐ＋ａｕ／ｂ，ｑ＋ａｖ／ｂ）の画素値と、前記画像フレームＩ（ｂ）内の点（ｐ＋ｕ，ｑ＋ｖ）の画素値との誤差を評価し、前記画像フレームＩ（ａ）及びＩ（ｂ）の対ごとに動きベクトルを推定する動き推定部と、前記動きベクトルに基づいて前記画像フレームＩ（ａ）及びＩ（ｂ）の少なくとも一方を動き補償して前記画像フレームＩ（ａ）及びＩ（ｂ）の対ごとに動き補償画像を生成する動き補償部と、前記動き補償画像を重畳して補間フレームを生成する補間フレーム生成部と、を備えることを特徴とする。
【０００８】
さらに、本発明に係るフレーム補間装置において、前記補間フレーム生成部は、前記動き補償画像を重畳する際に、前記誤差が大きいほど重みが小さくなるように重みづけを行うことを特徴とする。
【０００９】
さらに、本発明に係るフレーム補間装置において、前記補間フレーム生成部は、前記動き補償画像を重畳する際に、該動き補償画像の動き補償元の画像フレームと前記補間フレームとの時刻が離れているほど重みが小さくなるように重みづけを行うことを特徴とする。
【００１０】
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記フレーム補間装置として機能させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、フレーム間で画像の連続性が失われる場合であっても、適切な補間フレームを得ることができ、補間フレームの画質を向上させることが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明に係るフレーム補間装置の処理概要を説明する図である。
【図２】本発明の第１の実施形態に係るフレーム補間装置の構成例を示すブロック図である。
【図３】本発明の第１の実施形態に係るフレーム補間装置における動き推定部の構成例を示すブロック図である。
【図４】本発明の第２の実施形態に係るフレーム補間装置の構成例を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、本発明について、図面を参照して詳細に説明する。本明細書では、入力フレーム群（入力映像）をＩとし、その時刻ｔの画像フレームをＩ（ｔ）と記し、補間フレーム（出力画像フレーム）をＪと記す。また、時刻ｔは補間フレームＪの時刻を基準（時刻０）とし、補間フレームＪに対する相対的な値とする。また、画像フレームＩ（ｔ）の画像座標（ｘ，ｙ）における画素値をＩ（ｔ；ｘ，ｙ）と記し、補間フレームＪの画像座標（ｘ，ｙ）における画素値をＪ（ｘ，ｙ）と記す。
【００１４】
図１は、本発明に係るフレーム補間装置の処理概要を説明する図である。本発明に係るフレーム補間装置は、補間フレームＪに対する相対的な時刻ａ及びｂ（｜ｂ｜＞｜ａ｜）における画像フレームＩ（ａ）及びＩ（ｂ）を参照フレームとして複数対入力し、動きベクトル推定及び動き補償を行い、補間フレームＪを生成する。
【００１５】
動きベクトルを推定するには、まず補間フレームＪ上の部分領域Ｂ内に存在する点（ｐ，ｑ）と、画像フレームＩ（ｂ）上の所定の探索範囲内における動きベクトルの候補（ｕ，ｖ）とを決定する。そして、時空間内において、補間フレームＪ上の点（ｐ，ｑ）と、画像フレームＩ（ｂ）上の点（ｐ＋ｕ，ｑ＋ｖ）とを通る直線Ｌを引く。次に、部分領域Ｂ内において点（ｐ，ｑ）を移動させて直線Ｌを移動させつつ、直線Ｌ及び画像フレームＩ（ｂ）の交差する点（ｐ＋ｕ，ｑ＋ｖ）の画素値Ｉ（ｂ；ｐ＋ｕ，ｑ＋ｖ）と、直線Ｌ及び画像フレームＩ（ａ）の交差する点（ｐ＋ａｕ／ｂ，ｑ＋ａｖ／ｂ）の画素値Ｉ（ａ；ｐ＋ａｕ／ｂ，ｑ＋ａｖ／ｂ）との誤差の大きさを集積する。そして、動きベクトルの候補（ｕ，ｖ）を所定の探索範囲内で走査した時に、集積された誤差の大きさが最小となるときの動きベクトルの候補（ｕ，ｖ）を求め、この誤差最小のベクトルを動きベクトル（Ｕ，Ｖ）とする。
【００１６】
続いて、動きベクトル（Ｕ，Ｖ）をａ／ｂ倍したベクトルを用いて、画像フレームＩ（ａ）から補間フレームＪへの動き補償を行う。なお、動きベクトル（Ｕ，Ｖ）をそのまま用いて、画像フレームＩ（ｂ）から補間フレームＪへの動き補償を行うようにしてもよい。時刻対（ａ，ｂ）を様々に変えて動き補償を行い、得られた複数の動き補償画像を重畳することで補間フレームＪを構成する。
【００１７】
［第１の実施形態］
図２は、本発明の第１の実施形態に係るフレーム補間装置の構成例を示すブロック図である。この例では、フレーム補間装置１は、動き推定部１１と、動き補償部１２と、補間フレーム生成部１３とを備える。また、図２の構成では、フレーム補間装置１の外部に映像信号原２が接続されている。
【００１８】
映像信号源２は、時刻ａ及びｂ、並びに時刻ａ及びｂにおける画像フレームＩ（ａ）及びＩ（ｂ）をフレーム補間装置１に出力する。映像信号原２は、時刻対選択部２１と、フレームメモリ２２と、読出部２３とを備える。
【００１９】
フレームメモリ２２は、映像の複数の画像フレームを記憶する。
【００２０】
時刻対選択部２１は、２時点の時刻ａ及びｂの対を複数出力する。例えば、時刻ａ及びｂの対を時分割的に順次出力する。
【００２１】
読出部２３−１は、時刻対選択部２１が指定した一方の時刻（例えば時刻ａ）の画像フレーム（例えば画像フレームＩ（ａ））をフレームメモリ２２から読み出し、フレーム補間装置１に出力する。読出部２３−２は、時刻対選択部２１が指定した他方の時刻（例えば時刻ｂ）の画像フレーム（例えば画像フレームＩ（ｂ））をフレームメモリ２２から読み出し、フレーム補間装置１に出力する。
【００２２】
動き推定部１１は、映像信号源２から入力される時刻対（ａ，ｂ）、及び画像フレーム対（Ｉ（ａ），Ｉ（ｂ））に基づき動き推定を行って、単位時間あたり（例えば、時刻０から時刻１）の動きベクトル（Ｕ，Ｖ）を動き補償部１２に出力する。また、動き推定部１１は、後述するように誤差マップＥを補間フレーム生成部１３に出力してもよい。
【００２３】
図３は動き推定部１１の構成例を示す図である。動き推定部１１は、領域指定部１１１と、動きベクトル走査部１１２と、按分部１１３と、画素位置走査部１１４と、加算部１１５（１１５−１及び１１５−２）と、画素読出部１１６（１１６−１及び１１６−２）と、誤差評価部１１７と、総和部１１８と、最小化部１１９と、動きベクトル出力部１２０とを備える。
【００２４】
領域指定部１１１は、時刻０における仮想的な画像フレーム上において、動きベクトルを求めるための部分領域（例えば、ブロック領域）Ｂを、場所を変えつつ順次設定する。部分領域Ｂの形状は任意であり、順次形状や大きさが変化してもよいが、以下では部分領域Ｂの形状は矩形とする。また、順次設定される部分領域Ｂ同士は、互いに重なり合っていてもよいし、互いに重なり合わなくてもよい。また、順次設定された部分領域Ｂの和集合は、画像フレーム全体を覆わなくてもよい。
【００２５】
動きベクトル走査部１１２は、部分領域Ｂにおける画像フレーム対（（Ｉ（ａ），Ｉ（ｂ））間の動きベクトルを求めるため、所定の探索範囲において動きベクトルの候補（ｕ，ｖ）を順次出力する。具体的には、例えば探索範囲が部分領域Ｂに対して水平方向に±Ｓｘ画素、垂直方向に±Ｓｙ画素である場合には、式（１）を満たす動きベクトルの候補（ｕ，ｖ）をラスタ走査の順序で順次出力する。
【００２６】
【数１】
2015119409.tif 000003
【００２７】
按分部１１３は、動きベクトル走査部１１２から入力される動きベクトルの候補（ｕ，ｖ）、及び映像信号現２から入力される時刻対（ａ，ｂ）から、（ａｕ／ｂ，ａｖ／ｂ）を計算し、加算部１１５−１に出力する。
【００２８】
画素位置走査部１１４は、領域指定部１１１が指定した部分領域Ｂ内に存在する画素位置（ｐ，ｑ）を順次出力する。例えば、画素位置走査部１１４は、部分領域Ｂ内に存在する画素位置をラスタ走査の順序で順次（ｐ，ｑ）として出力する。なお、この画素位置は、整数画素位置に限ってもよいし、小数画素位置（例えば、１／４画素単位）であってもよい。
【００２９】
加算部１１５−１は、按分部１１３から入力されるベクトル（ａｕ／ｂ，ａｖ／ｂ）、及び画素位置走査部１１４から入力されるベクトル（ｐ，ｑ）を加算し、加算したベクトル（ｐ＋ａｕ／ｂ，ｑ＋ａｖ／ｂ）を画素読出部１１６−１に出力する。
【００３０】
加算部１１５−２は、動きベクトル走査部１１２から入力されるベクトル（ｕ，ｖ）、及び画素位置走査部１１４から入力されるベクトル（ｐ，ｑ）を加算し、加算したベクトル（ｐ＋ｕ，ｑ＋ｖ）を画素読出部１１６−２に出力する。
【００３１】
画素読出部１１６−１は、加算部１１５−１から入力される画像座標（ｐ＋ａｕ／ｂ，ｑ＋ａｖ／ｂ）における画像フレームＩ（ａ）の画素値Ｉ（ａ；ｐ＋ａｕ／ｂ，ｑ＋ａｖ／ｂ）を読み出し、誤差評価部１１７に出力する。
【００３２】
画像座標（ｐ＋ａｕ／ｂ，ｑ＋ａｖ／ｂ）が小数画素位置であった場合には、画素読出部１１６−１は例えば、最近傍の整数画素位置における画像フレームＩ（ａ）の画素値を読み出す。または、例えば、画像座標（ｐ＋ａｕ／ｂ，ｑ＋ａｖ／ｂ）近傍の複数の整数画素位置における画像フレームＩ（ａ）の画素値列から補間処理を行うことで、出力すべき画素値を決定してもよい。例えば、前記補間処理としては、双一次補間や双三次補間、スプライン補間、Ｌａｎｃｚｏｓ補間などを用いることができる。また、画像座標（ｐ＋ａｕ／ｂ，ｑ＋ａｖ／ｂ）（またはその近傍の整数画素位置）が画像フレームＩ（ａ）の外側となる場合には、当該位置の画素値を無効値として以降の演算を行わなくてもよいし、または画像座標（ｐ＋ａｕ／ｂ，ｑ＋ａｖ／ｂ）に最も近い画像フレームＩ（ａ）内の画素値を出力してもよい。
【００３３】
画素読出部１１６−２は、加算部１１５−２から入力される画像座標（ｐ＋ｕ，ｑ＋ｖ）における画像フレームＩ（ｂ）の画素値Ｉ（ｂ；ｐ＋ｕ，ｑ＋ｖ）を読み出し、誤差評価部１１７に出力する。
【００３４】
画像座標（ｐ＋ｕ，ｑ＋ｖ）が小数画素位置であった場合には、例えば、最近傍の整数画素位置における画像フレームＩ（ｂ）の画素値を読み出す。または、例えば、画像座標（ｐ＋ｕ，ｑ＋ｖ）近傍の複数の整数画素位置における画像フレームＩ（ｂ）の画素値列から補間処理を行うことで、出力すべき画素値を決定してもよい。例えば、前記補間処理としては、双一次補間や双三次補間、スプライン補間、Ｌａｎｃｚｏｓ補間などを用いることができる。また、画像座標（ｐ＋ｕ，ｑ＋ｖ）（またはその近傍の整数画素位置）が画像フレームＩ（ｂ）の外側となる場合には、当該位置の画素値を無効値として以降の演算を行わなくてもよいし、または画像座標（ｐ＋ｕ，ｑ＋ｖ）に最も近い画像フレームＩ（ｂ）内の画素値を出力してもよい。
【００３５】
誤差評価部１１７は、画素読出部１１６−１読み出した画素値Ｉ（ａ；ｐ＋ａｕ／ｂ，ｑ＋ａｖ／ｂ）と、画素読出部１１６−２の読み出した画素値Ｉ（ｂ；ｐ＋ｕ，ｑ＋ｖ）との誤差を評価し、誤差値ｅ（ｐ，ｑ；ｕ，ｖ）を出力する。例えば、誤差の評価としては式（２）に示す絶対値誤差や二重誤差を用いる。
【００３６】
【数２】
2015119409.tif 000004
【００３７】
総和部１１８は、誤差値ｅ（ｐ，ｑ；ｕ，ｖ）の（ｐ，ｑ）に対する総和を求め、式（３）により部分領域Ｂにおける誤差和Ｄ（Ｂ；ｕ，ｖ）を最小化部１１９に出力する。このようにして、図１を参照して説明したように、部分領域Ｂ内において点（ｐ，ｑ）を移動させて直線Ｌを移動させつつ、直線Ｌ及び画像フレームＩ（ｂ）の交差する点（ｐ＋ｕ，ｑ＋ｖ）の画素値Ｉ（ｂ；ｐ＋ｕ，ｑ＋ｖ）と、直線Ｌ及び画像フレームＩ（ａ）の交差する点（ｐ＋ａｕ／ｂ，ｑ＋ａｖ／ｂ）の画素値Ｉ（ａ；ｐ＋ａｕ／ｂ，ｑ＋ａｖ／ｂ）との誤差の大きさを集積する。
【００３８】
【数３】
2015119409.tif 000005
【００３９】
最小化部１１９は、総和部１１８からの誤差和Ｄ（Ｂ；ｕ，ｖ）を最小化するベクトル（ｕｏｐｔ（Ｂ），ｖｏｐｔ（Ｂ））、及び誤差和の最小値Ｄｍｉｎ（Ｂ）を、式（４）により求める。
【００４０】
【数４】
2015119409.tif 000006
【００４１】
動きベクトル出力部１２０は、最小化部１１９で得られた部分領域Ｂごとのベクトル（ｕｏｐｔ（Ｂ），ｖｏｐｔ（Ｂ））及び誤差和の最小値Ｄｍｉｎ（Ｂ）をまとめ、動きベクトル（Ｕ，Ｖ）及び動きベクトルの誤差を示す誤差マップＥを出力する。このとき、最小値Ｄｍｉｎ（Ｂ）については部分領域Ｂの面積（又は画素数）により正規化を行う。部分領域Ｂの面積（又は画素数）が定数である場合には、最小値Ｄｍｉｎ（Ｂ）の正規化を省略できる。
【００４２】
例えば、動きベクトル（Ｕ，Ｖ）や誤差マップＥが部分領域Ｂごとに表現され出力される場合には、動きベクトル出力部１２０は、式（５）により正規化する。なお、｜Ｂ｜は部分額域の面積又は画素数とする。
【００４３】
【数５】
2015119409.tif 000007
【００４４】
また、動きベクトル出力部１２０において、動きベクトル（Ｕ，Ｖ）や誤差マップＥが画素ごとに表現され出力される場合には、部分領域Ｂ内の全ての画素について式（６）を適用するものとする。なお、以下では、動きベクトル（Ｕ，Ｖ）や誤差マップＥが画素ごとに表現され出力される場合で例示する。
【００４５】
【数６】
2015119409.tif 000008
【００４６】
なお、領域指定部１１１が順次指定した１個以上の部分領域Ｂのいずれにも含まれない画素位置が存在する場合には、動きベクトル出力部１２０は、１個以上の部分領域Ｂのうち最も当該画素位置に距離の近い部分領域Ｂに属するものとして式（６）を適用してもよいし、あるいは該画素位置については動きベクトル（Ｕ，Ｖ）及び誤差マップＥが未定義であるものとしてもよい。
【００４７】
一方、領域指定部１１１が順次指定した２個以上の部分領域Ｂの複数に含まれる画素位置が存在する場合には、動きベクトル出力部１２０は、該複数部分領域に関する式（６）の結果の代表値（例えば、平均値）をもって動きベクトル（Ｕ，Ｖ）及び誤差マップＥの値を定義してもよいし、あるいは該画素位置を含む部分領域Ｂのうち最もその代表点（例えば、重心点）が近い部分領域Ｂに属するものとして上記式（６）を適用してもよい。
【００４８】
動き補償部１２は、動き推定部１１により求められた動きベクトル（Ｕ，Ｖ）に基づき、式（７）に示すように画像フレームＩ（ａ）を動き補償し、動き補償画像Ｃａ（ｘ，ｙ）を画像重畳部１３１に出力する。
【００４９】
【数７】
2015119409.tif 000009
【００５０】
補間フレーム生成部１３は、動き補償部１２から入力される複数の動き補償画像Ｃａ（ｘ，ｙ）を重畳して補間フレームＪを生成する。例えば、補間フレーム生成部１３は、画像重畳部１３１と、正規化部１３２とから構成される。
【００５１】
画像重畳部１３１は、動き補償部１２から出力される動き補償画像Ｃａを、時刻対選択部２１の選んだ時刻対（ａ，ｂ）の複数通りの場合について重ね合わせ、式（８）に示すように重畳画像Ｓ（ｘ，ｙ）及び重畳回数Ｔ（ｘ，ｙ）を出力する。
【００５２】
【数８】
2015119409.tif 000010
【００５３】
このとき、画像重畳部１３１は、動き推定部１１からの誤差マップＥや、時刻対選択部２１から入力される時刻ａを勘案した重みづけによって重ね合わせを行ってもよい。画像重畳部１３１が動き推定部１１から入力される誤差マップＥを勘案する場合には、誤差値が大きいほど重みが小さくなるように重みづけを行う。また、画像重畳部１３１が、時刻ａを勘案する場合には、時刻ａの値の絶対値が大きいほど（つまり、画像フレームＩ（ａ）と補間フレームＪとの時刻が離れているほど）重みが小さくなるように重みづけを行う。さらに、画像重畳部１３１が誤差マップＥ及び時刻ａを勘案した重みづけを行いつつ重ね合わせを行う場合には、時刻対選択部２１がｎ番目（ｎは自然数）に選択した時刻をａｎとしたとき、例えば式（９）に示す演算を行う。
【００５４】
【数９】
2015119409.tif 000011
【００５５】
ここで、関数ｇ，ｈは広義単調減少関数とする。例えば、式（１０）のような指数関数を用いることができる。なお、ａｇは正の実定数、ｂｇは非負の実定数とする。
【００５６】
【数１０】
2015119409.tif 000012
【００５７】
正規化部１３２は、時刻対選択部２１と画像重畳部１３１がそれぞれＮ回（Ｎは自然数）動作したときに、画像重畳部１３１から入力されるＳＮ及びＴＮに基づき、式（１１）に示すように画素毎の正規化を行うことにより、補間フレームＪを出力する。以上の動作により、フレーム補間装置１は、複数の画像フレーム対（Ｉ（ａ），Ｉ（ｂ））を参照して、それらを重ね合わせた補間フレームＪを生成する。
【００５８】
【数１１】
2015119409.tif 000013
【００５９】
以上説明したように、フレーム補間装置１は、動き推定部１１により、補間フレームＪ内の点（ｐ，ｑ）及び画像フレームＩ（ｂ）内の点（ｐ＋ｕ，ｑ＋ｖ）を時空間内で通る直線Ｌが画像フレームＩ（ａ）と交差する点（ｐ＋ａｕ／ｂ，ｑ＋ａｖ／ｂ）の画素値Ｉ（ａ；ｐ＋ａｕ／ｂ，ｑ＋ａｖ／ｂ）と、画像フレームＩ（ｂ）内の点（ｐ＋ｕ，ｑ＋ｖ）の画素値Ｉ（ｂ；ｐ＋ｕ，ｑ＋ｖ）との誤差を評価し、画像フレームＩ（ａ）及びＩ（ｂ）の対ごとに動きベクトルを推定する。そして、動き補償部１２により、推定した動きベクトルに基づいて画像フレームＩ（ａ）を動き補償し、複数の動き補償画像を生成し、補間フレーム生成部１３により、複数の動き補償画像を重畳して補間フレームＪを生成する。よって、フレーム補間装置１は、複数の画像フレームＩ（ａ）から補間フレームＪを生成するため、フレーム間で画像の連続性が失われる場合であっても適切な補間フレームを得ることが可能でき、補間フレームの画質を向上させることが可能となる。
【００６０】
［第２の実施形態］
次に、本発明の第２の実施形態について説明する。図４は、本発明の第２の実施形態に係るフレーム補間装置の構成例を示すブロック図である。第２の実施形態のフレーム補間装置３は、第１の実施形態のフレーム補間装置１と比較して動き補償部１４を更に備え、画像重畳部１３１が動き補償部１２及び動き補償部１４から入力される動き補償画像に基づいて画像を重畳する点が相違する。その他の構成については第１の実施形態と同様であるため、同一の参照番号を付して適宜説明を省略する。
【００６１】
動き補償部１４は、動き推定部１１により求められた動きベクトル（Ｕ，Ｖ）に基づき、式（１２）に示すように画像フレームＩ（ｂ）を動き補償し、動き補償画像Ｃｂ（ｘ，ｙ）を画像重畳部１３１に出力する。
【００６２】
【数１２】
2015119409.tif 000014
【００６３】
画像重畳部１３１は、動き補償部１２から入力される動き補償画像Ｃａ、及び動き補償部１４から入力される動き補償画像Ｃｂを、時刻対選択部２１により選択される時刻対の複数通りについて、式（１３）に示すように重ね合わせる。そして、重畳画像Ｓ（ｘ，ｙ）及び重畳回数Ｔ（ｘ，ｙ）を正規化部１３２に出力する。
【００６４】
【数１３】
2015119409.tif 000015
【００６５】
このとき、画像重畳部１３１は、動き推定部１１からの誤差マップＥや、時刻対選択部２１から入力される時刻ａ，ｂの少なくとも一方を勘案した重みづけによって重ね合わせを行ってもよい。画像重畳部１３１が動き推定部１１から入力される誤差マップＥを勘案する場合には、誤差値が大きいほど重みが小さくなるように重みづけを行う。画像重畳部１３１が、時刻ａを勘案する場合には、時刻ａの値の絶対値が大きいほど重みが小さくなるように重みづけを行い、時刻ｂを勘案する場合には、時刻ｂの値の絶対値が大きいほど重みが小さくなるように重みづけを行う。画像重畳部１３１が誤差マップＥ、時刻ａ及びｂを勘案した重みづけを行いつつ重ね合わせを行う場合には、時刻対選択部２１がｎ番目（ｎは自然数）に選択した時刻対を（ａｎ，ｂｎ）としたとき、例えば式（１４）に示す演算を行う。
【００６６】
【数１４】
2015119409.tif 000016
【００６７】
ここで、関数ｇ，ｈ，ｋはいずれも広義単調減少関数とする。例えば、式（１５）のような指数関数を用いることができる。なお、ａｇ，ａｈ，ａｋは正の実定数、ｂｇ，ｂｈ，ｂｋは非負の実定数とする。
【００６８】
【数１５】
2015119409.tif 000017
【００６９】
以上説明したように、フレーム補間装置３は、フレーム補間装置１と同様に、動き推定部１１により動きベクトル（Ｕ，Ｖ）を推定する。動き補償部１２では、複数の時刻対ａ，ｂについて、動きベクトル（Ｕ，Ｖ）に基づいて画像フレームＩ（ａ）及びＩ（ｂ）を動き補償した複数の動き補償画像を生成し、補間フレーム生成部１３により、複数の動き補償画像を重畳して補間フレームＪを生成する。よって、フレーム補間装置１は、複数の時刻対ａ，ｂに対応する画像フレームＩ（ａ）及びＩ（ｂ）から補間フレームＪを生成するため、フレーム補間装置１よりも多くの動き補償画像に基づいて重畳処理を行うことができ、更に補間フレームの画質を向上させることが可能となる。
【００７０】
なお、上述したフレーム補間装置１，３として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、フレーム補間装置１，３の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。
【００７１】
上述の実施形態は、代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の構成ブロックは複数を１つに組み合わせたり、あるいは分割したりすることが可能である。
【００７２】
また、上述の第１の実施形態では画像フレームＩ（ａ）を動き補償して補間フレームＪを生成し、第２の実施形態では画像フレームＩ（ａ）及びＩ（ｂ）を動き補償して補間フレームＪを生成したが、同様に画像フレームＩ（ｂ）を動き補償して補間フレームＪを生成することも可能である。
【産業上の利用可能性】
【００７３】
このように、本発明によれば、補間フレームの画質を向上させることができるので、入力フレーム群の補間フレームを生成する任意の用途に有用である。
【符号の説明】
【００７４】
１，３  フレーム補間装置
２      映像信号原
１１    動き推定部
１２    動き補償部
１３    補間フレーム生成部
２１    時間対選択部
２２    フレームメモリ
２３    読出部
１１１  領域指定部
１１２  動きベクトル走査部
１１３  按分部
１１４  画素位置走査部
１１５  加算部
１１６  画素読出部
１１７  誤差評価部
１１８  総和部
１１９  最小化部
１２０  動きベクトル出力部
１３１  画像重畳部
１３２  正規化部
【図１】
2015119409.tif 000018
【図２】
2015119409.tif 000019
【図３】
2015119409.tif 000020
【図４】
2015119409.tif 000021