(57)【要約】【課題】補間フレームを生成する際に用いられる動きベクトルを、より局所的な動きを示す補間フレーム作成に適した動きベクトルにすることができる補間フレーム作成装置を提供する。【解決手段】    ブロックに割り当てられた動きベクトルの信頼度と、そのブロックが静止していると仮定した場合の静止側の信頼度を算出し、それらの比に応じて重み付けしたベクトル補正を行うことにより、補正対象となっている動きベクトルを含む周辺の動きベクトルの中で、動きベクトルの信頼度よりも静止側の信頼度が同等ないし高い動きベクトルの補正処理における寄与を低減することで、動きベクトルを得ることを可能にする。【選択図】  図２
2010004255.tif 000002
【特許請求の範囲】
【請求項１】
入力される動画像の第１のフレームと第２のフレームとの間に補間フレームを内挿する補間フレーム作成装置において、
前記補間フレームを分割した複数の補間ブロックのうち、処理の対象となる対象補間ブロックに、第１のフレーム内の第1の領域と第２のフレーム内の第２の領域とを結ぶ第１の動きベクトルを割り当てる動き推定手段と、
前記対象補間ブロックに割り当てられた前記第１の動きベクトルの示す、前記第１の領域と前記第２の領域との相関の高さを表す第1の信頼度を求める第１の信頼度算出手段と、
前記対象補間ブロックに前記第1の動きベクトルに代えて所定のベクトルを割り当てた場合に前記所定のベクトルが示す、前記第1のフレーム内の領域と前記第２のフレーム内の領域との相関の高さを表す第２の信頼度を求める第２の信頼度算出手段と、
前記対象補間ブロック及びその周辺の補間ブロックである周辺ブロックそれぞれの、前記第１および第２の信頼度に基づいて、前記第1の動きベクトルを補正した第２の動きベクトルを求める補正手段と、
前記第２の動きベクトルを用いて、前記第１のフレーム及び前記第２のフレームの画素値に基づき、前記補間フレームを作成する作成手段と、
を具備したことを特徴とする補間フレーム作成装置。
【請求項２】
前記補正手段は、前記対象補間ブロック及びその周辺の前記補間ブロックである周辺ブロックそれぞれの前記第１の動きベクトルに対して、前記第１の信頼度と前記第２の信頼度の比による重み付けをした重み付きベクトルに基づき、前記対象補間ブロック及び前記周辺ブロックの前記第１の動きベクトルのうち１つを前記対象補間ブロックの前記第２の動きベクトルとして求めることを特徴とする請求項1記載の補間フレーム作成装置。
【請求項３】
前記対象補間ブロックに前記第1の動きベクトルに代えて前記第２の動きベクトルを割り当てた場合に、前記第２の動きベクトルが示す前記第1のフレーム内の領域と前記第２のフレーム内の領域との相関の高さを表す第３の信頼度を求め、前記第３の信頼度が前記第1の信頼度よりも低い場合には前記第１の動きベクトルを前記第２の動きベクトルとして更新する更新手段を、
さらに具備したことを特徴とする請求項２記載の補間フレーム作成装置。
【請求項４】
前記補正手段は、前記平均処理として前記対象補間ブロック及び前記周辺ブロックそれぞれの前記第２の動きベクトルに対して
（ａ）１つの補間ブロックを第１の補間ブロックとして選択し、
（ｂ）前記第１の補間ブロックに割り当てられている前記第２の動きベクトルから得られる前記第１の信頼度と前記第２の信頼度との比に基づく第１の重み係数を求め、
（ｃ）前記第1の補間ブロックに割り当てられた前記第1の動きベクトルと、第１の補間ブロック以外の補間ブロックに割り当てられた前記第1の動きベクトルの差分ベクトルのノルムをそれぞれ求め、
（ｄ）前記ノルムに前記第1の重み係数を乗じた第１の値の総和を求め、
前記第１の値の総和が最小となる前記第１の補間ブロックに割り当てられていた前記第1の動きベクトルを前記対象補間ブロックの前記第2の動きベクトルとして割り当てることを特徴とする請求項３記載の補間フレーム作成装置。
【請求項５】
前記所定のベクトルとして零ベクトルが設定されていることを特徴とする請求項１から４いずれか１項記載の補間フレーム作成装置。
【請求項６】
入力される動画像の第１のフレームと第２のフレームとの間に補間フレームを内挿する補間フレーム作成方法において、
前記補間フレームを分割した複数の補間ブロックのうち、処理の対象となる対象補間ブロックに第１のフレーム内の第1の領域と第２のフレーム内の第２の領域とを結ぶ第１の動きベクトルを割り当てるステップと、
前記対象補間ブロックの前記第１の領域と前記第２の領域との相関の高さを表す第1の信頼度を求めるステップと、
前記対象補間ブロックに前記第1の動きベクトルに代えて所定のベクトルを用割り当てた場合に前記第破綻防止の始点が示す前記第1のフレーム内の領域と、前記第２のフレーム内で前記所定のベクトルの終点が示す領域との相関の高さを表す第２の信頼度を求めるステップと、
前記対象補間ブロック及びその周辺の補間ブロックである周辺ブロックそれぞれの、前記第１および第２の信頼度に基づいて、前記第1の動きベクトルを補正した第２の動きベクトルを求めるステップと、
前記第２の動きベクトルを用いて、前記第１のフレーム及び前記第２のフレームの画素値に基づき、前記補間フレームを作成するステップと、
を有することを特徴とする補間フレーム作成方法。
【請求項７】
入力される動画像の第１のフレームと第２のフレームとの間に補間フレームを内挿する補間フレーム作成プログラムにおいて、
前記補間フレームを分割した複数の補間ブロックのうち、処理の対象となる対象補間ブロックに第１のフレーム内の第1の領域と第２のフレーム内の第２の領域とを結ぶ第１の動きベクトルを割り当てる動き推定機能と、
前記対象補間ブロックの前記第１の領域と前記第２の領域との相関の高さを表す第1の信頼度を求める第１の信頼度算出機能と、
前記対象補間ブロックに前記第1の動きベクトルに代えて所定のベクトルを用割り当てた場合に前記第破綻防止の始点が示す前記第1のフレーム内の領域と、前記第２のフレーム内で前記所定のベクトルの終点が示す領域との相関の高さを表す第２の信頼度を求める第２の信頼度算出機能と、
前記対象補間ブロック及びその周辺の補間ブロックである周辺ブロックそれぞれの、前記第１および第２の信頼度に基づいて、前記第1の動きベクトルを補正した第２の動きベクトルを求める補正機能と、
前記第２の動きベクトルを用いて、前記第１のフレーム及び前記第２のフレームの画素値に基づき、前記補間フレームを作成する作成機能と、
をコンピュータに実現させることを特徴とする補間フレーム作成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の時間解像度を改善する補間フレーム作成装置、補間フレーム作成方法および補間フレーム作成プログラムに関する。
【背景技術】
【０００２】
フレーム補間技術とは、補間フレームを作成し、表示時刻で前後する２枚のフレームの表示時刻間に内挿することで動画像の時間解像度を上げる技術である。
【０００３】
補間フレーム内をブロックと呼ばれる矩形領域（以下、補間ブロックと記す）に分割し、補間ブロックごとに動きベクトル（以下、補間ＭＶと記す）を割り当て、補間フレームを作成する手法がある。
【０００４】
特許文献１には、補間ＭＶを導出する手法として、周囲のブロックに割り当てられた動きベクトルに基づき平滑化による補正処理がなされた動きベクトルを補間ＭＶとして割り当てることで局所的な動きを示すベクトルを割り当てる技術が提案されている。しかし、背景の中に文字等のテロップが移動するような画像中では、ブロック境界にかかる文字の一部を含むブロックは、背景との相関が高くなる。そのため、ブロック境界にかかる文字の一部を含むブロックにおける動きベクトルが、誤って導出される可能性が高い。
【０００５】
導出されたベクトルを補正する手法として非特許文献１のような方法がある。非特許文献１は、相関の高いベクトルに重みを与えて重み付きのベクトルメディアンフィルタ処理を施す技術である。しかし、周辺ブロックのほとんどが静止領域である場合、周辺ブロックに割り当てられている零ベクトルで示される画像の相関は高い。このような場合、非特許文献１の方法では、補正処理によってもブロック境界にかかる文字の一部を含む補間ブロックに割り当てられる動きベクトルは零ベクトルのままである可能性が高く、画像の破綻が生じてしまう。
【特許文献１】特開２００６‐２７９９１７号公報
【非特許文献１】Ｌ．Ａｌｐａｒｏｎｅ，Ｍ．Ｂａｒｎｉ，Ｆ．Ｂａｒｔｏｌｉｎｉ，Ｖ．Ｃａｐｐｅｌｌｉｎｉ“Ａｄａｐｔｉｖｅｌｙ  ｗｅｉｇｈｔｅｄ  ｖｅｃｔｏｒ−ｍｅｄｉａｎ  ｆｉｌｔｅｒｓ  ｆｏｒ  ｍｏｔｉｏｎ−ｆｉｅｌｄｓ  ｓｍｏｏｔｈｉｎｇ” ，ＩＣＡＳＳＰ，ｐｐ２２６７−２２７０，１９９６
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は上記課題を解決するためになされたものであって、補間ブロックに割り当てられた動きベクトルの信頼度と、補間ブロックに所定のベクトルの信頼度を算出し、２つの信頼度の比に応じて重み付けしたベクトル補正処理を行うことにより、信頼度の高いベクトルを用いた補間画像作成を可能にする補間フレーム作成装置、方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために本発明は、入力される動画像の第１のフレームと第２のフレームとの間に補間フレームを内挿する補間フレーム作成装置において、前記補間フレームを分割した複数の補間ブロックのうち、処理の対象となる対象補間ブロックに第１のフレーム内の第1の領域と第２のフレーム内の第２の領域とを結ぶ第１の動きベクトルを割り当てる動き推定手段と、前記対象補間ブロックの前記第１の領域と前記第２の領域との相関の高さを表す第1の信頼度を求める第１の信頼度算出手段と、前記対象補間ブロックに前記第1の動きベクトルに代えて所定のベクトルを割り当てた場合に前記破綻防止の始点が示す前記第1のフレーム内の領域と、前記第２のフレーム内で前記所定のベクトルの終点が示す領域との相関の高さを表す第２の信頼度を求める第２の信頼度算出手段と、前記対象補間ブロック及びその周辺の補間ブロックである周辺ブロックそれぞれの、前記第１および第２の信頼度に基づいて、前記第1の動きベクトルを補正した第２の動きベクトルを求める補正手段と、前記第２の動きベクトルを用いて、前記第１のフレーム及び前記第２のフレームの画素値に基づき、前記補間フレームを作成する作成手段と、を具備したことを特徴とする補間フレーム作成装置を提供する。
【０００８】
また、同装置による補間フレーム作成方法、及びコンピュータに同方法を実現させる補間フレーム作成プログラムを提供する。
【発明の効果】
【０００９】
本発明によれば、より信頼度の高い動きベクトルを補間ブロックに割り当てることができ、品質の高い補間フレームの作成が可能になる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施形態について説明する。
【００１１】
（第１の実施形態）
以下、第１の実施形態について説明する。入力された動画像の表示時刻が連続する２枚の入力画像のうち、表示時刻が前のフレームを参照フレーム、後のフレームを対象フレームと記載する。参照フレーム、対象フレームの間に補間フレームを生成する場合の例について以下説明する。
【００１２】
図１は、上記入力画像の表示タイミング及び上記補間フレームの表示タイミングを示す図である。入力画像のうち時刻ｔに表示されるフレームが参照フレームIsrc、時刻ｔ＋１に表示されるフレームが対象フレームIdstである。それらの表示時刻間であるｔ+Δｔ（ただし、0＜Δｔ＜1）に内挿され表示されるフレームが補間フレームIintである。
【００１３】
図２は、第１の実施形態の補間フレーム作成装置のブロック図である。
【００１４】
本実施形態の補間フレーム作成装置は、動き推定部１０１、フレームメモリ１０２、動きベクトル補正部１０３、補間画像生成部１０４および切替部１０５を備える。
【００１５】
動き推定部１０１は、補間フレームIintをあらかじめ設定されたＭ１×Ｍ２（Ｍ１，Ｍ２）画素の矩形ブロックに分割し、補間ブロックに動きベクトルを割り当てる。以下、動き推定の一手法であるブロックマッチング法を用いて動きベクトルu(i) を導出する方法について説明する。
【００１６】
図３は、補間ブロックiに動きベクトルを割り当てる方法について説明するための図である。このベクトルｘ（i）は、補間ブロックの左上の位置を指すベクトルである。補間ブロックiの動きベクトルu(i)は、式（１）に基づき求められる。
【数１】
2010004255.tif 000003
【００１７】
ここで、B(i)は、B(i)={(i+(x,y))T|0≦x＜M1,0≦y＜M2}であらわすことができるM1 ×M2個のベクトルの集合を示す。Idst(x)は、対象フレーム内の位置xでの画素値を示す。また、Isrc(x)は参照フレーム内の位置xでの画素値を示す。また、動き探索の領域をWで表す。
【００１８】
補間ブロックiに対して、ベクトルsが指し示す対象フレームIdst内のブロックと、参照フレームIsrc内の参照ブロックとの差分二乗和基準によるブロックマッチング誤差を相関値としてそれぞれ求める。探索領域Ｗ内でベクトルsを変化させ、マッチング誤差が最小となった際の対象フレームIdst内のブロック（以下、第１のブロックB1 (i)と記す）と参照フレームIsrc内のブロック（以下、第１のブロックB2 (i)と記す）とを結ぶベクトルsを動きベクトルｕ（ｉ）として補間ブロックiに割り当てる。
【００１９】
また、ｕ（ｉ）は次の式（２）に示すブロック間の画素値の差分値絶対値和に基づき導出しても良い。
【数２】
2010004255.tif 000004
【００２０】
なお、動きベクトルを推定する方法は、上述のブロックマッチング法によらず、その他のオプティカルフロー法、Pel-recursive、ベイジアン法などを用いても良い。
【００２１】
フレームメモリ１０２は、入力画像を取得し保存する。
【００２２】
動きベクトル補正部１０３は、動き推定部１０１が求めた補間ブロックごとの動きベクトルu(i)を取得し、動きベクトル信頼度および破綻防止ベクトル（所定のベクトル）信頼度を算出して動きベクトルu(i)の補正処理を行う。信頼度の算出方法及びベクトルの補正処理については後述する。なお、本実施形態では、すべての補間ブロックにおいて、破綻防止ベクトル（所定のベクトル）が零ベクトルである場合について説明する。なお、この破綻防止ベクトルは、動き推定部１０１で求めた１フレーム分の動きベクトルの平均ベクトルとしてもよい。補正された動きベクトル、動きベクトル信頼度および破綻防止ベクトル信頼度を補間画像生成部１０４に出力する。
【００２３】
補間画像生成部１０４は、動きベクトル補正部１０３から動きベクトル、動きベクトル信頼度および破綻防止ベクトル信頼度を取得し、補間フレーム作成処理を行い、補間フレームを切替部１０５に出力する。補間画像生成部１０４が補間フレームを生成する方法は後述する。
【００２４】
切替器１０５は、入力画像を表示するタイミングには切替部１０５のスイッチをフレームメモリ１０２側につなぎ、入力画像をフレームメモリ１０２から取得し、出力する。また、補間フレームを表示するタイミングには、切替部１０５のスイッチを補間フレーム作成部１０４側につなぎ、補間フレーム作成部１０４から補間フレームを取得し、表示画像を出力する。
【００２５】
次に、動きベクトル補正部１０３について詳細に説明する。
【００２６】
図４は、補間フレーム作成装置の動きベクトル補正部１０３の詳細を抜き出したブロック図である。
【００２７】
動きベクトル補正部１０３は、動きベクトル保存メモリ２０１、動きベクトル信頼度算出部２０２、動きベクトル信頼度保存メモリ２０３、破綻防止ベクトル信頼度算出部２０４、破綻防止ベクトル信頼度保存メモリ２０５、切替部２０６および信頼度比動きベクトル補正部２０７を有する。
【００２８】
動きベクトル保存メモリ２０１は、それぞれの補間ブロックごとの動きベクトルを保存する。
【００２９】
動きベクトル信頼度算出部２０２は、動きベクトル保存メモリ２０１から１フレーム分の動きベクトルu(i)を取り出し、それらの動きベクトルが補間フレームを内挿する際に用いられる動きベクトルとして、どの程度適しているかを表す動きベクトル信頼度を、以下に示す方法で導出する。
【００３０】
補間ブロックiに動きベクトルｖを割り当てた場合に補間される画像の信頼度をα(i,ｖ)と記す。信頼度α（ｉ，ｖ）は、動きベクトルｖが結ぶ対象フレームIdst内のブロックと参照フレームIsrc内のブロックとの画素の相関の高さを示す指標である。信頼度α（ｉ，ｖ）は、式（３）から算出することが出来る。
【数３】
2010004255.tif 000005
【００３１】
ここで、εは正の数の零除算を防ぐための安全定数である。E(i,ｖ)は、差分絶対値和に基づく式（４）から導出される。
【数４】
2010004255.tif 000006
【００３２】
で表す。
【００３３】
なお、E(i,ｖ)は式（５）に示す画素の差分二乗和に基づき求めても良い。
【数５】
2010004255.tif 000007
【００３４】
また、α（i,v）は、式（４）ではなく、指数関数による式（６）から導出しても良い。
【数６】
2010004255.tif 000008
【００３５】
ここで、σIは入力画像の画像信号に乗っているノイズの標準偏差を示す。
【００３６】
動きベクトル信頼度算出部２０２は式（３）のｖにu(i)を代入することで動き推定部１０１が求めた動きベクトルu(i)を補間ブロックｉに割り当てた際に補間される補間画像の信頼度を示すα(i,u(i))を導出する。
【００３７】
動きベクトル信頼度保存メモリ２０３は、動きベクトル信頼度算出部２０２が導出した補間ブロックごとの動きベクトル信頼度α(i,u(i))を保存する。
【００３８】
破綻防止ベクトル信頼度算出部２０４は、所定のベクトルである破綻防止ベクトルの信頼度を示す破綻防止ベクトル信頼度を算出する。前述したように、本実施形態では、破綻防止ベクトルを零ベクトルにする。破綻防止ベクトル信頼度は、動きベクトル信頼度α(i,u(i))を導出したときと同様に、式（３）、（４）または式（６）のいずれかの式のｖに零ベクトルを代入し、破綻防止ベクトルの信頼度α(i,0)を導出する。
【００３９】
破綻防止ベクトル信頼度保存メモリ２０５は、破綻防止ベクトル信頼度算出部２０４が導出した補間ブロックiごとの破綻防止ベクトル信頼度α(i,0)を保存する。
【００４０】
信頼度比動きベクトル補正部２０７は、動きベクトルu(i)、動きベクトル信頼度α(i,u(i))、破綻防止ベクトル信頼度α(i,0)をそれぞれ取得し、α(i,u(i))とα(i,0)の比を計算し、その比によって重み付けをしたベクトルのフィルタ処理を行う。なお、フィルタ処理に関する詳細な説明は後述する。
【００４１】
次に、フィルタ処理によって得られた動きベクトル（補正動きベクトル）に対し、動きベクトル信頼度算出部２０２で行う処理と同様の方法で、動きベクトル信頼度（補正動きベクトル信頼度）を導出し、補正動きベクトル信頼度が、動きベクトル信頼度保存メモリ２０３から入力された動きベクトル信頼度よりも高ければ、補正動きベクトル信頼度を動きベクトル信頼度保存メモリ２０３に書き込む。また、補正動きベクトルも動きベクトル保存メモリ２０１に書き込む。
【００４２】
切替器２０６は、あらかじめ設定された回数に対して残り何回動きベクトル補正処理を行うかを示す指標であるitrを信頼度比動きベクトル補正部２０７から取得し、itrが非零の場合は動きベクトルu(i)、動きベクトル信頼度α(i,u(i))、破綻防止ベクトル信頼度α(i,0)それぞれを信頼度比動きベクトル補正部２０７側につなぐ。一方、itrが零の場合は、上記のu(i)、α(i,u(i))、α(i,0)を補間画像生成部１０４側につなぐ。itrの初期値はユーザが設定できる整数値であり、信頼度比動きベクトル補正部２０７に保持されている。
【００４３】
図５は、動きベクトル補正部１０３の処理を示すフローチャートである。
【００４４】
まず、補間フレーム内の補間ブロックiごとにループするループ処理を行う（ステップ４０１）。ループ内では、補間ブロックｉごとに動きベクトルｕ(ｉ)を取得し、動きベクトル信頼度算出部２０２は動きベクトル信頼度α（ｉ，ｕ(ｉ)）をそれぞれ算出する（ステップ４０２）。また、破綻防止ベクトル信頼度算出部２０４は、補間ブロックiごとに破綻防止ベクトル信頼度α（i,0）を算出する（ステップ４０３）。
【００４５】
次に、切替部２０６はitrが非零であるかどうかを判定する（ステップ４０４）。
【００４６】
itrが零ではない場合（ステップ４０４，No）、補間ブロックｉについてループするループ処理を行う（ステップ４０５）。ループ内では、信頼度比動きベクトル補正部２０７は、補間ブロックｉごとに動きベクトルｕ(ｉ)の補正処理を行う（ステップ４０６）。ループが終了し、補間フレーム内のすべての補間ブロックiに対して補正処理を行ったら、itrをデクリメントして（ステップ４０７）ステップ４０４に戻る。itrが零になった場合（ステップ４０４，Yes）、信頼度比動きベクトル補正部２０７によるフィルタ処理を終了し、切替部２０６は求められた補正動きベクトル、破綻防止ベクトル信頼度、補正動きベクトル信頼度を補間フレーム作成部１０４に出力する。
【００４７】
次に、信頼度比動きベクトル補正部２０７について詳細に説明する。
【００４８】
図６は、動きベクトル補正部１０３の信頼度比動きベクトル補正部２０７の詳細を示すブロック図である。
【００４９】
信頼度比動きベクトル補正部２０７は、重み付けベクトルフィルタ部３０１、および更新部３０２から構成されている。
【００５０】
重み付けベクトルフィルタ部３０１は、入力される動きベクトル信頼度α（ｉ，ｕ(ｉ)）と破綻防止ベクトル信頼度α（ｉ，0）の比を重みとした、ベクトルメディアンフィルタ処理を行う。補間ブロックｉの動きベクトルｕ(ｉ)に対する補正処理後のベクトルは、式（７）によって導出される。
【数７】
2010004255.tif 000009
【００５１】
式（７）に示すノルムは、norm=2の場合は式（９）に示す値となる。なお、ｘ＝（x1 ,x2）Tである。
【数８】
2010004255.tif 000010
【００５２】
を表している。また、norm=1の場合は式（９）に示す値となる。
【数９】
2010004255.tif 000011
【００５３】
である。
【００５４】
また、ｗ(i+s)は、式（１０）から導出される。動きベクトル信頼度α（i+s,u(i+s)）と破綻防止ベクトル信頼度α(i+s,0)の比に基づく重み係数である。
【数１０】
2010004255.tif 000012
【００５５】
ここで、集合Ｎは補間ブロックiを含めたその周辺の補間ブロックの集合である。例えば、集合Ｎは、図７で示すような補間ブロックiとその周辺の補間ブロックも含めた９ブロック等を表す。εは正の数の零除算を防ぐための安全定数である。
【００５６】
重み付けベクトルフィルタ部３０１は、集合Nに割り当てられた動きベクトル集合Nに含まれる複数の補間ブロックそれぞれに対して、計算対象となる補間ブロックi+cに割り当てられている動きベクトルu(i+c)と、集合N内の周囲の補間ブロックi+s（s∈N）に割り当てられている動きベクトルu(i+s)との差分ベクトルのノルムに、式（１０）に示す重み係数とを乗算した値をそれぞれ求め、それらの和を求める。求められた値が最小となる計算対象の補間ブロックcminに割り当てられていた動きベクトルu(i+ cmin)を補間ブロックiの補正動きベクトルu’(i)として割り当てる。
【００５７】
また、ｗ(ｓ)は式（１１）に示すように、対象フレームIdstと参照フレームのIsrc画素値の差分絶対値和の比による重み付け係数を乗じた値であってもよい。
【数１１】
2010004255.tif 000013
【００５８】
ただし、ここでのｗ’(ｓ)は式（１２）で定義される値である。
【数１２】
2010004255.tif 000014
【００５９】
また、SADΔtは式（１３）によって定義される。
【数１３】
2010004255.tif 000015
【００６０】
なお、ＳＡＤΔｔは、式（１４）に示す画素値の差分二乗和によって定義してもよい。
【数１４】
2010004255.tif 000016
【００６１】
つまり、式（１２）で算出したｗ’(ｓ)と、式（１０）を乗算した値を重み付け係数ｗ(i+ｓ)として用いる。
【００６２】
また、上記の本実施形態では、ベクトルフィルタ処理を式（７）に基づき行っていたが、式（１５）に示す平均処理によって行っても良い。
【数１５】
2010004255.tif 000017
【００６３】
ここでのＴ(ｘ)はｘの要素数を数えるオペレータである。また、w”(c)は、式（４）若しくは式（８）記載のw(c)を正規化したものであり、式（１６）で表される値である。
【数１６】
2010004255.tif 000018
【００６４】
である。
【００６５】
次に、更新部３０２について詳細に説明する。
【００６６】
図８は、更新部３０２の処理を示すフローチャートである。
【００６７】
更新部３０２は、重み付けベクトルフィルタ部３０１から補正動きベクトルu’(i)を取得し、動きベクトルu(i)と同じベクトルであるかどうかを判定する（ステップ５０１）。同じベクトルであれば（ステップ５０１、Yes）、処理を終了する。異なるベクトルであれば（ステップ５０１、No）、u’(i)の動きベクトル信頼度α(i,u’(i))を算出する（ステップ５０２）。
【００６８】
次に、α(i,u’(i))と補正前の動きベクトルu(i)の動きベクトル信頼度α(i,u(i))の大小比較を行う（ステップ５０３）。α(i,u’(i))＞α(i,u(i))であり、補正動きベクトルの方が信頼度が高い場合には（ステップ５０３、Yes）、α(i,u’(i))を動きベクトル信頼度保存メモリ２０３に上書きする（ステップ５０４）。また同様に、u’(i)を動きベクトルu(i)として動きベクトル保存メモリ２０１に上書きして処理を終了する。（ステップ５０５）。また、α(i,u’(i))＜α(i,u(i))であれば（ステップ５０３、No）、処理を終了する。
【００６９】
以下、補間画像生成部１０４が補間フレームIintを作成する方法について詳細に説明する。
【００７０】
補間画像生成部１０４は、補間ブロックiごとに動きベクトル保存メモリに保存された動きベクトルu(i)、動きベクトル信頼度α(i,u(i))および破綻防止ベクトル信頼度α(i,0)を取得し、動きベクトルおよび破綻防止ベクトルから指定される対象フレームおよび参照フレームの画素値に対する上記２つの信頼度を用いた重み平均処理によって、補間フレームのブロックiに属する画素値を決定する。
【００７１】
第１のブロック内の画素位置ｘ∈B(i)の補間画素を以下のように決定する。
【００７２】
本実施形態では、破綻防止ベクトルとして零ベクトルとして設定されているため、式（１７）のように静止画素Istillを生成する。なお、ｘは式（１）に示すように、ｘ∈B(i)を満たす。
【数１７】
2010004255.tif 000019
【００７３】
ここでは参照フレームIsrcをそのまま用いているが、たとえば式（１８）のように参照フレームIsrcと対象フレームIdstの画素値の平均による平均画像を用いても良い。
【数１８】
2010004255.tif 000020
【００７４】
次に、動きベクトルu(i)によって画素をシフトした動き補償画素Imcを生成する。
【数１９】
2010004255.tif 000021
【００７５】
ここでも同様に、式（１９）の代わりに式（２０）に示す平均画像を動き補償画素Imcとして生成してもよい。
【数２０】
2010004255.tif 000022
【００７６】
静止画素Istill(x)に対応する信頼度は信頼度α(i,0)である。また、動き補償画素Imc(x)に対応する信頼度は信頼度α(i,u(i))である。これらのα(i,0)、α(i,u(i))を重みと考え、式（２１）に示す重み平均により補間フレームIintを生成することができる。
【数２１】
2010004255.tif 000023
【００７７】
ここで、α(i,0)=0かつα(i,u(i))=0の場合には、上記重み平均は不定になってしまうので、その場合にはIint(x)=0.5Imc(x)+0.5Istill(x) のようにする。また、Iint(x)= Istill(x)のようにして補間フレーム画素Iint(x)を生成しても良い。
【００７８】
以上の処理を、補間フレーム内の全ての補間ブロックに対して行い、補間フレームIintを生成して出力する。
【００７９】
上記のように、本実施形態の補間フレーム作成装置は、式（１０）に示すように信頼度比による重み付けを行うことで、補正対象の補間ブロック及び周辺の補間ブロックの動きベクトルの中で、動きベクトルの信頼度よりも静止側の信頼度が高い動きベクトルの補正処理における寄与を低減することが可能になる。
【００８０】
図９は、文字テロップABCが画面上方向に平行移動している入力画像のフレーム及び補間フレームを示している。破線は、画像をブロックに分けた場合の境界部を表している。また、矢印はその始点を含むブロックの動きベクトルを示している。
【００８１】
従来技術では、図９の“Ａ”の一部を含んだ画像を補間すべき補間ブロック（以下、ブロックＡ’と記す）は、動き推定処理において、動きベクトルの候補として零ベクトルを割り当てた場合のマッチング誤差が小さいために、“Ａ”の一部の動きを反映せずに、そのまま零ベクトルが割り当てられてしまう可能性が高かった。このとき、零ベクトルを動きベクトルとして補間フレームを作成すると、図９（ｂ）に示すような文字の一部が崩れた補間フレームとなってしまう。
【００８２】
図９に示す入力画像に対しては、ブロックＢ’の動きベクトルをブロックＡ’に割り当てる補正処理が可能であれば、より高品質な補間フレームを得ることができる。
【００８３】
本実施形態の補間フレーム作成装置は、式（１０）に示すように破綻防止ベクトルである零ベクトル及び割り当てられた動きベクトルの信頼度比を重みにした、式（７）で示す補正処理を行う。これにより、ブロックＢ’以外の周辺ブロックでは、破綻防止ベクトル信頼度と動きベクトル信頼度が共に高くなるために式（１０）に示す重み係数はほぼ１になる。一方、ブロックＢ’では破綻防止ベクトル信頼度は小さくなり、動きベクトル信頼度が大きくなる。したがって、ブロックＢ’に割り当てられた動きベクトルには大きな重みがつく補正処理が行われるため、ブロックＡ’の動きベクトルは、より好ましい動きベクトルに補正され、図９（ａ）に示す補間フレームが作成される可能性が高くなる。
【００８４】
一方、ブロックＢ’の右側の補間ブロック（以下、ブロックＣ’と記載する）においても上と同様の理由でブロックＢ’の動きベクトルの重みが大きいために誤って割り当てられる補正処理がなされることがある。しかし、ブロックＣ’においては、フレーム間で移動しない☆の模様がある。その場合には、その補正動きベクトルの信頼度は補正前の動きベクトルよりも小さいため、更新部３０２によってブロックＣ’に割り当てられる動きベクトルとして更新されない。
【００８５】
上記のように補正対象となっている動きベクトルを含む周辺の動きベクトルの中で、動きベクトルの信頼度よりも静止側の信頼度が同等ないし高い動きベクトルの補正処理における寄与を低減することで、より品質の高い動きベクトルを得ることができる。
【００８６】
なお、本実施形態では破綻防止ベクトルとして零ベクトルを設定した場合について述べたが、フレーム全体が動きを有するような場合には、補間ブロックに割り当てられた動きベクトルの平均ベクトルを破綻防止ベクトルとする等してもよい。
【００８７】
また、上記の実施形態では、作成する補間フレームのうち、表示時間が前になるフレームを参照フレーム、後になるフレームを対象フレームする場合について説明したが、表示時間が後になるフレームを参照フレーム、前になるフレームを対象フレームとしてもよい。
【図面の簡単な説明】
【００８８】
【図１】入力画像および補間フレームの表示タイミングを示す図。
【図２】第１の実施形態の補間フレーム作成装置を示すブロック図。
【図３】補間ブロックiに動きベクトルを割り当てる方法について説明するための図。
【図４】補間フレーム作成装置の動きベクトル補正部１０３の詳細を示すブロック図。
【図５】動きベクトル補正部１０３の信頼度比動きベクトル補正部２０７の詳細を示すブロック図。
【図６】動きベクトル補正部１０３の処理を示すフローチャート。
【図７】補間ブロックiとその周辺の補間ブロックを示す図
【図８】更新部３０２の処理を示すフローチャート。
【図９】文字テロップが画面上方向に平行移動している画像を示す図。
【符号の説明】
【００８９】
１０１・・・動き推定部
１０２・・・フレームメモリ
１０３・・・動きベクトル補正部
１０４・・・補間画像生成部
１０５・・・切替部
２０１・・・動きベクトル保存メモリ
２０２・・・動きベクトル信頼度算出部
２０３・・・動きベクトル信頼度保存メモリ
２０４・・・破綻防止ベクトル信頼度算出部
２０５・・・破綻防止ベクトル信頼度保存メモリ
２０６・・・切替部
２０７・・・信頼度比動きベクトル補正部
【図１】
2010004255.tif 000024
【図２】
2010004255.tif 000025
【図３】
2010004255.tif 000026
【図４】
2010004255.tif 000027
【図５】
2010004255.tif 000028
【図６】
2010004255.tif 000029
【図７】
2010004255.tif 000030
【図８】
2010004255.tif 000031
【図９】
2010004255.tif 000032