(57)【要約】【課題】  動画像中の静止領域を判別し、判別結果に応じて補間ＭＶの導出法を切り替える事で、より品質の高い補間フレーム作成を目的とする。【解決手段】    第２の切替部６０１は、動きベクトル割り当て部１０６から第１補間ＭＶを、静止領域判定部１０７から静止領域判定信号をそれぞれ取得する。静止領域判定信号が静止領域を示す信号である場合には、第１補間ＭＶを補間ＭＶとして補間フレーム作成部１０９に出力する。静止領域判定信号が非静止領域を示す信号である場合には、第１補間ＭＶをベクトルフィルタ処理部６０２に出力する。ベクトルフィルタ処理部６０２は、入力された第１補間ＭＶにベクトルフィルタ処理を行い、第２補間ＭＶを求め補間ＭＶとして補間フレーム作成部１０９に出力する。  【選択図】  図６
2009232163.tif 000002
【特許請求の範囲】
【請求項１】
フレーム間予測可能な動画像符号化方式によって圧縮された動画像の符号化データから復号されるフレーム間に内挿される補間フレームを作成する補間フレーム作成装置において、
前記フレームに対応する前記符号化データから、前記補間フレーム内の複数の補間ブロックのそれぞれと前記フレーム内で同じ位置に対応するブロックが、フレーム間予測またはフレーム内予測のどちらの符号化モードであるかを示す符号化情報と、符号化動きベクトルを抽出する手段と、
各補間ブロックに対応する前記フレーム内のブロックの前記符号化動きベクトルを、当該補間ブロックの第１の動きベクトルとして割り当てる割り当て手段と、
前記符号化モード情報と前記第１の動きベクトルに基づき前記補間ブロックが静止領域であるか否かを判定する判定手段と、
前記静止領域ではないと判定された補間ブロックについては、当該補間ブロックの周囲の補間ブロックに既に割り当てられた前記第１の動きベクトルに基づき、前記第１の動きベクトルを補正した第２の動きベクトルを求めるベクトル補正手段と、
前記符号化データに基づき前記フレームを復号し復号画像を得る復号手段と、
前記補間ブロックが前記静止領域である場合には前記第１の動きベクトル及び前記復号画像に基づいて当該補間ブロックの補間画像を生成し、前記補間ブロックが前記静止領域でない場合には前記第２の動きベクトル及び前記復号画像に基づいて当該補間ブロックの補間画像を生成することにより、補間フレームを作成する作成手段とを備えたことを特徴とする補間フレーム作成装置。
【請求項２】
前記判定手段は、前記補間ブロックに対応する前記ブロックの前記符号化モード情報がフレーム間予測を示す場合で、かつ前記第１の動きベクトルの大きさが所定の値より小さい場合に、前記補間ブロックは前記静止領域であると判定することを特徴とする請求項１記載の補間フレーム作成装置。
【請求項３】
前記判定手段は、前記補間ブロックに対応する前記ブロックの前記符号化モード情報がフレーム間予測を示す場合で、かつ前記第１の動きベクトルの各成分を小数精度以下切捨てまたは四捨五入または切り上げした際に零ベクトルである場合に、前記補間ブロックは前記静止領域であると判定することを特徴とする請求項１記載の補間フレーム作成装置。
【請求項４】
前記ベクトル補正手段は、前記静止領域であると判定された補間ブロックの周囲の補間ブロックに既に割り当てられた複数の第１の動きベクトルに基づき平滑処理をおこなうことで前記第２の動きベクトルを求めることを特徴とする請求項２乃至３記載の補間フレーム作成装置。
【請求項５】
前記ベクトル補正手段は、前記補間ブロック及び前記周囲のブロックに割り当てられた前記第１の動きベクトルそれぞれについてノルムを算出し、中央値となる前記ノルムに対応する前記第１の動きベクトルを前記第２の動きベクトルとして割り当てることを特徴とする請求項４に記載の補間フレーム作成装置。
【請求項６】
前記ベクトル補正手段は、前記補間ブロック及び前記周囲のブロックに割り当てられた前記第１の動きベクトルのそれぞれの成分ごとに、中央値を求め、当該中央値を成分とするベクトルを前記第２の動きベクトルとして割り当てることを特徴とする請求項４記載の補間フレーム作成装置。
【請求項７】
前記ベクトル補正手段は、前記補間ブロック及び前記周囲のブロックに割り当てられた前記第１の動きベクトルに基づく平均値を成分毎に算出し、前記平均値を成分とするベクトルを前記第２の動きベクトルとして求めることを特徴とする請求項４記載の補間フレーム作成装置。
【請求項８】
前記ベクトル補正手段は、前記作成手段が参照する前記復号画像の画素値に基づく重み付けがなされた平滑化処理を行うことを特徴とする請求項４記載の補間フレーム作成装置。
【請求項９】
前記ベクトル補正手段は、補間フレーム内の平滑処理対象の補間ブロックの周辺領域に含まれる複数の補間ブロックそれぞれに対して
（ａ）前記周辺領域内の第１の補間ブロックに、割り当てられた前記第１の動きベクトルに対応する複数の前記復号画像の画素値の差分に基づく第１差分値を求め、
（ｂ）第１の補間ブロックに、前記周辺領域内の前記第１の補間ブロック以外の前記補間ブロックに割り当てられた前記第１の動きベクトルを割り当てた場合の、当該第１の動きベクトルに対応する前記復号画像の画素値の差分に基づく第２の差分値を求め、
（ｃ）前記第１差分値及び前記第２差分値に基づき重み係数を決定し、
（ｄ）前記第１の補間ベクトルに割り当てられていた前記第１の動きベクトルと前記補間ブロック以外の前記補間ブロックに割り当てられた前記第１の動きベクトルとの差分ベクトルのノルムを求め、
（ｅ）前記ノルムと前記ノルムに対応する前記重み係数を乗算した第１の値を求め、
（ｆ）前記周辺領域内の前記第１の補間ブロック以外の前記補間ブロックに対応する前記第１の値の総和を求め、
（ｇ）前記総和が最小となる前記第１の補間ブロックに割り当てられた前記第１の動きベクトルを前記第２の補間ベクトルとして前記平滑処理対象の補間ブロックに割り当てる、
ことにより前記重み付けがなされた平滑化処理を行うことを特徴とする請求項８記載の補間フレーム作成装置。 
【請求項１０】
フレーム間予測可能な動画像符号化方式によって圧縮された動画像の符号化データから復号されるフレーム間に内挿される補間フレームを作成する補間フレーム作成方法において、
前記フレームに対応する前記符号化データから、前記補間フレーム内の複数の補間ブロックのそれぞれと前記フレーム内で同じ位置に対応するブロックが、フレーム間予測またはフレーム内予測のどちらの符号化モードであるかを示す符号化情報と、符号化動きベクトルを抽出するステップと、
各補間ブロックに対応する前記フレーム内のブロックの前記符号化動きベクトルを、当該補間ブロックの第１の動きベクトルとして割り当てるステップと、
前記符号化モード情報と前記第１の動きベクトルに基づき前記補間ブロックが静止領域であるか否かを判定するステップと、
前記静止領域ではないと判定された補間ブロックについては、当該補間ブロックの周囲の補間ブロックに既に割り当てられた前記第１の動きベクトルに基づき、前記第１の動きベクトルを補正した第２の動きベクトルを求めるステップと、
前記符号化データに基づき前記フレームを復号し復号画像を得るステップと、
前記補間ブロックが前記静止領域である場合には前記第１の動きベクトル及び前記復号画像に基づいて当該補間ブロックの補間画像を生成し、前記補間ブロックが前記静止領域でない場合には前記第２の動きベクトル及び前記復号画像に基づいて当該補間ブロックの補間画像を生成することにより、補間フレームを作成するステップとを備えたことを特徴とする補間フレーム作成方法。
【請求項１１】
フレーム間予測可能な動画像符号化方式によって圧縮された動画像の符号化データから復号されるフレーム間に内挿される補間フレームを作成する補間フレーム作成プログラムにおいて、
前記フレームに対応する前記符号化データから、前記補間フレーム内の複数の補間ブロックのそれぞれと前記フレーム内で同じ位置に対応するブロックが、フレーム間予測またはフレーム内予測のどちらの符号化モードであるかを示す符号化情報と、符号化動きベクトルを抽出する機能と、
各補間ブロックに対応する前記フレーム内のブロックの前記符号化動きベクトルを、当該補間ブロックの第１の動きベクトルとして割り当てる割り当て機能と、
前記符号化モード情報と前記第１の動きベクトルに基づき前記補間ブロックが静止領域であるか否かを判定する判定機能と、
前記静止領域ではないと判定された補間ブロックについては、当該補間ブロックの周囲の補間ブロックに既に割り当てられた前記第１の動きベクトルに基づき、前記第１の動きベクトルを補正した第２の動きベクトルを求めるベクトル補正機能と、
前記符号化データに基づき前記フレームを復号し復号画像を得る復号機能と、
前記補間ブロックが前記静止領域である場合には前記第１の動きベクトル及び前記復号画像に基づいて当該補間ブロックの補間画像を生成し、前記補間ブロックが前記静止領域でない場合には前記第２の動きベクトル及び前記復号画像に基づいて当該補間ブロックの補間画像を生成することにより、補間フレームを作成する作成機能とをコンピュータに実現させることを特徴とする補間フレーム作成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の時間解像度を改善する補間フレーム作成技術に係り、特にフレーム内の静止領域における画質改善を可能とする補間フレーム作成装置、補間フレーム作成方法および補間フレーム作成プログラムに関する。
【背景技術】
【０００２】
フレーム補間技術とは、表示時刻で前後する２枚のフレームの表示時刻間に、補間フレーム作成し内挿することで動画像の時間解像度を上げる技術である。以下、この２枚のフレームのうち、補間フレームよりも表示時刻が前のフレームを参照フレーム、後のフレームを対象フレームと呼ぶ。
【０００３】
補間フレーム内をブロックと呼ばれる矩形領域に分割し、ブロックごとに動きベクトル（以下、補間ＭＶと記す）を割り当て、補間フレームを作成する手法がある。補間ＭＶは、参照フレームと対象フレームを用いた動き推定処理をブロックごとに行うことで求められる。
【０００４】
MPEG準拠の動画像符号化方式によって符号化済みブロックには、参照フレーム内のブロックとの差分値が小さくなるブロック位置を示す動きベクトル（以下、符号化ＭＶと記す）の情報が含まれている。この符号化ＭＶから補間ＭＶを導出し、補間フレームを作成することにより、補間フレーム作成時の動き推定処理を省略する技術がある。
【０００５】
一般に符号化ＭＶは、必ずしも本来の動画像の動きを表したベクトルであるとはいえない。そのような符号化ＭＶから導出した補間ＭＶによって作成した補間フレームの画質には劣化が生じる。符号化ＭＶから、信頼度の高い補間ＭＶをどのように導出するかが、時間解像度の改善に不可欠である。
【０００６】
そこで、ベクトル周囲のブロックに割り当てられた符号化ＭＶから導出した動きベクトルに平滑化による補正処理を行うことで、動画像の局所的な動きに近い補間ＭＶを求める技術がある。例えば、特許文献１は補間ＭＶを、空間的に同位置ブロックの符号化ＭＶとその周辺ブロックの符号化ＭＶに、それぞれの予測残差の逆数に応じた重み付けをすることで、補間ＭＶを導出する手法を提案している。
【０００７】
また、非特許文献１は周辺ブロックの符号化ＭＶを用いた加算平均処理をすることで補間ＭＶを導出する手法を提案している。
【０００８】
上記の技術では、補間ブロックが静止領域・非静止領域であるかを問わず周辺ブロックに割り当てられた動きベクトルに基づき平滑化処理がなされる。したがって、ブロックがフレーム間で動きのない（画像信号の時間的変化がほぼないといえる）領域の場合でも、周辺ブロックの符号化ＭＶを用いた平滑化処理をすることで非零ベクトルになるという誤った補正が行われてしまう。この誤った補間ＭＶを用いて補間フレームを作成すると、静止領域での画質劣化が生じてしまう。
【特許文献１】特開２００６‐２７９９１７公報
【非特許文献１】Ｌ．Ａｌｐａｒｏｎｅ，Ｍ．Ｂａｒｎｉ，Ｆ．Ｂａｒｔｏｌｉｎｉ，Ｖ．Ｃａｐｐｅｌｌｉｎｉ“Ａｄａｐｒｉｖｅｌｙ  ｗｅｉｇｈｔｅｄ  ｖｅｃｔｏｒ−ｍｅｄｉａｎ  ｆｉｌｔｅｒｓ  ｆｏｒ  ｍｏｔｉｏｎ−ｆｉｅｌｄｓ  ｓｍｏｏｔｈｉｎｇ”，ＩＣＡＳＳＰ，ｐｐ２２６７−２２７０，１９９６
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は上記課題を解決するためになされたものであって、動画像中の静止領域を判別し、判別結果に応じて補間ＭＶの導出法を切り替える事で、より品質の高い補間フレーム作成を可能とする補間フレーム作成装置、補間フレーム作成方法および補間フレーム作成プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明はフレーム間予測可能な動画像符号化方式によって圧縮された動画像の符号化データから復号されるフレーム間に内挿される補間フレームを作成する補間フレーム作成装置において、前記フレームに対応する前記符号化データから、前記補間フレーム内の複数の補間ブロックのそれぞれと前記フレーム内で同じ位置に対応するブロックが、フレーム間予測またはフレーム内予測のどちらの符号化モードであるかを示す符号化情報と、符号化動きベクトルを抽出する手段と、各補間ブロックに対応する前記フレーム内のブロックの前記符号化動きベクトルを、当該補間ブロックの第１の動きベクトルとして割り当てる割り当て手段と、前記符号化モード情報と前記第１の動きベクトルに基づき前記補間ブロックが静止領域であるか否かを判定する判定手段と、前記静止領域ではないと判定された補間ブロックについては、当該補間ブロックの周囲の補間ブロックに既に割り当てられた前記第１の動きベクトルに基づき、前記第１の動きベクトルを補正した第２の動きベクトルを求めるベクトル補正手段と、前記符号化データに基づき前記フレームを復号し復号画像を得る復号手段と、前記補間ブロックが前記静止領域である場合には前記第１の動きベクトル及び前記復号画像に基づいて当該補間ブロックの補間画像を生成し、前記補間ブロックが前記静止領域でない場合には前記第２の動きベクトル及び前記復号画像に基づいて当該補間ブロックの補間画像を生成することにより、補間フレームを作成する作成手段とを備えたことを特徴とする補間フレーム作成装置を提供する。
【００１１】
また、フレーム間予測可能な動画像符号化方式によって圧縮された動画像の符号化データから復号されるフレーム間に内挿される補間フレームを作成する補間フレーム作成方法において、前記フレームに対応する前記符号化データから、前記補間フレーム内の複数の補間ブロックのそれぞれと前記フレーム内で同じ位置に対応するブロックが、フレーム間予測またはフレーム内予測のどちらの符号化モードであるかを示す符号化情報と、符号化動きベクトルを抽出するステップと、各補間ブロックに対応する前記フレーム内のブロックの前記符号化動きベクトルを、当該補間ブロックの第１の動きベクトルとして割り当てるステップと、前記符号化モード情報と前記第１の動きベクトルに基づき前記補間ブロックが静止領域であるか否かを判定するステップと、前記静止領域ではないと判定された補間ブロックについては、当該補間ブロックの周囲の補間ブロックに既に割り当てられた前記第１の動きベクトルに基づき、前記第１の動きベクトルを補正した第２の動きベクトルを求めるステップと、前記符号化データに基づき前記フレームを復号し復号画像を得るステップと、前記補間ブロックが前記静止領域である場合には前記第１の動きベクトル及び前記復号画像に基づいて当該補間ブロックの補間画像を生成し、前記補間ブロックが前記静止領域でない場合には前記第２の動きベクトル及び前記復号画像に基づいて当該補間ブロックの補間画像を生成することにより、補間フレームを作成するステップとを有する補間フレーム作成方法を提供する。
【００１２】
また、フレーム間予測可能な動画像符号化方式によって圧縮された動画像の符号化データから復号されるフレーム間に内挿される補間フレームを作成する補間フレーム作成プログラムにおいて、
前記フレームに対応する前記符号化データから、前記補間フレーム内の複数の補間ブロックのそれぞれと前記フレーム内で同じ位置に対応するブロックが、フレーム間予測またはフレーム内予測のどちらの符号化モードであるかを示す符号化情報と、符号化動きベクトルを抽出する機能と、各補間ブロックに対応する前記フレーム内のブロックの前記符号化動きベクトルを、当該補間ブロックの第１の動きベクトルとして割り当てる割り当て機能と、前記符号化モード情報と前記第１の動きベクトルに基づき前記補間ブロックが静止領域であるか否かを判定する判定機能と、前記静止領域ではないと判定された補間ブロックについては、当該補間ブロックの周囲の補間ブロックに既に割り当てられた前記第１の動きベクトルに基づき、前記第１の動きベクトルを補正した第２の動きベクトルを求めるベクトル補正機能と、前記符号化データに基づき前記フレームを復号し復号画像を得る復号機能と、前記補間ブロックが前記静止領域である場合には前記第１の動きベクトル及び前記復号画像に基づいて当該補間ブロックの補間画像を生成し、前記補間ブロックが前記静止領域でない場合には前記第２の動きベクトル及び前記復号画像に基づいて当該補間ブロックの補間画像を生成することにより、補間フレームを作成する作成機能とをコンピュータに実現させる補間フレーム作成プログラムを提供する。
【発明の効果】
【００１３】
本発明によれば、補間ブロックがテロップ等の動画像中の静止領域に該当するかを判別し、判別結果に基づき補間ＭＶを導出する方法を切り替えている。静止領域の場合には、符号化ＭＶによって割り当てられた動きベクトルに平滑化処理を行わないことによって、品質の高い補間フレームの作成を可能にする。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態について図面を用いて詳細に説明する。
【００１５】
（第１の実施形態）
以下、第１の実施形態について説明する。第１の実施形態のフレーム補間装置は、入力動画像の入力フレームの符号化情報を利用し、表示時間が連続する２枚の入力フレーム間に内挿する補間フレームを作成する。
【００１６】
入力動画像は符号化処理がなされたものである。符号化情報として、過去に符号化済みの画像を参照し予測画像を作成するための情報（符号化MV、符号化モード等）と、その予測画像との差分値情報が含まれている。それらの情報を利用して作成される予測画像と差分値の和によって復号画像が作成される。
【００１７】
入力動画像の表示時刻が連続する２枚の入力フレームのうち、参照されているフレームを参照フレームと、参照しているフレームを対象フレームと記載する。なお、以下では表示時刻で前のフレームが参照フレームであり、後のフレームが対象フレームである場合について説明する。
【００１８】
図１は、上記復号画像の表示タイミング及び上記補間フレームの表示タイミングを示す図である。入力動画像の復号画像のうち時刻ｔに表示される復号画像が参照フレーム、時刻ｔ＋１に表示される復号画像が対象フレームである。それらの表示時刻間に内挿する補間フレームの表示タイミングを、ｔ+Δｔ（ただし、0＜Δｔ＜1）と表している。
【００１９】
図２は、本発明の第１の実施形態に係る補間フレーム作成装置のブロック図である。
【００２０】
補間フレーム作成装置は、可変長復号化部１０１、逆変換・逆量子化部１０２、加算部１０３、動き補償部１０４、フレームメモリ１０５、動きベクトル割り当て部１０６、静止領域判定部１０７、動きベクトル補正部１０８、補間フレーム作成部１０９及び第１の切替部１１０を備えている。
【００２１】
可変長復号化部１０１は、入力された動画像符号化データに対して可変長復号化処理を行う。入力された動画像のフレーム内の、マクロブロックと呼ばれる１６×１６画素の矩形領域ごとに、符号化モード情報、符号化ＭＶ、直交変換係数データ及び量子化パラメータ等の情報を得て出力する。 
逆変換・逆量子化部１０２は、可変長復号化部１０１から直交変換係数データと量子化パラメータを取得して、逆直交変換および逆量子化を行い、デコード後の空間信号を作成し、加算部１０３に出力する。
【００２２】
動き補償部１０４は、可変長復号化部１０１から符号化ＭＶを取得して、フレームメモリ１０５に格納された参照フレームから動き補償を行い、予測画像を出力する。
【００２３】
加算部１０３は、逆変換・逆量子化部１０２からデコード後の空間信号を、動き補償部１０４から出力された予測画像をそれぞれ取得する。そして、デコード後の空間信号と予測画像とを加算することで復号画像を作成し、フレームメモリ１０５に出力する。
【００２４】
フレームメモリ１０５は、加算部１０３から復号画像を取得し、保存する。
【００２５】
動きベクトル割り当て部１０６は、可変長復号化部１０１から対象フレームのブロックごとの符号化ＭＶと符号化モード情報を取得し、それらの情報から補間フレームのＭ１×Ｍ２画素（Ｍ１，Ｍ２≦１６）のブロック（以降、補間ブロックと呼ぶ）に第１補間ＭＶ，MV_IB１(t＋Δｔ, ｍ)を割り当てる。以下、補間ブロックを識別するために，補間フレーム内のラスタスキャン方向に通し番号をつけたｍ番目の補間ブロックを補間ブロックｍと記載する。対象フレーム内のブロックのうち、補間ブロックｍと対応する位置のマクロブロックの符号化ＭＶ，DecMV(t+1，ｍ)が第１補間ＭＶ，MV_IB１(t＋Δｔ, ｍ)として補間ブロックｍに割り当てられる。第１補間ＭＶ，MV_IB１(t＋Δｔ, ｍ)を補間ブロックｍに割り当てる方法は、後で詳細に説明する。
【００２６】
静止領域判定部１０７は、動きベクトル割り当て部１０６から第１補間ＭＶを、可変長復号化部１０１から符号化モード情報をそれぞれ取得し、それらの情報から補間ブロックｍが静止領域であるかどうかを判定する。判定結果である静止領域判定信号ｓ(ｔ＋Δｔ, ｍ)を動きベクトル補正部１０８に出力する。
【００２７】
動きベクトル補正部１０８は、補間ブロックｍが非静止領域であるという静止領域判定信号が入力された場合には、第１補間ＭＶに後述するベクトルフィルタによる補正処理を行い、第２補間ＭＶを求める。求めた第２補間ＭＶ，MV_IB２(t＋Δｔ, ｍ)を補間ＭＶ，MV_IB(t＋Δｔ, ｍ)として補間ブロックｍに割り当てる。
【００２８】
補間ブロックｍが静止領域の場合には第１補間ＭＶ，MV_IB１(t＋Δｔ, ｍ)を補間ＭＶ，MV_IB(t＋Δｔ, ｍ)として割り当てる。
【００２９】
動きベクトル補正部１０８は、補間ＭＶ_ＩＢ(t＋Δｔ, ｍ)を補間フレーム作成部１０９に出力する。
【００３０】
補間フレーム作成部１０９は、フレームメモリ１０５から対象フレーム及び参照フレームの復号画像を、また動きベクトル補正部１０８から補間ＭＶ，MV_IB(t＋Δｔ, ｍ)を取得して補間フレームを作成し、第１の切替部１１０に出力する。補間フレームは数１に基づき作成される。
【００３１】
なお、ＩＢ(ｔ＋Δｔ，m)は、各補間ブロックmに含まれる画素の集合を示すものである。補間フレームの画素値Iｍｃ（ｘ）は、補間ブロックｍ内の画素ｘ∈ＩＢ（ｔ＋Δｔ，ｍ）に対して、数１から算出される。
【数１】
2009232163.tif 000003
【００３２】
ここで、Ｉdst (x)は、対象フレームの復号画像内の位置ｘにおける画素値、Ｉsrc(x)は、参照フレームの復号画像内の位置ｘにおける画素値を表す。
【００３３】
図３は、割り当てられた補間ＭＶ，MV_IB(t＋Δｔ, ｍ)から両方向補間によって補間フレームの画素値Iｍｃ（ｘ）を求める方法を示す図である。
【００３４】
第１の切替部１１０は、復号画像を表示するタイミングにおいて、復号画像をフレームメモリ１０５から取得し、出力する。また、補間フレーム表示タイミングにおいて、補間フレーム作成部１０９から補間フレームを取得し、出力する。
【００３５】
図６は、第１の実施形態の補間フレーム作成装置の動きベクトル補正部１０８を抜き出して示したブロック図である。
【００３６】
動きベクトル補正部１０８は、第２の切替部６０１とベクトルフィルタ処理部６０２を有する。第２の切替部６０１は、動きベクトル割り当て部１０６から第１補間ＭＶ，MV_IB１(t＋Δｔ, ｍ)を、静止領域判定部１０７から補間ブロックｍの静止領域判定信号ｓ(ｔ＋Δｔ, ｍ)をそれぞれ取得する。取得した静止領域判定信号に基づき、第１補間ＭＶの出力先を切り替える。静止領域判定信号がｓ(ｔ＋Δｔ, ｍ)＝”ＳＴＩＬＬ”の静止領域を示す信号である場合には、第１補間ＭＶをそのまま補間ＭＶ，MV_IB(t＋Δｔ, ｍ)として補間フレーム作成部１０９に出力する。静止領域判定信号がｓ(ｔ＋Δｔ, ｍ)＝”ＭＯＶＥ”の非静止領域を示す信号である場合には、第１補間ＭＶをベクトルフィルタ処理部６０２に出力する。
【００３７】
ベクトルフィルタ処理部６０２は、入力された第１補間ＭＶにベクトルフィルタ処理を行い、第２補間ＭＶ，MV_IB２(t＋Δｔ, ｍ)を求め補間ＭＶ，MV_IB(t＋Δｔ, ｍ)として求めた第２補間ＭＶを補間フレーム作成部１０９に出力する。ベクトルフィルタ処理は、数２の式によって行われる。 
【数２】
2009232163.tif 000004
【００３８】
ここで、集合Ｎは補間ブロックｍを含めたその周辺の補間ブロックの集合である。
【００３９】
図９は、集合Ｎの例を示す図である。矩形のブロックそれぞれが補間ブロックである。対象となる補間ブロックｍとその周辺の補間ブロックも含めた９個のブロックが集合Ｎに含まれる。
【００４０】
集合N内のある補間ブロックｍ＋ｃに割り当てられた第１補間ＭＶ，MV_IB１(ｔ+Δt，ｍ＋ｃ）と、集合N内のｍ＋ｃ以外の補間ブロックｍ＋ｓに割り当てられた第１補間ＭＶ，MV_IB１(ｔ+Δt，ｍ＋ｃ）との差分ベクトルのノルムの総和を求める。集合N内のすべての補間ブロックに対して、差分ベクトルのノルムの総和を求める。そのうち、総和が最も小さな値となる補間ブロックｍ＋ｃminに割り当てられた第１補間ＭＶ，MV_IB１(ｔ+Δt，ｍ＋ｃmin）を補間ブロックｍの第２補間ＭＶ，MV_IB２(t＋Δｔ, ｍ)として割り当てる処理を行っている。
【００４１】
次に、動きベクトル割り当て部１０６について詳細に説明する。
【００４２】
補間ブロックｍとフレーム内で同位置にある、表示時刻ｔ＋１の対象フレーム内のマクロブロックの符号化モード情報をＭＢ_ＭＯＤＥ（ｔ＋１，m）で表す。
【００４３】
図４は、動きベクトル割り当て部１０６の処理を示すフローチャートである。
【００４４】
まず、対象フレーム内の補間ブロックｍに対応するマクロブロックがフレーム間で予測（以下、インター予測という）を行う符号化モードのスライスに、含まれているかどうかを判定する（ステップＳ３０１）。
【００４５】
フレーム内で予測（以下、イントラ予測という）を行う符号化モードのスライスの場合には（ステップＳ３０１，Ｎｏ）、ひとつ前の補間フレーム内の補間ブロックｍとフレーム内で同じ位置の補間ブロックに割り当てられた補間MV，MV_IB(ｔ+Δｔ−１，ｍ）をMV_IB１（ｔ+Δｔ，ｍ）として割り当てる。また、t=0のときはMV_IB１(t,ｍ)に零ベクトルを割り当てる（ステップＳ３０２）。なお、ひとつ前の補間フレームの表示時刻をｔ+Δｔ−１と記したが、これは入力された動画像データの２枚のフレーム間に１枚の補間フレームを内挿し、かつΔｔ＝１／２のタイミングで補間フレームを表示する場合について記載したものである。
【００４６】
マクロブロックがインター予測スライスに含まれている場合には（ステップＳ３０１，Yes）、補間ブロックｍに対応するマクロブロックの符号化モードＭＢ_ＭＯＤＥ（ｔ＋１，m）がインター予測マクロブロックであるかどうかを判定する（ステップＳ３０３）。
【００４７】
ＭＢ_ＭＯＤＥ（t＋１,m）がインター予測を示していない場合（ステップＳ３０３，No）、対象フレーム内の補間ブロックｍに対応するマクロブロックには符号化ＭＶがないため、第１補間MV，MV_IB１(t+Δt,m)として、零ベクトルを割り当てる。 
ここで、ＭＢ_ＭＯＤＥ（ｔ＋１，m）がインター予測のマクロブロックであることを示していたら（ステップＳ３０３，Yes）、当該マクロブロックが参照している画像が対象フレームが表示されるｔ＋１より前か否か判定する（ステップS３０５）。参照している復号画像が時刻ｔ＋１より前に表示される場合（ステップＳ３０５，Yes）、isNegative=1とする（ステップＳ３０６）。参照している復号画像が時刻ｔ＋１より後に表示される場合（ステップＳ３０５，No）、isNegative=−１とする（ステップＳ３０７）。次に，数３に基づき、補間ブロックｍに対応する対象フレーム内のマクロブロックに割り当てられていた符号化MV，DECODEMV(t＋１，ｍ)に数３の補正処理を行った符号化MV，DecMV(t＋１，ｍ)を補間ブロックｍの第１補間MV，MV_IB1(t+Δｔ，ｍ)として割り当てる（ステップＳ３０８）。
【数３】
2009232163.tif 000005
【００４８】
ここでのrefDistance(t+1,ｍ)は、 DECODEMV (t+1,ｍ)が参照している復号画像の時刻と時刻ｔ＋１との差分絶対値である。
【００４９】
DECODEMV (t+1,ｍ)が小数画素精度の要素を持つベクトルであったとき、要素の整数部分をそのまま残し、小数点以下を０とする切捨てを行う処理を行っている。また、上記の小数点以下の切捨て処理は、小数点以下の四捨五入または切り上げを行う処理であってもよい。
【００５０】
また、双方向予測を行うマクロブロックなど、符号化MVが2本割り当てられているマクロブロックも存在する。その場合、前方向予測の符号化MVが割り当てられている場合には優先して前方向予測の符号化ＭＶをDECODEMV(t＋１，ｍ)とし、ステップＳ３０５からステップＳ３０８までの処理を行う。求められたDecMV(t＋１，ｍ)を第１補間ＭＶ，MV_IB1(t+Δｔ，ｍ)として補間ブロックｍに割り当てる。
【００５１】
また、予測方向が同じ符号化ＭＶが２本マクロブロックに割り当てられている場合には、2本の符号化ＭＶのうち、参照している復号画像との時刻間の差分絶対値が小さい方の符号化ＭＶをDECODEMV(t＋１，ｍ)とし、ステップＳ３０５からステップＳ３０８までの処理を行う。求められたDecMV(t＋１，ｍ)を第１補間ＭＶ，MV_IB1(t+Δｔ，ｍ)として補間ブロックｍに割り当てる。
【００５２】
次に、静止領域判定部１０７が静止領域を判定する方法について詳細に説明する。
【００５３】
図５は、第１の実施形態の静止領域判定部１０７の動作を示すフローチャートである。
【００５４】
対象フレームの中の補間ブロックｍごとに以下の処理を行う。まず、補間ブロックｍに対応する対象フレーム内のマクロブロックのＭＢ_ＭＯＤＥ（t+１,ｍ）を判定する（ステップＳ５０１）。
【００５５】
ＭＢ_ＭＯＤＥ（t+1,ｍ）がインター予測を示していない場合（ステップＳ５０１，No）、静止領域判定信号ｓ（t+Δt, ｍ）＝”ＭＯＶＥ”の非静止領域を示す信号を出力する（ステップＳ５０３）。
【００５６】
ＭＢ_ＭＯＤＥ（t+１,ｍ）がインター予測を示している場合（ステップＳ５０１，Yes）、補間ブロックｍの第１補間ＭＶ，MV_IB1（t+Δt, ｍ）が零ベクトルか否かを判定する（ステップＳ５０２）。補間ブロックｍの第１補間ＭＶ，MV_IB1（t+Δt, ｍ）が零ベクトルである場合（ステップＳ５０２，Yes）、静止領域判定信号ｓ（t+Δt,ｍ）＝”ＳＴＩＬＬ”の静止領域を示す信号を出力する（ステップＳ５０４）。
【００５７】
一方、補間ブロックｍの第１補間ＭＶ、MV_IB１(t+Δt, ｍ）が非零ベクトルの場合（ステップＳ５０２，No）、静止領域判定信号ｓ（t+Δt,ｍ）＝”ＭＯＶＥ”の非静止領域を示す信号を出力する（ステップＳ５０３）。
【００５８】
前述したように、補正ブロックの静止領域判定信号ｓ（t+Δt,ｍ）＝”ＭＯＶＥ”の場合には、第２補間ＭＶを、静止領域判定信号ｓ（t+Δt,ｍ）＝”ＳＴＩＬＬ”の場合には第１補間ＭＶを補間ＭＶ，MV_IB(t＋Δｔ, ｍ)として割り当てる。
【００５９】
なお、ベクトルフィルタ処理部６０２は以下の数４乃至数６に示す式で平滑化処理を行って第２の補間ベクトルMV_IB２(t＋Δｔ, ｍ)を求めてもよい。
【００６０】
ベクトルフィルタ処理部６０２は、数４に基づき補間ブロックｍに割り当てる第２補間ＭＶを求めてもよい。集合Ｎ内の補間ブロックそれぞれについて、当該補間ブロックｍ＋ｃと、それ以外の集合Ｎに含まれる補間ブロックｍ＋ｓに割り当てられている第１補間ベクトルの差分ベクトルのノルム総和を算出する。算出された値が、最も小さい値をとるブロックｃｍｉｎに割り当てられた第１補間ベクトルを第２補間ベクトルMV_IB２(t＋Δｔ, ｍ)として補間ブロックｍに割り当てる処理を行ってもよい。
【数４】
2009232163.tif 000006
【００６１】
また、ベクトルフィルタ処理部６０２は数５に基づき補間ブロックｍの周辺の集合Ｎの補間ブロックに割り当てられた第１補間ベクトルの平均値を、第２補間ベクトルMV_IB２(t＋Δｔ, ｍ)とする処理を行ってもよい。
【数５】
2009232163.tif 000007
【００６２】
ここでのT(x)は集合xの要素数を数えるオペレータである。よって、T(Ｎ)は、集合Ｎ内に含まれる補間ブロックの数を示す。  
また、動きベクトル補正部１０８はMV_IB２(t＋Δｔ, ｍ)を数６によって求めても良い。
【数６】
2009232163.tif 000008
【００６３】
によって、求めても良い。
【００６４】
このように、符号化モード情報と符号化ＭＶを利用してテロップ等の動画像中の静止領域を判別し、その位置における補間ＭＶの導出法を切り替えることにより、より的確に動画像中の時間方向の動きを表す補間ＭＶを導出することが可能になり、より品質の高い補間フレームを作成することができる。
【００６５】
（第２の実施形態）
第１の実施の形態に係る補間フレーム作成装置は、図６に示すベクトルフィルタ処理部６０２において、第１補間ＭＶの情報のみに基づきフィルタ処理を行っていた。第２の実施の形態に係る補間フレーム作成装置は、さらに参照フレームと対象フレームの情報を加味した重み付けを行ったベクトルフィルタ処理を行うものである。
【００６６】
図７は、第２の実施形態の補間フレーム作成装置の構成を示すブロック図である。
【００６７】
本実施の形態の補間フレーム作成装置では、さらにフレームメモリ１０５から動きベクトル補正部７０８に参照フレームと対象フレームの情報が入力される。
【００６８】
図８は、動きベクトル補正部７０８を抜き出して示したブロック図である。
【００６９】
動きベクトル補正部７０８は、第２の切替部６０１およびベクトルフィルタ処理部８０２を有する。
【００７０】
ベクトルフィルタ処理は、数７によって行われる。
【数７】
2009232163.tif 000009
【００７１】
一方、ここでw(s)は、
【数８】
2009232163.tif 000010
【００７２】
で求める、重み係数である。SADΔtは、数９によって定義する差分絶対値和である。
【数９】
2009232163.tif 000011
【００７３】
Idst(x)は、対象フレームの位置ｘにおける画素値、 Isrc(x)は、参照フレームの位置ｘにおける画素値を表す。また、SADΔtは、数１０に示す式による差分二乗和で定義してもよい。
【数１０】
2009232163.tif 000012
【００７４】
また、本実施の形態のベクトルフィルタ処理部８０２の行うベクトルフィルタ処理は数１１、によって行っても良い。
【数１１】
2009232163.tif 000013
【００７５】
ここでのT(x)はxの要素数を数えるオペレータである。また、w’(c)は、数８で示したw(c)を正規化したものであり、数１２に示す値である。
【数１２】
2009232163.tif 000014
【００７６】
さらに、数１３によって、ベクトルの成分ごとに求めても良い。
【数１３】
2009232163.tif 000015
【００７７】
このように、第２の補間ＭＶを求める際に、第１の補間ＭＶの情報だけでなく、参照フレームと対象フレームの情報を加味することで、より画像のフレーム間の動きを表すベクトルに補正することが可能になり、より的確に動画像中の時間方向の動きを表す補間ＭＶを導出することが可能になり、より品質の高い補間フレームを作成することができる。
【００７８】
なお、上記のフレーム補間装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。コンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。
【００７９】
このとき、フレーム補間装置は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。
【図面の簡単な説明】
【００８０】
【図１】第１の実施形態の補間フレーム作成装置のブロック図。
【図２】復号画像表示タイミングおよび補間フレーム表示タイミング図。
【図３】補間フレームの画素値を求める方法を示す図。
【図４】第１の実施形態の動きベクトル割り当て部１０６の動作を示すフローチャート。
【図５】第１の実施形態の静止領域判定部１０７の動作を示すフローチャート。
【図６】第１の実施形態の動きベクトル補正部１０８のブロック図。
【図７】第２の実施形態の補間フレーム作成装置の構成を示すブロック図。
【図８】第２の実施形態の動きベクトル補正部７０８のブロック図。
【図９】補間ブロックｍ及びその周辺ブロックの集合Nを示す図。
【符号の説明】
【００８１】
１０１・・・可変長復号化部
１０２・・・逆変換・逆量子化部
１０３・・・加算部
１０４・・・動き補償部
１０５・・・フレームメモリ
１０６・・・動きベクトル割り当て部
１０７・・・静止領域判定部
１０８，７０８・・・動きベクトル補正部
１０９・・・補間フレーム作成部
１１０・・・第１の切替部
６０１・・・第２の切替部
６０２，８０２・・・ベクトルフィルタ処理部
【図１】
2009232163.tif 000016
【図２】
2009232163.tif 000017
【図３】
2009232163.tif 000018
【図４】
2009232163.tif 000019
【図５】
2009232163.tif 000020
【図６】
2009232163.tif 000021
【図７】
2009232163.tif 000022
【図８】
2009232163.tif 000023
【図９】
2009232163.tif 000024