(57)【要約】【課題】動画像のフレーム間に補間フレームを内挿し動画を滑らかにするフレーム補間装置１０を提供する。【解決手段】フレーム補間装置１０は、動き推定部１２、歪みエネルギー計算部１４、破綻防止画像生成部１６、アルファマップ生成部１８、動き補償ワーピング部２０、アルファブレンディング部２２から構成される。入力された画像と推定されたフローに基づき、フローの信頼度を局所的に計算する。この信頼度をフローに従い補間フレームの時間位置にワーピングし０−１のアルファ値に変換しアルファマップを生成する。このアルファ値により動き補償画像と破綻防止画像をアルファブレンドすることにより局所的な画質劣化にも対応できる。【選択図】      図１
2008244846.tif 000002
【特許請求の範囲】
【請求項１】
対象画像と参照画像との間に補間画像を内挿するフレーム補間装置において、
前記対象画像内を分割したそれぞれの対象領域について、前記各対象領域から前記参照画像の各参照領域へのそれぞれの第１動きベクトル、前記各第１動きベクトルを前記対象画像と前記補間画像との第１時間距離に応じてスケーリングした各第２動きベクトル、及び、前記各第１動きベクトルを前記参照画像と前記補間画像との第２時間距離に応じてスケーリングした各第３動きベクトルを求める動き推定部と、
前記対象領域の各画素の画素値と前記参照領域の各画素の画素値との差分が小さい程に小さくなる歪みエネルギーを、前記対象領域毎にそれぞれ求める歪みエネルギー計算部と、
前記各対象領域から前記第２動きベクトルによって指し示される前記補間画像内の各第１補間領域の第１加重平均用の重みを、前記各対象領域の歪みエネルギーから求める重み計算部と、
前記各対象領域の画像を前記各第２動きベクトルを用いて前記補間画像の時間位置に動き補償した第１動き補償画像と、前記各参照領域の画像を前記第３動きベクトルを用いて前記補間画像の時間位置に動き補償した第２動き補償画像との、前記第１及び第２時間距離に応じた第２加重平均により第３動き補償画像を求める動き補償画像生成部と、
（１）前記対象画像、（２）前記参照画像、または、（３）前記対象画像と前記参照画像との前記第１及び前記第２時間距離に応じた第３加重平均によって求められた時間加重平均画像、のいずれかを破綻防止画像として取得する破綻防止画像取得部と、
前記補間画像を分割した各第２補間領域に対応する前記動き補償画像内の領域の画像と、前記各第２補間領域に対応する前記破綻防止画像内の領域の画像との、前記重みに基づく前記第１加重平均を求めることにより前記各補間領域の画像を求める画像補間部、
を有するフレーム補間装置。
【請求項２】
対象画像と参照画像との間に補間画像を内挿するフレーム補間装置において、
前記対象画像内を分割したそれぞれの対象領域について、前記各対象領域から前記参照画像の各参照領域へのそれぞれの第１動きベクトル、前記各第１動きベクトルを前記対象画像と前記補間画像との第１時間距離に応じてスケーリングした各第２動きベクトル、及び、前記各第１動きベクトルを前記参照画像と前記補間画像との第２時間距離に応じてスケーリングした各第３動きベクトルを求める動き推定部と、
前記対象領域の各画素の画素値と前記参照領域の各画素の画素値との差分が小さい程に小さくなる歪みエネルギーを、前記対象領域毎にそれぞれ求める歪みエネルギー計算部と、
前記各対象領域から前記第２動きベクトルによって指し示される前記補間画像内の各第１補間領域の第１加重平均用の重みを、前記各対象領域の歪みエネルギーから求める重み計算部と、
前記各対象領域の画像を前記各第２動きベクトルを用いて前記補間画像の時間位置に動き補償した第１動き補償画像と、前記各参照領域の画像を前記第３動きベクトルを用いて前記補間画像の時間位置に動き補償した第２動き補償画像との、前記第１及び第２時間距離に応じた第２加重平均により第３動き補償画像を求める動き補償画像生成部と、
前記対象画像を前記参照画像に幾何変換するための前記対象画像のベクトル抽出領域毎のグローバルモーションベクトルを求め、前記ベクトル抽出領域毎のグローバルモーションベクトルに基づいて破綻防止画像を取得する破綻防止画像取得部と、
前記補間画像を分割した各第２補間領域に対応する前記動き補償画像内の領域の画像と、前記各第２補間領域に対応する前記破綻防止画像内の領域の画像との、前記重みに基づく前記第１加重平均を求めることにより前記各補間領域の画像を求める画像補間部、
を有するフレーム補間装置。
【請求項３】
前記歪みエネルギー計算部は、
前記対象領域の前記歪みエネルギーと、前記各対象領域の周囲にあるそれぞれの周囲領域の前記歪みエネルギーを求め、
前記対象領域の前記歪みエネルギーと前記周囲領域の前記歪みエネルギーとの第４加重平均を求めて、前記対象領域の前記歪みエネルギーとする、
請求項１または２記載のフレーム補間装置。
【請求項４】
前記対象領域の画素値と、前記周囲領域の画素値との差分が大きい程に、前記第４加重平均における前記周囲領域の前記歪みエネルギーの重みを小さくする、
請求項３記載のフレーム補間装置。
【請求項５】
前記歪みエネルギー計算部は、
前記各対象領域の周囲にある周囲領域の動きベクトルをそれぞれ求め、
前記対象領域の動きベクトルと、前記周囲領域の動きベクトルとの差分に基づいて平滑化エネルギーを求め、
前記歪みエネルギーに前記平滑化エネルギーを加算する、
請求項１または２記載のフレーム補間装置。
【請求項６】
前記歪みエネルギー計算部は、
前記対象領域の周囲にある周囲領域の動きベクトルを求め、
前記対象領域の動きベクトルと、前記周囲領域の動きベクトルとの差分に基づいて平滑化エネルギーを求め、
前記歪みエネルギーに前記平滑化エネルギーを加重平均する、
請求項１または２記載のフレーム補間装置。
【請求項７】
前記歪みエネルギー計算部は、
前記対象領域の画素値と、前記周囲領域の画素値との差分が大きい程に、前記加重平均における前記平滑化エネルギーの重みを小さくする、
請求項６記載のフレーム補間装置。
【請求項８】
前記重み計算部は、
前記歪みエネルギーと前記重みとが一対一に対応し、
前記重みが０から１となる単調減少関数に基づいて前記歪みエネルギーを変換する、
請求項１または２記載のフレーム補間装置。
【請求項９】
対象画像と参照画像との間に補間画像を内挿するフレーム補間方法において、
前記対象画像内を分割したそれぞれの対象領域について、前記各対象領域から前記参照画像の各参照領域へのそれぞれの第１動きベクトル、前記各第１動きベクトルを前記対象画像と前記補間画像との第１時間距離に応じてスケーリングした各第２動きベクトル、及び、前記各第１動きベクトルを前記参照画像と前記補間画像との第２時間距離に応じてスケーリングした各第３動きベクトルを求める動き推定ステップと、
前記対象領域の各画素の画素値と前記参照領域の各画素の画素値との差分が小さい程に小さくなる歪みエネルギーを、前記対象領域毎にそれぞれ求める歪みエネルギー計算ステップと、
前記各対象領域から前記第２動きベクトルによって指し示される前記補間画像内の各第１補間領域の第１加重平均用の重みを、前記各対象領域の歪みエネルギーから求める重み計算ステップと、
前記各対象領域の画像を前記各第２動きベクトルを用いて前記補間画像の時間位置に動き補償した第１動き補償画像と、前記各参照領域の画像を前記第３動きベクトルを用いて前記補間画像の時間位置に動き補償した第２動き補償画像との、前記第１及び第２時間距離に応じた第２加重平均により第３動き補償画像を求める動き補償画像生成ステップと、
（１）前記対象画像、（２）前記参照画像、または、（３）前記対象画像と前記参照画像との前記第１及び前記第２時間距離に応じた第３加重平均によって求められた時間加重平均画像、のいずれかを破綻防止画像として取得する破綻防止画像取得ステップと、
前記補間画像を分割した各第２補間領域に対応する前記動き補償画像内の領域の画像と、前記各第２補間領域に対応する前記破綻防止画像内の領域の画像との、前記重みに基づく前記第１加重平均を求めることにより前記各補間領域の画像を求める画像補間ステップ、
を有するフレーム補間方法。
【請求項１０】
対象画像と参照画像との間に補間画像を内挿するフレーム補間方法において、
前記対象画像内を分割したそれぞれの対象領域について、前記各対象領域から前記参照画像の各参照領域へのそれぞれの第１動きベクトル、前記各第１動きベクトルを前記対象画像と前記補間画像との第１時間距離に応じてスケーリングした各第２動きベクトル、及び、前記各第１動きベクトルを前記参照画像と前記補間画像との第２時間距離に応じてスケーリングした各第３動きベクトルを求める動き推定ステップと、
前記対象領域の各画素の画素値と前記参照領域の各画素の画素値との差分が小さい程に小さくなる歪みエネルギーを、前記対象領域毎にそれぞれ求める歪みエネルギー計算ステップと、
前記各対象領域から前記第２動きベクトルによって指し示される前記補間画像内の各第１補間領域の第１加重平均用の重みを、前記各対象領域の歪みエネルギーから求める重み計算ステップと、
前記各対象領域の画像を前記各第２動きベクトルを用いて前記補間画像の時間位置に動き補償した第１動き補償画像と、前記各参照領域の画像を前記第３動きベクトルを用いて前記補間画像の時間位置に動き補償した第２動き補償画像との、前記第１及び第２時間距離に応じた第２加重平均により第３動き補償画像を求める動き補償画像生成ステップと、
前記対象画像を前記参照画像に幾何変換するための前記対象画像のベクトル抽出領域毎のグローバルモーションベクトルを求め、前記ベクトル抽出領域毎のグローバルモーションベクトルに基づいて破綻防止画像を取得する破綻防止画像取得ステップと、
前記補間画像を分割した各第２補間領域に対応する前記動き補償画像内の領域の画像と、前記各第２補間領域に対応する前記破綻防止画像内の領域の画像との、前記重みに基づく前記第１加重平均を求めることにより前記各補間領域の画像を求める画像補間ステップ、
を有するフレーム補間方法。
【請求項１１】
コンピュータによって実行されるプログラムであって、当該コンピュータを請求項１から請求項８までのいずれか一項に記載のフレーム補間装置として機能させるプログラム。
【請求項１２】
コンピュータによって実行されるプログラムであって、請求項９から請求項１０までのいずれか一項に記載のフレーム補間方法を当該コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
入力された動画像のフレーム間に補間画像（補間フレーム）を内挿し動画を滑らかにするフレーム補間装置及びその方法に関する。
【背景技術】
【０００２】
特許文献１において、符号化された動画像をデコードする際に、フレーム内のフロー（動きベクトル）の分散、方向、ＤＣＴ係数などにより補間フレームを内挿する／しないを制御する技術が開示されている。
【特許文献１】特開２００５−６２７５公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記背景技術では画面全体の統計量により、補間フレームを内挿する／しないを制御するため、画面内の局所的な画質劣化に対応することが難しい。
【０００４】
また、画面全体を内挿する／しないと切り替えるため、切り替えが頻繁に起こるとフリッカーとして視認されてしまい新たな画質劣化を生んでしまう。
【０００５】
そこで本発明は、動画像のフレーム間に補間フレームを内挿し動画を滑らかにするフレーム補間装置及びその方法を提供する。
【課題を解決するための手段】
【０００６】
本発明は、対象画像と参照画像との間に補間画像を内挿するフレーム補間装置において、前記対象画像内を分割したそれぞれの対象領域について、前記各対象領域から前記参照画像の各参照領域へのそれぞれの第１動きベクトル、前記各第１動きベクトルを前記対象画像と前記補間画像との第１時間距離に応じてスケーリングした各第２動きベクトル、及び、前記各第１動きベクトルを前記参照画像と前記補間画像との第２時間距離に応じてスケーリングした各第３動きベクトルを求める動き推定部と、前記対象領域の各画素の画素値と前記参照領域の各画素の画素値との差分が小さい程に小さくなる歪みエネルギーを、前記対象領域毎にそれぞれ求める歪みエネルギー計算部と、前記各対象領域から前記第２動きベクトルによって指し示される前記補間画像内の各第１補間領域の第１加重平均用の重みを、前記各対象領域の歪みエネルギーから求める重み計算部と、前記各対象領域の画像を前記各第２動きベクトルを用いて前記補間画像の時間位置に動き補償した第１動き補償画像と、前記各参照領域の画像を前記第３動きベクトルを用いて前記補間画像の時間位置に動き補償した第２動き補償画像との、前記第１及び第２時間距離に応じた第２加重平均により第３動き補償画像を求める動き補償画像生成部と、（１）前記対象画像、（２）前記参照画像、または、（３）前記対象画像と前記参照画像との前記第１及び前記第２時間距離に応じた第３加重平均によって求められた時間加重平均画像、のいずれかを破綻防止画像として取得する破綻防止画像取得部と、前記補間画像を分割した各第２補間領域に対応する前記動き補償画像内の領域の画像と、前記各第２補間領域に対応する前記破綻防止画像内の領域の画像との、前記重みに基づく前記第１加重平均を求めることにより前記各補間領域の画像を求める画像補間部、を有するフレーム補間装置である。
【０００７】
また、本発明は、対象画像と参照画像との間に補間画像を内挿するフレーム補間装置において、前記対象画像内を分割したそれぞれの対象領域について、前記各対象領域から前記参照画像の各参照領域へのそれぞれの第１動きベクトル、前記各第１動きベクトルを前記対象画像と前記補間画像との第１時間距離に応じてスケーリングした各第２動きベクトル、及び、前記各第１動きベクトルを前記参照画像と前記補間画像との第２時間距離に応じてスケーリングした各第３動きベクトルを求める動き推定部と、前記対象領域の各画素の画素値と前記参照領域の各画素の画素値との差分が小さい程に小さくなる歪みエネルギーを、前記対象領域毎にそれぞれ求める歪みエネルギー計算部と、前記各対象領域から前記第２動きベクトルによって指し示される前記補間画像内の各第１補間領域の第１加重平均用の重みを、前記各対象領域の歪みエネルギーから求める重み計算部と、前記各対象領域の画像を前記各第２動きベクトルを用いて前記補間画像の時間位置に動き補償した第１動き補償画像と、前記各参照領域の画像を前記第３動きベクトルを用いて前記補間画像の時間位置に動き補償した第２動き補償画像との、前記第１及び第２時間距離に応じた第２加重平均により第３動き補償画像を求める動き補償画像生成部と、前記対象画像を前記参照画像に幾何変換するための前記対象画像のベクトル抽出領域毎のグローバルモーションベクトルを求め、前記ベクトル抽出領域毎のグローバルモーションベクトルに基づいて破綻防止画像を取得する破綻防止画像取得部と、前記補間画像を分割した各第２補間領域に対応する前記動き補償画像内の領域の画像と、前記各第２補間領域に対応する前記破綻防止画像内の領域の画像との、前記重みに基づく前記第１加重平均を求めることにより前記各補間領域の画像を求める画像補間部、を有するフレーム補間装置である。
【発明の効果】
【０００８】
本発明によれば、動画像のフレーム間に補間フレームを内挿し、動画が滑らかになる。
【発明を実施するための最良の形態】
【０００９】
以下、図面に基づいて本発明の実施形態のフレーム補間装置１０を説明する。
【００１０】
（実施形態１）
本発明の実施形態１のフレーム補間装置１０について、図１から図７に基づいて説明する。
【００１１】
本実施形態のフレーム補間装置１０は、動画像が入力されたときに、対象となるフレームとフレームの間に補間フレームを内挿し単位時間当たりのフレーム数を増加させて動画を滑らかにするものである。このとき、動画の解像度、大きさ、フレームレート、補間フレーム数にかかわらず本実施形態は適用可能である。
【００１２】
従来、フレーム間の動き推定によりフレーム間の動きベクトル（フロー）を求め、それに基づき動き補償を行い補間フレームを生成する方法が一般的であるが、フローの推定が誤った場合に画質劣化が発生するという問題があった。特許文献１では、フレーム全体のフローの分散などを見ることによりフレーム全体のフローの信頼度を推定し、それにより信頼度が低い場合には補間をしないという方法が開示されている。これにより信頼度が低い場合に画質劣化を抑えることができる。
【００１３】
しかし、特許文献１の技術はフレーム全体を対象としており、フレーム内の局所的な劣化には対応が困難である。そこで本実施形態では、フレーム内の局所的な劣化にも対応できるフレーム補間装置１０を提供する。
【００１４】
（１）フレーム補間装置１０の概要
本実施形態のフレーム補間装置１０を、図１のブロック図に従い説明する。
【００１５】
フレーム補間装置１０は、対象画像Ｉｓｒｃ、参照画像Ｉｄｓｔが入力されたときに、その間にピクセルレベルで補間フレームを生成する。
【００１６】
フレーム補間装置１０は、動き推定部１２、歪みエネルギー計算部１４、破綻防止画像生成部１６、アルファマップ生成部１８、動き補償ワーピング部２０、アルファブレンディング部２２から構成される。
【００１７】
各部１２〜２２の機能は、コンピュータに格納されたプログラムによっても実現できる。
【００１８】
フレーム補間装置１０は、図２に示すように、入力された画像と推定されたフローに基づき、フローの信頼度を局所的に計算する。この信頼度をフローに従い補間フレームの時間位置にワーピングし０−１のアルファ値に変換しアルファマップを生成する。このアルファ値により動き補償画像と破綻防止画像をアルファブレンドすることにより局所的な画質劣化にも対応できる。
【００１９】
（２）動き推定部１２
動き推定部１２におけるフロー推定方法は、一般に、ブロックマッチング法、オプティカルフロー法、Ｐｅｌ−ｒｅｃｕｒｓｉｖｅ法、ベイジアン法などがあるが、ここではブロックマッチング法によって求める方法を示す。しかしそれに限ったものではなく、オプティカルフロー法、Ｐｅｌ−ｒｅｃｕｒｓｉｖｅ法、ベイジアン法などを用いても良い。
【００２０】
まず、対象画像を以下のような予め設定された矩形領域のブロックに分割する。
【００２１】
Ｂ（ｉ）＝｛ｉ＋（ｘ，ｙ）Ｔ｜０＝＜ｘ＜Ｍ１，０＝＜ｙ＜Ｍ２｝
ここで点ｉ∈Ｘはブロックの左上の点、Ｍ１、Ｍ２はブロックのｘサイズ、ｙサイズである。なお、Ｘ⊂Λ２はフレームである。
【００２２】
動き探索の領域をＷ⊂Ｘとすると、差分二乗和基準（ＳＳＤ：Sum of Squared Difference）に従ったブロックマッチングアルゴリズムは以下のようになる。
【数１】
2008244846.tif 000003
【００２３】
ブロックマッチングではブロック内は同一のフローを持つと仮定される。つまり各画素のフローは
【数２】
2008244846.tif 000004
【００２４】
と表せる。
【００２５】
（３）歪みエネルギー計算部１４
次に、歪みエネルギー計算部１４について、図３のフローチャートに基づいて説明する。歪みエネルギー計算部１４は、ピクセル単位で歪みエネルギーを計算する。
【００２６】
（３−１）第１の歪みエネルギー
動きに沿ってフレーム間で輝度が一定であると仮定すると、
Ｉｄｓｔ（ｘ＋ｕ（ｘ））＝Ｉｓｒｃ（ｘ）
が成り立つ。つまり残差
ｄｐｔ（ｘ）＝Ｉｄｓｔ（ｘ＋ｕ（ｘ））−Ｉｓｒｃ（ｘ）
が小さいほどフローの信頼度が高いと考えることができる。よって残差の歪みエネルギー
Ｄ（ｘ）＝ｄｐｔ（ｘ）２
により信頼度を定義することができる。
【００２７】
但し、一点（すなわち、１ピクセル）のみではノイズの影響を直接うけてしまい信頼度の信頼性が高くない。そこで周辺の残差を畳み込んだ
【数３】
2008244846.tif 000005
【００２８】
を第１の歪みエネルギーとし、これが小さいものほど信頼度が高いとする。ここでＮ（ｘ）⊂Ｘは点ｘの近傍点の集合である。すなわち、自点を含めた近傍９点や２５点などである。
【００２９】
（３−２）第２の歪みエネルギー
また、この第１の歪みエネルギー（残差エネルギー）が仮に小さくても、周辺フローが空間的にバラバラだと補間フレームは局所的に劣化している可能性が高い。そこで周辺フローの平滑化エネルギーを考える。
【００３０】
Ｖ（ｘ，ｓ）＝||ｕ（ｘ＋ｓ）−ｕ（ｘ）||２
このエネルギーは互いのフローが近いベクトルを持つほど低いエネルギーとなる。つまり平滑化エネルギーが低いほど空間的には滑らかであり、そのフローは信頼できる。
【００３１】
（３−３）拡張された歪みエネルギー
先ほどの第１の歪みエネルギー（残差エネルギー）を第２の歪みエネルギー（平滑化エネルギー）を考慮して以下のように拡張する。
【数４】
2008244846.tif 000006
【００３２】
ここでλ＞＝０は残差か平滑化かどちらを重視するかのハイパーパラメータである。このエネルギーにより残差が小さく空間的に滑らかなフローが信頼性が高いと判定されるようになる。
【００３３】
なお、これらはｌ２ノルムで定義されたが、ｌ１ノルムつまり絶対値でも構わない。
【００３４】
Ｄ（ｘ）＝｜ｄｐｔ（ｘ）｜
Ｖ（ｘ，ｓ）＝｜ｕ（ｘ＋ｓ）−ｕ（ｘ）｜＋｜ｖ（ｘ＋ｓ）−ｖ（ｘ）｜
ここでｕ，ｖはベクトルｕのｘ座標、ｙ座標である。すなわち、
（ｕ（ｘ）＝（ｕ（ｘ），ｖ（ｘ）Ｔ）
【００３５】
である。
【００３６】
（３−４）重み付けする場合
また、上記畳み込みは、周辺が動きに属する点で構成されている場合には問題ないが、そうではなく動きの境界を含む場合には歪みを発生させる。そこで以下のように画像の類似度により重み付けをしても良い。
【数５】
2008244846.tif 000007
【００３７】
第２式、右辺第１項が空間カーネルで空間にガウシアンの重み付けをしている。すなわち、中心ほど重みが大きい。右辺第２項が画素の類似度カーネルで、画素が近い点ほど大きな重みが設定されるようになっている。これにより、画素的に類似な領域だけ畳み込まれるため、動きの境界と画像の境界が重なっている限り、異なる動き領域を畳み込んでしまうことを防ぐことができる。
【００３８】
（４）破綻防止画像生成部１６
次に、破綻防止画像生成部１６について図４のフローチャートに基づいて説明する。
【００３９】
破綻防止画像生成部１６は、信頼できないフロー領域の代わりに内挿するフレーム情報として破綻防止画像を用いる。
【００４０】
この破綻防止画像となるフレーム情報としては、隣接フレームの時間加重平均画像を用いることができる。補間フレームの内挿時間位置を０＝＜ｔ＝＜１とすると
Ｉｔ（ｘ）＝（１−ｔ）Ｉｓｒｃ（ｘ）＋ｔＩｄｓｔ（ｘ）
と計算できる。
【００４１】
この時間加重平均画像が視覚的にエントロピーが少なく画質的に良好だと考えられるが、対象画像Ｉｓｒｃのみや参照画像Ｉｄｓｔのみでももちろん構わない。
【００４２】
また、加重平均ではなく単なる平均
Ｉｔ（ｘ）＝０．５Ｉｓｒｃ（ｘ）＋０．５Ｉｄｓｔ（ｘ）
でも構わない。
【００４３】
（５）アルファマップ生成部１８
次に、アルファマップ生成部１８について図５のフローチャートに基づいて説明する。
【００４４】
（５−１）アルファ値の計算
アルファマップ生成部１８は、アルファマップ、すなわち、信頼度マップを生成する。このアルファマップはアルファブレンドをする際の基準となる各点の係数のマップであり、この係数であるアルファ値（信頼度）は０−１の範囲の値を取るものとし、対象画像と同じサイズを持つ。
【００４５】
前記歪みエネルギーＵ（ｘ）は０以上の実数として定義されており、歪みエネルギーが小さいほどそのフローの信頼度が高い。信頼度が高い領域はフローによる動き補償画像を優先してアルファブレンディングしたいので、つまり歪みエネルギーが小さいものはアルファ値を１に近くし、逆であれば０に近くしたい。
【００４６】
そこで以下のような正規分布関数により、前記歪みエネルギーＵ（ｘ）を０−１の範囲のアルファ値へ変換を行うことができる。
【数６】
2008244846.tif 000008
【００４７】
他にもロジスティック写像
【数７】
2008244846.tif 000009
【００４８】
を用いることもできる。ここでａ＞０、ｂ＞０は変換の形状を決めるパラメータである。
【００４９】
（５−２）位置のシフト
歪みエネルギーは対象画像と同じ時間位置で計算されているため、アルファマップとするには位置をシフトする必要がある。位置はフローによってシフトする。補間フレームの内挿時間位置を０＝＜ｔ＝＜１とすると補間位置は
【数８】
2008244846.tif 000010
【００５０】
シフトによってアルファ値が重なってしまう部分も出てくる。この場合はアルファ値の高い方を優先する。これはアルファ値が高い方がフローの信頼度が高いからである。
【００５１】
また、整数化オペレータによって切り捨てが起こっているので、それを保証するためにｘ軸とｙ軸に局所的な繰り返しを行っても良い。
【００５２】
（６）動き補償ワーピング部２０
次に、動き補償ワーピング部２０について図６のフローチャートに基づいて説明する。
【００５３】
動き補償ワーピング部２０は、フローによって対象画像、参照画像をワーピングして動き補償する。
【００５４】
フローによってシフトする方法はアルファマップ生成部１８と同様である。点ｘに対する対象画像、参照画像の画素値は
Ｉ１＝Ｉｓｒｃ（ｘ）
Ｉ２＝Ｉｄｓｔ（ｘ＋ｕ（ｘ））
となる。補間フレームの内挿時間位置を０＝＜ｔ＝＜１とすると時間の加重平均により補間画素値は
Ｉｍｃ＝（１−ｔ）Ｉ１＋ｔＩ２
と計算できる。これが動き補償画像Ｉｍｃとなる。
【００５５】
アルファマップ生成部１８と同様に、シフトした結果によって画素が重なってしまう領域もありうる。この場合は先ほどと同様にアルファ値を比較すると良い。
【００５６】
また、穴が空いてしまう部分も発生する可能性があるが、小さな穴に関してはフィルタリング処理で埋めてしまうことができる。また大きな穴に関しては前記破綻防止画像で埋めることができる。
【００５７】
（７）アルファブレンディング部２２
次に、アルファブレンディング部２２について図７のフローチャートに基づいて説明する。
【００５８】
アルファブレンディング部２２では、動き補償画像、破綻防止画像をアルファマップに従って合成する。
【００５９】
合成は一般的なアルファブレンディングの手順に従う。
【００６０】
Ｉ＝α（ｘ）Ｉｍｃ（ｘ）＋（１−α（ｘ））Ｉｔ（ｘ）
により最終的な補間画素値を決定することにより、対象画像と参照画像との間に補間されるフレーム補間画像が生成される。
【００６１】
（８）効果
本実施形態のフレーム補間装置１０は、動画像が入力されたときに、対象となるフレームとフレームの間に補間フレームを内挿し単位時間当たりのフレーム数を増加させて動画を滑らかにする。特に、フレーム内の局所的な劣化にも対応することができる。
【００６２】
（実施形態２）
次に、実施形態２のフレーム補間装置１０について図８及び図９に基づいて説明する。
【００６３】
実施形態１のフレーム補間装置１０では、ピクセル単位で歪みエネルギーを計算する構成であったが、そのままでは計算量が大きすぎる場合もありうる。そこで本実施形態のフレーム補間装置１０ではブロック単位で簡易的に歪みエネルギーを計算する。
【００６４】
本実施形態のフレーム補間装置１０は、歪みエネルギー計算部１４以外は実施形態１と同様であるので、説明は省略する。
【００６５】
歪みエネルギー計算部１４は、ブロック単位で歪みエネルギーを計算する。対象画像を以下のような予め設定された矩形領域のブロックに分割する。
【００６６】
Ｂ（ｉ）＝｛ｉ＋（ｘ，ｙ）Ｔ｜０＝＜ｘ＜Ｍ１，０＝＜ｙ＜Ｍ２｝
ここで点ｉ∈Ｘはブロックの左上の点、Ｍ１、Ｍ２はブロックのｘサイズ、ｙサイズである（Ｘ⊂Λ２はフレーム）。残差エネルギーは以下のようなブロック単位のＳＡＤ（Sum of Absolute Difference）で行う。
【数９】
2008244846.tif 000011
【００６７】
ここでは絶対値差分和を用いたが、二乗和でも良い。
【００６８】
平滑化エネルギーは周辺のブロックのフローとの差分で計算する。
【数１０】
2008244846.tif 000012
【００６９】
ここでも絶対値の和でも良い。周辺のブロック分の総和により平滑化エネルギーとする。
【００７０】
これらにより
【数１１】
2008244846.tif 000013
【００７１】
という線形結合を歪みエネルギーと定義できる。これはブロック単位で計算される。ここでＮは周辺を表す。例えば、周辺４ブロックなどである。
【００７２】
（実施形態３）
次に、実施形態３のフレーム補間装置１０について図１０に基づいて説明する。
【００７３】
本実施形態では、図１０のブロック図に示すように、画像信号が符号化されて伝送され、それを復号器２４によりデコードして補間フレームを内挿する。なお、このときには、動き推定部１２でフローを求めず、復号器２４からのフローを直接利用する。
【００７４】
（実施形態４）
次に、実施形態４のフレーム補間装置１０について図１１から図１５に基づいて説明する。
【００７５】
実施形態１ではアルファブレンディングによって誤りフローによる補間フレームの破綻を防止する。しかし、図１１に示すように、フローの推定結果が低精度で、誤りフローを多数含んでいる場合に問題が発生する。このフローに対するアルファマップを図１２に示す。誤りフローの周辺でアルファ値が低くなっていることが確認できる。
【００７６】
しかし、実施形態１では、破綻防止画像として時間加重平均画像を用いるため、このように画面内（特に同じ動き領域内）にアルファ値の高い領域と低い領域が混在してしまうと、動き補償画像と時間加重平均画像が混在することになり、その混在領域がフリッカーとして視認されてしまう。
【００７７】
しかしながらアルファ値の低い領域のフローは低信頼であるから、動き補償画像をそのまま使うことはできない。一方、時間加重平均画像を挿入してもフリッカーとして視認されてしまう。ここでの問題は動き補償画像と時間加重平均画像間の、動きに対する「差」であると考えられる。つまり時間加重平均画像よりも動き補償画像に近い画像を破綻防止画像としてアルファブレンドする必要がある。
【００７８】
ここで問題なのは、同じような動きをしている中に、時間加重平均画像が突然入ってしまうことである。この「同じような動き」というのは画面内のグローバルモーション（Ｇｌｏｂａｌ  Ｍｏｔｉｏｎ）によって抽出できる。グローバルモーションとは画面内で支配的な動きのことである。つまりグローバルモーションから低信頼領域補償画像を生成し、これをアルファブレンディングの対象とすればよい。時間加重平均画像は静止のグローバルモーションと捉えることもできるので、アルファブレンディングからの拡張とも考えられる。
【００７９】
（１）フレーム補間装置１０の概要
本実施形態のフレーム補間装置１０を、図１３のブロック図に従い説明する。
【００８０】
フレーム補間装置１０は、動き推定部１２、歪みエネルギー計算部１４、破綻防止画像生成部１６、アルファマップ生成部１８、動き補償ワーピング部２０、アルファブレンディング部２２、グローバルモーション抽出部２６、第２歪みエネルギー計算部２８、第２アルファマップ生成部３０、第２動き補償ワーピング部３２から構成される。
【００８１】
本実施形態は、基本的にはアルファブレンディングの拡張であるため実施形態１と同様であり、ここでは実施形態１とは異なる部分の説明する。
【００８２】
なお、本実施形態では、以下の記述を用いることとする。
【数１２】
2008244846.tif 000014
【００８３】
（２）グローバルモーション抽出部２６
まず、グローバルモーション抽出部２６について図１４のフローチャートと図１５に基づいて説明する。
【００８４】
グローバルモーションは２次元平面から２次元平面への幾何変換によってモデル化できる。幾何変換の代表はアフィン変換である。これは並進、回転、拡大、せん断変形（正方形を菱形に変形する）を表すことのできる幾何変換である。最もよく使われる幾何変換であるが、自由度が６であるため多少複雑である。そこでここでは並進のみを考慮した幾何変換を考える。２次元フローを一つで表現でき自由度は２である。
【数１３】
2008244846.tif 000015
【００８５】
ある領域内の代表フローを決定することで得られる。代表フローは平均値やメディアン値によって算出する。
【００８６】
与えられたフローフィールドから任意の数（Ｋ個）のグローバルモーションｕｋ−（但し、ｋ＝１，．．．，Ｋである）を抽出する問題は、シンプルにはｋ−ｍｅａｎｓ法によって解くことができる。ｋ−ｍｅａｎｓ法はフィールドをＫ個にクラスタリングするアルゴリズムである。
【数１４】
2008244846.tif 000016
【００８７】
このとき各クラスタの平均値は、
【数１５】
2008244846.tif 000017
【００８８】
と計算できる。ここでＮｕｍ（）は要素数を数えるオペレータである。右肩の添え字ｔはイテレーションを表す。
【００８９】
次に平均からの距離が最小となるクラスタを決定し、ラベル更新する。
【数１６】
2008244846.tif 000018
【００９０】
ｋ−ｍｅａｎｓ法では数１４の数式、数式１５の数式を任意の回数繰り返す。なお、数回で収束するが、１回で収束する場合もある。
【００９１】
初期ラベルの与え方は色々考えられる。例えばランダムにｋ＝１，・・・，Ｋを割り当てるというのも一つの方法である。ここでは図１５に示すように、対象画像のクラスタリング（これもｋ−ｍｅａｎｓ法による）の結果を初期ラベルにする方法を行う。まず、対象画像のブロック内平均を取る。
【数１７】
2008244846.tif 000019
【数１８】
2008244846.tif 000020
【００９２】
によりラベリングを行いラベルを更新する。次に
【数１９】
2008244846.tif 000021
【００９３】
により各クラスタの平均値を算出する。
【００９４】
これら数１７の数式、数式１８の数式を数回繰り返す。そして対象画像クラスタリングの結果をフロークラスタリングの初期値に設定する。
【数２０】
2008244846.tif 000022
【００９５】
ここでＴはｋ−ｍｅａｎｓ法のイテレーション回数である。
【００９６】
ラベルｚ（ｉ）を計算した後、平均値もしくはベクトルメディアン値によってグローバルモーションを決定する。
【数２１】
2008244846.tif 000023
【数２２】
2008244846.tif 000024
【００９７】
（３）第２アルファマップ生成部３０
第２アルファマップ生成部３０は、グローバルモーションｕｋ−（但し、ｋ＝１，．．．，Ｋである）に応じたアルファマップを生成する。フレーム内の全点がグローバルモーションｕｋ−で構成されているとして（フレーム全体が一様なフローを持つとする）、実施形態１と同じようにアルファマップ生成を行う。その結果をα（ｘ）（但し、ｋ＝１，．．．，Ｋである）とする。
【００９８】
また、実施形態１で説明した時間加重平均画像に対するアルファマップも生成する。これは、グローバルモーションｕｋ−＝（０，０）Ｔとしたとき（すなわち、静止したとき）のアルファマップを生成し、αｔ（ｘ）とする。
【００９９】
（４）第２動き補償ワーピング部３２
第２動き補償ワーピング部３２は、グローバルモーションｕｋ−（但し、ｋ＝１，．．．，Ｋである）に応じた動き補償ワーピング画像を生成する。フレーム内の全点がグローバルモーションｕｋ−で構成されているとして（フレーム全体が一様なフローを持つとする）、実施形態１の動き補償ワーピングを行う。
【０１００】
その結果をＩｋ（ｘ）（但し、ｋ＝１，．．．，Ｋである）とする。
【０１０１】
（４）アルファブレンディング部２２
アルファブレンディング部２２は、動き補償ワーピング画像Ｉｍ（ｘ）、グローバルモーションワーピング画像Ｉｋ（ｘ）（但し、ｋ＝１，．．．，Ｋである）、時間加重平均画像Ｉｔ（ｘ）をアルファブレンディングする。
【０１０２】
アルファブレンディングとして成り立つためには重み係数の総和が１になるように設計しなければならない。そのようなモデルとして
【数２３】
2008244846.tif 000025
【０１０３】
を考えることができる。
【０１０４】
もし、Ｋ＝０とすれば実施形態１のアルファブレンディングと等価となっている。このことから、本実施形態は、実施形態１のアルファブレンディングの拡張と見ることができる。右辺第２項はグローバルモーションワーピング画像のそれぞれのアルファ値による加重平均となっており、アルファ値の高いグローバルモーションワーピング画像が優先される設計となっている。
【０１０５】
（変更例）
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。
【０１０６】
（１）変更例１
上記実施形態では、動き補償画像及び時間加重平均画像は、それぞれ補間画像の時間位置で加重平均を行った。
【０１０７】
しかし、上記各実施形態のフレーム補間装置を実装するときに、フレームの間の時間方向で量子化するとこの補間画像の時間位置に量子化できない場合がある。そのときは、前記補間画像の時間位置に最も近い時間において加重平均を行う。
【０１０８】
（２）変更例２
上記実施形態では、アルファマップ計算部１８では、アルファマップを生成してから、補間フレームの時間位置に移動させたが、これに代えて、補間フレームの時間位置に各領域の歪みエネルギーを移動させてから、アルファマップを生成してもよい。
【図面の簡単な説明】
【０１０９】
【図１】本発明の実施形態１のフレーム補間装置１０のブロック図である。
【図２】実施形態１の概念フローチャートである。
【図３】実施形態１の歪みエネルギー計算フローチャートである。
【図４】実施形態１の破綻防止画像生成フローチャートである。
【図５】実施形態１のアルファマップ生成フローチャートである。
【図６】実施形態１の動き補償ワーピングフローチャートである。
【図７】実施形態１のアルファブレンディングフローチャートである。
【図８】実施形態２のフレーム補間画像のブロック図である。
【図９】実施形態２の歪みエネルギー計算フローチャートである。
【図１０】実施形態３のフレーム補間画像のブロック図である。
【図１１】低い精度のフローの説明図である。
【図１２】低い精度のフローから生成したアルファマップである。
【図１３】実施形態４のフレーム補間装置のブロック図である。
【図１４】ｋ−ｍｅａｎｓクラスタリングのフローチャートである。
【図１５】グローバルモーション抽出の説明図である。
【符号の説明】
【０１１０】
１０    フレーム補間装置１０
１２    動き推定部
１４    歪みエネルギー計算部
１６    破綻防止画像生成部
１８    アルファマップ生成部
２０    動き補償ワーピング部
２２    アルファブレンディング部
【図１】
2008244846.tif 000026
【図２】
2008244846.tif 000027
【図３】
2008244846.tif 000028
【図４】
2008244846.tif 000029
【図５】
2008244846.tif 000030
【図６】
2008244846.tif 000031
【図７】
2008244846.tif 000032
【図８】
2008244846.tif 000033
【図９】
2008244846.tif 000034
【図１０】
2008244846.tif 000035
【図１１】
2008244846.tif 000036
【図１２】
2008244846.tif 000037
【図１３】
2008244846.tif 000038
【図１４】
2008244846.tif 000039
【図１５】
2008244846.tif 000040