(57)【要約】【課題】高品質の補間フレームを生成することを可能にする。【解決手段】第１フレームと第１フレームより後の時刻の第２フレームとを用いて第１の動きベクトルを推定する動きベクトル推定ステップと、第１動きベクトルを用いて第１フレーム及び第２フレームのうちの少なくとも一方から補助フレームを作成する補助フレーム作成ステップと、補助フレームを複数の小ブロックに分割する分割ステップと、補助フレームを構成する小ブロックに対して、第１および第２フレームに基づいて１個以上の動きベクトル候補を推定する動きベクトル候補推定ステップと、動きベクトル候補によって定まる第１及び第２フレームの画像ブロックと、補助フレームの画像ブロックとを検定することによって、小ブロックにそれぞれに対して、動きベクトル候補の中から最も相関の高いものを第２の動きベクトルとして選択する動きベクトル候補検定ステップと、第２の動きベクトルを用いて、第１フレームおよび第２フレームのうちの少なくとも一方から補間フレームを作成する第１の動き補償ステップとを備える。【選択図】  図２
2004159294.tif 000002
【特許請求の範囲】
【請求項１】
第１フレームと前記第１フレームより後の時刻の第２フレームとを用いて第１の動きベクトルを推定する動きベクトル推定ステップと、
前記第１の動きベクトルを用いて、前記第１フレームおよび前記第２フレームのうちの少なくとも一方から補助フレームを作成する補助フレーム作成ステップと、
前記補助フレームを複数の小ブロックに分割する分割ステップと、
前記補助フレームを構成する各小ブロックに対して、前記第１および第２フレームに基づいて１個以上の動きベクトル候補を推定する動きベクトル候補推定ステップと、
前記動きベクトル候補によって定まる前記第１および第２フレームの画像ブロックと、前記補助フレームの画像ブロックとを検定することによって、前記小ブロックのそれぞれに対して、前記動きベクトル候補の中から最も相関の高いものを第２の動きベクトルとして選択する動きベクトル候補検定ステップと、
前記第２の動きベクトルを用いて、前記第１フレームおよび第２フレームのうちの少なくとも一方から補間フレームを作成する第１の動き補償ステップと、
を備えるフレーム補間方法。
【請求項２】
前記補助フレーム作成ステップは、
前記補間フレームの時刻に基づいて前記第１の動きベクトルをスケール変換するベクトルスケール変換ステップと、
前記スケール変換された第１の動きベクトルを用いて動き補償を行うことにより補助フレームを作成する第２の動き補償ステップと、
を備える請求項１記載のフレーム補間方法。
【請求項３】
前記動きベクトル推定ステップは、前方動き推定法、後方動き推定法、及び、双方向動き推定法のうちのいずれかを用いる、請求項１または２記載のフレーム補間方法。
【請求項４】
前記補助フレームのすべての画素位置に対して、画素値が入っているかどうかを検出する使用画素領域検出ステップを更に備え、
前記動きベクトル候補検定ステップは、画素値が入っている画素のみについて相関演算をする、
請求項１乃至３のいずれかに記載のフレーム補間方法。
【請求項５】
前記動きベクトル候補推定ステップは、
求めるべき補間フレームを一様格子の小ブロックに分割するステップと、
前記補間フレームの小ブロックを中心として幾何的対称位置にある、前記第１フレームおよび第２フレームの小ブロック同士の相関を計算するステップと、
相関の高い小ブロックの組から順に前記小ブロックの組を結ぶベクトルを動きベクトル候補として選択するステップと、
を備える請求項１乃至４のいずれかに記載のフレーム補間方法。
【請求項６】
前記動きベクトル検定ステップは、
前記動きベクトル候補のそれぞれに対してそれぞれの動きベクトル候補によって定まる第１フレーム上の第１小ブロックおよび第２フレーム上の第２小ブロックを求めるステップと、
前記第１および第２小ブロックの位置に対応する補助フレーム上の第３小ブロックを求めるステップと、
前記第１小ブロックと前記第３小ブロックの相関である第１相関を求めるステップと、
前記第２小ブロックと前記第３小ブロックの相関である第２相関を求めるステップと、
前記動きベクトル候補の中から前記第１相関と前記第２相関との和が最大となる動きベクトルを見いだして前記動きベクトルとするステップと、
を備える請求項１乃至５のいずれかに記載のフレーム補間方法。
【請求項７】
第１フレームと前記第１フレームより後の時刻の第２フレームとを用いて補助フレームを作成する補助フレーム作成ステップと、
求めるべき補間フレームを複数の小ブロックに分割する分割ステップと、
前記補間フレームの各小ブロックに対して、動きベクトル候補の再帰的な探索を行い、１個以上の動きベクトル候補グループを推定する動きベクトル候補グループ推定ステップと、
前記動きベクトル候補グループを、前記補助フレームを用いて検定し、第１動きベクトルグループおよび第１不一致フィルタグループを求める動きベクトル候補グループ検定ステップと、
前記第１動きベクトルグループ、前記第１不一致フィルタグループ、前記第１フレーム、および前記第２フレームを用いた動き補償によって、補間フレームを作成するステップと、
を備えるフレーム補間方法。
【請求項８】
前記補助フレーム作成ステップは、
前記第１フレームを複数の第１小ブロックに分割する分割ステップと、
前記第１フレームの各第１小ブロックに対して再帰的な動き推定を行って、第２動きベクトルグループおよび第２不一致フィルタグループを求める動き推定ステップと、
前記補間フレームの時刻に応じて、前記第２動きベクトルグループをスケール変換し、第３動きベクトルグループを得るスケール変換ステップと、
前記第３動きベクトルグループ、前記第２不一致フィルタグループ、前記第１フレーム、および前記第２フレームを用いた動き補償によって、補助フレームを得る、動き補償ステップと、
を備える請求項７記載のフレーム補間方法。
【請求項９】
前記動き推定ステップは、前方動き推定法、後方動き推定法及び双方向動き推定法のうちのいずれかを用いることを特徴とする請求項８記載のフレーム補間方法。
【請求項１０】
前記動きベクトル候補グループ推定ステップは、
前記補間フレームの各小ブロックを中心として幾何的対称位置にある、前記第１および第２フレーム上の小ブロック同士の相関を計算するステップと、
相関の高い小ブロックの組から順に前記小ブロックの組を結ぶベクトルを動きベクトル候補として選択するステップを備えたことを特徴とする請求項７乃至９のいずれかに記載のフレーム補間方法。
【請求項１１】
動き補償予測符号化された信号を復号処理し、画像信号系列と動きベクトル情報とに分離する復号ステップと、
前記画像信号系列から第１および第２フレームと、対応する動きベクトルとを取り出し、その動きベクトルを用いて前記第１および第２フレームから補助フレームを作成する補助フレーム作成ステップと、
求めるべき補間フレーム上のブロックに対して、前記第１および第２フレームから１個以上の動きベクトル候補を推定する動きベクトル候補推定ステップと、前記動きベクトル候補によって定まる第１および第２フレームの画像ブロックと、前記補助フレームの画像ブロックとを検定することによって、前記動きベクトル候補の中から最も相関の高いものを動きベクトルとして選択する動きベクトル候補検定ステップと、
前記動きベクトルによって定まる前記第１および第２フレームの画像ブロックから補間フレームを作成する動き補償ステップと
を備えたことを特徴とするフレーム補間方法。
【請求項１２】
前記補助フレーム作成ステップは、
復号された第１および第２フレームに対応する予測残差を求め、この予測残差の量がある閾値よりも大きい場合には、第１および第２フレームから動きベクトルを求め直すことを特徴とする請求項１１記載のフレーム補間方法。
【請求項１３】
入力された画像信号をプログレッシブ画像に変換するインタレース・プログレッシブ変換器と、
請求項１乃至１２のいずれかに記載のフレーム補間方法を用いて前記プログレッシブ画像から生成した補間フレームを、前記プログレッシブ画像に内挿するフレーム補間器と、
を備えるテレビジョン装置。
【請求項１４】
記憶媒体から動画像の符号化データを読み出す読み出し部と、
前記符号化データを復号化するするデコーダと、
請求項１乃至１２のいずれかに記載のフレーム補間方法を用いて前記動画像から生成した補間フレームを、前記動画像に内挿するフレーム補間器と、
フレーム補間された前記動画像を出力する出力部と、
を備える動画像復号化装置。
【請求項１５】
Ｘ線検出器によって撮影された動画像信号を受け、
請求項１乃至１２のいずれかに記載のフレーム補間方法を用いて生成した前記動画像信号の補間フレームを、前記動画像信号に内挿するフレーム補間器と、
を備える特徴とする医用画像表示システム。
【請求項１６】
動画像を撮像する撮像器と、
前記動画像の符号化データを生成するエンコーダと、
前記符号化データを送信する送信器と、
前記送信器によって送信された前記符号化データを受信する受信器と、
前記受信器によって受信された前記符号化データを復号化するデコーダと、
請求項１乃至１２のいずれかに記載のフレーム補間方法を用いて、前記デコーダで得られる動画像から生成した補間フレームを、前記画像信号に内挿するフレーム補間器と、
を備えるテレビ会議システム。
【請求項１７】
動画像の符号化データを受信する受信器と、
前記符号化データを復号化するデコーダと、
請求項１乃至１２のいずれかに記載のフレーム補間方法を用いて、前記動画像から生成した補間フレームを、前記動画像に内挿するフレーム補間器と、
フレーム補間された動画像を表示する表示部と、
を備えるテレビジョン装置。
【請求項１８】
動画像を入力する入力部と、
請求項１乃至１２のいずれかに記載のフレーム補間方法を用いて、前記動画像から生成した補間フレームを、前記動画像に内挿するフレーム補間器と、
フレーム補間された動画像の符号化データを生成するエンコーダと、
前記符号化データを記憶媒体に書き込む記録部と、
を備える動画像録画装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像信号を再生するにあたって、再生動画像信号におけるフレーム間のフレームを効率的に補間して、時間あたりの表示フレーム数を増大させるフレーム補間方法およびこのフレーム補間方法を用いた装置に関するものである。
【０００２】
【従来の技術】
一般に、フレーム補間方法は、複数フレームからなる動画像信号に対して、フレーム間にフレームを効率的に補間して、時間あたりの表示フレーム数を増大させることを目的とした方法である。
【０００３】
最近では、動き推定の基本的技術であるブロックマッチング法を用いて動きベクトルを求め、この動きベクトルを元に補間すべきフレームを生成するという手法が一般的である。ブロックマッチング法とは、基準とするフレームを小ブロックに分割し、それら小ブロックに対して、参照フレームの画像領域からもっとも相関度の高いブロックを探索し動きベクトルを求める手法である。
【０００４】
このような技術としては例えば特許文献１に開示されている。この手法は、ブロックマッチング法をベースにしながら、ブロック内で領域を分割することによって、より精度の高いフレーム補間方法をおこなうというものである。
【０００５】
しかし従来の技術では、動き補償をおこなって補間フレームを生成する際に、動きベクトルの終点を固定し、終点が指す画像データを始点に対して動き補償を行うが、補間を行うために動きベクトルの操作が行われているため、始点の位置が本来の位置と異なる。このため、生成される補間フレームに隙間あるいは重なり部分ができてしまうという問題がある。
【０００６】
また、そのような重なりや隙間が生じない技術が特許文献２に開示されている。この技術は、補間フレームの対象ブロックを中心として、幾何対照的に前後の第１および第２フレームの相関を求めてフレーム補間をおこなう手法である。この方式は、前述した各種の方式のように動きベクトルを求めた後に操作する必要がないため、ダイレクトに補間フレームを求めることが出来る手法である。また補間フレーム上に一様格子を考えるため、従来のように、補間フレームに隙間あるいは重なり部分ができたりすることは無いという利点がある。
【０００７】
しかし、オブジェクト部分の相関がそれほど高くないために、静止しているはずの背景部分に誤った動きベクトルを割り当ててしまったりする問題がある。このため例えば、本来オブジェクトが来るはずの部分に背景が誤って混入してくるといった問題がある。
【０００８】
【特許文献１】
特開２０００−２２４５９３号公報
【特許文献２】
特許第２５２８１０３号公報
【０００９】
【発明が解決しようとする課題】
このように従来の技術においては、動き補償をおこなって補間フレームを生成する際に、ある方式では、生成される補間フレームに隙間あるいは重なり部分ができてしまうという問題がある。このような問題の起こらない方式においても、本来オブジェクトが来るはずの部分に背景が誤って混入してくるといった問題がある。このため、従来の技術では、満足のいく品質の補間フレームを得ることが難しかった。本発明は、上記事情を考慮してなされたものであって、高品質の補間フレームを生成することのできるフレーム補間方法およびこのフレーム補間方法を用いた装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明の第１の態様によるフレーム補間方法は、第１フレームと前記第１フレームより後の時刻の第２フレームとを用いて第１の動きベクトルを推定する動きベクトル推定ステップと、前記第１の動きベクトルを用いて、前記第１フレームおよび前記第２フレームのうちの少なくとも一方から補助フレームを作成する補助フレーム作成ステップと、前記補助フレームを複数の小ブロックに分割する分割ステップと、前記補助フレームを構成する各小ブロックに対して、前記第１および第２フレームに基づいて１個以上の動きベクトル候補を推定する動きベクトル候補推定ステップと、前記動きベクトル候補によって定まる前記第１および第２フレームの画像ブロックと、前記補助フレームの画像ブロックとを検定することによって、前記小ブロックのそれぞれに対して、前記動きベクトル候補の中から最も相関の高いものを第２の動きベクトルとして選択する動きベクトル候補検定ステップと、前記第２の動きベクトルを用いて、前記第１フレームおよび第２フレームのうちの少なくとも一方から補間フレームを作成する第１の動き補償ステップと、を備える。
【００１１】
本発明の第２の態様によるフレーム補間方法は、第１フレームと前記第１フレームより後の時刻の第２フレームとを用いて補助フレームを作成する補助フレーム作成ステップと、求めるべき補間フレームを複数の小ブロックに分割する分割ステップと、前記補間フレームの各小ブロックに対して、動きベクトル候補の再帰的な探索を行い、１個以上の動きベクトル候補グループを推定する動きベクトル候補グループ推定ステップと、前記動きベクトル候補グループを、前記補助フレームを用いて検定し、第１動きベクトルグループおよび第１不一致フィルタグループを求める動きベクトル候補グループ検定ステップと、前記第１動きベクトルグループ、前記第１不一致フィルタグループ、前記第１フレーム、および前記第２フレームを用いた動き補償によって、補間フレームを作成するステップと、
を備える。
【００１２】
本発明の第３の態様によるフレーム補間方法は、動き補償予測符号化された信号を復号処理し、画像信号系列と動きベクトル情報とに分離する復号ステップと、前記画像信号系列から第１および第２フレームと、対応する動きベクトルとを取り出し、その動きベクトルを用いて前記第１および第２フレームから補助フレームを作成する補助フレーム作成ステップと、求めるべき補間フレーム上のブロックに対して、前記第１および第２フレームから１個以上の動きベクトル候補を推定する動きベクトル候補推定ステップと、前記動きベクトル候補によって定まる第１および第２フレームの画像ブロックと、前記補助フレームの画像ブロックとを検定することによって、前記動きベクトル候補の中から最も相関の高いものを動きベクトルとして選択する動きベクトル候補検定ステップと、前記動きベクトルによって定まる前記第１および第２フレームの画像ブロックから補間フレームを作成する動き補償ステップとを備えたことを特徴とする。
【００１３】
【発明の実施の形態】
本発明の実施形態を、以下図面を参照して説明する。
【００１４】
（第１実施形態）
本発明の第１実施形態によるフレーム補間方法を、図１乃至図１１を参照して説明する。図１にこのフレーム補間方法を実施するフレーム補間装置の構成を示す。このフレーム補間装置は、フレームメモリ１２と、動きベクトル推定部１４と、ベクトルスケール変換部１６と、動き補償部１８と、使用画素領域検出部２０と、動きベクトル候補推定部２２と、動きベクトル候補検定部２４と、動き補償部２６とを備えている。
【００１５】
次に、本実施形態によるフレーム補間方法の構成および作用を、６０Ｈｚノンインタレースの画像信号を１２０Ｈｚノンインタレースの画像信号にアップコンバートする場合を例にして述べる。ただし、本発明は、これに限られるものではない。また、補間フレームに隣接する２つのフレームうち時間的に前のフレームを第１参照フレームｐ１とし、時間的に後のフレームを第２参照フレームｐ２とする。第１参照フレームｐ１は入力された画像信号から生成され、フレームメモリ１２、動きベクトル推定部１４、動き補償部１８、動きベクトル候補推定部２２、動きベクトル候補検定部２４、動き補償部２６に送られる。また、第２参照フレームは、入力された画像信号から図１に示すフレームメモリ１２において生成され格納されている。
【００１６】
本実施形態によるフレーム補間方法の全体の処理手順を図２に示す。
【００１７】
まず、図２のステップＳ１に示すように、第１および第２参照フレームから補助フレームｓｕｐ＿ｐを作成する。この補助フレームの作成は、図１に示す動きベクトル推定部１４、ベクトルスケール変換部１６、および動き補償部１８において、図３に示すフローチャートに従って行われる。
【００１８】
ａ）動き推定処理
図１に示す動きベクトル推定部１４によって、動き推定処理を行う。この動き推定処理は、まず、図７に示すように、第１参照フレームを一様格子の第１小ブロックに分割する（図３のステップＳ１０参照）。続いて、小ブロックの走査を開始し（図３のステップＳ１１参照）、動き推定を行い、第１小ブロックに対して最も相関の高い第２参照フレーム上の第２小ブロックを求め、第１動きベクトルｍｖ１を推定する処理を行う（図３のステップＳ１２参照）。この処理は、例えば、ブロックマッチングのアルゴリズムを使うことができ、相関度の尺度として絶対値差分和（以下、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）とも云う）を用いることができる。ここでは、時間的に前の第１参照フレームから時間的に後の第２参照フレームに対する動きベクトルを推定する前方動き推定について述べたが、本実施形態においてはそれに限ったことではなく、時間的に後の第２参照フレームから時間的に前の第１参照フレームに対する動きベクトルを推定する後方動き推定でも良いし、前方動き推定および後方動き推定における、より信頼度の高い方を選択する双方向動き推定を用いてもかまわない。また、ＳＡＤは値が小さいほど相関が高いことを意味する。
【００１９】
ｂ）ベクトルスケール変換処理
次に、図１に示すベクトルスケール変換部１６によって、ベクトルスケール変換処理を行う。このベクトルスケール変換処理は、補助フレームを６０Ｈｚ信号の中央に作るために、上記第１動きベクトルｍｖ１の長さを１／２とするスケール変換し、第２動きベクトルｍｖ２を求めるものである（図３のステップＳ１３参照）。
【００２０】
ｃ）第１動き補償処理
次に、図１に示す動き補償部１８によって、第１動き補償処理を行う。この第１動き補償処理は、図８に示すように、上記第２動きベクトルの終点によって定まる第２参照フレームの第２小ブロック画像と、第１小ブロックの画像の平均を取り、その平均画像ブロックを、上記第２動きベクトルの始点によって定まる補助フレーム上の小ブロックにコピーする（図３のステップＳ１４参照）。
【００２１】
上記処理ａ）から処理ｃ）までの処理を、処理ａ）で分割した第１小ブロック全体について行い（図３のステップＳ１５参照）、補助フレームを作成する（図７参照）。この作成した補助フレームと、求めるべき補間フレームとの関係を図１０に示す。
【００２２】
ｄ）使用画素領域検出処理
次に、図１に示す使用画素領域検出部２０によって使用画素領域の検出処理を行う。この使用画素領域の検出は、使用画素フィルタを求めることにより行われる（図２のステップＳ２参照）。この使用画素フィルタは、図４に示す手順によって求められる。すなわち、上記補助フレームにおいて、全く画素値が代入されていない画素を検出し（図４のステップＳ２０、ステップＳ２１参照）、画素値が代入されていない画素位置に０（図４のステップＳ２３参照）、それ以外の画素位置を１とする（図４のステップＳ２２参照）。上記手順を全画素に対して行うことにより使用画素フィルタが求められる（図４のステップＳ２４参照）。
【００２３】
ｅ）動きベクトル候補推定処理
次に、図１に示す動きベクトル候補推定部２２によって動きベクトル候補の推定処理を行う。この動きベクトル候補の推定処理は、図９に示すように、求めるべき補間フレームを一様格子の小ブロックに分割し（図２のステップＳ３参照）、第１参照フレームと第２参照フレームから、当該小ブロックを中心として幾何対称位置に当たる両参照フレーム上の小ブロックの相関を計算し、相関の良いものから順に複数のベクトルを動きベクトル候補として選定する（図２のステップＳ４参照）。
【００２４】
ｆ）動きベクトル候補検定処理
次に、図１に示す動きベクトル候補検定部２４によって、動きベクトル候補の検定処理を行う。この動きベクトル候補の検定処理は、図２のステップＳ５に示すように、上記動きベクトル候補の中から第３動きベクトルｍｖ３を決定することによって行われる。この決定に際して、上記補助フレームを参照情報として使用する（図２のステップＳ５参照）。
【００２５】
上記第３動きベクトルの決定は、図５に示す手順によって行われる。まず、相関値の最大値αｍａｘを探すために、αｍａｘに０を与える（図５のステップＳ３０参照）。上記選定された動きベクトル候補の一つによって定まる、第１参照フレーム上の第１小ブロックおよび第２参照フレーム上の第２小ブロックを求め（図５のステップＳ３１、Ｓ３２参照）、これらの小ブロックの位置に対応する補助フレーム上の第３小ブロックを求める（図５のステップＳ３３参照）。
【００２６】
続いて、上記使用画素フィルタから、対象ブロック位置に相当する使用画素フィルタブロックを求める（図５のステップＳ３４参照）。この使用画素フィルタブロックを用い、第１小ブロックと第３小ブロックの相関である第１相関と、第２小ブロックと第３小ブロックの相関である第２相関とをそれぞれ求める（図５のステップＳ３５、Ｓ３６参照）。ここで、上記第１相関を求める演算と、第２相関を求める演算においては、補助フレームにおける画素値が代入されていない画素によって、その部分の相関が著しく低下してしまうという問題が発生する。そこで、上記使用画素領域検出処理で求めた使用画素フィルタを用いる。上記相関を求める具体的な手順は図６に示すフローチャートに従って行われる。すなわち、図６のステップＳ４０において、第１小ブロック４０ａ、第３小ブロック４０ｂ、および使用画素フィルタブロック４０ｃを入力する。続いて、ブロック内の画素の走査を開始し（図６のステップＳ４１参照）、対象画素位置の使用画素フィルタブロックの値が１か否かの判定をステップＳ４２において行う。使用画素フィルタブロックの値が１の場合はステップＳ４３に進み、小ブロック４０ａと小ブロック４０ｂの対象画素を用いて相関度演算を行い、その後ステップＳ４４に進む。使用画素フィルタブロックの値が０の場合にはステップＳ４４に進む。ステップＳ４４において、ブロック内の全画素を走査したか否かの判定を行い、全画素を走査していない場合には、ステップＳ４２に戻り、上述の処理手順を繰り返す。全画素を走査した場合には処理を終了し、相関度を出力する。したがって、上記相関を求める演算の際には、当該画素位置における使用画素フィルタの値が０の場合は、相関演算においてその画素は使用せず、使用画素フィルタの値が１の画素のみについて相関演算をするようにする。
【００２７】
次に、図５に再び戻り、ステップＳ３７において、上記第１相関と第２相関との和を求め、この和が上記αｍａｘより大きいか否かの判定を行う。大きい場合はステップＳ３８に進み、上記和をαｍａｘとするとともに、このときの動きベクトルを第３動きベクトルとし、その後、ステップＳ３９に進む。上記和が上記αｍａｘよりも大きくない場合にはステップＳ３９に進む。ステップＳ３９において、当該小ブロックに属するすべての動きベクトル候補を走査した否かの判定を行う。すべての動きベクトル候補を走査していない場合には、ステップＳ３１に戻り、上述の手順を繰り返す。すべての動きベクトル候補を走査した場合には、動きベクトル候補の検定処理を終了する。このようにして、当該小ブロックに属するすべての動きベクトル候補に対して上記の処理を行って相関度を求め、図１１に示すように、最も相関の良いものを第３動きベクトルとして出力する。
【００２８】
ｇ）第２動き補償処理
次に、図１に示す動き補償部２６によって、動き補償処理を行う。この動き補償処理は、図２のステップＳ６に示すように、上記第３動きベクトルの終点によって定まる第２参照フレーム上の画像ブロックと、第３動きベクトルの終点と点対称となる点の位置によって定まる第１参照フレーム上の画像ブロックとの平均を取り、この平均画像ブロックを補間フレーム上の当該小ブロックにコピーする。
【００２９】
次に、図２のステップＳ７に進み、全ブロックを走査したか否かの判定を行い、全ブロックを走査していない場合は、ステップＳ４に戻り上述の手順を繰り返す。全ブロックを走査した場合には、補間フレームが完成する。すなわち、上記処理ｅ）から処理ｇ）までの処理を、処理ｅ）で分割した小ブロック全体について行うことで、補間フレームが作成される。
【００３０】
以上説明したように、本実施形態によれば、補助フレームを求め、この補助フレームに用いて補間フレームを求めるように構成されているので、生成される補間フレームに隙間あるいは重なり部分ができることを防止することが可能となるとともに本来オブジェクトが来るはずの部分に背景が誤って混入するのを防止することが可能となるので、高品質の補間フレームを生成することができる。
【００３１】
（第２実施形態）
次に、本発明の第２実施形態によるフレーム補間方法を、図１２乃至図２８を参照して説明する。この実施形態のフレーム補間方法を実施するフレーム補間装置の構成を図１２に示す。このフレーム補間装置は、フレームメモリ１２ａと、動きベクトル推定部１４ａと、ベクトルスケール変換部１６ａと、動き補償部１８ａと、使用画素領域検出部２０ａと、動きベクトル候補推定部２２ａと、動きベクトル候補検定部２４ａと、動き補償部２６ａとを備えている。
【００３２】
次に、本実施形態によるフレーム補間方法の構成および作用を、６０Ｈｚノンインタレースの画像信号を１２０Ｈｚノンインタレースの画像信号にアップコンバートする場合を例にして述べる。ただし、本発明は、これに限られるものではない。また、補間フレームに隣接する２つのフレームうち時間的に前のフレームを第１参照フレームｐ１とし、時間的に後のフレームを第２参照フレームｐ２とする。第１参照フレームｐ１は入力された画像信号から生成され、フレームメモリ１２ａ、動きベクトル推定部１４ａ、動き補償部１８ａ、動きベクトル候補推定部２２ａ、動きベクトル候補検定部２４ａ、動き補償部２６ａに送られる。また、第２参照フレームは、入力された画像信号から図１２に示すフレームメモリ１２ａにおいて生成され格納されている。
【００３３】
本実施形態によるフレーム補間方法の全体の処理手順を図１３に示す。
【００３４】
まず、図１３のステップＳ５０に示すように、第１および第２参照フレームから補助フレームを作成する。この補助フレームの作成は、図１２に示す動きベクトル推定部１４ａ、ベクトルスケール変換部１６ａ、および動き補償部１８ａにおいて、図１４に示すフローチャートに従って行われる。
【００３５】
ａ）動き推定処理
図１２に示す動きベクトル推定部１４ａによって、動き推定処理を行う。この動き推定処理は、まず、図１４のステップＳ６０に示すように、第１参照フレームを一様格子の第１小ブロックに分割する。続いて、それらの第１小ブロックに対して、再帰的な動き推定処理を行い、第１動きベクトルグループと第１不一致フィルタグループを求める（図１４のステップＳ６１、Ｓ６２参照）。
【００３６】
ａ１）この再帰的な動き推定処理は、図１８に示すフローチャートに従って行われる。すなわち、まず、初期ステップとして、図１８のステップＳ１１１に示すように、変数ｉｔｅの値を１にするとともに、初期の不一致フィルタＵＦ１（０）にはすべて１が代入されている。次に、ステップＳ１１２に示すように、不一致フィルタＵＦ１（ｉｔｅ−１）の値が１の画素のみを用いて第１参照フレーム上の第１小ブロックと、第２参照フレームの画像から最も相関度の高い第２小ブロックを探索し、第１動きベクトルＭＶ１（ｉｔｅ）を推定する。相関度の尺度としてＳＡＤを用いても良いが、一致画素数和を用いるとさらに精度を高くできる。一致画素数和とは、第１小ブロック、第２小ブロックの画素について、ブロック内相対位置が等しい画素同士の差分をおこない、差分値が閾値以下の画素を一致画素、閾値より大きいものを不一致画素とし、一致画素数の和が大きいものほど相関が高いと判断する方法である。
【００３７】
ａ２）さらに、図２０に示すように、第１動きベクトルＭＶ１（ｉｔｅ）により定まる第２小ブロックと、第１小ブロックの画素について、ブロック内相対位置が等しい画素同士の差分をおこない（図１８のステップＳ１１３、Ｓ１１４参照）、差分値が閾値以下の画素を一致画素、閾値より大きいものを不一致画素とし、一致画素位置では０、不一致画素では１（整数値）を、第１小ブロックと同じサイズの第１不一致フィルタＵＦ１（ｉｔｅ）に代入する（図１８のステップＳ１１５、Ｓ１１６、Ｓ１１７参照）。
【００３８】
ａ３）続いて、当該第１小ブロックに対して最も相関度の高い第２小ブロックを第２参照フレームから再帰的に探索するが、探索の際には図２１に示すように、第１不一致フィルタＵＦ１（ｉｔｅ）において、当該画素位置が０の位置では相関度演算は行わず、当該画素位置が１の位置で相関度演算を行うようにする。第１動きベクトルＭＶ１（ｉｔｅ）により定まる第２小ブロックと、第１小ブロックの画素について、ブロック内相対位置が等しい画素同士の差分をおこない、差分値が閾値以下の画素を一致画素、閾値より大きいものを不一致画素とし、一致画素位置では０、不一致画素では１（整数値）を、第１小ブロックと同じサイズの第１不一致フィルタＵＦ１（ｉｔｅ）に代入する。さらに、一つ前イテレーションの不一致フィルタＵＦ１（ｉｔｅ−１）と、現在のイテレーションの不一致フィルタＵＦ１（ｉｔｅ）の論理積を取り、それを現在のイテレーションの不一致フィルタＵＦ１（ｉｔｅ）とする（図１８のステップＳ１１８、Ｓ１１９参照）。このようにすることによって、相関度の近しいもの同士の分割が自然に行えるようになる。
【００３９】
ａ４）以上の図１８のステップＳ１１２からステップＳ１１９までの処理を、変数ｉｔｅが１から所望の反復回数ｎまで、再帰的に行うことによって（図１８のステップＳ１２０、Ｓ１２１参照）、第１動きベクトルグループ（第１動きベクトルＭＶ１（ｉｔｅ）（ｉｔｅ＝１，・・・，ｎ）と第１不一致フィルタグループ（第１不一致フィルタＵＦ１（ｉｔｅ）（ｉｔｅ＝１，・・・，ｎ）を求める（図２２参照）。ここでは、時間的に前のフレームから時間的に後のフレームに対する動きベクトルを推定する前方動き推定について述べたが、本実施例においてはそれに限ったことではなく、時間的に後のフレームから時間的に前のフレームに対する動きベクトルを推定する後方動き推定でも、前方動き推定、後方動き推定におけるより信頼度の高い方を選択する双方向動き推定を用いてもかまわない。
【００４０】
ｂ）ベクトルスケール変換処理
次に、再び図１４のステップＳ６３に戻り、図１２に示すベクトルスケール変換部１６ａによって、ベクトルスケール変換処理を行う。このベクトルスケール変換処理は、補助フレームを６０Ｈｚ信号の中央に作るために、上記第１動きベクトルグループの長さを１／２にスケール変換して第２動きベクトルグループを求める。
【００４１】
ｃ）第１動き補償処理
次に、図１に示す動き補償部１８ａによって、上記第２動きベクトルグループ、第１不一致フィルタグループ、第１参照フレーム、および第２参照フレームに基づいて、第１動き補償処理を行う（図１４のステップＳ６４参照）。この第１動き補償処理は、図１９に示すフローチャートに従って行われる。すなわち、まず、変数ｉｔｅの値を１にする。続いて、第１小ブロックのブロック位置に相当する第１参照フレーム上の第１画素ブロックを求める（図１９のステップ１２３参照）。続いて、図１９のステップＳ１２４に示すように、第２動きベクトルＭＶ２（ｉｔｅ）の終点によって定まる第２参照フレーム上の第２画像ブロックを求める。その後、第１画像ブロックと第２画像ブロックの平均を取り、平均画像ブロック求める（ステップＳ１２５参照）。次に、上記平均画像ブロックを、上記第２動きベクトルＭＶ２（ｉｔｅ）の始点によって定まる補間フレーム上のブロック位置を求める（ステップＳ１２６参照）。続いて、上記平均画像ブロック内の画素の走査を開始し（ステップＳ１２７参照）、上記平均画像ブロックの画素を補間フレーム上の小ブロックにコピーする。実際にコピーするのは、図２３に示すように、当該画素位置が第１不一致フィルタＵＦ１（ｉｔｅ）において値が０の画素のみである（ステップＳ１２８、Ｓ１２９、Ｓ１３０参照）。以上の処理を、変数ｉｔｅが１からｎなるまで繰り返す（ステップＳ１３１、Ｓ１３２参照）。
【００４２】
上記ａ）からｃ）までの処理を、ａ）で分割した小ブロック全体についておこなうことで、補助フレームを作成する（図２４参照）。
【００４３】
ｄ）使用画素領域検出処理
次に、図１２に示す使用画素領域検出部２０ａによって、使用画素領域検出処理を行う。この使用画素領域検出処理は、図１３のステップＳ５１に示すように、上記補助フレームの使用画素を検出し、使用画素フィルタを求めるものである。この使用画素フィルタを求めることは、第１実施形態の場合と同様に図４のフローチャートに従って行う。すなわち、上記補助フレームにおいて、全く画素値が代入されていない画素を検出し、画素値が代入されていない画素位置に０、それ以外の画素位置を１として使用画素フィルタを求める。
【００４４】
ｅ）動きベクトル候補推定および検定処理
次に、図１２に示す動きベクトル候補推定部２２ａによって動きベクトル候補の推定処理を行い、図１２に示す動きベクトル候補検定部２４ａによって動きベクトル候補の検定処理を行う。この動きベクトル候補推定処理は、まず、補間フレームを一様格子の小ブロックに分割する（図１３のステップＳ５２参照）。続いて、図１３のステップＳ５４に示すように、再帰的な探索を行い複数の動きベクトル候補グループを選定し、動きベクトル候補グループに対して、補助フレームによって検定し、第３動きベクトルグループ及び第２不一致フィルタグループを求める。この第３動きベクトルグループ及び第２不一致フィルタグループを求める詳細な手順を図１５を参照して説明する。
【００４５】
ｅ１）図１５のステップＳ７０において、初期設定を行う。すなわち変数ｉｔｅを１にするとともに第２不一致フィルタＵＦ２（０）にすべて１を代入する。続いて、ステップＳ７１に示すように、第２不一致フィルタＵＦ２（ｉｔｅ−１）の値が１の画素のみを用いて、補間フレーム上の小ブロックを中心として第１参照フレーム上の第１小ブロックと、第２参照フレーム上の第２小ブロックを点対称に探索し、相関の高いものから順に、複数の動きベクトル候補ＣＭＶ（ｉｔｅ）を選定する（図２６参照）。なお、相関は一致画素数和などを用いることができる。
【００４６】
ｅ２）次に、図１５のステップＳ７２に示すように、第２不一致フィルタＵＦ２（ｉｔｅ−１）を用いて、動きベクトル候補ＣＭＶ（ｉｔｅ）に対して、補助フレームによって検定し、第３動きベクトルＭＶ３（ｉｔｅ）を求める。この検定処理の詳細な手順は図１６に示すフローチャートに従って行う。
【００４７】
すなわち、図１６のステップＳ８０において、まず、不一致フィルタを入力して初期設定を行う。続いて、ステップＳ８１に示すように、動きベクトル候補の走査を開始し、変数ｉに１を設定するとともに変数であるαｍａｘに０を与える。その後、ステップＳ８２に示すように、動きベクトル候補ＣＭＶ（ｉ）の点対称位置によって定まる第１参照フレーム上の第１小ブロックを求める。次に、ステップＳ８３に示すように、動きベクトル候補ＣＭＶ（ｉ）によって定まる第２参照フレーム上の第２小ブロックを求める。その後、対象ブロック位置に相当する補助フレーム上の第３小ブロックを求める（ステップＳ８４参照）。次に、使用画素フィルタから、対象ブロック位置に相当する使用画素フィルタブロックを求める（ステップＳ８５参照）。そして、ステップＳ８６において、不一致フィルタと使用画素フィルタブロックとの論理積、すなわち画素毎の論理積演算を行い演算結果を使用画素フィルタブロックとする。この使用画素フィルタブロックを用いて、第１実施形態の場合と同様にして、第１小ブロックと第３小ブロックとの相関である第１相関を求めるとともに第２小ブロックと第３小ブロックとの相関である第２相関を求める（ステップＳ８７、Ｓ８８参照）。なお、これらの相関は図６に示すフローチャートに従って求められる。次に、ステップＳ８９において、第１相関と第２相関との和を求め、この和が上記αｍａｘよりも大きいか否かの判定が行われる。そして、上記和が上記αｍａｘよりも大きくない場合は、ステップＳ９１に進み、大きい場合はステップＳ９０に進む。ステップＳ９０において、第１相関と第２相関との和をαｍａｘとするとともに動きベクトル候補ＣＭＶ（ｉ）を第３動きベクトルＭＶ３（ｉｔｅ）とし、ステップＳ９１に進む。ステップＳ９１において、すべての動きベクトル候補を走査したか否かの判定を行い、すべての動きベクトル候補を走査していない場合は、ステップＳ８２に戻り上述の手順を繰り返す。すべての動きベクトルを走査した場合には、動きベクトル候補の検定処理を終了する。
【００４８】
ｅ３）次に、図１５のステップＳ７３に戻り、小ブロック内の画素の走査を開始する。その後、図２０に示すように、第３動きベクトルＭＶ３（ｉｔｅ）により定まる第２小ブロックと第１小ブロックの画素について、ブロック内相対位置が等しい画素同士の差分を行い（ステップＳ７４参照）、差分値が閾値以下の画素を一致画素、閾値より大きいものを不一致画素とし、一致画素位置では０（整数値）、不一致画素では１（整数値）を、第１小ブロックと同じサイズの第２不一致フィルタＵＦ２（ｉｔｅ）に代入する（ステップＳ７５、Ｓ７６、Ｓ７７参照）。
【００４９】
ｅ４）続いて、動きベクトル候補推定処理に戻り、当該小ブロックを中心として幾何対称位置に当たる両フレーム上の第１および第２小ブロックを再帰的に探索するが、探索の際には図２１に示すように、第２不一致フィルタＵＦ２（ｉｔｅ）において、当該画素位置が０の位置では相関度演算はおこなわず、当該画素位置が１の位置で相関度演算をおこなうようにする。さらに、一つ前のイテレーションの不一致フィルタと、現在のイテレーションの不一致フィルタの論理積を取り、現在のイテレーションの不一致フィルタとする（図１５のステップＳ７９参照）。このようにすることによって、相関度の近しいもの同士の分割が自然に行えるようになる。
【００５０】
ｅ５）図１５に示すステップＳ７１からステップＳ７９までの処理を、所望の反復回数ｋまで、再帰的に行うことによって（図１５のステップＳ７９ａ、Ｓ７９ｂ参照）、第３動きベクトルグループ（第３動きベクトルＭＶ３（ｉｔｅ）、（ｉｔｅ＝１，・・・，ｋ））と、第２不一致フィルタグループ（第２不一致フィルタＵＦ２（ｉｔｅ）、（ｉｔｅ＝１，・・・，ｋ））を求める。
【００５１】
ｆ）第２動き補償処理
次に、再び図１３のステップＳ５６に進み、図１２に示す動き補償部２６ａによって、第２動き補償処理を行う。この第２動き補償処理は、第３動きベクトルグループ、第２不一致フィルタグループ、第１および第２参照フレームに基づいて行われる（ステップＳ５６参照）。この第２動き補償処理の詳細な手順を、図１７を参照して説明する。
【００５２】
まず、図１７のステップＳ１００に示すように、初期設定を行い、変数ｉｔｅを１に設定する。次に、第３動きベクトルＭＶ３（ｉｔｅ）の終点によって定まる第２参照フレームの第１画像ブロックと、第３動きベクトルＭＶ３（ｉｔｅ）の終点位置の点対称位置によって定まる第１参照フレーム上の第１画像ブロックの平均を取り（ステップＳ１０１、Ｓ１０２、Ｓ１０３参照）、その平均画像ブロックを、補間フレーム上当該小ブロックにコピーするが、実際にコピーするのは、図２８に示すように、当該画素位置が第２不一致フィルタＵＦ２（ｉｔｅ）において０の画素のみである（ステップＳ１０４、Ｓ１０５、Ｓ１０６、Ｓ１０７参照）。以上の処理を、ブロック内の全画素を走査するまで繰り返す（ステップＳ１０８参照）。
【００５３】
その後、ステップＳ１０９において、変数ｉｔｅに１を加え、変数ｉｔｅの値がｎになるまで以上の処理を繰り返しおこなう。そして補間フレームを分割した一様格子の小ブロックの数に達するまで行うことで補間フレームを作成する。
【００５４】
以上説明したように、補助フレームを求め、この補助フレームに用いて補間フレームを求めるように構成されているので、生成される補間フレームに隙間あるいは重なり部分ができることを防止することが可能となるとともに本来オブジェクトが来るはずの部分に背景が誤って混入するのを防止することが可能となるので、高品質の補間フレームを生成することができる。
【００５５】
（第３実施形態）
次に、本発明の第３実施形態によるフレーム補間方法を、図２９及び図３０を参照して説明する。この第３実施形態によるフレーム補間方法は、第１実施形態の方法と第２実施形態の方法を混合したものである。この第３実施形態によるフレーム補間方法を実施するフレーム補間装置の構成を図２９に示す。このフレーム補間装置は、フレームメモリ１２ｂと、動きベクトル推定部１４ｂと、ベクトルスケール変換部１６ｂと、動き補償部１８ｂと、使用画素領域検出部２０ｂと、動きベクトル候補推定部２２ｂと、動きベクトル候補検定部２４ｂと、動き補償部２６ｂとを備えている。
【００５６】
次に、本実施形態によるフレーム補間方法の構成および作用を、６０Ｈｚノンインタレースの画像信号を１２０Ｈｚノンインタレースの画像信号にアップコンバートする場合を例にして述べる。ただし、本発明は、これに限られるものではない。また、補間フレームに隣接する２つのフレームうち時間的に前のフレームを第１参照フレームｐ１とし、時間的に後のフレームを第２参照フレームｐ２とする。第１参照フレームｐ１は入力された画像信号から生成され、フレームメモリ１２ｂ、動きベクトル推定部１４ｂ、動き補償部１８ｂ、動きベクトル候補推定部２２ｂ、動きベクトル候補検定部２４ｂ、動き補償部２６ｂに送られる。また、第２参照フレームは、入力された画像信号からフレームメモリ１２ｂにおいて生成されて格納され、動きベクトル推定部１４ｂおよび動きベクトル候補推定部２２ｂに送られる。
【００５７】
本実施形態によるフレーム補間方法の全体の処理手順を図３０に示す。
【００５８】
まず、図３０のステップＳ１４０に示すように、第１および第２参照フレームから補助フレームを作成する。この補助フレームの作成は、図２９に示す動きベクトル推定部１４ｂ、ベクトルスケール変換部１６ｂ、および動き補償部１８ｂにおいて、第１実施形態と同様に、図３に示すフローチャートに従って行われる。
【００５９】
ａ）動き推定処理
動き推定処理は、動きベクトル推定部１４ｂによって行われ、図７に示すように、第１参照フレームを一様格子の小ブロックに分割し、第２参照フレームの画像から、それらの小ブロックに対して最も相関度の高いブロックを探索し、第１動きベクトルを推定する処理をおこなう（図３のステップＳ１０、Ｓ１１、Ｓ１２参照）。例えばブロックマッチングのアルゴリズムを使うことができ、相関度の尺度として絶対値差分和（ＳＡＤ）を用いることができる。ここでは、時間的に前のフレームから時間的に後のフレームに対する動きベクトルを推定する前方動き推定について述べたが、本実施形態においてはそれに限ったことではなく、時間的に後のフレームから時間的に前のフレームに対する動きベクトルを推定する後方動き推定でも、前方動き推定、後方動き推定におけるより信頼度の高い方を選択する双方向動き推定を用いてもかまわない。
【００６０】
ｂ）ベクトルスケール変換処理
ベクトルスケール変換処理は、ベクトルスケール変換処理部１６ｂにおいて行われ、補助フレームを６０Ｈｚ信号の中央に作るために、上記第１動きベクトルの長さを１／２とするベクトルスケール変換を行い、第２動きベクトルを求める（図３のステップＳ１３参照）。
【００６１】
ｃ）第１動き補償処理
第１動き補償処理は、動き補償部１８ｂにおいて行われる。この第１動き補償処理は、第１実施形態の場合と同様にして行われる。すなわち、図８に示すように、上記第２動きベクトルの終点によって定まる第２参照フレームの第２ブロック画像と、第１小ブロックの画像の平均を取り、その平均画像ブロックを、上記第２動きベクトルの始点によって定まる補助フレーム上の小ブロックにコピーする（図３のステップＳ１４参照）。
【００６２】
上記処理ａ）から処理ｃ）までの処理を、処理ａ）で分割した第１小ブロック全体について行い（図３のステップＳ１５参照）、補助フレームを作成する（図７参照）。
【００６３】
ｄ）使用画素領域検出処理
使用画素領域検出処理は、使用画素領域検出部２０ｂにおいて行われる。この使用画素領域検出処理は、第１実施形態の場合と同様にして行われる。すなわち、上記補助フレームにおいて、全く画素値が代入されていない画素を検出し、画素値が代入されていない画素位置に０、それ以外の画素位置を１とした使用画素フィルタを出力する。
【００６４】
ｅ）動きベクトル候補推定処理
動きベクトル候補推定処理は、動きベクトル候補推定部２２ｂにおいて行われる。この動きベクトル候補推定処理は、第２実施形態の場合と同様にして行われる。
【００６５】
ｅ１）すなわち、まず、補間フレームを一様格子の小ブロックに分割し、第１参照フレームと第２参照フレームから、当該小ブロックを中心として幾何対称位置に当たる両フレーム上の第１および第２小ブロックの相関を計算し（相関は一致画素数和などを用いることができる）、相関の良いものから順に複数のベクトルを動きベクトル候補ＣＭＶ（ｉｔｅ）として選定する（図２６参照）。
【００６６】
ｅ２）動きベクトル候補検定処理
動きベクトル候補検定処理は、動きベクトル候補検定部２４ｂにおいて行われ、第２実施形態の場合と同様にして行われる。すなわち、上記動きベクトル候補ＣＭＶ（ｉｔｅ）、（ｉｔｅ＝１，・・・，ｋ）の中から動きベクトルを決定する。決定に際して、上記補助フレームを参照情報として使用する。上記動きベクトル候補ＣＭＶ（ｉｔｅ）の一つによって定まる、第１参照フレーム上の第１小ブロックと、第２参照フレーム上の第２小ブロックを求め、当該小ブロック位置に当たる補助フレーム上の画像ブロックである第３小ブロックを求める。第１小ブロックと第３小ブロックの相関である第１相関と、第２小ブロックと第３小ブロックの相関である第２相関との和を、この動きベクトル候補ＣＭＶ（ｉｔｅ）の相関度とする。当該小ブロックに属するすべての動きベクトル候補に対して上記の処理をおこない、最も相関の良いものを第３動きベクトルＭＶ３（ｉｔｅ）として出力する（図２７参照）。
【００６７】
ｅ３）さらに、第３動きベクトルＭＶ３（ｉｔｅ）により定まる第２小ブロックと第１小ブロックの一致、不一致画素を求め、一致画素位置では０（整数値）、不一致画素では１（整数値）を、第１小ブロックと同じサイズの第２不一致フィルタ［ｉｔｅ］に代入する。
【００６８】
ｅ４）続いて、動きベクトル候補推定ステップに戻り、当該小ブロックを中心として幾何対称位置に当たる両フレーム上の第１および第２小ブロックを再帰的に探索するが、探索の際には、第２不一致フィルタＵＦ２（ｉｔｅ）において、当該画素位置が０の位置では相関度演算はおこなわず、当該画素位置が１の位置で相関度演算をおこなうようにする。さらに、一つ前イテレーションの不一致フィルタと、現在のイテレーションの不一致フィルタの論理積を取り、それを現在のイテレーションの不一致フィルタとする。このようにすることによって、相関度の近しいもの同士の分割が自然に行えるようになる。
【００６９】
ｅ５）以上の処理を、所望の反復回数ｋまで、再帰的におこなうことによって、動きベクトル候補グループ（動きベクトル候補ＣＭＶ（ｉｔｅ）、（ｉｔｅ＝１，・・・，ｋ）と、第２不一致フィルタグループ（第２不一致フィルタＵＦ２（ｉｔｅ）、（ｉｔｅ＝１，・・・，ｋ））を求める（図２６参照参照）。
【００７０】
ｆ）第２動き補償処理
第２動き補償処理は、動き補償部２６ｂにおいて行われ、第２実施形態の場合と同様にして行われる。すなわち、上記第３動きベクトルＭＶ３（ｉｔｅ）の終点によって定まる第２参照フレームの画像ブロックと、第３動きベクトルＭＶ３（ｉｔｅ）の終点位置の点対称位置によって定まる第１参照フレーム上の画像ブロックの平均を取り、その平均画像ブロックを、補間フレーム上の当該小ブロックにコピーするが、実際にコピーするのは、当該画素位置が第２不一致フィルタＵＦ２（ｉｔｅ）において値が０の画素のみである（図２８参照）。以上の処理を、補間フレームを分割した一様格子の小ブロックの数に達するまで行うことで、補間フレームを作成する。
【００７１】
以上説明したように、補助フレームを求め、この補助フレームを用いて補間フレームを求めるように構成されているので、生成される補間フレームに隙間あるいは重なり部分ができることを防止することが可能となるとともに本来オブジェクトが来るはずの部分に背景が誤って混入するのを防止することが可能となるので、高品質の補間フレームを生成することができる。
【００７２】
（第４実施形態）
次に、本発明の第４実施形態によるフレーム補間方法を、図３１乃至図３３を参照して説明する。この第４実施形態によるフレーム補間方法は、ＭＰＥＧ情報を利用するものである。この第４実施形態によるフレーム補間方法を実施するフレーム補間装置の構成を図３１に示す。このフレーム補間装置は、復号部１０と、復号信号判定部１１と、フレームメモリ１２ｃと、動きベクトル推定部１４ｃと、ベクトルスケール変換部１６ｃと、動き補償部１８ｃと、使用画素領域検出部２０ｃと、動きベクトル候補推定部２２ｃと、動きベクトル候補検定部２４ｃと、動き補償部２６ｃとを備えている。
【００７３】
次に、本実施形態によるフレーム補間方法の構成および作用を、６０Ｈｚノンインタレースの画像信号を１２０Ｈｚノンインタレースの画像信号にアップコンバートする場合を例にして述べる。ただし、本発明は、これに限られるものではない。また、補間フレームに隣接する２つのフレームうち時間的に前のフレームを第１参照フレームｐ１とし、時間的に後のフレームを第２参照フレームｐ２とする。第１参照フレームｐ１は入力された画像信号から復号部１０において生成され、復号信号判定部１１、フレームメモリ１２ｃ、動きベクトル推定部１４ｃ、動き補償部１８ｃ、動きベクトル候補推定部２２ｃ、動きベクトル候補検定部２４ｃ、動き補償部２６ｃに送られる。また、第２参照フレームは、復号部１０において取り出されてフレームメモリ１２ｃに格納され、動きベクトル推定部１４ｃおよび動きベクトル候補推定部２２ｃに送られる。
【００７４】
ａ）復号部１０では、動き補償予測符号化された信号を復号処理し、画像信号系列と動きベクトル情報とに分離し、上記画像信号系列から第１参照フレームと第２参照フレームを取り出し、第１参照フレームと第２参照フレーム間の動きベクトルを第１動きベクトルとする。
【００７５】
ｂ）復号信号判定部１１では、上記第１動きベクトルに対応する予測残差を調べ、その予測残差が設定された閾値よりも大きい場合に、その第１動きベクトルは信頼度が低いと判定する。
【００７６】
ｃ）動き推定部１４ｃでは、復号信号判定部１１で信頼度が低いと判定されたブロックのみに対して、第１参照フレームと第２参照フレームから動きベクトルを推定し、第２動きベクトルを求める。上記復号信号判定部１１で信頼度が低いと判定されなかったブロックに対しては、第１動きベクトルを第２動きベクトルとしてそのまま出力する。
【００７７】
ｄ）ベクトルスケール変換部１６ｃでは、補助フレームを６０Ｈｚ信号の中央に作るために、上記第１動きベクトルの長さを１／２とするベクトルスケール変換を行い、第３動きベクトルを求める。
【００７８】
ｅ）動き補償部１８ｃでは、第１動き補償処理を行う。すなわち、上記第３動きベクトルの終点によって定まる第２参照フレームの画像ブロックと、上記第３動きベクトルの属している当該小ブロックの画像の平均を取り、その平均画像ブロックを、上記第３動きベクトルの始点によって定まる補間フレーム上の小ブロックにコピーする。上記ｂ）からｄ）の処理を小ブロック全体についておこなうことで、補助フレームを作成する（図７および図１０参照）。
【００７９】
ｆ）使用画素領域検出部２０ｃでは、上記補助フレームにおいて、全く画素値が代入されていない画素を検出し、画素値が代入されていない画素位置に０、それ以外の画素位置を１とした使用画素フィルタを出力する。
【００８０】
ｇ）動きベクトル候補推定部２２ｃでは、補間フレームを一様格子の小ブロックに分割し、第１参照フレームと第２参照フレームから、当該小ブロックを中心として幾何対称位置に当たる両フレーム上の小ブロックの相関を計算し、相関の良いものから順に複数のベクトルを動きベクトル候補として選定する（図９参照）。
【００８１】
ｈ）動きベクトル候補検定部２４ｃでは、上記動きベクトル候補の中から動きベクトルを決定する。決定に際して、上記補助フレームを参照情報として使用する。上記動きベクトル候補の一つによって定まる、第１参照フレーム上の第１小ブロックと、第２参照フレーム上の第２小ブロックを求め、当該小ブロック位置に相当する補助フレーム上の画像ブロックである第３小ブロックを求める。第１小ブロックと第３小ブロックの相関である第１相関を求め、第２小ブロックと第３小ブロックの相関である第２相関を求め、これらの第１および第２相関の和を、上記動きベクトル候補の相関度とする。当該小ブロックに属するすべての動きベクトル候補に対して上記の処理をおこない相関度を求め、最も相関の良いものを第３動きベクトルとして出力する（図１１参照）。ただし、上記第１小ブロックと第３小ブロックの相関を求める演算と、第２小ブロックと第３小ブロックの相関を求める演算においては、補助フレームにおける画素値が代入されていない画素によって、その部分の相関が著しく低下してしまうという問題が発生する。そこで、上記使用画素領域検出部２０ｃで求めた使用画素フィルタを用いる。上記相関を求める演算の際には、当該画素位置における使用画素フィルタの値が０の場合は、相関演算においてその画素は使用せず、使用画素フィルタの値が１の画素のみについて相関演算をするようにする。
【００８２】
ｉ）動き補償部２６ｃでは、第２動き補償処理を行う。すなわち、上記第３動きベクトルの終点によって定まる第２参照フレームの画像ブロックと、第３動きベクトルの終点位置の点対称位置によって定まる第１参照フレーム上の画像ブロックとを平均した平均画像ブロックを求め、この平均画像ブロックを補間フレーム上の当該小ブロックにコピーする。
【００８３】
以上の処理を、補間フレームを分割した一様格子の小ブロックの数に達するまで行うことで、補間フレームを作成する。
【００８４】
次に、本実施形態のフレーム補間方法の具体的な処理手順を図３２および図３３を参照して説明する。
【００８５】
まず、図３２のステップＳ１５０に示すように、動き補償予測符号化された信号から補助フレームを作成する。この補助フレームの作成は、図３３に示すフローチャートに従って行われる。すなわち、図３３のステップＳ１６０に示すように、動き補償予測符号化された信号を復号する。続いて、ステップＳ１６１に示すように、復号された信号から画像信号系列と、動きベクトル情報とに分離する。次に、画像信号系列から第１参照フレームおよび第２参照フレームを取り出す（ステップＳ１６２参照）。その後、動きベクトル情報から第１参照フレームと、第２参照フレームとの間の動きベクトルを取り出し、第１動きベクトルとする。そして、ステップＳ１６４においてブロックの走査を開始する。すなわち、ステップＳ１６５において、第１動きベクトルに対応する予測残差を求め、この予測残差の値が閾値よりも大きいか否かの判定をステップＳ１６６において行う。予測残差の値が閾値よりも大きい場合には、ステップＳ１６８に進み、第１参照フレームと、第２参照フレームとから第２動きベクトルを求め、ステップＳ１６９に進む。予測残差の値が閾値よりも大きくない場合は、ステップＳ１６９に進み、第２動きベクトル、第１参照フレーム、および第２参照フレームから第１動き補償処理を行う。その後、ステップＳ１７０において、全ブロックを走査した否かの判定が行われ、走査していない場合にはステップＳ１６５に戻り、上述の手順を繰り返す。全ブロックを走査した場合には、補助フレームの作成処理を終了する。
【００８６】
次に、再び、図３２にもどって、ステップＳ１５１に進み、補助フレームの使用画素を検出し、使用画素フィルタを求める。この使用画素フィルタは、第１実施形態の場合と同様に、図４に示すフローチャートに従って求められる。続いて、ステップＳ１５３に進み、ブロックの走査をかいしする。そして、補間フレーム上の小ブロックを中心として点対称に、第１参照フレーム上の第１小ブロックと、第２参照フレーム上の第２小ブロックを探索し、相関度の高いものから順に複数の動きベクトル候補を選定する（ステップＳ１５４参照）。その後、動きベクトル候補の中から、補助フレームを用いた検定によって、第３動きベクトルを求める（ステップＳ１５５参照）。続いて、第３動きベクトルによって定まる第１参照フレーム上の画像ブロックと第２参照フレーム上の画像ブロックの平均を取り、補間フレーム上の対象ブロックにコピーする（ステップＳ１５６参照）。
【００８７】
そして、全ブロックを走査したか否かの判定がステップＳ１５７において行われ、走査していない場合は、ステップＳ１５４に戻り、上述の手順を繰り返す。また、全ブロックを走査した場合には、補間フレームを求める処理を終了する。
【００８８】
以上説明したように、補助フレームを求め、この補助フレームに用いて補間フレームを求めるように構成されているので、生成される補間フレームに隙間あるいは重なり部分ができることを防止することが可能となるとともに本来オブジェクトが来るはずの部分に背景が誤って混入するのを防止することが可能となるので、高品質の補間フレームを生成することができる。
【００８９】
（第５実施形態）
次に、本発明の第５実施形態を説明する。この実施形態は、液晶ディスプレイ（以下ＬＣＤ）やエレクトロルミネッセンスディスプレイのように、新たに画像の書き込みが行われるまで前フレームの表示を保持し続けるホールド型画像表示装置であって、上記実施形態のフレーム補間方法が用いられている。一般に、ホールド型画像表示装置は、動画表示に際して動体の動きに観察者の眼が追随することによるボケ現象が発生する。この問題によって動画を表示するテレビジョン装置としては不利になってしまう。
【００９０】
このように、ＬＣＤなどの画素電位を保持する型の駆動表示をホールド型表示と呼ぶが、このホールド型表示の問題を解決するために、インパルス駆動と、動き補間駆動が提案されている。インパルス駆動は、通常の表示フレーム間に黒い画面を内挿することで（またはバックライトオフ）、上記のようなＬＣＤのホールドボケを改善するというものである。ただし黒い画面が間に入ってしまうために表示輝度が半減してしまうという問題がある。これに対して動き補間駆動では、ＬＣＤを駆動する通常周波数６０Ｈｚの倍の周波数、つまり１２０Ｈｚで駆動することによってホールドボケを改善する。この手法では、フレーム間に動き補間フレームを内挿することによって１２０Ｈｚ化を実現するので、インパルス駆動のように輝度が半減せずに高画質を維持することができるという大きな利点がある。
【００９１】
上記の内挿補間フレームを生成するために上記第１乃至第４実施形態のフレーム補間方法を応用することができる。上記第１乃至第４実施形態のフレーム補間方法を用いることにより、補間フレームに従来のようなエラーが混入しにくくなり、補間フレームを内挿してもエラーによる画質劣化を抑えることができる。
【００９２】
図３４を用いて、本実施形態によるホールド型画像表示装置４０の構成を説明する。本実施形態のホールド型画像表示装置４０は、ＩＰ変換器４２、フレーム補間器４４、画像表示器４６からなる。画像表示器４６には、上記に示したＬＣＤやエレクトロルミネッセンスディスプレイ、プラズマディスプレイなど、ホールド型の表示器を用いることができる。ＩＰ変換器４２は、入力されてきた画像信号をインタレース・プログレッシブ変換する。テレビジョン画像は、インタレース信号という奇数ライン、もしくは偶数ラインの水平画素ラインが間引かれた形で入力されてくることがあるため、このままでは画像表示器４６に表示することができない。そこでインタレース画像を、間引かれていないプログレッシブ画像に変換する必要がある。フレーム補間器４４では、入力されたプログレッシブ画像信号に対して補間フレームを生成し、補間フレームを内挿する。フレーム補間器４４には、第１乃至第３実施形態のフレーム補間方法を実現したフレーム補間器を用いることができる。補間フレームが内挿されたプログレッシブ画像を画像表示器４６に表示する。
【００９３】
また、デジタルテレビジョン装置の場合には、画像信号はデジタル圧縮されて伝送されてくるが、その場合には、第４実施例形態のフレーム補間方法を実現するフレーム補間器を用いることも可能である。
このように、テレビジョン用ＬＤＣなどに上記第１乃至第４実施形態の補間方法を適用することによって、高品位な補間フレームを内挿し１２０Ｈｚ駆動をすることによって、動画ボケのない高画質映像を提供することができる。
【００９４】
（第６実施形態）
次に、本発明の第６実施形態を説明する。この第６実施形態はＤＶＤプレーヤ（動画像復号化装置）であって、フレーム補間に上記第１乃至第４実施形態のフレーム補間方法が用いられている。
【００９５】
一般に、映画コンテンツは秒間２４コマ（２４Ｈｚ）の表示となっているものがメインとなっている。それに対して通常のテレビジョン用コンテンツは６０Ｈｚとなっており、映画のコンテンツのコマ数はテレビジョンに対して半分以下でしかない。そのためスクロール映像などでは、スクロールの動きがカクカクとした不自然な動きとして見えてしまうことがある。
【００９６】
ＤＶＤのメインコンテンツは映画であり、ＤＶＤにも上記のような映像の不自然さが存在する。そこで、上記第１乃至第４実施形態のフレーム補間方法を用いて、映像コンテンツのコマ数を増加させることによって、自然で滑らかな映像を再生させることが可能である。また、上記第１乃至第４実施形態のフレーム補間方法を用いれば、補間フレームに従来のようなエラーが混入しにくくなり、補間フレームを内挿してもエラーによる画質劣化を抑えることができる。
【００９７】
図３５を参照して本実施形態のＤＶＤプレーヤの構成を説明する。本実施形態はＤＶＤプレーヤであって、デコーダ５２と、フレーム補間器５４と、プルダウン器５６と、画像表示器５８とを備えている。なお、フレーム補間器５４はフレーム補間に上記第１乃至第４実施形態のフレーム補間方法を用いているが、上記第１乃至第４実施形態のフレーム補間方法を例えばパーソナルコンピュータ上のＤＶＤソフトウェアにも適用可能である。
【００９８】
画像信号は、図示しないピックアップによってＤＶＤから読みとられて、デジタルデータとして取得される。デコーダ器５２は入力された画像信号から、圧縮データを復号し、動画として再生する。フレーム補間器５４は、入力された動画に対して補間フレームを生成し、補間フレームを内挿する。フレーム補間器５４としては、上記第１乃至第４実施形態のフレーム補間方法を実現したフレーム補間器が用いられている。ここでは、例えば、２４Ｈｚの動画に対してオリジナルの隣接フレームの間に１枚の補間フレームを内挿し、４８Ｈｚの動画にするような処理を行う。プルダウン器５６では、４８Ｈｚの動画を６０Ｈｚにアップコンバートする。実際には４枚のフレーム毎に、オリジナルフレームを２枚続けて表示することによって、４枚のフレームを５枚にし、結局４８Ｈｚを６０Ｈｚにアップコンバートする。
【００９９】
ここでは、２４Ｈｚのコンテンツに対して４８Ｈｚにフレーム補間する例を示したが、１２０Ｈｚ表示可能なテレビションに出力する場合には、２４Ｈｚの動画を１２０Ｈｚにフレーム補間するとより高画質な映像を得ることができる。つまり２４Ｈｚの映像における隣接フレームの間に４枚の補間フレームを内挿するようにする。
【０１００】
このように、ＤＶＤプレーヤに上記第１乃至第４実施形態のフレーム補間方法を実施するフレーム補間器を用いることによって、高品位な補間フレームを内挿しコンテンツのコマ数を増加させるが可能となり、自然で滑らかな高画質映像を得ることができる。
【０１０１】
（第７実施形態）
次に、本発明の第７実施形態を説明する。この実施形態は、医用画像表示システムである。
【０１０２】
医用画像、例えばＸ線検出器によって撮影された画像信号を表示する場合などを考えてみる。Ｘ線検出器では、人体にＸ線を照射し、Ｘ線の透過、非透過をＸ線検出器で検出することによって、人体内部の画像を得ることができる。この際に、画像を得るためには必ずＸ線を照射しなければならず、多量なＸ線は人体に悪影響を与えるために、照射するＸ線は少なければ少ないほどよい。ところが、あまりにも少ないＸ線量では検出された画像にノイズがたくさん乗ってしまい、肝心の診断に影響を与えてしまう。そこで実際には撮像するコマ数を少なくすること（例えば秒間７．５コマや１５コマ）によって、照射されるＸ線量全体を少なくするという手段が取られる。
【０１０３】
しかし、このように秒間７．５コマや１５コマでは、再生される動画の動きがカクカクとした不自然な動きになってしまう。そこで検出された画像信号に対してフレーム補間を適用することにより、補間フレームを生成し、オリジナル画像信号の間に内挿することによって、再生される画像信号のコマ数を増やし、滑らかで自然な動きの高画質映像を得ることが可能である。
【０１０４】
図３６を参照して本実施形態による医用画像表示システム６０の構成を説明する。Ｘ線検出器６２では、人体に照射されて透過してきたＸ線を検出する。検出された画像信号６４に対してフレーム補間器６６によって補間フレームを生成し、オリジナル画像信号の間に補間フレームを内挿する。このフレーム補間器６６は、フレーム補間に上記第１乃至第４実施形態のフレーム補間方法が用いられる。補間フレームが内挿された画像信号が画像表示器６８に表示される。
【０１０５】
このように、フレーム補間器６６に上記実施形態のフレーム補間方法を用いることによって、高品位な補間フレームを内挿しコンテンツのコマ数を増加させることが可能となり、自然で滑らかな高画質映像を提供することができる。
【０１０６】
（第８実施形態）
次に、本発明の第８実施形態を説明する。この実施形態は、テレビ会議システムである。
【０１０７】
テレビ会議システムやモバイルテレビのように、映像信号を小さい帯域の中で伝送する必要があるシステムにも、フレーム補間を適用することによって高画質化を実現することができる。
【０１０８】
テレビ会議システムやモバイルテレビでは、小さい帯域でも映像信号を送ることができるように圧縮されて伝送される。この際に、動画のコマ数などを落とすことによって効果的な圧縮をおこなう。しかし、このようにコマ数が落とされてしまうと（例えば秒間１５コマなど）、再生される動画がかなり不自然な動きとなってしまう。
【０１０９】
そこで圧縮された動画を表示する際に、フレーム補間によって補間フレームを内挿し、表示されるコマ数を増やすことによって自然で滑らかな動きの動画を表示可能となる。
【０１１０】
図３７を参照して本実施形態によるテレビ会議システムの構成を説明する。まずテレビ会議対象を撮像器７１によって撮像する。撮像器７１によって撮像された画像信号を、エンコーダ７２によって符号化する。この際に動画のコマ数なども調整される。エンコーダ７２によって符号化された画像信号は送信器７３によって送信される。送信された画像信号は受信器７４によって受信される。受信された画像信号はデコーダ７５によって復号化される。復号化された画像信号７６に対してフレーム補間器７７によって補間フレームを生成する。この補間フレームを画像信号間に内挿することによって、コマ数の増加した画像信号を得ることができる。このフレーム補間器７７のフレーム補間には、上記第１乃至第４実施形態によるフレーム補間方法が用いられる。コマ数の増加した画像信号は画像表示器７８に表示される。
【０１１１】
このように、テレビ会議システムに上記第１乃至第４実施形態で説明したフレーム補間方法を用いることによって、高品位な補間フレームを内挿しコンテンツのコマ数を増加させることが可能となり、自然で滑らかな高画質映像を提供することができる。
【０１１２】
（第９実施形態）
次に、本発明の第９実施形態によるモバイルテレビジョン装置の構成を図３８に示す。この実施形態によるモバイルテレビ装置８０は、画像信号が受信器８１によって受信される。この受信された画像信号はデコーダ８２によって復号化される。復号化された画像信号８３に対してフレーム補間器８４によって補間フレームを生成する。この補間フレームを画像信号８３間に内挿することによって、コマ数の増加した画像信号を得ることができる。このフレーム補間器８４のフレーム補間には、上記第１乃至第４実施形態によるフレーム補間方法が用いられる。コマ数の増加した画像信号は画像表示器８５に表示される。
【０１１３】
このように、モバイルテレビジョン装置に上記第１乃至第４実施形態で説明したフレーム補間方法を用いることによって、高品位な補間フレームを内挿しコンテンツのコマ数を増加させることが可能となり、自然で滑らかな高画質映像を提供することができる。
【０１１４】
（第１０実施形態）
次に、本発明の第１０実施形態を説明する。この実施形態は高画質ＨＤＤレコーダ（動画像録画装置）である。
【０１１５】
ＨＤＤレコーダのように、映像コンテンツを一度ストレージに録画（エンコード）してから、別のタイミングでその録画された映像コンテンツを再生（デコード）するような場合にも、フレーム補間を適用することによって高画質化を行うことができる。
【０１１６】
ユーザーが録画したコンテンツを見るまでには時間が空いているのが普通である。前日の夜に録画したものを次の日の夜に見る場合などは、録画してから１日時間が経過している。この空いている時間を利用してフレーム補間によって高画質化を行うことができる。
【０１１７】
図３９を参照して、本実施形態による高画質ＨＤＤレコーダの構成を説明する。まず録画装置（図示せず）によって予め録画された録画信号９１、すなわちエンコードされたデータ９１があるとする。このエンコードされたデータ９１はデコーダ９２に入力され、画像信号がデコードされる。デコードされた画像信号はフレーム補間器９３に入力され補間フレームが生成され、生成された補間フレームを画像信号間に内挿する。補間フレームが内挿された画像信号はエンコーダ９４に入力され、再度エンコードされる。この再度エンコードされた録画信号９５をＨＤＤに記憶する。この記憶された録画信号９５を再生すれば、高画質の映像を得ることができる。
【０１１８】
録画されてから視聴されるまでの時間に応じて、フレーム補間の精度を変えるようにしても良い。すなわち、視聴までの時間が長いようであれば、処理時間が掛かるが精度の高いフレーム補間をおこない、視聴までの時間が短い場合は、処理時間が少なく精度の高くないフレーム補間をおこなうというようにして、視聴されるまでの時間に応じて最適なフレーム補間をおこなえるようにする。
【０１１９】
以上説明したように、ＨＤＤレコーダなどのストレージ録画装置に、第１乃至第４実施形態のフレーム補間方法を応用することによって、コンテンツが録画されてから見るまでの時間を利用して高品位な補間フレームを内挿しコンテンツのコマ数を増加させることが可能となり、自然で滑らかな高画質映像を提供することができる。
【発明の効果】
以上のべたように、本発明によれば、高品質の補間フレームを生成することができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態によるフレーム補間方法に用いられるフレーム補間装置の構成を示すブロック図。
【図２】第１実施形態によるフレーム補間方法の処理手順を示すフローチャート。
【図３】補助フレーム作成手順を示すフローチャート。
【図４】使用画素フィルタ作成手順を示すフローチャート。
【図５】第１実施形態に係る動きベクトル候補検定処理手順を示すフローチャート。
【図６】使用画素フィルタを用いた相関度演算の処理手順を示すフローチャート。
【図７】第１実施形態による動き推定処理を説明する模式図。
【図８】補助フレーム作成の際の各ブロックの位置関係を説明する模式図。
【図９】動きベクトル候補推定処理を説明する図。
【図１０】補助フレームと補間フレームとの関係を説明する図。
【図１１】動きベクトル候補検定処理を説明する図。
【図１２】本発明の第２実施形態によるフレーム補間方法に用いられるフレーム補間装置の構成を示すブロック図。
【図１３】第２実施形態によるフレーム補間方法の処理手順を示すフローチャート。
【図１４】第２実施形態によるフレーム補間方法の補助フレーム作成手順を示すフローチャート。
【図１５】第２実施形態によるフレーム補間方法の動きベクトル候補推定および検定処理手順を示すフローチャート。
【図１６】第２実施形態によるフレーム補間方法の動きベクトル候補検定処理手順を示すフローチャート。
【図１７】第２実施形態によるフレーム補間方法の第２動き補償処理手順を示すフローチャート。
【図１８】第２実施形態によるフレーム補間方法の再帰的動き検定処理手順を示すフローチャート。
【図１９】第２実施形態によるフレーム補間方法の第１動き補償処理手順を示すフローチャート。
【図２０】一致および不一致画素判定を説明する模式図。
【図２１】再探索時の相関度演算を説明する図。
【図２２】第２実施形態による動きベクトル推定処理を説明する図。
【図２３】第２実施形態による第１動き補償処理を説明する図。
【図２４】第２実施形態による補助フレームの作成処理を説明する図。
【図２５】第２実施形態による補助フレームの使用を説明する図。
【図２６】第２実施形態による動きベクトル候補推定処理を説明する図。
【図２７】第２実施形態による動きベクトル候補検定処理を説明する図。
【図２８】第２実施形態による第２動き補償処理を説明する図。
【図２９】本発明の第３実施形態によるフレーム補間方法に用いられる装置の構成を示すブロック図。
【図３０】第３実施形態によるフレーム補間方法の処理手順を示すフローチャート。
【図３１】本発明の第４実施形態によるフレーム補間方法に用いられる装置の構成を示すブロック図。
【図３２】第４実施形態によるフレーム補間方法の処理手順を示すフローチャート。
【図３３】第４実施形態によるフレーム補間方法の補助フレーム作成処理手順を示すフローチャート。
【図３４】本発明の第５実施形態によるホールド型画像表示装置の概略の構成を示すブロック図。
【図３５】本発明の第６実施形態によるＤＶＤプレーヤの概略の構成を示すブロック図。
【図３６】本発明の第７実施形態による医用画像表示システムの概略の構成を示すブロック図。
【図３７】本発明の第８実施形態によるテレビ会議システムの概略の構成を示すブロック図。
【図３８】本発明の第９実施形態によるモバイルテレビの概略の構成を示すブロック図。
【図３９】本発明の第１０実施形態によるＨＤＤレコーダの概略の構成を示すブロック図。
【符号の説明】
１２  フレームメモリ
１４  動きベクトル推定部
１６  ベクトルスケール変換部
１８  動き補償部
２０  使用画素領域検出部
２２  動きベクトル候補推定部
２４  動きベクトル候補検定部
２６  動き補償部
【図１】
2004159294.tif 000003
【図２】
2004159294.tif 000004
【図３】
2004159294.tif 000005
【図４】
2004159294.tif 000006
【図５】
2004159294.tif 000007
【図６】
2004159294.tif 000008
【図７】
2004159294.tif 000009
【図８】
2004159294.tif 000010
【図９】
2004159294.tif 000011
【図１０】
2004159294.tif 000012
【図１１】
2004159294.tif 000013
【図１２】
2004159294.tif 000014
【図１３】
2004159294.tif 000015
【図１４】
2004159294.tif 000016
【図１５】
2004159294.tif 000017
【図１６】
2004159294.tif 000018
【図１７】
2004159294.tif 000019
【図１８】
2004159294.tif 000020
【図１９】
2004159294.tif 000021
【図２０】
2004159294.tif 000022
【図２１】
2004159294.tif 000023
【図２２】
2004159294.tif 000024
【図２３】
2004159294.tif 000025
【図２４】
2004159294.tif 000026
【図２５】
2004159294.tif 000027
【図２６】
2004159294.tif 000028
【図２７】
2004159294.tif 000029
【図２８】
2004159294.tif 000030
【図２９】
2004159294.tif 000031
【図３０】
2004159294.tif 000032
【図３１】
2004159294.tif 000033
【図３２】
2004159294.tif 000034
【図３３】
2004159294.tif 000035
【図３４】
2004159294.tif 000036
【図３５】
2004159294.tif 000037
【図３６】
2004159294.tif 000038
【図３７】
2004159294.tif 000039
【図３８】
2004159294.tif 000040
【図３９】
2004159294.tif 000041