(57)【特許請求の範囲】
【請求項１】
第１の参照フレームと第２の参照フレームの間の補間フレーム内の補間画素の画素値を生成するフレーム補間装置であって、
前記補間画素の位置を中心として点対称の位置にある前記第１の参照フレームの画素ブロックと前記第２の参照フレームの画素ブロックとからなる画素ブロック対、及び上記画素ブロック対に対して、一方の画素ブロックを１画素ずらした画素ブロックで置換えた画素ブロック対の一方又は双方を複数個抽出するブロック対抽出手段と、
前記ブロック対抽出手段により抽出された複数の画素ブロック対のそれぞれについて、２つの画素ブロックの類似度を前記２つの画素ブロック内の画素の画素値に基づいて計算する類似度計算手段と、
前記ブロック対抽出手段により抽出された複数のブロック対を、各ブロック対の画素ブロックの中心画素同士を結ぶ直線の方向が類似しているものが同じエリアに属することとなるように、複数のエリアに分割するエリア分割手段と、
前記エリア分割手段により分割された各々のエリアで、前記類似度計算手段により計算された類似度が最も大きい画素ブロック対をエリア代表ブロック対として選択するエリア代表抽出手段と、
前記エリア代表抽出手段により抽出された前記複数個のエリア代表ブロック対のうちで、前記類似度計算手段により計算された類似度又はそれを補正したものが最も大きい画素ブロック対を候補ブロック対として選択するとともに、前記エリア代表抽出手段により抽出された前記複数個のエリア代表ブロック対の中から前記候補ブロック対以外のもののうちで、前記類似度計算手段により計算された類似度又はそれを補正したものが最も大きい画素ブロック対を評価用ブロック対として選択する候補ブロック対抽出手段と、
前記候補ブロック対の類似度又はそれを補正したものと前記評価用ブロック対の類似度又はそれを補正したものの大きさに基づき、前記候補ブロック対の信頼性を評価する信頼性評価手段と、
前記候補ブロック対を構成するそれぞれの画素ブロックの中心位置を参照画素位置として選択する参照画素位置選択手段と、
前記参照画素位置選択手段により選択された参照画素位置の画素値に基づいて前記補間画素を生成する対称位置補間手段と
を備え、
前記参照画素位置選択手段は、前記信頼性評価手段が、信頼性ありと判断した場合は、前記候補ブロック対を構成するそれぞれの画素ブロックの中心位置を参照画素位置として選択し、信頼性なしと判断した場合は、当該補間画素の参照画素位置としてそれ以前に選択した参照画素位置を選択する
ことを特徴とするフレーム補間装置。
【請求項２】
前記参照画素位置選択手段の選択結果を１フレーム遅延するフレーム遅延手段をさらに備え、前記参照画素位置選択手段は、前記フレーム遅延手段の出力を、前記以前に選択した参照画素位置として用いることを特徴とする請求項１に記載のフレーム補間装置。
【請求項３】
前記補間画素の周辺に位置し、現に補間を行なおうとする画素よりも前に補間対象とされた複数の画素の各々について、前記参照画素位置選択手段で選択された参照画素位置を中心画素位置とする画素ブロックから成るブロック対の属するエリアの出現頻度を検出するヒストグラム生成手段をさらに備え、
前記参照画素位置選択手段は、前記信頼性評価手段で信頼性がないと評価された時、前記ヒストグラム生成手段で検出された出現頻度が高いエリアのエリア代表ブロック対の中心画素位置を前記以前に選択した参照画素位置として用いることを特徴とする請求項１に記載のフレーム補間装置。
【請求項４】
前記ヒストグラム生成手段は、前記信頼性評価手段で信頼性があると評価されて前記参照画素位置選択手段で選択されたことを条件として、前記出現頻度を求めるための計数の対象とすることを特徴とする請求項３に記載のフレーム補間装置。
【請求項５】
前記ヒストグラム生成手段で検出された各エリアの出現頻度に応じて、前記エリア代表抽出手段で抽出されたそれぞれのエリアのエリア代表ブロック対の類似度を補正する類似度補正手段をさらに有し、
前記候補抽出手段は、前記類似度補正手段で補正された類似度に基づいて、前記候補ブロック対及び評価用ブロック対の選択を行なう
ことを特徴とする請求項３又は４に記載のフレーム補間装置。
【請求項６】
前記類似度補正手段は、前記出現頻度が高いほど、前記類似度をより大きな値に補正することを特徴とする請求項５に記載のフレーム補間装置。
【請求項７】
前記信頼性評価手段は、前記エリア代表抽出手段により抽出されたすべてのエリアのエリア代表ブロック対の類似度又はそれを補正したものの平均値、前記候補ブロック対の類似度又はそれを補正したものおよび評価用ブロック対の類似度又はそれを補正したもの類似度を用いて、信頼性を評価することを特徴とする請求項１に記載のフレーム補間装置。
【請求項８】
前記信頼性評価手段は、下記の不等式、
{（Ｓｅ−Ｓｃ）}×Ｂ＋Ｃ＞（Ｓａ−Ｓｅ）
（Ｓｅは、評価用ブロック対の類似度又はそれを補正したものを表し、
Ｓｃは、候補ブロック対の類似度又はそれを補正したものを表し、
Ｓａは、すべてのエリア代表ブロック対の類似度又はそれを補正したものの平均値を表し、
Ｂは１以上の係数を表し、
Ｃは０以上の定数を表す）
が満たされるとき、信頼性ありと判断することを特徴とする請求項７に記載のフレーム補間装置。
【請求項９】
第１の参照フレームと第２の参照フレームの間の補間フレーム内の補間画素の画素値を生成するフレーム補間装置であって、
前記補間画素の位置を中心として点対称の位置にある前記第１の参照フレームの画素ブロックと前記第２の参照フレームの画素ブロックとからなる画素ブロック対、及び上記画素ブロック対に対して、一方の画素ブロックを１画素ずらした画素ブロックで置換えた画素ブロック対の一方又は双方を複数個抽出するブロック対抽出手段と、
前記ブロック対抽出手段により抽出された複数の画素ブロック対のそれぞれについて、２つの画素ブロックの類似度を前記２つの画素ブロック内の画素の画素値に基づいて計算する類似度計算手段と、
前記ブロック対抽出手段により抽出された複数のブロック対を、各ブロック対の画素ブロックの中心画素同士を結ぶ直線の方向が類似しているものが同じエリアに属することとなるように、複数のエリアに分割するエリア分割手段と、
前記エリア分割手段により分割された各々のエリアで、前記類似度計算手段により計算された類似度が最も大きい画素ブロック対をエリア代表ブロック対として選択するエリア代表抽出手段と、
前記エリア代表抽出手段で選択されたエリア代表ブロック対の類似度を補正して補正類似度を生成する類似度補正手段と、
前記エリア代表抽出手段により抽出された前記複数個のエリア代表ブロック対のうちで、前記補正類似度が最も大きい画素ブロック対を候補ブロック対として選択する候補抽出手段と、
前記候補ブロック対を構成するそれぞれの画素ブロックの中心位置を参照画素位置として選択する参照画素位置選択手段と、
前記参照画素位置選択手段により選択された参照画素位置の画素値に基づいて前記補間画素を生成する対称位置補間手段と、
前記補間画素の周辺に位置し、現に補間を行なおうとする画素よりも前に補間対象とされた複数の画素の各々について、前記参照画素位置選択手段で選択された参照画素位置を中心画素位置とする画素ブロックから成るブロック対の属するエリアの出現頻度を検出するヒストグラム生成手段とを備え、
前記類似度補正手段は、前記ヒストグラム生成手段で検出された各エリアの出現頻度に応じて、前記エリア代表抽出手段で抽出されたそれぞれのエリアのエリア代表ブロック対の類似度を補正する
ことを特徴とするフレーム補間装置。
【請求項１０】
信頼性評価手段をさらに備え、
前記候補抽出手段は、前記エリア代表抽出手段により抽出された前記複数個のエリア代表ブロック対の中から前記候補ブロック対以外のもののうちで、前記補正類似度が最も大きい画素ブロック対を評価用ブロック対として選択し、
前記信頼性評価手段は、前記候補ブロック対の補正類似度と前記評価用ブロック対の補正類似度の大きさに基づき、前記候補ブロック対の信頼性を評価し、
前記ヒストグラム生成手段は、前記信頼性評価手段で信頼性があると評価されて前記参照画素位置選択手段で選択されたことを条件として、前記出現頻度を求めるための計数の対象とすることを特徴とする請求項９に記載のフレーム補間装置。
【請求項１１】
前記類似度補正手段は、前記出現頻度が高いほど、前記類似度をより大きな値に補正する
ことを特徴とする請求項９又は１０に記載のフレーム補間装置。
【請求項１２】
前記信頼性評価手段は、前記エリア代表抽出手段により抽出されたすべてのエリアのエリア代表ブロック対の補正類似度の平均値、前記候補ブロック対の補正類似度および評価用ブロック対の補正類似度を用いて、信頼性を評価することを特徴とする請求項１０に記載のフレーム補間装置。
【請求項１３】
前記信頼性評価手段は、下記の不等式、
{（Ｓｅ−Ｓｃ）}×Ｂ＋Ｃ＞（Ｓａ−Ｓｅ）
（Ｓｅは、評価用ブロック対の補正類似度を表し、
Ｓｃは、候補ブロック対の補正類似度を表し、
Ｓａは、すべてのエリア代表ブロック対の補正類似度の平均値を表し、
Ｂは１以上の係数を表し、
Ｃは０以上の定数を表す）
が満たされるとき、信頼性ありと判断することを特徴とする請求項１２に記載のフレーム補間装置。
【請求項１４】
前記ブロック対抽出手段が、前記補間画素を中心として点対称の位置にある画素ブロックから成る画素ブロック対と、該点対称の位置にある画素ブロックから成る画素ブロック対に対して、一方の画素ブロックを１画素左、又は１画素右にずらした画素ブロックで置換えた画素ブロック対とを抽出することを特徴とする請求項１乃至１３のいずれかに記載のフレーム補間装置。
【請求項１５】
前記ブロック対抽出手段が、前記補間画素を中心として点対称の位置にある画素ブロックから成る画素ブロック対と、該点対称の位置にある画素ブロックから成る画素ブロック対に対して、一方の画素ブロックを１画素上、又は１画素下にずらした画素ブロックで置換えた画素ブロック対とを抽出することを特徴とする請求項１乃至１３のいずれかに記載のフレーム補間装置。
【請求項１６】
前記ブロック対抽出手段が、前記補間画素を中心として点対称の位置にある画素ブロックから成る画素ブロック対と、該点対称の位置にある画素ブロックから成る画素ブロック対に対して、一方の画素ブロックを１画素右斜め上、又は１画素右斜め下、又は１画素左斜め上、又は１画素左斜め下にずらした画素ブロックで置換えた画素ブロック対とを抽出することを特徴とする請求項１乃至１３のいずれかに記載のフレーム補間装置。
【請求項１７】
前記類似度計算手段は、画素ブロック対を構成する一方の画素ブロック内の少なくとも一部の画素と、他方の画素ブロックの対応する位置にある画素の画素値の差分の絶対値の総和を求め、該総和を、前記類似度を表すものとして出力することを特徴とする請求項１乃至１６のいずれかに記載のフレーム補間装置。
【請求項１８】
前記類似度計算手段は、画素ブロック対を構成する一方の画素ブロック内のすべての画素と、他方の画素ブロックの対応する位置にある画素の画素値の差分の絶対値の総和を求めることを特徴とする請求項１７に記載のフレーム補間装置。
【請求項１９】
前記類似度計算手段は、画素ブロック対を構成する一方の画素ブロック内の画素に対し均等な間引き処理を行った後の画素と、他方の画素ブロックの対応する位置にある画素の画素値の差分の絶対値の総和を求めることを特徴とする請求項１７に記載のフレーム補間装置。
【請求項２０】
第１の参照フレームと第２の参照フレームの間の補間フレーム内の補間画素の画素値を生成するフレーム補間方法であって、
前記補間画素の位置を中心として点対称の位置にある前記第１の参照フレームの画素ブロックと前記第２の参照フレームの画素ブロックとからなる画素ブロック対、及び上記画素ブロック対に対して、一方の画素ブロックを１画素ずらした画素ブロックで置換えた画素ブロック対の一方又は双方を複数個抽出するブロック対抽出ステップと、
前記ブロック対抽出ステップにより抽出された複数の画素ブロック対のそれぞれについて、２つの画素ブロックの類似度を前記２つの画素ブロック内の画素の画素値に基づいて計算する類似度計算ステップと、
前記ブロック対抽出ステップにより抽出された複数のブロック対を、各ブロック対の画素ブロックの中心画素同士を結ぶ直線の方向が類似しているものが同じエリアに属することとなるように、複数のエリアに分割するエリア分割ステップと、
前記エリア分割ステップにより分割された各々のエリアで、前記類似度計算ステップにより計算された類似度が最も大きい画素ブロック対をエリア代表ブロック対として選択するエリア代表抽出ステップと、
前記エリア代表抽出ステップにより抽出された前記複数個のエリア代表ブロック対のうちで、前記類似度計算ステップにより計算された類似度又はそれを補正したものが最も大きい画素ブロック対を候補ブロック対として選択するとともに、前記エリア代表抽出ステップにより抽出された前記複数個のエリア代表ブロック対の中から前記候補ブロック対以外のもののうちで、前記類似度計算ステップにより計算された類似度又はそれを補正したものが最も大きい画素ブロック対を評価用ブロック対として選択する候補ブロック対抽出ステップと、
前記候補ブロック対の類似度又はそれを補正したものと前記評価用ブロック対の類似度又はそれを補正したものの大きさに基づき、前記候補ブロック対の信頼性を評価する信頼性評価ステップと、
前記候補ブロック対を構成するそれぞれの画素ブロックの中心位置を参照画素位置として選択する参照画素位置選択ステップと、
前記参照画素位置選択ステップにより選択された参照画素位置の画素値に基づいて前記補間画素を生成する対称位置補間ステップと
を備え、
前記参照画素位置選択ステップは、前記信頼性評価ステップが、信頼性ありと判断した場合は、前記候補ブロック対を構成するそれぞれの画素ブロックの中心位置を参照画素位置として選択し、信頼性なしと判断した場合は、当該補間画素の参照画素位置としてそれ以前に選択した参照画素位置を選択する
ことを特徴とするフレーム補間方法。
【請求項２１】
第１の参照フレームと第２の参照フレームの間の補間フレーム内の補間画素の画素値を生成するフレーム補間方法であって、
前記補間画素の位置を中心として点対称の位置にある前記第１の参照フレームの画素ブロックと前記第２の参照フレームの画素ブロックとからなる画素ブロック対、及び上記画素ブロック対に対して、一方の画素ブロックを１画素ずらした画素ブロックで置換えた画素ブロック対の一方又は双方を複数個抽出するブロック対抽出ステップと、
前記ブロック対抽出ステップにより抽出された複数の画素ブロック対のそれぞれについて、２つの画素ブロックの類似度を前記２つの画素ブロック内の画素の画素値に基づいて計算する類似度計算ステップと、
前記ブロック対抽出ステップにより抽出された複数のブロック対を、各ブロック対の画素ブロックの中心画素同士を結ぶ直線の方向が類似しているものが同じエリアに属することとなるように、複数のエリアに分割するエリア分割ステップと、
前記エリア分割ステップにより分割された各々のエリアで、前記類似度計算ステップにより計算された類似度が最も大きい画素ブロック対をエリア代表ブロック対として選択するエリア代表抽出ステップと、
前記エリア代表抽出ステップで選択されたエリア代表ブロック対の類似度を補正して補正類似度を生成する類似度補正ステップと、
前記エリア代表抽出ステップにより抽出された前記複数個のエリア代表ブロック対のうちで、前記補正類似度が最も大きい画素ブロック対を候補ブロック対として選択する候補抽出ステップと、
前記候補ブロック対を構成するそれぞれの画素ブロックの中心位置を参照画素位置として選択する参照画素位置選択ステップと、
前記参照画素位置選択ステップにより選択された参照画素位置の画素値に基づいて前記補間画素を生成する対称位置補間ステップと、
前記補間画素の周辺に位置し、現に補間を行なおうとする画素よりも前に補間対象とされた複数の画素の各々について、前記参照画素位置選択ステップで選択された参照画素位置を中心画素位置とする画素ブロックから成るブロック対の属するエリアの出現頻度を検出するヒストグラム生成ステップとを備え、
前記類似度補正ステップは、前記ヒストグラム生成ステップで検出された各エリアの出現頻度に応じて、前記エリア代表抽出ステップで抽出されたそれぞれのエリアのエリア代表ブロック対の類似度を補正する
ことを特徴とするフレーム補間方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号に含まれる２枚のフレームの画像を用いて、２枚のフレームの間に存在する補間フレームの画像を生成するフレーム補間装置及びフレーム補間方法に関するものである。
【背景技術】
【０００２】
液晶ディスプレイなどのホールド型ディスプレイは、１フレーム期間同じ画像を表示し続けており、画像中の物体が動いた場合に、動く物体に対する人間の目の追従が連続的に移動するのに対して、物体の移動が１フレーム単位の不連続な移動を行っているためにエッジ部分がぼやけて見える問題がある。これに対し、フレームを補間することで表示フレーム数を多くして物体の移動をスムーズにすることが考えられる。
【０００３】
また、映画などのフィルム映像がテレビ信号に変換された素材については、両者（フィルム映像とテレビ信号）のフレーム周波数の違いから、２枚（２フィールド）又は３枚（フィールド）が同じフレームから作られた画像となっており、そのまま表示すると、動きがぼやけたり、動きがギクシャクしたジャダーが発生したりする問題がある。
【０００４】
また、同様にコンピュータ処理された映像がテレビ信号に変換された素材についても、２枚（２フィールド）が同じフレームから作られた画像であり、そのまま表示すると同様にジャダーが発生する問題がある。
【０００５】
従来のフレーム補間装置及びフレーム補間方法として、補間フレームに対して１フレーム前のフレームと同じ画像で補間する零時ホールド法か、補間フレームに対して１フレーム前の画像と１フレーム後の画像の平均画像で補間する平均値補間法などがあるが、零時ホールド法は、一定方向に動く画像に対して、滑らかな移動をしないので、依然ホールド型ディスプレイのぼやけの問題は解決されない。また、平均値補間法は、動いた画像が２重像になる問題がある。
【０００６】
この改善策として、画像を複数の画素ブロックに分割し、補間フレームに対して１フレーム前のフレームを第１の参照フレームとし、補間フレームに対して１フレーム後のフレームを第２の参照フレームとし、第１の参照フレーム中にある画素ブロックと相関の最も大きい画素ブロックを第２の参照フレームから見つけ、見つかった画素ブロック対から補間フレームの画素ブロックの画像を補間するものがある（例えば、特許文献１参照）。この方法は、画素ブロック単位で補間フレームを生成するために、処理に必要なメモリ（主にはＳＤＲＡＭが使用される）のデータのリード・ライトが煩雑になり、ハードウェア化が困難である問題がある。
【０００７】
また、別の改善策として、補間フレームの補間画素に対して点対称の位置にある第１の参照フレーム上の画素と第２の参照フレーム上の画素との画素間の相関が最も大きい画素から補間フレームの補間画素を生成するものがある（例えば、特許文献２参照）。この方法では、画素単位での相関検出のため、画像の内容が異なるにも拘らず、画素間の相関が大きいと検出される場合があり、正しく補間画像が得られない場合がある。
【０００８】
【特許文献１】特開２００４−３５７２１５号公報（第９頁、第１６図）
【特許文献２】特開２００６−１２９１８１号公報（第８頁、第３図）
【発明の開示】
【発明が解決しようとする課題】
【０００９】
従来のフレーム補間装置は、上記の様に構成されており、動きがぼやけたり、動きがギクシャクしたジャダーが発生したりする問題がある。また、画素単位の相関を検出する方法では、正しく相関検出ができない問題がある。
【課題を解決するための手段】
【００１０】
本発明のフレーム補間装置は、
第１の参照フレームと第２の参照フレームの間の補間フレーム内の補間画素の画素値を生成するフレーム補間装置であって、
前記補間画素の位置を中心として点対称の位置にある前記第１の参照フレームの画素ブロックと前記第２の参照フレームの画素ブロックとからなる画素ブロック対、及び上記画素ブロック対に対して、一方の画素ブロックを１画素ずらした画素ブロックで置換えた画素ブロック対の一方又は双方を複数個抽出するブロック対抽出手段と、
前記ブロック対抽出手段により抽出された複数の画素ブロック対のそれぞれについて、２つの画素ブロックの類似度を前記２つの画素ブロック内の画素の画素値に基づいて計算する類似度計算手段と、
前記ブロック対抽出手段により抽出された複数のブロック対を、各ブロック対の画素ブロックの中心画素同士を結ぶ直線の方向が類似しているものが同じエリアに属することとなるように、複数のエリアに分割するエリア分割手段と、
前記エリア分割手段により分割された各々のエリアで、前記類似度計算手段により計算された類似度が最も大きい画素ブロック対をエリア代表ブロック対として選択するエリア代表抽出手段と、
前記エリア代表抽出手段により抽出された前記複数個のエリア代表ブロック対のうちで、前記類似度計算手段により計算された類似度又はそれを補正したものが最も大きい画素ブロック対を候補ブロック対として選択するとともに、前記エリア代表抽出手段により抽出された前記複数個のエリア代表ブロック対の中から前記候補ブロック対以外のもののうちで、前記類似度計算手段により計算された類似度又はそれを補正したものが最も大きい画素ブロック対を評価用ブロック対として選択する候補ブロック対抽出手段と、
前記候補ブロック対の類似度又はそれを補正したものと前記評価用ブロック対の類似度又はそれを補正したものの大きさに基づき、前記候補ブロック対の信頼性を評価する信頼性評価手段と、
前記候補ブロック対を構成するそれぞれの画素ブロックの中心位置を参照画素位置として選択する参照画素位置選択手段と、
前記参照画素位置選択手段により選択された参照画素位置の画素値に基づいて前記補間画素を生成する対称位置補間手段と
を備え、
前記参照画素位置選択手段は、前記信頼性評価手段が、信頼性ありと判断した場合は、前記候補ブロック対を構成するそれぞれの画素ブロックの中心位置を参照画素位置として選択し、信頼性なしと判断した場合は、当該補間画素の参照画素位置としてそれ以前に選択した参照画素位置を選択する
ことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、最も類似度が大きい、第１の参照フレームと第２の参照フレームの間での画像の動きの量に最も近い相対位置関係（方向及び距離）を有する一対の画素ブロック各々の中心に位置する画素の画素値に基づいて補間画素の画素値を決定するため、正しい相関検出が可能となる。よって、正確な補間が出来、動きのぼやけやジャダーが改善される。また、相対位置関係の近いブロック対同士を集めたエリア毎の代表ブロック対を求め、その中で、最も類似度の高いものを候補ブロック対とし、次に類似度の高いもを評価用ブロック対として信頼性の評価を行なうので、信頼性の判断を的確に行なうことができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態を図面により説明する。
実施の形態１．
図１はこの発明の実施の形態１のフレーム補間装置を示すブロック図である。図示のフレーム補間装置は、入力端子１と、遅延手段２と、ブロック対抽出手段３と、類似度計算手段４と、エリア分割手段５と、エリア代表抽出手段６と、候補抽出手段７と、信頼性評価手段８と、参照画素位置選択手段９と、遅延手段１０と、対称位置補間手段１１と、出力端子１２とを有する。
【００１３】
入力端子１より入力された映像信号は、遅延手段２に入力され、１フレーム期間の遅延が行われ、第１の参照フレームとしてブロック対抽出手段３の一方に入力される。また、入力端子１に入力された映像信号は、第２の参照フレームとしてブロック対抽出手段３の他方の入力に入力される。ブロック対抽出手段３は第１の参照フレームと、第２の参照フレームから補間画素を中心として略点対称の位置にあり、同数の画素から成る画素ブロックの対を、複数個抽出して類似度計算手段４へ出力する。
ブロック対抽出手段３はまた、各画素ブロックの中心位置の画素値を対称位置補間手段１１へ出力する。
【００１４】
各フレーム内の画素は、図２に示すように、フレームＦ内に（フレームを構成する画面上に）マトリクス状に配列されている。即ち、水平方向（主走査方向）及び垂直方向（副走査方向）に互いに整列している。フレームＦ内の各画素の位置を水平方向の座標値ｈと垂直方向の座標値ｖとにより、（ｈ，ｖ）で表すものとする。座標の原点はフレームの最も左で且つ最も上の位置にあり、水平方向の座標値ｈは右向きに画素間隔一つにつき値が１つずつ大きくなり、垂直方向の座標値ｖは下向きに、画素間隔一つにつき値が１ずつ大きくなるものとする。
【００１５】
補間フレーム内の任意の位置（ｈ，ｖ）の補間画素を生成する場合、第１の参照フレーム内の画素ブロックＢＬａ及び第２の参照フレームの画素ブロックＢＬｂとして、例えばその中心位置が水平方向には（ｈ−２）から（ｈ＋２）までの範囲のもの、垂直方向には（ｖ−１）から（ｖ＋１）までの範囲のものが抽出される。このような条件を満たす画素ブロックは第１の参照フレーム、第２の参照フレームの各々に１５個ずつある。各画素ブロックは例えば３行５列の画素から成るものである。
【００１６】
図３（ａ）〜（ｄ）及び図４（ａ）〜（ｄ）には、そのような画素ブロックのうちのいくつかが例示されている。そのうち、図３（ａ）〜（ｄ）に示されるものは第１の参照フレーム内の画素ブロックＢＬａであり、図４（ａ）〜（ｄ）に示されるものは第２の参照フレーム内の画素ブロックＢＬｂである。
【００１７】
図３（ａ）に示される画素ブロックＢＬａ（１）と図４（ａ）に示される画素ブロックＢＬｂ（１）が補間画素を中心として点対称の位置にある画素ブロックから成る画素ブロック対を構成している。同様に、図３（ｂ）に示される画素ブロックＢＬａ（２）と図４（ｂ）に示される画素ブロックＢＬｂ（２）が補間画素を中心として点対称の位置にある画素ブロックから成る画素ブロック対を構成している。同様に、図３（ｃ）に示される画素ブロックＢＬａ（３）と図４（ｃ）に示される画素ブロックＢＬｂ（３）が補間画素を中心として点対称の位置にある画素ブロックから成る画素ブロック対を構成している。同様に、図３（ｄ）に示される画素ブロックＢＬａ（１５）と図４（ｄ）に示される画素ブロックＢＬｂ（１５）が補間画素を中心として点対称の位置にある画素ブロックから成る画素ブロック対を構成している。
【００１８】
ブロック対抽出手段３は、このように、補間画素を中心として点対称の位置にある２つの画素ブロックから成る画素ブロック対を順次抽出する。
【００１９】
ブロック対抽出手段３はさらに、図３（ａ）〜（ｄ）に例示したように補間画素を中心として点対称の位置にある画素ブロックの対のみでなく、それらのうちの一方を、１画素左方にずらした画素ブロックで置換えたものをも抽出する。例えば、図４（ａ）に示される画素ブロックＢＬｂ（１）を図５（ａ）に示されるように１画素左にずらした画素ブロックＢＬｂ（１）と、図３（ａ）に示される画素ブロックＢＬａ（１）とで構成される画素ブロック対、同様に図４（ｂ）に示される画素ブロックＢＬｂ（２）を図５（ｂ）に示されるように１画素左にずらした画素ブロックＢＬｂ（２）と、図３（ｂ）に示される画素ブロックＢＬａ（２）とで構成される画素ブロック対、同様に図４（ｃ）に示される画素ブロックＢＬｂ（３）を図５（ｃ）に示されるように１画素左にずらした画素ブロックＢＬｂ（３）と、図３（ｃ）に示される画素ブロックＢＬａ（３）とで構成される画素ブロック対、同様に図４（ｄ）に示される画素ブロックＢＬｂ（１５）を図５（ｄ）に示されるように１画素左にずらした画素ブロックＢＬｂ（１５）と、図３（ｄ）に示される画素ブロックＢＬａ（１５）とで構成される画素ブロック対を抽出する。
【００２０】
図３（ａ）〜（ｄ）に例示された画素ブロックと図４（ａ）〜（ｄ）に例示された画素ブロックは、相互間（それらの内部の互いに対応する画素相互間）に水平方向に偶数個の画素、即ち４画素、２画素、０画素の位置の差（距離）があるが、図３（ａ）〜（ｄ）に示された画素ブロックと図５（ａ）〜（ｄ）に示された画素ブロックは、相互間に水平方向に奇数個の画素、即ち３画素、１画素の差（距離）がある。
【００２１】
ブロック対抽出手段３はさらに、図３（ａ）〜（ｄ）及び図４（ａ）〜（ｄ）に例示したように補間画素を中心にして点対称の位置にある画素ブロックの対を構成する画素ブロックの一方を、１画素上方にずらした画素ブロックで置換えたものをも抽出する。例えば、図４（ａ）〜（ｄ）に例示された画素ブロックを１画素上にずらした画素ブロックと、図３（ａ）〜（ｄ）に例示された画素ブロックとで構成される画素ブロック対を抽出する。
【００２２】
ブロック対抽出手段３はさらに、図３（ａ）〜（ｄ）及び図４（ａ）〜（ｄ）に例示したように補間画素を中心にして点対称の位置にある画素ブロックの対を構成する画素ブロックの一方を、１画素左方で且つ１画素上方に（即ち、斜め左上に）ずらした画素ブロックで置換えたものをも抽出する。例えば、図４（ａ）〜（ｄ）に例示された画素ブロックを１画素斜め左上にずらした画素ブロックと、図３（ａ）〜（ｄ）に例示された画素ブロックとで構成される画素ブロック対を抽出する。
【００２３】
ブロック対抽出手段３により抽出された画素ブロック対は、類似度計算手段４に入力され、画素ブロック対毎に画素ブロック相互間の類似度が計算される。類似度計算手段４は、例えば図３（ａ）の画素ブロックＢＬａと図４（ａ）の画素ブロックＢＬｂとの類似度の計算に当たっては、図３（ａ）の画素ブロックＢＬａ中の画素ａ１〜ａ１５と、図４（ａ）の画素ブロックＢＬｂ中の画素ｂ１〜ｂ１５（画素ａ１乃至ａ１５に対応する位置（画素ブロック内の同一の位置）にある画素）との差分絶対値の総和（以下、ＳＡＤと呼ぶ）を以下の式により類似度として計算する。
【００２４】
【数１】
0005025432.tif 000002
【００２５】
同様に、他の画素ブロック対についても差分絶対値の総和ＳＡＤが計算され、計算結果を各画素ブロック対の類似度としてエリア代表抽出手段６に出力する。ここで、総和ＳＡＤの値が小さいほど類似度が大きく、総和ＳＡＤが大きいほど類似度が小さいことを意味する。
このようにしてブロック対抽出手段３で抽出されたすべてのブロック対につき差分絶対値の総和ＳＡＤ（類似度を表す指標）が計算される。本例では、上記した４種類の各々につき１５個のブロック対が抽出されるので、全部で６０個のブロック対について差分絶対値の総和ＳＡＤが計算されることになる。
【００２６】
ブロック対抽出手段３で抽出される上記の６０個のブロック対は、各ブロック対の画素ブロックの中心画素同士を結ぶ直線の方向及び長さ（中心画素相互間の距離）が互いに異なり、上記直線の方向及び長さにより、ブロック対相互間の相対的位置関係を定義することができる。なお、後述のように、ブロック対の画素ブロック相互間の類似度が最も大きいときは、それらのブロックの中心画素同士を結ぶ直線の方向及び長さ動きの方向及び大きさに対応するものであるので、上記ブロックの中心画素同士を結ぶ直線の方向を、「動きの方向」と呼ぶこともある。
【００２７】
図６は、上記した相対的位置関係のマトリクス配列の一例を示す。
本例（検討している例）では、ブロック対抽出手段３が６０個のブロック対を抽出するので、図６のマトリクスは６行１０列に配列された６０の要素位置を有する。この６０個の要素位置は、それぞれブロック対の相対的位置関係に対応するものであり、従って各要素はブロック対に対応するものであると言うことができる。
マトリクスＭ内の各要素の位置を水平方向の座標値（列番号）ｉと垂直方向の座標値（行番号）ｊとにより、（ｉ，ｊ）で表すものとする。座標の原点はマトリクスの最も左で且つ最も上の位置にあり、水平方向の座標値ｉは右向きに要素間隔一つにつき値が１つずつ大きくなり、垂直方向の座標値ｊは下向きに、要素間隔一つにつき値が１ずつ大きくなるものとする。
【００２８】
マトリクスの最も左で且つ最も上の位置（ｉ＝１、ｊ＝１）にある要素は、図３（ａ）に示される画素ブロックと図４（ａ）に示される画素ブロックとで構成されるブロック対に対応する。
ｉ＝３、ｊ＝１の位置にある要素は、図３（ｂ）に示される画素ブロックと図４（ｂ）に示される画素ブロックとで構成されるブロック対に対応する。
ｉ＝５、ｊ＝１の位置にある要素は、図３（ｃ）に示される画素ブロックと図４（ｃ）に示される画素ブロックとで構成されるブロック対に対応する。
ｉ＝９、ｊ＝５の位置にある要素は、図３（ｄ）に示される画素ブロックと図４（ｄ）に示される画素ブロックとで構成されるブロック対に対応する。
一般化して言えば、ｆ＝０、１、２、３又は４、ｇ＝０、１又は２であるとき、ｉ＝１＋（２ｆ）、ｊ＝１＋（２ｇ）の位置（図６で「○」印で示されている）にある要素は、図３（ａ）乃至（ｄ）、図４（ａ）乃至（ｄ）により例示されたように、補間画素を中心として点対称の位置にある画素ブロックから成る画素ブロック対に対応する。
【００２９】
ｉ＝２、ｊ＝１の位置にある要素は、図３（ａ）に示される画素ブロックと図５（ａ）に示される画素ブロックとで構成されるブロック対に対応する。
ｉ＝４、ｊ＝１の位置にある要素は、図３（ｂ）に示される画素ブロックと図５（ｂ）に示される画素ブロックとで構成されるブロック対に対応する。
ｉ＝６、ｊ＝１の位置にある要素は、図３（ｃ）に示される画素ブロックと図５（ｃ）に示される画素ブロックとで構成されるブロック対に対応する。
ｉ＝１０、ｊ＝５の位置にある要素は、図３（ｄ）に示される画素ブロックと図５（ｄ）に示される画素ブロックとで構成されるブロック対に対応する。
【００３０】
一般化して言えば、ｆ＝０、１、２、３又は４、ｇ＝０、１又は２であるとき、ｉ＝２＋（２ｆ）、ｊ＝１＋（２ｇ）の位置（図６で「△」印で示される）にある要素は、図３（ａ）乃至（ｄ）、図５（ａ）乃至（ｄ）により例示されたように、補間画素を中心として点対称の位置にある画素ブロックから成る画素ブロック対に対して、第２の参照フレームの画素ブロックを１画素左にずらした画素ブロックで置換えた画素ブロック対に対応する。
【００３１】
同様に、ｆ＝０、１、２、３又は４、ｇ＝０、１又は２であるとき、ｉ＝２＋（２ｆ）、ｊ＝１＋（２ｇ）の位置（図６で「□」印で示される）にある要素は、補間画素を中心として点対称の位置にある画素ブロックから成る画素ブロック対に対して、第２の参照フレームの画素ブロックを１画素上にずらした画素ブロックで置換えた画素ブロック対（図４（ａ）〜（ｄ）に示される画素ブロックを１画素上にずらした画素ブロックと、図３（ａ）〜（ｄ）に示される画素ブロックとで構成される画素ブロック対）に対応する。
同様に、ｆ＝０、１、２、３又は４、ｇ＝０、１又は２であるとき、ｉ＝２＋（２ｆ）、ｊ＝２＋（２ｇ）の位置（図６で「×」印で示される）にある要素は、補間画素を中心として点対称の位置にある画素ブロックから成る画素ブロック対に対して、第２の参照フレームの画素ブロックを１画素斜め左上にずらした画素ブロックで置換えた画素ブロック対（図４（ａ）〜（ｄ）に示される画素ブロックを１画素斜め左上にずらした画素ブロックと、図３（ａ）〜（ｄ）に示される画素ブロックとで構成される画素ブロック対）に対応する。
【００３２】
図６に示される各要素の位置は、上記のように、第１の参照フレームのブロックと第２の参照フレームのブロックから成るブロック対の相対的位置関係に対応するものであり、従ってこれらのブロック対間の動きベクトルの方向及び大きさに対応するものである。
図７は、図６の６０個の各要素位置の動きベクトルの方向及び大きさを矢印により概略的に表したものである。図７の矢印はその方向及び長さが上記動きベクトルの方向及び大きさに対応する。
【００３３】
例えば、ｉ＝１、ｊ＝１の要素位置は、第１の参照フレームの図３（ａ）のブロックから第２の参照フレーム図４（ａ）のブロックへの斜め右下への大きな動きに対応するものであり、その位置における矢印は斜め右下に向いた長いものとなる。
また、ｉ＝５、ｊ＝１の要素位置は、第１の参照フレームの図３（ｃ）ブロックから第２の参照フレームの図４（ｃ）のブロックへの、下向きの動きに対応するものであり、その位置おける矢印は下向きのものとなっている。
【００３４】
エリア分割手段５は、図６に示される複数の要素位置、即ちブロック対の相対的位置関係、或いは図７に示される複数の動きベクトルの方向に従って分割し、互いに近似したもの同士が同じエリア乃至群に属することとなるようにする。従って、エリア分割手段５は、ブロック対を、その動きベクトルの方向に従って分類する（動きベクトルが互いに近似したブロック対が互いに同じ群に属することとなるように分類する）分類手段であるとも言える。
例えば、図７に示されるように、６０個のベクトル（従って、図６のブロック対）を、図７に太線で示すように、さらに図８にも示すように、９個のエリアＡ〜Ｉに分ける。
【００３５】
例えば、ｉ＝１、ｊ＝１のブロック対、ｉ＝２、ｊ＝１のブロック対、ｉ＝３、ｊ＝１のブロック対、ｉ＝１、ｊ＝２のブロック対、ｉ＝２、ｊ＝２のブロック対、ｉ＝３、ｊ＝２のブロック対、ｉ＝１、ｊ＝３のブロック対、ｉ＝２、ｊ＝３のブロック対、ｉ＝３、ｊ＝３のブロック対をエリアＡに属するものとする。このエリアＡは右斜め下向きのベクトルエリアとなる。
【００３６】
エリアＢからエリアＩも同様に分けた時、エリアＢは下向きのベクトルエリア、エリアＣは左斜め下向きのベクトルエリア、エリアＤは右向きのベクトルエリア、エリアＥは動きのない静止ベクトルエリア、エリアＦは左向きのベクトルエリア、エリアＧは右斜め上向きのベクトルエリア、エリアＨは上向きのベクトルエリア、エリアＩは左斜め上向きのベクトルエリアとなる。
【００３７】
エリア代表抽出手段６は、エリア分割手段５でエリアＡからエリアＩの各々に属する複数個のブロック対のうちで、類似度計算手段４により計算された類似度が最も大きい（差分絶対値の総和ＳＡＤが最も小さい）画素ブロック対をエリア代表ブロック対として選択し抽出する。
エリアＡからエリアＩの各々から１つのエリア代表ブロック対が抽出され、全部で９つのエリア代表ブロック対が抽出されることになる。
【００３８】
候補抽出手段７は、エリア代表抽出手段６で抽出された各エリアのエリア代表ブロック対のうちで、類似度計算手段４により計算された類似度が最も大きい画素ブロック対（エリア代表ブロック対）を候補ブロック対として選択する。
候補抽出手段７はまた、エリア代表抽出手段６で抽出された複数個のエリア代表ブロック対のうちで、候補ブロック対以外のもの（エリア代表ブロック対）の中で、類似度が最も大きい画素ブロック対(エリア代表抽出手段６で抽出されたそれぞれのエリアのエリア代表ブロック対のうちで、類似度計算手段４により計算された類似度が２番目に大きい画素ブロック対)を評価用ブロック対として選択する。
【００３９】
信頼性評価手段８はエリア代表抽出手段６が抽出した９つのエリア代表ブロック対の類似度の平均値（差分絶対値の総和ＳＡＤの平均値）を計算するとともに、この類似度の平均値と評価用ブロック対の類似度（評価用類似度）と候補ブロック対の類似度（候補類似度）とから、候補類似度の信頼性を評価する。例えば下記の不等式（２）が成立する場合、信頼性があると判断し、成立しない場合は信頼性がないと判断する。
（Ｓｅ―Ｓｃ）×Ｂ  ＋  Ｃ  ＞（Ｓａ―Ｓｅ）      …（２）
（Ｓｅは評価用類似度を表す値（評価用ブロック対の差分絶対値の総和ＳＡＤ）、
Ｓｃは候補類似度を表す値（候補ブロック対の差分絶対値の総和ＳＡＤ）、
Ｓａはエリア代表ブロック対の類似度の平均値を表す値（エリア代表ブロック対の差分絶対値の総和ＳＡＤの平均値）、
Ｂは１より大きい係数であり、例えば２、
Ｃは０以上の定数であり、例えば１００（画素値が８ビットで表され、従ってその取り得る値の最大値が２５５である場合を想定している）である。
【００４０】
信頼性評価手段８は、上記の式（２）による判定の結果を参照画素位置選択手段８に出力する。
【００４１】
式（２）が満たされることは、候補類似度と評価用類似度の差のＢ倍（Ｂ＞１）にＣを加算した値が、評価用類似度と（すべてのエリア代表ブロック対の）類似度の平均値との差よりも大きいことを意味し、即ち、候補ブロック対の類似度が際立って大きい（類似度の最大値を含むピークが突出している）ことを意味する。
【００４２】
本発明では、このように、候補ブロック対の類似度が際立って大きい場合のみ、候補ブロック対の選択が信頼できるものであると判定し、候補ブロック対の中心位置を参照画素位置として補間を行なうこととしており、一方、類似度が最大ではあるものの、他に比べて類似度の違いがさほど大きくない場合には、その候補ブロック対の中心位置を参照画素位置とはしないことにより、補間をより正確に行なうこととしており、これにより、補間の精度を高めることができる。
【００４３】
そして、評価用ブロック対として、候補ブロック対とは別のエリアのものが選択されるので、候補ブロック対と同じエリア内の他のブロック対が評価用ブロック対よりも類似度が大きい場合にも、そのような他のブロック対を排除して信頼性の評価を行うので、一つのエリア内に他のエリアよりも類似度の大きいブロック対が多く存在する（中心画素同士を結ぶ直線の方向が近似した範囲内に類似度の大きいブロック対が集中している）場合にも、信頼性の評価を適切に行うことができる。
【００４４】
参照画素位置選択手段９は、信頼性評価手段８で信頼性があると判断された場合は、候補抽出手段７の出力であるブロック対の中心画素位置を参照画素位置として選択し、信頼性がないと判断された場合は、以前に選択された参照画素位置、例えば１フレーム遅延手段１０によって１フレーム遅延された１回前の参照画素位置を選択し、参照画素位置を示す情報を対称位置補間手段１１に供給する。
参照画素位置の選択は、参照画素の、補間画素に対する方向の選択でもあるので、補間方向の選択と言う意味をも持つ。
【００４５】
ここで各画素ブロックの中心に位置する画素（中心画素）とは、各画素ブロックを構成する中央の行に位置し且つ中央の列に位置する画素を言う。例えば、画素ブロックが３行５列の画素から成るときは、第２行第３列の画素を言う。一般的に各画素ブロックがｐ行ｑ列の画素から成り、ｐ、ｑが奇数の場合には、第（ｐ＋１）／２行、第（ｑ＋１）／２列の画素を言う。
ｐ、ｑが偶数の場合には、第ｐ／２行又は第（ｐ／２）＋１行、第ｑ／２列又は第（ｑ／２）＋１列の画素を中心画素として扱う。即ち、画素ブロックの中心は、正確な中心位置に限らず、正確な中心位置の近傍の位置であっても良い。
なお、中心位置の一義的確定のためには、ｐ、ｑが奇数であるのが望ましい。
【００４６】
対称位置補間手段１１は、ブロック対抽出手段３から供給された各画素ブロックの中心位置の画素値のうち、参照画素位置選択手段９により選択された参照画素位置の画素値の平均値を計算し、計算結果を、補間画素の画素値として出力端子１２に出力する。
以上の動作を補間フレームのすべての補間画素に対して行うことで、補間フレームの補間画像を得る。
【００４７】
なお、上記の例では、ブロック対抽出手段３は、補間画素に対して点対称の位置にある画素ブロック対（ａ）並びにそのような画素ブロック対に対して、一方の参照フレーム例えば第２の参照フレーム内の画素ブロックを１画素左にずらした画素ブロック対（ｂ）、１画素上にずらした画素ブロック対（ｃ）、及び１画素斜め左上にずらした画素ブロック対（ｄ）を抽出しているが、本発明はこれに限定されず、ハードウェアの規模を少なくするために、上記画素ブロック対（ａ）のほか一方の参照フレーム内の画素ブロックを１画素左にずらした画素ブロック対（ｂ）のみ、又は１画素上にずらした画素ブロック対（ｃ）のみ、又は１画素斜め左上にずらした画素ブロック対（ｄ）のみを抽出しても良い。
また、「１画素左」の代わりに、「１画素右」にずらしたものを用いても良く、「１画素上」の代わりに、「１画素下」にずらしたものを用いても良く、「１画素左斜め上」の代わりに、「１画素右斜め下」、「１画素左斜め下」、又は「１画素右斜め上」にずらしたものを用いても良い。
さらに、第２の参照フレームの画素ブロックをずらした画素ブロック対ではなく、第１の参照フレームの画素ブロックをずらした画素ブロック対を用いても良い。
さらに、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対に加えて、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対の一方の画素ブロックを１画素ずらしたもので置換えた画素ブロック対を用いる代わりに、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対を用いずに、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対の一方の画素ブロックを１画素ずらしたもので置換えた画素ブロック対のみを用いても良い。
【００４８】
上記のように、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対の一方の画素ブロックを１画素にずらしたブロック対を抽出するようにした場合には、第１の参照フレームと第２の参照フレームの間で、上記ずらした方向に奇数画素の動きがあった（被写体の画像が奇数画素分移動した）場合にも動きの量に最も近い相互間距離を有する一対の画素ブロックの各々の中心位置を参照画素位置として選択することができ、補間をより正確に行うことができると言う効果がある。
【００４９】
例えば、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対の一方の画素ブロックを１画素左、又は１画素右にずらしたブロック対を抽出するようにした場合には、第１の参照フレームと第２の参照フレームの間で水平方向に奇数画素の動きがあった（被写体の画像が奇数画素分移動した）場合にも動きの量に最も近い相互間距離を有する一対の画素ブロックの各々の中心位置を参照画素位置として選択することができ、補間をより正確に行うことができると言う効果がある。
【００５０】
同様に、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対の一方のブロックを１画素上、又は１画素下にずらしたブロック対をも抽出するようにした場合には、第１の参照フレームと第２の参照フレームの間で垂直方向に奇数画素の動きがあった（被写体の画像が奇数画素分移動した）場合にも動きの量に最も近い相互間距離を有する一対の画素ブロックの各々の中心位置を参照画素位置として選択することができ、補間をより正確に行うことができると言う効果がある。
【００５１】
同様に、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対の一方のブロックを１画素斜め左上、又は１画素斜め右下にずらしたブロック対、又は１画素斜め左下にずらしたブロック対、１画素斜め右上にずらしたブロック対を抽出するようにした場合には、第１の参照フレームと第２の参照フレームの間で斜め方向に奇数画素の動きがあった（被写体の画像が奇数画素分移動した）場合にも動きの量に最も近い相互間距離を有する一対の画素ブロックの各々の中心位置を参照画素位置として選択することができ、補間をより正確に行うことができると言う効果がある。
【００５２】
一方、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対を抽出するようにした場合には、第１の参照フレームと第２の参照フレームの間で偶数画素の動きがあった（被写体の画像が偶数画素分移動した）場合に動きの量に最も近い相互間距離を有する一対の画素ブロックの各々の中心位置を参照画素位置として選択することができ、補間をより正確に行うことができると言う効果がある。
【００５３】
補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対に加えて、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対の一方の画素ブロックを１画素にずらしたブロック対を抽出するようにした場合には、第１の参照フレームと第２の参照フレームの間での上記ずらした方向における動きが奇数画素分であっても、偶数画素分であっても偶数画素の動きがあっても、動きの量に最も近い相互間距離を有する一対の画素ブロックの各々の中心位置を参照画素位置として選択することができ、補間をより正確に行うことができる。
【００５４】
なお、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対の一方の画素ブロックを１画素にずらしたブロック対が最大の類似度を持つものとして判定されたときは、その中心位置のみならず、１画素ずれた位置をも参照画素位置として選択しても良い。例えば、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対の一方の画素ブロックを１画素左にずらしたブロック対が最大の類似度を持つものと判定されたときは、その中心位置のみならず、その中心位置の右側に隣接する画素位置をも参照画素位置として選択し、選択された４つの参照画素位置の画素値の平均を求めて、この平均を補間画素の画素値とすることとしても良い。
【００５５】
なお、対称位置補間手段１１は、画素ブロック対を構成する画素ブロックの中心に位置する画素の平均値を補間画素の画素値としたが、画素ブロック対のどちらか一方の画素ブロックの中心に位置する画素の画素値を補間画素の画素値として用いても良い。
【００５６】
また、類似度計算手段４は、図２に示すように、画素ブロック中の全ての画素（ａ１からａ１５までとｂ１からｂ１５まで）について、総和ＳＡＤを求めたが、ハードウェア規模を削減するために、一方の画素ブロック例えば画素ブロックＢＬａ内の画素に対して均等な間引き処理を行った後の画素と、他方の画素ブロックＢＬｂの対応する位置にある画素の画素値の差分の絶対値の総和を求めることとしても良い。例えば、ブロックＢＬａ内において水平方向にｒ画素（ｒは、２以上の整数）ごとの画素（ｒ個ごとに１個）を抽出し、また垂直方向にｓ画素（ｓは、２以上の整数）ごとの画素（ｓ個ごとに１個）を抽出し、これらの画素、ブロックＢＬｂ内の対応する位置にある画素の画素値の差分絶対値を求め、それらの総和を求めることとしても良い。ｒ、ｓが２の場合の間引き処理の一例を図９及び図１０に示す。図示の例では、縦方向及び横方向に一つおきの画素であって、市松模様状に配置された画素（ハッチングで示されている）のみを抽出し、これらについてのみ差分絶対値を求め、それらの総和ＳＡＤを求める。
【００５７】
また、エリア分割手段５は、図７に示すように９個のエリアに分割したが、より細かく動きを分ける為に９個より多いエリアに分割したり、ハードウェア規模の削減の為、９個より少ないエリアに分割しても、同様の効果が期待できる。
【００５８】
以上のように実施の形態１では、補間画素の位置に対して略点対称の位置にある第１の参照フレームの画素ブロックＢＬａと第２の参照フレームの画素ブロックＢＬｂとからなる画素ブロック対を複数抽出するブロック対抽出手段３と、抽出された複数の画素ブロック対のそれぞれについて、２つの画素ブロックの類似度を上記２つの画素ブロック内の画素の画素値に基づいて計算する類似度計算手段４と、抽出された画素ブロック対を動きの方向が類似している複数個のブロック対を１つのエリアとし、検出範囲を複数個のエリアに分割するエリア分割手段５と、分割されたエリア内で類似度計算手段４により計算された類似度が最も大きい画素ブロック対をそれぞれのエリアのエリア代表ブロック対として抽出するエリア代表抽出手段６と、エリア代表ブロック対の中から、類似度が最も大きいもの（候補ブロック対）の類似度（候補類似度）と、エリア代表ブロック対の中から候補ブロック対の次に類似度が大きいもの（評価用ブロック対）の類似度（評価用類似度）に基づいて、信頼性を評価する信頼性評価手段８と、信頼性評価手段８によって評価した結果に応じて、現在の候補ブロック対の中心画素位置と、遅延手段１０によって遅延された１フレーム前の参照画素位置のいずれかを選択する参照画素位置選択手段９と、参照画素位置選択手段９により選択された参照画素位置の画素値を用いて補間画素を生成する対称位置補間手段１１を備えているので、最も類似度が大きく、しかも、他のエリア代表ブロック対に対して類似度が際立って大きい画素ブロック対（エリア代表ブロック対）、従って第１の参照フレームと第２の参照フレームの間での画像の動きの量に最も近い相互間距離を有し、その相互間距離の近さが他の画素ブロック対に比べて際立っている一対の画素ブロック（エリア代表ブロック対）の各々の中心に位置する画素の画素値に基づいて補間画素の画素値を決定することができるため、補間を正確に行うことができる。
【００５９】
また、画素ブロック対を構成する一方の画素ブロック内の少なくとも一部の画素と、他方の画素ブロック内の対応する位置にある画素の画素値の差分の絶対値の総和を類似度として出力するようにしたので、類似度を簡単に且つ正確に求めることができ、より正確な補間画像を得ることができると言う効果がある。
【００６０】
この場合、画素ブロック対を構成する一方の画素ブロックのすべての画素と、他方の画素ブロック内の対応する位置にある画素の画素値の差分の絶対値の総和を類似度として出力することとすれば、類似度をより正確に求めることができ、より正確な補間画像を得ることができると言う効果がある。
【００６１】
一方、画素ブロック対を構成する一方の画素ブロックの画素を均等に間引いた後の画素と、他方の画素ブロック内の対応する位置にある画素の画素値の差分の絶対値の総和を求めてこれを類似度として出力するようにすれば、類似度の算出を比較的小さいハードウェア規模で実現することができると言う効果がある。
【００６２】
実施の形態２．
実施の形態１では、信頼性評価手段８で信頼性がないと判断された場合は、以前に選択された参照画素位置として１フレーム遅延手段１０によって１フレーム遅延された１回前の参照画素位置を選択したが、１フレーム前の参照画素位置を間違って補間してしまった場合、そのまま間違った位置を継承して不適切な参照画素位置の選択を続けてしまう可能性がある。実施の形態２は、補間対象となる画素位置の周囲の参照画素位置を記録し、エリア分割手段５で分割した各エリアから選択された参照画素位置の頻度を分析し、その分析結果を基に参照画素位置を選択するようにしたことで、参照画素位置の選択をより適切に行い、補間画素の画素値の生成の信頼性を上げるものである。
【００６３】
図１１に実施の形態２によるフレーム補間装置のブロック図を示す。図示のフレーム補間装置は、図１のフレーム補間装置と概して同じであるが、ヒストグラム生成手段１３が付加されている点で異なる。図１と同じ符号が付された構成要素は、実施の形態１と同様の動作をする。
【００６４】
図１１の参照画素位置選択手段９は、図１の参照画素位置選択手段９と同じ機能を有するほか、以下の説明するような付加的機能を有する。
【００６５】
ヒストグラム生成手段１３は、参照画素位置選択手段９から、選択された参照画素位置を表す情報を得るとともに、エリア分割手段５から、それぞれの分割エリアに属するブロック対を表す情報を得て、参照画素位置選択手段９で選択された参照画素位置を中心画素位置とする画素ブロックから成るブロック対が、エリア分割手段５で分割されたエリアＡからＩのうちのどのエリアに属するものかを検出し、参照画素位置を中心画素位置とする画素ブロックから成るブロック対が属するエリアの出現頻度を分析乃至検出し、各エリアの出現頻度を表すヒストグラムを生成する。
【００６６】
出現頻度の検出対象となる範囲は、補間画素（補間対象画素）Ｐａよりも前に補間が行われた画素であって、補間画素Ｐａの近傍に位置するものであり、例えば図１２に示す補間画素Ｐａの周辺２５個の画素から成る範囲（破線で囲った範囲）Ｒｈである。図１２に示される周辺２５個の画素は、補間画素Ｐａよりも上に位置し、補間画素Ｐａからの垂直方向の距離が第１の所定値以下の行内にある画素のうち、所定の左側の限界位置から所定の右側の限界位置までの範囲にあるもの、及び補間画素Ｐａと同じ行であって、それよりも左側に位置し、所定の左側限界から補間画素の左側の隣接画素までの範囲にあるものを含む。上記左側の限界位置は、補間画素Ｐａからの距離が第２の所定値の位置にあり、上記右側の限界位置は、補間画素Ｐａからの距離が第３の所定値の位置にある。
より具体的には、補間画素Ｐａの座標値を（ｈａ，ｖａ）としたとき、
ｖ＝ｖａ−２、ｈ＝ｈａ−５〜ｈａ＋４、
ｖ＝ｖａ−１、ｈ＝ｈａ−５〜ｈａ＋４、
ｖ＝ｖａ、ｈ＝ｈａ−５〜ｈａ−１
の範囲にある画素を含む。
【００６７】
そして、上記の範囲Ｒｈの画素を補間対象とした時の参照位置画素の属するエリアの出現頻度を表すヒストグラムを生成する。そのようなヒストグラムの一例が図１３に示されている。図１３に示す例では、エリアＤが最も頻度が高く「１２」であり、エリアＥが次に頻度が高く「８」である。
ヒストグラム生成手段１３は、検出された出現頻度の高いエリアを示す情報をエリア代表抽出手段６及び参照画素位置選択手段９に出力する。
【００６８】
参照画素位置選択手段９では、信頼性評価手段８で補間画素の候補ブロック対が信頼性なしと評価された場合、ヒストグラム生成手段１３で生成されたヒストグラムにおいて出現頻度の高いエリアから順にエリア代表ブロック対を選択する。例えば、図１３のようにエリアＤが一番出現頻度が高い時は、エリア代表抽出手段６でエリアＤの中から選出されたエリア代表ブロック対を基に補間する。但し、エリアＤのエリア代表ブロック対の差分絶対値の総和ＳＡＤ値が規定値Ｔ以上の場合（類似度が所定値より小さい）場合には、次に出現頻度の高いエリアＥから選出されたエリア代表ブロック対を基に補間する。
【００６９】
実施の形態３．
図１４に実施の形態３によるフレーム補間装置のブロック図を示す。図示のフレーム補間装置は、図１１のフレーム補間装置と概して同じであるが、類似度補正手段１４が付加されており、信頼性評価手段８が設けられていない点で異なる。図１、図１１と同じ符号が付された構成要素は、実施の形態１、実施の形態２と同様の動作をする。
【００７０】
図１４のフレーム補間装置は、ヒストグラム生成手段１３で生成されたヒストグラムにより、補間に用いる画素ブロック対の選択を制御する点で、実施の形態２と同じであるが、以下の点で異なる。
【００７１】
類似度補正手段１４は、ヒストグラム生成手段１３から出力される各エリアの出現頻度情報から、エリア代表抽出手段６で抽出された各エリアのエリア代表ブロック対の類似度を表す差分絶対値の総和ＳＡＤに対して、出現頻度に応じて補正し、補正類似度を生成する。例えば、出現頻度が高いエリアについて、類似度が高くなるよう補正して、次の信頼性評価手段８における信頼性評価で信頼性が高いと判定されやすくなるようにする。例えば、ヒストグラム生成手段１３が、実施の形態２に関して説明したのと同様に、図１２に示す範囲Ｒｈの画素を補間対象とし、図１３のようなヒストグラムが検出された場合を想定する。
【００７２】
エリアＡ〜Ｉのそれぞれの頻度をＨａ〜Ｈｉとして、頻度Ｈａ〜Ｈｉの合計（範囲Ｒｈ内の画素の総数に等しい）をＨｔとすると、各エリアの類似度ＳＡＤ（ｎ）に対し（ｎはａ乃至ｉのいずれか）、以下の式（３）で表される演算を行って、修正された類似度ＭＳＡＤ（ｎ）を求める。
ＭＳＡＤ（ｎ）＝ＳＡＤ（ｎ）×（１−（Ｈｎ／Ｈｔ）×Ｋ）    （３）
（式（３）でＫは１以下の定数であり、例えば予め定められる）
図１３に示す例では、Ｈｔ＝２５である。
【００７３】
ＳＡＤ（ｎ）に掛ける値（１−（Ｈｎ／Ｈｔ）×Ｋ）が小さいほど、修正された類似度が高くなることを表す。
【００７４】
式（３）により、図１３に示すヒストグラムについて、各エリアの修正された類似度ＭＳＡＤ（ｎ）を求めると以下のようになる。
エリアＡは、出現頻度Ｈａは「２」なので、
ＭＳＡＤ（Ａ）＝ＳＡＤ（Ａ）×（１−（２／２５）×Ｋ）
エリアＢは、出現頻度Ｈｂは「１」なので、
ＭＳＡＤ（Ｂ）＝ＳＡＤ（Ｂ）×（１−（１／２５）×Ｋ）
エリアＣは、出現頻度Ｈｃは「０」なので、
ＭＳＡＤ（Ｃ）＝ＳＡＤ（Ｃ）×（１−（０／２５）×Ｋ）
エリアＤは、出現頻度Ｈｄは「１２」なので、
ＭＳＡＤ（Ｄ）＝ＳＡＤ（Ｄ）×（１−（１２／２５）×Ｋ）
エリアＥは、出現頻度Ｈｅは「８」なので、
ＭＳＡＤ（Ｅ）＝ＳＡＤ（Ｅ）×（１−（８／２５）×Ｋ）
エリアＦは、出現頻度Ｈｆは「０」なので、
ＭＳＡＤ（Ｆ）＝ＳＡＤ（Ｆ）×（１−（０／２５）×Ｋ）
エリアＧは、出現頻度Ｈｇは「２」なので、
ＭＳＡＤ（Ｇ）＝ＳＡＤ（Ｇ）×（１−（２／２５）×Ｋ）
エリアＨは、出現頻度Ｈｈは「０」なので、
ＭＳＡＤ（Ｈ）＝ＳＡＤ（Ｈ）×（１−（０／２５）×Ｋ）
エリアＩは、出現頻度Ｈｉは「０」なので、
ＭＳＡＤ（Ｉ）＝ＳＡＤ（Ｉ）×（１−（０／２５）×Ｋ）
【００７５】
Ｋ＝０．５と仮定すると、修正された類似度はそれぞれ以下のようになる。
ＭＳＡＤ（Ａ）＝ＳＡＤ（Ａ）×０．９６
ＭＳＡＤ（Ｂ）＝ＳＡＤ（Ｂ）×０．９８
ＭＳＡＤ（Ｃ）＝ＳＡＤ（Ｃ）×１
ＭＳＡＤ（Ｄ）＝ＳＡＤ（Ｄ）×０．７６
ＭＳＡＤ（Ｅ）＝ＳＡＤ（Ｅ）×０．８４
ＭＳＡＤ（Ｆ）＝ＳＡＤ（Ｆ）×１
ＭＳＡＤ（Ｇ）＝ＳＡＤ（Ｇ）×０．９６
ＭＳＡＤ（Ｈ）＝ＳＡＤ（Ｈ）×１
ＭＳＡＤ（Ｉ）＝ＳＡＤ（Ｉ）×１となる。
【００７６】
上記の例では、エリアＡのように、出現頻度が低い場合も類似度が高くなる補正をしたが、規定値以下の出現頻度の場合は、補正しないこととしても良く、また、類似度が低くなるように「１」より大きい値で補正しても良い。また、周りの動きと違う動きになると予想される範囲は、出現頻度の高いエリアの類似度を低くなるように補正しても良い。
【００７７】
実施の形態３では、候補抽出手段７は、候補ブロック対を抽出するが、評価用ブロック対を抽出しない。また、上記のように、信頼性評価手段８が設けられておらず、候補抽出手段７で抽出された候補ブロック対を示す情報がそのまま参照画素位置選択手段９に供給され、参照画素位置選択手段９では、候補抽出手段７で抽出された候補ブロック対の中心位置の画素を参照画素位置として選択する。
【００７８】
実施の形態３では、ヒストグラム生成手段１３で検出された各エリアの出現頻度に応じて、類似度を補正するので、周囲の画素の動きを考慮に入れて候補ブロック対の選択を行なうことができ、補間を的確に行なうことができる。
【００７９】
実施の形態４．
図１５に実施の形態４によるフレーム補間装置のブロック図を示す。図示のフレーム補間装置は、図１４のフレーム補間装置と概して同じであるが、図１１と同様に、信頼性評価手段８が設けられ、ヒストグラム生成手段１３の出力が参照画素位置選択手段９に供給されている点で異なる。図１４の参照画素位置選択手段９は、図１１の参照画素位置選択手段９と同様に動作する。その他、図１、図１１、図１４と同じ符号が付された構成要素は、実施の形態１、２、３と同様の動作をする。
【００８０】
図１５に示されるフレーム補間装置は、実施の形態２に関して説明した付加的特徴と実施の形態３に関して説明した付加的特徴を併せ持つものである。即ち類似度補正手段１４は、実施の形態３に関して説明したのと同様に動作し、参照画素位置選択手段９は、ヒストグラム生成手段１３で生成されたヒストグラムに基づき、実施の形態２に関して説明したのと同様に動作する。
【００８１】
信頼性評価手段８は、類似度補正手段４で算出された類似度の代わりに類似度補正手段１４の出力（補正類似度）を用いて実施の形態１、２と同様に信頼性を評価する。式（２）の計算を行うときは、Ｓｃ、Ｓｅとして、補正類似度を用いる。Ｓａとして、補正類似度の平均値を用いる。そして、信頼性評価の評価結果を基に、実施の形態２について説明したように参照画素位置選択手段９にて補間画素の参照画素位置が決定し、以下実施の形態１と同様に補間画素の画素値が計算され、補間フレームの画像が得られる。
【００８２】
以上のように、図１１、図１５に示される実施の形態２、４では、ヒストグラム生成手段１３から出力される各エリアの出現頻度に基づいて、参照画素選択手段９における参照画素位置の選択を行っている。
【００８３】
また、図１４、図１５に示される実施の形態３、４では、ヒストグラム生成手段１３から出力されるエリアの出現頻度に基づいて、類似度補正手段１４で、エリア代表の類似度の補正を行い、候補抽出手段７では、補正類似度に基づいて候補ブロック対、評価用ブロック対の抽出を行っている。
【００８４】
なお、実施の形態２乃至４で、ヒストグラムのサンプリング（出現頻度算出のための計数）は、補間画素の周辺の検出範囲Ｒｈ内の全ての画素について行なっているが、代わりに、検出範囲Ｒｈ内で候補ブロック対の信頼性があって補間された場合にのみ、サンプリングする（出現頻度算出のための計数の対象とする）ようにしても良い。
【００８５】
上記の実施の形態２、３、４のように、補間ブロック対のエリアを決定する際、補間する画素位置周辺の既に補間されている範囲におけるヒストグラム生成結果を参考にしたことで、より正確な補間画像が得られる効果がある。また、実施の形態３，４のように、生成されたヒストグラムより、代表ブロック対の類似度を補正することで、より信頼性の高い補間画像が得られる効果がある。
【００８６】
上記した実施の形態１乃至４の補間装置は、ソフトウエアにより、即ちプログラムされたコンピュータにより実現することもできる。
【産業上の利用可能性】
【００８７】
本発明の活用例として、テレビジョンのフレーム周波数変換や、業務用モニターのフレーム周波数変換に適用できる。また、フレーム周波数は変換しない場合であっても、冗長な１枚のフレーム（直前のフレームと同じ内容のフレーム）を除去して新たにフレームを生成するフレーム変換に適用できる。
【図面の簡単な説明】
【００８８】
【図１】この発明の実施の形態１の補間装置を示すブロック図である。
【図２】実施の形態１における参照画素位置の選択のために順次選択される一対の画素ブロックを示す図である。
【図３】（ａ）〜（ｄ）は、実施の形態１における参照画素位置の選択のために順次選択される第１の参照フレーム内の画素ブロックを示す図である。
【図４】（ａ）〜（ｄ）は、実施の形態１における参照画素位置の選択のために順次選択される第２の参照フレーム内の画素ブロックを示す図である。
【図５】（ａ）〜（ｄ）は、実施の形態１における参照画素位置の選択のために順次選択される第２の参照フレーム内の画素ブロックを示す図である。
【図６】ブロック対抽出手段３により抽出される複数のブロック対の画素ブロックの中心画素位置同士を結ぶ直線の方向及び長さ（中心画素位置相互間の距離）を概略的に表すマトリクスにより示す図である。
【図７】図６のマトリクスのそれぞれの要素位置に対応するブロック対の画素ブロックの中心画素位置同士を結ぶ直線の方向及び長さ（中心画素位置相互間の距離）を概略的に表す図である。
【図８】エリア分割手段５により分割されたエリアに対応する動きの方向及び大きさを概略的に示す図である。
【図９】実施の形態１における参照画素位置の選択のために順次選択される第１の参照フレーム内の画素ブロックを示す図である。
【図１０】実施の形態１における参照画素位置の選択のために順次選択される第２の参照フレーム内の画素ブロックを示す図である。
【図１１】この発明の実施の形態２の補間装置を示すブロック図である。
【図１２】実施の形態２におけるヒストグラム生成範囲を示す図である。
【図１３】各エリアにおけるヒストグラム生成結果の例を示す図である。
【図１４】この発明の実施の形態３の補間装置を示すブロック図である。
【図１５】この発明の実施の形態４の補間装置を示すブロック図である。
【符号の説明】
【００８９】
１  入力端子、  ２  遅延手段、  ３  ブロック対抽出手段、  ４  類似度計算手段、  ５  エリア分割手段、  ６  エリア代表抽出手段、  ７  候補抽出手段、  ８  信頼性評価手段、  ９  参照画素位置選択手段、  １０  遅延手段、  １１  対称位置補間手段、  １２  出力端子、  １３  ヒストグラム生成手段、  １４  類似度補正手段。
【図１】
0005025432.tif 000003
【図２】
0005025432.tif 000004
【図３】
0005025432.tif 000005
【図４】
0005025432.tif 000006
【図５】
0005025432.tif 000007
【図６】
0005025432.tif 000008
【図７】
0005025432.tif 000009
【図８】
0005025432.tif 000010
【図９】
0005025432.tif 000011
【図１０】
0005025432.tif 000012
【図１１】
0005025432.tif 000013
【図１２】
0005025432.tif 000014
【図１３】
0005025432.tif 000015
【図１４】
0005025432.tif 000016
【図１５】
0005025432.tif 000017