(57)【要約】【課題】２枚のフレームの間の補間フレームの画像を、動画ぼやけや、ジャダーが発生しないように生成する。【解決手段】補間フレーム内の補間画素を中心として点対称の位置にある第１の参照フレームの画素ブロック（ＢＬａ）と第２の参照フレームの画素ブロック（ＢＬｂ）とからなる画素ブロック対のそれぞれについて、類似度を計算し、類似度が最も大きい画素ブロック対を候補ブロック対として選択し、補間画素に対する位置関係が候補ブロックに近いもの以外の画素ブロック対の中で最も類似度が大きいものを評価用ブロック対として選択し、候補ブロック対及び評価用ブロック対の類似度に基づき、候補ブロック対の中心位置を参照画素位置として選択するか、それとも１フレーム前に選択した参照画素位置を選択するかの決定を行なう。【選択図】図１
2008193462.tif 000002
【特許請求の範囲】
【請求項１】
第１の参照フレームと第２の参照フレームの間の補間フレーム内の補間画素の画素値を生成するフレーム補間装置であって、
前記補間画素の位置を中心として点対称の位置にある前記第１の参照フレームの画素ブロックと前記第２の参照フレームの画素ブロックとからなる画素ブロック対、及び
上記画素ブロック対に対して、一方の画素ブロックを１画素ずらした画素ブロックで置換えた画素ブロック対
の一方又は双方を複数個抽出する抽出手段と、
前記抽出手段により抽出された複数の画素ブロック対のそれぞれについて、２つの画素ブロックの類似度を前記２つの画素ブロック内の画素の画素値に基づいて計算する類似度計算手段と、
前記抽出手段に抽出された前記複数個のブロック対のうちで、前記類似度計算手段により計算された類似度又はそれを補正したものが最も大きい画素ブロック対を候補ブロック対として選択するとともに、前記抽出手段に抽出された前記複数個のブロック対のうちで、前記補間画素に対する相対的位置関係が、前記候補ブロック対の前記補間画素に対する相対的位置関係に比較的近いもの以外のもののうち、前記類似度又はそれを補正したものが最も大きい画素ブロック対を評価用ブロック対として選択するブロック対選択手段と、
前記候補ブロック対の類似度又はそれを補正したもの（以下、「候補類似度」と言う）と前記評価用ブロック対の類似度又はそれを補正したもの（以下、「評価用類似度」と呼ぶ）の大きさに基づき、前記候補ブロック対の信頼性を評価する信頼性評価手段と、
前記信頼性評価手段が、信頼性ありと判断した場合は、前記候補ブロック対を構成するそれぞれの画素ブロックの中心位置を参照画素位置として選択し、信頼性なしと判断した場合は、当該補間画素の参照画素位置としてそれ以前に選択した参照画素位置を選択する参照画素位置選択手段と、
前記参照画素位置選択手段により選択された参照画素位置の画素値に基づいて前記補間画素を生成する補間手段と
を備えたことを特徴とするフレーム補間装置。
【請求項２】
前記相対的位置関係が、各ブロック対の画素ブロックの中心画素同士を結ぶ線により定義されることを特徴とする請求項１に記載のフレーム補間装置。
【請求項３】
前記相対位置関係に応じて前記ブロック対をマトリクス配列したとき、前記候補ブロック対の近傍に位置するブロック対を、相対的位置関係が近いものとして扱うことを特徴とする請求項１又は２に記載のフレーム補間装置。
【請求項４】
前記マトリクス配列上で、上、下、左、右、斜め上、斜め下方向に隣接するものを、上記近傍に位置するブロック対として扱うことを特徴とする請求項３に記載のフレーム補間装置。
【請求項５】
前記参照画素位置選択手段の選択結果を１フレーム遅延するフレーム遅延手段をさらに備え、前記参照画素位置選択手段は、前記フレーム遅延手段の出力を、前記以前に選択した参照画素位置として用いることを特徴とする請求項１に記載のフレーム補間装置。
【請求項６】
前記抽出手段が、前記補間画素を中心として点対称の位置にある画素ブロックから成る画素ブロック対と、該点対称の位置にある画素ブロックから成る画素ブロック対に対して、一方の画素ブロックを１画素左、又は１画素右にずらした画素ブロックで置換えた画素ブロック対とを抽出することを特徴とする請求項１に記載のフレーム補間装置。
【請求項７】
前記抽出手段が、前記補間画素を中心として点対称の位置にある画素ブロックから成る画素ブロック対と、該点対称の位置にある画素ブロックから成る画素ブロック対に対して、一方の画素ブロックを１画素上、又は１画素下にずらした画素ブロックで置換えた画素ブロック対とを抽出することを特徴とする請求項１に記載のフレーム補間装置。
【請求項８】
前記抽出手段が、前記補間画素を中心として点対称の位置にある画素ブロックから成る画素ブロック対と、該点対称の位置にある画素ブロックから成る画素ブロック対に対して、一方の画素ブロックを１画素右斜め上、又は１画素右斜め下、又は１画素左斜め上、又は１画素左斜め下にずらした画素ブロックで置換えた画素ブロック対とを抽出することを特徴とする請求項１に記載のフレーム補間装置。
【請求項９】
前記類似度計算手段は、画素ブロック対を構成する一方の画素ブロック内の少なくとも一部の画素と、他方の画素ブロックの対応する位置にある画素の画素値の差分の絶対値の総和を求め、該総和を、前記類似度を表すものとして出力することを特徴とする請求項１乃至８のいずれかに記載のフレーム補間装置。
【請求項１０】
前記類似度計算手段は、画素ブロック対を構成する一方の画素ブロック内のすべての画素と、他方の画素ブロックの対応する位置にある画素の画素値の差分の絶対値の総和を求めることを特徴とする請求項９に記載のフレーム補間装置。
【請求項１１】
前記類似度計算手段は、画素ブロック対を構成する一方の画素ブロック内の画素に対し均等な間引き処理を行った後の画素と、他方の画素ブロックの対応する位置にある画素の画素値の差分の絶対値の総和を求めることを特徴とする請求項９に記載のフレーム補間装置。
【請求項１２】
前記信頼性評価手段は、前記抽出手段により抽出されたすべての画素ブロック対の類似度の平均値、前記候補類似度および評価用類似度を用いて、信頼性を評価することを特徴とする請求項１乃至１１のいずれかに記載のフレーム補間装置。
【請求項１３】
前記信頼性評価手段は、下記の不等式、
{（Ｓｅ−Ｓｃ）}×Ｂ＞（Ｓａ−Ｓｅ）
（Ｓｅは、評価用類似度を表し、
Ｓｃは、候補類似度を表し、
Ｓａは、類似度の平均値を表し、
Ｂは１以上の係数を表す）
が満たされるとき、信頼性ありと判断することを特徴とする請求項１２に記載のフレーム補間装置。
【請求項１４】
前記画素ブロック対を構成する各画素ブロックの中心に位置する画素の、前記補間画素からの距離が長いほど、当該画素ブロック対の前記類似度よりも小さく補正された類似度を出力する類似度補正手段を更に有し、
前記ブロック対選択手段は、前記補正された類似度に基づいて候補類似度および評価用類似度を算出することを特徴とする請求項１乃至１３のいずれかに記載のフレーム補間装置。
【請求項１５】
画素ブロック内の画素の画素値のバラつき度合いを計算し、計算されたバラつき度合いを検出する補正制御手段と、
前記補正制御手段で検出されたバラつき度合いが小さいほど、前記類似度計算手段が出力する類似度よりも小さい、補正された類似度を出力する類似度補正手段をさらに備え、
前記ブロック対選択手段は、前記補正された類似度に基づいて前記候補ブロック対及び前記評価用ブロック対の選択を行うことを特徴とする請求項１乃至１３のいずれかに記載のフレーム補間装置。
【請求項１６】
水平方向に整列し、連続して補間処理の対象とされ複数の補間画素の各々について前記参照画素位置選択手段で選択された参照画素位置の、当該補間画素に対する方向を記憶し、
注目補間画素についての前記参照画素位置の、当該補間画素に対する方向が、該注目補間画素の左方向に存在する所定数の補間画素のいずれかについて選択された参照画素位置の、当該補間画素に対する方向と異なり、且つ該注目補間画素の右方向に存在する所定数の補間画素のいずれかについて選択された参照画素位置の、当該補間画素に対する方向と異なる場合は、前記参照画素位置選択手段で選択された参照画素位置の代わりに、前記第１及び第２の参照フレーム内の前記注目補間画素と同じ位置を参照画素位置とする参照画素位置変更手段を
備えたことを特徴とする請求項１乃至１３のいずれかに記載のフレーム補間装置。
【請求項１７】
前記補間手段は、前記参照画素位置選択手段により選択された参照画素位置の画素値の平均値を前記補間画素の画素値とし、又は前記参照画素位置の一方の画素値を前記補間画素の画素値とする
ことを特徴とする請求項１乃至１６のいずれかに記載のフレーム補間装置。
【請求項１８】
第１の参照フレームと第２の参照フレームの間の補間フレーム内の補間画素の画素値を生成するフレーム補間方法であって、
前記補間画素の位置を中心として点対称の位置にある前記第１の参照フレームの画素ブロックと前記第２の参照フレームの画素ブロックとからなる画素ブロック対、及び
上記画素ブロック対に対して、一方の画素ブロックを１画素ずらした画素ブロックで置換えた画素ブロック対
の一方又は双方を複数個抽出する抽出ステップと、
前記抽出ステップにより抽出された複数の画素ブロック対のそれぞれについて、２つの画素ブロックの類似度を前記２つの画素ブロック内の画素の画素値に基づいて計算する類似度計算ステップと、
前記抽出ステップに抽出された前記複数個のブロック対のうちで、前記類似度計算ステップにより計算された類似度又はそれを補正したものが最も大きい画素ブロック対を候補ブロック対として選択するとともに、前記抽出ステップに抽出された前記複数個のブロック対のうちで、前記補間画素に対する相対的位置関係が、前記候補ブロック対の前記補間画素に対する相対的位置関係に比較的近いもの以外のもののうち、前記類似度又はそれを補正したものが最も大きい画素ブロック対を評価用ブロック対として選択するブロック対選択ステップと、
前記候補ブロック対の類似度又はそれを補正したもの（以下、「候補類似度」と言う）と前記評価用ブロック対の類似度又はそれを補正したもの（以下、「評価用類似度」と呼ぶ）の大きさに基づき、前記候補ブロック対の信頼性を評価する信頼性評価ステップと、
前記信頼性評価ステップが、信頼性ありと判断した場合は、前記候補ブロック対を構成するそれぞれの画素ブロックの中心位置を参照画素位置として選択し、信頼性なしと判断した場合は、当該補間画素の参照画素位置としてそれ以前に選択した参照画素位置を選択する参照画素位置選択ステップと、
前記参照画素位置選択ステップにより選択された参照画素位置の画素値に基づいて前記補間画素を生成する補間ステップと
を備えたことを特徴とするフレーム補間方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号に含まれる２枚のフレームの画像を用いて、２枚のフレームの間に存在する補間フレームの画像を生成するフレーム補間装置及びフレーム補間方法に関するものである。
【背景技術】
【０００２】
液晶ディスプレイなどのホールド型ディスプレイは、１フレーム期間同じ画像を表示し続けており、画像中の物体が動いた場合に、動く物体に対する人間の目の追従が連続的に移動するのに対して、物体の移動が１フレーム単位の不連続な移動を行っているためにエッジ部分がぼやけて見える問題がある。これに対し、フレームを補間することで表示フレーム数を多くして物体の移動をスムーズにすることが考えられる。
【０００３】
また、映画などのフィルム映像がテレビ信号に変換された素材については、両者（フィルム映像とテレビ信号）のフレーム周波数の違いから、２枚（２フィールド）又は３枚（フィールド）が同じフレームから作られた画像となっており、そのまま表示すると、動きがぼやけたり、動きがギクシャクしたジャダーが発生したりする問題がある。
【０００４】
また、同様にコンピュータ処理された映像がテレビ信号に変換された素材についても、２枚（２フィールド）が同じフレームから作られた画像であり、そのまま表示すると同様にジャダーが発生する問題がある。
【０００５】
従来のフレーム補間装置及びフレーム補間方法は、補間フレームに対して１フレーム前のフレームと同じ画像で補間する零時ホールド法か、補間フレームに対して１フレーム前の画像と１フレーム後の画像の平均画像で補間する平均値補間法などがあるが、零時ホールド法は、一定方向に動く画像に対して、滑らかな移動をしないので、依然ホールド型ディスプレイのぼやけの問題は解決されない。また、平均値補間法は、動いた画像が２重像になる問題がある。
【０００６】
この改善策として、画像を複数の画素ブロックに分割し、補間フレームに対して１フレーム前のフレームを第１の参照フレームとし、補間フレームに対して１フレーム後のフレームを第２の参照フレームとし、第１の参照フレーム中にある画素ブロックと相関の最も大きい画素ブロックを第２の参照フレームから見つけ、見つかった画素ブロック対から補間フレームの画素ブロックの画像を補間するものがある（例えば、特許文献１参照）。この方法は、画素ブロック単位で補間フレームを生成するために、処理に必要なメモリ（主にはＳＤＲＡＭが使用される）のデータのリード・ライトが煩雑になり、ハードウェア化が困難である問題がある。
【０００７】
また、別の改善策として、補間フレームの補間画素に対して点対称の位置にある第一の参照フレーム上の画素と第２の参照フレーム上の画素との画素間の相関が最も大きい画素から補間フレームの補間画素を生成するものがある（例えば、特許文献２参照）。この方法では、画素単位での相関検出のため、画像の内容が異なるにも拘らず、画素間の相関が大きいと検出される場合があり、正しく補間画像が得られない場合がある。
【０００８】
【特許文献１】特開２００４−３５７２１５号公報（第９頁、第１６図）
【特許文献２】特開２００６−１２９１８１号公報（第８頁、第３図）
【発明の開示】
【発明が解決しようとする課題】
【０００９】
従来のフレーム補間装置は、上記の様に構成されており、動きがぼやけたり、動きがギクシャクしたジャダーが発生したりする問題がある。また、ブロック単位で補間フレームを生成する方法では、メモリに対するデータのリード・ライトが煩雑になり、ハードウェア化が困難である問題がある。また、画素単位の相関を検出する方法では、正しく相関検出ができない問題がある。
【課題を解決するための手段】
【００１０】
本発明は、
第１の参照フレームと第２の参照フレームの間の補間フレーム内の補間画素の画素値を生成するフレーム補間装置であって、
前記補間画素の位置を中心として点対称の位置にある前記第１の参照フレームの画素ブロックと前記第２の参照フレームの画素ブロックとからなる画素ブロック対、及び
上記画素ブロック対に対して、一方の画素ブロックを１画素ずらした画素ブロックで置換えた画素ブロック対
の一方又は双方を複数個抽出する抽出手段と、
前記抽出手段により抽出された複数の画素ブロック対のそれぞれについて、２つの画素ブロックの類似度を前記２つの画素ブロック内の画素の画素値に基づいて計算する類似度計算手段と、
前記抽出手段に抽出された前記複数個のブロック対のうちで、前記類似度計算手段により計算された類似度又はそれを補正したものが最も大きい画素ブロック対を候補ブロック対として選択するとともに、前記抽出手段に抽出された前記複数個のブロック対のうちで、前記補間画素に対する相対的位置関係が、前記候補ブロック対の前記補間画素に対する相対的位置関係に比較的近いもの以外のもののうち、前記類似度又はそれを補正したものが最も大きい画素ブロック対を評価用ブロック対として選択するブロック対選択手段と、
前記候補ブロック対の類似度又はそれを補正したもの（以下、「候補類似度」と言う）と前記評価用ブロック対の類似度又はそれを補正したもの（以下、「評価用類似度」と呼ぶ）の大きさに基づき、前記候補ブロック対の信頼性を評価する信頼性評価手段と、
前記信頼性評価手段が、信頼性ありと判断した場合は、前記候補ブロック対を構成するそれぞれの画素ブロックの中心位置を参照画素位置として選択し、信頼性なしと判断した場合は、当該補間画素の参照画素位置としてそれ以前に選択した参照画素位置を選択する参照画素位置選択手段と、
前記参照画素位置選択手段により選択された参照画素位置の画素値に基づいて前記補間画素を生成する補間手段と
を備えたことを特徴とするフレーム補間装置を提供する。
【発明の効果】
【００１１】
本発明によれば、最も類似度が大きく、従って第１の参照フレームと第２の参照フレームの間での画像の動きの量に最も近い相互間距離を有する一対の画素ブロック各々の中心に位置する画素の画素値に基づいて補間画素の画素値を決定することができるため、補間を正確に行うことができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態を図面により説明する。
実施の形態１．
図１はこの発明の実施の形態１のフレーム補間装置を示すブロック図である。図示のフレーム補間装置は、入力端子１と、遅延手段２と、抽出手段３と、類似度計算手段４と、ブロック対選択手段４０と、信頼性評価手段４１と、参照画素位置選択手段５と、遅延手段４２と、対称位置補間手段６と、出力端子７とを有する。
【００１３】
入力端子１より入力された映像信号は、遅延手段２に入力され、１フレーム期間の遅延が行われ、第１の参照フレームとして抽出手段３の一方に入力される。また、入力端子１に入力された映像信号は、第２の参照フレームとして抽出手段３の他方の入力に入力される。抽出手段３は第１の参照フレームと、第２の参照フレームから補間画素を中心として略点対称の位置にあり、同数の画素から成る画素ブロックの対を、複数個抽出して類似度計算手段４へ出力する。
抽出手段３はまた、各画素ブロックの中心位置の画素値を対称位置補間手段６へ出力する。
【００１４】
各フレーム内の画素は、図２に示すように、フレームＦ内に（フレームを構成する画面上に）マトリクス状に配列されている。即ち、水平方向（主走査方向）及び垂直方向（副走査方向）に互いに整列している。フレームＦ内の各画素の位置を水平方向の座標値ｈと垂直方向の座標値ｖとにより、（ｈ，ｖ）で表すものとする。座標の原点はフレームの最も左で且つ最も上の位置にあり、水平方向の座標値ｈは右向きに画素間隔一つにつき値が１つずつ大きくなり、垂直方向の座標値ｖは下向きに、画素間隔一つにつき値が１ずつ大きくなるものとする。
【００１５】
補間フレーム内の任意の位置（ｈ，ｖ）の補間画素を生成する場合、第１の参照フレーム内の画素ブロックＢＬａ及び第２の参照フレームの画素ブロックＢＬｂとして、例えばその中心位置が水平方向には（ｈ−２）から（ｈ＋２）までの範囲のもの、垂直方向には（ｖ−１）から（ｖ＋１）までの範囲のものが抽出される。このような条件を満たす画素ブロックは第１の参照フレーム、第２の参照フレームの各々に１５個ずつある。各画素ブロックは例えば３行５列の画素から成るものである。
【００１６】
図３（ａ）〜（ｄ）及び図４（ａ）〜（ｄ）には、そのような画素ブロックのうちのいくつかが例示されている。そのうち、図３（ａ）〜（ｄ）に示されるものは第１の参照フレーム内の画素ブロックＢＬａであり、図４（ａ）〜（ｄ）に示されるものは第２の参照フレーム内の画素ブロックＢＬｂである。
【００１７】
図３（ａ）に示される画素ブロックＢＬａ（１）と図４（ａ）に示される画素ブロックＢＬｂ（１）が補間画素を中心として点対称の位置にある画素ブロックから成る画素ブロック対を構成している。同様に、図３（ｂ）に示される画素ブロックＢＬａ（２）と図４（ｂ）に示される画素ブロックＢＬｂ（２）が補間画素を中心として点対称の位置にある画素ブロックから成る画素ブロック対を構成している。同様に、図３（ｃ）に示される画素ブロックＢＬａ（３）と図４（ｃ）に示される画素ブロックＢＬｂ（３）が補間画素を中心として点対称の位置にある画素ブロックから成る画素ブロック対を構成している。同様に、図３（ｄ）に示される画素ブロックＢＬａ（１５）と図４（ｄ）に示される画素ブロックＢＬｂ（１５）が補間画素を中心として点対称の位置にある画素ブロックから成る画素ブロック対を構成している。
【００１８】
抽出手段３は、このように、補間画素を中心として点対称の位置にある２つの画素ブロックから成る画素ブロック対を順次抽出する。
【００１９】
抽出手段３は更に、図３（ａ）〜（ｄ）に例示したように補間画素を中心として点対称の位置にある画素ブロックの対のみでなく、それらのうちの一方を、１画素左方にずらした画素ブロックで置換えたものをも抽出する。例えば、図４（ａ）に示される画素ブロックＢＬｂ（１）を図５（ａ）に示されるように１画素左にずらした画素ブロックＢＬｂ（１）と、図３（ａ）に示される画素ブロックＢＬａ（１）とで構成される画素ブロック対、同様に図４（ｂ）に示される画素ブロックＢＬｂ（２）を図５（ｂ）に示されるように１画素左にずらした画素ブロックＢＬｂ（２）と、図３（ｂ）に示される画素ブロックＢＬａ（２）とで構成される画素ブロック対、同様に図４（ｃ）に示される画素ブロックＢＬｂ（３）を図５（ｃ）に示されるように１画素左にずらした画素ブロックＢＬｂ（３）と、図３（ｃ）に示される画素ブロックＢＬａ（３）とで構成される画素ブロック対、同様に図４（ｄ）に示される画素ブロックＢＬｂ（１５）を図５（ｄ）に示されるように１画素左にずらした画素ブロックＢＬｂ（１５）と、図３（ｄ）に示される画素ブロックＢＬａ（１５）とで構成される画素ブロック対を抽出する。
【００２０】
図３（ａ）〜（ｄ）に例示された画素ブロックと図４（ａ）〜（ｄ）に例示された画素ブロックは、相互間（それらの内部の互いに対応する画素相互間）に水平方向に偶数個の画素、即ち４画素、２画素、０画素の位置の差（距離）があるが、図３（ａ）〜（ｄ）に示された画素ブロックと図５（ａ）〜（ｄ）に示された画素ブロックは、相互間に水平方向に奇数個の画素、即ち３画素、１画素の差（距離）がある。
【００２１】
抽出手段３は更に、図３（ａ）〜（ｄ）及び図４（ａ）〜（ｄ）に例示したように補間画素を中心にして点対称の位置にある画素ブロックの対を構成する画素ブロックの一方を、１画素上方にずらした画素ブロックで置換えたものをも抽出する。例えば、図４（ａ）〜（ｄ）に例示された画素ブロックを１画素上にずらした画素ブロックと、図３（ａ）〜（ｄ）に例示された画素ブロックとで構成される画素ブロック対を抽出する。
【００２２】
抽出手段３は更に、図３（ａ）〜（ｄ）及び図４（ａ）〜（ｄ）に例示したように補間画素を中心にして点対称の位置にある画素ブロックの対を構成する画素ブロックの一方を、１画素左方で且つ１画素上方に（即ち、斜め左上に）ずらした画素ブロックで置換えたものをも抽出する。例えば、図４（ａ）〜（ｄ）に例示された画素ブロックを１画素斜め左上にずらした画素ブロックと、図３（ａ）〜（ｄ）に例示された画素ブロックとで構成される画素ブロック対を抽出する。
【００２３】
抽出手段３により抽出された画素ブロック対は、類似度計算手段４に入力され、画素ブロック対毎に画素ブロック相互間の類似度が計算される。類似度計算手段４は、例えば図３（ａ）の画素ブロックＢＬａと図４（ａ）の画素ブロックＢＬｂとの類似度の計算に当たっては、図３（ａ）の画素ブロックＢＬａ中の画素ａ１〜ａ１５と、図４（ａ）の画素ブロックＢＬｂ中の画素ｂ１〜ｂ１５（画素ａ１乃至ａ１５に対応する位置（画素ブロック内の同一の位置）にある画素）との差分絶対値の総和（以下、ＳＡＤと呼ぶ）を以下の式により類似度として計算する。
【００２４】
【数１】
2008193462.tif 000003
【００２５】
同様に、他の画素ブロック対についても差分絶対値の総和ＳＡＤが計算され、計算結果を各画素ブロック対の類似度としてブロック対選択手段４０および信頼性評価手段４１に出力する。ここで、総和ＳＡＤの値が小さいほど類似度が大きく、総和ＳＡＤが大きいほど類似度が小さいことを意味する。
このようにして抽出手段３で抽出されたすべてのブロック対につき差分絶対値の総和ＳＡＤ（類似度を表す指標）が計算される。本例では、上記した４種類の各々につき１５個のブロック対が抽出されるので、全部で６０個のブロック対について差分絶対値の総和ＳＡＤが計算されることになる。
【００２６】
ブロック対選択手段４０は、抽出手段３に抽出された複数個のブロック対のうちで、類似度計算手段４により計算された類似度が最も大きい画素ブロック対を候補ブロック対として選択する。
ブロック対選択手段４０はまた、抽出手段３に抽出された複数個のブロック対のうちで、補間画素に対する相対的位置関係が、候補ブロック対の補間画素に対する相対的位置関係に比較的近いもの以外のもののうち、類似度が最も大きい画素ブロック対を評価用ブロック対として選択する。
上記「相対的位置関係」は、例えば、各ブロック対の画素ブロックの中心画素同士を結ぶ線の方向により定義される。
例えば、上記「相対的位置関係」に応じて上記ブロック対を、マトリクス配列したとき、上記候補ブロック対の近傍に位置するブロック対以外のものは、相対的位置関係が遠いものとして扱う。
【００２７】
図６は、上記した相対的位置関係のマトリクス配列の一例を示す。
本例（検討している例）では、抽出手段が６０個のブロック対を抽出するので、図６のマトリクスは６行１０列に配列された６０の要素位置を有する。この６０個の要素位置は、それぞれブロック対の相対的位置関係に対応するものであり、従って各要素はブロック対に対応するものであると言うことができる。
マトリクスＭ内の各要素の位置を水平方向の座標値（列番号）ｉと垂直方向の座標値（行番号）ｊとにより、（ｉ，ｊ）で表すものとする。座標の原点はマトリクスの最も左で且つ最も上の位置にあり、水平方向の座標値ｉは右向きに要素間隔一つにつき値が１つずつ大きくなり、垂直方向の座標値ｊは下向きに、要素間隔一つにつき値が１ずつ大きくなるものとする。
【００２８】
マトリクスの最も左で且つ最も上の位置（ｉ＝１、ｊ＝１）にある要素は、図３（ａ）に示される画素ブロックと図４（ａ）に示される画素ブロックとで構成されるブロック対に対応する。
ｉ＝３、ｊ＝１の位置にある要素は、図３（ｂ）に示される画素ブロックと図４（ｂ）に示される画素ブロックとで構成されるブロック対に対応する。
ｉ＝５、ｊ＝１の位置にある要素は、図３（ｃ）に示される画素ブロックと図４（ｃ）に示される画素ブロックとで構成されるブロック対に対応する。
ｉ＝９、ｊ＝５の位置にある要素は、図３（ｄ）に示される画素ブロックと図４（ｄ）に示される画素ブロックとで構成されるブロック対に対応する。
一般化して言えば、ｆ＝０、１、２、３又は４、ｇ＝０、１又は２であるとき、ｉ＝１＋（２ｆ）、ｊ＝１＋（２ｇ）の位置（図６で「○」印で示されている）にある要素は、図３（ａ）乃至（ｄ）、図４（ａ）乃至（ｄ）により例示されたように、補間画素を中心として点対称の位置にある画素ブロックから成る画素ブロック対に対応する。
【００２９】
ｉ＝２、ｊ＝１の位置にある要素は、図３（ａ）に示される画素ブロックと図５（ａ）に示される画素ブロックとで構成されるブロック対に対応する。
ｉ＝４、ｊ＝１の位置にある要素は、図３（ｂ）に示される画素ブロックと図５（ｂ）に示される画素ブロックとで構成されるブロック対に対応する。
ｉ＝６、ｊ＝１の位置にある要素は、図３（ｃ）に示される画素ブロックと図５（ｃ）に示される画素ブロックとで構成されるブロック対に対応する。
ｉ＝１０、ｊ＝５の位置にある要素は、図３（ｄ）に示される画素ブロックと図５（ｄ）に示される画素ブロックとで構成されるブロック対に対応する。
一般化して言えば、ｆ＝０、１、２、３又は４、ｇ＝０、１又は２であるとき、ｉ＝２＋（２ｆ）、ｊ＝１＋（２ｇ）の位置（図６で「△」印で示される）にある要素は、図３（ａ）乃至（ｄ）、図５（ａ）乃至（ｄ）により例示されたように、補間画素を中心として点対称の位置にある画素ブロックから成る画素ブロック対に対して、第２の参照フレームの画素ブロックを１画素左にずらした画素ブロックで置換えた画素ブロック対に対応する。
【００３０】
同様に、ｆ＝０、１、２、３又は４、ｇ＝０、１又は２であるとき、ｉ＝２＋（２ｆ）、ｊ＝１＋（２ｇ）の位置（図６で「□」印で示される）にある要素は、補間画素を中心として点対称の位置にある画素ブロックから成る画素ブロック対に対して、第２の参照フレームの画素ブロックを１画素上にずらした画素ブロックで置換えた画素ブロック対（図４（ａ）〜（ｄ）に示される画素ブロックを１画素上にずらした画素ブロックと、図３（ａ）〜（ｄ）に示される画素ブロックとで構成される画素ブロック対）に対応する。
同様に、ｆ＝０、１、２、３又は４、ｇ＝０、１又は２であるとき、ｉ＝２＋（２ｆ）、ｊ＝２＋（２ｇ）の位置（図６で「×」印で示される）にある要素は、補間画素を中心として点対称の位置にある画素ブロックから成る画素ブロック対に対して、第２の参照フレームの画素ブロックを１画素斜め左上にずらした画素ブロックで置換えた画素ブロック対（図４（ａ）〜（ｄ）に示される画素ブロックを１画素斜め左上にずらした画素ブロックと、図３（ａ）〜（ｄ）に示される画素ブロックとで構成される画素ブロック対）に対応する。
【００３１】
図６のマトリクスにおいて、候補ブロック対の上、下、左、右、斜め左上、斜め右上、斜め左下、斜め右下方向に隣接するブロック対を「近傍に位置するブロック対」として扱い、それ以外のものを相対的位置関係が比較的遠いブロック対として扱う。図６に示される例では、ｉ＝３、ｊ＝３の位置にある要素（「＊」印が付されている）が、候補ブロック対として選択された場合を想定しており、その上、下、左、右、斜め左上、斜め右上、斜め左下、斜め右下方向に隣接するもの、即ち太い線ＮＢで囲まれた範囲内のブロック対を「近傍に位置するブロック対」として扱う。
【００３２】
なお、上記のように、図６のマトリクス上で「候補ブロック対の上、下、左、右、斜め左上、斜め右上、斜め左下、斜め右下方向に隣接するブロック対」は、「候補ブロック対に対して、水平、垂直方向の距離が１（隣接要素間の距離を１と定義する）以下のブロック対」と言い換えることができる。ここで、一般的に言えば、「候補ブロック対に対して、水平、垂直方向の距離がＲ（Ｒは１以上の整数）以下のブロック対」を「近傍に位置するブロック対」として扱うこととしても良い。
【００３３】
信頼性評価手段４１は抽出手段３が抽出したすべての画素ブロック対の類似度の平均値（差分絶対値の総和ＳＡＤの平均値）を計算するとともに、この類似度の平均値と評価用類似度と候補類似度とから、候補類似度の信頼性を評価する。例えば下記の不等式（２ａ）が成立する場合、信頼性があると判断し、成立しない場合は信頼性がないと判断する。
（Ｓｅ―Ｓｃ）×Ｂ＞（Ｓａ―Ｓｅ）      …(2a)
（Ｓｅは評価用類似度を表す値（評価用ブロック対の差分絶対値の総和ＳＡＤ）、
Ｓｃは候補類似度を表す値（評価用ブロック対の差分絶対値の総和ＳＡＤ）、
Ｓａは類似度の平均値を表す値（評価用ブロック対の差分絶対値の総和ＳＡＤ）、
Ｂは１より大きい係数であり、例えば２）
式（２ａ）を書き直せば、
｛（Ｂ＋１）／Ｂ｝×（Ｓａ―Ｓｅ）＜（Ｓａ―Ｓｃ）      …(2b)
となる。
信頼性評価手段４１は、この判断結果を参照画素位置選択手段５に出力する。
【００３４】
式（２ａ）が満たされることは、候補類似度と評価用類似度の差のＢ倍（Ｂ＞１）が、
評価用類似度と類似度の平均値との差よりも大きいことを意味し、式（２ｂ）が満たされることは、候補ブロック対の類似度と類似度の平均値の差が、評価用ブロック対の類似度と類似度の平均値の差よりも所定倍率（Ｂ＋１）／Ｂ以上大きい（類似度の数値が小さい）ことを意味すること、即ち、式（２ａ）及び式（２ｂ）のいずれも、候補ブロック対の類似度が際立って大きい（類似度の最大値を含むピークが突出している）ことを意味する。
【００３５】
以下、候補ブロック対の類似度が際立って大きいか否かの判定に、式（２ａ）や式（２ｂ）を用いることの意義についてさらに説明する。
補間画素に対する相対的位置関係が候補ブロック対に近い画素ブロック対は、類似度が候補ブロック対に準じて大きいことがしばしば起こる。例えば、補間画素に対するブロック対の相対的位置関係は実際には離散的であるが、連続的に（相対的位置関係を連続的に変化させながら）ブロック対を生成し得ると仮定した場合に類似度が最大となる相対的位置関係が、上記のように離散的な位置関係を持つ画素ブロック対の中から選択された候補ブロック対と、（図６のマトリクス上で）それに隣接するブロック対との間に存在する場合には、候補ブロックの類似度とそれに隣接するブロック対の類似度との差が極めて小さくなることがある。
補間画素に対する相対的位置関係が近いもの以外のものの中で最も類似度の大きい画素ブロック対を選択すれば、上記のように、位置関係が候補ブロック対に近いために類似度が最大値に近い画素ブロック対を除いた中で、最も大きい類似度を有する画素ブロック対を評価用ブロック対として抽出することができる。
【００３６】
以下、この点について図７及び図８を参照して説明する。図７及び図８において、横軸は補間画素に対する画素ブロック対の相対的位置関係であり、例えば図６のうち、候補ブロック対を含む行における横方向に位置に対応する。縦軸は差分絶対値の総和ＳＡＤ及びその平均値を表す。
【００３７】
図７の例では、左から５番目（ｉ＝５）の位置に、候補ブロック対があり、図８に示す例では、左から３番目（ｉ＝３）の位置に、候補ブロック対がある。候補ブロック対の位置およびその両隣の画素ブロック対の位置は、「補間画素に対する相対的位置関係が候補ブロックに近い範囲ＮＢである。
評価用ブロック対は、上記の範囲ＮＢの外側のうちで、最も類似度の大きい画素ブロック対であり、図７及び図８では、簡単のため候補ブロック対と同じ行に存在するものとしている。
【００３８】
このようにして抽出される評価用ブロック対は、候補ブロック対の近傍における類似度の変化が図７に示すように緩やかである場合には、類似度が最大値の部分（ピーク）に連続した「裾」の部分（ピークから十分に離れた部分、即ち最大値に近接しているために最大値に準じた値を有する部分以外に部分）に位置する画素ブロック対であり、
候補ブロックの近傍における類似度の変化が図８に示すように急である場合には、２番目に大きい類似度ピークに位置する画素ブロック対である。
（なお、図７，図８では、類似度を表す指標として差分絶対値の総和ＳＡＤを示しているので、類似度のピークは、総和ＳＡＤのボトムに対応する）
このような最大値の部分（ピーク）に連続した「裾」に位置する画素ブロック対や２番目に大きいピーク（極大値部分）に位置する画素ブロック対と比較して、類似度の平均値に対する差異が所定の倍率以上大きいことは、候補ブロック対の類似度が際立って大きいことを意味する。
本発明では、このように、候補ブロック対の類似度が際立って大きい場合のみ、候補ブロック対の選択が信頼できるものであると判定し、候補ブロック対の中心位置を参照画素位置として補間を行なうこととしており、一方、類似度が最大ではあるものの、他に比べて類似度の違いがさほど大きくない場合には、その候補ブロック対の中心位置を参照画素位置とはしないことにより、補間をより正確に行なうこととしており、これにより、補間の精度を高めることができる。
【００３９】
参照画素位置選択手段５は、信頼性評価手段４１で信頼性があると判断された場合は、ブロック対選択手段４０の出力であるブロック対の中心画素位置を参照画素位置として選択し、信頼性がないと判断された場合は、以前に選択された参照画素位置、例えば１フレーム遅延手段４２によって１フレーム遅延された１回前の参照画素位置を選択し、参照画素位置を示す情報を対称位置補間手段６に供給する。
参照画素位置の選択は、参照画素の、補間画素に対する方向の選択でもあるので、補間方向の選択と言う意味をも持つ。
【００４０】
ここで各画素ブロックの中心に位置する画素（中心画素）とは、各画素ブロックを構成する中央の行に位置し且つ中央の列に位置する画素を言う。例えば、画素ブロックが３行５列の画素から成るときは、第２行第３列の画素を言う。一般的に各画素ブロックがｐ行ｑ列の画素から成り、ｐ、ｑが奇数の場合には、第（ｐ＋１）／２行、第（ｑ＋１）／２列の画素を言う。
ｐ、ｑが偶数の場合には、第ｐ／２行又は第（ｐ／２）＋１行、第ｑ／２列又は第（ｑ／２）＋１列の画素を中心画素として扱う。即ち、画素ブロックの中心は、正確な中心位置に限らず、正確な中心位置の近傍の位置であっても良い。
なお、中心位置の一義的確定のためには、ｐ、ｑが奇数であるのが望ましい。
【００４１】
対称位置補間手段６は、抽出手段３から供給された各画素ブロックの中心位置の画素値のうち、参照画素位置選択手段５により選択された参照画素位置の画素値の平均値を計算し、計算結果を、補間画素の画素値として出力端子７に出力する。
以上の動作を補間フレームのすべての補間画素に対して行うことで、補間フレームの補間画像を得る。
【００４２】
なお、上記の例では、抽出手段３は、補間画素に対して点対称の位置にある画素ブロック対（ａ）並びにそのような画素ブロック対に対して、一方の参照フレーム例えば第２の参照フレーム内の画素ブロックを１画素左にずらした画素ブロック対（ｂ）、１画素上にずらした画素ブロック対（ｃ）、及び１画素斜め左上にずらした画素ブロック対（ｄ）を抽出しているが、本発明はこれに限定されず、ハードウェアの規模を少なくするために、上記画素ブロック対（ａ）のほか一方の参照フレーム内の画素ブロックを１画素左にずらした画素ブロック対（ｂ）のみ、又は１画素上にずらした画素ブロック対（ｃ）のみ、又は１画素斜め左上にずらした画素ブロック対（ｄ）のみを抽出しても良い。
また、「１画素左」の代わりに、「１画素右」にずらしたものを用いても良く、「１画素上」の代わりに、「１画素下」にずらしたものを用いても良く、「１画素左斜め上」の代わりに、「１画素右斜め下」、「１画素左斜め下」、又は「１画素右斜め上」にずらしたものを用いても良い。
更に、第２の参照フレームの画素ブロックをずらした画素ブロック対ではなく、第１の参照フレームの画素ブロックをずらした画素ブロック対を用いても良い。
さらに、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対に加えて、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対の一方の画素ブロックを１画素ずらしたもので置換えた画素ブロック対を用いる代わりに、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対を用いずに、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対の一方の画素ブロックを１画素ずらしたもので置換えた画素ブロック対のみを用いても良い。
【００４３】
上記のように、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対の一方の画素ブロックを１画素にずらしたブロック対を抽出するようにした場合には、第１の参照フレームと第２の参照フレームの間で、上記ずらした方向に奇数画素の動きがあった（被写体の画像が奇数画素分移動した）場合にも動きの量に最も近い相互間距離を有する一対の画素ブロックの各々の中心位置を参照画素位置として選択することができ、補間をより正確に行うことができると言う効果がある。
【００４４】
例えば、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対の一方の画素ブロックを１画素左、又は１画素右にずらしたブロック対を抽出するようにした場合には、第１の参照フレームと第２の参照フレームの間で水平方向に奇数画素の動きがあった（被写体の画像が奇数画素分移動した）場合にも動きの量に最も近い相互間距離を有する一対の画素ブロックの各々の中心位置を参照画素位置として選択することができ、補間をより正確に行うことができると言う効果がある。
【００４５】
同様に、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対の一方のブロックを１画素上、又は１画素下にずらしたブロック対をも抽出するようにした場合には、第１の参照フレームと第２の参照フレームの間で垂直方向に奇数画素の動きがあった（被写体の画像が奇数画素分移動した）場合にも動きの量に最も近い相互間距離を有する一対の画素ブロックの各々の中心位置を参照画素位置として選択することができ、補間をより正確に行うことができると言う効果がある。
【００４６】
同様に、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対の一方のブロックを１画素斜め左上、又は１画素斜め右下にずらしたブロック対、又は１画素斜め左下にずらしたブロック対、１画素斜め右上にずらしたブロック対を抽出するようにした場合には、第１の参照フレームと第２の参照フレームの間で斜め方向に奇数画素の動きがあった（被写体の画像が奇数画素分移動した）場合にも動きの量に最も近い相互間距離を有する一対の画素ブロックの各々の中心位置を参照画素位置として選択することができ、補間をより正確に行うことができると言う効果がある。
【００４７】
一方、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対を抽出するようにした場合には、第１の参照フレームと第２の参照フレームの間で偶数画素の動きがあった（被写体の画像が偶数画素分移動した）場合に動きの量に最も近い相互間距離を有する一対の画素ブロックの各々の中心位置を参照画素位置として選択することができ、補間をより正確に行うことができると言う効果がある。
【００４８】
補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対に加えて、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対の一方の画素ブロックを１画素にずらしたブロック対を抽出するようにした場合には、第１の参照フレームと第２の参照フレームの間での上記ずらした方向における動きが奇数画素分であっても、偶数画素分であっても偶数画素の動きがあっても、動きの量に最も近い相互間距離を有する一対の画素ブロックの各々の中心位置を参照画素位置として選択することができ、補間をより正確に行うことができる。
【００４９】
なお、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対の一方の画素ブロックを１画素にずらしたブロック対が最大の類似度を持つものとして判定されたときは、その中心位置のみならず、１画素ずれた位置をも参照画素位置として選択しても良い。例えば、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対の一方の画素ブロックを１画素左にずらしたブロック対が最大の類似度を持つものと判定されたときは、その中心位置のみならず、中心位置のみならず、その中心位置の右側に隣接する画素位置をも参照画素位置として選択し、選択された４つの参照画素位置の画素値の平均を求めて、この平均を補間画素の画素値とすることとしても良い。
【００５０】
なお、対称位置補間手段６は、画素ブロック対を構成する画素ブロックの中心に位置する画素の平均値を補間画素の画素値としたが、画素ブロック対のどちらか一方の画素ブロックの中心に位置する画素の画素値を補間画素の画素値として用いても良い。
【００５１】
また、類似度計算手段４は、図２に示すように、画素ブロック中の全ての画素（ａ１からａ１５までとｂ１からｂ１５まで）について、総和ＳＡＤを求めたが、ハードウェア規模を削減するために、一方の画素ブロック例えば画素ブロックＢＬａ内の画素に対して均等な間引き処理を行った後の画素と、他方の画素ブロックＢＬｂの対応する位置にある画素の画素値の差分の絶対値の総和を求めることとしても良い。例えば、ブロックＢＬａ内において水平方向にｒ画素（ｒは、２以上の整数）ごとの画素（ｒ個ごとに１個）を抽出し、また垂直方向にｓ画素（ｓは、２以上の整数）ごとの画素（ｓ個ごとに１個）を抽出し、これらの画素、ブロックＢＬｂ内の対応する位置にある画素の画素値の差分絶対値を求め、それらの総和を求めることとしても良い。ｒ、ｓが２の場合の間引き処理の一例を図９及び図１０に示す。図示の例では、縦方向及び横方向に一つおきの画素であって、市松模様状に配置された画素（ハッチングで示されている）のみを抽出し、これらについてのみ差分絶対値を求め、それらの総和ＳＡＤを求める。
【００５２】
以上のように実施の形態１では、補間画素の位置に対して略点対称の位置にある第１の参照フレームの画素ブロックＢＬａと第２の参照フレームの画素ブロックＢＬｂとからなる画素ブロック対を複数抽出する抽出手段３と、抽出された複数の画素ブロック対のそれぞれについて、２つの画素ブロックの類似度を上記２つの画素ブロック内の画素の画素値に基づいて計算する類似度計算手段４、類似度計算手段４により計算された類似度が最も大きい画素ブロック（候補ブロック対）の類似度（候補類似度）と、補間画素に対する相対的位置関係が候補ブロック対に近い画素ブロック対以外の画素ブロック対のうちで、類似度が最も大きい画素ブロック（評価用ブロック対）の類似度（評価用類似度）に基づいて、信頼性を評価する信頼性評価手段４１と、信頼性評価手段４１によって評価した結果に応じて、現在の候補ブロック対の中心画素位置と、遅延手段４２によって遅延された１フレーム前の参照画素位置のいずれかを選択する参照画素位置選択手段５と、参照画素位置選択手段５により選択された参照画素位置の画素値を用いて補間画素を生成する対称位置補間手段６を備えているので、最も類似度が大きく、しかも、他の画素ブロック対に対して類似度が際立って大きい画素ブロック対、従って第１の参照フレームと第２の参照フレームの間での画像の動きの量に最も近い相互間距離を有し、その相互間距離の近さが他の画素ブロック対に比べて際立っている一対の画素ブロックの各々の中心に位置する画素の画素値に基づいて補間画素の画素値を決定することができるため、補間を正確に行うことができる。
【００５３】
また、画素ブロック対を構成する一方の画素ブロック内の少なくとも一部の画素と、他方の画素ブロック内の対応する位置にある画素の画素値の差分の絶対値の総和を類似度として出力するようにしたので、類似度を簡単に且つ正確に求めることができ、より正確な補間画像を得ることができると言う効果がある。
【００５４】
この場合、画素ブロック対を構成する一方の画素ブロックのすべての画素と、他方の画素ブロック内の対応する位置にある画素の画素値の差分の絶対値の総和を類似度として出力することとすれば、類似度をより正確に求めることができ、より正確な補間画像を得ることができると言う効果がある。
【００５５】
一方、画素ブロック対を構成する一方の画素ブロックの画素を均等に間引いた後の画素と、他方の画素ブロック内の対応する位置にある画素の画素値の差分の絶対値の総和を求めてこれを類似度として出力するようにすれば、類似度の算出を比較的小さいハードウェア規模で実現することができると言う効果がある。
【００５６】
実施の形態２．
実施の形態１では、類似度計算手段４の類似度の計算結果をどの画素ブロック対についても同様に評価して参照画素位置の選択に使用したが、補間画素の位置に対して遠い画素ブロック対ほど、信頼性が低くなる傾向があるため、誤って補間画素を生成する可能性がある。実施の形態２は、補間画素の位置に対して、より遠くの画素ブロック対について、類似度をより小さい値に補正し（差分絶対値の総和ＳＡＤに対してより大きい係数を掛ける補正をし）、補正された類似度を選択指標として用いることで、参照画素位置の選択をより適切に行い、補間画素の画素値の生成の信頼性を上げるものである。
【００５７】
図１１に実施の形態２によるフレーム補間装置のブロック図を示す。図示のフレーム補間装置は、図１のフレーム補間装置と概して同じであるが、類似度補正手段１３が付加されている点で異なる。図１と同じ符号が付された構成要素は、実施の形態１と同様の動作をする。
【００５８】
類似度補正手段１３は、類似度計算手段４により計算された各画素ブロック対の差分絶対値の総和ＳＡＤに対して、補間画素と画素ブロックの中心に位置する画素（中心画素）との距離に応じて、図１２に示すような補正係数Ｋを用いて、総和ＳＡＤに対して、ＳＡＤ×Ｋの計算を行い、計算結果を選択指標ＳＩとしてブロック対選択手段４０に出力する。総和ＳＡＤが大きいほど類似度が小さいことを意味するので、総和ＳＡＤにかける係数Ｋが大きいほど、選択指標ＳＩは大きくなり、類似度がより小さい値に補正される（補正された類似度がより小さい値とされる）ことを意味する。
【００５９】
例えば、補間画素と、類似度計算に用いられた一対の画素ブロックの各々の中心画素との距離が１画素以下の場合は、Ｋは１とされ、２画素以上では、Ｋは１．５とされ、１画素から２画素までの範囲では、Ｋが１から１．５まで次第に大きくなるようにされる。
【００６０】
補間画素と、類似度計算に用いられた一対の画素ブロックの各々の中心画素との距離としては、例えば水平方向の距離と垂直方向の長い方を用いる。この場合、図３（ａ）〜（ｄ）及び図４（ａ）〜（ｄ）を参照して説明した例では、補間画素と、最も遠い画素ブロックの中心画素との水平方向の距離は２画素（垂直方向の距離は１画素）であり、画素ブロック対を構成する２つの画素ブロックが「最も遠い画素ブロック」であるときは、当該類似度の計算に用いられた画素ブロック対の類似度に対する係数Ｋは、１．５となる。
【００６１】
なお、補間画素の位置と類似度計算に用いられた画素ブロック対の一方の画素ブロックと他方の画素ブロックとで、中心画素から補間画素までの距離が異なる場合には、その平均を用いる。例えば、図３（ａ）及び図５（ａ）に示すように、類似度を計算に用いられた画素ブロック対の一方の画素ブロックの中心画素から補間画素までの水平方向の距離が２画素（垂直方向の距離は１画素）であり、他方の画素ブロックの中心画素から補間画素までの水平方向の距離が１画素（垂直方向の距離も１画素）である場合には、距離の平均は、１．５画素となり、補正係数Ｋは１．２５となる。
【００６２】
ブロック対選択手段４０は、類似度補正手段１３の出力に基づき、各補間画素について最も大きい補正された類似度を持つ（選択指標ＳＩ＝ＳＡＤ×Ｋの値が最も小さい）一対の画素ブロックの中心位置を候補類似度の参照画素位置として選択し、参照画素位置選択手段５に出力する。以下、実施の形態１と同様に補間画素の画素値が計算され、補間フレームの画像が得られる。
【００６３】
以上のように、図１１に示される実施の形態２では、類似度計算手段４と類似度補正手段１３とにより、参照画素位置選択手段５における参照画素位置の選択に用いられる選択指標ＳＩを生成する選択指標生成手段３２が構成されている。これに対し、図１に示される実施の形態１では、類似度計算手段４の出力自体が選択指標ＳＩであり、類似度選択手段４のみにより選択指標生成手段が構成されていると見ることができる。
【００６４】
なお、上記の例では、水平方向の距離と垂直方向の距離のうち長い方を画素ブロックの中心画素と補間画素の距離として補正係数の決定に用いているが、代わりに水平方向の距離と垂直方向の距離の平均を画素ブロック間の距離として良く、また水平方向の距離の２乗と垂直方向の距離の２乗の和の平方根、即ち
{（水平方向の距離）２＋（垂直方向の距離）２}１／２
を画素ブロックの中心画素と補間画素の距離として用いても良い。
また、補間画素の位置と類似度計算に用いられた画素ブロック対の一方の画素ブロックと他方の画素ブロックとで、中心画素から補間画素までの距離が異なる場合には、その平均を用いているが、代わりに、長い方を用いても良く、短い方を用いても良い。
【００６５】
上記の実施の形態のように、画素ブロックの中心位置が、補間画素から遠い画素ブロック対は、類似度がより小さくなるように補正をし、補正された類似度を選択指標として用いることとしたので、より正確な補間画像が得られる効果がある。
【００６６】
実施の形態３．
実施の形態１の類似度計算手段４は、画素ブロック対の類似度の計算過程において、平坦な画像（画面の広い範囲にわたり画素間の濃度変化の少ない画像）の場合でも、変化がある画像でも同様に評価して計算したが、平坦な画像ほど類似度が大きくなる傾向があるため、参照画素位置の選択が適切でない可能性がある。実施の形態３は、平坦な画像を含む画素ブロック対ほど類似度を小さく評価し、変化がある画像を含む画素ブロック対ほど類似度を大きく評価するため、画像のバラつき度合いに応じて各画素ブロック対の類似度の補正を行い、補正された類似度を選択指標として用いることで、参照画素位置の選択の信頼性を上げるものである。
【００６７】
図１３に実施の形態３によるフレーム補間装置を示す。図示の補間装置は、図１に示されるものと概して同じであるが、補正制御手段２７及び類似度補正手段２８が付加されている点で異なる。図１と同じ符号が付された構成要素は、実施の形態１と同様の動作をする。
図１３の実施の形態では、類似度計算手段４と、補正制御手段２７と類似度補正手段２８により、選択指標生成手段３２が構成されている。
【００６８】
補正制御手段２７は、水平方向バラつき度合い計算手段２７ａと、垂直方向バラつき度合い計算手段２７ｂと、加算手段２７ｃと、補正係数生成手段２７ｄとを備えている。
【００６９】
バラつき度合い計算手段２７ａは、各画素ブロック対について、バラつき度合いを計算する。バラつき度合いの計算方法を、図３（ａ）、図４（ａ）の画素ブロック対を例に説明する。水平方向のバラつき度合いとして、以下の式（３）により計算を行う。
【００７０】
【数２】
2008193462.tif 000004
【００７１】
上記の式は、水平方向に変化が多いほど大きい値を示し、水平方向に変化が少ないほど、小さい値を示す関数である。
垂直方向バラつき度合い計算手段２７ｂは更に、垂直方向のバラつき度合いとして、以下の式（４）により計算を行う。
【００７２】
【数３】
2008193462.tif 000005
【００７３】
上記の式は、垂直方向に変化が多いほど大きい値を示し、垂直方向に変化が少ないほど、小さい値を示す関数である。
【００７４】
加算手段２７ｃは、水平方向のバラつき度合いの計算結果ＣＨと垂直方向のバラつき度合いの計算結果ＣＶを加算し、加算結果を総合的バラつき度合いＣＴとして出力する。
補正係数生成手段２７ｄは、総合的バラつき度合いＣＴに応じて補正係数Ｄを出力する。総合的バラつき度合いＣＴと補正係数Ｄとの関係は例えば図１４に示すごとくであり、第１の所定値Ｔｈａ以上では、補正係数Ｄは１であり、第１の所定値Ｔｈａよりも小さい第２の所定値Ｔｈｂ以下では、補正係数Ｄは２であり、第１の所定値Ｔｈａと第２の所定値Ｔｈｂの間の範囲では、総合的バラつき度合いＣＴの減少に伴い補正係数Ｄが１から２に次第に増加する。
補正係数生成手段２７ｄは例えば変換用テーブルで構成されていても良く、計算手段により構成されていても良い。
補正係数生成手段２７ｄから出力される補正係数Ｄは補正制御手段２７の出力として類似度補正手段２８に供給される。
【００７５】
類似度補正手段２８は、補正係数Ｄを用いて、類似度計算手段４から出力される総和ＳＡＤに対してＳＡＤ×Ｄの計算を行い、計算結果を選択指標ＳＩとして出力する。
このような補正を行う結果、総合的バラつき度合いＣＴが第１の所定値Ｔｈａ以上では、総和ＳＡＤに対する係数が１であるので、類似度の補正量はゼロであるが、総合的バラつき度合いＣＴが第２の所定値Ｔｈｂ以下では、総和ＳＡＤが２倍にされて、類似度がより小さい値に補正され（補正された類似度がより小さい値とされ）、総合的バラつき度合いＣＴが第１の所定値Ｔｈａと第２の所定値Ｔｈｂの間では、総合的バラつき度合いＣＴの減少に伴って、総和ＳＡＤに対する係数Ｄが大きくされ、類似度がより小さい値に補正される（補正された類似度がより小さい値とされる）。
【００７６】
ブロック対選択手段４０は、類似度補正手段２８の出力に基づき、各補間画素について最も大きい補正された類似度を持つ（選択指標ＳＩ＝ＳＡＤ×Ｄの値が最も小さい）一対の画素ブロックの中心位置を候補類似度の参照画素位置として選択し、参照画素位置選択手段５に出力する。以下、実施の形態１と同様に補間画素の画素値が計算され、補間フレームの画像が得られる。
【００７７】
上記の構成により、画素ブロック内の画素の画素値のバラつき度合いを計算し、バラつき度合いが小さい場合には類似度がより小さくなるように補正をするようにしたので、平坦部の類似度が大きくなる傾向にあることにより正しい補間画像が得られないという問題を解決する効果がある。
【００７８】
実施の形態４．
実施の形態１乃至３では、類似度計算手段４で、補間画素に対して点対称の位置にある一対の画素ブロック相互間の差分の絶対値の総和を求めて、類似度を示す指標とし、類似度の最も大きい画素ブロック対の中心位置を参照画素位置として選択しているが、各補間画素（注目補間画素）についての参照画素位置の選択の結果を、注目補間画素の周辺の補間画素について決定された参照画素位置の、当該補間画素に対する概略的方向（補間方向）を用いて変更するようにすれば、より良好な補間フレームの補間画像が得られる。
【００７９】
図１５に実施の形態４によるフレーム補間装置を示す。図示の補間装置は、図１に示される補間装置と概して同じであるが、参照画素位置変更手段１６、遅延補償手段１７、１８が付加されている点で異なる。図１と同じ符号が付された構成要素は、実施の形態１と同様の動作をする。
【００８０】
参照画素位置変更手段１６は、水平方向に整列し、連続して補間処理の対象とされ複数の、例えば７個の補間画素の各々について各補間画素について参照画素位置選択手段５で選択された参照画素位置の、当該補間画素に対する方向を記憶する。例えば、参照画素位置変更手段１６は、参照画素位置選択手段５が各補間画素について順次選択された参照画素位置の、当該補間画素に対する概略の方向（補間方向）を、水平方向に所定数の補間画素の分、例えば７画素分保持する。具体的には、参照画素位置選択手段５が各補間画素について選択した参照画素位置が属する領域を示す情報を、概略的補間方向を示す情報として、所定数の補間画素、たとえば７画素分保持する。
【００８１】
例えば、参照画素位置選択手段５が決定した画素ブロック対のうちの第１の参照フレームの画素ブロックの中心画素が、図１６（ａ）の領域ＵＬにある場合には、第１のフラグ「ＦＵＬ」を立て、図１６（ｂ）の領域ＤＬにある場合には第２のフラグ「ＦＤＬ」を立て、図１６（ｃ）の領域ＤＲにある場合には第３のフラグ「ＦＤＲ」を立て、図１６（ｄ）の領域ＵＲにある場合には第４のフラグ「ＦＵＲ」を立てる。図１６で、第１〜第４列の第３行にあるときには、第１のフラグ「ＦＵＬ」、第２のフラグ「ＦＤＬ」がともに立ち（第１の領域内にあるとともに、第２の領域にあることを意味し）、第６〜第９列の第３行にあるときには、第３のフラグ「ＦＤＲ」、第４のフラグ「ＦＵＲ」がともに立ち（第３の領域内にあるとともに、第４の領域にあることを意味し）、第１〜第２行の第５列にあるときには、第１のフラグ「ＦＵＬ」、第４のフラグ「ＦＵＲ」がともに立ち（第１の領域内にあるとともに、第４の領域にあることを意味し）、第４〜第５行の第５列にあるときには、第２のフラグ「ＦＤＬ」、第３のフラグ「ＦＤＲ」がともに立ち（第２の領域内にあるとともに、第３の領域にあることを意味し、第３行の第５列にあるときは第１〜第４のフラグ「ＦＵＬ」、「ＦＤＬ」、「ＦＤＲ」、「ＦＵＲ」がすべて立つ（第１の領域内にあるとともに、第２の領域にあるとともに、第３の領域にあるとともに、第４の領域にあることを意味する）。
【００８２】
参照画素位置変更手段１６は、各注目補間画素（ｎ番目の補間画素）についての概略的補間方向が、該注目補間画素の左側に位置し、該注目補間画素に連続する３つの補間画素（ｎ−３、ｎ−２、ｎ−１番目の補間画素）の各々についての概略的補間方向とすべて一致する（注目補間画素の左方向に存在する上記所定数の補間画素の各々について立てられたフラグの少なくとも一つが、注目補間画素について立てられたフラグのいずれかと一致する）場合、或いは該注目補間画素の右側に位置し、該注目補間画素に連続する３つの補間画素（ｎ＋１、ｎ＋２、ｎ＋３番目の補間画素）の各々についての概略的補間方向のすべて一致する（注目補間画素の右方向に存在する上記所定数の補間画素の各々について立てられたフラグの少なくとも一つが、注目補間画素について立てられたフラグのいずれかと一致する）場合には、当該補間画素について参照画素位置選択手段５で選択された参照画素位置をそのまま参照画素位置として、対称位置補間手段６へ出力する。一方、上記のいずれでもない場合は、参照画素位置選択手段５で選択した参照画素位置の代わりに、第１及び第２の参照フレーム内の、当該補間画素と同じ位置を示す情報を、参照画素位置を示す情報として対称位置補間手段６へ出力する。
【００８３】
上記の処理を言い換えると、参照画素位置変更手段１６は、各注目補間画素（ｎ番目の補間画素）についての概略的補間方向が、該注目補間画素の左側に位置し、該注目補間画素に連続する３つの補間画素（ｎ−３、ｎ−２、ｎ−１番目の補間画素）のいずれかについての概略的補間方向と異なり（注目補間画素の左方向に存在する上記所定数の補間画素のいずれかについて立てられたフラグのいずれもが、注目補間画素について立てられたフラグのいずれとも一致せず）、且つ該注目補間画素の右側に位置し、該注目補間画素に連続する３つの補間画素（ｎ＋１、ｎ＋２、ｎ＋３番目の補間画素）のいずれかについて概略的補間方向と異なる（注目補間画素の右方向に存在する上記所定数の補間画素のいずれかについて立てられたフラグのいずれもが、注目補間画素について立てられたフラグのいずれとも一致しない）場合には、参照画素位置選択手段５で選択した参照画素位置の代わりに、第１及び第２の参照フレーム内の当該補間画素と同じ位置を示す情報を参照画素位置を示す情報として対称位置補間手段６へ出力する。そうでない場合には、参照画素位置選択手段５が選択した参照画素位置を示す情報をそのまま対称位置補間手段６に出力する。
【００８４】
遅延補償手段１７、１８は、抽出手段３から出力される各画素ブロックの中心位置の画素値を、参照画素位置変更手段１６の補間方向の補正にかかる遅延時間を補償して対称位置補間手段６へ出力する。対称位置補間手段６は、参照画素位置変更手段１６から出力される参照画素位置を示す情報により特定される位置の画素値（抽出手段３から供給される各ブロックの中心位置の画素値のいずれか）、第１の実施の形態と同様に、補間画素の画素値を生成する。
【００８５】
上記の構成によれば、水平方向に整列し、連続して補間処理の対象とされ複数の補間画素の各々について各補間画素について参照画素位置選択手段５で選択された参照画素位置の、当該補間画素に対する方向を記憶し、各注目補間画素についての参照画素位置の、当該補間画素に対する方向が、該注目補間画素の左方向に存在する所定数の補間画素のいずれかについて選択された参照画素位置の、当該補間画素に対する方向と異なり、且つ該注目補間画素の右方向に存在する所定数の補間画素のいずれかについて選択された参照画素位置の、当該補間画素に対する方向と異なる場合は、参照画素位置選択手段５で選択された参照画素位置の代わりに、第１及び第２の参照フレーム内の、当該注目補間画素と同じ位置を参照画素位置とする参照画素位置変更手段１６を備えたので、参照画素位置の選択をより適切に行うことができると言う効果がある。
【産業上の利用可能性】
【００８６】
本発明の活用例として、テレビジョンのフレーム周波数変換や、業務用モニターのフレーム周波数変換に適用できる。また、フレーム周波数は変換しない場合であっても、冗長な１枚のフレーム（直前のフレームと同じ内容のフレーム）を除去して新たにフレームを生成するフレーム変換に適用できる。
【図面の簡単な説明】
【００８７】
【図１】この発明の実施の形態１の補間装置を示すブロック図である。
【図２】実施の形態１における参照画素位置の選択のために順次選択される一対の画素ブロックを示す図である。
【図３】（ａ）〜（ｄ）は、実施の形態１における参照画素位置の選択のために順次選択される第１の参照フレーム内の画素ブロックを示す図である。
【図４】（ａ）〜（ｄ）は、実施の形態１における参照画素位置の選択のために順次選択される第２の参照フレーム内の画素ブロックを示す図である。
【図５】（ａ）〜（ｄ）は、実施の形態１における参照画素位置の選択のために順次選択される第２の参照フレーム内の画素ブロックを示す図である。
【図６】抽出手段３により抽出される複数の画素ブロック対の、補間画素に対する相対的位置関係をマトリクスにより示す図である。
【図７】類似度の変化の一例を示す図である。
【図８】類似度の変化の他の例を示す図である。
【図９】実施の形態１における参照画素位置の選択のために順次選択される第１の参照フレーム内の画素ブロックを示す図である。
【図１０】実施の形態１における参照画素位置の選択のために順次選択される第２の参照フレーム内の画素ブロックを示す図である。
【図１１】この発明の実施の形態２の補間装置を示すブロック図である。
【図１２】実施の形態２における参照画素及び補間画素相互間の距離と補正係数Ｋの関係を示す図である。
【図１３】この発明の実施の形態３の補間装置を示すブロック図である。
【図１４】実施の形態３における総合的バラつき度合いＣＴと補正係数Ｄの関係を示す図である。
【図１５】この発明の実施の形態４の補間装置を示すブロック図である。
【図１６】（ａ）〜（ｄ）は、実施の形態４における、参照画素位置選択手段５で選択された参照画素位置の、補間画素に対する概略的方向の判定に用いられるそれぞれの領域を示す図である。
【符号の説明】
【００８８】
１  入力端子、  ２  遅延手段、  ３  抽出手段、  ４  類似度計算手段、  ５  参照画素位置選択手段、  ６  対称位置補間手段、  ７  出力端子、  １３  類似度補正手段、  １６  参照画素位置変更手段、  １７  遅延補償手段、  １８  遅延補償手段、  ２７  補正制御手段、  ２８  類似度補正手段、  ３２  選択指標生成手段、  ４０  ブロック対選択手段、  ４１  信頼性評価手段、  ４２  遅延手段。
【図１】
2008193462.tif 000006
【図２】
2008193462.tif 000007
【図３】
2008193462.tif 000008
【図４】
2008193462.tif 000009
【図５】
2008193462.tif 000010
【図６】
2008193462.tif 000011
【図７】
2008193462.tif 000012
【図８】
2008193462.tif 000013
【図９】
2008193462.tif 000014
【図１０】
2008193462.tif 000015
【図１１】
2008193462.tif 000016
【図１２】
2008193462.tif 000017
【図１３】
2008193462.tif 000018
【図１４】
2008193462.tif 000019
【図１５】
2008193462.tif 000020
【図１６】
2008193462.tif 000021