(57)【要約】【課題】２枚のフレームの画像を用いて、２枚のフレームの間の補間フレームの画像を、動画ぼやけや、ジャダーが発生しないように生成する。【解決手段】補間フレーム内の補間画素を中心としてほぼ点対称の位置にある第１の参照フレームの画素ブロック（ＢＬａ）と第２の参照フレームの画素ブロック（ＢＬｂ）とからなる画素ブロック対のそれぞれについて、２つの画素ブロック間の類似度を計算し、類似度が最も大きい画素ブロック対の２つの画素ブロックの中心に位置する画素を参照画素として選択する。ブロック対の一方のブロック内の画素と他方の対応する位置の画素との差分の絶対値の総和を、類似度を表すものとして用いる。【選択図】図１
2008078848.tif 000002
【特許請求の範囲】
【請求項１】
第１の参照フレームと第２の参照フレームの間の補間フレーム内の補間画素の画素値を生成するフレーム補間装置であって、
前記補間画素の位置を中心として点対称の位置にある前記第１の参照フレームの画素ブロックと前記第２の参照フレームの画素ブロックとからなる画素ブロック対、及び上記画素ブロック対に対して、一方の画素ブロックを１画素ずらした画素ブロックで置換えた画素ブロック対の一方又は双方を複数個抽出する抽出手段と、
前記抽出手段により抽出された複数の画素ブロック対のそれぞれについて、２つの画素ブロックの類似度を前記２つの画素ブロック内の画素の画素値に基づいて計算する類似度計算手段と、
前記類似度計算手段により計算された類似度又はそれを補正したものが最も大きい画素ブロック対を構成する各画素ブロックの中心に位置する画素を参照画素として選択する参照画素選択手段と、
前記参照画素選択手段により選択された参照画素に基づいて前記補間画素を生成する補間手段と
を備えたことを特徴とするフレーム補間装置。
【請求項２】
前記抽出手段が、前記補間画素を中心として点対称の位置にある画素ブロックから成る画素ブロック対と、該点対称の位置にある画素ブロックから成る画素ブロック対に対して、一方の画素ブロックを１画素左、又は１画素右にずらした画素ブロックで置換えた画素ブロック対とを抽出することを特徴とする請求項１に記載のフレーム補間装置。
【請求項３】
前記抽出手段が、前記補間画素を中心として点対称の位置にある画素ブロックから成る画素ブロック対と、該点対称の位置にある画素ブロックから成る画素ブロック対に対して、一方の画素ブロックを１画素上、又は１画素下にずらした画素ブロックで置換えた画素ブロック対とを抽出することを特徴とする請求項１に記載のフレーム補間装置。
【請求項４】
前記抽出手段が、前記補間画素を中心として点対称の位置にある画素ブロックから成る画素ブロック対と、該点対称の位置にある画素ブロックから成る画素ブロック対に対して、一方の画素ブロックを１画素右斜め上、又は１画素右斜め下、又は１画素左斜め上、又は１画素左斜め下にずらした画素ブロックで置換えた画素ブロック対とを抽出することを特徴とする請求項１に記載のフレーム補間装置。
【請求項５】
前記類似度計算手段は、画素ブロック対を構成する一方の画素ブロック内の少なくとも一部の画素と、他方の画素ブロックの対応する位置にある画素の画素値の差分の絶対値の総和を求め、該総和を、前記類似度を表すものとして出力することを特徴とする請求項１乃至４のいずれかに記載のフレーム補間装置。
【請求項６】
前記類似度計算手段は、画素ブロック対を構成する一方の画素ブロック内のすべての画素と、他方の画素ブロックの対応する位置にある画素の画素値の差分の絶対値の総和を求めることを特徴とする請求項５に記載のフレーム補間装置。
【請求項７】
前記類似度計算手段は、画素ブロック対を構成する一方の画素ブロック内の画素に対し均等な間引き処理を行った後の画素と、他方の画素ブロックの対応する位置にある画素の画素値の差分の絶対値の総和を求めることを特徴とする請求項５に記載のフレーム補間装置。
【請求項８】
前記画素ブロック対を構成する各画素ブロックの中心に位置する画素の、前記補間画素からの距離が長いほど、当該画素ブロック対の前記類似度よりも小さい補正された類似度を出力する類似度補正手段を更に有し、
前記参照画素選択手段は、前記補正された類似度に基づいて前記参照画素の選択を行う
ことを特徴とする請求項１乃至７のいずれかに記載のフレーム補間装置。
【請求項９】
画素ブロック内の画素の画素値のバラつき度合いを計算し、計算されたバラつき度合いを検出する補正制御手段と、
前記補正制御手段で検出されたバラつき度合いが小さいほど、前記類似度計算手段が出力する類似度よりも小さい、補正された類似度を出力する類似度補正手段をさらに備え、
前記参照画素選択手段は、前記補正された類似度に基づいて前記参照画素の選択を行う
ことを特徴とする請求項１乃至７のいずれかに記載のフレーム補間装置。
【請求項１０】
水平方向に整列し、連続して補間処理の対象とされ複数の補間画素の各々について前記参照画素選択手段で選択された参照画素の、当該補間画素に対する方向を記憶し、
注目補間画素についての前記参照画素の、当該補間画素に対する方向が、該注目補間画素の左方向に存在する所定数の補間画素のいずれかについて選択された参照画素の、当該補間画素に対する方向と異なり、且つ該注目補間画素の右方向に存在する所定数の補間画素のいずれかについて選択された参照画素の、当該補間画素に対する方向と異なる場合は、前記参照画素選択手段で選択された参照画素の代わりに、当該注目補間画素と同じ位置にある前記第１の参照フレームの画素と、当該注目補間画素と同じ位置にある前記第２の参照フレームの画素を参照画素とする参照画素変更手段を
備えたことを特徴とする請求項１乃至７のいずれかに記載のフレーム補間装置。
【請求項１１】
前記補間手段は、前記参照画素選択手段により選択された参照画素の画素値の平均値を前記補間画素の画素値とし、又は前記参照画素の一方の画素値を前記補間画素の画素値とする
ことを特徴とする請求項１乃至１０のいずれかに記載のフレーム補間装置。
【請求項１２】
前記補間手段は、
前記参照画素選択手段により選択された前記参照画素を用いて前記補間画素のための第１の補間値を生成する対称位置補間手段と、
補間画素と同じ位置にある前記第１の参照フレームの画素と、補間画素と同じ位置にある前記第２の参照フレームの画素を用いて前記補間画素のための第２の補間値を生成する同一位置補間手段と、
前記第１の補間値と前記第２の補間値を混合する混合手段と
を有することを特徴とする請求項１に記載のフレーム補間装置。
【請求項１３】
前記類似度計算手段により計算された類似度が最も大きい一対の画素ブロックのうちの前記第１の参照フレーム内の画素ブロックの中心位置にある画素と、前記第１の参照フレーム内の画素ブロックの中心位置にある画素と同じ位置にある第２の参照フレーム内の画素との差分絶対値を計算する第１の差分絶対値計算手段と、
前記類似度計算手段により計算された類似度が最も大きい一対の画素ブロックのうちの前記第２の参照フレーム内の画素ブロックの中心位置にある画素と、前記第２の参照フレーム内の画素ブロックの中心位置にある画素と同じ位置にある第１の参照フレーム内の画素との差分絶対値を計算する第２の差分絶対値計算手段と、
前記第１の差分絶対値計算手段で計算された差分絶対値と前記第２の差分絶対値計算手段で計算された差分絶対値から、混合係数を生成する混合制御手段とを備え、
前記混合手段は、前記混合制御手段により生成された混合係数に応じた比率で、前記第１の補間値と前記第２の補間値を混合する
ことを特徴とする請求項１２に記載のフレーム補間装置。
【請求項１４】
前記混合制御手段は、前記第１の差分絶対値計算手段で計算された差分絶対値と前記第２の差分絶対値計算手段で計算された差分絶対値のうちの大きい方に比例する値を前記混合係数として出力することを特徴とする請求項１３に記載のフレーム補間装置。
【請求項１５】
前記混合手段は、前記混合係数が所定値以上の場合には、前記対称位置補間手段の出力を選択し、
前記混合係数が所定値未満の場合は、前記第１の補間値と前記第２の補間値を前記混合係数に応じた比率で混合する
ことを特徴とする請求項１４に記載のフレーム補間装置。
【請求項１６】
前記混合手段は、前記混合に際し、前記混合係数が大きいほど、前記第１の補間値の比率をより大きくし、前記第２の補間値の比率をより小さくすることを特徴とする請求項１５に記載のフレーム補間装置。
【請求項１７】
前記補間手段は、各補間画素について前記類似度計算手段により計算された最も大きい類似度が、第１の閾値以下である場合には、前記第１の補間値と前記第２の補間値を、当該類似度の大きさに応じた比率で混合することにより、前記補間画素の補間値を生成することを特徴とする請求項１２に記載のフレーム補間装置。
【請求項１８】
前記混合手段は、前記混合に際し、各画素について前記類似度計算手段で計算された類似度が大きいほど、前記第１の補間値の比率をより大きくし、前記第２の補間値の比率をより小さくすることを特徴とする請求項１７に記載のフレーム補間装置。
【請求項１９】
前記混合手段は、各補間画素について前記類似度計算手段により計算された最も大きい類似度が第２の閾値以下の場合には、前記第２の補間値を選択して出力する
ことを特徴とする請求項１７に記載のフレーム補間装置。
【請求項２０】
前記混合手段は、各補間画素について前記類似度計算手段により計算された最も大きい類似度が前記第１の閾値よりも大きい場合には、前記対称位置補間手段の出力を選択して出力することを特徴とする請求項１７に記載のフレーム補間装置。
【請求項２１】
請求項１乃至２０のいずれかに記載のフレーム補間装置を備えることを特徴とするフレーム周波数変換装置。
【請求項２２】
第１の参照フレームと第２の参照フレームの間の補間フレーム内の補間画素の画素値を生成するフレーム補間方法であって、
前記補間画素の位置を中心として点対称の位置にある前記第１の参照フレームの画素ブロックと前記第２の参照フレームの画素ブロックとからなる画素ブロック対、及び上記画素ブロック対に対して、一方の画素ブロックを１画素ずらした画素ブロックで置換えた画素ブロック対の一方又は双方を複数個抽出する抽出ステップと、
前記抽出ステップにより抽出された複数の画素ブロック対のそれぞれについて、２つの画素ブロックの類似度を前記２つの画素ブロック内の画素の画素値に基づいて計算する類似度計算ステップと、
前記類似度計算ステップにより計算された類似度又はそれを補正したものが最も大きい画素ブロック対を構成する各画素ブロックの中心に位置する画素を参照画素として選択する参照画素選択ステップと、
前記参照画素選択ステップにより選択された参照画素に基づいて前記補間画素を生成する補間ステップと
を備えたことを特徴とするフレーム補間方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号に含まれる２枚のフレームの画像を用いて、２枚のフレームの間に存在する補間フレームの画像を生成するフレーム補間装置及びフレーム補間方法に関するものである。本発明はまた、フレーム補間装置を備えたフレーム周波数変換装置及びフレーム補間方法を備えたフレーム周波数変換方法に関するものである。
【背景技術】
【０００２】
液晶ディスプレイなどのホールド型ディスプレイは、１フレーム期間同じ画像を表示し続けており、画像中の物体が動いた場合に、動く物体に対する人間の目の追従が連続的に移動するのに対して、物体の移動が１フレーム単位の不連続な移動を行っているためにエッジ部分がぼやけて見える問題がある。これに対し、フレームを補間することで表示フレーム数を多くして物体の移動をスムーズにすることが考えられる。
【０００３】
また、映画などのフィルム映像がテレビ信号に変換された素材については、両者（フィルム映像とテレビ信号）のフレーム周波数の違いから、２枚（２フィールド）又は３枚（フィールド）が同じフレームから作られた画像となっており、そのまま表示すると、動きがぼやけたり、動きがギクシャクしたジャダーが発生したりする問題がある。
【０００４】
また、同様にコンピュータ処理された映像がテレビ信号に変換された素材についても、２枚（２フィールド）が同じフレームから作られた画像であり、そのまま表示すると同様にジャダーが発生する問題がある。
【０００５】
従来のフレーム補間装置及びフレーム補間方法は、補間フレームに対して１フレーム前のフレームと同じ画像で補間する零時ホールド法か、補間フレームに対して１フレーム前の画像と１フレーム後の画像の平均画像で補間する平均値補間法などがあるが、零時ホールド法は、一定方向に動く画像に対して、滑らかな移動をしないので、依然ホールド型ディスプレイのぼやけの問題は解決されない。また、平均値補間法は、動いた画像が２重像になる問題がある。
【０００６】
この改善策として、画像を複数の画素ブロックに分割し、補間フレームに対して１フレーム前のフレームを第１の参照フレームとし、補間フレームに対して１フレーム後のフレームを第２の参照フレームとし、第１の参照フレーム中にある画素ブロックと相関の最も大きい画素ブロックを第２の参照フレームから見つけ、見つかった画素ブロック対から補間フレームの画素ブロックの画像を補間するものがある（例えば、特許文献１参照）。この方法は、画素ブロック単位で補間フレームを生成するために、処理に必要なメモリ（主にはＳＤＲＡＭが使用される）のデータのリード・ライトが煩雑になり、ハードウェア化が困難である問題がある。
【０００７】
また、別の改善策として、補間フレームの補間画素に対して点対称の位置にある第一の参照フレーム上の画素と第２の参照フレーム上の画素との画素間の相関が最も大きい画素から補間フレームの補間画素を生成するものがある（例えば、特許文献２参照）。この方法では、画素単位での相関検出のため、画像の内容が異なるにも拘らず、画素間の相関が大きいと検出される場合があり、正しく補間画像が得られない場合がある。
【０００８】
【特許文献１】特開２００４−３５７２１５号公報（第９頁、第１６図）
【特許文献２】特開２００６−１２９１８１号公報（第８頁、第３図）
【発明の開示】
【発明が解決しようとする課題】
【０００９】
従来のフレーム補間装置は、上記の様に構成されており、動きがぼやけたり、動きがギクシャクしたジャダーが発生したりする問題がある。また、ブロック単位で補間フレームを生成する方法では、メモリに対するデータのリード・ライトが煩雑になり、ハードウェア化が困難である問題がある。また、画素単位の相関を検出する方法では、正しく相関検出ができない問題がある。
【課題を解決するための手段】
【００１０】
本発明は、
第１の参照フレームと第２の参照フレームの間の補間フレーム内の補間画素の画素値を生成するフレーム補間装置であって、
前記補間画素の位置を中心として点対称の位置にある前記第１の参照フレームの画素ブロックと前記第２の参照フレームの画素ブロックとからなる画素ブロック対、及び上記画素ブロック対に対して、一方の画素ブロックを１画素ずらした画素ブロックで置換えた画素ブロック対の一方又は双方を複数個抽出する抽出手段と、
前記抽出手段により抽出された複数の画素ブロック対のそれぞれについて、２つの画素ブロックの類似度を前記２つの画素ブロック内の画素の画素値に基づいて計算する類似度計算手段と、
前記類似度計算手段により計算された類似度又はそれを補正したものが最も大きい画素ブロック対を構成する各画素ブロックの中心に位置する画素を参照画素として選択する参照画素選択手段と、
前記参照画素選択手段により選択された参照画素に基づいて前記補間画素を生成する補間手段と
を備えたことを特徴とするフレーム補間装置を提供する。
【発明の効果】
【００１１】
本発明によれば、最も類似度が大きく、従って第１の参照フレームと第２の参照フレームの間での画像の動きの量に最も近い相互間距離を有する一対の画素ブロック各々の中心に位置する画素の画素値に基づいて補間画素の画素値を決定することができるため、補間を正確に行うことができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態を図面により説明する。
実施の形態１．
図１はこの発明の実施の形態１のフレーム補間装置を示すブロック図である。図示のフレーム補間装置は、入力端子１と、遅延手段２と、抽出手段３と、類似度計算手段４と、参照画素選択手段５と、対称位置補間手段６と、出力端子７とを有する。
【００１３】
入力端子１より入力された映像信号は、遅延手段２に入力され、１フレーム期間の遅延が行われ、第１の参照フレームとして抽出手段３の一方に入力される。また、入力端子１に入力された映像信号は、第２の参照フレームとして抽出手段３の他方の入力に入力される。抽出手段３は第１の参照フレームと、第２の参照フレームから補間画素を中心として略点対称の位置にあり、同数の画素から成る画素ブロックの対を、複数個抽出する。
【００１４】
各フレーム内の画素は、図２に示すように、フレームＦ内に（フレームを構成する画面上に）マトリクス状に配列されている。即ち、水平方向（主走査方向）及び垂直方向（副走査方向）に互いに整列している。フレームＦ内の各画素の位置を水平方向の座標値ｈと垂直方向の座標値ｖとにより、（ｈ，ｖ）で表すものとする。座標の原点はフレームの最も左で且つ最も上の位置にあり、水平方向の座標値ｈは右向きに画素間隔一つにつき値が１つずつ大きくなり、垂直方向の座標値ｖは下向きに、画素間隔一つにつき値が１ずつ大きくなるものとする。
【００１５】
補間フレーム内の任意の位置（ｈ，ｖ）の補間画素を生成する場合、第１の参照フレーム内の画素ブロックＢＬａ及び第２の参照フレームの画素ブロックＢＬｂとして、例えばその中心位置が水平方向には（ｈ−２）から（ｈ＋２）までの範囲のもの、垂直方向には（ｖ−２）から（ｖ＋２）までの範囲のものが抽出される。このような条件を満たす画素ブロックは第１の参照フレーム、第２の参照フレームの各々に１５個ずつある。各画素ブロックは例えば３行５列の画素から成るものである。
【００１６】
図３（ａ）〜（ｄ）及び図４（ａ）〜（ｄ）には、そのような画素ブロックが例示されている。そのうち、図３（ａ）〜（ｄ）に示されるものは第１の参照フレーム内の画素ブロックＢＬａであり、図４（ａ）〜（ｄ）に示されるものは第２の参照フレーム内の画素ブロックＢＬｂである。
【００１７】
図３（ａ）に示される画素ブロックＢＬａ（１）と図４（ａ）に示される画素ブロックＢＬｂ（１）が補間画素を中心として点対称の位置にある画素ブロックから成る画素ブロック対を構成している。同様に、図３（ｂ）に示される画素ブロックＢＬａ（２）と図４（ｂ）に示される画素ブロックＢＬｂ（２）が補間画素を中心として点対称の位置にある画素ブロックから成る画素ブロック対を構成している。図３（ｃ）に示される画素ブロックＢＬａ（３）と図４（ｃ）に示される画素ブロックＢＬｂ（３）が補間画素を中心として点対称の位置にある画素ブロックから成る画素ブロック対を構成している。同様に、図３（ｄ）に示される画素ブロックＢＬａ（１５）と図４（ｄ）に示される画素ブロックＢＬｂ（１５）が補間画素を中心として点対称の位置にある画素ブロックから成る画素ブロック対を構成している。
【００１８】
抽出手段３は、このように、補間画素を中心として点対称の位置にある２つの画素ブロックから成る画素ブロック対を順次抽出する。
【００１９】
抽出手段３は更に、図３（ａ）〜（ｄ）に例示したように補間画素を中心として点対称の位置にある画素ブロックの対のみでなく、それらのうちの一方を、１画素左方にずらした画素ブロックで置換えたものをも抽出する。例えば、図４（ａ）に示される画素ブロックＢＬｂ（１）を図５（ａ）に示されるように１画素左にずらした画素ブロックＢＬｂ（１）と、図３（ａ）に示される画素ブロックＢＬａ（１）とで構成される画素ブロック対、同様に図４（ｂ）に示される画素ブロックＢＬｂ（２）を図５（ｂ）に示されるように１画素左にずらした画素ブロックＢＬｂ（２）と、図３（ｂ）に示される画素ブロックＢＬａ（２）とで構成される画素ブロック対、同様に図４（ｃ）に示される画素ブロックＢＬｂ（３）を図５（ｃ）に示されるように１画素左にずらした画素ブロックＢＬｂ（３）と、図３（ｃ）に示される画素ブロックＢＬａ（３）とで構成される画素ブロック対、同様に図４（ｄ）に示される画素ブロックＢＬｂ（１５）を図５（ｄ）に示されるように１画素左にずらした画素ブロックＢＬｂ（１５）と、図３（ｄ）に示される画素ブロックＢＬａ（１５）とで構成される画素ブロック対を抽出する。
【００２０】
図３（ａ）〜（ｄ）に例示された画素ブロックと図４（ａ）〜（ｄ）に例示された画素ブロックは、相互間（それらの内部の互いに対応する画素相互間）に水平方向に偶数個の画素、即ち４画素、２画素、０画素の位置の差（距離）があるが、図３（ａ）〜（ｄ）に示された画素ブロックと図５（ａ）〜（ｄ）に示された画素ブロックは、相互間に水平方向に奇数個の画素、即ち３画素、１画素の差（距離）がある。
【００２１】
抽出手段３は更に、図３（ａ）〜（ｄ）及び図３（ａ）〜（ｄ）に例示したように補間画素を中心にして点対称の位置にある画素ブロックの対を構成する画素ブロックの一方を、１画素上方にずらした画素ブロックで置換えたものをも抽出する。例えば、図４（ａ）に示される画素ブロックを１画素上にずらした画素ブロックと、図３（ａ）に示される画素ブロックとで構成される画素ブロック対を抽出する。
【００２２】
抽出手段３は更に、図３（ａ）〜（ｄ）及び図３（ａ）〜（ｄ）に例示したように補間画素を中心にして点対称の位置にある画素ブロックの対のを構成する画素ブロックの一方を、１画素左方で且つ１画素上方に（即ち、斜め左上に）ずらした画素ブロックで置換えたものをも抽出する。例えば、図４（ａ）〜（ｄ）に示される画素ブロックを１画素斜め左上にずらした画素ブロックと、図３（ａ）〜（ｄ）に示される画素ブロックとで構成される画素ブロック対を抽出する。
【００２３】
抽出手段３により抽出された画素ブロック対は、類似度計算手段４に入力され、画素ブロック対毎に画素ブロック相互間の類似度が計算される。類似度計算手段４は、例えば図３（ａ）の画素ブロックＢＬａと図４（ａ）の画素ブロックＢＬｂとの類似度の計算に当たっては、図３（ａ）の画素ブロックＢＬａ中の画素ａ１〜ａ１５と、図４（ａ）の画素ブロックＢＬｂ中の画素ｂ１〜ｂ１５（画素ａ１からａ１５に対応する位置（画素ブロック内の同一の位置）にある画素）との差分絶対値の総和（以下、ＳＡＤと呼ぶ）を以下の式により類似度として計算する。
【００２４】
【数１】
2008078848.tif 000003
【００２５】
同様に、他の画素ブロック対についても差分絶対値の総和ＳＡＤが計算され、計算結果を各画素ブロック対の類似度として参照画素選択手段５に出力する。ここで、総和ＳＡＤの値が小さいほど類似度が大きく、総和ＳＡＤが大きいほど類似度が小さいことを意味する。
【００２６】
参照画素選択手段５は、各画素ブロック対の総和ＳＡＤの値が一番小さい画素ブロック対を構成する各画素ブロックの中心に位置する画素（中心画素）を参照画素として選択し、対称位置補間手段６に供給する。参照画素の選択は、参照画素の、補間画素に対する方向の選択でもあるので、補間方向の選択と言う意味をも持つ。
【００２７】
ここで各画素ブロックの中心に位置する画素（中心画素）とは、各画素ブロックを構成する中央の行に位置し且つ中央の列に位置する画素を言う。例えば、画素ブロックが３行５列の画素から成るときは、第２行第３列の画素を言う。一般的に各画素ブロックがｎ行ｍ列の画素から成り、ｎ、ｍが奇数の場合には、第（ｎ＋１）／２行、第（ｍ＋１）／２列の画素を言う。
ｎ、ｍが偶数の場合には、第ｎ／２行又は第（ｎ／２）＋１行、第ｍ／２列又は第（ｍ／２）＋１列の画素を中心画素として扱う。即ち、画素ブロックの中心は、正確な中心位置に限らず、正確な中心位置の近傍の位置であっても良い。
なお、中心位置の一義的確定のためには、ｎ、ｍが奇数であるのが望ましい。
【００２８】
対称位置補間手段６は、抽出手段３から出力された画素ブロック対のうち、参照画素選択手段５により選択された参照画素の画素値の平均値を計算し、計算結果を、補間画素の補間画素の画素値として出力端子７に出力する。
以上の動作を補間フレームのすべての補間画素に対して行うことで、補間フレームの補間画像を得る。
【００２９】
なお、上記の例では、抽出手段３は、補間画素に対して点対称の位置にある画素ブロック対（ａ）並びにそのような画素ブロック対に対して、一方の参照フレーム例えば第２の参照フレーム内の画素ブロックを１画素左にずらした画素ブロック対（ｂ）、１画素上にずらした画素ブロック対（ｃ）、及び１画素斜め左上にずらした画素ブロック対（ｄ）を抽出しているが、本発明はこれに限定されず、ハードウェアの規模を少なくするために、上記画素ブロック対（ａ）のほか一方の参照フレーム内の画素ブロックを１画素左にずらした画素ブロック対（ｂ）のみ、又は１画素上にずらした画素ブロック対（ｃ）のみ、又は１画素斜め左上にずらした画素ブロック対（ｄ）のみを抽出しても良い。
また、「１画素左」の代わりに、「１画素右」にずらしたものを用いても良く、「１画素上」の代わりに、「１画素下」にずらしたものを用いても良く、「１画素左斜め上」の代わりに、「１画素右斜め下」、「１画素左斜め下」、又は「１画素右斜め上」にずらしたものを用いても良い。
更に、第２の参照フレームの画素ブロックをずらした画素ブロック対ではなく、第１の参照フレームの画素ブロックをずらした画素ブロック対を用いても良い。
さらに、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対に加えて、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対の一方の画素ブロックを１画素ずらしたもので置換えた画素ブロック対を用いる代わりに、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対を用いずに、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対の一方の画素ブロックを１画素ずらしたもので置換えた画素ブロック対のみを用いても良い。
【００３０】
上記のように、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対の一方の画素ブロックを１画素にずらしたブロック対を抽出するようにした場合には、第１の参照フレームと第２の参照フレームの間で、上記ずらした方向に奇数画素の動きがあった（被写体の画像が奇数画素分移動した）場合にも動きの量に最も近い相互間距離を有する一対の画素ブロックの各々の中心に位置する画素を参照画素として選択することができ、補間をより正確に行うことができると言う効果がある。
【００３１】
例えば、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対の一方の画素ブロックを１画素左、又は１画素右にずらしたブロック対を抽出するようにした場合には、第１の参照フレームと第２の参照フレームの間で水平方向に奇数画素の動きがあった（被写体の画像が奇数画素分移動した）場合にも動きの量に最も近い相互間距離を有する一対の画素ブロックの各々の中心に位置する画素を参照画素として選択することができ、補間をより正確に行うことができると言う効果がある。
【００３２】
同様に、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対の一方のブロックを１画素上、又は１画素下にずらしたブロック対をも抽出するようにした場合には、第１の参照フレームと第２の参照フレームの間で垂直方向に奇数画素の動きがあった（被写体の画像が奇数画素分移動した）場合にも動きの量に最も近い相互間距離を有する一対の画素ブロックの各々の中心に位置する画素を参照画素として選択することができ、補間をより正確に行うことができると言う効果がある。
【００３３】
同様に、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対の一方のブロックを１画素斜め左上、又は１画素斜め右下にずらしたブロック対、又は１画素斜め左下にずらしたブロック対、１画素斜め右上にずらしたブロック対を抽出するようにした場合には、第１の参照フレームと第２の参照フレームの間で斜め方向に奇数画素の動きがあった（被写体の画像が奇数画素分移動した）場合にも動きの量に最も近い相互間距離を有する一対の画素ブロックの各々の中心に位置する画素を参照画素として選択することができ、補間をより正確に行うことができると言う効果がある。
【００３４】
一方、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対を抽出するようにした場合には、第１の参照フレームと第２の参照フレームの間で偶数画素の動きがあった（被写体の画像が偶数画素分移動した）場合に動きの量に最も近い相互間距離を有する一対の画素ブロックの各々の中心に位置する画素を参照画素として選択することができ、補間をより正確に行うことができると言う効果がある。
【００３５】
補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対に加えて、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対の一方の画素ブロックを１画素にずらしたブロック対を抽出するようにした場合には、第１の参照フレームと第２の参照フレームの間での上記ずらした方向における動きが奇数画素分であっても、偶数画素分であっても偶数画素の動きがあっても、動きの量に最も近い相互間距離を有する一対の画素ブロックの各々の中心に位置する画素を参照画素として選択することができ、補間をより正確に行うことができる。
【００３６】
なお、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対の一方の画素ブロックを１画素にずらしたブロック対が最大の類似度を持つものとして判定されたときは、その中心の画素のみならず、１画素ずれた位置にある画素をも参照画素として選択しても良い。例えば、補間画素に対して点対称の位置にある画素ブロックから成る画素ブロック対の一方の画素ブロックを１画素左にずらしたブロック対が最大の類似度を持つものと判定されたときは、その中心の画素のみならず、中心の画素の右側に隣接する画素をも参照画素として選択し、選択された４つの参照画素の平均を求めて、この平均を補間画素の画素値とすることとしても良い。
【００３７】
なお、対称位置補間手段６は、画素ブロック対を構成する画素ブロックの中心に位置する画素の平均値を補間画素の画素値としたが、画素ブロック対のどちらか一方の画素ブロックの中心に位置する画素の画素値を補間画素の画素値として用いても良い。
【００３８】
また、類似度計算手段４は、図２に示すように、画素ブロック中の全ての画素（ａ１からａ１５とｂ１からｂ１５）について、総和ＳＡＤを求めたが、ハードウェア規模を削減するために、一方の画素ブロック例えば画素ブロックＢＬａ内の画素に対して均等な間引き処理を行った後の画素と、他方の画素ブロックＢＬｂの対応する位置にある画素の画素値の差分の絶対値の総和を求めることとしても良い。例えば、ブロックＢＬａ内において水平方向にｎ画素（ｎは、２以上の整数）ごとの画素（ｎ個ごとに１個）を抽出し、また垂直方向にｍ画素（ｍは、２以上の整数）ごとの画素（ｍ個ごとに１個）を抽出し、これらの画素、ブロックＢＬｂ内の対応する位置にある画素の画素値の差分絶対値を求め、それらの総和を求めることとしても良い。ｍ、ｎが２の場合の間引き処理の一例を図６、図７に示す。図示の例では、縦方向及び横方向に一つおきの画素であって、市松模様状に配置された画素（ハッチングで示されている）のみを抽出し、これらについてのみ差分絶対値を求め、それらの総和ＳＡＤを求める。
【００３９】
以上のように実施の形態１では、補間画素の位置に対して略点対称の位置にある第１の参照フレームの画素ブロックＢＬａと第２の参照フレームの画素ブロックＢＬｂとからなる画素ブロック対を複数抽出する抽出手段３と、抽出された複数の画素ブロック対のそれぞれについて、２つの画素ブロックの類似度を上記２つの画素ブロック内の画素の画素値に基づいて計算する類似度計算手段４、類似度計算手段４により計算された類似度が最も大きい一対の画素ブロックの中心に位置する画素を参照画素として選択する参照画素選択手段５と、参照画素選択手段５により選択された参照画素を用いて補間画素を生成する対称位置補間手段６を備えているので、最も類似度が大きく、従って第１の参照フレームと第２の参照フレームの間での画像の動きの量に最も近い相互間距離を有する一対の画素ブロックの各々の中心に位置する画素の画素値に基づいて補間画素の画素値を決定することができるため、補間を正確に行うことができる。
【００４０】
また、画素ブロック対を構成する一方の画素ブロック内の少なくとも一部の画素と、他方の画素ブロック内の対応する位置にある画素の画素値の差分の絶対値の総和を類似度として出力するようにしたので、類似度を簡単に且つ正確に求めることができ、より正確な補間画像を得ることができると言う効果がある。
【００４１】
この場合、画素ブロック対を構成する一方の画素ブロックのすべての画素と、他方の画素ブロック内の対応する位置にある画素の画素値の差分の絶対値の総和を類似度として出力することとすれば、類似度をより正確に求めることができ、より正確な補間画像を得ることができる。
【００４２】
一方、画素ブロック対を構成する一方の画素ブロックの画素を均等に間引いた後の画素と、他方の画素ブロック内の対応する位置にある画素の画素値の差分の絶対値の総和を求めてこれを類似度として出力するようにすれば、類似度の算出を比較的小さいハードウェア規模で実現することができる。
【００４３】
実施の形態２．
実施の形態１では、類似度計算手段４の類似度の計算結果をどの画素ブロック対についても同様に評価して参照画素の選択に使用したが、補間画素の位置に対して遠い画素ブロック対ほど、信頼性が低くなる傾向があるため、誤って補間画素を生成する可能性がある。実施の形態２は、補間画素の位置に対して、より遠くの画素ブロック対について、類似度をより小さい値に補正し（差分絶対値の総和ＳＡＤに対してより大きい係数を掛ける補正をし）、補正された類似度を選択指標として用いることで、参照画素の選択をより適切に行い、補間画素の画素値の生成の信頼性を上げるものである。
【００４４】
図８に実施の形態２によるフレーム補間装置のブロック図を示す。図示のフレーム補間装置は、図１のフレーム補間装置と概して同じであるが、類似度補正手段１３が付加されている点で異なる。図１と同じ符号が付された構成要素は、実施の形態１と同様の動作をする。
【００４５】
類似度補正手段１３は、類似度計算手段４により計算された各画素ブロック対の差分絶対値の総和ＳＡＤに対して、補間画素と画素ブロックの中心に位置する画素（中心画素）との距離に応じて、図９に示すような補正係数Ｋを用いて、総和ＳＡＤに対して、ＳＡＤ×Ｋの計算を行い、計算結果を選択指標ＳＩとして照画素選択手段５に出力する。総和ＳＡＤが大きいほど類似度が小さいことを意味するので、総和ＳＡＤにかける係数Ｋが大きいほど、選択指標ＳＩは大きくなり、類似度がより小さい値に補正される（補正された類似度がより小さい値とされる）ことを意味する。
【００４６】
例えば、補間画素と、類似度計算に用いられた一対の画素ブロックの各々の中心画素との距離が１画素以下の場合は、Ｋは１とされ、２画素以上では、Ｋは１．５とされ、１画素から２画素までの範囲では、Ｋが１から１．５まで次第に大きくなるようにされる。
【００４７】
補間画素と、類似度計算に用いられた一対の画素ブロックの各々の中心画素との距離としては、例えば水平方向の距離と垂直方向の長い方を用いる。この場合、図３（ａ）〜（ｄ）及び図４（ａ）〜（ｄ）を参照して説明した例では、補間画素と、最も遠い画素ブロックの中心画素との水平方向の距離は２画素（垂直方向の距離は１画素）であり、画素ブロック対を構成する２つの画素ブロックが「最も遠い画素ブロック」であるときは、当該類似度の計算に用いられた画素ブロック対の類似度に対する係数Ｋは、１．５となる。
【００４８】
なお、補間画素の位置と類似度計算に用いられた画素ブロック対の一方の画素ブロックと他方の画素ブロックとで、中心画素から補間画素までの距離が異なる場合には、その平均を用いる。例えば、図３（ａ）及び図５（ａ）に示すように、類似度を計算に用いられた画素ブロック対の一方の画素ブロックの中心画素から補間画素までの水平方向の距離が２画素（垂直方向の距離は１画素）であり、他方の画素ブロックの中心画素から補間画素までの水平方向の距離が１画素（垂直方向の距離も１画素）である場合には、距離の平均は、１．５画素となり、補正係数Ｋは１．２５となる。
【００４９】
参照画素選択手段５は、類似度補正手段１３に基づき、各補間画素について最も大きい補正された類似度を持つ（選択指標ＳＩ＝ＳＡＤ×Ｋの値が最も小さい）一対の画素ブロックの中心画素を参照画素として選択し、対称位置補間手段６に出力する。以下、実施の形態１と同様に補間画素の画素値が計算され、補間フレームの画像が得られる。
【００５０】
以上のように、図８に示される実施の形態２では、類似度計算手段４と類似度補正手段１３とにより、参照画素選択手段５における参照画素の選択に用いられる選択指標ＳＩを生成する選択指標生成手段３２が構成されている。これに対し、図１に示される実施の形態１では、類似度計算手段４の出力自体が選択指標ＳＩであり、類似度選択手段４のみにより選択指標生成手段が構成されていると見ることができる。
【００５１】
なお、上記の例では、水平方向の距離と垂直方向の距離のうち長い方を画素ブロックの中心画素と補間画素の距離として補正係数の決定に用いているが、代わりに水平方向の距離と垂直方向の距離の平均を画素ブロック間の距離として良く、また水平方向の距離の２乗と垂直方向の距離の２乗の和の平方根、即ち
{（水平方向の距離）２＋（垂直方向の距離）２}１／２
を画素ブロックの中心画素と補間画素の距離として用いても良い。
また、補間画素の位置と類似度計算に用いられた画素ブロック対の一方の画素ブロックと他方の画素ブロックとで、中心画素から補間画素までの距離が異なる場合には、その平均を用いているが、代わりに、長い方を用いても良く、短い方を用いても良い。
【００５２】
上記の実施の形態のように、画素ブロックの中心位置が、補間画素から遠い画素ブロック対は、類似度がより小さくなるように補正をし、補正された類似度を選択指標として用いることとしたので、より正確な補間画像が得られる効果がある。
【００５３】
実施の形態３．
実施の形態１の類似度計算手段４は、画素ブロック対の類似度の計算過程において、平坦な画像（画面の広い範囲にわたり画素間の濃度変化の少ない画像）の場合でも、変化がある画像でも同様に評価して計算したが、平坦な画像ほど類似度が大きくなる傾向があるため、参照画素の選択が適切でない可能性がある。実施の形態３は、平坦な画像を含む画素ブロック対ほど類似度を小さく評価し、変化がある画像を含む画素ブロック対ほど類似度を大きく評価するため、画像のバラつき度合いに応じて各画素ブロック対の類似度の補正を行い、補正された類似度を選択指標として用いることで、参照画素の選択の信頼性を上げるものである。
【００５４】
図１０に実施の形態３によるフレーム補間装置を示す。図示の補間装置は、図１に示されるものと概して同じであるが、補正制御手段２７及び類似度補正手段２８が付加されている点で異なる。図１と同じ符号が付された構成要素は、実施の形態１と同様の動作をする。
図１０の実施の形態では、類似度計算手段４と、補正制御手段２７と類似度補正手段２８により、選択指標生成手段３２が構成されている。
【００５５】
補正制御手段２７は、水平方向バラつき度合い計算手段２７ａと、垂直方向バラつき度合い計算手段２７ｂと、加算手段２７ｃと、補正係数生成手段２７ｄとを備えている。
【００５６】
バラつき度合い計算手段２７ａは、各画素ブロック対について、バラつき度合いを計算する。バラつき度合いの計算方法を、図３（ａ）、図４（ａ）の画素ブロック対を例に説明する。水平方向のバラつき度合いとして、以下の式（２）により計算を行う。
【００５７】
【数２】
2008078848.tif 000004
【００５８】
上記の式は、水平方向に変化が多いほど大きい値を示し、水平方向に変化が少ないほど、小さい値を示す関数である。
垂直方向バラつき度合い計算手段２７ｂは更に、垂直方向のバラつき度合いとして、以下の式（３）により計算を行う。
【００５９】
【数３】
2008078848.tif 000005
【００６０】
上記の式は、垂直方向に変化が多いほど大きい値を示し、垂直方向に変化が少ないほど、小さい値を示す関数である。
【００６１】
加算手段２７ｃは、水平方向のバラつき度合いの計算結果ＣＨと垂直方向のバラつき度合いの計算結果ＣＶを加算し、加算結果を総合的バラつき度合いＣＴとして出力する。
補正係数生成手段２７ｄは、総合的バラつき度合いＣＴに応じて補正係数Ｄを出力する。総合的バラつき度合いＣＴと補正係数Ｄとの関係は例えば図１１に示すごとくであり、第１の所定値Ｔｈａ以上では、補正係数Ｄは１であり、第１の所定値よりも小さい第２の所定値Ｔｈｂ以下では、補正係数Ｄは２であり、第１の所定値Ｔｈａと第２の所定値Ｔｈｂの間の範囲では、総合的バラつき度合いＣＴの減少に伴い補正係数Ｄが１から２に次第に増加する。
補正係数生成手段２７ｄは例えば変換用テーブルで構成されていても良く、計算手段により構成されていても良い。
補正係数生成手段２７ｄから出力される補正係数Ｄは補正制御手段２７の出力として類似度補正手段２８に供給される。
【００６２】
類似度補正手段２８は、補正係数Ｄを用いて、類似度計算手段４から出力される総和ＳＡＤに対してＳＡＤ×Ｄの計算を行い、計算結果を選択指標ＳＩとして出力する。
このような補正を行う結果、総合的バラつき度合いＣＴが第１の所定値Ｔｈａ以上では、総和ＳＡＤに対する係数が１であるので、類似度の補正量はゼロであるが、総合的バラつき度合いＣＴが第２の所定値Ｔｈｂ以下では、総和ＳＡＤが２倍にされて、類似度がより小さい値に補正され（補正された類似度がより小さい値とされ）、総合的バラつき度合いＣＴが第１の所定値Ｔｈａと第２の所定値Ｔｈｂの間では、総合的バラつき度合いＣＴの減少に伴って、総和ＳＡＤに対する係数Ｄが大きくされ、類似度がより小さい値に補正される（補正された類似度がより小さい値とされる）。
【００６３】
参照画素選択手段５は、類似度補正手段２８の出力に基づき、各補間画素について最も大きい補正された類似度を持つ（選択指標ＳＩ＝ＳＡＤ×Ｄの値が最も小さい）一対の画素ブロックの中心画素を参照画素として選択し、対称位置補間手段６に出力する。以下、実施の形態１と同様に補間画素の画素値が計算され、補間フレームの画像が得られる。
【００６４】
上記の構成により、画素ブロック内の画素の画素値のバラつき度合いを計算し、バラつき度合いが小さい場合には類似度がより小さくなるように補正をするようにしたので、平坦部の類似度が大きくなる傾向にあることにより正しい補間画像が得られないという問題を解決する効果がある。
【００６５】
実施の形態４．
実施の形態１乃至３では、類似度計算手段４で、補間画素に対して点対称の位置にある一対の画素ブロック相互間の差分の絶対値の総和を求めて、類似度を示す指標とし、類似度の最も大きい画素ブロック対の中心画素を参照画素として選択しているが、各補間画素（注目補間画素）についての参照画素の選択の結果を、注目補間画素の周辺の補間画素について決定された参照画素の、当該補間画素に対する概略的方向（補間方向）を用いて変更するようにすれば、より良好な補間フレームの補間画像が得られる。
【００６６】
図１２に実施の形態４によるフレーム補間装置を示す。図示の補間装置は、図１に示される補間装置と概して同じであるが、参照画素変更手段１６、遅延補償手段１７、１８が付加されている点で異なる。図１と同じ符号が付された構成要素は、実施の形態１と同様の動作をする。
【００６７】
参照画素変更手段１６は、水平方向に整列し、連続して補間処理の対象とされ複数の、例えば７個の補間画素の各々について各補間画素について参照画素選択手段４で選択された参照画素の、当該補間画素に対する方向を記憶する。例えば、参照画素変更手段１６は、参照画素選択手段５が各補間画素について順次選択された参照画素の、当該補間画素に対する概略の方向（補間方向）を、水平方向に所定数の補間画素の分、例えば７画素分保持する。具体的には、参照画素選択手段５が各補間画素について選択した参照画素が属する領域を示す情報を、概略的補間方向を示す情報として、所定数の補間画素、たとえば７画素分保持する。
【００６８】
例えば、参照画素選択手段５が決定した画素ブロック対のうちの第１の参照フレームの画素ブロックの中心画素が、図１３（ａ）の領域ＵＬにある場合には、第１のフラグ「ＦＵＬ」を立て、図１３（ｂ）の領域ＤＬにある場合には第２のフラグ「ＦＤＬ」を立て、図１３（ｃ）の領域ＤＲにある場合には第３のフラグ「ＦＤＲ」を立て、図１３（ｄ）の領域ＵＲにある場合には第４のフラグ「ＦＵＲ」を立てる。図１３で、第１〜第４列の第３行にあるときには、第１のフラグ「ＦＵＬ」、第２のフラグ「ＦＤＬ」がともに立ち（第１の領域内にあるとともに、第２の領域にあることを意味し）、第６〜第９列の第３行にあるときには、第３のフラグ「ＦＤＲ」、第４のフラグ「ＦＵＲ」がともに立ち（第３の領域内にあるとともに、第４の領域にあることを意味し）、第１〜第２行の第５列にあるときには、第１のフラグ「ＦＵＬ」、第４のフラグ「ＦＵＲ」がともに立ち（第１の領域内にあるとともに、第４の領域にあることを意味し）、第４〜第５行の第５列にあるときには、第２のフラグ「ＦＤＬ」、第３のフラグ「ＦＤＲ」がともに立ち（第２の領域内にあるとともに、第３の領域にあることを意味し、第３行の第５列にあるときは第１〜第４のフラグ「ＦＵＬ」、「ＦＤＬ」、「ＦＤＲ」、「ＦＵＲ」がすべて立つ（第１の領域内にあるとともに、第２の領域にあるとともに、第３の領域にあるとともに、第４の領域にあることを意味する）。
【００６９】
参照画素変更手段１６は、各注目補間画素（ｎ番目の補間画素）についての概略的補間方向が、該注目補間画素の左側に位置し、該注目補間画素に連続する３つの補間画素（ｎ−３、ｎ−２、ｎ−１番目の補間画素）の各々についての概略的補間方向とすべて一致する（注目補間画素の左方向に存在する上記所定数の補間画素の各々について立てられたフラグの少なくとも一つが、注目補間画素について立てられたフラグのいずれかと一致する）場合、或いは該注目補間画素の右側に位置し、該注目補間画素に連続する３つの補間画素（ｎ＋１、ｎ＋２、ｎ＋３番目の補間画素）の各々についての概略的補間方向のすべて一致する（注目補間画素の右方向に存在する上記所定数の補間画素の各々について立てられたフラグの少なくとも一つが、注目補間画素について立てられたフラグのいずれかと一致する）場合には、当該補間画素について参照画素選択手段５で選択された参照画素をそのまま参照画素として、対称位置補間手段６へ出力する。一方、上記のいずれでもない場合は、参照画素選択手段５で選択した参照画素の代わりに、当該補間画素と同じ位置に存在する第１の参照フレームの画素と第２の参照フレームの画素を参照画素として対称位置補間手段６へ出力する。
【００７０】
上記の処理を言い換えると、参照画素変更手段１６は、各注目補間画素（ｎ番目の補間画素）についての概略的補間方向が、該注目補間画素の左側に位置し、該注目補間画素に連続する３つの補間画素（ｎ−３、ｎ−２、ｎ−１番目の補間画素）のいずれかについての概略的補間方向と異なり（注目補間画素の左方向に存在する上記所定数の補間画素のいずれかについて立てられたフラグのいずれもが、注目補間画素について立てられたフラグのいずれとも一致せず）、且つ該注目補間画素の右側に位置し、該注目補間画素に連続する３つの補間画素（ｎ＋１、ｎ＋２、ｎ＋３番目の補間画素）のいずれかについて概略的補間方向と異なる（注目補間画素の右方向に存在する上記所定数の補間画素のいずれかについて立てられたフラグのいずれもが、注目補間画素について立てられたフラグのいずれとも一致しない）場合には、参照画素選択手段５で選択した参照画素の代わりに、当該補間画素と同じ位置に存在する第１の参照フレームの画素と第２の参照フレームの画素を参照画素として対称位置補間手段６へ出力する。そうでない場合には、参照画素選択手段５が選択した参照画素をそのまま対称位置補間手段６に出力する。
【００７１】
遅延補償手段１７、１８は、抽出手段３の出力を、参照画素変更手段１６の補間方向の補正にかかる遅延時間を補償して対称位置補間手段６へ出力する。対称位置補間手段６は、補間方向補正手段１６から出力される参照画素の画素値を用いて、第１の実施の形態と同様に、補間画素の画素値を生成する。
【００７２】
上記の構成によれば、水平方向に整列し、連続して補間処理の対象とされ複数の補間画素の各々について各補間画素について参照画素選択手段５で選択された参照画素の、当該補間画素に対する方向を記憶し、各注目補間画素についての参照画素の、当該補間画素に対する方向が、該注目補間画素の左方向に存在する所定数の補間画素のいずれかについて選択された参照画素の、当該補間画素に対する方向と異なり、且つ該注目補間画素の右方向に存在する所定数の補間画素のいずれかについて選択された参照画素の、当該補間画素に対する方向と異なる場合は、参照画素選択手段５で選択された参照画素の代わりに、当該注目補間画素の位置と同じ位置にある第１の参照フレームの画素と、当該注目補間画素の位置と同じ位置にある第２の参照フレームの画素を参照画素とする参照画素変更手段１６を備えたので、参照画素の選択をより適切に行うことができる。
【００７３】
実施の形態５．
実施の形態１〜４では、動画であっても静止画であっても、同様な補間フレームの生成を行ったが、動画の場合と静止画の場合とで処理を適応的に変えることで、より良好な補間画像が得られる。以下、実施の形態５の説明を図１４を用いて行う。
【００７４】
図１４に示される補間装置は、図１と同様の、遅延手段２、抽出手段３、類似度計算手段４、参照画素選択手段５及び対称位置補間手段６のほかに、同一位置補間手段８、第１の差分絶対値計算手段９、第２の差分絶対値計算手段１０、混合制御手段１１、及び混合手段１２を備えている。なお、図１と同じ符号が付された構成要素は、実施の形態１と同様の動作をする。
【００７５】
同一位置補間手段８は、補間画素の位置と同じ位置に存在する第１の参照フレームの画素と、第２の参照フレームの画素との平均値を計算し、混合手段１２に出力する。
実施の形態１では、対称位置補間手段６のみによって補間手段が構成されているのに対し、実施の形態５では、対称位置補間手段６、同一位置補間手段８、及び混合手段１２により補間手段３０が構成されている。
【００７６】
第１の差分絶対値計算手段９は、抽出手段３により抽出された画素ブロック対の第１の参照フレームに存在する画素ブロックの中心画素と、それと同じ位置（フレーム内の同じ位置、即ちフレーム内の垂直方向座標値、及び水平方向座標値が等しい位置）に存在する第２の参照フレームの画素との差分絶対値を計算し、混合制御手段１１に出力する。
【００７７】
第２の差分絶対値計算手段１０は、抽出手段３により抽出された画素ブロック対の第２の参照フレームに存在する画素ブロックの中心画素と、それと同じ位置に存在する第１の参照フレームの画素との差分絶対値を計算し、混合制御手段１１に出力する。
これらの差分絶対値は、第１の参照フレームと第２の参照フレーム間における画像の変化の量を表すものである。
【００７８】
混合制御手段１１は、参照画素選択手段５により選択された参照画素を中心画素とする画素ブロック対、即ち参照画素選択手段５により最も類似度が大きいと判定された一対の画素ブロックについての、第１の差分絶対値計算手段８の出力と、第２の差分絶対値計算手段９の出力のうちの大きい方を選択し、選択された差分絶対値に比例する混合係数Ｍを生成して、混合手段１２へ出力する。
【００７９】
混合手段１２は、混合係数Ｍが所定値Ｔｈｍ以上の場合には、実施の形態１と同様に対称位置補間手段６の出力Ｐａを選択し、出力端子７へ出力する。所定値Ｔｈｍ未満の場合は、対称位置補間手段６の出力信号Ｐａと、同一位置補間手段８の出力信号Ｐｂを混合係数Ｍの大きさに応じた比率で混合し、出力端子７へ出力する。すなわち、混合係数Ｍが比較的大きい場合は、対称位置補間手段６の出力信号Ｐａの比率α（０≦α≦１）を大きくし、同一位置補間手段８の出力信号Ｐｂの比率β（＝１−α）を小さくする。また、混合係数Ｍが比較的小さい場合は、対称位置補間手段６の出力信号Ｐａの比率αを小さくし、同一位置補間手段８の出力信号Ｐｂの比率βを大きくする。言い換えると、混合手段１２は、混合に際し、混合係数Ｍが大きいほど、対称位置補間手段６の出力信号Ｐａの比率αをより大きくし、同一位置補間手段８の出力信号Ｐｂの比率βをより小さくする。
このような混合係数Ｍと出力信号ＰａとＰｂの混合比率α、βの関係の一例が図１５に示されている。
【００８０】
以上のように、実施の形態５では、対称位置補間手段６、同一位置補間手段８、及び混合手段１２により構成された補間手段３０が、混合制御手段１１により生成された混合係数Ｍに応じて、参照画素選択手段５により選択された参照画素のみならず、補間画素の位置と同じ位置にある第１の参照フレームの画素と、補間画素の位置と同じ位置にある第２の参照フレームの画素とに基づいて補間画素の画素値を生成する。具体的には、参照画素選択手段５により選択された参照画素を用いた補間の結果（第１の補間値）と、補間画素の位置と同じ位置にある第１の参照フレームの画素と、補間画素の位置と同じ位置にある第２の参照フレームの画素とを参照画素とする補間の結果（第２の補間値）とを、混合制御手段１１で生成した混合係数Ｍに応じて（混合係数Ｍに応じたた比率で）混合することで、補間画素の画素値を生成している。
このため、フレーム間の画素値の差分絶対値（変化量）の大きさに応じて、従って、動画であるか静止画であるかに応じて、適切な補間画像が得られる効果がある。
【００８１】
実施の形態６．
実施の形態１は、類似度が最も大きい（差分絶対値の総和ＳＡＤの値が一番小さい）画素ブロック対の画素ブロックの中心画素を参照画素として選択したが、類似度に制限を設け、各補間画素について類似度計算手段４で計算された最も大きい類似度（類似度が最も大きい画素ブロック対の類似度）が閾値よりも小さい場合（総和ＳＡＤの値が最も小さい画素ブロック対の総和ＳＡＤ値が所定値よりも大きい場合）は、補間画素近辺に補間に適した画素がないとして、補間画素の位置と同じ位置の第１の参照フレームの画素と、第２の参照フレームの画素との平均値も用いて補間画素を生成するようにすれば、より良好な補間フレームの補間画像が得られる。
【００８２】
図１６に実施の形態６によるフレーム補間装置を示す。図示の補間装置は、図１に示されるものと概して同じであるが、同一位置補間手段８、混合制御手段１４、及び混合手段１５が付加されている点で異なる。図１と同じ符号が付された構成要素は、実施の形態１と同様の動作をする。
図１６に示される実施の形態６でも、図１４に示される実施の形態５と同様に、対称位置補間手段６、同一位置補間手段８、及び混合手段１２により補間手段３０が構成されている。
【００８３】
同一位置補間手段８は、図１４に示される同一位置補間手段８と同様に、補間画素の位置と同じ位置の第１の参照フレームの画素と、第２の参照フレームの画素との平均値を計算し、第２の補間値として、混合手段１５に出力する。
【００８４】
混合制御手段１４は、各補間画素について類似度計算手段４で計算された類似度のうち、参照画素選択手段５で最も大きい類似度を持つと判定された一対の画素ブロックについて（即ち、差分絶対値の総和ＳＡＤが最も小さいと判定された一対の画素ブロックについて）の差分絶対値の総和ＳＡＤの値と、二つの所定値Ｔｈ１とＴｈ２（Ｔｈ１＜Ｔｈ２）の比較を行い、比較結果に応じて下記の式（４Ａ）〜（４Ｃ）に示す混合比率βを混合手段１５へ出力する。
０≦ＳＡＤ＜Ｔｈ１  の場合、β＝０    …（４Ａ）
Ｔｈ１≦ＳＡＤ＜Ｔｈ２  の場合、β＝（ＳＡＤ−Ｔｈ１）／（Ｔｈ２−Ｔｈ１）    …（４Ｂ）
Ｔｈ２≦ＳＡＤ  の場合、β＝１    …（４Ｃ）
このような総和ＳＡＤと混合係数βの関係が、図１７に示されている。
【００８５】
混合手段１５は、混合制御手段１４の出力する混合比率βに応じて、対称位置補間手段６の出力（第１の補間値）Ｐａと同一位置補間手段８の出力（第２の補間値）Ｐｂを下記の式（５）のように混合して、混合結果Ｐｃを出力端子７へ出力する。
【００８６】
Ｐｃ＝β×Ｐｂ＋（１−β）×Ｐａ    …（５）
【００８７】
なお、混合制御手段１４の機能を式（４Ａ）〜（４Ｃ）で表される混合比率βを生成するものとして示したが、このような混合比率βの生成は計算によって行うこととしても良く、テーブル変換によって行うようにしても良い。
【００８８】
以上のように、実施の形態６では、補間手段３０は、参照画素を中心画素とする画素ブロック相互間の差分絶対値の総和ＳＡＤが第１の所定値Ｔｈ１以上であり、従って類似度が第１の閾値以下である場合には、該類似度に応じて、参照画素選択手段５により選択された参照画素の画素値を用いて求められた第１の補間値（対称位置補間手段６の出力）と、補間画素の位置と同じ位置にある第１の参照フレームの画素及び補間画素の位置と同じ位置にある第２の参照フレームの画素の画素を用いて求められた第２の補間値（同一位置補間手段８の出力）を混合手段１５で混合することにより、補間画素の補間値を生成する。
【００８９】
補間手段３０はまた、上記の総和ＳＡＤが第１の所定値Ｔｈ１未満であり、従って類似度が第１の閾値よりも大きい場合には、混合比率βを０とし、参照画素選択手段５により選択された参照画素の画素値を用いて求められた第１の補間値（対称位置補間手段６の出力）をそのまま補間手段３０の出力とする。
補間手段３０はさらに、上記の総和ＳＡＤが第２の所定値Ｔｈ２（Ｔｈ２＞Ｔｈ１）以上であり、従って類似度が第２の閾値以下の場合には、混合比率βを１とし、補間画素の位置と同じ位置にある第１の参照フレームの画素及び補間画素の位置と同じ位置にある第２の参照フレームの画素の画素を用いて求められた第２の補間値（同一位置補間手段８の出力）をそのまま補間手段３０の出力とする。
【００９０】
このような切り替えを行うため、参照画素を中心画素とする画素ブロック相互間の類似度の大きさに応じて、異なる補間方法で生成された補間値の選択乃至混合を行うことができ、より適切な補間画像が得られる効果がある。
【００９１】
実施の形態１〜６の各々の特徴は互いに組合せて用いることができる。例えば、実施の形態２の類似度補正手段１３を、実施の形態３の補正制御手段２７及び類似度補正手段２８と併用しても良い。この場合、類似度補正手段１３で補正した類似度をさらに類似度補正手段２８で補正しても良く、類似度補正手段１３で補正した類似度と類似度補正手段２８で補正した類似度を（例えばそれらの平均を取るなどにより）組み合わせても良い。
また実施の形態２や実施の形態３のフレーム補間装置に、実施の形態４で説明した参照画素変更手段１６を組み込んでも良い。
さらに実施の形態５で説明した第１の差分絶対値計算手段９、第２の差分絶対値計算手段１０、混合制御手段１１、同一位置補間手段８、混合手段１２を、実施の形態２〜４に組み合わせても良く、実施の形態６で説明した混合制御手段１４、同一位置補間手段８、混合手段１２を、実施の形態２〜４に組み合わせても良い。
さらに、実施の形態１について最も詳しく説明した変形は、実施の形態２〜６にも適用できる。
【００９２】
実施の形態７．
実施の形態１乃至６は、補間フレームの補間画像生成装置の例を示したが、実施の形態１乃至６のいずれかを使用して、入力映像信号のフレームレートを２倍にして出力するフレームレート変換手段を用いて、フレーム周波数変換装置を構成しても良い。
【００９３】
図１８に実施の形態７によるフレーム周波数変換装置のブロック図を示す。１９は入力端子、２０はフレーム補間装置、２１は書込み読出し手段、２２、２３、２４、２５はフレームメモリ、２６は出力端子である。
フレーム補間装置２０としては、実施の形態１〜６で説明されたもののいずれを用いても良い。
【００９４】
入力端子１９より入力された映像信号は、フレーム補間装置２０により、実施の形態１〜６で説明したいずれかの方法により補間フレームの画像（補間画像）を順次生成する。書込み読出し手段２１は、入力端子１９より入力された映像信号（以下、元画像と呼ぶ）をフレームメモリ２２とフレームメモリ２３にフレーム単位で交互に書込む。また、フレーム補間装置２０の出力信号（補間画像）をフレームメモリ２４とフレームメモリ２５にフレーム単位で交互に書き込む。次に書き込んだ速度の２倍の速度でフレームメモリ２２又はフレームメモリ２３のうち書込み動作が行われていない方から元画像を読み出し出力端子２６へ出力する。続いて、同様に書き込んだ速度の２倍の速度でフレームメモリ２４又はフレームメモリ２５のうち書込み動作が行われていない方から補間画像を読み出し出力端子２４へ出力する。これにより、出力端子２４には、入力された映像信号の２倍のフレーム周波数を持つ良好な映像信号が得られる。
【００９５】
上記の構成により、実施の形態１〜６のフレーム補間装置を用いてフレーム周波数変換を行うようにしたので、良好な補間画像のフレーム周波数変換が得られる効果がある。
【００９６】
尚、実施の形態１〜６の補間装置は、フレーム周波数を変換する場合に限らず、同じ内容のフレームが２フレーム続けて入力される場合に２フレーム目を除去し、除去後に隣接する２つのフレームから相互間のフレームを補間により生成するといった処理（フレーム変換処理）を行っても良い。
【産業上の利用可能性】
【００９７】
本発明の活用例として、テレビジョンのフレーム周波数変換や、業務用モニターのフレーム周波数変換に適用できる。また、フレーム周波数は変換しない場合であっても、冗長な１枚のフレーム（直前のフレームと同じ内容のフレーム）を除去して新たにフレームを生成するフレーム変換に適用できる。
【図面の簡単な説明】
【００９８】
【図１】この発明の実施の形態１の補間装置を示すブロック図である。
【図２】実施の形態１における参照画素の選択のために順次選択される一対の画素ブロックを示す図である。
【図３】（ａ）〜（ｄ）は、実施の形態１における参照画素の選択のために順次選択される第１の参照フレーム内の画素ブロックを示す図である。
【図４】（ａ）〜（ｄ）は、実施の形態１における参照画素の選択のために順次選択される第２の参照フレーム内の画素ブロックを示す図である。
【図５】（ａ）〜（ｄ）は、実施の形態１における参照画素の選択のために順次選択される第２の参照フレーム内の画素ブロックを示す図である。
【図６】実施の形態１における参照画素の選択のために順次選択される第１の参照フレーム内の画素ブロックを示す図である。
【図７】実施の形態１における参照画素の選択のために順次選択される第２の参照フレーム内の画素ブロックを示す図である。
【図８】この発明の実施の形態５の補間装置を示すブロック図である。
【図９】実施の形態２における参照画素及び補間画素相互間の距離と補正係数Ｋの関係を示す図である。
【図１０】この発明の実施の形態３の補間装置を示すブロック図である。
【図１１】実施の形態３における総合的バラつき度合いＣＴと補正係数Ｄの関係を示す図である。
【図１２】この発明の実施の形態４の補間装置を示すブロック図である。
【図１３】（ａ）〜（ｄ）は、実施の形態４における、参照画素選択手段５で選択された参照画素の、補間画素に対する概略的方向の判定に用いられるそれぞれの領域を示す図である。
【図１４】この発明の実施の形態５の補間装置を示すブロック図である。
【図１５】実施の形態５における混合係数Ｍと混合比率α、βの関係を示す図である。
【図１６】この発明の実施の形態６の補間装置を示すブロック図である。
【図１７】実施の形態６における差分絶対値の総和ＳＡＤと混合比率βの関係を示す図である。
【図１８】この発明の実施の形態７のフレーム周波数変換装置を示すブロック図である。
【符号の説明】
【００９９】
１  入力端子、  ２  遅延手段、  ３  抽出手段、  ４  類似度計算手段、  ５  参照画素選択手段、  ６  対称位置補間手段、  ７  出力端子、  ８  同一位置補間手段、  ９  第１の差分絶対値計算手段、  １０  第２の差分絶対値計算手段、  １１  混合制御手段、  １２  混合手段、  １３  類似度補正手段、  １４  混合制御手段、  １５  混合手段、  １６  参照画素変更手段、  １７  遅延補償手段、  １８  遅延補償手段、  １９  入力端子、  ２０  補間装置、  ２１  書込み読出し手段、  ２２  フレームメモリ、  ２３  フレームメモリ、  ２４  フレームメモリ、  ２５  フレームメモリ、  ２６  出力端子、  ２７  補正制御手段、  ２８  類似度補正手段、  ３０  補間手段、  ３２  選択指標生成手段。
【図１】
2008078848.tif 000006
【図２】
2008078848.tif 000007
【図３】
2008078848.tif 000008
【図４】
2008078848.tif 000009
【図５】
2008078848.tif 000010
【図６】
2008078848.tif 000011
【図７】
2008078848.tif 000012
【図８】
2008078848.tif 000013
【図９】
2008078848.tif 000014
【図１０】
2008078848.tif 000015
【図１１】
2008078848.tif 000016
【図１２】
2008078848.tif 000017
【図１３】
2008078848.tif 000018
【図１４】
2008078848.tif 000019
【図１５】
2008078848.tif 000020
【図１６】
2008078848.tif 000021
【図１７】
2008078848.tif 000022
【図１８】
2008078848.tif 000023