(57)【要約】【課題】生成フレームの画素に割り付けられた動きベクトルの精度を向上できるようにすると共に、当該高精度の動きベクトルにより画素を生成できるようにする。【解決手段】動きベクトルの信頼度を判定し、当該動きベクトルの信頼度を低いと判定した場合に、当該低信頼度の動きベクトルに係る生成画素を用いた生成フレームのブロックと参照フレームのブロックとの相関の有無を判定し、当該相関が有ると判定されたブロックにおける生成画素を出力画素に決定するものである。【選択図】図１５
2009232268.tif 000002
【特許請求の範囲】
【請求項１】
第１のフレーム又はフィールド上の動きベクトルを検出する動きベクトル検出部と、
前記動きベクトル検出部により検出された動きベクトルを第２のフレーム又はフィールド上の生成画素に割り付ける動き割付部と、
前記動き割付部により割り付けられた動きベクトルの信頼度を算出する動き信頼度算出部と、
前記動き信頼度算出部により算出された動きベクトルの信頼度を判定し、当該動きベクトルの信頼度が低いと判定した場合に、少なくとも、当該低信頼度の動きベクトルに係る生成画素を用いた前記第２のフレーム又はフィールドのブロックと前記第１のフレーム又はフィールドのブロックとの相関を判定して、前記第２のフレーム又はフィールド上の生成画素を決定する画素決定生成部と
を備える画像処理装置。
【請求項２】
前記画素決定生成部は、
前記動き信頼度算出部から入力した信頼度判定信号に基づいて生成画素ごとに動きベクトルの信頼度を判定する動き信頼度判定部と、
前記動き信頼度判定部により動きベクトルの信頼度が高いと判定された場合に、高信頼度の画素位置情報及び動きベクトルに基づいて、高信頼度と判定された画素位置の画素を生成する第１の画素生成部と、
前記動き信頼度判定部により動きベクトルの信頼度が低いと判定された場合に、低信頼度の画素位置情報及び候補となる動きベクトルに基づいて、低信頼度と判定された画素位置の画素を生成する第２の画素生成部と、
前記第１及び第２の画素生成部により生成された生成画素を用いた前記第２のフレーム又はフィールドのブロックと前記第１のフレーム又はフィールドのブロックとの差分絶対値和を計算し、計算された差分絶対値和の中から最小の差分絶対値和を判定して当該最小の差分絶対値和に用いられた生成画素を出力画素に決定する画素判定部と
を備える請求項１に記載の画像処理装置。
【請求項３】
前記第１の画素生成部により生成された高信頼度の画素の画素値を保存する記憶部を備え、
一度目のスキャンで、前記第１の画素生成部により信頼度の高い動きベクトルが割り付けられた画素のみ先に生成して前記記憶部に保存し、
二度目のスキャンで、前記第２の画素生成部により信頼度の低い動きベクトルが割り付けられた画素を生成し、
前記画素判定部は、
一度目のスキャンで前記第１の画素生成部により生成して記憶部に保存された高信頼度の画素と前記第２の画素生成部により生成された画素とを用いた前記第２のフレーム又はフィールドのブロックと、前記第１のフレーム又はフィールドのブロックとの差分絶対値和を計算する請求項２に記載の画像処理装置。
【請求項４】
前記第１の画素生成部により生成された高信頼度の画素の画素値を保存する記憶部を備え、
一度目のスキャンで、前記第１の画素生成部により信頼度の高い動きベクトルが割り付けられた画素のみ先に生成して前記記憶部に保存し、
二度目のスキャンで、前記第２の画素生成部により信頼度の低い動きベクトルが割り付けられた画素を生成し、
前記画素判定部は、
一度目のスキャンで前記第１の画素生成部により生成して記憶部に保存された高信頼度の画素のみ用いた前記第２のフレーム又はフィールドのブロックと、前記第１のフレーム又はフィールドのブロックとの差分絶対値和を計算する請求項２に記載の画像処理装置。
【請求項５】
前記動き信頼度算出部は、
前記生成画素に割り付けられた動きベクトルが複数存在するか否かを判定し、当該生成画素の動きベクトルが複数存在すると判定した場合、前記動きベクトルの信頼度を低信頼度に設定する請求項２に記載の画像処理装置。
【請求項６】
前記動き信頼度算出部は、
前記動き割付部で割り付けた動きベクトルの相関を示す第１指標値と第１の閾値とを比較し、当該指標値が前記第１の閾値より大きいと判定した場合、前記動きベクトルの信頼度を低信頼度に設定する請求項５に記載の画像処理装置。
【請求項７】
前記動き信頼度算出部は、
前記動き割付部で割り付けた動きベクトルの相関を示す第１指標値から、前記動き割付部で割り付けた他の動きベクトルの相関を示す第２指標値を減算して求められた差分値が、第２の閾値以上であるか否かを判定し、当該差分値が前記第２の閾値より小さいと判定した場合、前記動きベクトルの信頼度を低信頼度に設定する請求項６に記載の画像処理装置。
【請求項８】
第１のフレーム又はフィールド上の動きベクトルを検出するステップと、
検出された前記動きベクトルを第２のフレーム又はフィールド上の生成画素に割り付けるステップと、
割り付けられた前記動きベクトルの信頼度を算出するステップと、
算出された前記動きベクトルの信頼度を判定するステップと、
前記動きベクトルの信頼度を低いと判定した場合に、少なくとも、当該低信頼度の動きベクトルに係る生成画素を用いた前記第２のフレーム又はフィールドのブロックと前記第１のフレーム又はフィールドのブロックとの相関の有無を判定するステップと、
前記相関が有ると判定されたブロックにおける生成画素を第２のフレーム又はフィールド上の画素として出力画素に決定するステップとを有する画像処理方法。
【請求項９】
第１のフレーム上の動きベクトルを検出する動きベクトル検出部と、
前記動きベクトル検出部により検出された動きベクトルを第２のフレーム上の生成画素に割り付ける動き割付部と、
前記動き割付部により割り付けられた動きベクトルの信頼度を算出する動き信頼度算出部と、
前記動き信頼度算出部により算出された動きベクトルの信頼度を判定し、当該動きベクトルの信頼度が低いと判定した場合に、少なくとも、当該低信頼度の動きベクトルに係る生成画素を用いた前記第２のフレームのブロックと前記第１のフレームのブロックとの相関を判定して第２のフレーム上の生成画素を決定する画素決定生成部と
を備えるフレーム周波数変換装置。
【請求項１０】
第１のフレーム上の動きベクトルを検出するステップと、
検出された前記動きベクトルを第２のフレーム上の生成画素に割り付けるステップと、
割り付けられた前記動きベクトルの信頼度を算出するステップと、
算出された前記動きベクトルの信頼度を判定するステップと、
前記動きベクトルの信頼度を低いと判定した場合に、少なくとも、当該低信頼度の動きベクトルに係る生成画素を用いた前記第２のフレームのブロックと前記第１のフレームのブロックとの相関の有無を判定するステップと、
前記相関が有ると判定されたブロックにおける生成画素を第２のフレーム上の出力画素に決定するステップとを有するフレーム周波数変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレーム又はフィールドの周波数変換を行う画像処理装置及び画像処理方法、並びにフレーム周波数変換装置及びその変換方法に関するものである。詳しくは、動きベクトルの信頼度を判定し、当該動きベクトルの信頼度を低いと判定した場合に、当該低信頼度の動きベクトルに係る生成画素を用いた生成フレームのブロックと参照フレームのブロックとの相関の有無を判定し、当該相関が有ると判定されたブロックにおける生成画素を出力画素に決定することで、生成フレームの画素に割り付けられた動きベクトルの精度を向上できるようにすると共に、当該高精度の動きベクトルにより画素を生成できるようにしたものである。
【背景技術】
【０００２】
近年、フィールド・フレーム周波数変換の方法として、フィールド・フレーム間の動きを推定し、この推定した動き量を用いてフィールド・フレーム間に新しいフィールド・フレームを生成する方法が提案されている。
【０００３】
例えば、特許文献１には、内挿フレームへの動きベクトル割付の精度を向上させた画像処理装置が開示されている。この画像処理装置によれば、動きベクトルと周囲の動きベクトルとの差異性が算出され、算出された差異性が他の動きベクトルの差異性よりも小さいと判定された場合に、動きベクトルが着目画素に割り付けられる。これにより、生成されるフレームへの動きベクトルの割付精度を、より向上することができる。
【０００４】
また、特許文献２には、正確に対応した動きベクトルを得ることが可能な画像処理装置が開示されている。この画像処理装置によれば、基準フレームの第１の画素の動きベクトルと参照フレームの第２の画素の動きベクトルに基づいて、着目画素の動きベクトルの相関値が演算される。着目画素を含む領域内の複数の画素の相関値の中で、着目画素との相関が最も高い値である最高相関値を有する画素の動きベクトルである最高相関値動きベクトルにより着目ベクトルが修正される。これにより、正確に対応した動きベクトルに修正することができる。
【０００５】
【特許文献１】特開２００６−１０９２５０号公報（第５頁、第４８図）
【特許文献２】特開２００６−１８６５０４号公報（第６頁、第５図）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の画像処理装置は、動きベクトルと周囲の動きベクトルとの差異性に基づいて動きベクトルを決定している。このため、ブロックマッチングなどの処理で誤った動きベクトルを算出した場合、当該誤った動きベクトルに基づいて動きベクトルを決定し、処理結果に直接影響を与えるという問題がある。
【０００７】
また、特許文献２に記載の画像処理装置は、着目画素との相関が最も高い値である最高相関値を有する画素の動きベクトルにより着目ベクトルを修正している。このため、当該動きベクトルの修正処理により当該装置に負荷が掛かり、処理速度が低下するおそれがある。
【０００８】
そこで、本発明はこのような従来例に係る課題を解決したものであって、生成フレームの画素に割り付けられた動きベクトルの精度を向上できるようにすると共に、当該高精度の動きベクトルにより画素を生成できるようにした画像処理装置及び画像処理方法、並びにフレーム周波数変換装置及びその変換方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決するために、本発明に係る画像処理装置は、第１のフレーム又はフィールド上の動きベクトルを検出する動きベクトル検出部と、前記動きベクトル検出部により検出された動きベクトルを第２のフレーム又はフィールド上の生成画素に割り付ける動き割付部と、前記動き割付部により割り付けられた動きベクトルの信頼度を算出する動き信頼度算出部と、前記動き信頼度算出部により算出された動きベクトルの信頼度を判定し、当該動きベクトルの信頼度が低いと判定した場合に、少なくとも、当該低信頼度の動きベクトルに係る生成画素を用いた前記第２のフレーム又はフィールドのブロックと前記第１のフレーム又はフィールドのブロックとの相関を判定して、前記第２のフレーム又はフィールド上の生成画素を決定する画素決定生成部とを備えるものである。
【００１０】
本発明に係る画像処理装置によれば、動き割付部は、動きベクトルを第２のフレーム又はフィールド上の生成画素に割り付ける。動き信頼度算出部は、この動き割付部により割り付けられた動きベクトルの信頼度を算出する。例えば、この動き信頼度算出部は、生成画素に割り付けられた動きベクトルが複数存在するか否かを判定し、当該生成画素の動きベクトルが複数存在すると判定した場合、動きベクトルの信頼度を低信頼度に設定する。画素決定生成部は、この動き信頼度算出部により算出された動きベクトルの信頼度を判定し、当該動きベクトルの信頼度が低いと判定した場合に、当該低信頼度の動きベクトルに係る生成画素を用いた第２のフレーム又はフィールドのブロックと、第１のフレーム又はフィールドのブロックとの相関を判定して、第２のフレーム又はフィールド上の生成画素を決定する。これにより、生成される第２フレームの画素に割り付けられる割付ベクトルの精度を向上できると共に、当該高精度の割付ベクトルにより正確な画素値を生成できる。
【００１１】
上述した課題を解決するために、本発明に係る画像処理方法は、第１のフレーム又はフィールド上の動きベクトルを検出するステップと、検出された前記動きベクトルを第２のフレーム又はフィールド上の生成画素に割り付けるステップと、割り付けられた前記動きベクトルの信頼度を算出するステップと、算出された前記動きベクトルの信頼度を判定するステップと、前記動きベクトルの信頼度を低いと判定した場合に、少なくとも、当該低信頼度の動きベクトルに係る生成画素を用いた前記第２のフレーム又はフィールドのブロックと前記第１のフレーム又はフィールドのブロックとの相関の有無を判定するステップと、前記相関が有ると判定されたブロックにおける生成画素を第２のフレーム又はフィールド上の画素として出力画素に決定するステップとを有するものである。
【００１２】
本発明に係る画像処理方法によれば、高精度の割付ベクトルにより正確な画素値を生成できるので、品質の高いフレーム周波数変換を実現できるようになる。
【００１３】
上述した課題を解決するために、本発明に係るフレーム周波数変換装置は、第１のフレーム上の動きベクトルを検出する動きベクトル検出部と、前記動きベクトル検出部により検出された動きベクトルを第２のフレーム上の生成画素に割り付ける動き割付部と、前記動き割付部により割り付けられた動きベクトルの信頼度を算出する動き信頼度算出部と、前記動き信頼度算出部により算出された動きベクトルの信頼度を判定し、当該動きベクトルの信頼度が低いと判定した場合に、少なくとも、当該低信頼度の動きベクトルに係る生成画素を用いた前記第２のフレームのブロックと前記第１のフレームのブロックとの相関を判定して第２のフレーム上の生成画素を決定する画素決定生成部とを備えるものである。
【００１４】
本発明に係るフレーム周波数変換装置によれば、画素決定生成部が、動き信頼度算出部により算出された動きベクトルの信頼度を判定し、当該動きベクトルの信頼度が低いと判定した場合に、当該低信頼度の動きベクトルに係る生成画素を用いた第２のフレームのブロックと第１のフレームのブロックとの相関を判定して第２のフレーム上の生成画素を決定する。これにより、生成される第２フレームの画素に割り付けられる割付ベクトルの精度を向上できると共に、当該高精度の割付ベクトルにより正確な画素値を生成できる。
【００１５】
上述した課題を解決するために、本発明に係るフレーム周波数変換方法は、第１のフレーム上の動きベクトルを検出するステップと、検出された前記動きベクトルを第２のフレーム上の生成画素に割り付けるステップと、割り付けられた前記動きベクトルの信頼度を算出するステップと、算出された前記動きベクトルの信頼度を判定するステップと、前記動きベクトルの信頼度を低いと判定した場合に、少なくとも、当該低信頼度の動きベクトルに係る生成画素を用いた前記第２のフレームのブロックと前記第１のフレームのブロックとの相関の有無を判定するステップと、前記相関が有ると判定されたブロックにおける生成画素を第２のフレーム上の出力画素に決定するステップとを有するものである。
【００１６】
本発明に係るフレーム周波数変換方法によれば、高精度の割付ベクトルにより正確な画素値を生成できるので、品質の高いフレーム周波数変換を実現できるようになる。
【発明の効果】
【００１７】
本発明に係る画像処理装置及び画像処理方法によれば、動きベクトルの信頼度を判定し、当該動きベクトルの信頼度を低いと判定した場合に、当該低信頼度の動きベクトルに係る生成画素を用いた第２のフレーム又はフィールドのブロックと第１のフレーム又はフィールドのブロックとの相関の有無を判定し、当該相関が有ると判定されたブロックにおける生成画素を出力画素に決定するものである。
【００１８】
この構成によって、生成される第２のフレーム又はフィールドの画素に割り付けられた割付ベクトルの精度を向上できると共に、当該高精度の割付ベクトルにより正確な画素値を生成できる。これにより、品質の高いフレーム又はフィールドの周波数変換を実現できるようになる。
本発明に係るフレーム周波数変換装置及びその変換方法によれば、動きベクトルの信頼度を判定し、当該動きベクトルの信頼度を低いと判定した場合に、当該低信頼度の動きベクトルに係る生成画素を用いた第２フレームのブロックと第１フレームのブロックとの相関の有無を判定し、当該相関が有ると判定されたブロックにおける生成画素を出力画素に決定するものである。
【００１９】
この構成によって、生成される第２フレームの画素に割り付けられる割付ベクトルの精度を向上できると共に、当該高精度の割付ベクトルにより正確な画素値を生成できる。これにより、品質の高いフレーム周波数変換を実現できるようになる。
【発明を実施するための最良の形態】
【００２０】
続いて、本発明に係る画像処理装置及び画像処理方法の実施の形態について、図面を参照しながら説明をする。
＜第１の実施形態＞
図１は、本発明に係る第１の実施形態としてのフレーム周波数変換装置１００の構成例を示す全体ブロック図である。図１に示すフレーム周波数変換装置１００は画像処理装置の一例を構成し、例えば、フレーム周波数３０Ｈｚのプログレッシブ画像信号の入力画像信号Ｄｉｎが入力され、この入力画像信号Ｄｉｎが、フレーム周波数６０Ｈｚのプログレッシブ画像信号の出力画像信号Ｄｏｕｔに変換されて出力される。もちろん、プログレッシブ画像信号に限らず、インターレース信号や、他のフレームレート変換にも適用することができる。
【００２１】
このフレーム周波数変換装置１００は、第１のフレームメモリ１、動き推定部２、動き割付部３、候補ベクトル蓄積部４、動き補償部５、動き信頼度算出部６、動き補償込み画素生成部７を備えている。
【００２２】
第１のフレームメモリ１、動き推定部２及び動き補償込み画素生成部７は、入力画像信号Ｄｉｎを入力する。この動き補償込み画素生成部７は、画素決定生成部の一例を構成する。フレームメモリ１は、入力画像信号Ｄｉｎの入力画像をフレーム単位で記憶する。このフレームメモリ１は、時刻ｔ＋１の１つ前を示す時刻ｔのフレームを記憶する。フレームメモリ１に記憶された時刻ｔのフレームは、動き推定部２及び動き補償込み画素生成部７に出力される。なお、以下、フレームメモリ１の時刻ｔのフレームを注目フレームｔと称し、時刻ｔ＋１の入力画像のフレームを、参照フレームｔ＋１と称する。
【００２３】
動き推定部２は、注目フレームｔ上の画素の動き量を推定して動きベクトルを動き割付部３及び候補ベクトル蓄積部４に出力する。例えば、この動き推定部２は、フレームメモリ１上の注目フレームｔのブロックと、参照フレームｔ＋１のブロックの間で動きベクトルを検出する。この２フレーム間の動きベクトルの検出方法には、代表点マッチング法や、勾配法、ブロックマッチング法などが用いられる。候補ベクトル蓄積部４は、動き推定部２により推定した動きベクトルを記憶する。
【００２４】
動き割付部３は、フレーム周波数変換で生成する生成フレームの画素に動きベクトルを割り付け、生成画素に割り付けられた動きベクトルを、動き補償部５、動き信頼度算出部６及び動き補償込み画素生成部７に出力する。
【００２５】
動き補償部５は、動き割付部３で動きベクトルが割り付けられなかった生成フレームの画素に対して、例えばその周辺画素に割り付けられた所定の動きベクトルを割り付けて動き補償する。動き補償部５は、この動き補償された生成フレームの画素に割り付けられた動きベクトルを、動き信頼度算出部６及び動き補償込み画素生成部７に出力する。
【００２６】
動き信頼度算出部６は、動き割付部３により割り付けられた動きベクトル、及び動き補償部５により動き補償されて割り付けられた動きベクトルの信頼度を決定してその結果を信頼度判定信号Ｓ１として動き補償込み画素生成部７に出力する。
【００２７】
動き補償込み画素生成部７は画素生成部の一例を構成し、動き信頼度算出部６により算出された動きベクトルの信頼度（信頼度判定信号Ｓ１）を判定し、当該動きベクトルの信頼度が低いと判定した場合に、当該低信頼度の動きベクトルに係る生成画素を用いた生成フレームのブロックと参照フレームのブロックとの相関を判定して生成画素を決定して出力画像信号Ｄｏｕｔを出力する。
【００２８】
続いて、動きベクトルの算出方法を説明する。図２は、動き推定部２の構成例を示すブロック図である。図３Ａ及び図３Ｂならびに図４は、代表点マッチング処理例を示す概念図である。図２に示す動き推定部２は、代表点マッチング部２０、評価値テーブル形成部２１、候補ベクトル抽出部２２及び動きベクトル検出部２３を備えている。なお、動き推定部２は、本願の出願人が以前に出願した特許公報（特開２００５−２５０５６１）に示す動きベクトル検出装置と同様の機能を有している。
【００２９】
代表点マッチング部２０は、入力画像信号Ｄｉｎを構成して時間的に連続するフレーム画像、例えば図３Ａに示す時刻ｔ＋１の参照フレームｔ＋１と、時刻ｔの注目フレームｔを抽出する。この例で、代表点マッチング部２０は、注目フレームｔを、ｍ画素×ｎラインの複数のブロックに分割し、各ブロックを代表する代表画素（例えば、画素（ｘ、ｙ））を設定する。各ブロックの代表画素には、ブロックを代表する画素値が対応付けられる。この代表画素値には、例えば、ブロックの中心位置の画素値や、ブロック内のすべての画素の画素値の平均値、ブロック内のすべての画素の画素値の中間値等の画素値が対応付けられる。
【００３０】
代表点マッチング部２０は、注目フレームｔに設定したブロックの各代表画素（ｘ、ｙ）に対応させて、参照フレームｔ＋１に所定のサーチエリア２６を設定する。このサーチエリア２６内に含まれる各画素の画素値と代表画素の画素値との比較を行なう。このサーチエリア２６は例えば、ｍ画素×ｎラインラインの画素領域として設定される。代表画素（ｘ、ｙ）の画素値とサーチエリア２６内の各画素の画素値とを比較検証して、評価値（例えばフレーム差）を算出する。この例で、代表画素（ｘ、ｙ）の画素値からサーチエリア２６内の各画素の画素値を減算して差分を求め、当該差分が所定の閾値以下の場合に評価値テーブル２７に「＋１」を積算する。
【００３１】
評価値テーブル形成部２１は、サーチエリア２６の各偏移毎（各画素位置毎）に算出された評価値（例えばフレーム差）を、図３Ｂに示すように積算する。このようにして、評価値テーブル形成部２１は、サーチエリア２６と同一の大きさの評価値テーブル２７（図４参照）を形成する。
【００３２】
このように、サーチエリア２６は、各代表画素（ｘ、ｙ）に対応付けられて設定され、各代表画素（ｘ、ｙ）と、該当する代表画素（ｘ、ｙ）に対応して設定されたサーチエリア２６内の画素との比較が実行される。この比較値に基づいて例えば相関の度合いが高いほど（画素値の一致度合いが高いほど）高い評価値が設定された評価値テーブル２７が形成される。
【００３３】
図４に示すように、評価値テーブル２７においては、参照フレームｔ＋１におけるサーチエリア２６の画素値と注目フレームｔの代表画素値との相関が高い場合に、ピーク（極値）が生じる。評価値テーブル２７に生じるピークは、画面の動きを示す。例えば、フレーム全体が同一の動きをした場合は、評価値テーブル２７において、その動き方向、距離を持つベクトルの終点に対応する位置に１つのピークが出現する。また、フレーム内に２つの異なる動きをした物体があった場合は、評価値テーブル２７において、その異なる動き方向、距離を持つ２つのベクトルの終点に対応する２つの位置に２つのピークが出現する。
【００３４】
候補ベクトル抽出部２２は、この評価値テーブル２７に出現するピークに基づいて、注目フレームｔと参照フレームｔ＋１における各画素の動きベクトルの候補を求めて抽出する。動きベクトル検出部２３は、候補ベクトル抽出部２２により抽出された候補の動きベクトルの中から最も適応する動きベクトルを選択して、画素に対応する動きベクトルとして検出する。
【００３５】
図５Ａ及び図５Ｂは、動きベクトルの検出例を示す概念図である。図５Ａにおいて、注目フレームｔの中央の画素２８は、例えば輝度値（α）を有している。また、図４に示した評価値テーブル２７に出現したピークに基づいて、１又は２以上の候補となる動きベクトルが候補ベクトル抽出部２２により抽出済みであり、これらの動きベクトルを図５Ａに示す動きベクトルＶ１〜Ｖ５とする。動きベクトル検出部２３は、これらの動きベクトルＶ１〜Ｖ５の中から、１つの動きベクトルを検出する。
【００３６】
図５Ａに示す画素２８ａ〜画素２８ｅは、注目フレームｔの画素２８から動きベクトルＶ１〜Ｖ５に基づいて移動先として推定される参照フレームｔ＋１の画素を示している。画素２８ａを含むブロックと、画素２８を含むブロックとの相関がブロックマッチング処理によって判定される。
【００３７】
同様に、画素２８ｂを含むブロックと、画素２８を含むブロックとの相関がブロックマッチング処理によって判定される。同様に、画素２８ｃ、２８ｄ、２８ｅの各々を含む各ブロックと、画素２８を含むブロックとの相関が夫々ブロックマッチング処理によって判定される。そして、最も高い相関にあるブロックが選択され、その選択されたブロックに設定された動きベクトルを画素２８の動きベクトルとする。
【００３８】
ここで、１つの画素のみの対応、例えば画素２８と画素２８ａの対応を検査せずにブロックマッチング処理を適用する理由は、１つの画素のみの対応を検査すると次の問題点が発生するからである。（１）注目フレームのある画素と参照フレーム内でｐ個の動きベクトルに関して、動きベクトル先の画素との相関性が同じ、もしくは似ている画素が複数存在した場合、どの動きベクトルが正しい動きベクトルか、相関性の高さを表す画素の差分絶対値だけでは判定することが困難である。（２）正しい動きベクトルであれば、その動きベクトル先の画素との差分絶対値が最も小さいと考えられるが、実際には画像データにはノイズなどの影響により、正しい動きベクトル先の画素との差分絶対値が候補となる動きベクトルの中で最小とは限らない。
【００３９】
これらの問題点があるために、１画素だけの差分絶対値だけでは判定できないので、ブロックサイズの複数の画素を用いて、注目する画素を中心としたブロック内の画素と候補となる動きベクトル先のブロック内の画素の相関を検査する。具体的なブロックマッチング処理について、図５Ｂを参照して説明する。図５Ｂに示すように、例えば動きベクトルＶ６によって指示される参照フレームｔ＋１のブロックに含まれる複数画素の相関の指標値として、差分絶対値和（ＳＡＤ）を（１）式に従って算出する。
【００４０】
【数１】
2009232268.tif 000003
【００４１】
ここでＦt（ｘ、ｙ）は注目フレームｔの着目する画素の輝度レベルを示し、Ｆt+1（ｘ＋ｖx、ｙ＋ｖy）は参照フレームｔ＋１における動きベクトル先の輝度レベルを示し、Ｍ×Ｎは評価に用いるブロックサイズを示している。
【００４２】
候補となる動きベクトルの中から、上記（１）式によって算出される差分絶対値和（ＳＡＤ）が最小となるベクトルを動きベクトル（ｖx，ｖy）とする方法が適用される。
なお、上述したように、代表点マッチングは、各ブロックを代表する代表画素を設定し、設定した代表画素のみについての評価値算出を行なって候補となる動きベクトルを設定する。これにより、限られた数の代表画素のみの評価値算出を行なうことで、評価値算出に要する演算量を減少させることができ、高速処理が可能となる。
【００４３】
続いて、動き割付部３について説明する。図６は、動き割付部３の構成例を示すブロック図である。図７Ａ及び図７Ｂは、動き割付部３の機能例を示す概念図である。図６に示す動き割付部３は、貫きベクトル演算部２４及び動きベクトル検出部２５を備えている。この貫きベクトル演算部２４は、動き推定部２（図１参照）で注目フレームｔに割り付けられた動きベクトルが生成フレーム（内挿フレーム）Ｆの位置で貫く動きベクトルを探索する。例えば、この貫きベクトル演算部２４は、参照フレームｔ＋１と注目フレームｔとの間に予め設定されている時間位相（例えば、ｔ＋０．５）に存在する生成フレームＦ上のどの位置を動きベクトルが通過するかを求める。これは、注目フレームｔおよび参照フレームｔ＋１の間において、画素の動きが一定の動き（一直線）であると仮定すると、動きベクトルが生成フレームＦを通過した点が、そのフレームでの画素位置となるためである。したがって、動き割付部３の動きベクトル検出部２５は、この通過する動きベクトルを生成フレーム上の画素（ｘ1、ｙ1）に割り付ける。例えば、参照フレームｔ＋１と注目フレームｔとの間に時間位相（例えば、ｔ＋０．５）に存在する生成フレームＦにおいては、注目フレームｔに割り付けられた動きベクトル（ｖx、ｖy）を１／２の大きさに変更した動きベクトル（ｖx／２、ｖy／２）を割り付ける。また、図７Ｂに示すように、生成フレームＦの画素（ｘ2、ｙ2）によっては、複数の動きベクトル（ｖx1、ｖy1）、（ｖx2、ｖy2）が貫いて割付候補が複数の動きベクトルになりうる場合がある。このような場合には、動きベクトルを１つに限定せずに複数の動きベクトル（ｖx1／２、ｖy1／２）、（ｖx2／２、ｖy2／２）を割り付ける。
【００４４】
続いて、動き補償部５について説明する。図８は、動き補償部５の動作例を示すフローチャートである。図９は、動き補償部５の動作例を示す概略図である。図８に示すステップＳＴ１で、動き補償部５は、生成フレームＦにおける１つの画素における割付ベクトルを取得してステップＳＴ２に移行する。
【００４５】
ステップＳＴ２で、割付ベクトルが存在するか否かを判定する。例えば、生成フレームＦの画素によっては動きベクトルが全く貫かない場合があり、割付ベクトルが存在しない場合がある。例えば、図９に示す生成フレームＦにおける画素（ｘ3、ｙ3）には、動きベクトルが全く貫いていない。この場合、当該画素（ｘ3、ｙ3）の割付ベクトルの値は、例えば（０，０）を示す。動き補償部５は、割付ベクトルの値が（０，０）の場合、割付ベクトルが存在しないと判定してステップＳＴ３に移行する。
【００４６】
ステップＳＴ３で、近傍の割付ベクトルを探索する。例えば、割付ベクトルが存在しない生成フレームＦの画素（ｘ3、ｙ3）に対して、その周辺の範囲Ｗ内に割り付けられた割付ベクトル（ｖx3／２、ｖy3／２）、（ｖx4／２、ｖy4／２）を探索してステップＳＴ４に移行する。なお、この割付ベクトル（ｖx3／２、ｖy3／２）、（ｖx4／２、ｖy4／２）は、動きベクトル（ｖx3、ｖy3）、（ｖx4、ｖy4）を１／２の大きさに設定したものである。
【００４７】
ステップＳＴ４で、動き補償部５は、生成フレームＦの画素（ｘ3、ｙ3）に対して、その周辺の範囲Ｗ内に割り付けられた割付ベクトル（ｖx3／２、ｖy3／２）、（ｖx4／２、ｖy4／２）を割り付け、動き補償処理の終了となる。また、上述のステップＳＴ２で、割付ベクトルが存在すると判定した場合、動き補償処理を実施せずに終了となる。
【００４８】
続いて、動き信頼度算出部６について説明する。図１０は、動き信頼度算出部６の動作例を示すフローチャートである。図１０に示すステップＳＴ１０で、動き信頼度算出部６は、貫く動きベクトルが１つであるか否かを判定する。例えば、図７Ｂに示した生成フレームＦ上の画素（ｘ2、ｙ2）のように、当該画素（ｘ2、ｙ2）に割り付けられた複数の動きベクトル（ｖx1／２、ｖy1／２）、（ｖx2／２、ｖy2／２）の場合、ステップＳＴ１４に移行する。また、図９に示した生成フレームＦ上の画素（ｘ3、ｙ3）のように、当該画素（ｘ3、ｙ3）に割り付けられた複数の動きベクトル（ｖx3／２、ｖy3／２）、（ｖx4／２、ｖy4／２）の場合も、ステップＳＴ１４に移行する。
【００４９】
ステップＳＴ１４で、動き信頼度算出部６は、動き信頼度をなしに設定する。例えば、図７Ｂに示した生成フレームＦ上の画素（ｘ2、ｙ2）や、図９に示した生成フレームＦ上の画素（ｘ3、ｙ3）の動き信頼度を低信頼度に設定する（例えばフラグを「１」に設定する）。
【００５０】
上述のステップＳＴ１０で、図７Ａに示した生成フレーム上の画素（ｘ1、ｙ1）のように、当該画素（ｘ1、ｙ1）に割り付けられた動きベクトル（ｖx／２、ｖy／２）が１つであると判定した場合、ステップＳＴ１１に移行する。
【００５１】
ステップＳＴ１１で、動き信頼度算出部６は、動き割付部３で割り付けた動きベクトルの差分絶対値和が第１の閾値以下であるか否かを判定する。例えば、図５Ａに示したように、候補となる動きベクトルがＶ１〜Ｖ５の５つ存在し、当該動きベクトルＶ１〜Ｖ５の各々における５つの差分絶対値和ＳＡＤv1〜ＳＡＤv5のうち最小値がＳＡＤv4であるとする。
【００５２】
この場合、動き信頼度算出部６は、この動きベクトルＶ４に係る差分絶対値和ＳＡＤv4と所定の第１の閾値とを比較して、この差分絶対値和ＳＡＤv4が第１の閾値より大きい場合には、ステップＳＴ１４に移行する。また、差分絶対値和ＳＡＤv4が第１の閾値以下である場合には、ステップＳＴ１２に移行する。
【００５３】
ステップＳＴ１２で、動き信頼度算出部６は、割り付けた動きベクトルの差分絶対値和と次点の差分絶対値和との差が第２の閾値以上であるか否かを判定する。この例で、図５Ａに示した５つの差分絶対値和が小さいものから順にＳＡＤv4、ＳＡＤv2、ＳＡＤv3、ＳＡＤv5、ＳＡＤv1であった場合に、次点の差分絶対値和ＳＡＤv2から割り付けた動きベクトルの差分絶対値和ＳＡＤv4を減算して求められた差分値（ＳＡＤv2−ＳＡＤv4）が、第２の閾値以上であるか否かを判定する。当該差分値（ＳＡＤv2−ＳＡＤv4）が第２の閾値より小さい場合、ステップＳＴ１４に移行して動き信頼度をなしに設定する。また、当該差分値が第２の閾値以上である場合、ステップＳＴ１３に移行して動き信頼度をありに設定する。
【００５４】
なお、次点との差分値（ＳＡＤv2−ＳＡＤv4）が、第２の閾値以上である場合に信頼度が高いとした理由は、差分値（ＳＡＤv2−ＳＡＤv4）が第２の閾値より小さい場合には、ノイズなどの影響を受けて差分絶対値和の各々が近似している可能性が高いからである。
【００５５】
続いて、動き補償込み画素生成部７について説明する。図１１は、動き補償込み画素生成部７の構成例を示すブロック図である。図１１に示す動き補償込み画素生成部７は、動きベクトルの信頼度が高いと判定された画素については、従来通りに画素を生成する。また、動きベクトルの信頼度が低いと判定された画素については、動き検出と同時に生成画素を判定する。
【００５６】
例えば、信頼度が低い画素位置において、複数の割付ベクトルに対応して生成した各々の画素について、注目フレーム、あるいは参照フレーム（あるいは両方）との差分絶対値和の評価を行うことにより、その中から最適な画素を求める。
【００５７】
図１１に示す動き補償込み画素生成部７は、動き信頼度判定部８、第１の画素生成部９、第２の画素生成部１０、第２のフレームメモリ１１及び画素判定部１２を備えている。動き信頼度判定部８は、動き信頼度算出部６から入力した信頼度判定信号Ｓ１に基づいて生成画素ごとに動きベクトルの信頼度を判定する。この例で、動き信頼度判定部８は、信頼度がある画素（高信頼度の画素）と判定した場合、第１の画素生成部９に高信頼度の画素位置情報を出力する。この画素位置情報は、例えば、画素の位置情報と当該画素における信頼度の有り又は無しを示す情報とを含む情報である。
【００５８】
第１の画素生成部９は、高信頼度の画素位置情報とその位置に予め割り付けられた動きベクトルに基づいて、生成フレームＦにおける画素を生成して第２のフレームメモリ１１に出力する。このフレームメモリ１１は記憶部の一例を構成し、生成された高信頼度の画素の画素値を保存する。
【００５９】
また、動き信頼度判定部８は信頼度がない画素（低信頼度の画素）と判定した場合、第２の画素生成部１０に低信頼度の画素位置情報を出力する。この画素生成部１０は、この低信頼度の画素位置情報、候補ベクトル蓄積部４からの候補となる動きベクトルに基づいて、低信頼度と判定された画素位置の画素を生成して画素判定部１２に出力する。画素判定部１２は、画素生成部９、１０により生成された画素のうち、信頼度の高い画素値を判定して、その結果を出力する。
【００６０】
図１２は、画素生成部９、１０の構成例を示すブロック図である。この例で、画素生成部９と画素生成部１０は、同一に構成されている。従って、以下、画素生成部９のみについて説明する。図１２に示す画素生成部９は、動きクラス決定部１３、クラスタップ選択部１４、予測タップ選択部１５、空間クラス決定部１６、クラス決定部１７、予測係数選択部１８及び積和演算部１９を備えている。
【００６１】
動きクラス決定部１３は、割り付けられた動きベクトルに基づいて動きクラスを決定する。クラスタップ選択部１４は、動きクラスを参照して空間クラスの分類に用いる所定位置の画素（クラスタップと称する）を選択的に抽出し、抽出したクラスタップのデータを空間クラス決定部１６に供給する。
【００６２】
空間クラス決定部１６は、供給されるデータに基づいてＡＤＲＣ(Adaptive Dynamic Range Coding)等を含む処理を行うことによって空間クラスを決定し、決定した空間クラスを示す情報をクラス決定部１７に供給する。
【００６３】
クラス決定部１７は、空間クラス決定部１６から供給される空間クラスを示す情報と、上述した動きクラス決定部１３から供給される動きクラスを示す情報に基づいて最終的なクラスを決定する。クラス決定部１７は、決定した最終的なクラスを示す情報を予測係数選択部１８に供給する。
【００６４】
予測係数選択部１８は、クラス決定部１７の出力を参照して、最終的なクラスに対応する予測係数を出力する。この予測係数が積和演算部１９に供給される。なお、予測係数選択部１８は、クラスに対応して予め決定された予測係数が供給され、供給される予測係数を保持するメモリを有している。なお、この予測係数の求め方の詳細は、後述する。
【００６５】
一方、予測タップ選択部１５は、動きクラス決定部１３から供給される動きクラスを参照して、動き補償部５（図１参照）の出力から所定の画素領域（予測タップと称する）を選択的に抽出する。抽出された予測タップのデータは積和演算部１９に供給される。積和演算部１９は、予測タップのデータと、予測係数選択部１８から供給される予測係数とに基づいて、以下の式（２）に従う積和演算を行うことにより、フィールド周波数が変換された出力画像を生成する。
ｙ＝ｗ1×ｘ1＋ｗ2×ｘ2＋‥‥＋ｗn×ｘn    ・・・（２）
ここで、ｘ1，‥‥，ｘnが各予測タップの画素データであり、ｗ1，‥‥，ｗnが各予測係数である。
【００６６】
図１３Ａ及び図１３Ｂは、画素生成部９、１０の動作例を示す概念図である。上述したように、画素生成部９と画素生成部１０は、同一に構成されているので、画素生成部９のみについて説明する。
【００６７】
画素生成部９は、参照フレームｔ＋１、注目フレームｔにそれぞれ生成フレームＦの生成画素から動きベクトルだけ移動した位置を中心に、ｍ×ｎの大きさの範囲内の画素（予測タップ）と予め用意された予測係数ｗiとを積算して生成フレームＦに画素を生成する。
【００６８】
また、評価値として、参照フレームｔ＋１との差分絶対値和ＳＡＤを用いる。また、候補となる動きベクトルとして代表点マッチング方式で算出したベクトル（ｖx1、ｖy1）、（ｖx2、ｖy2）、…、（ｖxn、ｖyn）を用いる。また、ラスタースキャン順に既に動き補償込み画素生成部７で生成された画素を用いる場合の説明を行う。
【００６９】
例えば、図１３Ａに示すように候補となる動きベクトルを（ｖx1、ｖy1）とした場合、生成フレームＦの生成画素をpixel(x,y)F,v1とすると、この生成画素pixel(x,y)F,v1は以下の式（３）により求められる。
【００７０】
【数２】
2009232268.tif 000004
【００７１】
この生成画素をpixel(x,y)F,v1を含むブロックとベクトル（ｖx1、ｖy1）が示す参照フレームｔ＋１のブロックにおける差分絶対値和をＳＡＤv1とすると、この差分絶対値和ＳＡＤv1は以下の式（４）により求められる。
【００７２】
【数３】
2009232268.tif 000005
【００７３】
同様にして、候補ベクトルが（ｖx2、ｖy2）の場合の生成フレームＦ、（ｘ、ｙ）の生成画素をpixel(x,y)F,v2とすると、この生成画素pixel(x,y)F,v2は以下の式（５）により求められる。
【００７４】
【数４】
2009232268.tif 000006
【００７５】
この生成画素をpixel(x,y)F,v2を含むブロックとベクトル（ｖx2、ｖy2）が示す参照フレームｔ＋１のブロックにおける差分絶対値和をＳＡＤv2とすると、この差分絶対値和ＳＡＤv2は以下の式（６）により求められる。
【００７６】
【数５】
2009232268.tif 000007
【００７７】
同様にして、候補となる動きベクトル数だけの差分絶対値和を算出し、最も差分絶対値和が小さな値の場合に生成された画素を最終的に生成画素とする。なお、画素生成において一度しかスキャンしない場合を説明したが、それ以外にも信頼度の高い動きベクトルが割り付けられた画素のみ先に出力画素を生成し、二度目のスキャンで、既に生成された画素及び高信頼度の画素を使用して残りの画素を生成する場合が考えられる。さらに、信頼度の高い動きベクトル割り付けられた画素のみ先に出力画素を生成し、二度目のスキャンで、高信頼度の動きベクトルによって生成された画素のみ使用して残りの画素を生成する場合が考えられる。以下、これらのスキャン処理を詳細に説明する。
【００７８】
図１４は、ブロックマッチングに使用するブロック３１の画素選択例を示す概念図である。図１４は、生成フレームＦを一度しかスキャンしない場合における、ブロックマッチングに使用するブロック３１の画素選択例である。図１４に示すブロック３１は破線で囲まれた領域であり、注目画素Ｐ１、動き補償込み画素生成に利用する既成の画素Ｐ２から構成されている。これらの画素Ｐ１、Ｐ２から成るブロック３１と、参照フレームｔ＋１又は注目フレームｔ或いは両フレームとの差分絶対値和ＳＡＤを求める。
【００７９】
図１５は、一度のみスキャンする場合における動き補償込み出力画素生成部７の動作例を示すフローチャートである。図１５に示すステップＳＴ２０で、動き補償込み出力画素生成部７は、動き信頼度判定部８で生成画素位置（ｘ、ｙ）に割り付けた動きベクトル（ｖx、ｖy）に信頼度があるか否かを、信頼度算出部６から入力した信頼度判定信号Ｓ１に基づいて判定する。この例で、動き信頼度判定部８は、この信頼度判定信号Ｓ１が低信頼度の画素を示す（例えばフラグが「１」を示す）と判定した場合、ステップＳＴ２１に移行する。
【００８０】
ステップＳＴ２１で、画素生成部１０は、動きクラス決定部１３で候補ベクトル蓄積部４から候補となる動きベクトルを取得する。例えば、先ず、動きクラス決定部１３は、生成画素位置（ｘ、ｙ）に割り付けられた１又は２以上の割付ベクトル（ｖxi、ｖyi）を取得する。この例で、割付ベクトルは、図７及び図９に示したように、生成画素位置（ｘ、ｙ）を貫通する動きベクトル、若しくは近傍の動きベクトルに基づいて求められる。従って、生成画素位置（ｘ、ｙ）に係る候補となる動きベクトルを、割付ベクトル（ｖxi、ｖyi）に基づいて候補ベクトル蓄積部４から取得する。例えば、この割付ベクトル（ｖxi、ｖyi）は、動きベクトルを２分の１に演算して求められているので、当該割付ベクトル（ｖxi、ｖyi）を２倍した値が候補となる動きベクトルになる。この２倍して求めた動きベクトルと、当該動きベクトルの代表画素を取得する。続いてステップＳＴ２２に移行する。
【００８１】
ステップＳＴ２２で、画素生成部１０は、積和演算部１９でカウンタｉに０を設定（初期化）すると共に、生成画素及び最小差分絶対値和を仮設定する。例えば、仮設定用の生成画素には、ステップ２１で取得した候補となる動きベクトルに係る参照フレームｔ＋１又は注目フレームｔの画素値を仮設定する。また、仮設定用の最小差分絶対値和には、当該動きベクトルに係る差分絶対値和（図５Ａ参照）を仮設定する。続いてステップＳＴ２３に移行する。
【００８２】
ステップＳＴ２３で、画素生成部１０は、クラスタップ選択部１４及び予測タップ選択部１５で、例えば図１３Ａに示したように、参照フレームｔ＋１の画素（ｘ＋ｖxi、ｙ＋ｖyi）における周辺画素と注目フレームｔの画素（ｘ−ｖxi、ｙ−ｖyi）における周辺画素を取得する。続いてステップＳＴ２４に移行する。
【００８３】
ステップＳＴ２４で、画素生成部１０は、予測係数ｗiを取得する。例えば、空間クラス決定部１６は、クラスタップ選択部１４により選択的に抽出されたクラスタップのデータに基づいてＡＤＲＣ等を含む処理を行うことによって空間クラスを決定する。クラス決定部１７は、この空間クラス決定部１６から供給される空間クラスを示す情報と、上述した動きクラス決定部１３から供給される動きクラスを示す情報に基づいて最終的なクラスを決定して当該クラスを示す情報を予測係数選択部１８に供給する。予測係数選択部１８は、クラス決定部１７の出力を参照して、最終的なクラスに対応する予測係数ｗiを取得する。続いてステップＳＴ２５に移行する。
【００８４】
ステップＳＴ２５で、画素生成部１０は、積和演算部１９で予測係数ｗiとステップＳＴ２３で取得した参照フレームｔ＋１及び注目フレームｔの画素とを積和演算して生成画素位置（ｘ、ｙ）の画素を生成してステップＳＴ２６に移行する。
【００８５】
ステップＳＴ２６で、画素判定部１２は、生成フレームＦのブロックと参照フレームｔ＋１のブロックとの差分絶対値和を計算する。この例では、図１４に示したように、注目画素Ｐ１（生成画素位置（ｘ、ｙ））と動き補償込み画素生成に利用する既成の画素Ｐ２から構成された生成フレームＦのブロック３１を用いて、参照フレームｔ＋１の割付ベクトルが示すブロックとの差分絶対値和を計算する。続いてステップＳＴ２７に移行する。
【００８６】
ステップＳＴ２７で、画素判定部１２は、求めた差分絶対値和が最小差分絶対値和より小さいか否かを判定する。差分絶対値和＜最小差分絶対値和と判定した場合、ステップＳＴ２８に移行する。反対に差分絶対値和≧最小差分絶対値和と判定した場合、ステップＳＴ２９に移行する。
【００８７】
ステップＳＴ２８で、画素判定部１２は、最小差分絶対値和をステップＳＴ２６で求めた差分絶対値和に更新すると共に、生成画素の画素値をステップＳＴ２６で求めた差分絶対値和に使用した生成画素（注目画素Ｐ１）の画素値に更新して出力画素とする。続いてステップＳＴ２９に移行する。
【００８８】
ステップＳＴ２９で、画素判定部１２は、カウンタｉをカウントアップしてステップＳＴ３０に移行する。ステップＳＴ３０で、画素判定部１２は、カウンタｉのカウント数が、ステップＳＴ２１で取得した候補となる割付ベクトルの種類数Ｎと等しいか否かを判定する。当該カウント数が、候補となる割付ベクトルの種類数Ｎと等しい場合、全ての割付ベクトルについて最小差分絶対値和を検証したので処理の終了となる。また、当該カウント数が、候補となる割付ベクトルの種類数Ｎより少ない場合、ステップＳＴ２３に戻って残りの割付ベクトルにおける差分絶対値和を求める。
【００８９】
また、上述のステップＳＴ２０で、動き信頼度判定部８が、動き信頼度算出部６から入力した信頼度判定信号Ｓ１が高信頼度の画素を示す（例えばフラグが「０」を示す）と判定した場合、ステップＳＴ３１に移行する。
【００９０】
ステップＳＴ３１で、画素生成部９は、従来通りの画素生成処理を実施する。例えば、クラスタップ選択部１４及び予測タップ選択部１５で、参照フレームｔ＋１の画素（ｘ＋ｖxi、ｙ＋ｖyi）の周辺画素と注目フレームｔの画素（ｘ−ｖxi、ｙ−ｖyi）の周辺画素を取得してステップＳＴ３２に移行する。
【００９１】
ステップＳＴ３２で、画素生成部９は、予測係数選択部１８で予測係数ｗiを取得してステップＳＴ３３に移行する。ステップＳＴ３３で、画素生成部９は、積和演算部１９で画素を生成して処理の終了となる。
【００９２】
図１６は、画素判定部１２の第１の実施形態に係る差分絶対値和の算出例を示すフローチャートである。この例で、生成フレームＦにおける生成画素位置を（ｘ、ｙ）、割付ベクトルを（ｖxi、ｖyi）とする。
【００９３】
図１６に示すステップＳＴ４０で、画素判定部１２は、生成フレームＦの生成画素位置（ｘ、ｙ）に係る生成ブロックを縦横サイズ（ｎ、ｍ）に設定する。また、当該生成画素位置（ｘ、ｙ）における割付ベクトル（ｖxi、ｖyi）が示す参照フレームｔ＋１の参照ブロックを同じ縦横サイズ（ｎ、ｍ）に設定する。一例として、当該ブロックの縦横サイズを（４、６）に設定する。また、差分絶対値和ＳＡＤに０を設定（初期化）する。続いてステップＳＴ４１に移行する。
【００９４】
ステップＳＴ４１で、画素判定部１２は、上述の生成ブロック及び参照ブロックの先頭の演算対象画素位置（ｘｘ、ｙｙ）をｘｘ＝ｘ−ｍ／２、ｙｙ＝ｙ−ｎ／２の演算により求める。例えば、当該生成及び参照ブロックの縦横サイズ（ｎ、ｍ）を（４、６）とし、生成画素位置（ｘ、ｙ）を（４、３）としたとき、先頭の演算対象画素位置（ｘｘ、ｙｙ）は、ｘｘ＝４−６／２、ｙｙ＝３−４／２の演算により（１、１）と求められる。続いてステップＳＴ４２に移行する。
【００９５】
ステップＳＴ４２で、画素判定部１２は、生成フレームＦの演算対象画素位置（ｘｘ、ｙｙ）における画素値及び参照フレームｔの演算対象画素位置（ｘｘ＋ｖxi、ｙｙ＋ｖyi）における画素値を取得してステップＳＴ４３に移行する。
【００９６】
ステップＳＴ４３で、画素判定部１２は、生成フレームＦの演算対象画素位置（ｘｘ、ｙｙ）における画素値と、参照フレームｔの演算対象画素位置（ｘｘ＋ｖxi、ｙｙ＋ｖyi）における画素値の差分絶対値を計算すると共に、ステップＳＴ４０で初期化した差分絶対値和ＳＡＤに、求めた差分絶対値を加算してステップＳＴ４４に移行する。
【００９７】
ステップＳＴ４４で、画素判定部１２は、生成ブロックの演算対象画素位置（ｘｘ、ｙｙ）のｘｘ座標に１加算すると共に、参照ブロックの演算対象画素位置（ｘｘ＋ｖxi、ｙｙ＋ｖyi）のｘｘ＋ｖxi座標に１加算してステップＳＴ４５に移行する。
【００９８】
ステップＳＴ４５で、画素判定部１２は、演算対象画素位置（ｘｘ、ｙｙ）の座標ｙｙが、生成画素位置（ｘ、ｙ）の座標ｙと等しいか否かを判定する。演算対象画素位置（ｘｘ、ｙｙ）の座標ｙｙが、生成画素位置（ｘ、ｙ）の座標ｙと等しくないと判定した場合、残りの画素の差分絶対値を求めるためにステップＳＴ４６に移行する。
【００９９】
ステップＳＴ４６で、画素判定部１２は、演算対象画素位置（ｘｘ、ｙｙ）の座標ｘｘが、参照及び生成ブロックの最後尾に到達したか否か（ｘｘ＞ｘ＋ｍ／２）を判定する。演算対象画素位置（ｘｘ、ｙｙ）の座標ｘｘが、生成ブロックの最後尾に到達しなかった場合ステップＳＴ４２に戻る。また、演算対象画素位置（ｘｘ、ｙｙ）の座標ｘｘが、生成ブロックの最後尾に到達した場合、ステップＳＴ４７に移行する。
【０１００】
ステップＳＴ４７で、画素判定部１２は、参照及び生成ブロックにおける各演算対象画素位置（ｘｘ、ｙｙ）を次のラインの先頭に移動する。例えば、この演算対象画素位置（ｘｘ、ｙｙ）の座標ｘｘをｘｘ＝ｘ−ｍ／２と演算し、座標ｙｙをｙｙ＝ｙｙ＋１と演算してステップＳＴ４２に戻る。
【０１０１】
上述のステップＳＴ４５で、演算対象画素位置（ｘｘ、ｙｙ）の座標ｙｙが、生成画素位置（ｘ、ｙ）の座標ｙと等しいと判定した場合、すなわち最高例のラインに到達したと判定して、残りの画素の差分絶対値を求めるためにステップＳＴ４８に移行する。
【０１０２】
ステップＳＴ４８で、画素判定部１２は、演算対象画素位置（ｘｘ、ｙｙ）の座標ｘｘが、生成画素位置（ｘ、ｙ）の座標ｘと等しいか否かを判定する。演算対象画素位置（ｘｘ、ｙｙ）の座標ｘｘが、生成画素位置（ｘ、ｙ）の座標ｘと等しくない場合（ｘｘ≠ｘ）、ステップＳＴ４２に戻る。また、演算対象画素位置（ｘｘ、ｙｙ）の座標ｘｘが、生成画素位置（ｘ、ｙ）の座標ｘに達した場合（ｘｘ＞ｘ）、差分絶対値和処理の終了となる。
【０１０３】
このように、本発明に係る第１の実施形態としてのフレーム周波数変換方法によれば、一度のみのスキャンにおける差分絶対値和を算出する場合であって、動きベクトルの信頼度を判定し、当該動きベクトルの信頼度を低いと判定した場合に、当該低信頼度の動きベクトルに係る生成画素を用いた生成フレームのブロックと参照フレームのブロックとの相関の有無を判定し、当該相関が有ると判定されたブロックにおける生成画素を出力画素に決定するものである。
【０１０４】
従って、生成される生成フレームの画素に割り付けられた割付ベクトルの精度を向上できると共に、当該高精度の割付ベクトルにより正確な画素値を生成できる。これにより、品質の高いフレーム又はフィールドの周波数変換を実現できるようになる。
【０１０５】
＜第２の実施形態＞
続いて、第２の実施形態に係る動き補償込み画素生成及び差分絶対値和の算出方法を説明する。この例では、一度目のスキャンで信頼度の高い動きベクトルが割り付けられた画素のみ先に生成し、二度目のスキャンで信頼度の低い動きベクトルが割り付けられた画素を生成する。この場合、一度目のスキャンで生成した高信頼度の画素と既に生成された画素とを用いて、信頼度の低い動きベクトルが割り付けられた画素を評価する。
【０１０６】
図１７は、ブロックマッチングに使用するブロック３２の画素選択例を示す概念図である。図１７は、生成フレームＦを二度スキャンする場合における、ブロックマッチングに使用するブロック３２の画素選択例である。図１７に示すブロック３２は破線で囲まれた領域と画素Ｐ４から構成されている。当該破線で囲まれた領域は、図１４に示した領域と同一であり、注目画素Ｐ１、動き補償込み画素生成に利用する既成の画素Ｐ２から構成されている。画素Ｐ４は、信頼度の高い動きベクトルが割り付けられた画素である。これらの画素Ｐ１、Ｐ２及びＰ４から成るブロック３２と、参照フレームｔ＋１又は注目フレームｔ或いは両フレームとの差分絶対値和ＳＡＤを求める。
【０１０７】
図１８は、二度スキャンする場合における動き補償込み出力画素生成部７の動作例を示す全体フローチャートである。図１８に示すステップＳＴ５０で、動き補償込み出力画素生成部７は、一度目のスキャンで高信頼度の画素のみ生成してフレームメモリ１１に保存する。例えば、生成画素位置（ｘ、ｙ）に割り付けた動きベクトル（ｖx、ｖy）に信頼度があるか否かを、信頼度算出部６から入力した信頼度判定信号Ｓ１に基づいて判定し、この信頼度判定信号Ｓ１が高信頼度の画素を示すと判定した場合に、当該動きベクトル（ｖx、ｖy）に基づいて画素を生成する。なお、信頼度判定信号Ｓ１が低信頼度の画素を示すと判定した場合、生成フレームＦの生成画素位置（ｘ、ｙ）に画素を生成しない。このように、生成フレームＦの生成画素位置（ｘ、ｙ）に割り付けた動きベクトル（ｖx、ｖy）に信頼度がある場合のみ、生成画素位置（ｘ、ｙ）に画素を生成する。なお、詳細の処理は図１９に示す。続いてステップＳＴ５１に移行する。
【０１０８】
ステップＳＴ５１で、動き補償込み出力画素生成部７は、二度目のスキャンで動き補償込み画素を生成する。例えば、一度目のスキャンで生成した高信頼度の画素と既に生成された画素とを用いてブロックマッチングを行い、注目画素の評価を行う。なお、詳細の処理は図２０に示す。
【０１０９】
図１９は、図１８に示したステップＳＴ５０の処理を詳細に示したフローチャートである。図１９に示すステップＳＴ６０で、動き補償込み出力画素生成部７は、動き信頼度判定部８で生成画素位置（ｘ、ｙ）に割り付けた動きベクトル（ｖx、ｖy）に信頼度があるか否かを、信頼度算出部６から入力した信頼度判定信号Ｓ１に基づいて判定する。この例で、動き信頼度判定部８は、この信頼度判定信号Ｓ１が高信頼度の画素を示す（例えばフラグが「０」を示す）と判定した場合、ステップＳＴ６１に移行する。
【０１１０】
ステップＳＴ６１で、画素生成部１０は、クラスタップ選択部１４及び予測タップ選択部１５で、例えば図１３Ａに示したように、参照フレームｔ＋１の画素（ｘ＋ｖx、ｙ＋ｖy）における周辺画素と注目フレームｔの画素（ｘ−ｖx、ｙ−ｖy）における周辺画素を取得してステップＳＴ６２に移行する。
【０１１１】
ステップＳＴ６２で、画素生成部１０は、予測係数ｗiを取得する。例えば、空間クラス決定部１６は、クラスタップ選択部１４により選択的に抽出されたクラスタップのデータに基づいてＡＤＲＣ等を含む処理を行うことによって空間クラスを決定する。クラス決定部１７は、この空間クラス決定部１６から供給される空間クラスを示す情報と、上述した動きクラス決定部１３から供給される動きクラスを示す情報に基づいて最終的なクラスを決定して当該クラスを示す情報を予測係数選択部１８に供給する。予測係数選択部１８は、クラス決定部１７の出力を参照して、最終的なクラスに対応する予測係数ｗiを取得する。続いてステップＳＴ６３に移行する。
【０１１２】
ステップＳＴ６３で、画素生成部１０は、積和演算部１９で予測係数ｗiとステップＳＴ６１で取得した参照フレームｔ＋１及び注目フレームｔの画素とを積和演算して生成画素位置（ｘ、ｙ）の画素を生成して処理の終了となる。
【０１１３】
また、上述のステップＳＴ６０で、動き信頼度判定部８が、動き信頼度算出部６から入力した信頼度判定信号Ｓ１が低信頼度の画素を示す（例えばフラグが「１」を示す）と判定した場合、生成フレームＦの生成画素位置（ｘ、ｙ）に画素を生成しない。このように、生成フレームＦの生成画素位置（ｘ、ｙ）に割り付けた動きベクトル（ｖx、ｖy）に信頼度がある場合のみ、生成画素位置（ｘ、ｙ）に画素を生成する。
【０１１４】
図２０は、図１８に示したステップＳＴ５１の処理を詳細に示したフローチャートである。図２０に示すステップＳＴ７０〜ステップ８０は、図１５に示したステップ２０〜ステップ３０に夫々対応している。また、図２０に示すフローチャートには、図１５に示したステップＳＴ３１〜ステップＳＴ３３を有していない。これは、図１８に示したように、一度目のスキャンにおいて、高信頼度の生成画素は、既に生成した為である。
【０１１５】
ここで、図２０に示す第２の実施形態に係る処理は、図１７に示したブロック３２を用いて動き補償込み画素を生成する。このとき、図２０に示すステップＳＴ７０〜ステップＳＴ７５は、図１５に示したステップＳＴ２０〜ステップＳＴ２５処理と同様の処理を行う。
【０１１６】
ステップＳＴ７６で、画素判定部１２は、生成フレームＦと参照フレームｔ＋１の差分絶対値和を計算する。この例では、図１７に示したように、注目画素Ｐ１（生成画素位置（ｘ、ｙ））と動き補償込み画素生成に利用する既成の画素Ｐ２と信頼度の高い動きベクトルが割り付けられた画素Ｐ４から構成された生成フレームＦのブロック３２を用いて、参照フレームｔ＋１の割付ベクトルが示すブロックとの差分絶対値和を計算する。以下、ステップＳＴ７７〜ステップＳＴ８０は、図１５に示したステップＳＴ２７〜ステップＳＴ３０の処理と同様であるので、その詳細な説明は省略する。
【０１１７】
図２１及び図２２は、画素判定部１２の第２の実施形態に係る差分絶対値和の算出例を示すフローチャートである。この例では、図１７に示したブロック３２を用いて差分絶対値和を求める。このとき、図２１に示すステップＳＴ９０〜ステップ９７は、図１６に示したステップ４０〜ステップ４７と同様な処理を行うため、その詳細な説明は省略する。
【０１１８】
ステップＳＴ９８で、画素判定部１２は、演算対象画素位置（ｘｘ、ｙｙ）の座標ｘｘが、生成画素位置（ｘ、ｙ）の座標ｘと等しいか否かを判定する。演算対象画素位置（ｘｘ、ｙｙ）の座標ｘｘが、生成画素位置（ｘ、ｙ）の座標ｘに達していない場合（ｘｘ≦ｘ）、ステップＳＴ９２に戻る。また、演算対象画素位置（ｘｘ、ｙｙ）の座標ｘｘが、生成画素位置（ｘ、ｙ）の座標ｘに達した場合（ｘｘ＞ｘ）、図２２に示すステップＳＴ９９に移行する。
【０１１９】
図２２に示すステップＳＴ９９で、動き補償込み出力画素生成部７は、動き信頼度判定部８で生成画素位置（ｘ、ｙ）に割り付けた動きベクトル（ｖx、ｖy）に信頼度があるか否かを、信頼度算出部６から入力した信頼度判定信号Ｓ１に基づいて判定する。この例で、動き信頼度判定部８は、この信頼度判定信号Ｓ１が高信頼度の画素を示す（例えばフラグが「０」を示す）と判定した場合、ステップＳＴ１００に移行する。
【０１２０】
ステップＳＴ１００で、画素判定部１２は、生成フレームＦの演算対象画素位置（ｘｘ、ｙｙ）における画素値及び参照フレームｔの演算対象画素位置（ｘｘ＋ｖxi、ｙｙ＋ｖyi）における画素値を取得してステップＳＴ１０１に移行する。
【０１２１】
ステップＳＴ１０１で、画素判定部１２は、生成フレームＦの演算対象画素位置（ｘｘ、ｙｙ）における画素値と、参照フレームｔの演算対象画素位置（ｘｘ＋ｖxi、ｙｙ＋ｖyi）における画素値の差分絶対値を計算すると共に、ステップＳＴ９０で初期化した差分絶対値和ＳＡＤに求めた差分絶対値を加算してステップＳＴ１０２に移行する。
【０１２２】
ステップＳＴ１０２で、画素判定部１２は、生成ブロックの演算対象画素位置（ｘｘ、ｙｙ）のｘｘ座標に１加算すると共に、参照ブロックの演算対象画素位置（ｘｘ＋ｖxi、ｙｙ＋ｖyi）のｘｘ＋ｖxi座標に１加算してステップＳＴ１０３に移行する。
【０１２３】
ステップＳＴ１０３で、画素判定部１２は、演算対象画素位置（ｘｘ、ｙｙ）の座標ｘｘが、生成ブロックの最後尾に到達したか否か（ｘｘ＞ｘ＋ｍ／２）を判定する。演算対象画素位置（ｘｘ、ｙｙ）の座標ｘｘが、生成ブロックの最後尾に到達しなかった場合ステップＳＴ９９に戻る。また、演算対象画素位置（ｘｘ、ｙｙ）の座標ｘｘが、生成ブロックの最後尾に到達した場合、ステップＳＴ１０４に移行する。
【０１２４】
ステップＳＴ１０４で、画素判定部１２は、参照及び生成ブロックにおける各演算対象画素位置（ｘｘ、ｙｙ）を次のラインの先頭に移動する。例えば、この演算対象画素位置（ｘｘ、ｙｙ）の座標ｘｘをｘｘ＝ｘ−ｍ／２と演算し、座標ｙｙをｙｙ＝ｙｙ＋１と演算してステップＳＴ１０５に移行する。
【０１２５】
ステップＳＴ１０５で、画素判定部１２は、演算対象画素位置（ｘｘ、ｙｙ）の座標ｙｙが、最後段のラインに到達したか否かを判定する。例えば、演算対象画素位置（ｘｘ、ｙｙ）の座標ｙｙがｙｙ＞ｙ＋ｎ／２を満たすか否かを判定する。演算対象画素位置（ｘｘ、ｙｙ）の座標ｙｙが最後段のラインに到達していない場合、ステップＳＴ９９に戻る。また、演算対象画素位置（ｘｘ、ｙｙ）の座標ｙｙが最後段のラインに到達した場合、処理の終了となる。
【０１２６】
このように、本発明に係る第２の実施形態としてのフレーム周波数変換方法によれば、一度目のスキャンで信頼度の高い動きベクトルが割り付けられた画素のみ先に生成し、二度目のスキャンで信頼度の低い動きベクトルが割り付けられた画素を生成する。この場合、一度目のスキャンで生成した高信頼度の画素と既に生成された画素とを用いて、信頼度の低い動きベクトルが割り付けられた画素を評価する。
従って、ブロックマッチング用のブロックを構成する画素を信頼度の高い画素を用いることができるので、第１の実施形態の１度のみのスキャンにおけるブロックマッチングに比べて、精度良く生成画素の動きベクトルを評価できるようになる。
【０１２７】
＜第３の実施形態＞
続いて、第３の実施形態に係る動き補償込み画素生成及び差分絶対値和の算出方法を説明する。この例では、一度目のスキャンで信頼度の高い動きベクトルが割り付けられた画素のみ先に生成し、二度目のスキャンで信頼度の低い動きベクトルが割り付けられた画素を生成する。この場合、一度目のスキャンで生成した高信頼度の画素のみ用いて画素を生成する。
【０１２８】
図２３は、ブロックマッチングに使用するブロック３３の画素選択例を示す概念図である。図２３は、生成フレームＦを二度スキャンする場合における、ブロックマッチングに使用するブロック３３の画素選択例である。図２３に示すブロック３３は、信頼度の高い動きベクトルが割り付けられた画素Ｐ４及び注目画素Ｐ１から構成されている。これらの画素Ｐ１及びＰ４から成るブロック３３と、参照フレームｔ＋１又は注目フレームｔ或いは両フレームとの差分絶対値和ＳＡＤを求める。
【０１２９】
図２４は、二度スキャンする場合における動き補償込み出力画素生成部７の動作例を示す全体フローチャートである。図２４に示すステップＳＴ１１０及びステップＳＴ１１１は、図１８に示したステップＳＴ５０及びステップＳＴ５１と同様の処理を行う。
【０１３０】
図２４に示すステップＳＴ１１０で、動き補償込み出力画素生成部７は、一度目のスキャンで高信頼度の画素のみ生成する。例えば、生成画素位置（ｘ、ｙ）に割り付けた動きベクトル（ｖx、ｖy）に信頼度があるか否かを、信頼度算出部６から入力した信頼度判定信号Ｓ１に基づいて判定し、この信頼度判定信号Ｓ１が高信頼度の画素を示すと判定した場合に、当該動きベクトル（ｖx、ｖy）に基づいて画素を生成する。なお、信頼度判定信号Ｓ１が低信頼度の画素を示すと判定した場合、生成フレームＦの生成画素位置（ｘ、ｙ）に画素を生成しない。このように、生成フレームＦの生成画素位置（ｘ、ｙ）に割り付けた動きベクトル（ｖx、ｖy）に信頼度がある場合のみ、生成画素位置（ｘ、ｙ）に画素を生成する。なお、詳細の処理は図２５に示す。続いてステップＳＴ１１１に移行する。
【０１３１】
ステップＳＴ１１１で、動き補償込み出力画素生成部７は、二度目のスキャンで動き補償込み画素を生成する。例えば、一度目のスキャンで生成した高信頼度の画素のみ用いてブロックマッチングを行い、注目画素の評価を行う。なお、詳細の処理は図２６に示す。
【０１３２】
図２５は、図２４に示したステップＳＴ１１０の処理を詳細に示したフローチャートである。図２５に示すステップＳＴ１２０〜ステップＳＴ１２３は、図１９に示したステップＳＴ６０〜ステップＳＴ６３に夫々対応して同様の処理のため、その詳細な説明は省略する。
【０１３３】
図２６は、図２４に示したステップＳＴ１１１の処理を詳細に示したフローチャートである。図２６に示すステップＳＴ１３０〜ステップ１４０は、図２０に示したステップ７０〜ステップ８０に夫々対応している。
【０１３４】
ここで、図２６に示す第３の実施形態に係る処理は、図２３に示したブロック３３を用いて動き補償込み画素を生成する。このとき、図２６に示すステップＳＴ１３０〜ステップＳＴ１３５は、図２０に示したステップＳＴ７０〜ステップＳＴ７５の処理と同様の処理を行う。
【０１３５】
ステップＳＴ１３６で、画素判定部１２は、生成フレームＦと参照フレームｔ＋１の差分絶対値和を計算する。この例では、図２３に示したように、注目画素Ｐ１（生成画素位置（ｘ、ｙ））と信頼度の高い動きベクトルが割り付けられた画素Ｐ４から構成された生成フレームＦのブロック３３を用いて、参照フレームｔ＋１の候補ベクトル（割付ベクトル）が示すブロックとの差分絶対値和を計算する。以下、ステップＳＴ１３７〜ステップＳＴ１４０は、図２０に示したステップＳＴ７７〜ステップＳＴ８０の処理と同様であるので、その詳細な説明は省略する。
【０１３６】
図２７は、画素判定部１２の第３の実施形態に係る差分絶対値和の算出例を示すフローチャートである。この例では、図２３に示したブロック３３を用いて差分絶対値和を求める。このとき、図２７に示すステップＳＴ１５９で、動き補償込み出力画素生成部７は、動き信頼度判定部８で生成画素位置（ｘ、ｙ）に割り付けた動きベクトル（ｖx、ｖy）に信頼度があるか否かを、信頼度算出部６から入力した信頼度判定信号Ｓ１に基づいて判定する。この例で、動き信頼度判定部８は、この信頼度判定信号Ｓ１が高信頼度の画素を示す（例えばフラグが「０」を示す）と判定した場合、ステップＳＴ１６０に移行する。
【０１３７】
ステップＳＴ１６０で、画素判定部１２は、生成フレームＦの演算対象画素位置（ｘｘ、ｙｙ）における画素値及び参照フレームｔの演算対象画素位置（ｘｘ＋ｖxi、ｙｙ＋ｖyi）における画素値を取得してステップＳＴ１６１に移行する。
【０１３８】
ステップＳＴ１６１で、画素判定部１２は、生成フレームＦの演算対象画素位置（ｘｘ、ｙｙ）における画素値と、参照フレームｔの演算対象画素位置（ｘｘ＋ｖxi、ｙｙ＋ｖyi）における画素値の差分絶対値を計算すると共に、差分絶対値和ＳＡＤに求めた差分絶対値を加算してステップＳＴ１６２に移行する。
【０１３９】
ステップＳＴ１６２で、画素判定部１２は、生成ブロックの演算対象画素位置（ｘｘ、ｙｙ）のｘｘ座標に１加算すると共に、参照ブロックの演算対象画素位置（ｘｘ＋ｖxi、ｙｙ＋ｖyi）のｘｘ＋ｖxi座標に１加算してステップＳＴ１６３に移行する。
【０１４０】
ステップＳＴ１６３で、画素判定部１２は、演算対象画素位置（ｘｘ、ｙｙ）の座標ｘｘが、生成ブロックの最後尾に到達したか否か（ｘｘ＞ｘ＋ｍ／２）を判定する。演算対象画素位置（ｘｘ、ｙｙ）の座標ｘｘが、生成ブロックの最後尾に到達しなかった場合ステップＳＴ１５９に戻る。また、演算対象画素位置（ｘｘ、ｙｙ）の座標ｘｘが、生成ブロックの最後尾に到達した場合、ステップＳＴ１６４に移行する。
【０１４１】
ステップＳＴ１６４で、画素判定部１２は、参照及び生成ブロックにおける各演算対象画素位置（ｘｘ、ｙｙ）を次のラインの先頭に移動する。例えば、この演算対象画素位置（ｘｘ、ｙｙ）の座標ｘｘをｘｘ＝ｘ−ｍ／２と演算し、座標ｙｙをｙｙ＝ｙ＋１と演算してステップＳＴ１６５に移行する。
【０１４２】
ステップＳＴ１６５で、画素判定部１２は、演算対象画素位置（ｘｘ、ｙｙ）の座標ｙｙが、最後段のラインに到達したか否かを判定する。例えば、演算対象画素位置（ｘｘ、ｙｙ）の座標ｙｙがｙｙ＞ｙ＋ｎ／２を満たすか否かを判定する。演算対象画素位置（ｘｘ、ｙｙ）の座標ｙｙが最後段のラインに到達していない場合、ステップＳＴ１５９に戻る。また、演算対象画素位置（ｘｘ、ｙｙ）の座標ｙｙが最後段のラインに到達した場合、処理の終了となる。
【０１４３】
このように、本発明に係る第３の実施形態としてのフレーム周波数変換方法によれば、一度目のスキャンで信頼度の高い動きベクトルが割り付けられた画素のみ先に生成し、二度目のスキャンで信頼度の低い動きベクトルが割り付けられた画素を生成する。この場合、一度目のスキャンで生成した高信頼度の画素のみ用いて画素を生成する。
従って、ブロックマッチング用のブロックを構成する画素を信頼度の高い画素のみを用いることができるので、第２の実施形態におけるブロックマッチングに比べて、精度良く生成画素の動きベクトルを評価できるようになる。
【０１４４】
続いて、上述した予測係数ｗiの算出方法について説明する。図２８は、係数データ生成装置２００の構成例を示すブロック図である。入力画像信号Ｄｉｎと同一の信号形式を有する画像が生徒画像として動き推定部５１および動き補償部５２に供給される。動き推定部５１は、図１中の動き推定部２と同様な処理を行う。すなわち、動き推定部５１は、生徒画像内の注目画素の動きベクトルを推定し、推定した動きベクトルを動き補償部５２に供給する。また、動き推定部５１は、動きベクトルと共に、その信頼性を示す情報を動きクラス決定部５３に供給する。一方、動き補償部５２は、図１に示した動き補償部５と同様な動き補償処理を行う。この動き補償処理の結果として生成される画像がクラスタップ選択部５４と予測タップ選択部５５とに供給される。
【０１４５】
動きクラス決定部５３は、図１２の動きクラス決定部１３と同様な処理を行って動きクラスを決定し、決定した動きクラスを示す情報をクラスタップ選択部５４、予測タップ選択部５５およびクラス決定部５７に供給する。クラスタップ選択部５４は、図１２のクラスタップ選択部１４と同一位置の画素をクラスタップとして抽出し、抽出したクラスタップのデータを空間クラス決定部５６に供給する。空間クラス決定部５６は、供給されるデータに基づいて図１２の空間クラス決定部１６と同様な処理を行って空間クラスを決定し、決定した空間クラスを示す情報をクラス決定部５７に供給する。
クラス決定部５７は、図１２のクラス決定部１７と同様な処理を行って最終的なクラスを決定し、最終的なクラスを示す情報をマトリクス選択部５８に供給する。マトリクス選択部５８は、最終的なクラスに対応するマトリクスを選択し、選択したマトリクスに係るデータをマトリクス加算部５９に供給する。
【０１４６】
一方、予測タップ選択部５５は、図１２の予測タップ選択部１５と同一位置の画素を予測タップとして抽出し、抽出した予測タップのデータをマトリクス加算部５９に供給する。マトリクス加算部５９には、さらに、図１における出力画像信号Ｄｏｕｔと同一の信号形式の画像が教師画像として供給される。マトリクス加算部５９には、マトリクス選択部５８から供給されるデータに、予測タップのデータおよび教師画像に基づく演算結果を足し込む処理を行うことにより、正規方程式のデータを生成する。正規方程式のデータは、マトリクス加算部５９から係数決定部６０に供給される。係数決定部６０は、正規方程式を解く演算を行うことにより、予測係数を算出する。算出された予測係数は、例えば図示しないメモリに記憶される。
【０１４７】
上述の式（２）において、学習前は予測係数ｗ1，‥‥，ｗnが未定係数である。学習は、クラス毎に複数の教師画像を入力することによって行う。教師画像の種類数をｍと表記する場合、式（２）から、以下の式（７）が設定される。
ｙk＝ｗ1×ｘk1＋ｗ2×ｘk2＋‥‥＋ｗn×ｘkn    ・・・（７）
（ｋ＝１，２，‥‥，ｍ）
ｍ＞ｎの場合、予測係数ｗ1，‥‥，ｗnは一意に決まらないので、誤差ベクトルｅの要素ｅkを以下の式（８）で定義して、式（９）によって定義される誤差ベクトルｅを最小とするように予測係数を定めるようにする。すなわち、いわゆる最小２乗法によって予測係数を一意に定める。
ｅk＝ｙk−｛ｗ1×ｘk1＋ｗ2×ｘk2＋‥‥＋ｗn×ｘkn｝    ・・・（８）
（ｋ＝１，２，‥‥ｍ）
【０１４８】
【数６】
2009232268.tif 000008
【０１４９】
式（９）のｅ2を最小とする予測係数を求めるための実際的な計算方法としては、ｅ2を予測係数ｗi(i=1,2‥‥)で偏微分し（式（１０））、ｉの各値について偏微分値が０となるように各予測係数ｗiを定めれば良い。
【０１５０】
【数７】
2009232268.tif 000009
【０１５１】
式（１０）から各予測係数ｗiを定める具体的な手順について説明する。式（１１）、（１２）のようにＸji，Ｙiを定義すると、式（１０）は、式（１３）の行列式の形に書くことができる。
【０１５２】
【数８】
2009232268.tif 000010
【０１５３】
【数９】
2009232268.tif 000011
【０１５４】
【数１０】
2009232268.tif 000012
【０１５５】
式（１３）が一般に正規方程式と呼ばれるものである。マトリクス加算部５９は、正規方程式（１３）中のパラメータを算出する。係数決定部６０は、算出されたパラメータに基づいて掃き出し法等の一般的な行列解法に従って正規方程式（１３）を解くことにより、予測係数ｗi（ｉ＝１，２，‥‥，ｎ）を算出する。
【０１５６】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。
【産業上の利用可能性】
【０１５７】
動きベクトルに基づいてフレーム又はフィールドの周波数変換を行う画像処理装置に適用して好適である。
【図面の簡単な説明】
【０１５８】
【図１】本発明に係る第１の実施形態としてのフレーム周波数変換装置１００の構成例を示す全体ブロック図である。
【図２】動き推定部２の構成例を示すブロック図である。
【図３】Ａ及びＢは代表点マッチング処理例（その１）を示す概念図である。
【図４】代表点マッチング処理例（その２）を示す概念図である。
【図５】Ａ及びＢは動きベクトルの検出例を示す概念図である。
【図６】動き割付部３の構成例を示すブロック図である。
【図７】Ａ及びＢは動き割付部３の機能例を示す概念図である。
【図８】動き補償部５の動作例を示すフローチャートである。
【図９】動き補償部５の動作例を示す概略図である。
【図１０】動き信頼度算出部６の動作例を示すフローチャートである。
【図１１】動き補償込み画素生成部７の構成例を示すブロック図である。
【図１２】画素生成部９、１０の構成例を示すブロック図である。
【図１３】Ａ及びＢは画素生成部９、１０の動作例を示す概念図である。
【図１４】ブロックマッチングに使用するブロック３１の画素選択例を示す概念図である。
【図１５】一度のみスキャンする場合における動き補償込み出力画素生成部７の動作例を示すフローチャートである。
【図１６】第１の実施形態に係る画素判定部１２の差分絶対値和の算出例を示すフローチャートである。
【図１７】ブロックマッチングに使用するブロック３２の画素選択例を示す概念図である。
【図１８】二度スキャンする場合における動き補償込み出力画素生成部７の動作例を示す全体フローチャートである。
【図１９】図１８に示したステップＳＴ５０の処理を詳細に示したフローチャートである。
【図２０】図１８に示したステップＳＴ５１の処理を詳細に示したフローチャートである。
【図２１】第２の実施形態に係る画素判定部１２の差分絶対値和の算出例（その１）を示すフローチャートである。
【図２２】第２の実施形態に係る画素判定部１２の差分絶対値和の算出例（その２）を示すフローチャートである。
【図２３】ブロックマッチングに使用するブロック３３の画素選択例を示す概念図である。
【図２４】二度スキャンする場合における動き補償込み出力画素生成部７の動作例を示す全体フローチャートである。
【図２５】図２４に示したステップＳＴ１１０の処理を詳細に示したフローチャートである。
【図２６】図２４に示したステップＳＴ１１１の処理を詳細に示したフローチャートである。
【図２７】第３の実施形態に係る画素判定部１２の差分絶対値和の算出例を示すフローチャートである。
【図２８】係数データ生成装置２００の構成例を示すブロック図である。
【符号の説明】
【０１５９】
１・・・第１のフレームメモリ、２・・・動き推定部、３・・・動き割付部、４・・・候補ベクトル蓄積部、５・・・動き補償部、６・・・動き信頼度算出部、７・・・動き補償込み画素生成部、８・・・動き信頼度判定部、９・・・第１の画素生成部、１０・・・第２の画素生成部、１１・・・第２のフレームメモリ、１２・・・画素判定部
【図１】
2009232268.tif 000013
【図２】
2009232268.tif 000014
【図３】
2009232268.tif 000015
【図５】
2009232268.tif 000016
【図６】
2009232268.tif 000017
【図７】
2009232268.tif 000018
【図８】
2009232268.tif 000019
【図９】
2009232268.tif 000020
【図１０】
2009232268.tif 000021
【図１１】
2009232268.tif 000022
【図１２】
2009232268.tif 000023
【図１３】
2009232268.tif 000024
【図１４】
2009232268.tif 000025
【図１５】
2009232268.tif 000026
【図１６】
2009232268.tif 000027
【図１７】
2009232268.tif 000028
【図１８】
2009232268.tif 000029
【図１９】
2009232268.tif 000030
【図２０】
2009232268.tif 000031
【図２１】
2009232268.tif 000032
【図２２】
2009232268.tif 000033
【図２３】
2009232268.tif 000034
【図２４】
2009232268.tif 000035
【図２５】
2009232268.tif 000036
【図２６】
2009232268.tif 000037
【図２７】
2009232268.tif 000038
【図２８】
2009232268.tif 000039
【図４】
2009232268.tif 000040