(57)【要約】【課題】生成した画像の破綻を目立たないようにする。【解決手段】画像変換部３２には、SD_24P信号に対してフレーム内挿処理を施すことにより生成されたHD_60P信号が入力される。動きクラス分類部５１は、割付ベクトルの動きをクラス分類する。係数読み出し部５４は、動きクラス分類の結果に基づいて、SD_60信号のフレームを構成する画素において画像が破綻しているか否かを判定し、画像破綻している画素を用いて予め求められている第１の予測変数群及び画像破綻していない画素を用いて予め求められている第２の予測係数群のいずれかの予測係数を用いたクラス分類適応処理により、SD_60P信号よりも解像度の高いHD_60P信号の画像を生成する。本発明は、フレームレートを変換する画像処理装置に適用できる。【選択図】図８
2009135878.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像のフレーム上の動きベクトルを検出し、検出された前記動きベクトルを第２の画像のフレーム上の画素に割り付けて、割り付けられた前記動きベクトルに基づいて、前記第２の画像のフレーム上の画素の画素値を生成するフレーム内挿処理によって生成された前記第２の画像を構成する画素において画像が破綻しているか否かを判定する判定手段と、
前記第２の画像の注目している注目画素に対応する位置にある、前記第２の画像よりも解像度の高い第３画像のいまから生成する生成画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる画素であって、前記注目画素を含む前記第２の画像の所定の複数の画素を、前記第２の画像からクラスタップとして抽出するクラスタップ抽出手段と、
前記クラスタップを用いて、前記生成画素のクラス分類を行うクラス分類手段と、
前記生成画像を予測するために用いる画素であって、前記注目画素を含む前記第２の画像の所定の複数の画素を、前記第２の画像から予測タップとして抽出する予測タップ抽出手段と、
前記判定手段により画像が破綻していると判定された前記注目画素に対しては、画像が破綻している画素を用いて予め求められている第１の予測係数群の中の前記クラス分類手段による前記生成画素のクラスについての予測変数と、前記予測タップを用いて、前記生成画素の画素値を予測演算し、
前記判定手段により画像が破綻していないと判定された前記注目画素に対しては、破綻していない画素を用いて予め求められている第２の予測係数群の中の前記クラス分類手段による前記生成画素のクラスについての予測変数と、前記予測タップを用いて、前記生成画素の画素値を予測演算して、前記第３の画像を生成する予測演算手段と
を備える画像処理装置。
【請求項２】
前記判定手段は、
前記第２の画像の注目画素に割り付けられている前記動きベクトルと、前記注目画素の周辺の予め定めた範囲の画素である周辺画素に割り付けられている前記動きベクトルとのばらつきを示す値を算出し、前記動きベクトルのばらつきを示す値を基に、前記注目画素において画像が破綻しているか否かを判定する
請求項１に記載の画像処理装置。
【請求項３】
第１の画像のフレーム上の動きベクトルを検出し、検出された前記動きベクトルを第２の画像のフレーム上の画素に割り付けて、割り付けられた前記動きベクトルに基づいて、前記第２の画像のフレーム上の画素の画素値を生成するフレーム内挿処理によって生成された前記第２の画像を構成する画素において画像が破綻しているか否かを判定し、
前記第２の画像の注目している注目画素に対応する位置にある、前記第２の画像よりも解像度の高い第３画像のいまから生成する生成画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる画素であって、前記注目画素を含む前記第２の画像の所定の複数の画素を、前記第２の画像からクラスタップとして抽出し、
前記クラスタップを用いて、前記生成画素のクラス分類を行い、
前記生成画像を予測するために用いる画素であって、前記注目画素を含む前記第２の画像の所定の複数の画素を、前記第２の画像から予測タップとして抽出し、
画像が破綻していると判定された前記注目画素に対しては、画像が破綻している画素を用いて予め求められている第１の予測係数群の中の前記生成画素のクラスについての予測変数と、前記予測タップを用いて、前記生成画素の画素値を予測演算し、
画像が破綻していないと判定された前記注目画素に対しては、破綻していない画素を用いて予め求められている第２の予測係数群の中の前記生成画素のクラスについての予測変数と、前記予測タップを用いて、前記生成画素の画素値を予測演算して、前記第３の画像を生成する
ステップを含む画像処理方法。
【請求項４】
第１の画像のフレーム上の動きベクトルを検出し、検出された前記動きベクトルを第２の画像のフレーム上の画素に割り付けて、割り付けられた前記動きベクトルに基づいて、前記第２の画像のフレーム上の画素の画素値を生成するフレーム内挿処理によって生成された前記第２の画像を構成する画素において画像が破綻しているか否かを判定し、
前記第２の画像の注目している注目画素に対応する位置にある、前記第２の画像よりも解像度の高い第３画像のいまから生成する生成画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる画素であって、前記注目画素を含む前記第２の画像の所定の複数の画素を、前記第２の画像からクラスタップとして抽出し、
前記クラスタップを用いて、前記生成画素のクラス分類を行い、
前記生成画像を予測するために用いる画素であって、前記注目画素を含む前記第２の画像の所定の複数の画素を、前記第２の画像から予測タップとして抽出し、
画像が破綻していると判定された前記注目画素に対しては、画像が破綻している画素を用いて予め求められている第１の予測係数群の中の前記生成画素のクラスについての予測変数と、前記予測タップを用いて、前記生成画素の画素値を予測演算し、
画像が破綻していないと判定された前記注目画素に対しては、破綻していない画素を用いて予め求められている第２の予測係数群の中の前記生成画素のクラスについての予測変数と、前記予測タップを用いて、前記生成画素の画素値を予測演算して、前記第３の画像を生成する
ステップを含む画像処理をコンピュータに実行させるプログラム。
【請求項５】
第１の画像のフレーム上の動きベクトルを検出し、検出された前記動きベクトルを第２の画像のフレーム上の画素に割り付けて、割り付けられた前記動きベクトルに基づいて、前記第２の画像のフレーム上の画素の画素値を生成するフレーム内挿処理によって生成された前記第２の画像を構成する画素において画像が破綻しているか否かを判定する判定手段と、
前記判定手段により画像が破綻していると判定された前記第２の画像の注目している注目画素に対応する位置にある、前記第２の画像よりも解像度の高い第３の画像のいまから生成する生成画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる画素であって、前記注目画素を含む前記第２の画像の所定の複数の画素を、前記第２の画像からクラスタップとして抽出するクラスタップ抽出手段と、
前記クラスタップを用いて、前記生成画素のクラス分類を行うクラス分類手段と、
前記生成画像を予測するために用いる画素であって、前記注目画素を含む前記第２の画像の所定の複数の画素を、前記第２の画像から予測タップとして抽出する予測タップ抽出手段と、
動きベクトルの誤りに起因する破綻が生じていない画像であって、前記第３の画像と同じ解像度を有する教師画像から、前記生成画素に対応する画素の画素値を抽出し、抽出したその画素値及び前記予測タップを用いて、前記予測タップから前記生成画素の画素値を予測するために用いられる前記生成画素のクラスに対応する予測係数を求める演算手段と
を備える学習装置。
【請求項６】
前記判定手段は、
前記第２の画像の注目画素に割り付けられている前記動きベクトルと、前記注目画素の周辺の予め定めた範囲の画素である周辺画素に割り付けられている前記動きベクトルとのばらつきを示す値を算出し、前記動きベクトルのばらつきを示す値を基に、前記注目画素において画像が破綻しているか否かを判定する
請求項５に記載の学習装置。
【請求項７】
第１の画像のフレーム上の動きベクトルを検出し、検出された前記動きベクトルを第２の画像のフレーム上の画素に割り付けて、割り付けられた前記動きベクトルに基づいて、前記第２の画像のフレーム上の画素の画素値を生成するフレーム内挿処理によって生成された前記第２の画像を構成する画素において画像が破綻しているか否かを判定し、
画像が破綻していると判定された前記第２の画像の注目している注目画素に対応する位置にある、前記第２の画像よりも解像度の高い第３の画像のいまから生成する生成画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる画素であって、前記注目画素を含む前記第２の画像の所定の複数の画素を、前記第２の画像からクラスタップとして抽出し、
前記クラスタップを用いて、前記生成画素のクラス分類を行い、
前記生成画像を予測するために用いる画素であって、前記注目画素を含む前記第２の画像の所定の複数の画素を、前記第２の画像から予測タップとして抽出し、
動きベクトルの誤りに起因する破綻が生じていない画像であって、前記第３の画像と同じ解像度を有する教師画像から、前記生成画素に対応する画素の画素値を抽出し、抽出したその画素値及び前記予測タップを用いて、前記予測タップから前記生成画素の画素値を予測するために用いられる前記生成画素のクラスに対応する予測係数を求める
ステップを含む学習方法。
【請求項８】
第１の画像のフレーム上の動きベクトルを検出し、検出された前記動きベクトルを第２の画像のフレーム上の画素に割り付けて、割り付けられた前記動きベクトルに基づいて、前記第２の画像のフレーム上の画素の画素値を生成するフレーム内挿処理によって生成された前記第２の画像を構成する画素において画像が破綻しているか否かを判定し、
画像が破綻していると判定された前記第２の画像の注目している注目画素に対応する位置にある、前記第２の画像よりも解像度の高い第３の画像のいまから生成する生成画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる画素であって、前記注目画素を含む前記第２の画像の所定の複数の画素を、前記第２の画像からクラスタップとして抽出し、
前記クラスタップを用いて、前記生成画素のクラス分類を行い、
前記生成画像を予測するために用いる画素であって、前記注目画素を含む前記第２の画像の所定の複数の画素を、前記第２の画像から予測タップとして抽出し、
動きベクトルの誤りに起因する破綻が生じていない画像であって、前記第３の画像と同じ解像度を有する教師画像から、前記生成画素に対応する画素の画素値を抽出し、抽出したその画素値及び前記予測タップを用いて、前記予測タップから前記生成画素の画素値を予測するために用いられる前記生成画素のクラスに対応する予測係数を求める
ステップを含む学習処理をコンピュータに実行させるプログラム。
【請求項９】
第１の画像のフレーム上の動きベクトルを検出し、検出された前記動きベクトルを第２の画像のフレーム上の画素に割り付けて、割り付けられた前記動きベクトルに基づいて、前記第２の画像のフレーム上の画素の画素値を生成するフレーム内挿処理によって生成された前記第２の画像の注目している注目画素から算出される動きの特徴量に基づいて、前記注目画素を、複数の動きクラスのうちのいずれかにクラス分けする動きクラス分類手段と、
画像が破綻している画素を用いて予め求められている第１の予測係数群、画像が破綻していない画素を用いて予め求められている第２の予測変数群、並びに、画像が破綻している画素および画像が破綻していない画素を用いて予め求められている第３の予測変数群から、ユーザの操作に応じて、前記動きクラスに対応する予測係数群をそれぞれ生成する予測係数生成手段と、
前記第２の画像の前記注目画素に対応する位置にある、前記第２の画像よりも解像度の高い第３画像のいまから生成する生成画素を複数の波形クラスのうちのいずれかにクラス分けする波形クラス分類に用いる画素であって、前記注目画素を含む前記第２の画像の所定の複数の画素を、前記第２の画像からクラスタップとして抽出するクラスタップ抽出手段と、
前記クラスタップを用いて、前記生成画素の波形クラス分類を行う波形クラス分類手段と、
前記生成画像を予測するために用いる画素であって、前記注目画素を含む前記第２の画像の所定の複数の画素を、前記第２の画像から予測タップとして抽出する予測タップ抽出手段と、
前記動きクラスの前記注目画素に対して、前記予測係数生成手段により生成された前記動きクラスに対応する前記予測係数群の中の前記クラス分類手段による前記生成画素のクラスについての予測変数と、前記予測タップを用いて、前記生成画素の画素値を予測演算して、前記第３の画像を生成する予測演算手段と
を備える画像処理装置。
【請求項１０】
前記動きクラス分類手段は、前記第２の画像の注目画素に割り付けられている前記動きベクトルと、前記注目画素の周辺の予め定めた範囲の画素である周辺画素に割り付けられている前記動きベクトルとのばらつきを示す値を算出し、前記動きベクトルのばらつきを示す値を基に、前記注目画素を、複数の動きクラスのうちのいずれかにクラス分けする
請求項９に記載の画像処理装置。
【請求項１１】
第１の画像のフレーム上の動きベクトルを検出し、検出された前記動きベクトルを第２の画像のフレーム上の画素に割り付けて、割り付けられた前記動きベクトルに基づいて、前記第２の画像のフレーム上の画素の画素値を生成するフレーム内挿処理によって生成された前記第２の画像の注目している注目画素から算出される動きの特徴量に基づいて、前記注目画素を、複数の動きクラスのうちのいずれかにクラス分けし、
画像が破綻している画素を用いて予め求められている第１の予測係数群、画像が破綻していない画素を用いて予め求められている第２の予測変数群、並びに、画像が破綻している画素および画像が破綻していない画素を用いて予め求められている第３の予測変数群から、ユーザの操作に応じて、前記動きクラスに対応する予測係数群をそれぞれ生成し、
前記第２の画像の前記注目画素に対応する位置にある、前記第２の画像よりも解像度の高い第３画像のいまから生成する生成画素を複数の波形クラスのうちのいずれかにクラス分けする波形クラス分類に用いる画素であって、前記注目画素を含む前記第２の画像の所定の複数の画素を、前記第２の画像からクラスタップとして抽出し、
前記クラスタップを用いて、前記生成画素の波形クラス分類を行い、
前記生成画像を予測するために用いる画素であって、前記注目画素を含む前記第２の画像の所定の複数の画素を、前記第２の画像から予測タップとして抽出し、
前記動きクラスの前記注目画素に対して、生成された前記動きクラスに対応する予測係数群の中の前記生成画素のクラスについての予測変数と、前記予測タップを用いて、前記生成画素の画素値を予測演算して、前記第３の画像を生成する
ステップを含む画像処理方法。
【請求項１２】
第１の画像のフレーム上の動きベクトルを検出し、検出された前記動きベクトルを第２の画像のフレーム上の画素に割り付けて、割り付けられた前記動きベクトルに基づいて、前記第２の画像のフレーム上の画素の画素値を生成するフレーム内挿処理によって生成された前記第２の画像の注目している注目画素から算出される動きの特徴量に基づいて、前記注目画素を、複数の動きクラスのうちのいずれかにクラス分けし、
画像が破綻している画素を用いて予め求められている第１の予測係数群、画像が破綻していない画素を用いて予め求められている第２の予測変数群、並びに、画像が破綻している画素および画像が破綻していない画素を用いて予め求められている第３の予測変数群から、ユーザの操作に応じて、前記動きクラスに対応する予測係数群をそれぞれ生成し、
前記第２の画像の前記注目画素に対応する位置にある、前記第２の画像よりも解像度の高い第３画像のいまから生成する生成画素を複数の波形クラスのうちのいずれかにクラス分けする波形クラス分類に用いる画素であって、前記注目画素を含む前記第２の画像の所定の複数の画素を、前記第２の画像からクラスタップとして抽出し、
前記クラスタップを用いて、前記生成画素の波形クラス分類を行い、
前記生成画像を予測するために用いる画素であって、前記注目画素を含む前記第２の画像の所定の複数の画素を、前記第２の画像から予測タップとして抽出し、
前記動きクラスの前記注目画素に対して、生成された前記動きクラスに対応する予測係数群の中の前記生成画素のクラスについての予測変数と、前記予測タップを用いて、前記生成画素の画素値を予測演算して、前記第３の画像を生成する
ステップを含む画像処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及び方法、学習装置及び方法、並びにプログラムに関し、特に、画像を処理する画像処理装置及び方法、学習装置及び方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、テレビジョン信号から検出した複数の動きベクトルの平均を取り、この平均動きベクトルデータとテレビジョン信号を用いてフレーム内挿処理を施す画像変換装置が提案されている（例えば、特許文献１参照）。
【０００３】
また、ＭＵＳＥ信号と動きベクトルから動き部分及び動き量を検出し、ＭＵＳＥ信号の静止画像に動きベクトルを考慮したフレームを補間、又はフィールド間にフィールドを補間し、補間がなされる周辺画素のレベル分布のパターンとエッジデータからクラス分類をし、読み出された係数データを用いてフィールド内内挿又はフレーム内内挿の処理を行い、動き部分・動き量に応じて決定された比率で、静止画像と動き画像とを混合する方法が提案されている（特許文献２参照）。
【特許文献１】特開平６−１２１２９０号公報
【０００４】
【特許文献２】特開平９−１７２６２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、これらの方法では、内挿に用いるベクトルが誤っている場合、本来にはないエッジなどが発生し、生成される画像が破綻することがある。このような破綻は画像の劣化として目立ち、画像の画質が落ちる。
【０００６】
例えば動きベクトル検出を用いてフレーム周波数を変換する場合では、図１に示すように、時刻ｔのフレーム（以下、フレームｔと称する）と、１フレーム後の時刻ｔ＋１のフレーム（以下、フレームｔ＋１と称する）との間で動きベクトルが検出され、時間比ｋ:（１−ｋ）の位置の補間フレーム上に画素単位で検出ベクトルが割り付けられる。そしてその割付ベクトルの始点画素ｑと終点画素ｒから時間位置の逆比（１−ｋ）：ｋにより、補間画素ｐの画素値が、式（１）により線形補間される。なお式（１）中、Ft+k(p)は、時刻t＋ｋにおける画素pの画素値を示し、Ft(q)は、時刻tにおける画素qの画素値を示し、Ft+1(r)は、時刻t＋１における画素ｒの画素値を示している。
【０００７】
Ft+k(p)=(1-k)Ft(q)+kFt+1(r)・・・（１）
【０００８】
しかしながら画像の絵柄等によっては、いわゆるカバード・アンカバード問題や、繰り返しパターン問題等が生じ、補間フレームへの動きベクトル割付が適切に行われないときがある。例えば図２に示すように、補間画素ｐに、本来割り付けられるべき動きベクトルＶa（図中点線で示されている）ではなく他の動きベクトルＶbが割り付けられることがある。その結果本来、動きベクトルＶaの始点画素ｑ1と終点画素ｒ1から補間画素ｐの画素値が求められるところ、動きベクトルＶbの始点画素ｑ2と終点画素ｒ2から画素値が推定されてしまい、補間フレームの画像が破綻する。
【０００９】
本発明は、このような状況に鑑みてなされたものであり、生成した画像の破綻を目立たないようにするものである。
【課題を解決するための手段】
【００１０】
本発明の第１の側面の画像処理装置は、第１の画像のフレーム上の動きベクトルを検出し、検出された前記動きベクトルを第２の画像のフレーム上の画素に割り付けて、割り付けられた前記動きベクトルに基づいて、前記第２の画像のフレーム上の画素の画素値を生成するフレーム内挿処理によって生成された前記第２の画像を構成する画素において画像が破綻しているか否かを判定する判定手段と、前記第２の画像の注目している注目画素に対応する位置にある、前記第２の画像よりも解像度の高い第３画像のいまから生成する生成画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる画素であって、前記注目画素を含む前記第２の画像の所定の複数の画素を、前記第２の画像からクラスタップとして抽出するクラスタップ抽出手段と、前記クラスタップを用いて、前記生成画素のクラス分類を行うクラス分類手段と、前記生成画像を予測するために用いる画素であって、前記注目画素を含む前記第２の画像の所定の複数の画素を、前記第２の画像から予測タップとして抽出する予測タップ抽出手段と、前記判定手段により画像が破綻していると判定された前記注目画素に対しては、画像が破綻している画素を用いて予め求められている第１の予測係数群の中の前記クラス分類手段による前記生成画素のクラスについての予測変数と、前記予測タップを用いて、前記生成画素の画素値を予測演算し、前記判定手段により画像が破綻していないと判定された前記注目画素に対しては、破綻していない画素を用いて予め求められている第２の予測係数群の中の前記クラス分類手段による前記生成画素のクラスについての予測変数と、前記予測タップを用いて、前記生成画素の画素値を予測演算して、前記第３の画像を生成する予測演算手段とを備える。
【００１１】
前記判定手段は、前記第２の画像の注目画素に割り付けられている前記動きベクトルと、前記注目画素の周辺の予め定めた範囲の画素である周辺画素に割り付けられている前記動きベクトルとのばらつきを示す値を算出し、前記動きベクトルのばらつきを示す値を基に、前記注目画素において画像が破綻しているか否かを判定することができる。
【００１２】
本発明の第１の側面の画像処理方法、又はプログラムは、第１の画像のフレーム上の動きベクトルを検出し、検出された前記動きベクトルを第２の画像のフレーム上の画素に割り付けて、割り付けられた前記動きベクトルに基づいて、前記第２の画像のフレーム上の画素の画素値を生成するフレーム内挿処理によって生成された前記第２の画像を構成する画素において画像が破綻しているか否かを判定し、前記第２の画像の注目している注目画素に対応する位置にある、前記第２の画像よりも解像度の高い第３画像のいまから生成する生成画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる画素であって、前記注目画素を含む前記第２の画像の所定の複数の画素を、前記第２の画像からクラスタップとして抽出し、前記クラスタップを用いて、前記生成画素のクラス分類を行い、前記生成画像を予測するために用いる画素であって、前記注目画素を含む前記第２の画像の所定の複数の画素を、前記第２の画像から予測タップとして抽出し、画像が破綻していると判定された前記注目画素に対しては、画像が破綻している画素を用いて予め求められている第１の予測係数群の中の前記生成画素のクラスについての予測変数と、前記予測タップを用いて、前記生成画素の画素値を予測演算し、画像が破綻していないと判定された前記注目画素に対しては、破綻していない画素を用いて予め求められている第２の予測係数群の中の前記生成画素のクラスについての予測変数と、前記予測タップを用いて、前記生成画素の画素値を予測演算して、前記第３の画像を生成するステップを含む。
【００１３】
本発明の第１の側面の画像処理装置、画像処理方法、又はプログラムにおいては、第１の画像のフレーム上の動きベクトルを検出し、検出された動きベクトルを第２の画像のフレーム上の画素に割り付けて、割り付けられた動きベクトルに基づいて、第２の画像のフレーム上の画素の画素値を生成するフレーム内挿処理によって生成された第２の画像を構成する画素において画像が破綻しているか否かが判定され、第２の画像の注目している注目画素に対応する位置にある、第２の画像よりも解像度の高い第３画像のいまから生成する生成画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる画素であって、注目画素を含む第２の画像の所定の複数の画素が、第２の画像からクラスタップとして抽出され、クラスタップを用いて、生成画素のクラス分類が行われ、生成画像を予測するために用いる画素であって、注目画素を含む第２の画像の所定の複数の画素が、第２の画像から予測タップとして抽出される。そして、画像が破綻していると判定された注目画素に対しては、画像が破綻している画素を用いて予め求められている第１の予測係数群の中の生成画素のクラスについての予測変数と、予測タップを用いて、生成画素の画素値が予測演算され、画像が破綻していないと判定された注目画素に対しては、破綻していない画素を用いて予め求められている第２の予測係数群の中の生成画素のクラスについての予測変数と、予測タップを用いて、生成画素の画素値が予測演算されて、第３の画像が生成される。
【００１４】
本発明の第２の側面の学習装置は、第１の画像のフレーム上の動きベクトルを検出し、検出された前記動きベクトルを第２の画像のフレーム上の画素に割り付けて、割り付けられた前記動きベクトルに基づいて、前記第２の画像のフレーム上の画素の画素値を生成するフレーム内挿処理によって生成された前記第２の画像を構成する画素において画像が破綻しているか否かを判定する判定手段と、前記判定手段により画像が破綻していると判定された前記第２の画像の注目している注目画素に対応する位置にある、前記第２の画像よりも解像度の高い第３の画像のいまから生成する生成画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる画素であって、前記注目画素を含む前記第２の画像の所定の複数の画素を、前記第２の画像からクラスタップとして抽出するクラスタップ抽出手段と、前記クラスタップを用いて、前記生成画素のクラス分類を行うクラス分類手段と、前記生成画像を予測するために用いる画素であって、前記注目画素を含む前記第２の画像の所定の複数の画素を、前記第２の画像から予測タップとして抽出する予測タップ抽出手段と、動きベクトルの誤りに起因する破綻が生じていない画像であって、前記第３の画像と同じ解像度を有する教師画像から、前記生成画素に対応する画素の画素値を抽出し、抽出したその画素値及び前記予測タップを用いて、前記予測タップから前記生成画素の画素値を予測するために用いられる前記生成画素のクラスに対応する予測係数を求める演算手段とを備える。
【００１５】
前記判定手段は、前記第２の画像の注目画素に割り付けられている前記動きベクトルと、前記注目画素の周辺の予め定めた範囲の画素である周辺画素に割り付けられている前記動きベクトルとのばらつきを示す値を算出し、前記動きベクトルのばらつきを示す値を基に、前記注目画素において画像が破綻しているか否かを判定することができる。
【００１６】
本発明の第２の側面の学習方法又はプログラムは、第１の画像のフレーム上の動きベクトルを検出し、検出された前記動きベクトルを第２の画像のフレーム上の画素に割り付けて、割り付けられた前記動きベクトルに基づいて、前記第２の画像のフレーム上の画素の画素値を生成するフレーム内挿処理によって生成された前記第２の画像を構成する画素において画像が破綻しているか否かを判定し、画像が破綻していると判定された前記第２の画像の注目している注目画素に対応する位置にある、前記第２の画像よりも解像度の高い第３の画像のいまから生成する生成画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる画素であって、前記注目画素を含む前記第２の画像の所定の複数の画素を、前記第２の画像からクラスタップとして抽出し、前記クラスタップを用いて、前記生成画素のクラス分類を行い、前記生成画像を予測するために用いる画素であって、前記注目画素を含む前記第２の画像の所定の複数の画素を、前記第２の画像から予測タップとして抽出し、動きベクトルの誤りに起因する破綻が生じていない画像であって、前記第３の画像と同じ解像度を有する教師画像から、前記生成画素に対応する画素の画素値を抽出し、抽出したその画素値及び前記予測タップを用いて、前記予測タップから前記生成画素の画素値を予測するために用いられる前記生成画素のクラスに対応する予測係数を求めるステップを含む。
【００１７】
本発明の第２の側面の学習装置、学習方法又はプログラムにおいては、第１の画像のフレーム上の動きベクトルを検出し、検出された動きベクトルを第２の画像のフレーム上の画素に割り付けて、割り付けられた動きベクトルに基づいて、第２の画像のフレーム上の画素の画素値を生成するフレーム内挿処理によって生成された第２の画像を構成する画素において画像が破綻しているか否かが判定され、画像が破綻していると判定された第２の画像の注目している注目画素に対応する位置にある、第２の画像よりも解像度の高い第３の画像のいまから生成する生成画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる画素であって、注目画素を含む第２の画像の所定の複数の画素が、第２の画像からクラスタップとして抽出され、クラスタップを用いて、生成画素のクラス分類が行われ、生成画像を予測するために用いる画素であって、注目画素を含む第２の画像の所定の複数の画素を、第２の画像から予測タップとして抽出される。そして、動きベクトルの誤りに起因する破綻が生じていない画像であって、第３の画像と同じ解像度を有する教師画像から、生成画素に対応する画素の画素値が抽出され、抽出されたその画素値及び予測タップを用いて、予測タップから生成画素の画素値を予測するために用いられる生成画素のクラスに対応する予測係数が求められる。
【００１８】
本発明の第３の側面の画像処理装置は、第１の画像のフレーム上の動きベクトルを検出し、検出された前記動きベクトルを第２の画像のフレーム上の画素に割り付けて、割り付けられた前記動きベクトルに基づいて、前記第２の画像のフレーム上の画素の画素値を生成するフレーム内挿処理によって生成された前記第２の画像の注目している注目画素から算出される動きの特徴量に基づいて、前記注目画素を、複数の動きクラスのうちのいずれかにクラス分けする動きクラス分類手段と、画像が破綻している画素を用いて予め求められている第１の予測係数群、画像が破綻していない画素を用いて予め求められている第２の予測変数群、並びに、画像が破綻している画素および画像が破綻していない画素を用いて予め求められている第３の予測変数群から、ユーザの操作に応じて、前記動きクラスに対応する予測係数群をそれぞれ生成する予測係数生成手段と、前記第２の画像の前記注目画素に対応する位置にある、前記第２の画像よりも解像度の高い第３画像のいまから生成する生成画素を複数の波形クラスのうちのいずれかにクラス分けする波形クラス分類に用いる画素であって、前記注目画素を含む前記第２の画像の所定の複数の画素を、前記第２の画像からクラスタップとして抽出するクラスタップ抽出手段と、前記クラスタップを用いて、前記生成画素の波形クラス分類を行う波形クラス分類手段と、前記生成画像を予測するために用いる画素であって、前記注目画素を含む前記第２の画像の所定の複数の画素を、前記第２の画像から予測タップとして抽出する予測タップ抽出手段と、前記動きクラスの前記注目画素に対して、前記予測係数生成手段により生成された前記動きクラスに対応する前記予測係数群の中の前記クラス分類手段による前記生成画素のクラスについての予測変数と、前記予測タップを用いて、前記生成画素の画素値を予測演算して、前記第３の画像を生成する予測演算手段とを備える。
【００１９】
前記動きクラス分類手段は、前記第２の画像の注目画素に割り付けられている前記動きベクトルと、前記注目画素の周辺の予め定めた範囲の画素である周辺画素に割り付けられている前記動きベクトルとのばらつきを示す値を算出し、前記動きベクトルのばらつきを示す値を基に、前記注目画素を、複数の動きクラスのうちのいずれかにクラス分けする。
【００２０】
本発明の第３の側面の画像処理方法、又はプログラムは、第１の画像のフレーム上の動きベクトルを検出し、検出された前記動きベクトルを第２の画像のフレーム上の画素に割り付けて、割り付けられた前記動きベクトルに基づいて、前記第２の画像のフレーム上の画素の画素値を生成するフレーム内挿処理によって生成された前記第２の画像の注目している注目画素から算出される動きの特徴量に基づいて、前記注目画素を、複数の動きクラスのうちのいずれかにクラス分けし、画像が破綻している画素を用いて予め求められている第１の予測係数群、画像が破綻していない画素を用いて予め求められている第２の予測変数群、並びに、画像が破綻している画素および画像が破綻していない画素を用いて予め求められている第３の予測変数群から、ユーザの操作に応じて、前記動きクラスに対応する予測係数群をそれぞれ生成し、前記第２の画像の前記注目画素に対応する位置にある、前記第２の画像よりも解像度の高い第３画像のいまから生成する生成画素を複数の波形クラスのうちのいずれかにクラス分けする波形クラス分類に用いる画素であって、前記注目画素を含む前記第２の画像の所定の複数の画素を、前記第２の画像からクラスタップとして抽出し、前記クラスタップを用いて、前記生成画素の波形クラス分類を行い、前記生成画像を予測するために用いる画素であって、前記注目画素を含む前記第２の画像の所定の複数の画素を、前記第２の画像から予測タップとして抽出し、前記動きクラスの前記注目画素に対して、生成された前記動きクラスに対応する予測係数群の中の前記生成画素のクラスについての予測変数と、前記予測タップを用いて、前記生成画素の画素値を予測演算して、前記第３の画像を生成するステップを含む。
【００２１】
本発明の第３の側面の画像処理装置、画像処理方法、又はプログラムにおいては、第１の画像のフレーム上の動きベクトルを検出し、検出された動きベクトルを第２の画像のフレーム上の画素に割り付けて、割り付けられた動きベクトルに基づいて、第２の画像のフレーム上の画素の画素値を生成するフレーム内挿処理によって生成された第２の画像の注目している注目画素から算出される動きの特徴量に基づいて、注目画素が、複数の動きクラスのうちのいずれかにクラス分けされ、画像が破綻している画素を用いて予め求められている第１の予測係数群、画像が破綻していない画素を用いて予め求められている第２の予測変数群、並びに、画像が破綻している画素および画像が破綻していない画素を用いて予め求められている第３の予測変数群から、ユーザの操作に応じて、動きクラスに対応する予測係数群がそれぞれ生成され、第２の画像の注目画素に対応する位置にある、第２の画像よりも解像度の高い第３画像のいまから生成する生成画素を複数の波形クラスのうちのいずれかにクラス分けする波形クラス分類に用いる画素であって、注目画素を含む第２の画像の所定の複数の画素が、第２の画像からクラスタップとして抽出され、クラスタップを用いて、生成画素の波形クラス分類が行われ、生成画像を予測するために用いる画素であって、注目画素を含む第２の画像の所定の複数の画素が、第２の画像から予測タップとして抽出される。そして、動きクラスの注目画素に対して、生成された動きクラスに対応する予測係数群の中の生成画素のクラスについての予測変数と、予測タップを用いて、生成画素の画素値を予測演算して、第３の画像が生成される。
【発明の効果】
【００２２】
本発明によれば、生成した画像の破綻を目立たないようにすることができるとともに、解像度向上を図ることができる。
【発明を実施するための最良の形態】
【００２３】
以下、図を参照して本発明の実施の形態について説明する。
【００２４】
図３は、本発明を適用した画像処理装置１の構成例を表している。画像処理装置１は、例えば、パーソナルコンピュータなどで構成される。図３において、CPU（Central Processing Unit）１１は、ROM（Read Only Memory）１２、又は記憶部１８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）１３には、CPU１１が実行するプログラムやデータなどが適宜記憶される。これらのCPU１１、ROM１２、及びRAM１３は、バス１４により相互に接続されている。
【００２５】
CPU１１にはまた、バス１４を介して入出力インタフェース１５が接続されている。入出力インタフェース１５には、キーボード、マウス、マイクロフォンなどよりなる入力部１６、ディスプレイ、スピーカなどよりなる出力部１７が接続されている。CPU１１は、入力部１６から入力される指令に対応して各種の処理を実行する。そして、CPU１１は、処理の結果、得られた画像や音声等を出力部１７に出力する。
【００２６】
入出力インタフェース１５に接続されている記憶部１８は、例えばハードディスクなどで構成され、CPU１１が実行するプログラムや各種のデータを記憶する。通信部１９は、インターネット、その他のネットワークを介して外部の装置と通信する。また、通信部１９を介してプログラムを取得し、記憶部１８に記憶してもよい。
【００２７】
入出力インタフェース１５に接続されているドライブ２０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部１８に転送され、記憶される。
【００２８】
なお、画像処理装置１は、例えば、テレビジョン受像機、ハードディスクプレーヤ、光ディスクプレーヤ、ポータブルプレーヤ（携帯電話機）など、又は、それらの画像処理部とすることもできる。
【００２９】
図４は、画像処理装置１の構成例を示すブロック図である。画像処理装置１は、画像変換部３１及び画像変換部３２から構成されている。
【００３０】
なお、画像処理装置１の各機能をハードウェアで実現するか、ソフトウェアで実現するかは問わない。つまり、本明細書の各ブロック図は、ハードウェアのブロック図と考えても、ソフトウェアによる機能ブロック図と考えてもよい。
【００３１】
図４に構成を示す画像処理装置１には、フレーム周波数２４ＨｚのプログレッシブSD（Standard Definition）画像の画像信号（以下、SD_24P信号と称する）が供給される。
【００３２】
画像変換部３１には、画像処理装置１に供給されたSD_24P信号が入力される。画像変換部３１は、入力されたSD_24P信号に対して、動きベクトルを用いたフレーム内挿処理を施すことによりフレームレートを変換して、フレーム周波数６０ＨｚのプログレッシブSD画像の画像信号（以下、SD_60P信号と称する）を生成し、画像変換部３２に供給する。
【００３３】
画像変換部３２は、画像変換部３１から供給されたSD_60P信号に対して、後述するようなクラス分類適応処理を施すことにより、解像度の高い、フレーム周波数６０ＨzのプログレッシブHD（High Definition）画像の画像信号（以下、HD_60P信号と称する）を生成して、外部に出力する。
【００３４】
画像変換部３１から供給されたSD_60P信号は、SD_24P信号に対してフレーム内挿処理を施すことにより得られたものであるので、例えば図２に示したように、割り付けられた動きベクトルの誤りに起因する画像破綻が生じている可能性がある。即ち画像変換部３２は、フレーム内挿処理により生成されたSD_60P信号に対する後処理として、割り付けられた動きベクトルの誤りに起因する画像破綻を軽減し、SD_60P信号の画像よりも高解像度のHD_60P信号の画像を生成する。
【００３５】
図５は、画像変換部３１の構成例を示している。画像変換部３１は、フレームメモリ４１、ベクトル検出部４２、検出ベクトルメモリ４３、ベクトル割付部４４、割付ベクトルメモリ４５、割付フラグメモリ４６、割付補償部４７、及び画像補間部４８より構成されている。
【００３６】
フレームメモリ４１には、SD_24P信号が入力される。フレームメモリ４１は、入力されたSD_24P信号をフレーム単位で記憶する。フレームメモリ４１は、時刻ｔ＋１のフレームｔ＋１の１つ前の時刻ｔのフレームｔを記憶する。フレームメモリ４１に記憶される時刻ｔのフレームｔは、ベクトル検出部４２、ベクトル割付部４４、割付補償部４７、及び画像補間部４８に供給される。
【００３７】
ベクトル検出部４２には、フレームメモリ４１に記憶されている時刻ｔのフレームｔと、その次のフレームｔ＋１が入力される。
【００３８】
ベクトル検出部４２は、フレームメモリ４１上のフレームｔの着目ブロックと、フレームｔ＋１の対象ブロックの間で動きベクトルを検出し、検出した動きベクトルを、検出ベクトルメモリ４３に記憶する。この２フレーム間の動きベクトルの検出方法には、勾配法が用いられる。
【００３９】
即ちベクトル検出部４２は、フレームｔにおける画素の動きベクトルを求める際、動きベクトルを求める画素の輝度と、その画素のｘ，ｙ方向のそれぞれの隣接画素との輝度の差分差（即ち、空間勾配）、並びに動きベクトルを求める画素の同位相に位置するフレームｔ＋１上の画素の輝度の差分差（即ち、時間勾配）を、動きベクトルを求める画素の周辺領域（例えば、８×８画素）の全ての画素について求める。そしてベクトル検出部４２は、それらの差分差を用いて、所定演算式を演算することにより、フレームｔにおける画素の動きベクトルを求める。なお空間勾配及び時間勾配による動きベクトルの演算方法の詳細については、例えば特開２００７−７４５８７号公報に開示されている。
【００４０】
ベクトル検出部４２は、動きベクトルを検出する際に求めた時間勾配及び空間勾配（以下、個々に区別する必要がない場合、勾配情報と称する）を、画像変換部３２に供給する。
【００４１】
検出ベクトルメモリ４３は、フレームｔにおいて、ベクトル検出部４２により検出された動きベクトルを記憶する。
【００４２】
ベクトル割付部４４は、SD_24P信号のフレームｔ上において求められた動きベクトルを、割付ベクトルメモリ４５上の、補間するSD_60P信号のフレーム（以下、SD_60P信号のフレームは、SD_24P信号のフレームと区別するため、内挿フレームとも称する）上の画素に割付、動きベクトルが割り付けられた画素の割付フラグメモリ４６の割付フラグを１(True)に書き換える。
【００４３】
割付ベクトルメモリ４５は、ベクトル割付部４４により割り付けられた動きベクトルを、内挿フレームの各画素に対応させて記憶する。
【００４４】
割付フラグメモリ４６は、内挿フレームの画素毎に、割り付けられる動きベクトルの有無を示す割付フラグを記憶している。例えば、True(1)である割付フラグは、対応する画素に動きベクトルが割り付けられていることを示し、False(0)である割付フラグは、対応する画素に動きベクトルが割り付けられていないことを示す。
【００４５】
割付補償部４７は、割付フラグメモリ４６の割付フラグを参照し、ベクトル割付部４４により動きベクトルが割り付けられなかった画素に対して、その画素の周辺画素の動きベクトルを補い、割付ベクトルメモリ４５の内挿フレーム上に割り付ける。このとき、割付補償部４７は、動きベクトルを割り付けた画素の割付フラグを１(True)に書き換える。
【００４６】
画像補間部４８は、割付ベクトルメモリ４５の内挿フレームに割り付けられた動きベクトルと、フレームｔ及び次のフレームｔ＋１の画素値を用いて、内挿フレームの画素値を補間生成する。そして、画像補間部４８は、生成された内挿フレームを画像変換部３２に出力し、その次に、必要に応じて、フレームｔ＋１を画像変換部３２に出力する。即ち画像補間部４８からは、SD_60P信号が出力される。
【００４７】
ここで、図６及び図７を参照して、画像変換部３１におけるフレーム内挿処理の概略を説明する。図６の例においては、点線が、画像変換部３１に入力される、時刻ｔ，ｔ＋１，及びｔ＋２におけるSD_24P信号のフレームを表しており、実線が、入力されたSD_24P信号から画像変換部３１により生成される時刻ｔ，ｔ＋０．４，ｔ＋０．８，ｔ＋１．２，ｔ＋１．６，及びｔ＋２におけるSD_60P信号の内挿フレームを表している。
【００４８】
一般に、SD_24P信号を、SD_60P信号に変換するためには、５／２倍のフレームが必要になる。すなわち、２枚のSD_24P信号のフレームから５枚のSD_60P信号のフレームが生成されなければならない。このとき、生成されるSD_60P信号の内挿フレームは、そのフレーム間隔を等しくするために、SD_24P信号上での時間位相が０．０，０．４，０．８，１．２，及び１．６となる位置に配置される。この中で、時間位相が０．０である時刻ｔの１フレームを除く４フレーム（ｔ＋０．４，ｔ＋０．８，ｔ＋１．２，及びｔ＋１．６のフレーム）は、SD_24P信号上には存在しない画像である。
【００４９】
従って、画像変換部３１は、SD_24P信号の画像が入力されると、SD_24P信号の時刻ｔ及び時刻ｔ＋１の２枚のフレームから、４つの内挿フレームを生成する。従って、画像変換部３１からは、時刻ｔ，ｔ＋０．４，ｔ＋０．８，ｔ＋１．２，及びｔ＋１．６の５枚のフレームからなるSD_60P信号の画像が出力される。
【００５０】
以上のようにして、画像変換部３１は、SD_24P信号の画像からSD_60P信号の画像に、フレーム周波数を変換する処理を実行する。
【００５１】
なお、原理的には、上述したように、SD_24P信号の時刻ｔ及び時刻ｔ＋１の２枚のフレームから、時刻ｔ，ｔ＋０．４，ｔ＋０．８，ｔ＋１．２，及びｔ＋１．６の５枚のSD_60P信号のフレームが新しく生成されるが、実際には、図６の例の場合、SD_24P信号の時刻ｔ及び時刻ｔ＋１の２枚のフレームに基づいて、ｔ，ｔ＋０．４，ｔ＋０．８のSD_60P信号のフレームが生成され、SD_24P信号の時刻ｔ＋１及びｔ＋２の２枚のフレームに基づいて、ｔ＋１．２，ｔ＋１．６，及びｔ＋２の６０Ｐ信号のフレームが生成される。
【００５２】
また、以下、時刻ｔ＋０．４，ｔ＋０．８，ｔ＋１．２，及びｔ＋１．６などの時刻ｔ＋ｋの内挿フレームを内挿フレームｔ＋ｋと称する。
【００５３】
図７は、画像変換部３１の各部におけるデータの遷移を表している。図７の例においては、太線矢印は、各状態への遷移を表しており、矢印Ｔは、状態Ａ乃至Ｅにおける時間の経過方向を表している。また、状態Ａ乃至Ｅは、画像変換部３１を構成する各部への入出力時の、SD_24P信号の時刻ｔのフレームｔ、時刻ｔの次の時刻ｔ＋１のフレームｔ＋１、又は、フレームｔ及びフレームｔ＋１の間に生成されるSD_60P信号の内挿フレームＦの状態を概念的に表している。すなわち、実際には、例えば、状態Ｂに示されるような動きベクトルが検出されたフレームは入力されず、フレームと動きベクトルは、別々に入力される。
【００５４】
状態Ａは、ベクトル検出部４２に入力される、SD_24P信号のフレームｔ及びフレームｔ＋１の状態を表している。状態Ａのフレームｔ上の黒点は、フレームｔ上の画素を表している。
【００５５】
ベクトル検出部４２は、状態Ａのフレームｔ上の画素が、次の時刻のフレームｔ＋１において、どの位置に移動するかを検出し、その動きを、状態Ｂのフレームｔ上に示されるように、各画素に対応する動きベクトルとして出力する。なお、このとき、例えば、画素に複数の動きベクトルが検出された場合、ベクトル検出部４２は、各動きベクトルについて、評価値を求め、その評価値に基づいて動きベクトルを選択する。
【００５６】
状態Ｂは、ベクトル割付部４４に入力される、フレームｔ及びフレームｔ＋１の状態を表している。状態Ｂにおいて、フレームｔの各画素の矢印は、ベクトル検出部４２により検出された動きベクトルを表している。
【００５７】
ベクトル割付部４４は、状態Ｂのフレームｔの各画素に対して検出された動きベクトルを、次のフレームｔ＋１まで延長させ、予め設定されている時間位相（例えば、図６のｔ＋０．４）にある内挿フレームＦ上のどの位置を通過するかを求める。これは、フレームｔ及びフレームｔ＋１の間が一定動きであると仮定すると、動きベクトルが内挿フレームＦを通過した点が、そのフレームでの画素位置となるためである。従って、ベクトル割付部４４は、この通過する動きベクトルを、状態Ｃの内挿フレームＦ上の近傍４画素に割り付ける。また、このとき、内挿フレームの画素によっては、動きベクトルが存在しない場合、或いは、複数の動きベクトルが、割付候補となりうる場合がある。後者のような場合には、例えば、ベクトル割付部４４は、ベクトル検出部４２と同様に、各動きベクトルについての評価値を求め、その評価値に基づいて割り付ける動きベクトルを選択する。
【００５８】
状態Ｃは、割付補償部４７に入力される、フレームｔ及びフレームｔ＋１、並びに動きベクトルが割り付けられた内挿フレームＦの状態を表している。状態Ｃの内挿フレームＦにおいては、ベクトル割付部４４により動きベクトルが割り付けられている画素と、動きベクトルが割り付けられなかった画素が示されている。
【００５９】
割付補償部４７は、状態Ｃの動きベクトルが割り付けられていない画素に対して、その画素の周辺画素に割り付けられている動きベクトルを用いて補う。これは、ある着目画素の近傍領域が同じ動きであるという仮定が成り立つならば、着目画素の周辺画素の動きベクトルと、その着目画素の動きベクトルは似たものであるからである。これにより、動きベクトルが割り付けられなかった画素にも、ある程度正確な動きベクトルが与えられ、状態Ｄの内挿フレームＦ上の全ての画素に動きベクトルが割り付けられる。なお、この場合にも、複数の周辺画素の動きベクトルが候補として存在するため、割付補償部４７は、例えば、ベクトル割付部４４と同様に、各動きベクトルについての評価値を求め、その評価値に基づいて割り付ける動きベクトルを選択する。
【００６０】
状態Ｄは、画像補間部４８に入力される、フレームｔ及びフレームｔ＋１、並びに、全ての画素に動きベクトルが割り付けられた内挿フレームＦの状態を表している。これらの全ての画素に割り付けられた動きベクトルにより、画像補間部４８は、内挿フレームＦ上の画素と、２枚のフレームｔ及びフレームｔ＋１の画素の位置関係を決定することができる。従って、画像補間部４８は、内挿フレームＦ上に割り付けられた動きベクトルと、フレームｔ及びフレームｔ＋１の画素値を用いて、状態Ｅの内挿フレームＦの黒点に示されるように、内挿フレームＦ上の画素値を補間生成する。そして、画像補間部４８は、生成された内挿フレームを出力し、その次に、必要に応じて、フレームｔ＋１を出力することにより、SD_60P信号の補間画像を、後段に出力する。
【００６１】
次に、画像変換部３２の構成例について説明する。
【００６２】
図８は、画像変換部３２の構成例を示している。この画像変換部３２は、動きクラス分類部５１、クラスタップ抽出部５２、波形クラス分類部５３、係数読み出し部５４、係数メモリ５５、予測タップ抽出部５６、及び積和演算部５７から構成されている。
【００６３】
動きクラス分類部５１には、画像変換部３１（のベクトル検出部４２）から供給された時間勾配及び空間勾配が入力される。
【００６４】
動きクラス分類部５１は、入力された時間勾配及び空間勾配の値に基づいて、内挿フレームのいま注目している注目画素の動きのクラス分類を行う。
【００６５】
具体的には、図９に示すように、空間勾配ＴＨbのある値ＴＨb1における時間勾配ＴＨaの値が値ＴＨa1未満である場合、注目画素の動きが動きクラスMC1に分類され、値ＴＨa1以上で値ＴＨa2未満である場合、動きクラスMC2に分類され、値ＴＨa2以上で値ＴＨa3未満である場合、動きクラスMC3に分類され、値ＴＨa3以上である場合、動きクラスMC4に分類される。
【００６６】
動きクラス分類部５１は、分類した動きクラスに応じた動きクラス番号を、係数読み出し部５４に供給する。
【００６７】
クラスタップ抽出部５２には、画像変換部３１（の画像補間部４８）から供給されたSD_60P信号が入力される。
【００６８】
クラスタップ抽出部５２は、入力されたSD_60P信号のフレーム上の、いま注目されている注目画素に対応するいくつかの画素を、これから生成しようとするHD_60P信号の生成画像をクラス分けするためのクラスタップとして抽出し、抽出したクラスタップを波形クラス分類部５３に供給する。
【００６９】
波形クラス分類部５３は、クラスタップ抽出部５２から供給されたクラスタップにADRC処理を施す。例えば、波形クラス分類部５３は、クラスタップに１ビットADRC処理を施す。すなわち、波形クラス分類部５３は、クラスタップを構成する画素の画素値の最大値MAX及び最小値MINを検出し、検出した画素値の最大値MAXと最小値MINとの差DR（DR=MAX-MIN）を、クラスタップを構成する画素の集合の局所的なダイナミックレンジとする。波形クラス分類部５３は、このダイナミックレンジDRに基づいて、クラスタップを構成する画素（の画素値）を１ビットに再量子化する。つまり、波形クラス分類部５３は、クラスタップを構成する各画素の画素値から最小値MINを減算し、その減算値をDR/2で除算（量子化）する。
【００７０】
そして、波形クラス分類部５３は、以上のようにして得られるクラスタップを構成する１ビットの各画素の画素値を所定の順番で並べたビット列を波形クラス番号として、係数読み出し部５４に供給する。
【００７１】
係数読み出し部５４は、動きクラス分類部５１からの動きクラス番号に応じて、注目画素の画像が破綻しているか否かを判定し、その判定結果に応じた係数メモリ５５のメモリ領域を参照し、そこに記憶されている波形クラス分類部５３からの波形クラス番号に対応付けられている予測係数を読み出し、それを積和演算部５７に供給する。
【００７２】
例えば係数読み出し部５４は、注目画素が内挿フレーム上の画素である場合、動きクラス分類部５１から供給された動きクラス番号に対応する係数メモリ５５のメモリ領域を参照し、そこに記憶されている波形クラス分類部５３からの波形クラス番号に対応付けられている予測係数を読み出し、それを積和演算部５７に供給する。
【００７３】
図９の例の場合、動きクラス分類部５１から動きクラス番号が動きクラスMC4を示す番号である場合、即ち動きが大きいとき、係数読み出し部５４は、注目画素の画像が破綻しているものとし（このような画素を破綻画素と称する）、係数メモリ５５のメモリ領域maを参照し、そのメモリ領域maに記憶されている予測係数を読み出す。
【００７４】
また動きクラス分類部５１から動きクラス番号が動きクラスMC1乃至MC3のいずれかである場合、係数読み出し部５４は、注目画素の画像が破綻していないものとし（このような画素を正解画素と称する）、係数メモリ５５のメモリ領域mb1乃至mb3のいずれかを参照して、そこに記憶されている予測係数を読み出す。
【００７５】
内挿フレームを生成する場合に生じる画像の破綻（劣化）は、経験的に、動きが大きい部分において生じやすいことから、動きクラスを用いて画像が破綻しているか否かの判定を行うことができる。
【００７６】
注目画素が内挿フレーム以外のフレーム（即ちSD_24P信号のフレームｔ＋１）上の画素である場合、係数読み出し部５４は、係数メモリ５５のメモリ領域mb1を参照し、そこに記憶されている波形クラス分類部５３からの波形クラス番号に対応付けられている予測係数を読み出し、それを積和演算部５７に供給する。
【００７７】
係数メモリ５５は、動きクラス分類部５１から供給され得る動きクラス番号に応じた（即ち動きクラスに応じた）メモリ領域を有しており、各メモリ領域には、波形クラスについて予め求められている予測係数が記憶されている。なお、この予測係数は、例えば、後述する学習装置１０１（図１０）で生成され、係数メモリ５５に供給されて記憶される。
【００７８】
予測タップ抽出部５６には、画像変換部３１からのSD_60P信号が入力される。予測タップ抽出部５６は、入力されたSD_60P信号のフレーム上の注目画素に対応するいくつかの画素を、生成画素の画素値を予測するために用いられる予測タップとして抽出する。予測タップ抽出部５６は、抽出した予測タップを積和演算部５７に供給する。
【００７９】
積和演算部５７は、予測タップ抽出部５６から供給された予測タップ、つまり予測タップを構成する画素の画素値に、係数読み出し部５４から供給された予測係数を乗算して、必要な画素値を予測演算する。積和演算部５７は、予測演算により得られた画素値を、例えばフレーム単位で外部に出力する（即ちHD_60P信号のフレームを出力する）。
【００８０】
次に、積和演算部５７における予測演算と、係数メモリ５５に記憶される予測係数の学習の一般的概念について説明する。
【００８１】
例えば、クラス分類適応処理として、入力画像（図８の例の場合、SD_60P信号の画像）の画像データから予測タップを抽出し、その予測タップと予測係数とを用いて、HD_60P信号のフレームの画素の画素値を所定の予測演算によって求める（予測する）ことを考える。
【００８２】
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、生成画素の画素値ｙは、式（２）に示す線形１次式によって求められることになる。
【００８３】
【数１】
2009135878.tif 000003
【００８４】
但し、式（２）において、ｘiは、生成画素の画素値ｙについての予測タップを構成する、ｉ番目の入力画像データの画素の画素値を表し、ｗiは、その予測成分ｘiと乗算されるｉ番目の予測係数を表す。なお、式（２）では、予測タップがＮ個の画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【００８５】
ここで、生成画素の画素値ｙは、式（２）に示した線形１次式ではなく、２次以上の高次の線形関数の式によって求めるようにすることも可能である。また、線形関数に限らず、非線形関数によって生成画素の画素値を求めるようにしてもよい。
【００８６】
いま、第ｓサンプルの生成画素の画素値の真値をｙsと表すとともに、式（２）によって得られるその真値ｙsの予測値をｙs'と表すと、その予測誤差ｅsは、次式（３）で表される。
【００８７】
ｅs＝（ｙs−ｙs'）                                              ・・・（３）
【００８８】
いま、式（３）の予測値ｙs'は、式（２）に従って求められるため、式（３）のｙs'を、式（２）に従って置き換えると、次式（４）が得られる。
【００８９】
【数２】
2009135878.tif 000004
【００９０】
但し、式（４）において、ｘs,iは、第ｓサンプルの生成画素についての予測タップを構成するｉ番目の画素を表す。
【００９１】
式（４）（又は式（３））の予測誤差ｅsを０とする予測係数ｗiが、生成画素を予測するのに最適なものとなるが、全ての生成画素について、そのような予測係数ｗiを求めることは、一般には困難である。
【００９２】
そこで、予測係数ｗiが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な予測係数ｗiは、次式（５）で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【００９３】
【数３】
2009135878.tif 000005
【００９４】
但し、式（５）において、Ｓは、生成画素ｙsと、その生成画素ｙsについての予測タップを構成する画素ｘs,1，ｘs,2，・・・，ｘs,Nとのセットのサンプル数（学習用のサンプルの数）を表す。
【００９５】
式（５）の自乗誤差の総和Ｅの最小値（極小値）は、式（６）に示すように、総和Ｅを予測係数ｗiで偏微分したものを０とするｗiによって与えられる。
【００９６】
【数４】
2009135878.tif 000006
【００９７】
一方、上述の式（４）を予測係数ｗiで偏微分すると、次式（７）が得られる。
【００９８】
【数５】
2009135878.tif 000007
【００９９】
式（６）及び式（７）から、次式（８）が得られる。
【０１００】
【数６】
2009135878.tif 000008
【０１０１】
式（８）のｅsに、式（４）を代入することにより、式（８）は、式（９）に示す正規方程式で表すことができる。
【０１０２】
【数７】
2009135878.tif 000009
【０１０３】
式（９）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、予測係数ｗiについて解くことができる。
【０１０４】
生成画素の各クラスについて、式（９）の正規方程式を立てて解くことにより、各クラスについて、最適な予測係数ｗi（ここでは、自乗誤差の総和Ｅを最小にする予測係数ｗi）を求めることができる。
【０１０５】
図８の積和演算部５７では、以上のような、各クラスについて求められた予測係数ｗi、つまりクラスにより定まる予測係数ｗiを用いて、式（２）の演算を行うことにより、入力画像（SD_60P信号の画像）から生成画像（HD_60P信号の画像）を得ることができる。
【０１０６】
次に、図１０を参照して、各クラスについて、式（９）の正規方程式を立てて解くことにより予測係数ｗiを求める学習を行う学習装置１０１について説明する。この学習装置１０１には、フレーム周波数１２０ＨｚのプログレッシブHD画像の画像信号（以下、HD_120P信号と称する）が供給される。
【０１０７】
分割部１１１には、学習装置１０１に供給されたHD_120P信号が入力される。分割部１１１は、入力されたHD_120P信号を、フレーム周波数２４ＨｚのプログレッシブHD画像の画像信号（以下、HD_24P信号と称する）とフレーム周波数６０ＨｚのプログレッシブHD画像の画像信号（以下、HD_60P信号と称する）に分割する。
【０１０８】
例えば図１１に示すように、HD_120P信号のフレームF1,F2,F3,F4,F5,6F,F7,FF,F9,F10,F11,F12，F13，・・・から、1/24Ｓ間隔のフレームF1,F6,F11，・・が取得されてHD_24P信号の画像が生成される。またHD_120P信号のフレームから、1/60Ｓ間隔のフレームF1,F3,F5,F7,F9,F11,F13・・が取得されてHD_60P信号の画像が生成される。
【０１０９】
分割部１１１は、分割した（生成した）HD_24P信号を間引き部１１２に供給し、HD_60P信号を間引き部１１３、学習部１１７及び学習部１１８に供給する。
【０１１０】
間引き部１１２は、分割部１１１から供給されたHD_24P信号のフレームから、画素数がSD_24P信号のフレームを構成する画素の画素数になるように画素を間引きしてSD_24P信号を生成し、画像変換部１１４に供給する。
【０１１１】
間引き部１１３は、分割部１１１から供給されたHD_60P信号のフレームから、画素数がSD_60P信号のフレームを構成する画素の画素数になるように画素を間引きして、SD_60P信号の画像を生成し、学習部１１８に供給する。
【０１１２】
画像変換部１１４は、基本的には、図５の画像変換部３１と同様に構成されており、間引き部１１２から供給されたSD_24P信号の画像に対してフレーム内挿処理を施すことにより、SD_60P信号の画像に変換し、学習部１１７に供給する。画像変換部１１４はまた、動きベクトル検出の際に算出した空間勾配及び時間勾配を動きクラス分類部１１６に供給する。
【０１１３】
動きクラス分類部１１６は、図８の動きクラス分類部５１と同様にして、画像変換部１１４から供給された時間勾配及び空間勾配に基づいて動きクラス番号を決定し、学習制御部１１９に供給する。
【０１１４】
学習部１１７は、画像変換部１１４から供給されたSD_60P信号の画像を生徒画像とし、分割部１１１から供給されるHD_60P信号の画像を教師画像として学習処理を実行する。即ち、画像変換部１１４から供給されたSD_60P信号は、フレーム内挿処理によりSD_24P信号が変換されたものであり、破綻画素を含むので、学習部１１７では、破綻画素を用いた学習処理が行われる。
【０１１５】
学習部１１８は、間引き部１１３から供給されたSD_60P信号の画像を生徒画像とし、分割部１１１から供給されるHD_60P信号の画像を教師画像として学習処理を実行する。即ち間引き部１１３から供給されたSD_60P信号の画像は、HD_60Pから分割されて生成されたものであり、フレーム内挿処理による破綻が生じていないので、学習部１１８では、正解画素を用いた学習処理が行われる（所謂通常の解像度向上のための学習処理が行われる）。
【０１１６】
学習制御部１１９は、動きクラス分類部１１６から供給された動きクラス番号に応じて、学習部１１７又は学習部１１８を制御して、いずれかに学習処理を実行させる。
【０１１７】
例えば、学習制御部１１９は、動きクラス分類部１１６から供給された動きクラス番号が動きクラスMC4（図９）を示している場合、即ち動きが大きくそのときの注目画素が破綻画素と判定されるときは、学習部１１７を制御して、破綻画素を用いた学習処理を行わせる。
【０１１８】
一方、動きクラス分類部１１６から供給された動きクラス番号が動きクラスMC1乃至MC3（図９）を示している場合、即ち動きが小さくそのときの注目画素が正解画素と判定されるときは、学習制御部１１９は、学習部１１８を制御して、正解画素を用いた学習処理（所謂通常の解像度向上のための学習処理）を行わせる。
【０１１９】
図１２は、学習部１１７の構成例を示している。
【０１２０】
クラスタップ抽出部１３１には、画像変換部１１４からのSD_60P信号が入力される。クラスタップ抽出部１３１は、入力されたSD_60P信号のフレーム上の注目画素に対応するいくつかの画素を、これから生成しようとするHD_60P信号の生成画像をクラス分けするためのクラスタップとして抽出し、抽出したクラスタップを波形クラス分類部１３２に供給する。
【０１２１】
波形クラス分類部１３２は、クラスタップ抽出部１３１から供給されたクラスタップにADRC処理を施し、その結果得られた波形クラス番号を、足し込み部１３４に供給する。
【０１２２】
予測タップ抽出部１３３には、画像変換部１１４からのSD_60P信号が入力される。予測タップ抽出部１３３は、入力されたSD_60P信号のフレーム上の注目画素に対応するいくつかの画素を、生成画素の画素値を予測するために用いられる予測タップとして抽出し、抽出した予測タップを足し込み部１３４に供給する。
【０１２３】
足し込み部１３４には、分割部１１１からのHD_60P信号が入力される。足し込み部１３４は、入力されたHD_60P信号のフレームの画素を順次、生成画素とし、その画素値を抽出する。また、足し込み部１３４は、抽出した生成画素と、予測タップ抽出部１３３から供給された予測タップとの対応をとりながら、生成画素と予測タップを構成する画素とを対象とした足し込みを、波形クラス分類部１３２からの波形クラス番号に従って行う。
【０１２４】
すなわち、足し込み部１３４は、生成画素の画素値ｙsを抽出する。また、足し込み部１３４には、予測タップ（SD_60P信号のフレームの画素の画素値）ｘs,i、及び波形クラス番号が供給される。
【０１２５】
そして、足し込み部１３４は、波形クラス番号に対応する各クラスについて、予測タップｘs,iを用い、式（９）の左辺の行列における入力画像データ同士の乗算（ｘs,iｘs,i）、及びその乗算された値の総和の演算に相当する演算を行う。
【０１２６】
更に、足し込み部１３４は、各クラスについて、予測タップｘs,i及び生成画素の画像データｙsを用い、式（９）の右辺のベクトルにおける入力画像データｘs,i及び生成画像データｙsの乗算（ｘs,iｙs）、並びにその乗算された値の総和の演算に相当する演算を行う。
【０１２７】
すなわち、足し込み部１３４は、前回、注目画素とされた画像データについて求められた式（９）における左辺の行列のコンポーネント（Σｘs,iｘs,i）と、右辺のベクトルのコンポーネント（Σｘs,iｙs）を記憶しており、その行列のコンポーネント（Σｘs,iｘs,i）又はベクトルのコンポーネント（Σｘs,iｙs）に対して、新たに生成画素とされた画像データについて、その画像データｙs+1及び入力画像データｘs+1,iを用いて計算される、対応するコンポーネントｘs+1,iｘs+1,i又はｘs+1,iｙs+1を足し込む（式（９）のΣで表される加算を行う）。
【０１２８】
そして、足し込み部１３４は、供給された教師画像としてのHD_60P信号のフレームの全ての画素を生成画素として、上述の足し込みを行うことにより、各クラスについて、式（９）に示した正規方程式を立てる（生成する）と、その正規方程式を係数生成部１３５に供給する。
【０１２９】
係数生成部１３５は、足し込み部１３４から供給された、各クラスについて生成された正規方程式を解くことにより、各クラスについて、最適な予測係数ｗiを求めて出力する。
【０１３０】
このように、破綻画素を用いた学習処理が行われ、その結果得られた予測係数は、図８の係数メモリ５５に供給されてメモリ領域maに記憶される。
【０１３１】
なお係数生成部１３５から出力された予測係数がROM（Read Only Memory）などの記録媒体に記録され、記録媒体から他の装置に供給されるようにしてもよい。
【０１３２】
学習部１１８は、基本的には学習部１１７と同様の構成を有するので、その図示及び詳細な説明は省略するが、学習部１１８では、各波形クラスについて動きクラス分類部１１６からの動きクラス番号（動きクラスMC1乃至動きクラスMC3）毎に生成された正規方程式を解くことにより、各波形クラスについて動きクラス毎に、最適な予測係数ｗiが求められる。ここで求められた予測係数は、図８の係数メモリ５５の動きクラス番号に応じたメモリ領域mb1乃至mb3に記憶される。
【０１３３】
以上のように、破綻画素については破綻を軽減するための学習を行い、フレーム内挿処理によりSD_24P信号から生成されたSD_60P信号に対して、この学習により得られた予測係数を用いたクラス分類適応処理によりHD_60P信号に変換するようにしたので、例えば検出ベクトルの割り付け誤りに起因する画像破綻を軽減することができるとともに、解像度向上を実現することができる。
【０１３４】
なお以上においては、画像が破綻しているか否かを判定するために、動きクラスを用いたが、内挿フレームを生成する場合に生じる画像の破綻（劣化）は、経験的に、画素に割り付けられている動きベクトルが暴れている（ばらついている）部分においても生じやすい。そこで画像の破綻（劣化）の生じる可能性を示す評価値として、生成した画像の画素に割り付けられている動きベクトルのばらつきを示す値を利用することができる。
【０１３５】
具体的には、内挿フレームｔ＋ｋにおける注目画素ｐについて、動きベクトルのばらつきを示す値の一例である、不規則性評価値を利用する。ここで、不規則性評価値とは、注目画素ｐに割り当てられた動きベクトルを、周辺の画素に割り当てられた動きベクトルと比較した場合に、どの程度ばらついているかを評価した結果を示すものである。
【０１３６】
不規則性評価値としては、VDAS（Vector Difference Absolute Summation）や差分ベクトルのユークリッドノルムの和(NORM)がある。
【０１３７】
はじめにVDASについて説明する。
【０１３８】
例えば、図１３で示されるように、内挿フレームｔ＋ｋ上の注目している画素を注目画素ｐx,yとした場合、注目画素ｐx,yを中心とした、１点鎖線で示される所定の範囲の画素に割り付けられている動きベクトルが読み出される。
【０１３９】
より詳細には、例えば、２画素毎に動きベクトルが割り付けられる場合、図１４で示されるように、内挿フレーム上の注目している画素を注目画素ｐx,yとしたとき、注目画素ｐx,yから、上下に２画素、左右に２画素離れた範囲の画素に割り付けられている動きベクトルが読み出される。すなわち、注目画素ｐx,yに対して２画素上側で２画素左側の画素ｐx-2,y-2、注目画素ｐx,yに対して２画素上側の画素ｐx,y-2、注目画素ｐx,yに対して２画素上側で２画素右側の画素ｐx+2,y-2、注目画素ｐx,yに対して２画素左側の画素ｐx-2,y、注目画素ｐx,yに対して２画素右側の画素ｐx+2,y、注目画素ｐx,yに対して２画素下側で２画素左側の画素ｐx-2,y+2、注目画素ｐx,yに対して２画素下側の画素ｐx,y+2、注目画素ｐx,yに対して２画素下側で２画素右側の画素ｐx+2,y+2、及び注目画素ｐx,yのそれぞれに割り付けられている動きベクトルが読み出される。
【０１４０】
式（１０）を基に、内挿フレームｔ＋ｋ上の注目画素ｐx,yについてのVDASであるVDASt+k（ｐx,y）が算出される。式（１０）において、ｍａｘ（ａ，ｂ）は、ａとｂのうち、大きい方を選ぶ関数である。VDASt+k（ｐx,y）xは、式（１１）で算出され、VDASt+k（ｐx,y）yは、式（１２）で算出される。式（１１）及び式（１２）において、ｉ＝−２，０，２であり、ｊ＝−２，０，２である。
【０１４１】
VDASt+k（ｐx,y）＝ｍａｘ（VDASt+k（ｐx,y）x，VDASt+k（ｐx,y）y）
・・・（１０）
【数８】
2009135878.tif 000010
【数９】
2009135878.tif 000011
【０１４２】
このように、例えば、内挿フレーム上のｎ個の画素毎に動きベクトルが割り付けられている場合、注目画素からｎ個の画素だけ離れた周辺画素に割り付けられている動きベクトルと、注目画素に割り付けられている動きベクトルとのばらつきを示す値が算出される。
【０１４３】
次に、差分ベクトルのユークリッドノルムの和(NORM)について説明する。
【０１４４】
補間フレームにおける位置px,yの差分ベクトルのユークリッドノルムの和(NORM)は、図１４に示すように、２画素毎に動きベクトルが割り付けられている場合、５×５画素の範囲内のベクトルが参照されて、式（１３）で求められる。ここで、V(px,y)x、V(px,y)yは、着目ベクトルのx,y成分を示し、V(px+i,y+j)x、V(px+i,y+j)yは、周辺ベクトルのx,y成分を示す。またｉ＝−２，０，２であり、ｊ＝−２，０，２である。
【数１０】
2009135878.tif 000012
【０１４５】
図１５及び図１６は、不規則性評価値を利用する場合の画像変換部３１及び画像変換部３２の構成例を示している。
【０１４６】
図１５の画像変換部３１は、図５の画像変換部３１のベクトル検出部４２に代えてベクトル検出部１５１が、検出ベクトルメモリ４３に代えて検出ベクトルメモリ１５２が、そして割付ベクトルメモリ４５に代えて割付ベクトルメモリ１５３が、それぞれ設けられている。
【０１４７】
ベクトル検出部１５１は、ベクトル検出部４２と同様に、フレームメモリ４１上のフレームｔの着目ブロックと、フレームｔ＋１の対象ブロックの間で動きベクトルを検出し、検出した動きベクトルを、検出ベクトルメモリ１５２に記憶するが、ベクトル検出部４２と異なり、勾配情報を、画像変換部３２に供給しない。
【０１４８】
検出ベクトルメモリ１５２は、フレームｔにおいて、ベクトル検出部１５１により検出された動きベクトルを記憶するとともに、画像変換部３２に供給する。
【０１４９】
割付ベクトルメモリ１５３は、ベクトル割付部４４により割り付けられた動きベクトルを、内挿フレームの各画素に対応させて記憶するとともに、画像変換部３２に供給する。
【０１５０】
図１６の画像変換部３２は、図８の画像変換部３２に、ベクトル特徴量算出部１６１が設けられ、動きクラス分類部５１に代えて不規則性クラス分類部１６２に設けられている。
【０１５１】
ベクトル特徴量算出部１６１は、例えば、画像変換部３１（の画像補間部４８）から画像変換部３２に供給されたSD_60P信号の内挿フレーム上の画素であって、注目されている画素である注目画素に割り付けられている動きベクトルと、その注目画素の周辺の予め定めた範囲のフレーム上の画素である周辺画素の動きベクトルを、画像変換部３１（の検出ベクトルメモリ１５２又は割付ベクトルメモリ１５３）から読み出し、上述したようなVDASやNORM等のそれらのばらつきを示す値を算出する。
【０１５２】
不規則性クラス分類部１６２は、内挿フレームのいま注目している注目画素において画像が破綻しているか否かを判定する（即ち注目画素が破綻画素であるか否かを判定する）。
【０１５３】
具体的には、例えばベクトル特徴量算出部１６１からVDAS値が供給される場合、不規則性クラス分類部１６２は、図１７に示すように、VDAS値が値ｗ3以上であれば、そのときの注目画素を、破綻画素として、不規則性クラスVC4に分類する。そして不規則性クラス分類部１６２は、VDAS値が値ｗ3未満であれば、破綻していない画素として、不規則性クラスVC1乃至VC3のいずれかに分類する。値ｗ1未満であれば、不規則性クラスVC1とされ、値ｗ1以上で値ｗ2未満であれば、不規則性クラスVC2とされ、値ｗ2以上で値ｗ3未満であれば、不規則性クラスVC3とされる。
【０１５４】
図１８は、不規則性クラスを利用する場合の学習装置１０１の構成例を示している。この学習装置１０１には、図１０の学習装置１０１に、ベクトル特徴量算出部１７１が設けられ、動きクラス分類部１１６に代えて不規則性クラス分類部１７２が設けられている。
【０１５５】
ベクトル特徴量算出部１７１は、図１６のベクトル特徴量算出部１６１と同様に、例えば、画像変換部１１４から出力されるSD_60P信号の内挿フレーム上の画素であって、注目されている画素である注目画素に割り付けられている動きベクトルと、その注目画素の周辺の予め定めた範囲のフレーム上の画素である周辺画素の動きベクトルを、画像変換部１１４から読み出し、それらのばらつきを示す値を算出する。
【０１５６】
不規則性クラス分類部１７２は、図１６の不規則性クラス分類部１６２と同様に、例えばベクトル特徴量算出部１７１からVDAS値が供給される場合、図１７に示すように、VDAS値が値ｗ3以上であれば、そのときの注目画素を、破綻画素として、不規則性クラスVC4に分類する。そして不規則性クラス分類部１７２は、VDAS値が値ｗ3未満であれば、破綻していない画素として、不規則性クラスVC1乃至VC3のいずれかに分類する。値ｗ1未満であれば、不規則性クラスVC1とされ、値ｗ1以上で値ｗ2未満であれば、不規則性クラスVC2とされ、値ｗ2以上で値ｗ3未満であれば、不規則性クラスVC3とされる。
【０１５７】
ところで、上述した例えば図１０の学習装置１０１では、正解画素である場合、通常の解像度向上のための学習が行われ（学習部１１８）、その結果得られた予測係数が係数メモリ５５に記憶されるようにしたが、この学習処理は、既に一般的に行われるものであるので、その学習処理により得られた係数が記憶されている画像処理装置が既にLSI（Large Scale Integration）により構築されていることがある。そこで、破綻画素である場合についてのみ学習を行い、その結果得られた係数に、既存の画像処理装置の係数メモリの一部を書き換えるようにすることもできる。
【０１５８】
即ち図８の係数メモリ５５のメモリ領域mb1乃至mb3には、既存の画像処理装置に予め記憶されていた予測係数が記憶されており、メモリ領域maの内容が、破綻画素を用いた学習により得られた予測係数に書き換えられる。
【０１５９】
図１９及び図２０は、破綻画素についてのみ学習を行う学習装置１０１の構成例を示している。即ち図１９の学習装置１０１は、図１０の学習装置から間引き部１１３及び学習部１１８が取り除かれている構成を有し、図２０の学習装置１０１は、図１８の学習装置から間引き部１１３及び学習部１１８が取り除かれている構成を有している。
【０１６０】
次に、本発明を適用した画像処理装置１での実施例を示す。
【０１６１】
はじめにこの実施例で使用した画像の正解画素及び破綻画素と、動きクラスの関係について説明する。
【０１６２】
HD_120P信号が、図２１に示すように、HD_24P信号とHD_60P信号に分割され、HD_24P信号に内挿フレームを挿入するようにしてHD_60P信号が生成され、そのHD_60P信号とHD_120P信号から分割されたHD_60P信号の対応するフレームの対応する画素毎に差分が算出される。そしてその差分が所定の閾値より大きかった画素が破綻画素とし、差分が閾値以下だった画素が正解画素とするものとする。
【０１６３】
ある画像に対するこの解析結果により得られた破綻画素の動きクラスの分布は、図２２に示すようになり、正解画素の動きクラスの分布は、図２３に示すようになる。なおこの例の場合、ベクトル特徴量は、時間方向の勾配と空間方向の勾配の値とされ、動きクラスは、それらの値によって分類されている。図２４は、図２２の破綻画素の分布と図２３の正解画素の分布とを合わせたものである。
【０１６４】
また他のある画像に対するこの解析結果により得られた破綻画素の動きクラスの分布は、図２５に示すようになり、正解画素の動きクラスの分布は、図２６に示すようになる。図２７は、図２５の破綻画素の分布と図２６の正解画素の分布とを合わせたものである。
【０１６５】
図２２乃至図２７の例の場合、破綻画素の大半は動きクラスMC4に分類されるが、正解画素は、各動きクラスに分類される。従ってこの実施例では、動きクラスMC1乃至動きクラスMC3においては既存の予測係数を利用し、動きクラスMC4のみについて、上述した破綻画素を用いた学習の結果得られた予測係数を利用している。
【０１６６】
図２８は、動きクラスMC4について破綻画素を用いた学習の結果得られた予測係数を利用して生成されたHD_60P信号の画像例を示している。図２９は、動きクラスMC4においても既存の予測係数（即ち通常の解像度向上用の学習を行った結果得られた予測係数）を利用して生成されたHD_60P信号の画像例を示している。図２９の画像では、画像破綻が見られるが、図２８の画像では、その画像破綻が軽減されている。
【０１６７】
図３０は、動きクラスMC4について破綻画素を用いた学習の結果得られた予測係数を利用して生成されたHD_60P信号の画像例を示している。図３１は、動きクラスMC4においても既存の予測係数（即ち通常の解像度向上用の学習を行った結果得られた予測係数）を利用して生成されたHD_60P信号の画像例を示している。この例の場合、処理対象の画像は静止画であるので、両者に大きな差異は見られない。
【０１６８】
なお、以上においては、学習装置１０１の学習により得られた予測係数を予め係数メモリに記憶させておき、それを用いてHD_60P信号を生成することで、例えば検出ベクトルの割り付け誤りに起因する画像破綻を軽減した。即ち、破綻部において破綻を軽減するとともに、破綻部以外の領域の解像度を向上させることによって、フレーム周波数変換後の画像の画質向上を実現した。
【０１６９】
しかしながら、破綻部以外の領域の解像度を向上させることはできても、破綻部においては、破綻が軽減されると解像度が低くなってしまう。即ち、検出ベクトルの誤りに起因する破綻の軽減処理を施す場合、破綻の軽減度合と解像度の向上はトレードオフの関係になる。そこで、ユーザの趣向に合わせて、つまり、破綻の軽減度合と解像度を決定するためのパラメータをユーザに開放し、そのパラメータに応じて予測係数を生成することもできる。
【０１７０】
即ち、図８の画像変換部３２の係数メモリ５５には、単一の予測係数しか記憶されていなかったが、図３２の画像変換部３２は、ユーザが入力する画像選択信号の値に応じて予測係数を生成し、生成された予測係数を用いてHD_60P信号を生成する。
【０１７１】
図３２は、ユーザが入力する画像選択信号の値に応じて予測係数を生成する場合の画像変換部３２の構成例を示している。
【０１７２】
図３２の画像変換部３２は、動きクラス分類部５１、クラスタップ抽出部５２、波形クラス分類部５３、係数読み出し部５４、予測タップ抽出部５６、及び積和演算部５７を備える点が、図８の画像変換部３２と共通しているが、係数メモリ５５に代えて係数生成部２０１及び係数種メモリ２０２を備える点が異なっている。
【０１７３】
係数生成部２０１には、例えば、図３の入力部１６などから画像選択信号が入力される。画像選択信号は、ユーザの操作により入力される、破綻の軽減度合と解像度を決定するためのパラメータを示す信号である。
【０１７４】
係数生成部２０１は、例えば、図３の入力部１６などから入力されるユーザの画像選択信号の値に応じて、係数種メモリ２０２に記憶されている３種類の係数種Ｓ１乃至Ｓ３の間で関数近似を行うことで予測係数を生成する。係数生成部２０１は、レジスタ２１１を内蔵しており、レジスタ２１１の対応する領域に、生成した予測係数を記憶する。
【０１７５】
レジスタ２１１は、動きクラス分類部５１から供給され得る動きクラス番号に応じた（即ち動きクラスに応じた）領域mb1乃至mb4を有しており、各領域には、波形クラスについて生成された予測係数が記憶される。
【０１７６】
係数種メモリ２０２には、係数生成部２０１が生成する予測係数の種となる３種類の係数種Ｓ１乃至Ｓ３が記憶されている。
【０１７７】
図３３は、係数種Ｓ１乃至Ｓ３の例を示す図である。図３３の例において、係数種Ｓ１乃至Ｓ３は、それぞれ、図９の動きクラスMC1 乃至MC4について求められる予測係数で構成されている。
【０１７８】
具体的には、係数種Ｓ１は、動きクラスMC1乃至MC3について、それぞれ、正解画素を用いた学習処理（所謂通常の解像度向上のための学習処理）により生成される予測係数（このような予測係数を解像度創造用係数と称する）、及び、動きクラスMC4について、破綻画素を用いた学習処理により生成される予測係数（このような予測係数を破綻対策用係数と称する）で構成される。
【０１７９】
係数種Ｓ１は、例えば、上述した図１０、または図１９の学習装置１０１で生成され、係数種メモリ２０２に供給されて記憶される。
【０１８０】
例えば、図１９の学習装置１０１の場合、動きクラス分類部１１６から供給された動きクラス番号に応じて、学習部１１７を制御して、学習処理を実行させる。すなわち、学習部１１７は、動きクラス分類部１１６から供給された動きクラス番号が動きクラスMC4（図９）を示している場合、学習制御部１１９により即ち動きが大きくそのときの注目画素が破綻画素と判定されるときは、学習部１１７は、破綻画素と判定された画素を用いた学習処理を行う。その結果得られた予測係数は、係数種Ｓ１の動きクラスMC4についての破綻対策用係数であり、図３２の係数種メモリ２０２に供給されて記憶される。
【０１８１】
一方、動きクラス分類部１１６から供給された動きクラス番号が動きクラスMC1乃至MC3（図９）を示している場合、即ち動きが小さくそのときの注目画素が正解画素と判定されるときは、学習部１１７は、正解画素と判定された画素を用いた学習処理（所謂通常の解像度向上のための学習処理）を行う。ここで求められた予測係数は、係数種Ｓ１の動きクラスMC1乃至MC3についての解像度創造用係数であり、図３２の係数種メモリ２０２に供給されて記憶される。
【０１８２】
すなわち、係数種Ｓ１の各予測係数は、上述した係数メモリ５５のメモリ領域mb1乃至mb3,maに記憶される予測係数と同じものである。
【０１８３】
係数種Ｓ２は、動きクラスMC1乃至MC4について、それぞれ、正解画素を用いた学習処理により生成される解像度創造用係数で構成される。係数種Ｓ２は、例えば、上述した図１０の学習装置１０１の学習部１１８、または、後述する図３６の学習装置１０１で生成され、係数種メモリ２０２に供給されて記憶される。
【０１８４】
係数種Ｓ３は、動きクラスMC1乃至MC4について、それぞれ、破綻画素を用いた学習処理により生成される破綻対策用係数で構成される。係数種Ｓ３は、例えば、後述する図３７の学習装置１０１で生成され、係数種メモリ２０２に供給されて記憶される。
【０１８５】
係数読み出し部５４は、動きクラス分類部５１からの動きクラス番号に応じて、レジスタ２１１の領域を参照し、そこに記憶されている波形クラス分類部５３からの波形クラス番号に対応付けられている予測係数を読み出し、それを積和演算部５７に供給する。
【０１８６】
係数読み出し部５４は、注目画素が内挿フレーム上の画素である場合、動きクラス分類部５１から供給された動きクラス番号に対応するレジスタ２１１の領域を参照し、そこに記憶されている波形クラス分類部５３からの波形クラス番号に対応付けられている予測係数を読み出し、それを積和演算部５７に供給する。
【０１８７】
例えば、動きクラス分類部５１から動きクラス番号が動きクラスMC4を示す番号である場合、すなわち動きが大きいとき、係数読み出し部５４は、注目画素が破綻画素であるとし、レジスタ２１１の領域maを参照し、その領域maに記憶されている予測係数を読み出す。
【０１８８】
また動きクラス分類部５１から動きクラス番号が動きクラスMC1乃至MC3のいずれかである場合、係数読み出し部５４は、注目画素が正解画素であるとし、レジスタ２１１の領域mb1乃至mb3のいずれかを参照して、そこに記憶されている予測係数を読み出す。
【０１８９】
注目画素が内挿フレーム以外のフレーム（すなわちSD_24P信号のフレームｔ＋１）上の画素である場合、係数読み出し部５４は、レジスタ２１１の領域mb1を参照し、そこに記憶されている波形クラス分類部５３からの波形クラス番号に対応付けられている予測係数を読み出し、それを積和演算部５７に供給する。
【０１９０】
次に、係数生成部２０１の係数生成の概念について説明する。
【０１９１】
図３４は、画像選択信号と係数種の関係を概念的に表わしている。例えば、破綻の軽減度合と解像度を決定するためのパラメータ（0.0乃至1.0）をユーザに開放する。このとき、ユーザにより入力される画像選択信号が示す値が0.0に近づくほど、破綻軽減度合は弱くなり、解像度は高くなる。一方、画像選択信号が示す値が1.0に近づくほど、破綻軽減度合は強くなり、解像度は低くなる。
【０１９２】
したがって、破綻軽減度合は弱くてもいいから、解像度を高くしたい（すなわち、破綻軽減よりも解像度向上を優先する）と望むユーザは、0.0に近い値を選択し、解像度は低くてもいいから、破綻軽減度合を強くしたい（すなわち、解像度向上よりも破綻軽減を優先する）と望むユーザは、1.0に近い値を選択する。そして、破綻軽減度合も解像度向上も中庸を望むユーザは、0.5に近い値を選択する。
【０１９３】
ここで、画像選択信号が示す３つの値と３種類の係数種Ｓ１乃至Ｓ３の対応関係を、次のように決める。
【０１９４】
（画像選択信号,係数種）  ＝  （0.0,係数種Ｓ２）
（画像選択信号,係数種）  ＝  （0.5,係数種Ｓ１）
（画像選択信号,係数種）  ＝  （1.0,係数種Ｓ３）
【０１９５】
すなわち、画像選択信号が示す値が0.0のときには、破綻軽減よりも解像度向上を優先することがユーザに望まれるので、点Ｐ１に示されるように、すべての動きクラスにおいて解像度創造用係数が生成される係数種Ｓ２を対応させる。
【０１９６】
画像選択信号が示す値が1.0のときには、解像度向上よりも破綻軽減を優先することがユーザに望まれるので、点Ｐ３に示されるように、すべての動きクラスにおいて破綻対策用係数が生成される係数種Ｓ３を対応させる。
【０１９７】
画像選択信号が示す値が0.5のときには、破綻軽減度合も解像度向上も中庸がユーザに望まれるので、点Ｐ２に示されるように、動きが大きくそのときの注目画素が破綻画素と判定される動きクラス（すなわち、動きクラスMC4）においては、破綻対策用係数が生成され、その他の動きクラス（すなわち、動きクラスMC1乃至MC3）においては、解像度創造用係数が生成される係数種Ｓ１を対応させる。
【０１９８】
そして、この３つの対応関係を用いて、画像選択信号が示す３つの値(0.0,0.5,1.0)の間を関数近似することにより、Ｌ１に示されるように、画像選択信号の値に応じて、３つの画像選択信号の値(0.0,0.5,1.0)間の連続的な予測係数を生成することができる。例えば、関数近似の方法としては、２次式でのフィッティングが用いられる。なお、説明は省略するが、線形１次式により近似することもできる。
【０１９９】
さらに、係数生成部２０１の係数生成について具体的に説明する。例えば、ユーザが入力部１１６を用いて、画像選択信号ｎを入力した場合を考える。
【０２００】
係数生成部２０１は、入力部１１６から画像選択信号ｎが入力されると、係数種メモリ２０２に記憶されている係数種Ｓ１乃至Ｓ３を読み出す。そして、係数生成部２０１は、読み出した係数種Ｓ１乃至Ｓ３と画像選択信号ｎを用い、以下のように、画像選択信号ｎに応じて、動きクラス毎の予測係数を生成する。
【０２０１】
係数種Ｓ１をＡi、係数種Ｓ２をＢi、係数種Ｓ３をＣiとする。ここでｉは、生成画素の画素値を予測するために用いられる予測タップの番号を示している。また、ある動きクラスの画像選択信号ｎに対する予測係数をＷniとすると、上述した３つの対応関係は、それぞれ、次の式（１４）で表わされる。
【０２０２】
（ｎ, Ｗni）  ＝  （0.0, Ｂi）
（ｎ, Ｗni）  ＝  （0.5, Ａi）
（ｎ, Ｗni）  ＝  （1.0, Ｃi）
・・・（１４）
【０２０３】
また、ｎに対応する予測係数の予測値は、ｎに対して２次式で、式（１５）のように表わされる。
【０２０４】
【数１１】
2009135878.tif 000013
【０２０５】
ここで、予測係数に対して最小自乗法を用いると、予測誤差の自乗和Ｅは、式（１６）のように表わされる。
【０２０６】
【数１２】
2009135878.tif 000014
【０２０７】
なお、sampleは、学習対の数を表す。いまの場合、式（１４）の３つである。
【０２０８】
予測誤差の自乗和Ｅが最小になるように、co,c1,c2を求めるためには、式（１６）に対して、co,c1,c2、それぞれの偏微分が、次の式（１７）に示されるように、０になるようにする。
【０２０９】
【数１３】
2009135878.tif 000015
【０２１０】
式（１７）から、co,c1,c2を求めることで、式（１５）より、図３５のように連続的な係数を生成することができる。そして、生成された予測係数は、次にユーザから画像選択信号ｎの入力があるまで、レジスタ２１１の動きクラス毎の領域に記憶される。
【０２１１】
図３５は、２次式でフィッティングして生成された予測係数を表している。
【０２１２】
図３５の例において、横軸は、画像選択信号ｎ（0.0乃至1.0）を示し、縦軸は、ある動きクラスの画像選択信号ｎに対する係数Ｗniを示している。各黒丸は、式（１４）の対応関係を表しており、曲線は、式（１５）から生成された予測係数を表している。
【０２１３】
曲線に示されるように、画像選択信号0.0乃至1.0間において、連続的な予測係数が生成されている。なお、図３５の黒丸と曲線に示されるように、画像選択信号0.0,0.5,1.0においては、関数近似のため、対応させた予測係数と必ずしも一致するわけではない。
【０２１４】
例えば、画像選択信号の値が1.0に近い値のときには、係数種Ｓ３に近い、曲線Ｌ１上の予測係数が生成される。この予測係数が積和演算部５７により用いられることで、破綻軽減度合が強く、解像度が低い画像が生成される。画像選択信号の値が0.0に近い値のときには、係数種Ｓ２に近い、曲線Ｌ１上の予測係数が生成される。この予測係数が積和演算部５７により用いられることで、破綻軽減度合が弱く、解像度が高い画像が生成される。画像選択信号の値が0.5に近い値のときには、係数種Ｓ１に近い、曲線Ｌ１上の予測係数が生成される。この予測係数が積和演算部５７により用いられることで、破綻軽減度合も、解像度も中庸となる画像が生成される。
【０２１５】
さらに、例えば、画像選択信号の値が0.75に近い値のときには、係数種Ｓ１と係数種Ｓ３の中間に近い、曲線Ｌ１上の予測係数が生成される。この予測係数が積和演算部５７により用いられることで、破綻軽減度合がわりと強く、解像度が低めとなる画像が生成される。画像選択信号の値が0.25に近い値のときには、係数種Ｓ１と係数種Ｓ２の中間に近い、曲線Ｌ１上の予測係数が生成される。この予測係数が積和演算部５７により用いられることで、破綻軽減度合が少し弱く、解像度が高めとなる画像が生成される。
【０２１６】
以上のように、破綻の軽減度合と解像度を決定するためのパラメータをユーザに開放し、３つのパラメータと係数種の対応関係を用いて、パラメータが示す３つの値(0.0,0.5,1.0)の間を関数近似することにより、破綻の軽減度合と解像度の関係を滑らかに調整することができる。これにより、ユーザは、好みに応じた画像を得ることができる。
【０２１７】
図３６は、学習を行うことで、係数種Ｓ２の予測係数を生成する学習装置１０１の構成例を示している。この学習装置１０１は、図１０の学習装置１０１から、間引き部１１２、画像変換部１１４、及び学習部１１７が除かれている構成を有する。
【０２１８】
すなわち、図３６の学習装置１０１は、分割部１１１、間引き部１１３、動きクラス分類部１１６、学習部１１８、及び学習制御部１１９で構成される。なお、動きクラス分類部１１６は、画像変換部１１４から特徴量として入力される勾配情報の代わりに、間引き部１１３から供給されたSD_60P信号から特徴量を算出して、動きクラスを分類する。例えば、図３６の動きクラス分類部１１６においては、フレーム間差分などから算出される特徴量が用いられる。
【０２１９】
図１０を参照して上述したように、学習部１１８は、間引き部１１３から供給されたSD_60P信号の画像を生徒画像とし、分割部１１１から供給されるHD_60P信号の画像を教師画像として学習処理を実行する。すなわち間引き部１１３から供給されたSD_60P信号の画像は、HD_60Pから分割されて生成されたものであり、フレーム内挿処理による破綻が生じていないので、学習部１１８では、正解画素を用いた学習処理が行われる（所謂通常の解像度向上のための学習処理が行われる）。
【０２２０】
その結果、係数種Ｓ２の動きクラスMC1乃至MC4についての解像度創造用係数が生成され、得られた予測係数は、図３２の係数種メモリ２０２に供給されて記憶される。
【０２２１】
なお、係数種Ｓ１の予測係数は、図１０、または図１９の学習装置１０１で生成されるとしたが、係数種Ｓ１の動きクラスMC1乃至MC3については、解像度創造用係数を生成することが目的なので、この学習装置１０１で生成されることもできる。
【０２２２】
図３７は、学習を行うことで、係数種Ｓ３の予測係数を生成する学習装置１０１の構成例を示している。この学習装置１０１は、図１０の学習装置１０１から、間引き部１１３、学習部１１７、及び学習部１１８が除かれ、図１０の学習装置１０１に、フィルタ部２６１、及び学習部２６２が追加された構成を有する。
【０２２３】
すなわち、図３７の学習装置１０１は、分割部１１１、間引き部１１２、画像変換部１１４、動きクラス分類部１１６、学習制御部１１９、フィルタ部２６１、及び学習部２６２で構成される。
【０２２４】
分割部１１１は、分割した（生成した）HD_24P信号を間引き部１１２に供給し、HD_60P信号をフィルタ部２６１に供給する。
【０２２５】
フィルタ部２６１は、分割部１１１から供給されたHD_60P信号の画像にフィルタをかけてぼかし、解像度を落としたHD_60P信号の画像を学習部２６２に供給する。
【０２２６】
学習部２６２は、画像変換部１１４から供給されたSD_60P信号の画像を生徒画像とし、フィルタ部２６１から供給されるHD_60P信号の画像を教師画像として学習処理を実行する。
【０２２７】
すなわち、学習部２６２は、基本的には図１２で上述した学習部１１７と同様の構成を有するので、その図示及び詳細な説明は省略するが、学習部２６２では、各波形クラスについて動きクラス分類部１１６からの動きクラス番号（動きクラスMC1乃至動きクラスMC4）毎に生成された正規方程式を解くことにより、各波形クラスについて動きクラス毎に、最適な予測係数ｗiが求められる。ここで求められた予測係数は、図３２の係数メモリ２０２に記憶される。
【０２２８】
ここで、画像変換部１１４から供給されたSD_60P信号は、フレーム内挿処理によりSD_24P信号が変換されたものであり、破綻画素を含んでいる。また、フィルタ部２６１から供給されたHD_60P信号は、フィルタによりぼかされたものである。
【０２２９】
学習部２６２は、このようにぼかされたHD_60P信号を教師画像として使用することで、ぼかされた画像を生成するための予測係数、つまり、破綻度合軽減度合を強める破綻対策用係数を生成することができる。すなわち、学習部２６２では、すべてのクラスについて破綻画素を用いたのと同様な学習処理が行われる。
【０２３０】
その結果、係数種Ｓ３の動きクラスMC1乃至MC4についての破綻対策用係数が生成され、得られた予測係数は、図３２の係数種メモリ２０２に供給されて記憶される。
【０２３１】
以上のように、解像度向上を優先する係数種、破綻軽減度合を優先する係数種、その中庸の係数種を予め求めて記憶しておき、記憶してある係数種を用いて、ユーザの好みに応じた予測係数を生成し、それを用いるようにした。これにより、例えば検出ベクトルの割り付け誤りに起因する画像破綻を軽減することができるとともに、解像度向上を実現することができる。
【０２３２】
さらに、ユーザは、趣向に合わせて、破綻軽減度合と解像度の関係を滑らかに調整することが可能となる。その結果、自分好みの破綻軽減度合と解像度向上での画像を見ることができる。
【０２３３】
なお、上記説明においては、係数種を３種類、記憶する例を説明したが、３種類以上の係数種を記憶させておくこともできる。
【０２３４】
また、以上においては、動きクラスを用いた例を説明したが、解像度向上を優先する係数種、破綻軽減度合を優先する係数種、その中庸の係数種を予め求めて記憶しておき、記憶してある係数種を用いて、ユーザの好みに応じた予測係数を生成し、それを用いることは、説明およびその図示は省略するが、不規則性評価値を利用する場合の図１６の画像変換部３２及び図１８学習装置１０１にも適用できる。
【０２３５】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２３６】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図３に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１、又は、プログラムが一時的もしくは永続的に格納されるROM１２や、記憶部１８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部１９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
【０２３７】
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【０２３８】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２３９】
【図１】フレーム内挿処理を説明する図である。
【図２】画像破綻を説明する図である。
【図３】本発明を適用した画像処理装置の構成例を表すブロック図である。
【図４】画像処理装置の機能の構成の例を示すブロック図である。
【図５】図４の画像変換部３１の構成例を示すブロック図である。
【図６】フレーム内挿処理の原理を説明する図である。
【図７】フレーム内挿処理をより具体的に説明する図である。
【図８】図４の画像変換部３２の構成例を示すブロック図である。
【図９】動きクラスの分類の例を示す図である。
【図１０】本発明を適用した学習装置１０１の構成例を示すブロック図である。
【図１１】教師画像を説明する図である。
【図１２】図１０の学習部１１７の構成例を示すブロック図である。
【図１３】ばらつきを示す値の算出の対象となる動きベクトルが割り付けられている画素の範囲を示す図である。
【図１４】動きベクトルが割り付けられている画素の範囲を示す図である。
【図１５】図４の画像変換部３１の他の構成例を示すブロック図である。
【図１６】図４の画像変換部３２の構成例を示すブロック図である。
【図１７】不規則性クラスの分類の例を示す図である。
【図１８】本発明を適用した学習装置１０１の他の構成例を示すブロック図である。
【図１９】本発明を適用した学習装置１０１の他の構成例を示すブロック図である。
【図２０】本発明を適用した学習装置１０１の他の構成例を示すブロック図である。
【図２１】動きクラスの分布を見るための解析方法を示す図である。
【図２２】破綻画素の分布の例を示す図である。
【図２３】正解画素の分布の例を示す図である。
【図２４】図２２の破綻画素と図２３の正解画素の分布が合わさった図である。
【図２５】破綻画素の分布の他の例を示す図である。
【図２６】正解画素の分布の他の例を示す図である。
【図２７】図２５の破綻画素と図２６の正解画素の分布が合わさった図である。
【図２８】本発明を適用した画像処理装置１による表示例を示す図である。
【図２９】従来の画像処理装置による表示例を示す図である。
【図３０】本発明を適用した画像処理装置１による他の表示例を示す図である。
【図３１】従来の画像処理装置による他の表示例を示す図である。
【図３２】図４の画像変換部３２のさらに他の構成例を示すブロック図である。
【図３３】図３３は、係数種Ｓ１乃至Ｓ３の例を示す図である。
【図３４】画像選択信号と係数種の関係の概念を示す図である。
【図３５】２次式でフィッティングして生成された予測係数の例を示す図である。
【図３６】本発明を適用した学習装置１０１の他の構成例を示すブロック図である。
【図３７】本発明を適用した学習装置１０１の他の構成例を示すブロック図である。
【符号の説明】
【０２４０】
１１  CPU，  １２  ROM，  １３  RAM，  １８  記憶部，  ２１  リムーバブルメディア，  ３１  画像変換部，  ３２  画像変換部，  ４１  フレームメモリ，  ４２  ベクトル検出部，  ４３  検出ベクトルメモリ，  ４４  ベクトル割付部，  ４５  割付ベクトルメモリ，  ４６  割付フラグメモリ，  ４７  割付補償部，  ４８  画像補間部，  ５１  動きクラス分類部，  ５２  クラスタップ抽出部，  ５３  波形クラス分類部，  ５４  係数読み出し部，  ５５  係数メモリ，５６  予測タップ抽出部，  ５７  積和演算部，  １１１  分割部，  １１２  間引き部，  １１３  間引き部，  １１４  画像変換部，  １１６  動きクラス分類部，  １１７  学習部，  １１８  学習部，  １１９  学習制御部，  １３１  クラスタップ抽出部，  １３２  波形クラス分類部，  １３３  予測タップ抽出部，  １３４  足し込み部，  １３５  係数生成部，  １５１  ベクトル検出部，  １５２  検出ベクトルメモリ，  １５３  割付ベクトルメモリ，  １６１  ベクトル特徴量算出部，  １６２  不規則性クラス分類部，  １７１  ベクトル特徴量算出部，  １７２  不規則性クラス分類部，  ２０１  係数生成部，  ２０２  係数種メモリ，  ２１１  レジスタ，  ２６１  フィルタ部，  ２６２  学習部,
【図１】
2009135878.tif 000016
【図２】
2009135878.tif 000017
【図３】
2009135878.tif 000018
【図４】
2009135878.tif 000019
【図５】
2009135878.tif 000020
【図６】
2009135878.tif 000021
【図７】
2009135878.tif 000022
【図８】
2009135878.tif 000023
【図９】
2009135878.tif 000024
【図１０】
2009135878.tif 000025
【図１１】
2009135878.tif 000026
【図１２】
2009135878.tif 000027
【図１３】
2009135878.tif 000028
【図１４】
2009135878.tif 000029
【図１５】
2009135878.tif 000030
【図１６】
2009135878.tif 000031
【図１７】
2009135878.tif 000032
【図１８】
2009135878.tif 000033
【図１９】
2009135878.tif 000034
【図２０】
2009135878.tif 000035
【図２１】
2009135878.tif 000036
【図２２】
2009135878.tif 000037
【図２３】
2009135878.tif 000038
【図２４】
2009135878.tif 000039
【図２５】
2009135878.tif 000040
【図２６】
2009135878.tif 000041
【図２７】
2009135878.tif 000042
【図２８】
2009135878.tif 000043
【図２９】
2009135878.tif 000044
【図３０】
2009135878.tif 000045
【図３１】
2009135878.tif 000046
【図３２】
2009135878.tif 000047
【図３３】
2009135878.tif 000048
【図３４】
2009135878.tif 000049
【図３５】
2009135878.tif 000050
【図３６】
2009135878.tif 000051
【図３７】
2009135878.tif 000052