(57)【要約】【課題】画質を向上させるとともに、簡単な構成で多様な変換パターンに対応できる画質変換処理を実現することができるようにする。【解決手段】回帰予測演算および判別予測演算において、入力画像の注目画素に対応する複数の画素の値またはそれらの値から得られる特徴量をパラメータとして与える。本発明では、入力画像の注目画素に対応する複数の画素の値と、それらの値から得られる３つの特徴量である４つの抽出値を用いる。４つの抽出値はそれぞれ、動き方向に従って抽出した画素値、抽出した画素値の最大値および最小値、抽出した画素値の動き方向に従った微分特徴量の絶対値、並びに抽出した画素値の動き方向に従った微分特徴量の絶対値の最大値とされる。【選択図】図３
2011217011.tif 000002
【特許請求の範囲】
【請求項１】
第１の信号の画像から、動きベクトルに基づいて特定される特徴量であって、注目画素および周辺画素の画素値から得られる複数の特徴量として構成されるタップを取得して、前記タップの要素のそれぞれと回帰係数との積和演算により第２の信号の画像における前記注目画素に対応する画素の値を求める回帰予測演算の前記回帰係数を算出する回帰係数算出手段と、
前記算出された前記回帰係数と、前記第１の信号の画像から得られた前記タップに基づいて前記回帰予測演算を行って回帰予測値を算出する回帰予測値算出手段と、
前記算出された前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値との比較結果に基づいて、前記注目画素に第１の判別クラスに属する画素であるかまたは第２の判別クラスに属する画素であるかを判別するための判別情報を付与する判別情報付与手段と、
前記付与された判別情報に基づいて、第１の信号の画像から前記タップを取得して、前記タップの要素のそれぞれと判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算の前記判別係数を算出する判別係数算出手段と、
前記算出された前記判別係数と、前記第１の信号の画像から得られた前記タップに基づいて前記判別予測演算を行って判別予測値を算出する判別予測値算出手段と、
前記算出された前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれを、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類する分類手段とを備え、
前記回帰係数算出手段は、前記第１の判別クラスに分類された画素のみを用いて前記回帰係数をさらに算出し、前記第２の判別クラスに分類された画素のみを用いて前記回帰係数をさらに算出する
係数学習装置。
【請求項２】
前記回帰係数算出手段が前記判別クラス毎に算出した前記回帰係数により前記回帰予測値算出手段が前記判別クラス毎に算出した前記回帰予測値に基づいて、前記判別情報付与手段が判別情報を付与する処理、前記判別係数算出手段が前記判別係数を算出する処理、および前記判別予測値算出手段が前記判別予測値を算出する処理を繰り返し実行する
請求項１に記載の係数学習装置。
【請求項３】
前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値と差分が０以上である場合、前記注目画素は、第１の判別クラスに属する画素であると判別され、
前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値と差分が０未満である場合、前記注目画素は、第１の判別クラスに属する画素であると判別される
請求項１に記載の係数学習装置。
【請求項４】
前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値と差分絶対値が予め設定された閾値以上である場合、前記注目画素は、第１の判別クラスに属する画素であると判別され、
前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値と差分絶対値が前記閾値未満である場合、前記注目画素は、第２の判別クラスに属する画素であると判別される
請求項１に記載の係数学習装置。
【請求項５】
前記第１の信号の画像は、前記第２の信号の画像に対して動きぼけが付加された画像である
請求項１に記載の係数学習装置。
【請求項６】
前記タップは、前記動きベクトルによって特定された動き方向および動き量に基づいて、前記注目画素を中心として動き方向に従って抽出した画素値、抽出した画素値の最大値および最小値、抽出した画素値の動き方向に従った微分特徴量の絶対値、並びに抽出した画素値の動き方向に従った微分特徴量の絶対値の最大値のそれぞれを要素として構成される
請求項１に記載の係数学習装置。
【請求項７】
回帰係数算出手段が、第１の信号の画像から、動きベクトルに基づいて特定される特徴量であって、注目画素および周辺画素の画素値から得られる複数の特徴量として構成されるタップを取得して、前記タップの要素のそれぞれと回帰係数との積和演算により第２の信号の画像における前記注目画素に対応する画素の値を求める回帰予測演算の前記回帰係数を算出し、
回帰予測値算出手段が、前記算出された前記回帰係数と、前記第１の信号の画像から得られた前記タップに基づいて前記回帰予測演算を行って回帰予測値を算出し、
判別情報付与手段が、前記算出された前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値との比較結果に基づいて、前記注目画素に第１の判別クラスに属する画素であるかまたは第２の判別クラスに属する画素であるかを判別するための判別情報を付与し、
判別係数算出手段が、前記付与された判別情報に基づいて、第１の信号の画像から前記タップを取得して、前記タップの要素のそれぞれと判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算の前記判別係数を算出し、
判別予測値算出手段が、前記算出された前記判別係数と、前記第１の信号の画像から得られた前記タップに基づいて前記判別予測演算を行って判別予測値を算出し、
分類手段が、前記算出された前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれを、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類し、
前記第１の判別クラスに分類された画素のみを用いて前記回帰係数がさらに算出され、前記第２の判別クラスに分類された画素のみを用いて前記回帰係数がさらに算出されるステップ
を含む係数学習方法。
【請求項８】
コンピュータを、
第１の信号の画像から、動きベクトルに基づいて特定される特徴量であって、注目画素および周辺画素の画素値から得られる複数の特徴量として構成されるタップを取得して、前記タップの要素のそれぞれと回帰係数との積和演算により第２の信号の画像における前記注目画素に対応する画素の値を求める回帰予測演算の前記回帰係数を算出する回帰係数算出手段と、
前記算出された前記回帰係数と、前記第１の信号の画像から得られた前記タップに基づいて前記回帰予測演算を行って回帰予測値を算出する回帰予測値算出手段と、
前記算出された前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値との比較結果に基づいて、前記注目画素に第１の判別クラスに属する画素であるかまたは第２の判別クラスに属する画素であるかを判別するための判別情報を付与する判別情報付与手段と、
前記付与された判別情報に基づいて、第１の信号の画像から前記タップを取得して、前記タップの要素のそれぞれと判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算の前記判別係数を算出する判別係数算出手段と、
前記算出された前記判別係数と、前記第１の信号の画像から得られた前記タップに基づいて前記判別予測演算を行って判別予測値を算出する判別予測値算出手段と、
前記算出された前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれを、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類する分類手段とを備え、
前記回帰係数算出手段は、前記第１の判別クラスに分類された画素のみを用いて前記回帰係数をさらに算出し、前記第２の判別クラスに分類された画素のみを用いて前記回帰係数をさらに算出する係数学習装置として機能させる
プログラム。
【請求項９】
第１の信号の画像から、動きベクトルに基づいて特定される特徴量であって、注目画素および周辺画素の画素値から得られる複数の特徴量として構成されるタップを取得して、前記タップの要素のそれぞれと判別係数との積和演算により前記注目画素が属するクラスを特定するための判別予測値を求める判別予測演算を行う判別予測手段と、
前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれを、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類する分類手段と、
前記第１の信号の画像から、前記タップを取得して、前記タップと回帰係数との積和演算により回帰予測値を演算することで、第２の信号の画像における前記注目画素に対応する画素の画素値を予測する回帰予測手段とを備える
画像処理装置。
【請求項１０】
前記判別予測手段が前記判別予測演算を行う処理、および前記分類手段が前記第１の信号の画像の画素のそれぞれを、分類する処理を繰り返し実行する
請求項９に記載の画像処理装置。
【請求項１１】
前記第１の信号の画像は、前記第２の信号の画像に対して動きぼけが付加された画像である
請求項９に記載の画像処理装置。
【請求項１２】
前記タップは、前記動きベクトルによって特定された動き方向および動き量に基づいて、前記注目画素を中心として動き方向に従って抽出した画素値、抽出した画素値の最大値および最小値、抽出した画素値の動き方向に従った微分特徴量の絶対値、並びに抽出した画素値の動き方向に従った微分特徴量の絶対値の最大値のそれぞれを要素として構成される
請求項９に記載の画像処理装置。
【請求項１３】
判別予測手段が、第１の信号の画像から、動きベクトルに基づいて特定される特徴量であって、注目画素および周辺画素の画素値から得られる複数の特徴量として構成されるタップを取得して、前記タップの要素のそれぞれと判別係数との積和演算により前記注目画素が属するクラスを特定するための判別予測値を求める判別予測演算を行い、
分類手段が、前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれを、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類し、
回帰予測手段が、前記第１の信号の画像から、前記タップを取得して、前記タップと回帰係数との積和演算により回帰予測値を演算することで、第２の信号の画像における前記注目画素に対応する画素の画素値を予測するステップ
を含む画像処理方法。
【請求項１４】
コンピュータを、
第１の信号の画像から、動きベクトルに基づいて特定される特徴量であって、注目画素および周辺画素の画素値から得られる複数の特徴量として構成されるタップを取得して、前記タップの要素のそれぞれと判別係数との積和演算により前記注目画素が属するクラスを特定するための判別予測値を求める判別予測演算を行う判別予測手段と、
前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれを、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類する分類手段と、
前記第１の信号の画像から、前記タップを取得して、前記タップと回帰係数との積和演算により回帰予測値を演算することで、第２の信号の画像における前記注目画素に対応する画素の画素値を予測する回帰予測手段とを備える画像処理装置として機能させる
プログラム。
【請求項１５】
請求項８または請求項１４に記載のプログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、多様な動きぼけの除去を効率的、かつ低コストで実現できるようにする係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
ノイズなど劣化を含んだ入力画像からノイズのない画像を予測したり、ＳＤ信号を高解像度のＨＤ信号に変換するために、クラス分類適応処理を用いる手法が提案されている。
【０００３】
クラス分類適応処理により、ＳＤ信号をＨＤ信号に変換する場合、まず、入力ＳＤ信号からなるクラスタップの特徴を、ＡＤＲＣ（適応的ダイナミックレンジ符号化）等を用いて求め、得られたクラスタップの特徴に基づいてクラス分類を行う。そして、そのクラス毎に用意された予測係数と、入力ＳＤ信号からなる予測タップとの演算を行うことによって、ＨＤ信号を得る。
【０００４】
また、クラス分類適応処理を応用することで、画像に含まれる動きぼけを取り除いて元の画像を復元することも可能となる。あるいはまた、撮像後の物体がどれだけ移動しているのかという情報を用いてボケ量を類推し、そのボケ量に基づいて周波数特性を算出し、算出した周波数特性の逆特性のフィルタをかけることにより補正を行う技術も提案されている（例えば、特許文献１参照）。しかし、画像に含まれる動きぼけを取り除いて元の画像を復元する場合、一般的にノイズが増幅されたり、リンギングが発生するといった悪影響が生じる。
【０００５】
そのような悪影響をなくすために、例えば、予め多くの動きぼけ除去処理のバリエーションを用意して、入力画像に対して各種の動きぼけ除去処理を施した上で、劣化の出ていないものを選択する方式がある。
【０００６】
また、リンギングがでないような最適化規範を用いて、反復演算の中でそれを解いていくような方式もある。
【０００７】
【特許文献１】特開２００６−０８１１５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、予め各種の動きぼけ除去処理を施しておく場合には、動きの方向や大きさに応じて多数のバリエーションを用意する必要がある。また、反復演算を行う場合も何度も処理を繰り返すために、結果として回路規模の増大や処理時間の増大につながる傾向がある。
【０００９】
また、動きぼけ除去処理のバリエーションの中から1つを選択する際の基準や、反復演算を止める際の基準も一律に決めることは難しく、劣化が残ることや画像のディテール感を損なう場合が多い。
【００１０】
本発明はこのような状況に鑑みてなされたものであり、多様な動きぼけの除去を効率的、かつ低コストで実現できるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の第１の側面は、第１の信号の画像から、動きベクトルに基づいて特定される特徴量であって、注目画素および周辺画素の画素値から得られる複数の特徴量として構成されるタップを取得して、前記タップの要素のそれぞれと回帰係数との積和演算により第２の信号の画像における前記注目画素に対応する画素の値を求める回帰予測演算の前記回帰係数を算出する回帰係数算出手段と、前記算出された前記回帰係数と、前記第１の信号の画像から得られた前記タップに基づいて前記回帰予測演算を行って回帰予測値を算出する回帰予測値算出手段と、前記算出された前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値との比較結果に基づいて、前記注目画素に第１の判別クラスに属する画素であるかまたは第２の判別クラスに属する画素であるかを判別するための判別情報を付与する判別情報付与手段と、前記付与された判別情報に基づいて、第１の信号の画像から前記タップを取得して、前記タップの要素のそれぞれと判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算の前記判別係数を算出する判別係数算出手段と、前記算出された前記判別係数と、前記第１の信号の画像から得られた前記タップに基づいて前記判別予測演算を行って判別予測値を算出する判別予測値算出手段と、前記算出された前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれを、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類する分類手段とを備え、前記回帰係数算出手段は、前記第１の判別クラスに分類された画素のみを用いて前記回帰係数をさらに算出し、前記第２の判別クラスに分類された画素のみを用いて前記回帰係数をさらに算出する係数学習装置である。
【００１２】
前記回帰係数算出手段が前記判別クラス毎に算出した前記回帰係数により前記回帰予測値算出手段が前記判別クラス毎に算出した前記回帰予測値に基づいて、前記判別情報付与手段が判別情報を付与する処理、前記判別係数算出手段が前記判別係数を算出する処理、および前記判別予測値算出手段が前記判別予測値を算出する処理を繰り返し実行するようにすることができる。
【００１３】
前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値と差分が０以上である場合、前記注目画素は、第１の判別クラスに属する画素であると判別され、前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値と差分が０未満である場合、前記注目画素は、第１の判別クラスに属する画素であると判別されるようにすることができる。
【００１４】
前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値と差分絶対値が予め設定された閾値以上である場合、前記注目画素は、第１の判別クラスに属する画素であると判別され、前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値と差分絶対値が前記閾値未満である場合、前記注目画素は、第２の判別クラスに属する画素であると判別されるようにすることができる。
【００１５】
前記第１の信号の画像は、前記第２の信号の画像に対して動きぼけが付加された画像であるようにすることができる。
【００１６】
前記タップは、前記動きベクトルによって特定された動き方向および動き量に基づいて、前記注目画素を中心として動き方向に従って抽出した画素値、抽出した画素値の最大値および最小値、抽出した画素値の動き方向に従った微分特徴量の絶対値、並びに抽出した画素値の動き方向に従った微分特徴量の絶対値の最大値のそれぞれを要素として構成されるようにすることができる。
【００１７】
本発明の第１の側面は、回帰係数算出手段が、第１の信号の画像から、動きベクトルに基づいて特定される特徴量であって、注目画素および周辺画素の画素値から得られる複数の特徴量として構成されるタップを取得して、前記タップの要素のそれぞれと回帰係数との積和演算により第２の信号の画像における前記注目画素に対応する画素の値を求める回帰予測演算の前記回帰係数を算出し、回帰予測値算出手段が、前記算出された前記回帰係数と、前記第１の信号の画像から得られた前記タップに基づいて前記回帰予測演算を行って回帰予測値を算出し、判別情報付与手段が、前記算出された前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値との比較結果に基づいて、前記注目画素に第１の判別クラスに属する画素であるかまたは第２の判別クラスに属する画素であるかを判別するための判別情報を付与し、判別係数算出手段が、前記付与された判別情報に基づいて、第１の信号の画像から前記タップを取得して、前記タップの要素のそれぞれと判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算の前記判別係数を算出し、判別予測値算出手段が、前記算出された前記判別係数と、前記第１の信号の画像から得られた前記タップに基づいて前記判別予測演算を行って判別予測値を算出し、分類手段が、前記算出された前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれを、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類し、前記第１の判別クラスに分類された画素のみを用いて前記回帰係数がさらに算出され、前記第２の判別クラスに分類された画素のみを用いて前記回帰係数がさらに算出されるステップを含む係数学習方法である。
【００１８】
本発明の第１の側面は、コンピュータを、第１の信号の画像から、動きベクトルに基づいて特定される特徴量であって、注目画素および周辺画素の画素値から得られる複数の特徴量として構成されるタップを取得して、前記タップの要素のそれぞれと回帰係数との積和演算により第２の信号の画像における前記注目画素に対応する画素の値を求める回帰予測演算の前記回帰係数を算出する回帰係数算出手段と、前記算出された前記回帰係数と、前記第１の信号の画像から得られた前記タップに基づいて前記回帰予測演算を行って回帰予測値を算出する回帰予測値算出手段と、前記算出された前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値との比較結果に基づいて、前記注目画素に第１の判別クラスに属する画素であるかまたは第２の判別クラスに属する画素であるかを判別するための判別情報を付与する判別情報付与手段と、前記付与された判別情報に基づいて、第１の信号の画像から前記タップを取得して、前記タップの要素のそれぞれと判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算の前記判別係数を算出する判別係数算出手段と、前記算出された前記判別係数と、前記第１の信号の画像から得られた前記タップに基づいて前記判別予測演算を行って判別予測値を算出する判別予測値算出手段と、前記算出された前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれを、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類する分類手段とを備え、前記回帰係数算出手段は、前記第１の判別クラスに分類された画素のみを用いて前記回帰係数をさらに算出し、前記第２の判別クラスに分類された画素のみを用いて前記回帰係数をさらに算出する係数学習装置として機能させるプログラムである。
【００１９】
本発明の第１の側面においては、第１の信号の画像から、動きベクトルに基づいて特定される特徴量であって、注目画素および周辺画素の画素値から得られる複数の特徴量として構成されるタップを取得して、前記タップの要素のそれぞれと回帰係数との積和演算により第２の信号の画像における前記注目画素に対応する画素の値を求める回帰予測演算の前記回帰係数が算出され、前記算出された前記回帰係数と、前記第１の信号の画像から得られた前記タップに基づいて前記回帰予測演算を行って回帰予測値が算出され、前記算出された前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値との比較結果に基づいて、前記注目画素に第１の判別クラスに属する画素であるかまたは第２の判別クラスに属する画素であるかを判別するための判別情報が付与され、前記付与された判別情報に基づいて、第１の信号の画像から前記タップを取得して、前記タップの要素のそれぞれと判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算の前記判別係数が算出され、前記算出された前記判別係数と、前記第１の信号の画像から得られた前記タップに基づいて前記判別予測演算を行って判別予測値が算出され、前記算出された前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれが、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類され、前記第１の判別クラスに分類された画素のみを用いて前記回帰係数がさらに算出され、前記第２の判別クラスに分類された画素のみを用いて前記回帰係数がさらに算出される。
【００２０】
本発明の第２の側面は、第１の信号の画像から、動きベクトルに基づいて特定される特徴量であって、注目画素および周辺画素の画素値から得られる複数の特徴量として構成されるタップを取得して、前記タップの要素のそれぞれと判別係数との積和演算により前記注目画素が属するクラスを特定するための判別予測値を求める判別予測演算を行う判別予測手段と、前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれを、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類する分類手段と、前記第１の信号の画像から、前記タップを取得して、前記タップと回帰係数との積和演算により回帰予測値を演算することで、第２の信号の画像における前記注目画素に対応する画素の画素値を予測する回帰予測手段とを備える画像処理装置である。
【００２１】
前記判別予測手段が前記判別予測演算を行う処理、および前記分類手段が前記第１の信号の画像の画素のそれぞれを、分類する処理を繰り返し実行するようにすることができる。
【００２２】
前記第１の信号の画像は、前記第２の信号の画像に対して動きぼけが付加された画像であるようにすることができる。
【００２３】
前記タップは、前記動きベクトルによって特定された動き方向および動き量に基づいて、前記注目画素を中心として動き方向に従って抽出した画素値、抽出した画素値の最大値および最小値、抽出した画素値の動き方向に従った微分特徴量の絶対値、並びに抽出した画素値の動き方向に従った微分特徴量の絶対値の最大値のそれぞれを要素として構成されるようにすることができる。
【００２４】
本発明の第２の側面は、判別予測手段が、第１の信号の画像から、動きベクトルに基づいて特定される特徴量であって、注目画素および周辺画素の画素値から得られる複数の特徴量として構成されるタップを取得して、前記タップの要素のそれぞれと判別係数との積和演算により前記注目画素が属するクラスを特定するための判別予測値を求める判別予測演算を行い、分類手段が、前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれを、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類し、回帰予測手段が、前記第１の信号の画像から、前記タップを取得して、前記タップと回帰係数との積和演算により回帰予測値を演算することで、第２の信号の画像における前記注目画素に対応する画素の画素値を予測するステップを含む画像処理方法である。
【００２５】
本発明の第２の側面は、コンピュータを、第１の信号の画像から、動きベクトルに基づいて特定される特徴量であって、注目画素および周辺画素の画素値から得られる複数の特徴量として構成されるタップを取得して、前記タップの要素のそれぞれと判別係数との積和演算により前記注目画素が属するクラスを特定するための判別予測値を求める判別予測演算を行う判別予測手段と、前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれを、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類する分類手段と、前記第１の信号の画像から、前記タップを取得して、前記タップと回帰係数との積和演算により回帰予測値を演算することで、第２の信号の画像における前記注目画素に対応する画素の画素値を予測する回帰予測手段とを備える画像処理装置として機能させるプログラムである。
【００２６】
本発明の第２の側面においては、第１の信号の画像から、動きベクトルに基づいて特定される特徴量であって、注目画素および周辺画素の画素値から得られる複数の特徴量として構成されるタップを取得して、前記タップの要素のそれぞれと判別係数との積和演算により前記注目画素が属するクラスを特定するための判別予測値を求める判別予測演算が行われ、前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれが、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類され、前記第１の信号の画像から、前記タップを取得して、前記タップと回帰係数との積和演算により回帰予測値を演算することで、第２の信号の画像における前記注目画素に対応する画素の画素値が予測される。
【発明の効果】
【００２７】
本発明によれば、多様な動きぼけの除去を効率的、かつ低コストで実現できる。
【図面の簡単な説明】
【００２８】
【図１】本発明の一実施の形態に係る学習装置の構成例を示すブロック図である。
【図２】学習対生成装置の構成例を示すブロック図である。
【図３】動き方向に従って抽出した画素値を説明する図である。
【図４】画素の値の補完を説明する図である。
【図５】抽出した画素値の動き方向に従った微分特徴量の絶対値を求める方式の例を説明する図である。
【図６】抽出した画素値の動き方向に従った微分特徴量の絶対値を求める方式の別の例を説明する図である。
【図７】抽出した画素値の動き方向に従った微分特徴量の絶対値を求める方式のさらに別の例を説明する図である。
【図８】抽出した画素値の動き方向に従った微分特徴量の絶対値を求める方式のさらに別の例を説明する図である。
【図９】図１のラベリング部の処理を説明するヒストグラムである。
【図１０】反復して行われる判別係数の学習を説明する図である。
【図１１】反復して行われる判別係数の学習を説明する図である。
【図１２】入力画像をクラス分類する場合の例を、２分木構造を用いて説明する図である。
【図１３】図１の学習装置に対応する画像処理装置の構成例を示すブロック図である。
【図１４】図１の学習装置による判別係数回帰係数学習処理の例を説明するフローチャートである。
【図１５】ラベリング処理の例を説明するフローチャートである。
【図１６】回帰係数演算処理の例を説明するフローチャートである。
【図１７】判別係数演算処理の例を説明するフローチャートである。
【図１８】図１３の画像処理装置による判別回帰予測処理の例を説明するフローチャートである。
【図１９】判別処理の例を説明するフローチャートである。
【図２０】本発明の学習装置と画像処理装置を用いた高画質化処理の効果を説明する図である。
【図２１】本発明の学習装置と画像処理装置を用いた高画質化処理の効果を説明する図である。
【図２２】本発明の学習装置と画像処理装置を用いた高画質化処理の効果を説明する図である。
【図２３】本発明の画像処理装置を搭載したテレビジョン受像機の構成例を示すブロック図である。
【図２４】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２９】
以下、図面を参照して、本発明の実施の形態について説明する。
【００３０】
図１は、本発明の一実施の形態に係る学習装置の構成例を示すブロック図である。
【００３１】
この学習装置１０は、画像の高画質化処理に用いられる学習装置とされ、入力された生徒画像および教師画像（または教師信号）のデータに基づいて、高画質化処理において用いられる係数を生成するようになされている。
【００３２】
ここで、高画質化処理は、例えば、画像に含まれる動きぼけを取り除いて元の画像を復元したり、画像に含まれるノイズを除去したりする処理とされる。
【００３３】
学習装置１０は、生徒画像を入力画像として、教師画像に近い高画質の画像を出力画像として生成するための係数である回帰係数を学習するようになされている。詳細は後述するが、回帰係数は、入力画像の注目画素に対応する複数の画素の値から得られる特徴量をパラメータとし、高画質化された画像において注目画素に対応する画素の値を演算する線形一次式に用いられる係数とされる。なお、回帰係数は、後述するクラス番号毎に学習される。
【００３４】
また、学習装置１０は、入力画像の注目画素に対応する複数の画素の値、またはそれらの値から得られる特徴量に基づいて、注目画素を、複数のクラスのうちのいずれかにクラス分けする。すなわち、学習装置１０は、入力画像の注目画素のそれぞれが、高画質化処理のためのどのクラスに属する画素であるかを特定するための判別係数を学習するようになされている。詳細は後述するが、判別係数は、入力画像の注目画素に対応する複数の画素の値、またはそれらの値から得られる特徴量をパラメータとする線形一次式に用いられる係数とされる。
【００３５】
すなわち、学習装置１０により学習された判別係数を用いて、入力画像の注目画素に対応する複数の画素の値またはそれらの値から得られる特徴量をパラメータとした線形一次式の演算を繰り返し実行することにより、高画質化処理のためのクラスが特定されるようになされている。そして、特定されたクラスに対応する回帰係数を用いて、入力画像の注目画素に対応する複数の画素の値またはそれらの値から得られる特徴量をパラメータとした線形一次式の演算を実行することにより、高画質化された画像の画素値が演算されるようになされている。
【００３６】
学習装置１０においては、例えば、教師画像として動きぼけのない画像を入力され、生徒画像として教師画像に対して動きぼけをした画像が入力される。教師画像と生徒画像は、１対（学習対と称することにする）ずつ入力されて学習装置１０により学習が行われる。
【００３７】
図２は学習対生成装置３０の構成例を示すブロック図である。同図に示されるように、学習対生成装置３０は、動きぼけ付加部３１を有する構成とされている。
【００３８】
この例では、動きぼけのない静止画像が学習対生成装置３０に入力され、入力画像がそのまま教師画像として出力されるようになされている。一方、入力画像（静止画像）に対して、動きぼけ付加部３１の処理が施された画像が生徒画像として出力されるようになされている。
【００３９】
動きぼけ付加部３１は、主に入力画像に動きぼけを付加する機能ブロックとされる。例えば、動きぼけ付加部３１の処理により、入力画像に所定の方向・大きさの動きぼけが生じた画像が生成される。
【００４０】
なお、学習対生成装置３０により、例えば、入力画像に動きぼけとともに、ノイズが付加されて生徒画像が生成されるようにしてもよい。
【００４１】
学習対生成装置３０には、例えば、静止画像が複数供給され、上述したように学習対が生成されていく。そして、生成された学習対が、図１の学習装置１０に、生徒画像と教師画像として供給されることになる。
【００４２】
図１に戻って、生徒画像のデータは、回帰係数学習部２１、回帰予測部２３、判別係数学習部２５、判別予測部２７、および動きベクトル検出部２９に供給される。
【００４３】
動きベクトル検出部は、例えば、ブロックマッチング法、勾配法などを用いて生徒画像の動きベクトルを検出する。動きベクトル検出部により検出された動きベクトルは、生徒画像の動きぼけの動きの方向と大きさを表すものであり、回帰係数学習部２１、回帰予測部２３、判別係数学習部２５、および判別予測部２７に供給される。
【００４４】
回帰係数学習部２１は、生徒画像を構成する画素の中から所定の画素を注目画素として設定する。そして、回帰係数学習部２１は、生徒画像の注目画素とその周辺の画素値から、注目画素に対応する教師画像画素値を予測するための回帰予測演算式の係数を、例えば、最小二乗法を用いて学習する。
【００４５】
詳細は後述するが、本発明では、上述の回帰予測演算において、予測値は、学習装置１０によって学習した回帰係数を用いた線形モデルであると仮定する。この際、回帰予測演算において、入力画像の注目画素に対応する複数の画素の値またはそれらの値から得られる特徴量をパラメータとして与えることになる。本発明では、入力画像の注目画素に対応する複数の画素の値と、それらの値から得られる３つの特徴量をこのパラメータとして用いる。入力画像（生徒画像）から抽出した入力画像の注目画素に対応する複数の画素の値と、それらの値から得られる３つの特徴量を４つの抽出値と称することにする。
【００４６】
上述の４つの抽出値はそれぞれ、動き方向に従って抽出した画素値、抽出した画素値の最大値および最小値、抽出した画素値の動き方向に従った微分特徴量の絶対値、並びに抽出した画素値の動き方向に従った微分特徴量の絶対値の最大値とされる。
【００４７】
図３は、上述の４つの抽出値のうちの第１番目の抽出値である動き方向に従って抽出した画素値を説明する図である。図３の例では、ｘｙ平面上に並べられた円によって、生徒画像の画素が示されている。いま、画素値を予測すべき教師画像の画素の位相（座標）に対応する注目画素は、図中中央の黒い（ハッチングされた）円で示された画素であるものとする。
【００４８】
動き方向は、動きベクトル検出部２９により検出された動きベクトルに基づいて特定される。図３においては、動き方向の例として、「垂直動き」、「水平動き」、および「斜め動き」が示されている。
【００４９】
第１番目の抽出値である動き方向に従って抽出した画素値は、動きベクトルに基づいて特定された動き方向に従って、動きベクトルに基づいて特定された動き量に対応する数の画素の値を抽出することにより得られる。動き量は動きベクトルの大きさとされ、例えば、動きベクトルの大きさをｍｖで表わすと、注目画素から３ｍｖから４ｍｖの距離の範囲内に存在する画素の値が抽出される。
【００５０】
なお、動きベクトルは、例えば、（ｍｘ，ｍｙ）の２次元ベクトルで与えられるものとして、動きベクトルの大きさｍｖは、動きベクトルのｘ成分とｙ成分の自乗和の平方根として求められる。
【００５１】
例えば、動きベクトルに基づいて特定された動き方向が「垂直動き」であった場合、図３の注目画素を中心として垂直上下方向の直線上３ｍｖから４ｍｖの距離の範囲内に存在する画素の値が抽出される。動きベクトルに基づいて特定された動き方向が「水平動き」であった場合、図３の注目画素を中心として水平左右方向の直線上３ｍｖから４ｍｖの距離の範囲内に存在する画素の値が抽出される。
【００５２】
例えば、動きベクトルに基づいて特定された動き方向が「斜め動き」であった場合、図３の注目画素を中心として対称となる斜め方向の直線上３ｍｖから４ｍｖの距離の範囲内に存在する画素の値が抽出される。なお、図３の例では、右斜め４５°の方向が「斜め動き」の例とされているが、実際にはもっと多様な「斜め動き」が存在する。
【００５３】
また、動きベクトルに基づいて特定された動き方向が「斜め動き」であった場合、注目画素を中心として対称となる斜め方向の直線上に画素が存在しないときがある。その場合、実在しない画素の値を実在する画素の値に基づいて補完することにより、動き方向に従って抽出した画素値を得るようになされている。
【００５４】
図４は、画素の値の補完を説明する図である。同図は、ｘｙ平面上において、実在する画素を図中「×」で示し、実在しない画素を図中円で示している。例えば、図４に示されるように、注目画素を中心として対称となる斜め方向の直線５１が得られた場合、図中に円で示される位置の実在しない画素の値を抽出する必要がある。
【００５５】
例えば、図中下から２番目の位置の円で示される画素（実在しない画素）の値ｘijは、実在する画素の値ｘ0乃至ｘ3を用いて式（１）により演算される。
【００５６】
【数１】
2011217011.tif 000003
【００５７】
これにより、実在しない画素の値が実在する画素の値に基づいて補完されたことになる。なお、式（１）では、バイリニア法により補完する例について示したが、他の方式で補完されるようにしても構わない。
【００５８】
上述した４つの抽出値のうちの第２番目の抽出値である、抽出した画素値の最大値および最小値は、式（２）と式（３）により求められる。なお、式（２）と式（３）においてｘijが動き方向に従って抽出した画素値のそれぞれを表しており、例えば、ｉ番目の注目画素に対応してｊ個の画素値がそれぞれ抽出されたものとする。
【００５９】
【数２】
2011217011.tif 000004
【数３】
2011217011.tif 000005
【００６０】
式（２）により求められるｘi(max)が抽出した画素値の最大値とされ、式（３）により求められるｘi(min)が抽出した画素値の最小値とされる。
【００６１】
上述した４つの抽出値のうちの第３番目の抽出値である、抽出した画素値の動き方向に従った微分特徴量の絶対値は、例えば、動き方向に従って抽出した画素値のうちの２つの画素値の差分、周辺画素値のダイナミックレンジなどによって求められる。
【００６２】
図５乃至図７は、抽出した画素値の動き方向に従った微分特徴量の絶対値を求める方式の例を説明する図である。
【００６３】
図５と図６は、動き方向に従って抽出した画素値のうちの２つの画素値の差分によって抽出した画素値の動き方向に従った微分特徴量の絶対値を求める方式の例を示している。なお、図５と図６において、動きベクトルに基づいて特定された動き方向は、「水平動き」であったものとする。
【００６４】
図５は隣接する画素の値の差分絶対値（｜ｘij+1−ｘij｜）により画素値の動き方向に従った微分特徴量の絶対値（｜ｘij(mv)｜）が求められる場合の例を示している。このように、動き方向に従って抽出した画素値のそれぞれについて微分特徴量の絶対値が求められていく。なお、図５の場合、正確には、図中「×」で示される座標における微分特徴量の絶対値を意味することになるが、例えば、図中「×」の左側に示される円に対応する画素の値の微分特徴量の絶対値として擬制される。
【００６５】
図６は、隣接しない画素の値の差分絶対値（｜ｘij+1−ｘij-1｜）により画素値の動き方向に従った微分特徴量の絶対値（｜ｘij(mv)｜）が求められる場合の例を示している。このように、動き方向に従って抽出した画素値のそれぞれについて微分特徴量の絶対値が求められていく。なお、図６の場合、図中「×」が付された円に対応する画素の値の微分特徴量の絶対値を意味することになる。
【００６６】
図７は、周辺画素値のダイナミックレンジ（ＤＲ）によって、抽出した画素値の動き方向に従った微分特徴量の絶対値を求める方式の例を示している。なお、図７の場合、図中「×」で示される座標に、動き方向に従って抽出した画素が存在するものとする。そして、動きベクトルに基づいて特定された動き方向に係らず、図中「×」で示される座標から所定の範囲内の画素（実在しない画素も含む）の値の最大値（ｐ(max)）と最小値（ｐ(min)）との差分（ＤＲ）が抽出した画素値の動き方向に従った微分特徴量の絶対値とされる。
【００６７】
この他、例えば、ソーベル演算子を用いて抽出した画素値の動き方向に従った微分特徴量の絶対値が求められるようにしてもよい。
【００６８】
なお、図５乃至図７は、抽出した全画素値のそれぞれについて動き方向に従った微分特徴量の絶対値を求める方式の例を説明したが、例えば、演算規模をより少ないものとするために、主要項についてのみ動き方向に従った微分特徴量の絶対値を求めるようにしてもよい。ここで、主要項は、抽出した全画素値に対応するそれぞれの画素のうち、ぼけ除去に対して特に有効とされる部分を意味する。
【００６９】
図８は、主要項についてのみ動き方向に従った微分特徴量の絶対値を求める方式の例を示す図である。なお、図８において、動きベクトルに基づいて特定された動き方向は、「水平動き」であったものとする。また、図８の例の場合、図５と同様に、隣接する画素の値の差分絶対値により画素値の動き方向に従った微分特徴量の絶対値が求められるものとする。
【００７０】
図８の例では、図中中央に黒い円で示された注目画素を中心として、左右にそれぞれ１／２ｍｖだけ離れた位置、およびそれらの位置からそれぞれさらに１ｍｖだけ離れた位置が主要項とされている。すなわち、図８の例では、図中最も左の円で示される画素（０番目の画素と称する）と、５番目の画素と、１０番目の画素と、１５番目の画素とが主要項とされている。
【００７１】
図８のように微分特徴量の絶対値を求めることで、例えば、第１の抽出値として１７個の画素値が抽出された場合であっても、第３の抽出として得られる、抽出した画素値の動き方向に従った微分特徴量の絶対値は４個とすることができる。このようにすることで、例えば、演算規模を小さくすることができ、コスト削減などにつながる。
【００７２】
上述した４つの抽出値のうちの第４番目の抽出値である、抽出した画素値の動き方向に従った微分特徴量の絶対値の最大値は、式（４）により求められる。なお、式（４）においてｘ(mv)ijが抽出した画素値の動き方向に従った微分特徴量の絶対値のそれぞれを表している。すなわち、例えば、ｉ番目の注目画素に対応してｊ＋１個の画素値がそれぞれ抽出され、それらの画素値のそれぞれについてｊ個の動き方向に従った微分特徴量の絶対値が求められたものとする。
【００７３】
【数４】
2011217011.tif 000006
【００７４】
式（４）により求められる｜ｘi(mv)｜(max)が、抽出した画素値の動き方向に従った微分特徴量の絶対値の最大値とされる。
【００７５】
このようにして４つの抽出値が得られる。
【００７６】
次に、上述した回帰係数の学習について説明する。上述した教師画像画素値を予測するための回帰予測演算式において、例えば、教師画像の画素値ti（i＝１，２，．．N）とし、予測値yi（i＝１，２，．．N）とおくと、式（５）が成立する。ここでNは、生徒画像の画素と教師画像の画素との全サンプル数を表すものとする。
【００７７】
【数５】
2011217011.tif 000007
【００７８】
ここで、εi（i＝１，２，．．N）は、誤差項である。
【００７９】
予測値yiは、回帰係数wを用いた線形モデルを仮定すると、生徒画像から抽出した上述の４つの抽出値をパラメータ（タップとも称する）として用いて、式（６）のように表現できる。
【００８０】
【数６】
2011217011.tif 000008
【００８１】
なお、wTは、行列式として表されるwの転置行列を表している。ｗoは、バイアスパラメータであり、定数項であり、式（６）において、バイアスパラメータｗoは含まれないようにすることも可能である。なお、Mの値は、後述するタップの要素数に対応する。
【００８２】
式（６）において、パラメータ（タップ）として用いられるｘijは、生徒画像の注目画素に対応して得られた動き方向に従って抽出した画素値、抽出した画素値の最大値および最小値、抽出した画素値の動き方向に従った微分特徴量の絶対値、並びに抽出した画素値の動き方向に従った微分特徴量の絶対値の最大値とされる。すなわち、タップｘijは、上述した４つ抽出値をそれぞれ要素とするベクトルとなる。
【００８３】
回帰予測演算式の係数を、最小二乗法を用いて学習する場合、上述したように求められた予測値を式（５）に代入し、式（５）の誤差項の全サンプル分の自乗和を式（７）により演算する。
【００８４】
【数７】
2011217011.tif 000009
【００８５】
そして、式（７）の誤差項の全サンプル分の自乗和Eが最小となるような、回帰係数w（必要に応じてバイアスパラメータｗoを含む）を導出する。
【００８６】
図１に戻って、回帰係数学習部２１は、このようにして回帰係数を求める。回帰係数学習部２１により得られた回帰係数は、回帰予測によって、高画質化された画像の画素値を予測するための演算に用いられる係数とされる。
【００８７】
回帰係数学習部２１により得られた回帰係数は、回帰係数記憶部２２に記憶される。
【００８８】
回帰予測部２３は、生徒画像を構成する画素の中から所定の画素を注目画素として設定する。そして、回帰予測部２３は、上述したタップ（４つの抽出値）を算出する。
【００８９】
回帰予測部２３は、式（６）にタップと回帰係数wを代入して予測値yiを演算する。
【００９０】
ラベリング部２４は、回帰予測部２３により演算された予測値yiを、教師画像の画素値である真値tiと比較する。ラベリング部２４は、例えば、予測値yiが真値ti以上となった注目画素を判別クラスＡとしてラベリングし、予測値yiが真値ti未満となった注目画素を判別クラスＢとしてラベリングする。すなわち、ラベリング部２４は、回帰予測部２３の演算結果に基づいて、生徒画像の各画素を判別クラスＡと判別クラスＢに分類するのである。
【００９１】
図９は、ラベリング部２４の処理を説明するヒストグラムである。同図の横軸は、予測値yiから真値tiを引いた差分値を表し、縦軸は、その差分値が得られたサンプル（教師画像の画素と生徒画像の画素との組み合わせ）の相対頻度を表している。
【００９２】
同図に示されるように、回帰予測部２３の演算により、予測値yiから真値tiを引いた差分値が０となったサンプルの頻度が最も高くなっている。差分値が０である場合、回帰予測部２３により正確な予測値（＝真値）が演算されたことになり、適切に高画質化の処理がなされたことになる。すなわち、回帰係数学習部２１により回帰係数が学習されたので、式（６）により正確な予測値が演算される可能性は高いといえる。
【００９３】
しかし、差分値が０以外のものについては、正確な回帰予測がなされたとはいえない。そうであれば、より適切な回帰係数を学習する余地があると考えられる。
【００９４】
本発明では、例えば、予測値yiが真値ti以上となった注目画素のみを対象として回帰係数を学習すれば、それらの注目画素に対してより適切な回帰係数を学習することができ、予測値yiが真値ti未満となった注目画素のみを対象として回帰係数を学習すれば、それらの注目画素に対してより適切な回帰係数を学習することができると仮定する。このため、ラベリング部２４は、回帰予測部２３の演算結果に基づいて、生徒画像の各画素を判別クラスＡと判別クラスＢに分類する。
【００９５】
そして、この後、判別係数学習部２５の処理によって、生徒画像の画素値に基づいて、各画素を判別クラスＡと判別クラスＢに分類するための予測演算に用いられる係数が学習されるのである。すなわち、本発明においては、真値が不明であっても、入力画像の画素値に基づいて各画素を判別クラスＡと判別クラスＢに分類できるようにするのである。
【００９６】
ここでは、ラベリング部２４が生徒画像の各画素をラベリングすると説明したが、ラベリングの単位は、正確には教師画像の画素値である真値tiに対応する生徒画像から得られたタップ毎に1個ずつラベリングされることになる。
【００９７】
また、ここでは、予測値yiが真値ti以上となった注目画素と、予測値yiが真値ti未満となった注目画素とを判別してラベリングする例について説明したが、他の方式でラベリングするようにしてもよい。例えば、予測値yiと真値tiの差分絶対値が予め設定された閾値未満の値となった注目画素を判別クラスＡとしてラベリングし、予測値yiと真値tiの差分絶対値が予め設定された閾値以上の値となった注目画素を判別クラスＢとしてラベリングするようにしてもよい。さらに、それ以外の方式で注目画素を判別クラスＡと判別クラスＢにラベリングしてもよい。以下では、予測値yiが真値ti以上となった注目画素と、予測値yiが真値ti未満となった注目画素とを判別してラベリングする場合の例について説明する。
【００９８】
図１に戻って、判別係数学習部２５は、生徒画像を構成する画素の中から所定の画素を注目画素として設定する。そして、判別係数学習部２５は、生徒画像の注目画素とその周辺の画素値から、判別クラスＡと判別クラスＢを判定するための予測値の演算に用いられる係数を学習する。
【００９９】
判別係数の学習においては、生徒画像の注目画素とその周辺の画素値から得られる特徴量に基づいて、判別クラスＡと判別クラスＢを判定するための予測値ｙiが式（８）により求められるものとする。
【０１００】
【数８】
2011217011.tif 000010
【０１０１】
なお、zTは、行列式として表されるzの転置行列を表している。zoは、バイアスパラメータであり、定数項である。なお、式（８）において定数項であるバイアスパラメータｚoは含まれないようにすることも可能である。
【０１０２】
式（８）において、パラメータとして用いられるｘiは、上述した４つの抽出値からなるタップである。
【０１０３】
判別係数学習部２５は、式（８）の係数zおよびバイアスパラメータｚoを学習して、判別係数記憶部２６に記憶するようになされている。
【０１０４】
判別予測式の係数は、例えば、判別分析によって導出される。または、最小二乗法を用いて学習するようにしてもよい。
【０１０５】
このようにして得られる判別予測式の係数zは、上述したタップの要素数と同じ要素数のベクトルとなる。判別係数学習部２５により得られた係数zは、所定の注目画素が判別クラスＡまたは判別クラスＢのいずれに属するかを予測するための演算に用いられる係数であり、判別係数zと称することにする。なお、バイアスパラメータｚoも広義の判別係数であるものとし、必要に応じて判別係数zに対応付けられて記憶されるものとする。
【０１０６】
このようにして学習された係数zを用いて判別予測部２７により予測値が演算されて生徒画像の注目画素が判別クラスＡに属するものであるか判別クラスＢに属するものであるかを判定することができる。判別予測部２７は、式（８）にタップと判別係数z（必要に応じてバイアスパラメータｚoも含む）を代入して予測値yiを演算する。
【０１０７】
そして、判別予測部２７による演算の結果、予測値yiが０以上となったタップの注目画素は、判別クラスＡに属する画素であり、予測値yiが０未満となったタップの注目画素は、判別クラスＢに属する画素であるものと推定できる。
【０１０８】
しかしながら、判別予測部２７による演算の結果に基づく推定が必ずしも真実であるとは限らない。すなわち、式（８）にタップと判別係数zを代入して演算された予測値yiは、教師画像の画素値（真値）に係らず、生徒画像の画素値から予測した結果であるから、実際には判別クラスＡに属する画素が判別クラスＢに属する画素として推定されてしまったり、実際には判別クラスＢに属する画素が判別クラスＡに属する画素として推定されてしまうことがある。
【０１０９】
そこで、本発明においては、反復して判別係数を学習させることにより、より精度の高い予測を可能とする。
【０１１０】
すなわち、クラス分割部２８が、判別予測部２７の予測結果に基づいて、生徒画像を構成する各画素を、判別クラスＡに属する画素と判別クラスＢに属する画素とに分割する。
【０１１１】
そして、回帰係数学習部２１が、クラス分割部２８により判別クラスＡに属する画素のみを対象として、上述した場合と同様に回帰係数を学習して回帰係数記憶部２２に記憶する。回帰予測部２３は、クラス分割部２８により判別クラスＡに属するとされた画素のみを対象として、上述した場合と同様に回帰予測による予測値を演算する。
【０１１２】
このようにして、得られた予測値と真値とを比較して、ラベリング部２４がクラス分割部２８により判別クラスＡに属するとされた画素を、さらに判別クラスＡと判別クラスＢにラベリングする。
【０１１３】
また、回帰係数学習部２１が、クラス分割部２８により判別クラスＢに属するとされた画素のみを対象として、上述した場合と同様に回帰係数を学習する。回帰予測部２３は、クラス分割部２８により判別クラスＢに属するとされた画素のみを対象として、上述した場合と同様に回帰予測による予測値を演算する。
【０１１４】
このようにして、得られた予測値と真値とを比較して、ラベリング部２４がクラス分割部２８により判別クラスＢに属するとされた画素を、さらに判別クラスＡと判別クラスＢにラベリングする。
【０１１５】
つまり、生徒画像の画素が、４つの集合に分割されることになる。第１の集合は、クラス分割部２８により判別クラスＡに属するとされた画素であって、ラベリング部２４により判別クラスＡにラベリングされた画素の集合とされる。第２の集合は、クラス分割部２８により判別クラスＡに属するとされた画素であって、ラベリング部２４により判別クラスＢにラベリングされた画素の集合とされる。第３の集合は、クラス分割部２８により判別クラスＢに属するとされた画素であって、ラベリング部２４により判別クラスＡにラベリングされた画素の集合とされる。第４の集合は、クラス分割部２８により判別クラスＢに属するとされた画素であって、ラベリング部２４により判別クラスＢにラベリングされた画素の集合とされる。
【０１１６】
この後、判別係数学習部２５は、上述した４つの集合のうち、第１の集合と第２の集合に基づいて、あらためて判別係数を、上述した場合と同様にして学習する。また、判別係数学習部２５は、上述した４つの集合のうち、第３の集合と第４の集合に基づいて、あらためて判別係数を、上述した場合と同様にして学習する。
【０１１７】
図１０と図１１は、反復して行われる判別係数の学習を説明する図である。
【０１１８】
図１０は、生徒画像から得られたタップ値であって、タップ値１を横軸とし、タップ値２を縦軸として生徒画像のタップのそれぞれを表す空間を示した図である。すなわち、同図においては、説明を簡単にするために、仮想的にタップの要素数を２個として生徒画像において存在し得る全てのタップを２次元空間上に表している。従って、同図においては、タップが２個の要素からなるベクトルであるものと仮定する。
【０１１９】
同図に示される円７１は、ラベリング部２４が最初に判別クラスＡとラベリングした画素に対応するタップの集合を表しており、円７２は、ラベリング部２４が最初に判別クラスＢとラベリングした画素に対応するタップの集合を表している。円７１に示される記号７３は、円７１に含まれるタップの要素の値の平均値の位置を表しており、円７１に示される記号７４は、円７２に含まれるタップの要素の値の平均値の位置を表している。
【０１２０】
同図に示されるように、円７１と円７２は、互いに重なり合っているので、生徒画像から得られたタップの要素の値のみに基づいて、正確に判別クラスＡとラベリングした画素に対応するタップと判別クラスＢとラベリングした画素に対応するタップとを判別することはできなかったことになる。
【０１２１】
しかしながら、記号７３と記号７４とに基づいて、おおよそ２つのクラスを判別するための境界線７５を特定することは可能である。ここで、境界線７５を特定する処理が、判別係数学習部２５により行われる第１回目の学習により得られた判別係数を用いた判別予測部２７の判別予測の処理に対応することになる。なお、境界線７５上に位置するタップが、式（８）により演算された予測値ｙiが０となったタップである。
【０１２２】
境界線７５の図中右側に位置するタップの集合を識別するために、クラス分割部２８がそれらのタップに対応する画素にクラスコードビット１を付与する。また、境界線７５の図中左側に位置するタップの集合を識別するために、図１のクラス分割部２８がそれらのタップに対応する画素にクラスコードビット０を付与する。
【０１２３】
なお、第１回目の学習により得られた判別係数は、第１回目の判別予測に用いられる判別係数であることを表すコードなどに対応付けられて、図１の判別係数記憶部２６に記憶される。また、第１回目の判別予測の結果に基づいて、クラスコードビット１が付与された画素のみに基づいて、あらためて回帰係数が学習されて回帰予測が行われる。同様に、第１回目の判別予測の結果に基づいて、クラスコードビット０が付与された画素のみに基づいて、あらためて回帰係数が学習されて回帰予測が行われる。
【０１２４】
そして、クラスコードビット１が付与された画素群と、クラスコードビット０が付与された画素群のそれぞれに基づいて判別係数の学習が繰り返される。その結果、クラスコードビット１が付与された画素群がさらに２つに分割され、クラスコードビット２が付与された画素群もさらに２つに分割されることになる。このときの分割は、判別係数学習部２５により行われる第２回目の学習により得られた判別係数を用いた判別予測部２７の判別予測によりなされることになる。
【０１２５】
なお、第２回目の学習により得られた判別係数は、第２回目の判別予測に用いられる判別係数であることを表すコードなどに対応付けられて、図１の判別係数記憶部２６に記憶される。第２回目の学習により得られる判別係数は、第１回目の判別予測によりクラスコードビット１が付与された画素群と、第１回目の判別予測によりクラスコードビット０が付与された画素群のそれぞれを対象として行われる判別予測に用いられるので、いずれの画素群を対象とする判別予測に用いられるものであるのかを表すコードなどに対応付けられて、図１の判別係数記憶部２６に記憶される。すなわち、第２回目の判別予測に用いられる判別係数は、２種類記憶されることになる。
【０１２６】
また、第１回目と第２回目の判別予測の結果に基づいて、クラスコードビット１１が付与された画素のみに基づいて、あらためて回帰係数が学習されて回帰予測が行われることになる。同様に、第１回目と第２回目の判別予測の結果に基づいて、クラスコードビット１０が付与された画素のみに基づいて、あらためて回帰係数が学習されて回帰予測が行われることになる。さらに、第１回目と第２回目の判別予測の結果に基づいて、クラスコードビット０１が付与された画素のみに基づいて、あらためて回帰係数が学習されて回帰予測が行われ、クラスコードビット００が付与された画素のみに基づいて、あらためて回帰係数が学習されて回帰予測が行われることになる。
【０１２７】
このような処理を繰り返すことにより、図１０に示される空間が図１１に示されるように分割される。
【０１２８】
図１１は、図１０と同様に、タップ値１を横軸とし、タップ値２を縦軸として生徒画像のタップのそれぞれを表す空間を示した図である。同図では、判別係数学習部２５により３回反復して判別係数の学習が行われた場合の例が示されている。すなわち、第１回目の学習により得られた判別係数を用いた判別予測により境界線７５が特定され、第２回目の学習により得られた判別係数を用いた判別予測により境界線７６−１と境界線７６−２が特定される。第３回目の学習により得られた判別係数を用いた判別予測により境界線７７−１乃至境界線７７−４が特定される。
【０１２９】
図１のクラス分割部２８は、境界線７５により分割されたタップの集合を識別するために、第１ビット目のクラスコードビットを付与し、境界線７６−１と境界線７６−２により分割されたタップの集合を識別するために、第２ビット目のクラスコードビットを付与し、境界線７７−１乃至境界線７７−４により分割されたタップの集合を識別するために、第３ビット目のクラスコードビットを付与する。
【０１３０】
従って、図１１に示されるように、生徒画像から得られたタップのそれぞれは、３ビットのクラスコードに基づいて特定されるクラス番号Ｃ0乃至Ｃ7の８つのクラスに分割（分類）されることになる。
【０１３１】
図１１に示されるようにクラス分類された場合、図１の判別係数記憶部２６に、第１回目の判別予測に用いられる判別係数が１種類記憶され、第２回目の判別予測に用いられる判別係数が２種類記憶され、第３回目の判別予測に用いられる判別係数が４種類記憶されていることになる。
【０１３２】
また、図１１に示されるようにクラス分類された場合、図１の回帰係数記憶部２２に、クラス番号Ｃ0乃至Ｃ7のそれぞれに対応する８種類の回帰係数が記憶されていることになる。ここで、クラス番号Ｃ0乃至Ｃ7のそれぞれに対応する８種類の回帰係数は、第３回目の判別予測の結果、クラス番号Ｃ0乃至Ｃ7のそれぞれに分類された生徒画像の注目画素のタップと、注目画素に対応する教師画像の画素値とをサンプルとし、それぞれのクラス番号毎にあらためて回帰係数の学習が行われて記憶される。
【０１３３】
このように、生徒画像と教師画像を用いて予め判別係数を学習しておき、入力された画像について反復して判別予測を繰り返せば、入力画像の画素をクラス番号Ｃ0乃至Ｃ7の８つのクラスに分類することが可能となる。そして、８つのクラスに分類された画素に対応するタップと、それぞれのクラスに対応する回帰係数を用いて回帰予測を行えば、適切な高画質化処理を行うことが可能となる。
【０１３４】
図１２は、入力画像を図１１のようにクラス分類する場合の例を、２分木構造を用いて説明する図である。入力画像の各画素が、第１回目の判別予測によって、第１ビットのクラスコードビット１または０が付与された画素に分類される。このとき、判別予測に用いられる判別係数は、反復コード１に対応する判別係数として図１の判別係数記憶部２６に記憶されているものとする。
【０１３５】
第１ビットのクラスコードビット１が付与された画素は、第２ビットのクラスコードビット１または０が付与された画素にさらに分類される。このとき、判別予測に用いられる判別係数は、反復コード２１に対応する判別係数として図１の判別係数記憶部２６に記憶されているものとする。同様に、第１ビットのクラスコードビット０が付与された画素は、第２ビットのクラスコードビット１または０が付与された画素にさらに分類される。このとき、判別予測に用いられる判別係数は、反復コード２２に対応する判別係数として図１の判別係数記憶部２６に記憶されているものとする。
【０１３６】
第１ビットおよび第２ビットのクラスコードビット１１が付与された画素は、第３ビットのクラスコードビット１または０が付与された画素にさらに分類される。このとき、判別予測に用いられる判別係数は、反復コード３１に対応する判別係数として図１の判別係数記憶部２６に記憶されているものとする。第１ビットおよび第２ビットのクラスコードビット１０が付与された画素は、第３ビットのクラスコードビット１または０が付与された画素にさらに分類される。このとき、判別予測に用いられる判別係数は、反復コード３２に対応する判別係数として図１の判別係数記憶部２６に記憶されているものとする。
【０１３７】
同様に、第１ビットおよび第２ビットのクラスコードビット０１または００が付与された画素も、第３ビットのクラスコードビット１または０が付与された画素にさらに分類される。そして、反復コード３３または反復コード３４に対応する判別係数が図１の判別係数記憶部２６に記憶されているものとする。
【０１３８】
このように、３回反復して判別を行うことにより、入力画像の画素のそれぞれに３ビットからなるクラスコードが設定され、クラス番号が特定される。そして特定されたクラス番号に対応する回帰係数も特定される。
【０１３９】
この例では、クラスコードビットを反復回数順に、上位から下位ビットに繋げた値がクラス番号に対応している。従って、最終的なクラスコードに対応するクラス番号Ｃkは、例えば、式（９）のようにして特定される。
【０１４０】
【数９】
2011217011.tif 000011
【０１４１】
また、図１２に示されるように，反復回数ｐと最終的なクラス数Ｎcとの関係は、式（１０）により表される。
【０１４２】
【数１０】
2011217011.tif 000012
【０１４３】
なお、最終的なクラス数Ｎcは、最終的に使用する回帰係数の総数Ｎmと等しくなる。
【０１４４】
判別係数の総数Ｎdは、式（１１）により表される。
【０１４５】
【数１１】
2011217011.tif 000013
【０１４６】
なお、後述する画像処理装置を用いた高画質化処理における判別予測において、適応的に反復回数を減らすことで、処理のロバスト化や高速化を図ることも可能である。そのようにする場合には図１２の各分岐において用いられた回帰係数も必要になるので、回帰係数の総数Ｎmは式（１２）により表されるものとなる。
【０１４７】
【数１２】
2011217011.tif 000014
【０１４８】
ここでは、主として、判別係数の学習が３回反復して行われる例について説明したが、反復回数は、１回であってもよい。すなわち、第１回目の判別係数の学習が終了した後、判別係数学習部２５による判別係数の演算、判別予測部２７による判別予測が繰り返し実行されないようにしてもよい。
【０１４９】
図１３は、本発明の一実施の形態に係る画像処理装置の構成例を示すブロック図である。
同図の画像処理装置１００は、図１の学習装置１０に対応する画像処理装置とされる。すなわち、画像処理装置１００は、学習装置１０により学習された判別係数を用いて入力画像の各画素のそれぞれのクラスを判別する。そして、画像処理装置１００は、判別されたクラスに対応する回帰係数であって、学習装置１０により学習された回帰係数を用いて入力画像から得られるタップの回帰予測演算を行い、入力画像を高画質化する画像処理を行うようになされている。
【０１５０】
すなわち、画像処理装置１００の判別係数記憶部１２２には、学習装置１０の判別係数記憶部２６に記憶されていた判別係数が予め記憶される。画像処理装置１００の回帰係数記憶部１２４には、学習装置１０の回帰係数記憶部２２に記憶されていた回帰係数が予め記憶される。
【０１５１】
また、画像処理装置１００には、動きベクトル検出部１２６が設けられており、動きベクトル検出部１２６は、例えば、ブロックマッチング法、勾配法などを用いて生徒画像の動きベクトルを検出する。動きベクトル検出部により検出された動きベクトルは、生徒画像の動きぼけの動きの方向と大きさを表すものであり、判別予測部１２１および回帰予測部１２５に供給される。そして、動きベクトルは、上述したように、タップを取得する際に用いられることになる。
【０１５２】
同図の判別予測部１２１は、入力画像において注目画素を設定し、注目画素に対応するタップを取得して式（８）を参照して予測した演算を行う。ここでのタップは、やはり上述の４つの抽出値とされる。すなわち、動き方向に従って抽出した画素値、抽出した画素値の最大値および最小値、抽出した画素値の動き方向に従った微分特徴量の絶対値、並びに抽出した画素値の動き方向に従った微分特徴量の絶対値の最大値とされる。
【０１５３】
このとき、判別予測部１２１は、反復回数と判別予測の対象とする画素群に基づいて反復コードを特定し、判別係数記憶部１２２から反復コードに対応する判別係数を読み出すようになされている。
【０１５４】
クラス分割部１２３は、判別予測部１２１の予測結果に基づいて、注目画素にクラスコードビットを付与していくことで、入力画像の画素を２つの集合に分割する。このとき、上述したように、例えば、式（８）により演算された予測値yiと０との大小比較を行って、注目画素にクラスコードビットが付与される。
【０１５５】
クラス分割部１２３の処理を経て、判別予測部１２１は、反復して判別予測を行い、クラス分割部１２３によってさらなる分割がなされる。判別予測は、予め設定された回数だけ反復して行われる。例えば、判別予測が３回反復して行われる場合、例えば、図１１または図１２を参照して上述したように、入力画像が３ビットのクラスコードのクラス番号に対応する画素群に分類されることになる。
【０１５６】
なお、画像処理装置１００における判別予測の反復回数は、学習装置１０による判別係数の学習の反復回数と同じとなるように設定される。
【０１５７】
クラス分割部１２３は、入力画像の各画素を特定する情報とその画素のクラス番号とを対応付けて回帰係数記憶部１２４に供給するようになされている。
【０１５８】
回帰予測部１２５は、入力画像において注目画素を設定し、注目画素に対応するタップを取得して式（６）を参照して予測した演算を行う。このとき、回帰予測部１２５は、注目画素を特定する情報を回帰係数記憶部１２４に供給して、その注目画素のクラス番号に対応する回帰係数を、回帰係数記憶部１２４から読み出すようになされている。
【０１５９】
そして、回帰予測部１２５の演算により得られた予測値を、注目画素に対応する画素の値とする出力画像が生成される。これにより、入力画像が高画質化された出力画像が得られることになる。
【０１６０】
このように、本発明によれば、入力画像に対して判別予測を行うことにより、入力画像を構成する各画素（実際には、注目画素に対応するタップ）を、高画質化処理に適したクラスに分類することができる。
【０１６１】
例えば、従来の技術のように、予め各種の動きぼけ除去処理を施しておく場合には、動きの方向や大きさに応じて多数のバリエーションを用意する必要がある。また、反復演算を行う場合も何度も処理を繰り返すために、結果として回路規模の増大や処理時間の増大につながる傾向がある。
【０１６２】
また、動きぼけ除去処理のバリエーションの中から1つを選択する際の基準や、反復演算を止める際の基準も一律に決めることは難しく、劣化が残ることや画像のディテール感を損なう場合が多い。
【０１６３】
これに対して、本発明では、動きの方向や大きさに応じて処理を変える必要がなく、回路規模を適性なものとすることができる。また、処理を選択する際の基準や、反復演算を止める際の基準なども必要なく、画像に劣化が残ったり、画像のディテール感を損なわれることもない。
【０１６４】
さらに、本発明では、反復して判別予測を行うことにより、より適切にクラス分類することが可能となる。また、反復して行われる判別予測の処理の途中において、入力画像の画素値などに処理を施した中間データなどを生成する必要がないので、処理を高速化することが可能である。すなわち、出力画像を予測する際に，どの画素に対しても高々（ｐ＋１）回の予測式の演算で、クラス分類と回帰予測を行うことができるので高速な処理が可能である。また、クラス分類と回帰予測を行う際に、タップの演算の中間データなどを用いることなく、常に入力に対する演算のみで完結しているために、実装においてパイプライン構造を利用することが可能となる。
【０１６５】
次に、図１４のフローチャートを参照して、判別係数回帰係数学習処理の詳細について説明する。この処理は、図１の学習装置１０により実行される。
【０１６６】
ステップＳ１０１において、判別係数学習部２５は、反復コードを特定する。いまの場合、第１回目の学習の処理であるから反復コードは１と特定される。
【０１６７】
ステップＳ１０２において、回帰係数学習部２１乃至ラベリング部２４は、図１５を参照して後述するラベリング処理を実行する。ここで、図１５のフローチャートを参照して図１４のステップＳ１０２のラベリング処理の詳細な例について説明する。
【０１６８】
ステップＳ１３１において、回帰係数学習部２１は、図１６を参照して後述する回帰係数演算処理を実行する。これにより、生徒画像の画素値に基づいて教師画像の画素値を予測するための演算に用いられる回帰係数が求められる。
【０１６９】
ステップＳ１３２において、回帰予測部２３は、ステップＳ１３１の処理により求められた回帰係数を用いて回帰予測値を演算する。このとき、例えば、式（６）の演算が行われ、予測値ｙiが求められる。
【０１７０】
ステップＳ１３３において、ラベリング部２４は、ステップＳ１３２の処理により得られた予測値yiを、教師画像の画素値である真値tiと比較する。
【０１７１】
ステップＳ１３４において、ラベリング部２４は、ステップＳ１３３の比較結果に基づいて、注目画素（実際には、注目画素に対応するタップ）を判別クラスＡまたは判別クラスＢにラベリングする。これにより、例えば、図９を参照して上述したように、判別クラスＡまたは判別クラスＢのラベリングがなされる。
【０１７２】
なお、ステップＳ１３２乃至ステップＳ１３４の処理は、反復コードに対応して定まる処理対象の画素のそれぞれを対象として行われる。
【０１７３】
このようにしてラベリング処理が実行される。
【０１７４】
次に、図１６のフローチャートを参照して、図１５のステップＳ１３１の回帰係数演算処理の詳細な例について説明する。
【０１７５】
ステップＳ１５１において、回帰係数学習部２１は、ステップＳ１０１の処理で特定された反復コードに対応するサンプルを特定する。ここでの、サンプルは、生徒画像の注目画素に対応するタップと、その注目画素に対応する教師画像の画素との組み合わせを意味する。なお、タップは、動きベクトル検出部２９により検出された動きベクトルに基づいて取得される。
【０１７６】
例えば、反復コードが１であれば、第１回目の学習の処理なので、生徒画像の全画素のそれぞれを注目画素としてサンプルが特定される。例えば、反復コードが２１であれば、第２回目の学習の処理の一部なので、生徒画像の画素のうち、１回目の学習の処理でクラスコードビット１が付与された画素のそれぞれを注目画素としてサンプルが特定される。例えば、反復コードが３４であれば、第３回目の学習の処理の一部なので、生徒画像の画素のうち、１回目の学習の処理でクラスコードビット０が付与され、２回目の学習の処理でクラスコードビット０が付与された画素のそれぞれを注目画素としてサンプルが特定される。
【０１７７】
ステップＳ１５２において、回帰係数学習部２１は、ステップＳ１５１の処理で特定されたサンプルの足しこみを行う。このとき、例えば、式（５）にサンプルのタップと教師画像の画素値が足しこまれていく。
【０１７８】
ステップＳ１５３において、回帰係数学習部２１は、全サンプルを足しこんだか否かを判定し、全サンプルを足しこんだと判定されるまで、ステップＳ１５２の処理が繰り返し実行される。
【０１７９】
ステップＳ１５４において、回帰係数学習部２１は、例えば、式（７）の演算を行い、最小二乗法を用いて、回帰係数を導出する。
【０１８０】
このようにして、回帰係数演算処理が実行される。
【０１８１】
以上により図１４のステップＳ１０２のラベリング処理が終了し、処理は、図１４のステップＳ１０３の判別係数演算処理に進む。
【０１８２】
ステップＳ１０３において、判別係数学習部２５は、図１７を参照して後述する判別係数演算処理を実行する。ここで、図１７のフローチャートを参照して、図１４のステップＳ１０３の判別係数演算処理の詳細な例について説明する。
【０１８３】
ステップＳ１７１において、判別係数学習部２５は、ステップＳ１０１の処理で特定された反復コードに対応するサンプルを特定する。ここでの、サンプルは、生徒画像の注目画素に対応するタップと、注目画素についての判別クラスＡまたは判別クラスＢのラベリングの結果との組み合わせを意味する。
【０１８４】
例えば、反復コードが１であれば、第１回目の学習の処理なので、生徒画像の全画素のそれぞれを注目画素としてサンプルが特定される。例えば、反復コードが２１であれば、第２回目の学習の処理の一部なので、生徒画像の画素のうち、１回目の学習の処理でクラスコードビット１が付与された画素のそれぞれを注目画素としてサンプルが特定される。例えば、反復コードが３４であれば、第３回目の学習の処理の一部なので、生徒画像の画素のうち、１回目の学習の処理でクラスコードビット０が付与され、２回目の学習の処理でクラスコードビット０が付与された画素のそれぞれを注目画素としてサンプルが特定される。
【０１８５】
ステップＳ１７２において、判別係数学習部２５は、ステップＳ１７１の処理で特定されたサンプルの足しこみを行う。
【０１８６】
ステップＳ１７３において、判別係数学習部２５は、全サンプルを足しこんだか否かを判定し、全サンプルを足しこんだと判定されるまで、ステップＳ１７２の処理が繰り返し実行される。
【０１８７】
ステップＳ１７４において、判別係数学習部２５は、例えば、判別分析により（最小二乗法を用いてもよい）、判別係数を導出する。
【０１８８】
このようにして、判別係数演算処理が実行される。
【０１８９】
図１４に戻って、ステップＳ１０４において、判別予測部２７は、ステップＳ１０３の処理により求められた係数と、生徒画像から得られるタップを用いて、判別予測値を演算する。このとき、例えば、式（８）の演算が行われ、予測値ｙi（判別予測値）が求められる。
【０１９０】
ステップＳ１０５において、クラス分割部２８は、ステップＳ１０４の処理により求められた判別予測値が０以上であるか否かを判定する。
【０１９１】
ステップＳ１０５において、判別予測値が０以上であると判定された場合、処理は、ステップＳ１０６に進み、当該注目画素（実際にはタップ）にクラスコードビット１が設定される。一方、ステップＳ１０５において、判別予測値が０未満であると判定された場合、処理は、ステップＳ１０７に進み、当該注目画素（実際にはタップ）にクラスコードビット０が設定される。
【０１９２】
なお、ステップＳ１０４乃至ステップＳ１０７の処理は、反復コードに対応して定まる処理対象の画素のそれぞれを対象として行われる。
【０１９３】
ステップＳ１０６、またはステップＳ１０７の処理の後、処理は、ステップＳ１０８に進み、判別係数記憶部２６は、ステップＳ１０３の処理で求められた判別係数を、ステップＳ１０１で特定された反復コードに対応付けて記憶する。
【０１９４】
ステップＳ１０９において、学習装置１０は、反復が終了したか否かを判定する。例えば、３回反復して学習することが予め設定されている場合、まだ、反復が終了していないと判定され、処理は、ステップＳ１０１に戻る。
【０１９５】
そして、ステップＳ１０１において、あらためて反復コードが特定される。いまの場合、第２回目の学習の最初の処理であるから、反復コードは２１と特定される。
【０１９６】
そして、同様に、ステップＳ１０２乃至Ｓ１０８の処理が実行される。このとき、上述したように、ステップＳ１０２の処理と、ステップＳ１０３の処理では、生徒画像の画素のうち、１回目の学習の処理でクラスコードビット１が付与された画素のそれぞれを注目画素としてサンプルが特定されることになる。
【０１９７】
そして、ステップＳ１０９で反復が終了したか否かが判定される。
【０１９８】
このように、ステップＳ１０９において反復が終了したと判定されるまで、ステップＳ１０１乃至Ｓ１０８の処理が繰り返し実行される。３回反復して学習することが予め設定されている場合、ステップＳ１０１で反復コードは３４であると特定された後、ステップＳ１０２乃至Ｓ１０８の処理が実行され、ステップＳ１０９において、反復は終了したと判定されることになる。
【０１９９】
このように、ステップＳ１０１乃至Ｓ１０９の処理が繰り返し実行されたことにより、図９を参照して上述したように、７種類の判別係数が、それぞれ反復コードに対応付けられて判別係数記憶部２６に記憶されたことになる。
【０２００】
ステップＳ１０９において、反復は終了したと判定された場合、処理は、ステップＳ１１０に進む。
【０２０１】
ステップＳ１１０において、回帰係数学習部２１は、回帰係数演算処理を実行する。この処理は、図１６のフローチャートを参照して上述した場合と同様なので、詳細な説明は省略するが、いまの場合、ステップＳ１５１では、反復コードに対応するサンプルが特定されるのではなく、各クラス番号に対応するサンプルがそれぞれ特定される。
【０２０２】
すなわち、ステップＳ１０１乃至Ｓ１０９の処理が繰り返し実行されたことにより、図９を参照して上述したように、生徒画像の各画素は、クラス番号Ｃ0乃至Ｃ7のいずれかのクラスに分類されたことになる。従って、生徒画像のクラス番号Ｃ0の画素を、注目画素としてサンプルが特定されて、第１の回帰係数が導出される。また、生徒画像のクラス番号Ｃ１の画素を、注目画素としてサンプルが特定されて、第２の回帰係数が導出され、生徒画像のクラス番号Ｃ２の画素を、注目画素としてサンプルが特定されて、第３の回帰係数が導出され、・・・生徒画像のクラス番号Ｃ７の画素を、注目画素としてサンプルが特定されて、第８の回帰係数が導出される。
【０２０３】
つまり、ステップＳ１１０の回帰係数演算処理においては、クラス番号Ｃ0乃至Ｃ7のそれぞれに対応する８種類の回帰係数が求められることになる。
【０２０４】
ステップＳ１１１において、回帰係数記憶部２２は、ステップＳ１１０の処理により求められた８種類の回帰係数のそれぞれを、クラス番号に対応付けて記憶する。
【０２０５】
このようにして、判別回帰係数学習処理が実行される。
【０２０６】
なお、ここでは、主として、判別係数の学習が３回反復して行われる例について説明したが、反復回数は、１回であってもよい。すなわち、第１回目の判別係数の学習が終了した後、判別係数学習部２５による判別係数の演算、判別予測部２７による判別予測が繰り返し実行されないようにしてもよい。
【０２０７】
次に、図１８のフローチャートを参照して、判別回帰予測処理の例について説明する。この処理は、図１３の画像処理装置１００により実行される。また、処理の実行に先立って、画像処理装置１００の判別係数記憶部１２２と回帰係数記憶部１２４には、それぞれ、図１４の判別回帰係数学習処理によって、判別係数記憶部２６に記憶された７種類の判別係数と、回帰係数記憶部２２に記憶された８種類の回帰係数とが記憶されているものとする。
【０２０８】
ステップＳ１９１において、判別予測部１２１は、反復コードを特定する。いまの場合、第１回目の判別の処理であるから反復コードは１と特定される。
【０２０９】
ステップＳ１９２において、判別予測部１２１は、図１９を参照して後述する判別処理を実行する。ここで、図１９のフローチャートを参照して、図１８のステップＳ１９２の判別処理の詳細な例について説明する。
【０２１０】
ステップＳ２１１において、判別予測部１２１は、反復コードに対応する注目画素を設定する。例えば、反復コードが１であれば、第１回目の判別の処理なので、入力画像の全画素のそれぞれが注目画素として設定される。例えば、反復コードが２１であれば、第２回目の判別の処理の一部なので、入力画像の画素のうち、１回目の判別の処理でクラスコードビット１が付与された画素のそれぞれが注目画素として設定される。例えば、反復コードが３４であれば、第３回目の判別の処理の一部なので、入力画像の画素のうち、１回目の判別の処理でクラスコードビット０が付与され、２回目の判別の処理でクラスコードビット０が付与された画素のそれぞれが注目画素として設定される。
【０２１１】
ステップＳ２１２において、判別予測部１２１は、ステップＳ２１１で設定された注目画素に対応するタップを取得する。このとき、動きベクトル検出部１２６により検出された動きベクトルに基づいてタップが取得される。
【０２１２】
ステップＳ２１３において、判別予測部１２１は、ステップＳ２１１の処理で特定された反復コードに対応する判別係数を特定し、判別係数記憶部１２２から読み出す。
【０２１３】
ステップＳ２１４において、判別予測部１２１は、判別予測値を演算する。このとき、例えば、上述した式（８）の演算が行われることになる。
【０２１４】
ステップＳ２１５において、クラス分割部１２３は、ステップＳ２１４の処理で演算された判別予測値に基づいて、注目画素にクラスコードビットを設定（付与）する。このとき、上述したように、例えば、式（８）により演算された予測値yiと０との大小比較を行って、注目画素にクラスコードビットが付与される。
【０２１５】
なお、ステップＳ２１１乃至ステップＳ２１５の処理は、反復コードに対応して定まる処理対象の画素のそれぞれを対象として行われる。
【０２１６】
このようにして、判別処理が実行される。
【０２１７】
図１８に戻って、ステップＳ１９２の処理の後、ステップＳ１９３において、判別予測部１２１は、反復が終了したか否かを判定する。例えば、３回反復して学習することが予め設定されている場合、まだ、反復が終了していないと判定され、処理は、ステップＳ１９１に戻る。
【０２１８】
この後、ステップＳ１９１では反復コードが２１と特定され、同様に、ステップＳ１９２の処理が実行される。このとき、上述したように、ステップＳ１９２の処理では、入力画像の画素のうち、１回目の判別の処理でクラスコードビット１が付与された画素のそれぞれが注目画素として設定されることになる。
【０２１９】
そして、ステップＳ１９３で反復が終了したか否かが判定される。
【０２２０】
このように、ステップＳ１９３において反復が終了したと判定されるまで、ステップＳ１９１乃至Ｓ１９３の処理が繰り返し実行される。３回反復して学習することが予め設定されている場合、ステップＳ１９１で反復コードは３４であると特定された後、ステップＳ１９２の処理が実行され、ステップＳ１９３において、反復は終了したと判定されることになる。
【０２２１】
ステップＳ１９３においては、反復が終了したと判定された場合、処理は、ステップＳ１９４に進む。なお、ここまでの処理により、図１１または図１２を参照して上述したように、入力画像が３ビットのクラスコードのクラス番号に対応する画素群に分類されていることになる。また、上述したように、クラス分割部１２３は、入力画像の各画素を特定する情報とその画素のクラス番号とを対応付けて回帰係数記憶部１２４に供給するようになされている。
【０２２２】
ステップＳ１９４において、回帰予測部１２５は、入力画像において注目画素を設定する。
【０２２３】
ステップＳ１９５において、回帰予測部１２５は、ステップＳ１９４で設定された注目画素に対応するタップを取得する。このとき、動きベクトル検出部１２６により検出された動きベクトルに基づいてタップが取得される。
【０２２４】
ステップＳ１９６において、回帰予測部１２５は、ステップＳ１９４で設定された注目画素を特定する情報を回帰係数記憶部１２４に供給して、その注目画素のクラス番号に対応する回帰係数を特定し、回帰係数記憶部１２４から読み出す。
【０２２５】
ステップＳ１９７において、回帰予測部１２５は、ステップＳ１９５で取得したタップと、ステップＳ１９６で特定して読み出した回帰係数を用いて式（６）の演算を行い、回帰予測値を演算する。
【０２２６】
なお、ステップＳ１９１乃至ステップＳ１９７の処理は、入力画像の各画素のそれぞれを対象として行われる。
【０２２７】
そして、回帰予測部１２５の演算により得られた予測値を、注目画素に対応する画素の値とする出力画像が生成される。これにより、入力画像が高画質化された出力画像が得られることになる。
【０２２８】
このようにして判別予測処理が実行される。このようにすることで、画像の高画質化処理を、より効率的で高速に行うことができる。
【０２２９】
次に、図２０乃至図２２を参照して、本発明の学習装置１０と画像処理装置１００を用いた高画質化処理の効果を説明する。
【０２３０】
図２０は、動きぼけのある画像の例を示している。同図の例では、建物（塔）の画像に動きぼけが生じている。
【０２３１】
図２１は、図２０に示される画像に対して、一般的な逆フィルタ方式によって動きぼけを除去する処理を施した結果得られた画像を示している。同図に示される画像は、図２０の画像と比較して、ある程度ぼけが除去されているものの、リンギングによる画像の劣化が生じている。
【０２３２】
図２２は、図２０に示される画像を入力画像とし、図１３に示される画像処理装置１００を用いて判別回帰予測処理を施して、動きぼけを除去した画像を示している。同図に示される画像では、図２０の画像と比較してぼけが除去されており、かつ、図２１に示される画像のようにリンギングによる画像の劣化が生じていない。
【０２３３】
このように、本発明による高画質化処理を施すことにより、動きぼけを効果的に除去することができる。
【０２３４】
図１３を参照して上述した画像処理装置は、例えば、高画質化回路としてテレビジョン受像機に搭載することも可能である。図２３は、図１３を参照して上述した画像処理装置を搭載したテレビジョン受像機５１１の構成例を示すブロック図である。
【０２３５】
同図のテレビジョン受像機５１１は、被制御部５３１および制御部５３２から構成される。被制御部５３１は、制御部５３２の制御の下、テレビジョン受像機５１１の種々の機能を実現する。
【０２３６】
被制御部５３１は、デジタルチューナ５５３、デマルチプレクサ（Demux）５５４、ＭＰＥＧ(Moving Picture Expert Group)デコーダ５５５、映像・グラフィック処理回路５５６、パネル駆動回路５５７、表示パネル５５８、音声処理回路５５９、音声増幅回路５６０、スピーカ５６１、および受信部５６２を備えている。また、制御部５３２は、ＣＰＵ（Central Processing Unit）５６３、フラッシュＲＯＭ５６４、ＤＲＡＭ（Dynamic Random Access Memory）５６５、および内部バス５６６を備えている。
【０２３７】
デジタルチューナ５５３は、図示せぬアンテナ端子から入力されたテレビジョン放送信号を処理して、ユーザの選択したチャンネルに対応した所定のＴＳ（Transport Stream）を、デマルチプレクサ５５４に供給する。
【０２３８】
デマルチプレクサ５５４は、デジタルチューナ５５３から供給されたＴＳから、ユーザの選択したチャンネルに対応した、パーシャルＴＳ（映像信号のＴＳパケット、音声信号のＴＳパケット）を抽出し、ＭＰＥＧデコーダ５５５に供給する。
【０２３９】
また、デマルチプレクサ５５４は、デジタルチューナ５５３から供給されたＴＳから、ＰＳＩ／ＳＩ(Program Specific Information/Service Information)を取り出し、ＣＰＵ５６３に供給する。デジタルチューナ５５３から供給されたＴＳには、複数のチャンネルが多重化されている。デマルチプレクサ５５４がＴＳから任意のチャンネルのパーシャルＴＳを抽出する処理は、ＰＳＩ／ＳＩ（ＰＡＴ/ＰＭＴ）から任意のチャンネルのパケットＩＤ（ＰＩＤ）の情報を得ることで可能となる。
【０２４０】
ＭＰＥＧデコーダ５５５は、デマルチプレクサ５５４から供給される映像信号のＴＳパケットにより構成される映像ＰＥＳ(Packetized Elementary Stream)パケットに対してデコード処理を行い、その結果得られる映像信号を、映像・グラフィック処理回路５５６に供給する。また、ＭＰＥＧデコーダ５５５は、デマルチプレクサ５５４から供給される音声信号のＴＳパケットにより構成される音声ＰＥＳパケットに対してデコード処理を行い、その結果得られる音声信号を、音声処理回路５５９に供給する。
【０２４１】
映像・グラフィック処理回路５５６は、ＭＰＥＧデコーダ５５５から供給された映像信号に対して、必要に応じて、スケーリング処理、グラフィックスデータの重畳処理等を行い、パネル駆動回路５５７に供給する。
【０２４２】
映像・グラフィック処理回路５５６には、高画質化回路５７０が接続されており、パネル駆動回路５５７に映像信号を供給するのに先立って、高画質化処理が実行される。
【０２４３】
高画質化回路５７０は、図１３を参照して上述した画像処理装置と同様の構成とされ、ＭＰＥＧデコーダ５５５から供給された映像信号から得られた画像データに対して、図１８を参照して上述した判別回帰予測処理を高画質化処理として実行するようになされている。
【０２４４】
パネル駆動回路５５７は、映像・グラフィック処理回路５５６から供給された映像信号に基づいて、表示パネル５５８を駆動し、映像を表示させる。表示パネル５５８は、例えば、ＬＣＤ(Liquid Crystal Display)またはＰＤＰ(Plasma Display Panel)等で構成されている。
【０２４５】
音声処理回路５５９は、ＭＰＥＧデコーダ５５５から供給された音声信号に対してＤ/Ａ（Digital to Analog）変換等の必要な処理を行い、音声増幅回路５６０に供給する。
【０２４６】
音声増幅回路５６０は、音声処理回路５５９から供給されるアナログ音声信号を増幅し、スピーカ５６１に供給する。スピーカ５６１は、音声増幅回路５６０からのアナログ音声信号に応じた音声を出力する。
【０２４７】
受信部５６２は、リモートコントローラ５６７から送信された、例えば赤外線のリモートコントロール信号を受信し、ＣＰＵ５６３に供給する。ユーザは、リモートコントローラ５６７を操作することで、テレビジョン受像機５１１の操作を行うことができる。
【０２４８】
ＣＰＵ５６３、フラッシュＲＯＭ５６４、およびＤＲＡＭ５６５は、内部バス５６６を介して接続されている。ＣＰＵ５６３は、テレビジョン受像機１１の各部の動作を制御する。フラッシュＲＯＭ５６４は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ５６５は、ＣＰＵ５６３のワークエリア等を構成する。すなわち、ＣＰＵ５６３は、フラッシュＲＯＭ５６４から読み出したソフトウェアやデータをＤＲＡＭ５６５上に展開してソフトウェアを起動し、テレビジョン受像機５１１の各部を制御する。
【０２４９】
このように本発明をテレビジョン受像機に適用することができる。
【０２５０】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータにネットワークや記録媒体からインストールされる。また、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図２４に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【０２５１】
図２４において、ＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２５２】
ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【０２５３】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７が接続されている。また、入出力インタフェース７０５には、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０２５４】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着されている。そして、それらのリムーバブルメディアから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【０２５５】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【０２５６】
なお、この記録媒体は、図２４に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【０２５７】
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２５８】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２５９】
１０  学習装置，  ２１  回帰係数学習部，  ２２  回帰係数記憶部，  ２３  回帰予測部，  ２４  ラベリング部，  ２５  判別係数学習部，  ２６  判別係数記憶部，  ２７  判別予測部，  ２８  クラス分割部，  ２９  動きベクトル検出部，  １００  画像処理装置，  １２１  判別予測部，  １２２  判別係数記憶部，  １２３  クラス分割部，  １２４  回帰係数記憶部，  １２５  回帰予測部，  １２６  動きベクトル検出部，  ５１１  テレビジョン受像機，  ５７０  高画質化回路，  ７０１  ＣＰＵ，  ７０２  ＲＯＭ，  ７１１  リムーバブルメディア
【図１】
2011217011.tif 000015
【図２】
2011217011.tif 000016
【図３】
2011217011.tif 000017
【図４】
2011217011.tif 000018
【図５】
2011217011.tif 000019
【図６】
2011217011.tif 000020
【図７】
2011217011.tif 000021
【図８】
2011217011.tif 000022
【図９】
2011217011.tif 000023
【図１０】
2011217011.tif 000024
【図１１】
2011217011.tif 000025
【図１２】
2011217011.tif 000026
【図１３】
2011217011.tif 000027
【図１４】
2011217011.tif 000028
【図１５】
2011217011.tif 000029
【図１６】
2011217011.tif 000030
【図１７】
2011217011.tif 000031
【図１８】
2011217011.tif 000032
【図１９】
2011217011.tif 000033
【図２０】
2011217011.tif 000034
【図２１】
2011217011.tif 000035
【図２２】
2011217011.tif 000036
【図２３】
2011217011.tif 000037
【図２４】
2011217011.tif 000038