(57)【要約】【課題】エッジやテクスチャを含む様々な画像に対して、劣化を出さない高画質化処理を実行できるようにする。【解決手段】入力画像の注目画素を中心とした複数の画素値を複数のグループに分割するグループ分割部と、グループに属する画素値に基づいてグループ毎に算出される特徴量に基づいて、注目画素を中心とした複数の画素値のそれぞれに対応する重みを算出する重み算出部と、入力画像の注目画素に対応する複数の画素値に基づいて定まるクラスコード毎に記憶されている回帰係数を読み出す回帰係数読み出し部と、入力画像の注目画素を中心とした複数の画素値、重み、および、回帰係数を用いた演算により出力画像の注目画素の画素値を算出する画素値算出部とを備える。【選択図】図４
2013239108.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の注目画素を中心とした複数の画素値に基づいて算出される特徴量に基づいて、前記注目画素を中心とした複数の画素値のそれぞれに対応する重みを算出する重み算出部と、
前記入力画像の注目画素に対応する複数の画素値に基づいて定まるクラスコード毎に記憶されている回帰係数を読み出す回帰係数読み出し部と、
前記入力画像の注目画素を中心とした複数の画素値、前記重み、および、前記回帰係数を用いた演算により出力画像の注目画素の画素値を算出する画素値算出部と
を備える画像処理装置。
【請求項２】
前記重み算出部は、
前記グループに属する画素値に基づいて、エッジの存在と相関性の高い特徴量を算出する
請求項１に記載の画像処理装置。
【請求項３】
入力画像の注目画素を中心とした複数の画素値を複数のグループに分割するグループ分割部をさらに備え、
重み算出部は、前記グループに属する画素値に基づいて前記グループ毎に算出される特徴量に基づいて、前記注目画素を中心とした複数の画素値のそれぞれに対応する重みを算出する
請求項１に記載の画像処理装置。
【請求項４】
前記重み算出部は、
前記注目画素を中心とした第１の数の画素値を、少なくとも注目画素の画素位置を含む複数の位置の画素から成るグループであって、前記第１の数より少ない第２の数の画素値から成る複数のグループに分類する
請求項３に記載の画像処理装置。
【請求項５】
前記回帰係数は、予め学習されて記憶されており、
前記学習においては、
高画質の画像を教師画像とし、前記教師画像を劣化させた画像を生徒画像とし、
生徒画像の画素値、前記重みを用いて前記教師画像の注目画素値を算出する線形一次方程式のサンプルを前記クラスコード毎に複数生成し、前記複数のサンプルから最適な前記回帰係数が算出される
請求項１に記載の画像処理装置。
【請求項６】
重み算出部が、入力画像の注目画素を中心とした複数の画素値に基づいて算出される特徴量に基づいて、前記注目画素を中心とした複数の画素値のそれぞれに対応する重みを算出し、
回帰係数読み出し部が、前記入力画像の注目画素に対応する複数の画素値に基づいて定まるクラスコード毎に記憶されている回帰係数を読み出し、
画素値算出部が、前記入力画像の注目画素を中心とした複数の画素値、前記重み、および、前記回帰係数を用いた線形一次式の演算により出力画像の注目画素の画素値を算出するステップ
を含む画像処理方法。
【請求項７】
コンピュータを、
入力画像の注目画素を中心とした複数の画素値に基づいて算出される特徴量に基づいて、前記注目画素を中心とした複数の画素値のそれぞれに対応する重みを算出する重み算出部と、
前記入力画像の注目画素に対応する複数の画素値に基づいて定まるクラスコード毎に記憶されている回帰係数を読み出す回帰係数読み出し部と、
前記入力画像の注目画素を中心とした複数の画素値、前記重み、および、前記回帰係数を用いた演算により出力画像の注目画素の画素値を算出する画素値算出部とを備える画像処理装置として機能させる
プログラム。
【請求項８】
高画質の画像を教師画像とし、前記教師画像を劣化させた画像を生徒画像とし、
教師画像の注目画素に対応する生徒画像の複数の画素値基づいて算出される特徴量に基づいて、前記生徒画像の複数の画素値のそれぞれに対応する重みを算出する重み算出部と、
前記生徒画像の複数の画素値、前記重み、および、回帰係数を用いた線形一次式の演算により前記教師画像の注目画素値を算出する回帰予測演算の前記回帰係数を算出する回帰係数算出部と
を備える学習装置。
【請求項９】
前記重み算出部は、
前記グループに属する画素値に基づいて、エッジの存在と相関性の高い特徴量を算出する
請求項８に記載の学習装置。
【請求項１０】
教師画像の注目画素に対応する生徒画像の複数の画素値を複数のグループに分割するグループ分割部をさらに備え、
前記重み算出部は、
前記グループに属する画素値に基づいて前記グループ毎に算出される特徴量に基づいて、前記生徒画像の複数の画素値のそれぞれに対応する重みを算出する
請求項８に記載の学習装置。
【請求項１１】
前記重み算出部は、
前記注目画素を中心とした第１の数の画素値を、少なくとも注目画素の画素位置を含む複数の位置の画素から成るグループであって、前記第１の数より少ない第２の数の画素値から成る複数のグループに分類する
請求項１０に記載の学習装置。
【請求項１２】
高画質の画像を教師画像とし、前記教師画像を劣化させた画像を生徒画像とし、
重み算出部が、教師画像の注目画素に対応する生徒画像の複数の画素値に基づいて算出される特徴量に基づいて、前記生徒画像の複数の画素値のそれぞれに対応する重みを算出し、
回帰係数算出部が、前記生徒画像の複数の画素値、前記重み、および、回帰係数を用いた線形一次式の演算により前記教師画像の注目画素値を算出する回帰予測演算の前記回帰係数を算出するステップ
を含む学習方法。
【請求項１３】
コンピュータを、
高画質の画像を教師画像とし、前記教師画像を劣化させた画像を生徒画像とし、
教師画像の注目画素に対応する生徒画像の複数の画素値基づいて算出される特徴量に基づいて、前記生徒画像の複数の画素値のそれぞれに対応する重みを算出する重み算出部と、
前記生徒画像の複数の画素値、前記重み、および、回帰係数を用いた線形一次式の演算により前記教師画像の注目画素値を算出する回帰予測演算の前記回帰係数を算出する回帰係数算出部とを備える学習装置として機能させる
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置および方法、学習装置および方法、並びに、プログラムに関し、特に、エッジやテクスチャを含む様々な画像に対して、劣化を出さない高画質化処理を実行できるようにする画像処理装置および方法、学習装置および方法、並びに、プログラムに関する。
【背景技術】
【０００２】
従来より、デジタル画像データにおいては、画像の輪郭などを強調するシャープネス処理が行われている。シャープネス処理によって、輪郭部分の階調の差（コントラスト）を高くすることで、見た目のシャープ感を増すことができる。
【０００３】
しかしながら、どのような画像に対しても一律にシャープネス処理を施すと、かえって画質が悪化することがある。例えば、文字や単純図形などの人工画像の場合、自然画像に適したシャープネス処理を行うと、元々エッジが十分に立っている個所で過強調が起こりリンギング劣化を生じる場合がある。
【０００４】
つまり、シャープネスの処理によって画像の中のテクスチャ部分の鮮鋭感を向上させようとすると、画像の中のエッジ部分でリンギングなどの劣化が目立ってしまう。一方、画像の中のエッジ部分でのリンギングを抑制しようとすると、画像の中のテクスチャ部分の鮮鋭感が欠けるものとなってしまう。
【０００５】
そこで、出願人は、エッジの鮮鋭感向上とテクスチャの鮮鋭感向上を両立する方式を提案した（例えば、特許文献１参照）。
【０００６】
特許文献１によれば、例えば、エッジ専用処理とテクスチャ専用処理を画像の中の各領域の特徴量に応じて使い分けている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−２５１６８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１の技術では、例えば、エッジ専用処理とテクスチャ専用処理の処理の境界が顕著になることがあった。
【０００９】
また、特許文献１のように、例えば、エッジ専用処理とテクスチャ専用処理を使い分ける場合、２つの専用処理を実装し、さらにそれらを使い分けるための判定処理を実装する必要があり、処理の規模が増大しやすく、高コストにつながりやすいという問題があった。
【００１０】
また、エッジ部分とテクスチャ部分との判定が困難な場合もあり、多様な入力画像に対して，その画質に応じて適応的に鮮鋭感を向上させようとすると、強力に鮮鋭感向上を行う際にはリンギングの抑制に限界がある。
【００１１】
本技術はこのような状況に鑑みて開示するものであり、エッジやテクスチャを含む様々な画像に対して、劣化を出さない高画質化処理を実行できるようにするものである。
【課題を解決するための手段】
【００１２】
本技術の第１の側面は、入力画像の注目画素を中心とした複数の画素値に基づいて算出される特徴量に基づいて、前記注目画素を中心とした複数の画素値のそれぞれに対応する重みを算出する重み算出部と、前記入力画像の注目画素に対応する複数の画素値に基づいて定まるクラスコード毎に記憶されている回帰係数を読み出す回帰係数読み出し部と、前記入力画像の注目画素を中心とした複数の画素値、前記重み、および、前記回帰係数を用いた演算により出力画像の注目画素の画素値を算出する画素値算出部とを備える画像処理装置である。
【００１３】
前記重み算出部は、前記グループに属する画素値に基づいて、エッジの存在と相関性の高い特徴量を算出するようにすることができる。
【００１４】
入力画像の注目画素を中心とした複数の画素値を複数のグループに分割するグループ分割部をさらに備え、重み算出部は、前記グループに属する画素値に基づいて前記グループ毎に算出される特徴量に基づいて、前記注目画素を中心とした複数の画素値のそれぞれに対応する重みを算出するようにすることができる。
【００１５】
前記重み算出部は、前記注目画素を中心とした第１の数の画素値を、少なくとも注目画素の画素位置を含む複数の位置の画素から成るグループであって、前記第１の数より少ない第２の数の画素値から成る複数のグループに分類するようにすることができる。
【００１６】
前記回帰係数は、予め学習されて記憶されており、前記学習においては、高画質の画像を教師画像とし、前記教師画像を劣化させた画像を生徒画像とし、生徒画像の画素値、前記重みを用いて前記教師画像の注目画素値を算出する線形一次方程式のサンプルを前記クラスコード毎に複数生成し、前記複数のサンプルから最適な前記回帰係数が算出されるようにすることができる。
【００１７】
本技術の第１の側面は、重み算出部が、入力画像の注目画素を中心とした複数の画素値に基づいて算出される特徴量に基づいて、前記注目画素を中心とした複数の画素値のそれぞれに対応する重みを算出し、回帰係数読み出し部が、前記入力画像の注目画素に対応する複数の画素値に基づいて定まるクラスコード毎に記憶されている回帰係数を読み出し、画素値算出部が、前記入力画像の注目画素を中心とした複数の画素値、前記重み、および、前記回帰係数を用いた線形一次式の演算により出力画像の注目画素の画素値を算出するステップを含む画像処理方法である。
【００１８】
本技術の第１の側面は、コンピュータを、入力画像の注目画素を中心とした複数の画素値に基づいて算出される特徴量に基づいて、前記注目画素を中心とした複数の画素値のそれぞれに対応する重みを算出する重み算出部と、前記入力画像の注目画素に対応する複数の画素値に基づいて定まるクラスコード毎に記憶されている回帰係数を読み出す回帰係数読み出し部と、前記入力画像の注目画素を中心とした複数の画素値、前記重み、および、前記回帰係数を用いた演算により出力画像の注目画素の画素値を算出する画素値算出部とを備える画像処理装置として機能させるプログラムである。
【００１９】
本技術の第１の側面においては、入力画像の注目画素を中心とした複数の画素値に基づいて算出される特徴量に基づいて、前記注目画素を中心とした複数の画素値のそれぞれに対応する重みが算出され、前記入力画像の注目画素に対応する複数の画素値に基づいて定まるクラスコード毎に記憶されている回帰係数が読み出され、前記入力画像の注目画素を中心とした複数の画素値、前記重み、および、前記回帰係数を用いた演算により出力画像の注目画素の画素値が算出される。
【００２０】
本技術の第２の側面は、高画質の画像を教師画像とし、前記教師画像を劣化させた画像を生徒画像とし、教師画像の注目画素に対応する生徒画像の複数の画素値基づいて算出される特徴量に基づいて、前記生徒画像の複数の画素値のそれぞれに対応する重みを算出する重み算出部と、前記生徒画像の複数の画素値、前記重み、および、回帰係数を用いた線形一次式の演算により前記教師画像の注目画素値を算出する回帰予測演算の前記回帰係数を算出する回帰係数算出部とを備える学習装置である。
【００２１】
前記重み算出部は、前記グループに属する画素値に基づいて、エッジの存在と相関性の高い特徴量を算出するようにすることができる。
【００２２】
教師画像の注目画素に対応する生徒画像の複数の画素値を複数のグループに分割するグループ分割部をさらに備え、前記重み算出部は、前記グループに属する画素値に基づいて前記グループ毎に算出される特徴量に基づいて、前記生徒画像の複数の画素値のそれぞれに対応する重みを算出するようにすることができる。
【００２３】
前記重み算出部は、前記注目画素を中心とした第１の数の画素値を、少なくとも注目画素の画素位置を含む複数の位置の画素から成るグループであって、前記第１の数より少ない第２の数の画素値から成る複数のグループに分類するようにすることができる。
【００２４】
本技術の第２の側面は、高画質の画像を教師画像とし、前記教師画像を劣化させた画像を生徒画像とし、重み算出部が、教師画像の注目画素に対応する生徒画像の複数の画素値に基づいて算出される特徴量に基づいて、前記生徒画像の複数の画素値のそれぞれに対応する重みを算出し、回帰係数算出部が、前記生徒画像の複数の画素値、前記重み、および、回帰係数を用いた線形一次式の演算により前記教師画像の注目画素値を算出する回帰予測演算の前記回帰係数を算出するステップを含む学習方法である。
【００２５】
コンピュータを、高画質の画像を教師画像とし、前記教師画像を劣化させた画像を生徒画像とし、教師画像の注目画素に対応する生徒画像の複数の画素値基づいて算出される特徴量に基づいて、前記生徒画像の複数の画素値のそれぞれに対応する重みを算出する重み算出部と、前記生徒画像の複数の画素値、前記重み、および、回帰係数を用いた線形一次式の演算により前記教師画像の注目画素値を算出する回帰予測演算の前記回帰係数を算出する回帰係数算出部とを備える学習装置として機能させるプログラムである。
【００２６】
本技術の第２の側面においては、高画質の画像を教師画像とし、前記教師画像を劣化させた画像を生徒画像とし、教師画像の注目画素に対応する生徒画像の複数の画素値に基づいて算出される特徴量に基づいて、前記生徒画像の複数の画素値のそれぞれに対応する重みが算出され、前記生徒画像の複数の画素値、前記重み、および、回帰係数を用いた線形一次式の演算により前記教師画像の注目画素値を算出する回帰予測演算の前記回帰係数が算出される。
【発明の効果】
【００２７】
本技術によれば、エッジやテクスチャを含む様々な画像に対して、劣化を出さない高画質化処理を実行できる。
【図面の簡単な説明】
【００２８】
【図１】本技術の一実施の形態に係る学習装置の構成例を示すブロック図である。
【図２】クラスコードの特定方式の例を説明する図である。
【図３】クラスタップのグループ分けの例を説明する図である。
【図４】本技術の一実施の形態に係る画像処理装置の構成例を示すブロック図である。
【図５】学習処理の例を説明するフローチャートである。
【図６】高画質化処理の例を説明するフローチャートである。
【図７】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２９】
以下、図面を参照して、ここで開示する技術の実施の形態について説明する。
【００３０】
図１は、本技術の一実施の形態に係る学習装置の構成例を示すブロック図である。
【００３１】
この学習装置１０は、画像の高画質化処理に用いられる学習装置とされ、入力された生徒画像および教師画像（または教師信号）のデータに基づいて、高画質化処理において用いられる回帰係数を生成するようになされている。ここで、高画質化処理は、例えば、画像の鮮鋭感を向上させる処理、画像のノイズを除去する処理などとされる。
【００３２】
学習装置１０は、生徒画像を入力画像として、教師画像に近い高画質の画像を出力画像として生成するための係数である回帰係数を学習するようになされている。詳細は後述するが、回帰係数は、例えば、入力画像の注目画素に対応する複数の画素の値から得られる特徴量をパラメータとし、高画質化された画像における注目画素の予測値を演算する線形一次式の回帰予測演算に用いられる係数とされる。
【００３３】
回帰係数は、後述するクラスコード毎に学習され、また、後述する重みを考慮した回帰係数が学習される。
【００３４】
また、学習装置１０は、入力画像の注目画素に対応する複数の画素値およびそれらの画素値から得られる特徴量に基づいて、注目画素に対応する複数の画素値を、複数のクラスのうちのいずれかにクラス分けする。また、学習装置１０は、入力画像の注目画素に対応する複数の画素値およびそれらの画素値から得られる特徴量に基づいて、それらの画素値に乗じるべき重みを算出する。
【００３５】
すなわち、高画質化処理では、入力画像の注目画素に対応する複数の画素値およびそれらの画素値から得られる特徴量に基づいて、注目画素がクラス分類される。そして、学習装置１０により学習されたクラス毎の回帰係数、および、上述の重みと、入力画像の注目画素に対応する複数の画素値とを用いた線形一次式の演算を実行することにより、高画質化された画像の画素値が演算されるようになされている。
【００３６】
図１に示される学習装置１０は、クラス分類部２１、重み算出部２２、回帰係数学習部２３、回帰係数メモリ２４を有している。
【００３７】
学習装置１０においては、例えば、教師画像としてノイズのない画像を入力され、生徒画像として教師画像に対してノイズを付加するなどして画質を劣化させた画像が入力される。例えば、教師画像に各種のノイズを付加した画像、ぼけを付加した画像、画素位置をシフトさせた画像、画素を間引いた画像などが生徒画像として入力される。
【００３８】
クラス分類部２１は、教師画像の注目画素に対応する生徒画像の複数の画素値から成るクラスタップを抽出し、抽出されたクラスタップの特徴量に基づいて、当該クラスタップをクラス分類するようになされている。
【００３９】
図２は、クラス分類の方式の一例を説明する図である。この例では、クラスタップとして、入力画像の注目画素およびその周辺の画素に対応する９個の画素値が取得されている。そして、９個の画素値のそれぞれに予め設定された順番で識別番号（タップ番号）０乃至８が付されている。
【００４０】
タップ番号０乃至９の画素値のそれぞれは閾値判定され、閾値判定結果に基づいてコード１またはコード０が割り当てられる。この例では、画素値（輝度値）が閾値より大きい場合、コード１が割り当てられ、画素値（輝度値）が閾値より小さい場合、コード０が割り当てられている。
【００４１】
そして、タップ番号０乃至８のそれぞれに割り当てられたコードを並べて得られる２進数の数字がクラスコードとされる。この例では、１００００１０１１（１０進数で２６７）がクラスコードとされている。このように、当該クラスタップがクラスコード２６７に対応するクラスに分類される。あるいはまた、画素値の最大値と最小値の差分などを用いてさらに詳細にクラス分類されるようにしてもよい。
【００４２】
図２に示されるクラスコードの特定は、１ｂｉｔＡＤＲＣ (Adaptive Dynamic Range Coding)と称される。勿論、クラス分類部２１は、１ｂｉｔＡＤＲＣ以外の方式でクラスコードを特定するようにしてもよい。
【００４３】
図１に戻って、重み算出部２２は、教師画像の注目画素に対応する生徒画像の複数の画素値から予測タップを抽出し、予測タップ内の各画素値に対応する重みを算出する。重み算出部２２は、予測タップを構成する画素値を複数のグループに分類し、それぞれのグループに属する画素値から得られる特徴量に基づいて、グループ毎の重みを算出する。なお、教師画像の注目画素値をｔiとすると、教師画像の注目画素に対応する生徒画像の複数の画素値ｘijが予測タップとして抽出される。
【００４４】
図３は、予測タップのグループ分けを説明する図である。同図には、２５（＝５×５）個の円が記載されており、個々の円が画素を表している。また、図中中央の黒い円は、注目画素を表している。すなわち、図３の例の場合、注目画素を中心とした２５個の画素の画素値が予測タップとされている。
【００４５】
図３の例の場合、予測タップを構成する画素値は、４つのグループであるグループＧ１乃至グループＧ４に分類されている。グループＧ１は、注目画素を右下に配置した９個の画素の画素値から成るグループとされる。グループＧ２は、注目画素を左下に配置した９個の画素の画素値から成るグループとされる。グループＧ１は、注目画素を右上に配置した９個の画素の画素値から成るグループとされる。グループＧ４は、注目画素を左上に配置した９個の画素の画素値から成るグループとされる。
【００４６】
重み算出部２２は、グループＧ１乃至グループＧ４に属するそれぞれの画素値を用いてエッジの存在と相関性の高い特徴量を算出する。例えば、ダイナミックレンジ、アクティビティなどの特徴量が、エッジの存在と相関性の高い特徴量として算出される。
【００４７】
重み算出部２２は、上述のようにしてグループＧ１乃至グループＧ４のそれぞれについて算出した特徴量の最大値と最小値を特定し、各グループに対して設定される重みを算出する。例えば、グループＧgに対応する重みｖgは、次のようにして求めることができる。
【００４８】
【数１】
2013239108.tif 000003
・・・（１）
【００４９】
なお、式（１）においてｍａｘｐａｒａｍおよびｍｉｎｐａｒａｍは、それぞれグループＧ１乃至グループＧ４について算出した特徴量の最大値および最小値を表している。また、式（１）における関数ｆ（ｘ）は、重みの付き方を調整するための関数とされ、例えば、式（２）、式（３）などの関数が用いられる。
【００５０】
【数２】
2013239108.tif 000004
・・・（２）
【数３】
2013239108.tif 000005
・・・（３）
【００５１】
そして、予測タップ内の各画素に乗じられる重みの総和が１.０となるように正規化される。すなわち、予測タップの画素値の総数をＬとした場合、式（４）を満たすように予測タップ内の全て（例えば、２５個）の画素値のそれぞれに乗じられる重みｖijが算出される。なお、予測タップ内の注目画素付近の一部の位置の画素は、複数のグループに重複して属していることになるので、これらの画素の値には、重みが複数回乗じられることになる。
【００５２】
【数４】
2013239108.tif 000006
・・・（４）
【００５３】
式（４）におけるサフィックスｊは、予測タップ内の画素の識別番号（タップ番号）を表すことになる。
【００５４】
なお、図３に示したのは、グループ分けの例であって、必ずしもこの通りにグループ分けされる必要はない。例えば、一列に並んだ画素がグループとされるようにしてもよい。また、エッジの存在と相関性の高い特徴量として、個々のグループ毎に異なる特徴量が算出されるようにしてもよい。例えば、グループＧ１については、ダイナミックレンジが算出され、グループＧ２については、アクティビティが算出され、・・・のように特徴量が算出されるようにしてもよい。
【００５５】
図１に戻って、回帰係数学習部２３は、上述したように求められた重みｖijを用いて、回帰係数を学習する。すなわち、教師画像を構成する画素の中の注目画素が順番に設定され、それぞれの注目画素に対応して重みｖijが算出される。そして、教師画像の画素値を生徒画像の画素値に基づいて算出する線形一次方程式のサンプルを順次生成していく。このようにして生成された線形一次方程式のサンプルは、クラスコード別に足し込まれていく。
【００５６】
例えば、クラスコードｃに対応する回帰係数をｗcjで表した場合、上述のように足し込まれた線形一次方程式のサンプルに基づいて、式（５）により演算される最小化関数Ｑが最小となるように、回帰係数ｗcjを最小二乗法により求めるようにすればよい。このようにすることで、後述する式（６）の演算に用いる際に最適な回帰係数ｗcjを算出することができる。
【００５７】
【数５】
2013239108.tif 000007
・・・（５）
【００５８】
このようにして求められた回帰係数ｗcjは、クラスコードに対応付けられて回帰係数メモリ２４に記憶される。このようにして回帰係数が学習される。
【００５９】
図４は、本技術の一実施の形態に係る画像処理装置の構成例を示すブロック図である。同図の画像処理装置１００は、図１の学習装置１０に対応する画像処理装置とされる。すなわち、画像処理装置１００は、学習装置１０により学習された回帰係数を用いて入力画像から得られる予測タップの回帰予測演算を行い、入力画像を高画質化する画像処理を行うようになされている。
【００６０】
図４に示される画像処理装置１００は、クラス分類部１２１、重み算出部１２２、予測演算部１２３、および、回帰係数メモリ１２４を有している。
【００６１】
画像処理装置１００の回帰係数メモリ１２４には、学習装置１０の回帰係数メモリ２４に記憶されていた回帰係数が予め記憶されている。
【００６２】
クラス分類部１２１は、入力画像の注目画素に対応する複数の画素値から成るクラスタップを抽出し、抽出されたクラスタップの特徴量に基づいて、当該クラスタップをクラス分類するようになされている。なお、画像処理装置１００のクラス分類部１２１によるクラス分類は、学習装置１０のクラス分類部２１と同様の方式により行われる。例えば、図２を参照して上述したように、クラス分類が行われ、抽出したクラスタップに対応するクラスコードが特定される。
【００６３】
重み算出部１２２は、入力画像の注目画素に対応する複数の画素値から成る予測タップを抽出し、予測タップ内の各画素値に対応する重みを算出する。画像処理装置１００の重み算出部１２２は、学習装置１０の重み算出部２２と同様に、例えば、図３を参照して上述したように、予測タップを構成する画素値を複数のグループに分類する。そして、重み算出部１２２は、それぞれのグループに属する画素値から得られる特徴量に基づいて、グループ毎の重みを算出する。
【００６４】
ここで、特徴量は、エッジの存在と相関性の高い特徴量とされ、例えば、ダイナミックレンジ、アクティビティなどの特徴量が、エッジの存在と相関性の高い特徴量として算出される。
【００６５】
そして、上述したように、予測タップ内の全ての画素値のそれぞれに乗じられる重みｖijが算出される。
【００６６】
予測演算部１２３は、クラス分類部１２１により特定されたクラスコードｃに対応する回帰係数ｗcjを回帰係数メモリ１２４から読み出す。
【００６７】
そして、予測演算部１２３は、重み算出部１２２により算出された重みｖijを予測タップを構成する画素値にそれぞれ乗じ、さらに、回帰係数メモリ１２４から読み出した回帰係数ｗcjを、予測タップを構成する画素値にそれぞれ乗じる。すなわち、注目画素の識別番号をｉとした場合、入力画像から生成される注目画素の予測値ｙｉは、式（６）に示される線形一次式により求められる。
【００６８】
【数６】
2013239108.tif 000008
・・・（６）
【００６９】
式（６）に示されるような演算を繰り返し行うことで、出力画像を構成する各画素の画素値が算出されることになる。
【００７０】
画像処理装置１００は、このようにして生成された出力画像を出力する。
【００７１】
本技術によれば、上述したように、予測タップを構成する画素値がさらに細かくグループに分類されて重みが算出される。従って、出力画像の画素を生成するための入力画像の参照領域における個々の画素の重要性が局所の特徴量により適応的に設定されることになる。具体的には、予測タップを構成する画素値の重みが各グループの特徴量に応じて切り替えられることになる。
【００７２】
また、本技術では、クラス毎に上記の重みの設定を含めて統計的に最適化された係数が適用され、出力画像の画素値が演算される。
【００７３】
本技術において、入力画像の参照領域における個々の画素の重要性は、エッジの存在と相関の高い特徴量に基づいて設定される。従って、同じ予測タップ内の画素であっても、エッジの存在する可能性の低いグループに属する画素はより強く参照され、エッジの存在する可能性の高いグループに属する画素はより弱く参照されることになる。画像の中のエッジの部分の画素は、その周辺の画素との相関性が低いと考えられるからである。
【００７４】
つまり、本技術によれば、例えば、従来技術のように、画像のエッジ部分とテクスチャ部分とで専用処理を切り替えるなどすることなく、参照領域の画素の重みを適切に切り替えることで、エッジ部分またはテクスチャ部分に相応しい高画質化処理を施すことができる。
【００７５】
従って、本技術によれば、例えば、エッジ専用処理とテクスチャ専用処理との処理境界が目立つことなく、画像全体に高画質化処理を施すことができる。
【００７６】
また、本技術によれば、リンギング等の劣化を抑制しつつエッジの鮮鋭化を実現し、かつ、テクスチャにおける鮮鋭感向上も同時に実現することができる。従来の技術と比較して、例えば、強力に鮮鋭感向上を行う際にも、リンギングを抑制することができる。
【００７７】
さらに、本技術によれば、高画質化処理に用いられる回帰係数が、クラスタップの特徴量を表すクラスコード毎に、重みを考慮して学習されるので、エッジやテクスチャのみならず、多様な特性に応じた高画質化処理を施すことが可能となる。
【００７８】
従って、本技術によれば、エッジやテクスチャを含む様々な画像に対して、劣化を出さない高画質化処理を実行できる。
【００７９】
次に、図５のフローチャートを参照して、図１の学習装置１０による学習処理の例について説明する。
【００８０】
ステップＳ２１において、クラス分類部２１は、教師画像の注目画素に対応する生徒画像の複数の画素値から成るクラスタップを抽出する。
【００８１】
ステップＳ２２において、クラス分類部２１は、ステップＳ２１で抽出したクラスタップの特徴量に基づいて、当該クラスタップをクラス分類する。このとき、例えば、図２を参照して上述したような方式でクラスタップがクラス分類される。
【００８２】
ステップＳ２３において、重み算出部２２は、教師画像の注目画素に対応する生徒画像の複数の画素値から予測タップを抽出する。
【００８３】
ステップＳ２４において、重み算出部２２は、予測タップを構成する画素値を複数のグループに分類する。このとき、例えば、図３を参照して上述したように、予測タップを構成する画素値を複数のグループに分類する。
【００８４】
ステップＳ２５において、重み算出部２２は、ステップＳ２４の処理で分類されたグループ毎に特徴量を算出する。ここで、特徴量は、エッジの存在と相関性の高い特徴量とされ、例えば、ダイナミックレンジ、アクティビティなどの特徴量が、エッジの存在と相関性の高い特徴量として算出される。
【００８５】
ステップＳ２６において、重み算出部２２は、ステップＳ２５で算出された特徴量に基づいて、予測タップ内の各画素値に対応する重みを算出する。このとき、例えば、上述したように、予測タップ内の全ての画素値のそれぞれに乗じられる重みｖijが算出される。
【００８６】
ステップＳ２７において、回帰係数学習部２３は、上述したように求められた重みｖijを用いて、教師画像の画素値を生徒画像の画素値に基づいて算出する線形一次方程式のサンプルを生成する。
【００８７】
ステップＳ２８において、回帰係数学習部２３は、ステップＳ２７の処理で生成されたサンプルを、クラスコード別に足し込む。
【００８８】
ステップＳ２９において、全サンプル分の足し込みが終了したか否かが判定される。すなわち、教師画像の全ての画素を注目画素として、ステップＳ２１乃至ステップＳ２８の処理が実行されたか否かが判定される。
【００８９】
ステップＳ２９において、まだ、全サンプル分の足し込みが終了していないと判定された場合、処理は、ステップＳ２１に戻り、それ以降の処理が繰り返し実行される。
【００９０】
ステップＳ２９において、全サンプル分の足し込みが終了したと判定された場合、処理は、ステップＳ３０に進む。
【００９１】
ステップＳ３０において、回帰係数学習部２３は、クラスコード毎に回帰係数を算出する。このとき、例えば、上述のように足し込まれた線形一次方程式のサンプルに基づいて、式（５）により演算される最小化関数Ｑが最小となるように、回帰係数ｗcjが最小二乗法により求められる。ここで求められた回帰係数は、クラスコードに対応付けられて回帰係数メモリ２４に記憶される。
【００９２】
このようにして学習処理が実行される。
【００９３】
次に、図６のフローチャートを参照して、図４の画像処理装置１００による高画質化処理の例について説明する。なお、処理の実行に先立って、図５のステップＳ３０の処理で算出された回帰係数が、回帰係数メモリ１２４に記憶されているものとする。
【００９４】
ステップＳ５１において、クラス分類部１２１は、入力画像の注目画素に対応する複数の画素値から成るクラスタップを抽出する。
【００９５】
ステップＳ５２において、クラス分類部１２１は、ステップＳ５１の処理で抽出したクラスタップの特徴量に基づいて、当該クラスタップのクラスコードを特定する。なお、ステップＳ５２での画像処理装置１００のクラス分類部１２１によるクラスコードの特定は、ステップＳ２２での学習装置１０のクラス分類部２１と同様の方式により行われる。例えば、図２を参照して上述したように、クラス分類が行われ、抽出したクラスタップに対応するクラスコードが特定される。
【００９６】
ステップＳ５３において、重み算出部１２２は、入力画像の注目画素に対応する複数の画素値から成る予測タップを抽出する。
【００９７】
ステップＳ５４において、重み算出部１２２は、予測タップを構成する画素値を複数のグループに分類する。このとき、例えば、図３を参照して上述したように、予測タップを構成する画素値を複数のグループに分類する。
【００９８】
ステップＳ５５において、重み算出部１２２は、ステップＳ５４の処理で分類されたグループ毎に特徴量を算出する。ここで、特徴量は、エッジの存在と相関性の高い特徴量とされ、例えば、ダイナミックレンジ、アクティビティなどの特徴量が、エッジの存在と相関性の高い特徴量として算出される。
【００９９】
ステップＳ５６において、重み算出部１２２は、ステップＳ５５で算出された特徴量に基づいて、予測タップ内の各画素値に対応する重みを算出する。このとき、例えば、上述したように、予測タップ内の全ての画素値のそれぞれに乗じられる重みｖijが算出される。
【０１００】
ステップＳ５７において、予測演算部１２３は、クラス分類部１２１により特定されたクラスコードｃに対応する回帰係数ｗcjを回帰係数メモリ１２４から読み出す。
【０１０１】
ステップＳ５８において、予測演算部１２３は、ステップＳ５６の処理で求められた重みｖijと、ステップＳ５７の処理で読み出した回帰係数ｗcjを用いて線形一次式により画素値を算出する。このとき、例えば、重みｖijが予測タップを構成する画素値にそれぞれ乗じられ、さらに、回帰係数ｗcjが、予測タップを構成する画素値にそれぞれ乗じられる。すなわち、式（６）に示される線形一次式により画素値が求められる。
【０１０２】
ステップＳ５９において、出力画像の全画素分の画素値の算出が終了したか否かが判定される。
【０１０３】
ステップＳ５９において、まだ、出力画像の全画素分の画素値の算出が終了していないと判定された場合、処理は、ステップＳ５１に戻り、それ以降の処理が繰り返し実行される。
【０１０４】
ステップＳ５９において、出力画像の全画素分の画素値の算出が終了したと判定された場合、処理は、ステップＳ６０に進む。
【０１０５】
ステップＳ６０において、画像処理装置１００は、出力画像を出力する。
【０１０６】
このようにして高画質化処理が実行される。
【０１０７】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図７に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【０１０８】
図７において、ＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１０９】
ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【０１１０】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、ＬＡＮカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１１１】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【０１１２】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【０１１３】
なお、この記録媒体は、図７に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【０１１４】
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１１５】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１１６】
なお、本技術は以下のような構成も取ることができる。
【０１１７】
（１）
入力画像の注目画素を中心とした複数の画素値に基づいて算出される特徴量に基づいて、前記注目画素を中心とした複数の画素値のそれぞれに対応する重みを算出する重み算出部と、
前記入力画像の注目画素に対応する複数の画素値に基づいて定まるクラスコード毎に記憶されている回帰係数を読み出す回帰係数読み出し部と、
前記入力画像の注目画素を中心とした複数の画素値、前記重み、および、前記回帰係数を用いた演算により出力画像の注目画素の画素値を算出する画素値算出部と
を備える画像処理装置。
（２）
前記重み算出部は、
前記グループに属する画素値に基づいて、エッジの存在と相関性の高い特徴量を算出する
（１）に記載の画像処理装置。
（３）
入力画像の注目画素を中心とした複数の画素値を複数のグループに分割するグループ分割部をさらに備え、
重み算出部は、前記グループに属する画素値に基づいて前記グループ毎に算出される特徴量に基づいて、前記注目画素を中心とした複数の画素値のそれぞれに対応する重みを算出する
（１）または（２）に記載の画像処理装置。
（４）
前記重み算出部は、
前記注目画素を中心とした第１の数の画素値を、少なくとも注目画素の画素位置を含む複数の位置の画素から成るグループであって、前記第１の数より少ない第２の数の画素値から成る複数のグループに分類する
（３）に記載の画像処理装置。
（５）
前記回帰係数は、予め学習されて記憶されており、
前記学習においては、
高画質の画像を教師画像とし、前記教師画像を劣化させた画像を生徒画像とし、
生徒画像の画素値、前記重みを用いて前記教師画像の注目画素値を算出する線形一次方程式のサンプルを前記クラスコード毎に複数生成し、前記複数のサンプルから最適な前記回帰係数が算出される
（１）乃至（４）に記載の画像処理装置。
（６）
重み算出部が、入力画像の注目画素を中心とした複数の画素値に基づいて算出される特徴量に基づいて、前記注目画素を中心とした複数の画素値のそれぞれに対応する重みを算出し、
回帰係数読み出し部が、前記入力画像の注目画素に対応する複数の画素値に基づいて定まるクラスコード毎に記憶されている回帰係数を読み出し、
画素値算出部が、前記入力画像の注目画素を中心とした複数の画素値、前記重み、および、前記回帰係数を用いた線形一次式の演算により出力画像の注目画素の画素値を算出するステップ
を含む画像処理方法。
（７）
コンピュータを、
入力画像の注目画素を中心とした複数の画素値に基づいて算出される特徴量に基づいて、前記注目画素を中心とした複数の画素値のそれぞれに対応する重みを算出する重み算出部と、
前記入力画像の注目画素に対応する複数の画素値に基づいて定まるクラスコード毎に記憶されている回帰係数を読み出す回帰係数読み出し部と、
前記入力画像の注目画素を中心とした複数の画素値、前記重み、および、前記回帰係数を用いた演算により出力画像の注目画素の画素値を算出する画素値算出部とを備える画像処理装置として機能させる
プログラム。
（８）
高画質の画像を教師画像とし、前記教師画像を劣化させた画像を生徒画像とし、
教師画像の注目画素に対応する生徒画像の複数の画素値基づいて算出される特徴量に基づいて、前記生徒画像の複数の画素値のそれぞれに対応する重みを算出する重み算出部と、
前記生徒画像の複数の画素値、前記重み、および、回帰係数を用いた線形一次式の演算により前記教師画像の注目画素値を算出する回帰予測演算の前記回帰係数を算出する回帰係数算出部と
を備える学習装置。
（９）
前記重み算出部は、
前記グループに属する画素値に基づいて、エッジの存在と相関性の高い特徴量を算出する
（８）に記載の学習装置。
（１０）
教師画像の注目画素に対応する生徒画像の複数の画素値を複数のグループに分割するグループ分割部をさらに備え、
前記重み算出部は、
前記グループに属する画素値に基づいて前記グループ毎に算出される特徴量に基づいて、前記生徒画像の複数の画素値のそれぞれに対応する重みを算出する
（８）または（９）に記載の学習装置。
（１１）
前記重み算出部は、
前記注目画素を中心とした第１の数の画素値を、少なくとも注目画素の画素位置を含む複数の位置の画素から成るグループであって、前記第１の数より少ない第２の数の画素値から成る複数のグループに分類する
（１０）に記載の学習装置。
（１２）
高画質の画像を教師画像とし、前記教師画像を劣化させた画像を生徒画像とし、
重み算出部が、教師画像の注目画素に対応する生徒画像の複数の画素値に基づいて算出される特徴量に基づいて、前記生徒画像の複数の画素値のそれぞれに対応する重みを算出し、
回帰係数算出部が、前記生徒画像の複数の画素値、前記重み、および、回帰係数を用いた線形一次式の演算により前記教師画像の注目画素値を算出する回帰予測演算の前記回帰係数を算出するステップ
を含む学習方法。
（１３）
コンピュータを、
高画質の画像を教師画像とし、前記教師画像を劣化させた画像を生徒画像とし、
教師画像の注目画素に対応する生徒画像の複数の画素値基づいて算出される特徴量に基づいて、前記生徒画像の複数の画素値のそれぞれに対応する重みを算出する重み算出部と、
前記生徒画像の複数の画素値、前記重み、および、回帰係数を用いた線形一次式の演算により前記教師画像の注目画素値を算出する回帰予測演算の前記回帰係数を算出する回帰係数算出部とを備える学習装置として機能させる
プログラム。
【符号の説明】
【０１１８】
１０  画像処理装置，  ２１  クラス分類部，  ２２  重み算出部，  ２３  回帰係数学習部，  ２４  回帰係数メモリ，  １００  画像処理装置，  １２１  クラス分類部，  １２２  重み算出部，  １２３  予測演算部，  １２４  回帰係数メモリ
【図１】
2013239108.tif 000009
【図２】
2013239108.tif 000010
【図３】
2013239108.tif 000011
【図４】
2013239108.tif 000012
【図５】
2013239108.tif 000013
【図６】
2013239108.tif 000014
【図７】
2013239108.tif 000015