(57)【要約】【課題】どのような領域においても画像の中の細かい精細感を復元することができるようにする。【解決手段】注目画素を中心とするマッチング用タップを取得し、注目画素の周囲の複数の画素から成るサーチ領域に存在する画素のそれぞれを中心とするマッチング用タップを、それぞれ取得し、第２マッチング用タップ取得部により取得された複数のマッチング用タップのうち、第１マッチング用タップ取得部により取得されたマッチング用タップとの相似性が最も高いマッチング用タップの中心画素である相似性最大画素を特定し、所定の画素を中心とした所定の位置の複数の画素から成る予測用タップであって、注目画素を中心とした予測用タップの画素値に所定の演算処理を施して得られた第１演算画素値と、相似性最大画素を中心とした予測用タップの画素値に所定の演算処理を施して得られた第２演算画素値とを混合することで、注目画素の画素値を算出する。【選択図】図１
2013238948.tif 000002
【特許請求の範囲】
【請求項１】
所定の画素を中心とした所定の位置の複数の画素から成るマッチング用タップであって、注目画素を中心とするマッチング用タップを取得する第１マッチング用タップ取得部と、
前記注目画素の周囲の複数の画素から成るサーチ領域に存在する画素のそれぞれを中心とする前記マッチング用タップを、それぞれ取得する第２マッチング用タップ取得部と、
前記第２マッチング用タップ取得部により取得された複数のマッチング用タップのうち、前記第１マッチング用タップ取得部により取得されたマッチング用タップとの相似性が最も高いマッチング用タップの中心画素である相似性最大画素を特定する相似性特定部と、
所定の画素を中心とした所定の位置の複数の画素から成る予測用タップであって、注目画素を中心とした予測用タップの画素値に所定の演算処理を施して得られた第１演算画素値と、前記相似性最大画素を中心とした予測用タップの画素値に所定の演算処理を施して得られた第２演算画素値とを混合することで、前記注目画素の画素値を算出する画素値混合制御部と
を備える画像処理装置。
【請求項２】
前記第１マッチング用タップ取得部により取得されるマッチングタップの注目画素は、入力画像を所望の拡大率で拡大した画像における画素であり、前記画素値混合部により算出された画素値を、前記注目画素の値とすることで、前記拡大された画像の帯域が復元される
請求項１に記載の画像処理装置。
【請求項３】
前記第１マッチング用タップ取得部により取得されるマッチング用タップの画素間隔と、前記第２マッチング用タップ取得部により取得されるマッチング用タップの画素間隔とが異なり、
前記第２マッチング用タップ取得部により取得されるマッチング用タップの画素間隔は、前記拡大率に応じて定まる
請求項２に記載の画像処理装置。
【請求項４】
前記画素値混合制御部は、
前記第２マッチング用タップ取得部により取得されたマッチング用タップと前記第１マッチング用タップ取得部により取得されたマッチング用タップとの相似性の高さに応じて、前記第１演算画素と前記第２演算画素の混合比率を設定する
請求項１に記載の画像処理装置。
【請求項５】
前記画素値混合制御部は、
前記注目画素を中心とした予測用タップの画素値と、前記相似性最大画素を中心とした予測用タップの画素値とを混合し、混合後の予測用タップの画素値に所定の演算処理を施して得られた画素値を、前記注目画素の画素値として算出する
請求項１に記載の画像処理装置。
【請求項６】
前記画素値混合制御部は、
予め学習により求められて記憶されている係数であって、前記予測用タップを構成する各画素の画素位置に対応する複数の係数を、前記予測用タップの画素値に基づいて算出される特徴量に応じて分類されるクラス毎に読み出し、注目画素を中心とした予測用タップの画素値に前記係数を乗じることで前記第１演算画素値を算出し、前記相似性最大画素を中心とした予測用タップの画素値に前記係数を乗じることで前記第２演算画素値を算出する
請求項１に記載の画像処理装置。
【請求項７】
前記画素値混合制御部は、
前記注目画素を中心とする複数の画素から成る領域内での所定方向の一次微分値のダイナミックレンジに基づいて、前記注目画素に対応する参照値を算出し、
前記参照値に基づいて、前記第１演算画素と前記第２演算画素の混合比率を設定する
請求項１に記載の画像処理装置。
【請求項８】
前記画素値混合制御部は、
注目画素を中心とした予測用タップの画素値と、前記相似性最大画素を中心とした予測用タップの画素値の差分絶対値に基づいて、前記注目画素に対応する参照値を算出し、
前記参照値に基づいて、前記第１演算画素と前記第２演算画素の混合比率を設定する
請求項１に記載の画像処理装置。
【請求項９】
前記注目画素を中心とする複数の画素から成る領域内での定常性の有無を判定する定常性判定部をさらに備え、
前記領域内での定常性がないと判定された場合、
前記第１マッチング用タップ取得部、および、前記第１マッチング用タップ取得部は、前記マッチング用タップの画素数を少なくする
請求項１に記載の画像処理装置。
【請求項１０】
前記定常性判定部は、
前記注目画素を中心とする複数の画素から成る領域内での所定方向の一次微分値のダイナミックレンジ、前記領域内の画素値の分散値、または、前記領域の画像に対するエッジ抽出フィルタの出力値に基づいて前記定常性の有無を判定する
請求項９に記載の画像処理装置。
【請求項１１】
前記注目画素を中心とする複数の画素から成る領域内での定常性の有無を判定する定常性判定部をさらに備え、
前記領域内での定常性がないと判定された場合、
前記第１演算画素と前記第２演算画素の混合比率を変調する
請求項１に記載の画像処理装置。
【請求項１２】
第１マッチング用タップ取得部が、所定の画素を中心とした所定の位置の複数の画素から成るマッチング用タップであって、注目画素を中心とするマッチング用タップを取得し、
第２マッチング用タップ取得部が、前記注目画素の周囲の複数の画素から成るサーチ領域に存在する画素のそれぞれを中心とする前記マッチング用タップを、それぞれ取得し、
相似性特定部が、前記第２マッチング用タップ取得部により取得された複数のマッチング用タップのうち、前記第１マッチング用タップ取得部により取得されたマッチング用タップとの相似性が最も高いマッチング用タップの中心画素である相似性最大画素を特定し、
画素値混合制御部が、所定の画素を中心とした所定の位置の複数の画素から成る予測用タップであって、注目画素を中心とした予測用タップの画素値に所定の演算処理を施して得られた第１演算画素値と、前記相似性最大画素を中心とした予測用タップの画素値に所定の演算処理を施して得られた第２演算画素値とを混合することで、前記注目画素の画素値を算出するステップ
を含む画像処理方法。
【請求項１３】
コンピュータを、
所定の画素を中心とした所定の位置の複数の画素から成るマッチング用タップであって、注目画素を中心とするマッチング用タップを取得する第１マッチング用タップ取得部と、
前記注目画素の周囲の複数の画素から成るサーチ領域に存在する画素のそれぞれを中心とする前記マッチング用タップを、それぞれ取得する第２マッチング用タップ取得部と、
前記第２マッチング用タップ取得部により取得された複数のマッチング用タップのうち、前記第１マッチング用タップ取得部により取得されたマッチング用タップとの相似性が最も高いマッチング用タップの中心画素である相似性最大画素を特定する相似性特定部と、
所定の画素を中心とした所定の位置の複数の画素から成る予測用タップであって、注目画素を中心とした予測用タップの画素値に所定の演算処理を施して得られた第１演算画素値と、前記相似性最大画素を中心とした予測用タップの画素値に所定の演算処理を施して得られた第２演算画素値とを混合することで、前記注目画素の画素値を算出する画素値混合制御部とを備える画像処理装置として機能させる
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置および方法、並びに、プログラムに関し、特に、どのような領域においても画像の中の細かい精細感を復元することができるようにする画像処理装置および方法、並びに、プログラムに関する。
【背景技術】
【０００２】
一般に、情報と呼ばれるものは、エネルギー（エントロピー）の偏り（普遍性）を有し、この偏りが、情報（価値ある情報）として認識される。
【０００３】
例えば、ある風景を撮影して得られる画像が、そのような風景の画像であると人によって認識されるのは、画像（画像を構成する各画素の画素値など）が、その風景に対応したエネルギーの偏りを有するからであり、エネルギーの偏りがない画像は、雑音等にすぎず、情報としての利用価値はない。
【０００４】
従って、価値ある情報に対して、何らかの操作を施し、その情報が有する本来のエネルギーの偏りを、いわば破壊した場合でも、その破壊されたエネルギーの偏りを元に戻すことで、何らかの操作が施された情報も、元の情報に戻すことができる。すなわち、情報を操作して得られるデータは、その情報が有する本来のエネルギーの偏りを利用して、元の価値ある情報に復元することができる。
【０００５】
例えば、風景を撮影した画像等の一部は、画像のフラクタル性（自己相似性）を利用して生成することができることが知られている。例えば、海と森が表示されている画像においては、海全体の画素値の変化パターン（例えば、エッジ形状）と、その海の一部の画素値の変化パターンとの相似性は高いが、それらの変化パターンと、海から離れた森の画素値の変化パターンとの相似性は低いという相似性の偏りがある。
【０００６】
そこで、いま、海の一部と、森の一部とを入れ替える。
【０００７】
この場合、画像の相似性の偏りが破壊された画像が得られる。しかしながら、近接する部分の画素値の変化パターンは相似性が高く、離れるほど、画素値の変化パターンの相似性が低くなるという相似性の偏りを利用することにより、破壊された相似性の偏りを復元することができる。
【０００８】
すなわち、海の画像の一部が、海と相似性の低い森の画像の一部になっていること、および森の画像の一部が、森と相似性の低い海の画像の一部となっていることは、画像が有する本来の相似性の偏りからすれば、明らかに不自然である。つまり、海の画像の中の、森の画像の一部についての相似性は、海の他の部分についての相似性に比較して極端に低く、また、森の画像の中の、海の画像の一部についての相似性も、森の他の部分についての相似性に比較して極端に低い。一方、海の中にある森の一部と、森との相似性、および森の中にある海の一部と、海の相似性は、いずれも高い。
【０００９】
従って、画像が本来有する相似性の偏りからすれば、海の画像の一部となっている、森の画像の一部と、森の画像の一部となっている、海の画像の一部とは入れ替えるべきである。そして、そのような入れ替えを行うことで、画像の相似性の偏りが復元され、これにより、元の画像を復元することができる。
【００１０】
このような画像の自己相似性を利用して画質を向上させるような画像処理を施すことも可能である。また、このような、自己相似性を利用した高画質化処理の実行において、境界部分で画像の連続性を改善できるようにする技術も提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開平１１−３３１５９５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、従来の自己相似性を利用した処理を用いると、画像の局所において効果的に処理できない場合がある。
【００１３】
具体的には、画像を拡大する際に、例えば、細い線が太い線として描画されてしまったり、入力画像に存在する細かい模様をかえって消してしまったり、不自然な幾何学状の劣化を生じてしまう事がある。
【００１４】
また、ブロック単位で画素の置き換えを行う場合には、その境界部分において画像の不連続性を生じてしまう場合もある。さらに、解像度感・鮮鋭感をより高めるために画像の帯域を調整しようとすると、上記の劣化を強調する場合や、精細感を損なってしまう場合がある。
【００１５】
また、従来の学習を用いた高画質化処理（例えば、ＤＲＣ）では、最終的には画像の注目画素近傍の画素を用いたフィルタ処理になるので、真に出力画素レートの細かい精細感を作り出すことは難しかった。
【００１６】
本技術はこのような状況に鑑みて開示するものであり、どのような領域においても画像の中の細かい精細感を復元することができるようにするものである。
【課題を解決するための手段】
【００１７】
本技術の第１の側面は、所定の画素を中心とした所定の位置の複数の画素から成るマッチング用タップであって、注目画素を中心とするマッチング用タップを取得する第１マッチング用タップ取得部と、前記注目画素の周囲の複数の画素から成るサーチ領域に存在する画素のそれぞれを中心とする前記マッチング用タップを、それぞれ取得する第２マッチング用タップ取得部と、前記第２マッチング用タップ取得部により取得された複数のマッチング用タップのうち、前記第１マッチング用タップ取得部により取得されたマッチング用タップとの相似性が最も高いマッチング用タップの中心画素である相似性最大画素を特定する相似性特定部と、所定の画素を中心とした所定の位置の複数の画素から成る予測用タップであって、注目画素を中心とした予測用タップの画素値に所定の演算処理を施して得られた第１演算画素値と、前記相似性最大画素を中心とした予測用タップの画素値に所定の演算処理を施して得られた第２演算画素値とを混合することで、前記注目画素の画素値を算出する画素値混合制御部とを備える画像処理装置である。
【００１８】
前記第１マッチング用タップ取得部により取得されるマッチングタップの注目画素は、入力画像を所望の拡大率で拡大した画像における画素であり、前記画素値混合部により算出された画素値を、前記注目画素の値とすることで、前記拡大された画像の帯域が復元されるようにすることができる。
【００１９】
前記第１マッチング用タップ取得部により取得されるマッチング用タップの画素間隔と、前記第２マッチング用タップ取得部により取得されるマッチング用タップの画素間隔とが異なり、前記第２マッチング用タップ取得部により取得されるマッチング用タップの画素間隔は、前記拡大率に応じて定まるようにすることができる。
【００２０】
前記画素値混合制御部は、前記第２マッチング用タップ取得部により取得されたマッチング用タップと前記第１マッチング用タップ取得部により取得されたマッチング用タップとの相似性の高さに応じて、前記第１演算画素と前記第２演算画素の混合比率を設定するようにすることができる。
【００２１】
前記画素値混合制御部は、前記注目画素を中心とした予測用タップの画素値と、前記相似性最大画素を中心とした予測用タップの画素値とを混合し、混合後の予測用タップの画素値に所定の演算処理を施して得られた画素値を、前記注目画素の画素値として算出するようにすることができる。
【００２２】
前記画素値混合制御部は、予め学習により求められて記憶されている係数であって、前記予測用タップを構成する各画素の画素位置に対応する複数の係数を、前記予測用タップの画素値に基づいて算出される特徴量に応じて分類されるクラス毎に読み出し、注目画素を中心とした予測用タップの画素値に前記係数を乗じることで前記第１演算画素値を算出し、前記相似性最大画素を中心とした予測用タップの画素値に前記係数を乗じることで前記第２演算画素値を算出するようにすることができる。
【００２３】
前記画素値混合制御部は、前記注目画素を中心とする複数の画素から成る領域内での所定方向の一次微分値のダイナミックレンジに基づいて、前記注目画素に対応する参照値を算出し、前記参照値に基づいて、前記第１演算画素と前記第２演算画素の混合比率を設定するようにすることができる。
【００２４】
前記画素値混合制御部は、注目画素を中心とした予測用タップの画素値と、前記相似性最大画素を中心とした予測用タップの画素値の差分絶対値に基づいて、前記注目画素に対応する参照値を算出し、前記参照値に基づいて、前記第１演算画素と前記第２演算画素の混合比率を設定するようにすることができる。
【００２５】
前記注目画素を中心とする複数の画素から成る領域内での定常性の有無を判定する定常性判定部をさらに備え、前記領域内での定常性がないと判定された場合、前記第１マッチング用タップ取得部、および、前記第１マッチング用タップ取得部は、前記マッチング用タップの画素数を少なくするようにすることができる。
【００２６】
前記定常性判定部は、前記注目画素を中心とする複数の画素から成る領域内での所定方向の一次微分値のダイナミックレンジ、前記領域内の画素値の分散値、または、前記領域の画像に対するエッジ抽出フィルタの出力値に基づいて前記定常性の有無を判定するようにすることができる。
【００２７】
前記注目画素を中心とする複数の画素から成る領域内での定常性の有無を判定する定常性判定部をさらに備え、前記領域内での定常性がないと判定された場合、前記第１演算画素と前記第２演算画素の混合比率を変調するようにすることができる。
【００２８】
本発明の一側面は、第１マッチング用タップ取得部が、所定の画素を中心とした所定の位置の複数の画素から成るマッチング用タップであって、注目画素を中心とするマッチング用タップを取得し、第２マッチング用タップ取得部が、前記注目画素の周囲の複数の画素から成るサーチ領域に存在する画素のそれぞれを中心とする前記マッチング用タップを、それぞれ取得し、相似性特定部が、前記第２マッチング用タップ取得部により取得された複数のマッチング用タップのうち、前記第１マッチング用タップ取得部により取得されたマッチング用タップとの相似性が最も高いマッチング用タップの中心画素である相似性最大画素を特定し、画素値混合制御部が、所定の画素を中心とした所定の位置の複数の画素から成る予測用タップであって、注目画素を中心とした予測用タップの画素値に所定の演算処理を施して得られた第１演算画素値と、前記相似性最大画素を中心とした予測用タップの画素値に所定の演算処理を施して得られた第２演算画素値とを混合することで、前記注目画素の画素値を算出するステップを含む画像処理方法である。
【００２９】
本発明の一側面は、コンピュータを、所定の画素を中心とした所定の位置の複数の画素から成るマッチング用タップであって、注目画素を中心とするマッチング用タップを取得する第１マッチング用タップ取得部と、前記注目画素の周囲の複数の画素から成るサーチ領域に存在する画素のそれぞれを中心とする前記マッチング用タップを、それぞれ取得する第２マッチング用タップ取得部と、前記第２マッチング用タップ取得部により取得された複数のマッチング用タップのうち、前記第１マッチング用タップ取得部により取得されたマッチング用タップとの相似性が最も高いマッチング用タップの中心画素である相似性最大画素を特定する相似性特定部と、所定の画素を中心とした所定の位置の複数の画素から成る予測用タップであって、注目画素を中心とした予測用タップの画素値に所定の演算処理を施して得られた第１演算画素値と、前記相似性最大画素を中心とした予測用タップの画素値に所定の演算処理を施して得られた第２演算画素値とを混合することで、前記注目画素の画素値を算出する画素値混合制御部とを備える画像処理装置として機能させるプログラムである。
【００３０】
本技術の一側面においては、所定の画素を中心とした所定の位置の複数の画素から成るマッチング用タップであって、注目画素を中心とするマッチング用タップが取得され、前記注目画素の周囲の複数の画素から成るサーチ領域に存在する画素のそれぞれを中心とする前記マッチング用タップが、それぞれ取得され、前記取得された複数のマッチング用タップのうち、前記取得されたマッチング用タップとの相似性が最も高いマッチング用タップの中心画素である相似性最大画素が特定され、所定の画素を中心とした所定の位置の複数の画素から成る予測用タップであって、注目画素を中心とした予測用タップの画素値に所定の演算処理を施して得られた第１演算画素値と、前記相似性最大画素を中心とした予測用タップの画素値に所定の演算処理を施して得られた第２演算画素値とが混合されることで、前記注目画素の画素値が算出される。
【発明の効果】
【００３１】
本技術によれば、どのような領域においても画像の中の細かい精細感を復元することができる。
【図面の簡単な説明】
【００３２】
【図１】本技術の一実施の形態に係る画像処理装置の構成例を示すブロック図である。
【図２】マッチング用タップの例を示す図である。
【図３】タップ間隔を密にしたマッチング用タップの例を示す図である。
【図４】タップ間隔を疎にしたマッチング用タップの例を示す図である。
【図５】拡大率に応じたタップ間隔の設定の例を説明する図である。
【図６】入力画像から構築されるマッチング用タップの例を示す図である。
【図７】予測用タップの例を示す図である。
【図８】第１予測用タップ構築部が用いる予測用タップの例を示す図である。
【図９】第１予測用タップ構築部が用いる予測用タップの別の例を示す図である。
【図１０】第２予測用タップ構築部が用いる予測用タップの例を示す図である。
【図１１】第２予測用タップ構築部が用いる予測用タップの別の例を示す図である。
【図１２】第２予測用タップ構築部が用いる予測用タップであって、入力画像から構築される予測用タップの例を示す図である。
【図１３】ミキシング制御部による混合比率αの設定例を示す図である。
【図１４】画像処理の例を説明するフローチャートである。
【図１５】本技術の一実施の形態に係る画像処理装置の別の構成例を示すブロック図である。
【図１６】クラス分類適応処理に使用される予測係数を生成する学習装置の構成例を示すブロック図である。
【図１７】学習処理の例を説明するフローチャートである。
【図１８】クラス分類適応処理を用いた帯域復元装置の構成例を示すブロック図である。
【図１９】帯域復元処理の例を説明するフローチャートである。
【図２０】理想的な出力画像の例を示す図である。
【図２１】輝度浮き沈みが発生した出力画像の例を示す図である。
【図２２】画像の中の平坦な領域と平坦でない領域について説明する図である。
【図２３】一次微分ＤＲを説明する図である。
【図２４】画素値の混合比率を高めることによる問題を説明する図である。
【図２５】ミキシング制御部による混合比率βの設定例を示す図である。
【図２６】混合比率設定処理の例を説明するフローチャートである。
【図２７】本技術の一実施の形態に係る画像処理装置のさらに別の構成例を示すブロック図である。
【図２８】注目画素および周辺画素の抽出の例を説明する図である。
【図２９】タップサイズについて説明する図である。
【図３０】定常性検出制御処理の例を説明する図である。
【図３１】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００３３】
以下、図面を参照して、ここで開示する技術の実施の形態について説明する。
【００３４】
図１は、本技術の一実施の形態に係る画像処理装置の構成例を示すブロック図である。同図に示される画像処理装置１０は、画素数変換部２１、第１帯域復元部２２、第１マッチング用タップ構築部２３、第２マッチング用タップ構築部２４、相似性検出部２５、ミキシング制御部２６、およびミキシング部２７を有している。画像処理装置１０は、さらに、第１予測用タップ構築部３１、第２予測用タップ構築部３２、第２帯域復元部３３、および第３帯域復元部３４を有している。
【００３５】
画素数変換部２１は、入力画像について、所望の拡大率に応じた画素数変換を行う。ここで、画素数変換は、例えば、ＣｕｂｉｃフィルタやＬａｎｃｚｏｓフィルタなどを用いた、通常の画素補間処理により行われる。あるいはまた、クラス分類・学習処理を用いた画素数変換が行われるようにしてもよい。なお、クラス分類適応処理については後述する。
【００３６】
第１帯域復元部２２は、画像の全体的な帯域の復元を行い、解像度感および鮮鋭感の調整を行う。ここで、画像の全体的な帯域の復元は、一般的な帯域復元用のフィルタ処理により行われる。例えば、ボケ除去フィルタ、ハイパスフィルタなどのフィルタ処理が用いられる。あるいはまた、クラス分類適応処理を用いた変換により帯域の復元が行われるようにしてもよい。なお、クラス分類適応処理については後述する。
【００３７】
第１マッチング用タップ構築部２３、および、第２マッチング用タップ構築部２４は、自己相似性検出に用いるためのタップの構築を行う。ここで、タップの構築は、マッチング用タップとして予め定められた複数の位置に配置された画素の値を取得することを意味する。
【００３８】
第１マッチング用タップ構築部２３、および、第２マッチング用タップ構築部２４は、画素数変換部２１および第１帯域復元部２２の処理を経て拡大された画像（仮出力画像と称する）から、タップを構築する。
【００３９】
図２は、マッチング用タップの例を示す図である。なお、同図において、円として示されたものが個々に画素を表している。同図の例では、中心画素がその重心位置となる正四角形を構成する４１個の画素によりマッチング用タップが形成されている。
【００４０】
第１マッチング用タップ構築部２３は、仮出力画像の中の注目画素を中心画素として、図２に示されるようなマッチング用タップに対応する画素の値をそれぞれ取得する。この際、第１マッチング用タップ構築部２３は、図２に示されるマッチング用タップの画素間の間隔を密にしたマッチング用タップを用いる。なお、画素間の間隔を密にすることをここでは、「タップ間隔を密にする」と称することにする。
【００４１】
図３は、第１マッチング用タップ構築部２３が用いるマッチング用タップであって、タップ間隔を密にしたマッチング用タップの例を示す図である。同図の例では、仮出力画像６０から、タップ間隔を密にした予測用タップが構築されている。
【００４２】
第２マッチング用タップ構築部２４は、仮出力画像６０に対して、注目画素の周辺の画素により構成されるサーチエリア内の各画素の位置を中心としたマッチング用タップを構築する。この際、第２マッチング用タップ構築部２４は、図３に示されるマッチング用タップとはタップ間隔が異なるマッチング用タップを用いる。例えば、図３に示されるマッチング用タップと比較して隣接する画素間の距離が長い（タップ間隔を疎にした）マッチング用タップが用いられる。
【００４３】
図４は、第２マッチング用タップ構築部２４が用いるマッチング用タップであって、タップ間隔を疎にしたマッチング用タップの例を示す図である。この例では、仮出力画像６０において、注目画素の周辺のサーチエリアが図中の点線の矩形で示されており、サーチエリア内の図中左上側に位置する画素を中心画素としたマッチング用タップが示されている。
【００４４】
第２マッチング用タップ構築部２４は、サーチエリア内に位置する画素のそれぞれを中心画素とした図４に示されるようなマッチング用タップを順次構築する。例えば、仮出力画像のサーチエリア内に、１００個の画素が存在する場合、第２マッチング用タップ構築部２４は、注目画素を除く９９個の画素のそれぞれを中心とした９９通りのマッチング用タップを順次構築していく。
【００４５】
第２マッチング用タップ構築部２４が用いるマッチング用タップのタップ間隔は、例えば、水平・垂直方向それぞれの拡大率に応じて決定される。上述したように、画素数変換部２１では、入力画像について、所望の拡大率に応じた画素数変換が行われるが、この際の拡大率は、例えば、水平・垂直方向それぞれについて定義されるものとする。
【００４６】
図５は、拡大率に応じたタップ間隔の設定の例を説明する図である。同図は、横軸が拡大率、縦軸がタップ間隔（隣接する画素間の距離）とされ、３本の実線により、設定されるタップ間隔が示されている。すなわち、拡大率が１.０乃至略１.５の場合、タップ間隔は１に設定される。また、拡大率が略１.５乃至略２.５の場合、タップ間隔は２に設定される。さらに、拡大率が略２.５乃至略３.５の場合、タップ間隔は３に設定される。
【００４７】
例えば、図５を、水平方向の拡大率と水平方向のタップ間隔の関係に適用する場合、水平方向の拡大率が２.０である場合、マッチング用タップの水平方向の画素間の距離が２に設定される。また、例えば、図５を、垂直方向の拡大率と垂直方向のタップ間隔の関係に適用する場合、垂直方向の拡大率が２.０である場合、マッチング用タップの垂直方向の画素間の距離が２に設定される。
【００４８】
ここでは、水平・垂直方向それぞれの拡大率に応じてマッチング用タップのタップ間隔が設定される例について説明したが、例えば、入力画像の帯域に応じてタップ間隔が設定されるようにしてもよい。
【００４９】
また、ここでは、第２マッチング用タップ構築部２４は、仮出力画像からタップを構築すると説明したが、第２マッチング用タップ構築部２４が入力画像からタップを構築するようにしてもよい。例えば、図５に示した例では、拡大率が２.０の場合、タップ間隔２が設定されることになるが、これは、拡大前の画像（すなわち、入力画像）においてタップ間隔を１にしてタップを構築することとほぼ同義である。このため、例えば、拡大率が２.０の場合、第２マッチング用タップ構築部２４が入力画像から、タップ間隔を１としてマッチング用タップを構築するようにしてもよい。
【００５０】
図６は、第２マッチング用タップ構築部２４が用いるマッチング用タップであって、入力画像から構築されるマッチング用タップの例を示す図である。この場合、同図に示されるように、入力画像７０の中で、注目画素の位置が特定され、注目画素の周辺に図中の点線の矩形で示されるサーチエリアが設定される。そして、入力画像７０のサーチエリア内において、サーチエリア内に位置する画素のそれぞれを中心画素とした図６に示されるようなマッチング用タップが順次構築されることになる。
【００５１】
図１に戻って、相似性検出部２５は、第１マッチング用タップ構築部２３により構築されたマッチング用タップと、第２マッチング用タップ構築部２３により構築されたマッチング用タップとの間の相似性を検出する。
【００５２】
第１マッチング用タップ構築部２３により構築されたマッチング用タップ内の各画素値をｚ１ijで表し、第２マッチング用タップ構築部２４により構築されたマッチング用タップ内の各画素値をｚ２ijkで表した場合、相似性の逆数ｄｉｆｆikは、式（１）により算出される。
【００５３】
【数１】
2013238948.tif 000003
・・・（１）
【００５４】
なお、式（１）におけるサフィックスｉは、注目画素の画素位置を特定する番号などとされ、サフィックスｊは、マッチング用タップ内の画素位置を特定する番号などとされ、サフィックスｋは、サーチエリア内での画素位置を特定する番号などとされる。
【００５５】
また、式（１）におけるバーの表記は、マッチング用タップ内の各画素値の平均値を表す。ここで、平均値は、例えば、各画素値を単純に加算して除したものとしてもよいし、いずれかの画素値に重み付けなどを行ったものを加算して除したものとしてもよい。
【００５６】
式（１）により算出されたｄｉｆｆikの値が小さいほど、双方のマッチング用タップ間の相似性が高くなる。式（２）により示されるように、ｄｉｆｆikの値が最小となるｋ（すなわち、サーチエリア内での画素位置）を、相似性最大画素位置ｋｍｉｎとする。
【００５７】
【数２】
2013238948.tif 000004
・・・（２）
【００５８】
相似性検出部２５は、上述した式（２）に基づいて特定された画素位置ｋｍｉｎを、第２予測用タップ構築部３２に供給し、この画素位置ｋｍｉｎに対応する相似性の逆数ｄｉｆｆikを、ミキシング制御部２６に供給する。
【００５９】
第１予測用タップ構築部３１および第２予測用タップ構築部３２は、仮出力画像から予測用タップを構築する。ここで、予測用タップは、第２帯域復元部３３、または、第２帯域復元部３４において帯域の復元に係る画像処理を実行するために必要とされる画素群とされる。
【００６０】
図７は、予測用タップの例を示す図である。なお、同図において、円として示されたものが個々に画素を表している。同図の例では、中心画素がその重心位置となる正四角形を構成する１３個の画素により予測用タップが形成されている。すなわち、図７に示される予測用タップは、図２に示されるマッチング用タップと比較して、画素数が少なくなっている（タップサイズが小さくなっている）。
【００６１】
図８は、第１予測用タップ構築部３１が用いる予測用タップであって、仮出力画像から構築される予測用タップの例を示す図である。同図の例では、仮出力画像６０における注目画素の周辺の複数の画素により予測用タップが構築されている。なお、第１予測用タップ構築部３１の注目画素（図８における注目画素）の画素位置は、第１マッチング用タップ構築部２３の注目画素（図３における注目画素）の画素位置と同じである。
【００６２】
なお、第１予測用タップ構築部３１は、例えば、図９に示されるように、画素間隔を疎にした予測用タップを構築するようにしてもよい。
【００６３】
図１０は、第２予測用タップ構築部３２が用いる予測用タップであって、仮出力画像から構築される予測用タップの例を示す図である。同図の例では、仮出力画像６０における注目画素の周辺の図中の点線の矩形によりサーチエリアが示されている。そして、サーチエリア内の左上側の画素を中心とした予測用タップが構築されている。なお、第２予測用タップ構築部３２の中心画素（図１０における黒色の画素）の画素位置は、第２マッチング用タップ構築部２４の中心画素（図４における黒色の画素）のうち、相似性の逆数ｄｉｆｆikが最小となった画素位置と同じである。
【００６４】
すなわち、第２予測用タップ構築部３２は、相似性検出部２５から供給された画素位置ｋｍｉｎを中心画素として予測用タップを構築する。
【００６５】
なお、第２予測用タップ構築部３２は、例えば、図１１に示されるように、画素間隔を密にした予測用タップを構築するようにしてもよい。
【００６６】
すなわち、予測用タップの構築においては、マッチング用タップの構築の際に設定されたタップ間隔と同じタップ間隔を設定してもよいし、異なるタップ間隔を設定するようにしてもよい。
【００６７】
また、ここでは、第２予測用タップ構築部３２は、仮出力画像からタップを構築すると説明したが、第２マッチング用タップ構築部２４が入力画像からタップを構築する場合、第２予測用タップ構築部３２も入力画像からタップを構築するようにしてもよい。
【００６８】
図１２は、第２予測用タップ構築部３２が用いる予測用タップであって、入力画像から構築される予測用タップの例を示す図である。この場合、同図に示されるように、入力画像７０の中で、注目画素の位置が特定され、注目画素の周辺に図中の点線の矩形で示されるサーチエリア内の相似性最大画素位置を中心とした予測用タップが構築されることになる。
【００６９】
図１に戻って、第２帯域復元部３３および第２帯域復元部３４は、画像の局所的な帯域の復元を行い、解像度感および鮮鋭感の調整を行う。ここで、画像の局所な帯域の復元は、一般的な帯域復元用のフィルタ処理により行われる。例えば、ボケ除去フィルタ、ハイパスフィルタなどのフィルタ処理が用いられる。あるいはまた、クラス分類適応処理を用いた変換により帯域の復元が行われるようにしてもよい。なお、クラス分類適応処理については後述する。
【００７０】
なお、上述したように、第２帯域復元部３３および第２帯域復元部３４は、それぞれ第１予測用タップ構築部３１および第２予測用タップ構築部３２により構築された予測用タップに基づいて画像の局所的な帯域の復元を行うようになされている。例えば、予測用タップを構成する各画素値に所定の係数を乗じて得られた値を重み付け加算して得られた値が注目画素の値として出力される。
【００７１】
ここまでの処理により、注目画素の周辺に対して帯域復元の処理が施された画素値（第２帯域復元部３３の処理結果）と、画素位置ｋｍｉｎの画素の周辺に対して帯域復元の処理が施された画素値（第２帯域復元部３４の処理結果）とが得られたことになる。
【００７２】
ミキシング部２７は、注目画素の周辺に対して帯域復元の処理が施された画素値、および、画素位置ｋｍｉｎの画素の周辺に対して帯域復元の処理が施された画素値を混合するようになされている。この際、ミキシング部２７は、ミキシング制御部２６の制御に基づいて、注目画素の周辺に対して帯域復元の処理が施された画素値、および、画素位置ｋｍｉｎの画素の周辺に対して帯域復元の処理が施された画素値を混合する。
【００７３】
ミキシング制御部２６は、例えば、ミキシング制御部２６から供給される混合比率αに基づいて、式（３）により画素値を演算して出力する。
【００７４】
【数３】
2013238948.tif 000005
・・・（３）
【００７５】
なお、式（３）において、ｙ１ｉは第２帯域復元部３３の出力値を表し、ｙ２ｉは第２帯域復元部３４の出力値を表し、ｙｉは最終的な出力値を表している。
【００７６】
ミキシング制御部２６は、例えば、式（１）により算出されたｄｉｆｆikの値に応じた混合比率αを設定するようになされている。図１３は、ミキシング制御部２６による混合比率αの設定例を示す図である。同図は、横軸がｄｉｆｆikとされ、縦軸がαとされ、ｄｉｆｆikの値に応じた混合比率αの設定値が示されている。
【００７７】
図１３の例では、ｄｉｆｆikの値が閾値ｔｈ以下である場合、混合比率αの値は、０≦α≦１の範囲内でｄｉｆｆikの値とともに大きくなるように設定される。そして、ｄｉｆｆikの値が閾値ｔｈを超える場合、混合比率αの値は１に固定される。
【００７８】
すなわち、注目画素の周辺と画素位置ｋｍｉｎの画素の周辺との間の相似性が高い場合（ｄｉｆｆikの値が小さい場合）、画素位置ｋｍｉｎの画素の周辺に対して帯域復元の処理が施された画素値が強く混合されるように、混合比率αが設定される。一方、注目画素の周辺と画素位置ｋｍｉｎの画素の周辺との間の相似性が低い場合（ｄｉｆｆikの値が大きい場合）、注目画素の周辺に対して帯域復元の処理が施された画素値が強く混合されるように、混合比率αが設定される。そして、注目画素の周辺と画素位置ｋｍｉｎの画素の周辺との間の相似性が十分に低い場合（ｄｉｆｆikの値が閾値を超える場合）、注目画素の周辺に対して帯域復元の処理が施された画素値のみが出力される混合比率αが設定される。
【００７９】
このようにして、本技術を適用した画像処理装置１０による画像処理が行われる。本技術によれば、上述したように、自己相似性の検出の際に、拡大率に応じたタップ間隔が設定されて相似性の高い領域が検出される。これにより、例えば、従来の自己相似性検出の技術と比較してより高い精度での相似性の検出が可能となる。
【００８０】
また、本技術によれば、入力画像の注目画素の周辺の画素から算出された画素値と、相似性最大画素位置の周辺の画素から算出された画素値とが混合されて出力画像の注目画素値が算出される。これにより、例えば、単に自己相似性の高い領域との置き換えによる帯域復元などと比較して、画像の特性に合った帯域復元を行うことが可能となる。
【００８１】
このようにすることで、本技術では、例えば、従来の画像の拡大処理において散見される問題を解決することができる。
【００８２】
例えば、本技術によれば、画像を拡大する際に，線を太らせずに細いまま拡大するようにすることができる。
【００８３】
また、本技術によれば、リンギング劣化を生じずに，エッジを鮮鋭化して画像を拡大することができる。
【００８４】
さらに、本技術によれば、レートの高い帯域の細かいディテールを作り出すことができ、出力画像における精細感を向上させることができる。
【００８５】
また、本技術によれば、画像を拡大する際に，ノイズが膨らむ効果をなくし，細かいノイズに作り替えるようにすることができる。
【００８６】
次に、図１４のフローチャートを参照して、本技術を適用した画像処理装置１０による画像処理の例について説明する。
【００８７】
ステップＳ２１において、画素数変換部２１は、入力画像について、所望の拡大率に応じた画素数変換を行う。ここで、画素数変換は、例えば、ＣｕｂｉｃフィルタやＬａｎｃｚｏｓフィルタなどを用いた、通常の画素補間処理により行われる。
【００８８】
ステップＳ２２において、第１帯域復元部２２は、画像の全体的な帯域の復元を行い、解像度感および鮮鋭感の調整を行う。ここで、画像の全体的な帯域の復元は、一般的な帯域復元用のフィルタ処理により行われる。例えば、ボケ除去フィルタ、ハイパスフィルタなどのフィルタ処理が用いられる。あるいはまた、クラス分類適応処理を用いた変換により帯域の復元が行われるようにしてもよい。
【００８９】
ステップＳ２３において、第１マッチング用タップ構築部２３、および、第２マッチング用タップ構築部２４は、ステップＳ２１、およびステップＳ２２の処理を経て得られた仮出力画像から、予測用タップを構築する。
【００９０】
このとき、例えば、図３、図４を参照して上述したように、予測用タップが構築される。なお、第２マッチング用タップ構築部２４の予測用タップのタップ間隔は、例えば、図５を参照して上述したように設定される。また、例えば、図６を参照して上述したように、第２マッチング用タップ構築部２４は、入力画像から予測用タップを構築するようにしてもよい。
【００９１】
ステップＳ２４において、相似性検出部２５は、第１マッチング用タップ構築部２３により構築されたマッチング用タップと、第２マッチング用タップ構築部２４により構築されたマッチング用タップとの間の相似性を検出する。このとき、例えば、上述した式（１）の演算により、相似性の逆数ｄｉｆｆikが算出される。
【００９２】
ステップＳ２５において、サーチエリア内の全ての画素についてチェック（相似性の検出など）したか否かが判定される。まだ、サーチエリア内の全ての画素についてチェックしていないと判定された場合、処理は、ステップＳ２３に戻り、第２マッチング用タップ構築部２４がサーチエリア内の次の画素を中心画素として予測用タップを構築し、その後の処理を繰り返し実行する。
【００９３】
ステップＳ２５において、サーチエリア内の全ての画素についてチェックしたと判定された場合、処理は、ステップＳ２６に進む。
【００９４】
ステップＳ２６において、相似性検出部２５は、ステップＳ２４の処理に伴って算出された相似性の逆数ｄｉｆｆikのうち、最小のものを特定する。
【００９５】
ステップＳ２７において、相似性検出部２５は、ステップＳ２６で特定された最小の相似性の逆数ｄｉｆｆikに対応する画素位置、すなわち、相似性最大画素位置ｋｍｉｎを特定する。
【００９６】
ステップＳ２８において、第１予測用タップ構築部３１および第２予測用タップ構築部３２は、仮出力画像から予測用タップを構築する。
【００９７】
このとき、例えば、図８乃至図１１を参照して上述したように、予測用タップが構築される。また、例えば、図１２を参照して上述したように、第２マッチング用タップ構築部２４は、入力画像から予測用タップを構築するようにしてもよい。
【００９８】
ステップＳ２９において、第２帯域復元部３３および第２帯域復元部３４は、画像の局所的な帯域の復元を行い、解像度感および鮮鋭感の調整を行う。ここで、画像の局所な帯域の復元は、一般的な帯域復元用のフィルタ処理により行われる。例えば、ボケ除去フィルタ、ハイパスフィルタなどのフィルタ処理が用いられる。あるいはまた、クラス分類適応処理を用いた変換により帯域の復元が行われるようにしてもよい。
【００９９】
ステップＳ３０において、ミキシング部２７は、注目画素に対して帯域復元の処理が施された画素値、および、画素位置ｋｍｉｎの画素に対して帯域復元の処理が施された画素値を混合する。この際、ミキシング部２７は、ミキシング制御部２６の制御に基づいて、注目画素の周辺に対して帯域復元の処理が施された画素値、および、画素位置ｋｍｉｎの画素の周辺に対して帯域復元の処理が施された画素値を混合する。
【０１００】
ミキシング部２７は、例えば、ミキシング制御部２６から供給される混合比率αに基づいて、上述した式（３）により画素値を演算して出力する。
【０１０１】
ステップＳ３１において、次の画素があるか否かが判定される。すなわち、仮出力画像内の全ての画素を注目画素としてステップＳ２３乃至ステップＳ３０の処理が実行されたか否かが判定される。
【０１０２】
ステップＳ３１において、次の画素があると判定された場合、処理は、ステップＳ２３に戻り、次の画素が注目画素とされ、それ以降の処理が繰り返し実行される。
【０１０３】
ステップＳ３１において、次の画素がないと判定された場合、処理は、ステップＳ３２に進む。
【０１０４】
ステップＳ３２において、画像処理装置１０は、画像を出力する。これにより、入力画像が所望の拡大率に拡大された画像が出力される。その際、線を太らせずに細いまま拡大され、リンギング劣化を生じずに，エッジを鮮鋭化して拡大され、精細感が向上され、ノイズが膨らむ効果をなくし，細かいノイズに作り替えられるようにすることができる。
【０１０５】
このようにして、画像処理が実行される。
【０１０６】
なお、図１に示される画像処理装置１０は、例えば、図１５に示されるように構成することもできる。図１５は、本技術を適用した画像処理装置の別の実施の形態に係る構成例を示すブロック図である。図１５に示される画像処理装置１０において、図１と対応するブロックには同一の符号が付されている。
【０１０７】
図１５の画像処理装置１０は、図１の構成の場合と異なり、第１予測用タップ構築部３１および第２予測用タップ構築部３２から出力されるデータがミキシング部２７に供給される。そして、ミキシング部２７から出力されるデータが第２帯域復元部３５に供給されるようになされている。
【０１０８】
すなわち、図１５の構成の場合、第１予測用タップ構築部３１により構築された予測用タップを構成する画素のそれぞれと、第２予測用タップ構築部３２により構築された予測用タップを構成する画素のそれぞれとが、ミキシング制御部２６から供給される混合比率により混合される。
【０１０９】
そして、ミキシング部２７から混合後の予測用タップが出力され、第２帯域復元部３５が画像の局所的な帯域の復元を行い、解像度感および鮮鋭感の調整を行う。例えば、第２帯域復元部３５は、混合後の予測用タップを構成する各画素値に所定の係数を乗じて得られた値を重み付け加算して得られた値が注目画素の値として出力する。
【０１１０】
図１５の画像処理装置１０におけるその他の構成は、図１の場合と同様なので、詳細な説明は省略する。
【０１１１】
本技術を適用した画像処理装置は、このように構成されるようにしてもよい。
【０１１２】
次に、上述したクラス分類適応処理について説明する。クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、画像のデータを、その性質に基づいてクラス分けし、クラスごとに適応処理を施すものである。適応処理では、例えば、低画質の画像が、所定のタップ係数（以下、適宜、予測係数とも称する）を用いてマッピング（写像）されることにより、高画質の画像に変換される。
【０１１３】
図１６は、低画質の画像（例えば、低帯域の画像）である入力画像から高画質の画像（例えば、高帯域の画像）である出力画像を生成するクラス分類適応処理に使用される予測係数を生成する学習装置の構成例を示すブロック図である。
【０１１４】
図１６に示す画像処理装置に入力される入力画像は、高帯域画像である教師画像であり、生徒画像生成部１０１および教師画素抽出部１０８に供給される。教師画像に含まれる画素（の画素値）は、教師データとして使用される。
【０１１５】
生徒画像生成部１０１は、入力された高帯域画像である教師画像の帯域を調整するフィルタなどを用いて、教師画像に対応する低帯域画像である生徒画像を生成し、生成した生徒画像を画像メモリ１０２に供給する。
【０１１６】
画像メモリ１０２は、生徒画像生成部１０１から供給された生徒画像を記憶し、記憶している生徒画像をクラスタップ抽出部１０３および予測タップ抽出部１０６に供給する。
【０１１７】
クラスタップ抽出部１０３は、注目画素を順次選択し、選択された注目画素に対応して生徒画像からクラスタップを抽出し、生徒画像と共に抽出されたクラスタップを特徴量検出部１０４に供給する。特徴量検出部１０４は、注目画素に対応して、生徒画像から特徴量を検出し、検出された特徴量をクラスタップと共にクラス分類部１０５に供給する。
【０１１８】
クラス分類部１０５は、特徴量検出部１０４から供給されたクラスタップおよび特徴量を基に、注目画素のクラスを分類し、分類されたクラスを示すクラスコードを予測タップ抽出部１０６および学習メモリ１０９に供給する。
【０１１９】
予測タップ抽出部１０６は、クラス分類部１０５から供給されたクラスコードを基に、画像メモリ１０２から供給された生徒画像から、分類されたクラスに対応する予測タップを抽出して、抽出した予測タップを足し込み演算部１０７に供給する。
【０１２０】
教師画素抽出部１０８は、教師データ、すなわち、教師画像の注目画素を抽出して、抽出した教師データを足し込み演算部１０７に供給する。
【０１２１】
足し込み演算部１０７は、予め定められた正規方程式に、高帯域画像の画素である教師データおよび低帯域画像の画素である予測タップを足し込み、教師データおよび予測タップを足し込んだ正規方程式を学習メモリ１０９に供給する。
【０１２２】
学習メモリ１０９は、クラス分類部１０５から供給されたクラスコードを基に、足し込み演算部１０７から供給された正規方程式をクラス毎に記憶する。学習メモリ１０９は、クラス毎に記憶している、教師データおよび予測タップが足し込まれた正規方程式を正規方程式演算部１１０に供給する。
【０１２３】
正規方程式演算部１１０は、学習メモリ１０９から供給された正規方程式を、例えば、掃き出し法により解いて、クラス毎に予測係数を求める。正規方程式演算部１１０は、クラス毎の予測係数を係数メモリ１１１に供給する。
【０１２４】
係数メモリ１１１は、正規方程式演算部１１０から供給された、クラス毎の予測係数を記憶する。係数メモリ１１１に記憶されたクラス毎の予測係数は、帯域復元装置の係数メモリ１２４（後述）に供給される。
【０１２５】
図１７は、クラス分類適応処理に使用される予測係数を生成する学習装置による学習の処理を説明するフローチャートである。
【０１２６】
ステップＳ５１において、生徒画像生成部１０１は、教師画像である入力画像から生徒画像を生成する。ステップＳ５２において、クラスタップ抽出部１０３は、注目画素を順次選択し、選択された注目画素に対応するクラスタップを生徒画像から抽出する。
【０１２７】
ステップＳ５３において、特徴量検出部１０４は、生徒画像から、注目画素に対応する特徴量を検出する。ステップＳ５４において、クラス分類部１０５は、ステップＳ５２の処理により抽出されたクラスタップ、およびステップＳ５３の処理により検出された特徴量を基に、注目画素のクラスを分類する。
【０１２８】
ステップＳ５５において、予測タップ抽出部１０６は、ステップＳ５４の処理により分類されたクラスを基に、注目画素に対応する予測タップを生徒画像から抽出する。
【０１２９】
ステップＳ５６において、教師画素抽出部１０８は、教師画像である入力画像から注目画素、すなわち教師画素（教師データ）を抽出する。
【０１３０】
ステップＳ５７において、足し込み演算部１０７は、ステップＳ５５の処理で抽出された予測タップ、およびステップＳ５６の処理で抽出された教師画素（教師データ）を正規方程式に足し込む演算を実行する。
【０１３１】
ステップＳ５８において、画像処理装置は、教師画像の全画素について足し込みの処理が終了したか否かを判定し、全画素について足し込みの処理が終了していないと判定された場合、ステップＳ５２に戻り、まだ注目画素とされていない画素を注目画素として、予測タップおよび教師画素を抽出して、正規方程式に足し込む処理を繰り返す。
【０１３２】
ステップＳ５８において、教師画像の全画素について足し込みの処理が終了したと判定された場合、ステップＳ５９に進み、正規方程式演算部１１０は、予測タップおよび教師画素が足し込まれた正規方程式を演算して、予測係数を求める。
【０１３３】
ステップＳ６０において、画像処理装置は、全クラスの予測係数を演算したか否かを判定し、全クラスの予測係数を演算していないと判定された場合、ステップＳ５９に戻り、正規方程式を演算して、予測係数を求める処理を繰り返す。
【０１３４】
ステップＳ６０において、全クラスの予測係数を演算したと判定された場合、処理は終了する。
【０１３５】
図１８は、クラス分類適応処理により低帯域画像である入力画像から、高帯域画像である出力画像を生成する帯域復元装置の構成例を示すブロック図である。
【０１３６】
図１８に示される帯域復元装置において、入力画像は、クラスタップ抽出部１２１および予測タップ抽出部１２５に供給される。
【０１３７】
クラスタップ抽出部１２１は、注目画素に対応する、所定の画素であるクラスタップを入力画像から抽出し、抽出したクラスタップを入力画像と共に特徴量検出部１２２に供給する。特徴量検出部１２２は、クラスタップ抽出部１２１を介して供給された入力画像から、注目画素に対応する画像の特徴量を検出し、クラスタップと共に検出した特徴量をクラス分類部１２３に供給する。
【０１３８】
クラス分類部１２３は、特徴量検出部１２２から供給されたクラスタップおよび特徴量を基に、注目画素をクラス分けし、クラス分けの結果を示すクラスコードを係数メモリ１２４および予測タップ抽出部１２５に供給する。
【０１３９】
係数メモリ１２４は、クラス分類部１２３から供給されたクラスコードを基に、注目画素のクラスに対応するタップ係数を画素値演算部１２６に供給する。係数メモリ１２４には、図１７の処理により算出された予測係数がクラス毎に記憶されている。
【０１４０】
予測タップ抽出部１２５は、クラス分類部１２３から供給されたクラスコードを基に、注目画素に対応して、所定の予測タップを入力画像から抽出する。予測タップ抽出部１２５は、抽出した予測タップを画素値演算部１２６に供給する。
【０１４１】
画素値予測部１２６は、予測タップ抽出部１２５から供給された予測タップおよび係数メモリ１２４から供給されたタップ係数から、式（４）に示す演算により、高帯域画像の注目画素の画素値を予測する。画素値予測部１２６は、高帯域画像の全ての画素を順次注目画素として予測された画素値からなるＨＤ画像を出力する。
【０１４２】
【数４】
2013238948.tif 000006
・・・（４）
【０１４３】
式（４）において、ｉは注目画素番号を表し，ｗはタップ係数を表し、ｊはタップ内の画素番号を表し、ｙiは帯域復元装置の出力データを表している。また、式（４）におけるバーの表記は、タップ内の各画素値の平均値を表す。ここで、平均値は、例えば、各画素値を単純に加算して除したものとしてもよいし、いずれかの画素値に重み付けなどを行ったものを加算して除したものとしてもよい。
【０１４４】
図１９は、クラス分類適応処理により、低帯域画像である入力画像から、高帯域画像である出力画像を生成する帯域復元装置による帯域復元処理の例を説明するフローチャートである。
【０１４５】
ステップＳ７１において、クラスタップ抽出部１２１は、入力画像から、選択された注目画素に対応するクラスタップを抽出する。ステップＳ７２において、特徴量検出部１２２は、入力画像から、注目画素に対応する特徴量を検出する。
【０１４６】
ステップＳ７３において、クラス分類部１２３は、ステップＳ７１の処理により抽出されたクラスタップ、およびステップＳ１２２の処理により検出された特徴量を基に、注目画素のクラスを分類する。
【０１４７】
ステップＳ７４において、予測タップ抽出部１２５は、ステップＳ７３の処理によるクラスの分類の結果に対応して、入力画像から、注目画素に対応する予測タップを抽出する。ステップＳ７５において、係数メモリ１２４は、ステップＳ７３の処理によるクラスの分類の結果に対応して、予め記憶している予測係数のなかから、分類されたクラスに対応する予測係数を読み出す。
【０１４８】
ステップＳ７６において、画素値予測部１２６は、ステップＳ７４の処理で抽出された予測タップ、およびステップＳ７５の処理で読み出された予測係数を基に、適応処理により注目画素に対応する画素値を予測する。このとき、例えば、上述した式（４）の演算が行われる。
【０１４９】
ステップＳ７７において、画像処理装置は、全ての画素について予測が終了したか否かを判定し、全ての画素について予測が終了していないと判定された場合、次の画素を注目画素として、ステップＳ７１に戻り、クラスの分類および適応の処理を繰り返す。
【０１５０】
ステップＳ７７において、全ての画素について予測が終了したと判定された場合、処理は終了する。
【０１５１】
このようにして、クラス分類適応処理が実行される。ここでは、クラス分類適応処理により、低帯域の入力画像から高帯域の出力画像が生成される例について説明したが、例えば、クラス分類適応処理により入力画像の画素数を補完した拡大画像が出力画像として生成されるようにしてもよい。
【０１５２】
ところで、本技術においては、注目画素およびその周辺の画素と相似性の高い領域が検出されるが、例えば、相似性検出部２５の上述した式（１）の演算によって相似性が高いと判定された領域の画像が、必ずしも注目画素およびその周辺の画素の画像と十分に似通っているとは限らない。
【０１５３】
例えば、相似性検出部２５によって相似性が高いと判定された領域の画像が、注目画素およびその周辺の画素の画像と十分に似通っていなかった場合などには、出力画像の一部にノイズが発生する。例えば、出力画像において、輝度が浮いてしまったり沈んでしまったりするノイズが発生する。このような輝度浮き(または、沈み)は、第２予測用タップ構築部３２により構築されたタップに基づいて帯域復元された画素の輝度が、注目画素の周辺の画素の輝度と合わなくなってしまう場合などに発生する。
【０１５４】
図２０は、理想的な出力画像の例を示す図である。同図の例では、山の画像が表示されている。
【０１５５】
図２１は、輝度浮き(沈み)が発生した出力画像の例を示す図である。同図には、図２０と同様に山の画像が表示されているが、領域１５１および領域１５４は白く表示されており、輝度浮きが発生している。また、領域１５２および領域１５３は、黒く表示されており、輝度沈みが発生している。
【０１５６】
例えば、ミキシング制御部２６の制御方式を変更して、第２帯域復元部３４の出力データの混合比率を小さく設定すれば、図２１に示されるような輝度浮き(沈み)を、ある程度抑制することができる。しかしながら、画素位置ｋｍｉｎの画素の周辺に対して帯域復元の処理が施された画素値の混合比率を常に小さくしてしまうと、従来の技術と同様の問題が生じてしまう。例えば、画像を拡大する際に，線が太く描画されたり、リンギング劣化が生じたり、ノイズが膨らむなどの問題が生じる。
【０１５７】
そこで、例えば、画像の中で、輝度浮き(沈み)が目立ちやすい領域を予め特定し、その領域については、画素位置ｋｍｉｎの画素の周辺に対して帯域復元の処理が施された画素値の混合比率を極端に小さくすれば、輝度浮き(沈み)の問題を効果的に解決することができる。
【０１５８】
一般に、輝度浮き(沈み)は、画像の中の平坦な領域、すなわち、画素の輝度値の変化が緩やかな領域において目立ちやすい。例えば、図２１に示されるように、山腹、空、大地などの平坦な領域において輝度浮き(沈み)が目立ちやすい。
【０１５９】
図２２は、画像の中の平坦な領域と平坦でない領域について説明する図である。図２２Ａでは、横軸が画素位置、縦軸が輝度値とされ、画像の中の平坦な部分の画素の輝度値が線１６１により示されている。図２２Ｂでは、横軸が画素位置、縦軸が輝度値とされ、画像の中の平坦でない部分（例えば、細線が存在する部分）の画素の輝度値が線１６２により示されている。
【０１６０】
図２２Ａの線１６１は図中右に向かって緩やかに上昇しており、画像の中の平坦な部分では、近隣の画素間での輝度値の差分が常に小さくなる。一方、図２２Ｂの線１６２は、図中中央で大きく突起しており、例えば、図中中央やや右（またはやや左）においては、近隣の画素間での輝度値の差分が大きくなる。
【０１６１】
例えば、画像の中で、ある中心画素を定め、その中心画素を中心として、図２３に示されるような垂直方向に５個、水平方向に５個の画素から成る画素群を取得する。この例では、十字型の図形が示されており、この図形を構成する個々の矩形が１つの画素を表している。そして、図中の矢印で示されるように、垂直方向に隣接する画素間の差分絶対値を算出し、水平方向に隣接する画素間の差分絶対値を算出する。これにより、垂直方向で４つ、水平方向４つ、合計８の差分絶対値が算出される。さらに、８つの差分絶対値の中の最小値と最大値の差分（Dynamic Range：ＤＲ）を算出する。
【０１６２】
上述したように算出された最小値と最大値の差分は、一次微分ＤＲと称される。この一次微分ＤＲが小さい場合、中心画素の周辺は平坦であると判定することができ、一次微分ＤＲが大きい場合、中心画素の周辺は平坦でないと判定することができる。
【０１６３】
すなわち、画素位置ｋｍｉｎの画素の周辺に対して帯域復元の処理が施された画素値の混合比率を高めることによる問題を、例えば、図２４に示されるように整理することができる。
【０１６４】
図２４は、横軸が１次微分ＤＲ値とされ、縦軸が予測差とされ、領域１７１乃至領域１７４の４つの領域が示されている。ここで、予測差は、例えば、式（１）により算出されたｄｉｆｆikの値とされる。あるいはまた、第１予測用タップ構築部３１の予測用タップを構成する画素値と第２予測用タップ構築部３２の予測用タップを構成する画素値の差分絶対値和が予測差とされるようにしてもよい。なお、図２４でいう領域は、同図に示される２次元空間内での領域を意味しており、画像の中の領域とは意味が異なる。
【０１６５】
図２４の領域１７１は、１次微分ＤＲ値が小さく、予測差も小さい領域とされ、画像の中の平坦な部分であって、注目画素の周辺と、十分に相似性の高い領域から第２予測用タップ構築部３２が予測用タップを構築した場合を表している。この場合、輝度浮き沈みが発生する可能性は低いと考えられるので、領域１７１については、画素位置ｋｍｉｎの画素の周辺に対して帯域復元の処理が施された画素値の混合比率を高めたとしても問題ないものとされる。
【０１６６】
図２４の領域１７２は、１次微分ＤＲ値が大きく、予測差が小さい領域とされ、画像の中の平坦でない部分であって、注目画素の周辺と、十分に相似性の高い領域から第２予測用タップ構築部３２が予測用タップを構築した場合を表している。この場合、輝度浮き沈みが発生する可能性は低いと考えられるので、領域１７２については、画素位置ｋｍｉｎの画素の周辺に対して帯域復元の処理が施された画素値の混合比率を高めたとしても問題ないものとされる。
【０１６７】
図２４の領域１７３は、１次微分ＤＲ値が小さく、予測差が大きい領域とされ、画像の中の平坦な部分であって、注目画素の周辺と、あまり相似性の高くない領域から第２予測用タップ構築部３２が予測用タップを構築した場合を表している。この場合、輝度浮き沈みが発生する可能性は高いと考えられ、かつ輝度浮き沈みが目立つので、領域１７３については、画素位置ｋｍｉｎの画素の周辺に対して帯域復元の処理が施された画素値の混合比率を高めると問題があるものとされる。
【０１６８】
図２４の領域１７４は、１次微分ＤＲ値が大きく、予測差も大きい領域とされ、画像の中の平坦でない部分であって、注目画素の周辺と、あまり相似性の高くない領域から第２予測用タップ構築部３２が予測用タップを構築した場合を表している。この場合、輝度浮き沈みが発生する可能性は高いと考えられるが、輝度浮き沈みが目立たないので、領域１７４については、画素位置ｋｍｉｎの画素の周辺に対して帯域復元の処理が施された画素値の混合比率を高めるとやや問題があるものとされる。
【０１６９】
例えば、ミキシング制御部２６に、第１マッチング用タップ構築部２３が構築したタップの一部を供給し、注目画素を中心画素とした１次微分ＤＲを算出させる。そして、算出された１次微分ＤＲ値ＤＲｉｎと、第１予測用タップ構築部３１の予測用タップを構成する画素値と第２予測用タップ構築部３２の予測用タップを構成する画素値の差分絶対値和とを用いて、式（５）の演算を行わせる。
【数５】
2013238948.tif 000007
・・・（５）
【０１７０】
式（５）において、ＩＭ１は、第１予測用タップ構築部３１の予測用タップを構成する画素値のそれぞれから第１予測用タップ構築部３１の予測用タップを構成する画素値の平均値を減じた値とされる。また、ＩＭ２は、第２予測用タップ構築部３２の予測用タップを構成する画素値のそれぞれから第２予測用タップ構築部３１の予測用タップを構成する画素値の平均値を減じた値とされる。さらに、｜ＩＭ１−ＩＭ２｜は、上述したＩＭ１とＩＭ２の差分絶対値和を表している。
【０１７１】
式（５）の演算により得られたＴｏｕｔは、例えば、画素位置ｋｍｉｎの画素の周辺に対して帯域復元の処理が施された画素値の混合比率を高めることによる問題の大きさを判定するための参照値とされる。
【０１７２】
図２５は、ミキシング制御部２６による混合比率の別の設定例を示す図である。同図は、横軸がＴｏｕｔとされ、縦軸が混合比率βとされ、Ｔｏｕｔの値に応じた混合比率βの設定値が示されている。
【０１７３】
図２５の例では、Ｔｏｕｔの値が閾値ｔｈ以下である場合、混合比率βの値は、０≦β≦１の範囲内でのＴｏｕｔの値とともに大きくなるように設定される。そして、Ｔｏｕｔの値が閾値ｔｈを超える場合、混合比率βの値は１に固定される。
【０１７４】
例えば、式（３）に示される混合比率αに代えて、上述した混合比率βを用いるようにすれば、図２４に示される領域１７１乃至領域１７４のそれぞれに適した混合比率を、適応的に設定することができる。
【０１７５】
あるいはまた、図１３を参照して上述した混合比率αと図２５を参照して上述した混合比率βのうち、いずれか大きい方の混合比率が、式（３）に示される混合比率αとして用いられるようにしてもよい。
【０１７６】
次に、図２６のフローチャートを参照して、図２５に示されるような混合比率を設定する場合の、ミキシング制御部２６による混合比率設定処理の例について説明する。この処理は、例えば、図１４を参照して上述した画像処理において、ステップＳ３０の処理の直前に実行されるようになされている。
【０１７７】
ステップＳ１０１において、ミキシング制御部２６は、予測差を取得する。このとき、例えば、式（１）により算出されたｄｉｆｆikの値が取得される。あるいはまた、第１予測用タップ構築部３１の予測用タップを構成する画素値と第２予測用タップ構築部３２の予測用タップを構成する画素値の差分絶対値和が予測差として取得されるようにしてもよい。
【０１７８】
ステップＳ１０２において、ミキシング制御部２６は、１次微分ＤＲを算出する。このとき、例えば、第１マッチング用タップ構築部２３が構築したタップの一部が供給され、注目画素を中心画素とした１次微分ＤＲが算出される。
【０１７９】
ステップＳ１０３において、ミキシング制御部２６は、Ｔｏｕｔを算出する。このとき、例えば、上述した式（５）の演算によりＴｏｕｔが算出される。
【０１８０】
ステップＳ１０４において、ミキシング制御部２６は、ステップＳ１０３の処理により算出されたＴｏｕｔの値に基づいて、例えば、図２５を参照して上述したように、混合比率βを設定する。
【０１８１】
このようにして、混合比率設定処理が実行される。このようにすることで、輝度浮き沈みが発生しても目立たないようにすることができる。
【０１８２】
なお、以上においては、画素位置ｋｍｉｎの画素の周辺に対して帯域復元の処理が施された画素値の混合比率を高めることによる問題の大きさを判定するための参照値（Ｔｏｕｔ）を算出するために、一次微分ＤＲ値を用いる例について説明した。しかし、一次微分ＤＲ値を用いずに、Ｔｏｕｔが算出されるようにしてもよい。
【０１８３】
例えば、式（６）の演算によりＴｏｕｔが算出されるようにしてもよい。
【０１８４】
【数６】
2013238948.tif 000008
・・・（６）
【０１８５】
ところで、画像の中の非常に細かい模様などの領域においては、相似性検出部２５によって相似性が高いと判定された領域の画像が、注目画素およびその周辺の画素の画像と十分に似通っていないことが多い。画像の中の非常に細かい模様などの領域では、画素の輝度値が高周波で変化するので、例えば、式（１）により算出されたｄｉｆｆikの値が、サーチエリア内のどの部分においてもほぼ等しくなってしまうからである。
【０１８６】
このように、相似性検出部２５によって相似性が高いと判定された領域の画像が、注目画素およびその周辺の画素の画像と十分に似通っていない場合、上述した輝度の浮き沈みだけでなく、画像の幾何学状劣化が発生する可能性が高い。ここで、画像の幾何学状劣化とは、例えば、画像の中の細かなテクスチャがつぶれるとともに、テクスチャの周囲のエッジが強調され、あたかも幾何学模様が形成されているように見える現象をいう。
【０１８７】
上述したような、画像の幾何学状劣化は、画像の中のエッジや線の領域では発生し難く、画像の中の非常に細かい模様などの領域において発生しやすい。
【０１８８】
そこで、例えば、画像の中のエッジや線以外の領域において、相似性の検出がより正確に行われるようにすれば、このような問題を解決できる。
【０１８９】
実世界の物体（有体物）には、空間方向または時間方向に一定の特徴が含まれる。より具体的な例を挙げれば、糸、紐、またはロープなどの線状の物体は、長さ方向の任意の位置において、断面形状が同じであるという長さ方向、すなわち空間方向に一定の特徴を有する。長さ方向の任意の位置において、断面形状が同じであるという空間方向に一定の特徴は、線状の物体が長いという特徴から生じる。
【０１９０】
従って、線状の物体の画像は、長さ方向の任意の位置において、断面形状が同じであるという長さ方向、すなわち空間方向に一定の特徴を有している。このような所定の次元の方向に一定の特徴を定常性と称する。画像の中の定常性を検出することにより、上述した幾何学状劣化が発生しやすいか否かを判定することができる。
【０１９１】
図２７は、本技術を適用した画像処理装置のさらに別の実施の形態に係る構成例を示すブロック図である。
【０１９２】
同図の例では、図１の構成の場合と異なり、特徴抽出部４１が設けられている。特徴抽出部４１は、画素数変換部２１から出力された拡大された画像の中の注目画素および周辺の画素を抽出し、抽出した画素の値に基づいて定常性の有無を検出する。
【０１９３】
このとき、例えば、図２８に示されるように、注目画素および周辺の画素が取得される。図２８では、小さい矩形のそれぞれが各画素を表しており、中央に円が付された矩形が注目画素を表している。図２８Ａは、注目画素を中心とした３５（＝７×５）画素を全て抽出する例を表しており、図２８Ｂは、注目画素を中心とした３５（＝７×５）画素の中から画素を間引いて抽出する例を表している。
【０１９４】
定常性の検出は、例えば、図２８のように抽出された画素値に基づいて、垂直方向、水平方向、斜め右方向、および斜め左方向の４方向のそれぞれについて１次微分値（隣接する画素値の差分値）を取得し、それらの一次微分値の最大値と最小値の差分値（ＤＲ）を求めることにより行われる。すなわち、上述した４方向の一次微分ＤＲが予め設定された閾値を超える場合、４方向のいずれかに線やエッジが存在していることになるので、一次微分ＤＲが予め設定された閾値を超える場合、定常性があると判定（検出）できる。
【０１９５】
あるいはまた、図２８のように抽出された画素値の分散値、または、エッジ抽出フィルタの出力値などに基づいて定常性の有無が検出されるようにしてもよい。
【０１９６】
特徴抽出部４１により、注目画素および周辺の画素から成る領域の画像に定常性があると判定された場合、その旨を表す信号が第１マッチング用タップ構築部２３、および、第２マッチング用タップ構築部２４に出力される。
【０１９７】
図２７の構成の場合、第１マッチング用タップ構築部２３、および、第２マッチング用タップ構築部２４は、注目画素および周辺の画素から成る領域の画像に定常性がない場合、マッチング用タップのタップサイズをより小さくするようになされている。
【０１９８】
例えば、特徴抽出部４１から定常性がある旨の信号が出力された場合、第１マッチング用タップ構築部２３、および、第２マッチング用タップ構築部２４のそれぞれは、例えば、図２９Ａに示されるような、注目画素を中心とした４１個の画素により構成されるマッチング用タップを構築する。一方、特徴抽出部４１から定常性がある旨の信号が出力されなかった場合、第１マッチング用タップ構築部２３、および、第２マッチング用タップ構築部２４のそれぞれは、例えば、図２９Ｂに示されるような、注目画素を中心とした１３個の画素により構成されるマッチング用タップを構築する。
【０１９９】
そして、相似性検出部２５が、第１マッチング用タップ構築部２３により構築されたマッチング用タップと、第２マッチング用タップ構築部２４により構築されたマッチング用タップとの間の相似性を検出する。このとき、上述した式（１）の演算が行われ、相似性が検出される。すなわち、特徴抽出部４１から定常性がある旨の信号が出力された場合、より少ない画素数から成る領域での自己相似性が検出されるのである。
【０２００】
このようにすることで、画像の中のエッジや線以外の領域においては、より少ない画素数から成る領域での自己相似性が検出されることになる。例えば、画素の輝度値が高周波で変化する領域でも、より少ない画素数から成るマッチング用タップを用いれば、式（１）により算出されたｄｉｆｆikの値が、サーチエリア内のどの部分においても等しくなる可能性が低くなる。従って、画像の中のエッジや線以外の領域において、より正確に相似性を検出することが可能となる。
【０２０１】
あるいはまた、特徴抽出部４１により、注目画素および周辺の画素から成る領域の画像に定常性があると判定された場合、その旨を表す信号がミキシング制御部２６に出力されるようにしてもよい。例えば、特徴抽出部４１から定常性がある旨の信号が出力されなかった場合、ミキシング制御部２６は、式（３）の混合比率αの値がより大きい値となるように変調する。すなわち、定常性がない場合、混合比率αが通常の値（例えば、図１３により定まる値）よりも大きな値になるように調整される。このようにすることで、画像の中のエッジや線以外の領域においては、注目画素の周辺に対して帯域復元の処理が施された画素値が強く混合されるように、混合比率αが設定されることになる。画像の中のエッジや線以外の領域においては、マッチング用タップのタップサイズを小さくしたとしても、自己相似性の検出精度が低いと考えられるからである。
【０２０２】
このように、特徴抽出部４１による定常性の検出結果に基づいて、ミキシング制御部２６により、混合比率αの値が変調されるようにしてもよい。
【０２０３】
次に、図３０のフローチャートを参照して、本技術を適用した画像処理装置１０を、図２７に示されるように構成した場合の定常性検出制御処理の例について説明する。この処理は、例えば、図１４を参照して上述した画像処理において、ステップＳ２３の処理の直前に実行されるようになされている。
【０２０４】
ステップＳ１２１において、特徴抽出部４１は、画素数変換部２１から出力された拡大された画像の中の注目画素および周辺の画素を抽出する。このとき、例えば、図２８を参照して上述したように、注目画素および周辺の画素が抽出されて、画素値が取得される。
【０２０５】
ステップＳ１２２において、特徴抽出部４１は、ステップＳ１２１で抽出した画素に基づいて特徴量を算出する。このとき、特徴量として、例えば、垂直方向、水平方向、斜め右方向、および斜め左方向の４方向のそれぞれについて１次微分値（隣接する画素値の差分値）が取得され、それらの一次微分値の最大値と最小値の差分値（ＤＲ）が求められる。あるいはまた、図２８のように抽出された画素値の分散値、または、エッジ抽出フィルタの出力値などが求められるようにしてもよい。
【０２０６】
ステップＳ１２３において、特徴抽出部４１は、例えば、ステップＳ１２２で算出された特徴量を閾値判定するなどして、定常性の有無を特定する。
【０２０７】
ステップ１２４において、ステップＳ１２３の処理の結果、定常性があったか否かを判定する。
【０２０８】
ステップＳ１２４において、定常性があったと判定された場合、特徴抽出部４１は、注目画素および周辺の画素から成る領域の画像に定常性がある旨を表す信号を、第１マッチング用タップ構築部２３、および、第２マッチング用タップ構築部２４、並びに、ミキシング制御部２６に出力する。一方、定常性がなかったと判定された場合、上記の信号は出力されない。
【０２０９】
ステップＳ１２４において、定常性がなかったと判定された場合、処理は、ステップＳ１２５に進む。
【０２１０】
ステップＳ１２５において、第１マッチング用タップ構築部２３、および、第２マッチング用タップ構築部２４は、マッチング用タップのタップサイズをより小さくする。このとき、例えば、図２９Ｂに示されるようなマッチング用タップのタップサイズが設定されることになる。
【０２１１】
ステップＳ１２６において、ミキシング制御部２６は、式（３）の混合比率αの値がより大きい値となるように変調する。
【０２１２】
このようにして、定常性検出制御処理が実行される。このようにすることで、画像の幾何学状劣化の発生を抑制することができる。
【０２１３】
以上においては、所望の拡大率で拡大された画像の帯域復元を行う際に、本技術を適用した画像処理装置１０を用いる例について説明したが、例えば、入力画像と等倍の画像の帯域復元を行う際にも、本技術を適用することが可能である。
【０２１４】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図３１に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【０２１５】
図３１において、ＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２１６】
ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【０２１７】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、ＬＡＮカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０２１８】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【０２１９】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【０２２０】
なお、この記録媒体は、図３１に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【０２２１】
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２２２】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２２３】
なお、本技術は以下のような構成も取ることができる。
【０２２４】
（１）
所定の画素を中心とした所定の位置の複数の画素から成るマッチング用タップであって、注目画素を中心とするマッチング用タップを取得する第１マッチング用タップ取得部と、
前記注目画素の周囲の複数の画素から成るサーチ領域に存在する画素のそれぞれを中心とする前記マッチング用タップを、それぞれ取得する第２マッチング用タップ取得部と、
前記第２マッチング用タップ取得部により取得された複数のマッチング用タップのうち、前記第１マッチング用タップ取得部により取得されたマッチング用タップとの相似性が最も高いマッチング用タップの中心画素である相似性最大画素を特定する相似性特定部と、
所定の画素を中心とした所定の位置の複数の画素から成る予測用タップであって、注目画素を中心とした予測用タップの画素値に所定の演算処理を施して得られた第１演算画素値と、前記相似性最大画素を中心とした予測用タップの画素値に所定の演算処理を施して得られた第２演算画素値とを混合することで、前記注目画素の画素値を算出する画素値混合制御部と
を備える画像処理装置。
（２）
前記第１マッチング用タップ取得部により取得されるマッチングタップの注目画素は、入力画像を所望の拡大率で拡大した画像における画素であり、前記画素値混合部により算出された画素値を、前記注目画素の値とすることで、前記拡大された画像の帯域が復元される
（１）に記載の画像処理装置。
（３）
前記第１マッチング用タップ取得部により取得されるマッチング用タップの画素間隔と、前記第２マッチング用タップ取得部により取得されるマッチング用タップの画素間隔とが異なり、
前記第２マッチング用タップ取得部により取得されるマッチング用タップの画素間隔は、前記拡大率に応じて定まる
（２）に記載の画像処理装置。
（４）
前記画素値混合制御部は、
前記第２マッチング用タップ取得部により取得されたマッチング用タップと前記第１マッチング用タップ取得部により取得されたマッチング用タップとの相似性の高さに応じて、前記第１演算画素と前記第２演算画素の混合比率を設定する
（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
前記画素値混合制御部は、
前記注目画素を中心とした予測用タップの画素値と、前記相似性最大画素を中心とした予測用タップの画素値とを混合し、混合後の予測用タップの画素値に所定の演算処理を施して得られた画素値を、前記注目画素の画素値として算出する
（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記画素値混合制御部は、
予め学習により求められて記憶されている係数であって、前記予測用タップを構成する各画素の画素位置に対応する複数の係数を、前記予測用タップの画素値に基づいて算出される特徴量に応じて分類されるクラス毎に読み出し、注目画素を中心とした予測用タップの画素値に前記係数を乗じることで前記第１演算画素値を算出し、前記相似性最大画素を中心とした予測用タップの画素値に前記係数を乗じることで前記第２演算画素値を算出する
（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記画素値混合制御部は、
前記注目画素を中心とする複数の画素から成る領域内での所定方向の一次微分値のダイナミックレンジに基づいて、前記注目画素に対応する参照値を算出し、
前記参照値に基づいて、前記第１演算画素と前記第２演算画素の混合比率を設定する
（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記画素値混合制御部は、
注目画素を中心とした予測用タップの画素値と、前記相似性最大画素を中心とした予測用タップの画素値の差分絶対値に基づいて、前記注目画素に対応する参照値を算出し、
前記参照値に基づいて、前記第１演算画素と前記第２演算画素の混合比率を設定する
（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
前記注目画素を中心とする複数の画素から成る領域内での定常性の有無を判定する定常性判定部をさらに備え、
前記領域内での定常性がないと判定された場合、
前記第１マッチング用タップ取得部、および、前記第１マッチング用タップ取得部は、前記マッチング用タップの画素数を少なくする
（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）
前記定常性判定部は、
前記注目画素を中心とする複数の画素から成る領域内での所定方向の一次微分値のダイナミックレンジ、前記領域内の画素値の分散値、または、前記領域の画像に対するエッジ抽出フィルタの出力値に基づいて前記定常性の有無を判定する
（９）に記載の画像処理装置。
（１１）
前記注目画素を中心とする複数の画素から成る領域内での定常性の有無を判定する定常性判定部をさらに備え、
前記領域内での定常性がないと判定された場合、
前記第１演算画素と前記第２演算画素の混合比率を変調する
（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
第１マッチング用タップ取得部が、所定の画素を中心とした所定の位置の複数の画素から成るマッチング用タップであって、注目画素を中心とするマッチング用タップを取得し、
第２マッチング用タップ取得部が、前記注目画素の周囲の複数の画素から成るサーチ領域に存在する画素のそれぞれを中心とする前記マッチング用タップを、それぞれ取得し、
相似性特定部が、前記第２マッチング用タップ取得部により取得された複数のマッチング用タップのうち、前記第１マッチング用タップ取得部により取得されたマッチング用タップとの相似性が最も高いマッチング用タップの中心画素である相似性最大画素を特定し、
画素値混合制御部が、所定の画素を中心とした所定の位置の複数の画素から成る予測用タップであって、注目画素を中心とした予測用タップの画素値に所定の演算処理を施して得られた第１演算画素値と、前記相似性最大画素を中心とした予測用タップの画素値に所定の演算処理を施して得られた第２演算画素値とを混合することで、前記注目画素の画素値を算出するステップ
を含む画像処理方法。
（１３）
コンピュータを、
所定の画素を中心とした所定の位置の複数の画素から成るマッチング用タップであって、注目画素を中心とするマッチング用タップを取得する第１マッチング用タップ取得部と、
前記注目画素の周囲の複数の画素から成るサーチ領域に存在する画素のそれぞれを中心とする前記マッチング用タップを、それぞれ取得する第２マッチング用タップ取得部と、
前記第２マッチング用タップ取得部により取得された複数のマッチング用タップのうち、前記第１マッチング用タップ取得部により取得されたマッチング用タップとの相似性が最も高いマッチング用タップの中心画素である相似性最大画素を特定する相似性特定部と、
所定の画素を中心とした所定の位置の複数の画素から成る予測用タップであって、注目画素を中心とした予測用タップの画素値に所定の演算処理を施して得られた第１演算画素値と、前記相似性最大画素を中心とした予測用タップの画素値に所定の演算処理を施して得られた第２演算画素値とを混合することで、前記注目画素の画素値を算出する画素値混合制御部とを備える画像処理装置として機能させる
プログラム。
【符号の説明】
【０２２５】
１０  画像処理装置，  ２１  画素数変換部，  ２２  第１帯域復元部，  ２３  第１マッチング用タップ構築部，  ２４  第２マッチング用タップ構築部，  ２５  相似性検出部，  ２６  ミキシング制御部，  ２７  ミキシング部，  ３１  第１予測用タップ構築部，  ３２  第２予測用タップ構築部，  ３３  第１帯域復元部，  ３４  第２帯域復元部，  ４１  特徴抽出部
【図１】
2013238948.tif 000009
【図２】
2013238948.tif 000010
【図３】
2013238948.tif 000011
【図４】
2013238948.tif 000012
【図５】
2013238948.tif 000013
【図６】
2013238948.tif 000014
【図７】
2013238948.tif 000015
【図８】
2013238948.tif 000016
【図９】
2013238948.tif 000017
【図１０】
2013238948.tif 000018
【図１１】
2013238948.tif 000019
【図１２】
2013238948.tif 000020
【図１３】
2013238948.tif 000021
【図１４】
2013238948.tif 000022
【図１５】
2013238948.tif 000023
【図１６】
2013238948.tif 000024
【図１７】
2013238948.tif 000025
【図１８】
2013238948.tif 000026
【図１９】
2013238948.tif 000027
【図２０】
2013238948.tif 000028
【図２１】
2013238948.tif 000029
【図２２】
2013238948.tif 000030
【図２３】
2013238948.tif 000031
【図２４】
2013238948.tif 000032
【図２５】
2013238948.tif 000033
【図２６】
2013238948.tif 000034
【図２７】
2013238948.tif 000035
【図２８】
2013238948.tif 000036
【図２９】
2013238948.tif 000037
【図３０】
2013238948.tif 000038
【図３１】
2013238948.tif 000039