(57)【特許請求の範囲】
【請求項１】
入力画像の各領域における被写体の奥行き位置に基づいて、前記入力画像の各領域の質感の強調度合いを制御する奥行き制御信号と、前記入力画像の画素の顔肌領域らしさに応じて、前記入力画像の各領域の質感の強調度合いを制御する顔肌領域制御信号とを合成して、制御信号を生成する制御信号合成部を備える
画像処理装置。
【請求項２】
前記制御信号合成部は、前記奥行き制御信号および前記顔肌領域制御信号を重み付き加算により合成し、前記制御信号を生成する
請求項１に記載の画像処理装置。
【請求項３】
前記制御信号合成部は、前記顔肌領域制御信号に最も大きい重みを用い、かつ前記奥行き制御信号に最も小さい重みを用いて前記重み付き加算を行う
請求項２に記載の画像処理装置。
【請求項４】
前記顔肌領域制御信号の値は前記入力画像の画素ごとに定められる
請求項１乃至請求項３の何れか一項に記載の画像処理装置。
【請求項５】
前記制御信号合成部は、前記奥行き制御信号と、前記顔肌領域制御信号と、前記入力画像における人の領域に基づいて、前記入力画像の各領域の質感の強調度合いを制御する人物領域制御信号とを合成して、前記制御信号を生成する
請求項１乃至請求項４の何れか一項に記載の画像処理装置。
【請求項６】
前記人物領域制御信号の値は、前記入力画像の画素ごとに定められるとともに、前記入力画像の画素位置が人物らしい領域である場合、予め定められた所定値とされ、前記入力画像の画素位置が人物らしい領域でない場合、前記所定値よりも小さい値とされる
請求項５に記載の画像処理装置。
【請求項７】
前記制御信号に基づいて、前記入力画像の各領域の質感の調整を行ない、出力画像を生成する画像処理部をさらに備える
請求項１乃至請求項６の何れか一項に記載の画像処理装置。
【請求項８】
前記画像処理部は、前記制御信号に基づいて、前記入力画像のエッジ成分を増幅または減衰させる
請求項７に記載の画像処理装置。
【請求項９】
前記画像処理部は、前記制御信号に基づいて、前記入力画像のテクスチャ成分を増幅させる
請求項７に記載の画像処理装置。
【請求項１０】
前記画像処理部は、前記制御信号とは異なる他の制御信号に基づいて、前記入力画像のエッジ成分を増幅または減衰させる
請求項９に記載の画像処理装置。
【請求項１１】
前記画像処理部は、
前記出力画像の領域ごとに、前記制御信号に基づいて前記出力画像の生成に用いる予測係数を選択する予測係数選択部と、
前記入力画像と前記予測係数とに基づいて、前記入力画像よりも解像度の高い前記出力画像を生成する予測演算部と
を備える請求項７に記載の画像処理装置。
【請求項１２】
前記画像処理部は、前記制御信号に基づいて、前記入力画像のクロマ成分を増幅または減衰させる
請求項７に記載の画像処理装置。
【請求項１３】
前記制御信号合成部は、前記奥行き制御信号と、前記顔肌領域制御信号と、前記人物領域制御信号と、前記入力画像におけるアテンションが高いと推定される領域に基づいて、前記入力画像の各領域の質感の強調度合いを制御する誘目領域制御信号とを合成して、前記制御信号を生成する
請求項５または請求項６に記載の画像処理装置。
【請求項１４】
前記顔肌領域制御信号は、前記入力画像からの人の顔の領域の検出結果に基づいて、人の顔の肌の領域を特定することで生成され、処理対象の前記入力画像から人の顔の領域が検出されなかった場合、過去の前記入力画像における人の顔の肌の領域の特定結果に基づいて、前記処理対象の前記入力画像における人の顔の肌の領域が特定される
請求項５または請求項６に記載の画像処理装置。
【請求項１５】
前記人物領域制御信号は、前記入力画像からの人の顔の領域の検出結果、または前記入力画像の人の顔の肌の領域の特定結果の少なくとも何れかを用いて、前記入力画像における人の領域を特定することで生成される
請求項１４に記載の画像処理装置。
【請求項１６】
入力画像の各領域における被写体の奥行き位置に基づいて、前記入力画像の各領域の質感の強調度合いを制御する奥行き制御信号と、前記入力画像の画素の顔肌領域らしさに応じて、前記入力画像の各領域の質感の強調度合いを制御する顔肌領域制御信号とを合成して、制御信号を生成する制御信号合成部を備える画像処理装置の画像処理方法であって、
前記制御信号合成部が前記制御信号を生成する
ステップを含む画像処理方法。
【請求項１７】
入力画像の各領域における被写体の奥行き位置に基づいて、前記入力画像の各領域の質感の強調度合いを制御する奥行き制御信号と、前記入力画像の画素の顔肌領域らしさに応じて、前記入力画像の各領域の質感の強調度合いを制御する顔肌領域制御信号とを合成して、制御信号を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は画像処理装置および方法、並びにプログラムに関し、特に、違和感のないより自然な画像を得ることができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、より高品質な画像を得るために、画像に対して質感の調整を行なう画像処理が知られている。例えば、そのような画像処理として、画像から検出された顔領域の質感を制御する処理や、急峻なエッジ部分を保存したままエッジ以外の領域を強調する処理（例えば、特許文献１参照）などが提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２９８６２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した技術では、違和感のない自然な画像を得ることができない場合があった。例えば、顔領域の質感を制御する画像処理では、顔領域以外の領域の質感は制御されないため、顔領域と比較して他の領域の鮮鋭度が強調され過ぎてしまうことがある。そうすると、画像全体のシーンをとらえた場合に、人物等のアテンションの高い領域に誘目する人間の視覚特性では、奥行き感が損なわれ、違和感のある画像となってしまう。
【０００５】
特に、立体画像（３Ｄ画像）など、視差により奥行きを提示する表示装置では、視差に対してエンハンス等により生成された画像が不自然なものとなり、観察者が認識する前後感に悪影響を与えることがあった。
【０００６】
また、エッジ以外の領域を強調する画像処理では、画像全体としてコントラストや鮮鋭感が強調されるが、前景や背景など領域ごとにコントラストや鮮鋭感の強調を制御できないため、充分に自然な画像を得ることができない場合があった。
【０００７】
本技術は、このような状況に鑑みてなされたものであり、違和感のないより自然な画像を得ることができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の一側面の画像処理装置は、入力画像の各領域における被写体の奥行き位置に基づいて、前記入力画像の各領域の質感の強調度合いを制御する奥行き制御信号と、前記入力画像の画素の顔肌領域らしさに応じて、前記入力画像の各領域の質感の強調度合いを制御する顔肌領域制御信号とを合成して、制御信号を生成する制御信号合成部を備える。
前記制御信号合成部には、前記奥行き制御信号および前記顔肌領域制御信号を重み付き加算により合成させ、前記制御信号を生成させることができる。
前記制御信号合成部には、前記顔肌領域制御信号に最も大きい重みを用い、かつ前記奥行き制御信号に最も小さい重みを用いて前記重み付き加算を行わせることができる。
前記顔肌領域制御信号の値は前記入力画像の画素ごとに定められるようにすることができる。
前記制御信号合成部には、前記奥行き制御信号と、前記顔肌領域制御信号と、前記入力画像における人の領域に基づいて、前記入力画像の各領域の質感の強調度合いを制御する人物領域制御信号とを合成させて、前記制御信号を生成させることができる。
前記人物領域制御信号の値は、前記入力画像の画素ごとに定められるとともに、前記入力画像の画素位置が人物らしい領域である場合、予め定められた所定値とされ、前記入力画像の画素位置が人物らしい領域でない場合、前記所定値よりも小さい値とされるようにすることができる。
【０００９】
画像処理装置には、前記制御信号に基づいて、前記入力画像の各領域の質感の調整を行ない、出力画像を生成する画像処理部をさらに設けることができる。
【００１０】
前記画像処理部には、前記制御信号に基づいて、前記入力画像のエッジ成分を増幅または減衰させることができる。
【００１１】
前記画像処理部には、前記制御信号に基づいて、前記入力画像のテクスチャ成分を増幅させることができる。
【００１２】
前記画像処理部には、前記制御信号とは異なる他の制御信号に基づいて、前記入力画像のエッジ成分を増幅または減衰させることができる。
【００１３】
前記画像処理部には、前記出力画像の領域ごとに、前記制御信号に基づいて前記出力画像の生成に用いる予測係数を選択する予測係数選択部と、前記入力画像と前記予測係数とに基づいて、前記入力画像よりも解像度の高い前記出力画像を生成する予測演算部とを設けることができる。
【００１４】
前記画像処理部には、前記制御信号に基づいて、前記入力画像のクロマ成分を増幅または減衰させることができる。
【００１５】
前記制御信号合成部には、前記奥行き制御信号と、前記顔肌領域制御信号と、前記人物領域制御信号と、前記入力画像におけるアテンションが高いと推定される領域に基づいて、前記入力画像の各領域の質感の強調度合いを制御する誘目領域制御信号とを合成させて、前記制御信号を生成させることができる。
【００１６】
前記顔肌領域制御信号は、前記入力画像からの人の顔の領域の検出結果に基づいて、人の顔の肌の領域を特定することで生成され、処理対象の前記入力画像から人の顔の領域が検出されなかった場合、過去の前記入力画像における人の顔の肌の領域の特定結果に基づいて、前記処理対象の前記入力画像における人の顔の肌の領域が特定されるようにすることができる。
【００１７】
前記人物領域制御信号は、前記入力画像からの人の顔の領域の検出結果、または前記入力画像の人の顔の肌の領域の特定結果の少なくとも何れかを用いて、前記入力画像における人の領域を特定することで生成されるようにすることができる。
【００１８】
本技術の一側面の画像処理方法またはプログラムは、入力画像の各領域における被写体の奥行き位置に基づいて、前記入力画像の各領域の質感の強調度合いを制御する奥行き制御信号と、前記入力画像の画素の顔肌領域らしさに応じて、前記入力画像の各領域の質感の強調度合いを制御する顔肌領域制御信号とを合成して、制御信号を生成するステップを含む。
【００１９】
本技術の一側面においては、入力画像の各領域における被写体の奥行き位置に基づいて、前記入力画像の各領域の質感の強調度合いを制御する奥行き制御信号と、前記入力画像の画素の顔肌領域らしさに応じて、前記入力画像の各領域の質感の強調度合いを制御する顔肌領域制御信号とが合成されて、制御信号が生成される。
【発明の効果】
【００２０】
本技術の一側面によれば、違和感のないより自然な画像を得ることができる。
【図面の簡単な説明】
【００２１】
【図１】画像処理装置の一実施の形態の構成例を示す図である。
【図２】画像処理部の構成例を示す図である。
【図３】画像処理を説明するフローチャートである。
【図４】制御信号の生成について説明する図である。
【図５】制御信号の生成について説明する図である。
【図６】調整処理を説明するフローチャートである。
【図７】画像処理装置の他の構成例を示す図である。
【図８】画像処理装置の他の構成例を示す図である。
【図９】画像処理を説明するフローチャート図である。
【図１０】画像処理部の構成例を示す図である。
【図１１】調整処理を説明するフローチャートである。
【図１２】画像処理部の構成例を示す図である。
【図１３】調整処理を説明するフローチャートである。
【図１４】画像処理部の構成例を示す図である。
【図１５】調整処理を説明するフローチャートである。
【図１６】画像処理部の構成例を示す図である。
【図１７】調整処理を説明するフローチャートである。
【図１８】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００２３】
〈第１の実施の形態〉
［画像処理装置の構成例］
図１は、画像処理装置の一実施の形態の構成例を示す図である。
【００２４】
この画像処理装置１１は、入力された入力画像の画像信号に対して、入力画像の質感を調整する画像処理を施し、これにより得られた画像信号を出力するものである。入力画像は、静止画像であってもよいし、動画像であってもよい。
【００２５】
画像処理装置１１は、奥行き検出部２１、顔検出部２２、奥行き制御信号生成部２３、顔肌領域制御信号生成部２４、人物領域制御信号生成部２５、制御信号合成部２６、および画像処理部２７から構成される。
【００２６】
奥行き検出部１２は、供給された入力画像に基づいて、入力画像上の各領域（被写体）の奥行き位置を示す奥行き情報を生成し、奥行き制御信号生成部２３に供給する。顔検出部２２は、供給された入力画像に基づいて、入力画像上の人の顔の領域を検出し、その検出結果を示す顔検出情報を、顔肌領域制御信号生成部２４、および人物領域制御信号生成部２５に供給する。例えば、顔検出情報には、入力画像上の顔の有無、入力画像上の顔領域の位置、および顔領域の大きさなど、入力画像上の顔の領域を特定する情報が含まれている。
【００２７】
奥行き制御信号生成部２３は、奥行き検出部２１からの奥行き情報に基づいて、入力画像に対して行なわれる質感の調整処理時における、入力画像の各領域に対する質感の強調度合いを示す奥行き制御信号を生成し、制御信号合成部２６に供給する。ここで、奥行き制御信号は、入力画像の各領域における被写体の奥行き位置に応じて、それらの領域ごとに質感の強調度合いを制御するための信号である。
【００２８】
顔肌領域制御信号生成部２４は、顔検出部２２から供給された顔検出情報に基づいて、入力画像上の人の顔の肌の領域を示す顔肌マップを生成し、人物領域制御信号生成部２５に供給する。また、顔肌領域制御信号生成部２４は、顔肌マップに基づいて、入力画像に対する質感の調整処理時における、入力画像の各領域に対する質感の強調度合いを示す顔肌領域制御信号を生成し、制御信号合成部２６に供給する。ここで、顔肌領域制御信号は、入力画像の各領域の顔肌らしさに応じて、それらの領域ごとに質感の強調度合いを制御するための信号である。
【００２９】
人物領域制御信号生成部２５は、顔検出部２２からの顔検出情報と、顔肌領域制御信号生成部２４からの顔肌マップとに基づいて、入力画像に対する質感の調整処理時における、入力画像の各領域に対する質感の強調度合いを示す人物領域制御信号を生成し、制御信号合成部２６に供給する。ここで、人物領域制御信号は、入力画像の各領域の人物の領域らしさに応じて、それらの領域ごとに質感の強調度合いを制御するための信号である。
【００３０】
制御信号合成部２６は、奥行き制御信号生成部２３からの奥行き制御信号、顔肌領域制御信号生成部２４からの顔肌領域制御信号、および人物領域制御信号生成部２５からの人物領域制御信号を合成して１つの制御信号を生成し、画像処理部２７に供給する。
【００３１】
画像処理部２７は、制御信号合成部２６から供給された制御信号に基づいて、供給された入力画像に対する質感の調整処理を行い、その結果得られた画像（以下、出力画像とも称する）を出力する。すなわち、制御信号にしたがって、入力画像の各画素のゲイン調整が行なわれ、出力画像とされる。
【００３２】
ここで、入力画像の質感の調整処理は、例えば鮮鋭感やコントラスト、彩度、解像度の創造度合いの調整などとされる。
【００３３】
［画像処理部の構成例］
また、図１の画像処理部２７は、例えば図２に示すように構成される。
【００３４】
すなわち、画像処理部２７は、ハイパスフィルタ５１、加減増幅器５２、および加算部５３から構成される。図２の画像処理部２７は、画像の質感の調整処理として、鮮鋭感を高めるエンハンス処理を入力画像に対して行う。
【００３５】
ハイパスフィルタ５１は、供給された入力画像に対して、ハイパスフィルタを用いたフィルタ処理を施し、その結果得られた入力画像の高域成分（高域信号）を加減増幅器５２に供給する。
【００３６】
加減増幅器５２は、制御信号合成部２６から供給された制御信号に基づいて、ハイパスフィルタ５１から供給された高域成分を、入力画像の領域ごとに増幅または減衰させ、加算部５３に供給する。なお、以下、加減増幅器５２で増幅または減衰された入力画像の高域成分を、適宜、補正高域成分とも称することとする。
【００３７】
加算部５３は、供給された入力画像に、加減増幅器５２から供給された補正高域成分を加算し、その結果得られた出力画像を出力する。
【００３８】
［画像処理の説明］
次に、画像処理装置１１の動作について説明する。
【００３９】
画像処理装置１１は、入力画像が供給され、入力画像に対する質感の調整が指示されると、画像処理を行って入力画像を出力画像に変換し、出力する。以下、図３のフローチャートを参照して、画像処理装置１１による画像処理について説明する。
【００４０】
ステップＳ１１において、奥行き検出部２１は、供給された入力画像に基づいて奥行き情報を生成し、奥行き制御信号生成部２３に供給する。
【００４１】
例えば、奥行き検出部２１は、フィルタ処理などにより入力画像から高域成分を抽出するとともに、入力画像をいくつかのブロックに分割する。そして、奥行き検出部２１は、ブロックごとに、ブロック内の各位置における高域成分の値の絶対値の和（積算値）を求めることで、奥行き情報を生成する。
【００４２】
一般的に、ユーザからみて手前側に見える（定位する）被写体、つまり前景の領域や、画像上の焦点の合っている領域には高域成分が多く含まれており、そのような領域に対応する奥行き情報の値（高域成分の積算値）は、大きくなるはずである。したがって、奥行き情報の値が大きい入力画像上の領域ほど、入力画像を観察するユーザから見て、より手前側にある（見える）被写体の領域であると推定することができる。なお、画像に対する奥行き位置の推定方法については、例えば、特開２００７−２０８３９９号公報などに詳細に記載されている。
【００４３】
ステップＳ１２において、顔検出部２２は、供給された入力画像に基づいて、入力画像から人の顔を検出し、その検出結果を示す顔検出情報を生成する。顔検出部２２は、生成した顔検出情報を、顔肌領域制御信号生成部２４および人物領域制御信号生成部２５に供給する。
【００４４】
ステップＳ１３において、奥行き制御信号生成部２３は、奥行き検出部２１から供給された奥行き情報に基づいて奥行き制御信号を生成し、制御信号合成部２６に供給する。
【００４５】
例えば、奥行き制御信号生成部２３は、入力画像と同じ大きさ（解像度）の画像を奥行き制御画像とし、奥行き制御画像の各画素の画素値を、奥行き情報に基づいて定める。例えば、奥行き制御画像の画素に対応する位置の奥行き情報の値が大きいほど、その画素の画素値が大きくなるようにされる。また、奥行き制御画像の画素の画素値は、負の値をもつようにしてもよい。
【００４６】
奥行き制御信号生成部２３は、このようにして得られた奥行き制御画像の画像信号を奥行き制御信号として、制御信号合成部２６に供給する。
【００４７】
このように、入力画像の各被写体の奥行き位置に応じて、奥行き制御画像の各画素の画素値を定めることで、この奥行き制御画像（奥行き制御信号）を用いて入力画像の鮮鋭感の強調度合いを制御すれば、違和感のないより自然な出力画像を得ることができる。すなわち、入力画像の奥行き側にある被写体よりも、手前側にある被写体の鮮鋭感がより強調されることになり、近いものほど鮮鋭に見えるという人間の視覚特性に近しい、自然な出力画像を得ることができる。
【００４８】
ステップＳ１４において、顔肌領域制御信号生成部２４は、顔検出部２２から供給された顔検出情報に基づいて顔肌領域制御信号を生成し、制御信号合成部２６に供給する。
【００４９】
例えば、顔肌領域制御信号生成部２４は、顔検出部２２から入力画像を取得し、顔検出情報により示される入力画像上の人の顔らしい領域の各画素の画素値に基づいて、その顔らしい領域の画素の輝度のヒストグラムと色のヒストグラムを生成する。ここで、色のヒストグラムは、例えば２次元のＵＶヒストグラムなどとすることができる。
【００５０】
そして、顔肌領域制御信号生成部２４は、生成した輝度のヒストグラムと色のヒストグラムに基づいて、入力画像上の顔肌らしい画素からなる領域を、人の顔の肌の領域（顔肌領域）とし、入力画像上の顔肌領域を示す顔肌マップを生成する。
【００５１】
具体的には、例えば顔肌領域制御信号生成部２４は、輝度のヒストグラムと色のヒストグラムにおいて、頻度値が高い一定範囲を、輝度値範囲およびＵＶ値範囲とする。そして、顔肌領域制御信号生成部２４は、入力画像上の画素のうち、輝度値が輝度値範囲内の値であり、かつＵＶ値（色差値）がＵＶ値範囲内の値である画素を、顔肌らしい画素とする。
【００５２】
顔肌領域制御信号生成部２４は、生成した顔肌マップを人物領域制御信号生成部２５に供給する。例えば、顔肌マップ上の画素の画素値は、その画素と同じ位置にある入力画像の画素が、顔肌領域の画素らしいほど大きい値となる。このように、輝度のヒストグラムと色のヒストグラムを用いて顔肌領域を推定することで、ロバストな顔肌マップを得ることができる。
【００５３】
さらに、顔肌領域制御信号生成部２４は、入力画像と同じ大きさの画像を顔肌領域制御画像とし、顔肌領域制御画像の各画素の画素値を、顔肌マップに基づいて定める。例えば、顔肌領域制御画像の画素の画素値は、その画素と同じ位置にある顔肌マップの画素の画素値に対して予め定められた値とされる。顔肌領域制御信号生成部２４は、このようにして得られた顔肌領域制御画像の画像信号を、顔肌領域制御信号として制御信号合成部２６に供給する。
【００５４】
このように、入力画像の各領域の顔肌らしさに応じて、顔肌領域制御画像の各画素の画素値を定めることで、顔肌領域制御信号を用いて入力画像の鮮鋭感の強調度合いを制御すれば、違和感のないより自然な出力画像を得ることができる。すなわち、入力画像の顔肌らしい領域の鮮鋭感が適切に強調されることになり、より自然な出力画像を得ることができる。
【００５５】
なお、入力画像が動画像である場合、入力画像の現フレームの輝度のヒストグラムと色のヒストグラムだけでなく、現フレームよりも前のフレームについて求められた、輝度のヒストグラムや色のヒストグラムが、現フレームの顔肌マップの生成に用いられてもよい。
【００５６】
そのような場合、過去のフレームと現フレームのヒストグラムから入力画像上の顔肌領域を推定することができるので、顔検出部２２における顔検出の精度によらず、より高精度に顔肌領域を推定することができる。
【００５７】
例えば、所定のフレームの入力画像上で正面を向いていた人の顔が、次のフレームで横向きとなった場合、顔検出部２２では入力画像から顔が検出されなくなることがある。そのような場合でも、前（過去）のフレームの輝度や色のヒストグラムから、顔肌領域の輝度や色が分かるため、現フレームの入力画像において、前のフレームの顔肌領域と同じ色や輝度の領域を顔肌領域として検出すれば、ロバストな顔肌マップを得ることができる。
【００５８】
ステップＳ１５において、人物領域制御信号生成部２５は、顔検出部２２からの顔検出情報と、顔肌領域制御信号生成部２４からの顔肌マップとに基づいて、人物領域制御信号を生成し、制御信号合成部２６に供給する。
【００５９】
例えば、人物領域制御信号生成部２５は、顔検出情報により示される入力画像上の人の顔らしい領域や、顔肌マップにより示される入力画像上の顔肌領域らしい領域を、人の肩幅や頭部の大きさといった人全体の形状の特徴に応じて拡張し、拡張された領域を人物らしい領域とする。すなわち、人の顔らしい領域や顔肌らしい領域から、人の輪郭の領域が推定される。そして、人物領域制御信号生成部２５は、入力画像の各領域における人物の領域らしさに基づいて、人物領域制御画像を生成する。
【００６０】
より詳細には、入力画像が静止画像である場合、顔検出情報のみが用いられて人物領域制御画像が生成され、入力画像が動画像である場合、顔検出情報と顔肌マップの両方、または顔検出情報のみが用いられて人物領域制御画像が生成される。
【００６１】
例えば、連続するフレームの顔検出情報により、安定してほぼ同じ位置に人の顔らしい領域が検出された場合、顔検出情報のみが用いられて、その人の顔らしい領域が拡張されて人物らしい領域とされる。
【００６２】
また、顔検出情報と顔肌マップの両方を用いて人物領域制御画像を生成すれば、例えば顔検出部２２により顔が検出されなかったときでも、ロバストな顔肌マップにより、精度よく人物らしい領域を検出することができる。
【００６３】
人物領域制御信号生成部２５は、入力画像と同じ大きさの画像を人物領域制御画像とし、人物領域制御画像の各画素の画素値を、入力画像上の各領域の人物の領域らしさに基づいて定める。例えば、人物領域制御画像の画素の画素値は、入力画像上のその画素と同じ位置が人物らしい領域である場合、予め定められた所定値とされ、入力画像上のその画素と同じ位置が人物らしい領域でない場合、上述の所定値よりも小さい値とされる。
【００６４】
なお、人物らしい領域内であっても、顔の領域や服の領域等、人の部位の領域に応じて人物領域制御画像の画素の画素値が異なる値となるようにしてもよい。
【００６５】
人物領域制御信号生成部２５は、このようにして得られた人物領域制御画像の画像信号を、人物領域制御信号として制御信号合成部２６に供給する。
【００６６】
このように、入力画像の各領域の人物の領域らしさに応じて、人物領域制御画像の各画素の画素値を定めることで、人物領域制御信号を用いて入力画像の鮮鋭感の強調度合いを制御すれば、違和感のないより自然な出力画像を得ることができる。すなわち、入力画像の人物らしい領域の鮮鋭感が他の領域よりもより強調されることになり、注目しているものほど鮮鋭に見えるという人間の視覚特性に近しい、自然な出力画像を得ることができる。
【００６７】
ステップＳ１６において、制御信号合成部２６は、奥行き制御信号生成部２３からの奥行き制御信号、顔肌領域制御信号生成部２４からの顔肌領域制御信号、および人物領域制御信号生成部２５からの人物領域制御信号を合成して制御信号を生成する。
【００６８】
例えば、図４に示すように、入力画像ＩＰ１に対して、奥行き制御画像ＣＮ１、顔肌領域制御画像ＣＮ２、および人物領域制御画像ＣＮ３が得られたとする。
【００６９】
図４の例では、入力画像ＩＰ１には人物が含まれており、奥行き制御画像ＣＮ１では、図中、下側にある画素の画素値ほど大きい値となっている。つまり、入力画像ＩＰ１の図中、上側は遠景となっており、図中、下側は近景となっている。
【００７０】
また、顔肌領域制御画像ＣＮ２では、人の顔肌の領域内にある画素の画素値は、顔肌らしさに応じた所定の値となっており、それ以外の領域の画素の画素値は０となっている。さらに、人物領域制御画像ＣＮ３では、人物の領域内にある画素の画素値は、人物の領域らしさに応じた所定の値となっており、それ以外の領域の画素の画素値は０となっている。
【００７１】
制御信号合成部２６は、奥行き制御画像ＣＮ１、顔肌領域制御画像ＣＮ２、および人物領域制御画像ＣＮ３の同じ位置にある画素の画素値を重み付き加算し、その結果得られた値を、制御画像ＣＰ１の画素の画素値とする。そして、このようにして得られた制御画像ＣＰ１の画像信号が制御信号とされる。
【００７２】
例えば、奥行き制御画像ＣＮ１、顔肌領域制御画像ＣＮ２、および人物領域制御画像ＣＮ３の重み付き加算時の重みは、画像処理部２７で実現しようとする画像処理により定まる優先度によって決定される。具体的には、入力画像ＩＰ１の鮮鋭感の調整が行なわれる場合、顔肌領域制御画像ＣＮ２の重みが最も大きく、かつ奥行き制御画像ＣＮ１の重みが最も小さくなるように、各重みが定められる。
【００７３】
画像処理部２７により行われる入力画像ＩＰ１に対する画像処理では、制御画像ＣＰ１の画素の画素値が大きい領域ほど、その領域と同じ位置にある入力画像ＩＰ１の領域における鮮鋭感がより強く強調される。また、例えば、制御画像ＣＰ１の画素が負の値を画素値として有する場合には、負の画素値を有する画素と同じ位置にある入力画像ＩＰ１の領域では、鮮鋭感が低減されるように、画像処理が施される。
【００７４】
また、例えば図５に示すように、入力画像ＩＰ１１に人が含まれていない場合、奥行き制御画像ＣＮ１１、顔肌領域制御画像ＣＮ１２、および人物領域制御画像ＣＮ１３が重み付き加算された後、さらに適宜ゲイン調整が行なわれて、制御画像ＣＰ１１とされる。
【００７５】
図５の例では、入力画像ＩＰ１１に人が含まれていないため、顔肌領域制御画像ＣＮ１２と人物領域制御画像ＣＮ１３の全ての画素の画素値が０となっている。そのため、実質的に奥行き制御画像ＣＮ１１のみが用いられて制御画像ＣＰ１１が生成されることになる。
【００７６】
この場合、顔肌領域制御画像ＣＮ１２と人物領域制御画像ＣＮ１３に割り当てられる画素値の分だけ、奥行き制御画像ＣＮ１１の画素の画素値が取り得る値の範囲が狭くなってしまい、入力画像ＩＰ１１の鮮鋭感が充分に強調されなくなってしまうことがある。
【００７７】
そこで、入力画像ＩＰ１１に人が含まれていない場合、奥行き制御画像ＣＮ１１乃至人物領域制御画像ＣＮ１３が重み付き加算された後、さらにゲイン調整されて制御画像ＣＰ１１とされる。具体的には、制御画像ＣＰ１１の画素のうち、画素値が小さい画素は、より画素値が小さくなるように調整され、画素値が大きい画素は、より画素値が大きくなるように調整される。
【００７８】
また、入力画像ＩＰ１１に人が含まれているか否かは、例えば顔肌領域制御画像ＣＮ１２と人物領域制御画像ＣＮ１３の画素の画素値に基づいて判定される。具体的には、例えば、顔肌領域制御画像ＣＮ１２と人物領域制御画像ＣＮ１３の全ての画素の画素値が所定の閾値以下である場合、入力画像ＩＰ１１に人が含まれていないとされる。
【００７９】
さらに、例えば、被写体として人が含まれているポートレートモードや、人が含まれていない風景モードなどがユーザにより指定されることで、入力画像ＩＰ１１に人が含まれているかが特定されるようにしてもよい。
【００８０】
図３のフローチャートの説明に戻り、制御信号合成部２６は制御信号を生成すると、生成した制御信号を画像処理部２７に供給し、処理はステップＳ１７に進む。
【００８１】
ステップＳ１７において、画像処理部２７は、調整処理を行って出力画像を生成し、出力する。なお、調整処理の詳細は後述するが、調整処理では、制御信号合成部２６から供給された制御信号に基づいて、入力画像の質感が調整され、出力画像が生成される。調整処理が行われて出力画像が生成されると、その後、画像処理は終了する。
【００８２】
以上のようにして、画像処理装置１１は、奥行き情報と顔検出情報から、奥行き制御信号、顔肌領域制御信号、および人物領域制御信号を生成し、これらを合成した制御信号に基づいて入力画像の質感の調整を行なう。
【００８３】
このように、入力画像における各被写体の奥行きや、顔肌の領域、人物の輪郭の領域に応じて、入力画像の領域ごとに質感の調整の度合い（強調度合い）を適切に定めることで、より違和感のない自然な出力画像を得ることができる。
【００８４】
例えば、質感の調整として、鮮鋭感を調整する場合、肌の質感を適正に補正しつつ、一般的にアテンションの高い人物の領域を鮮鋭にし、それ以外の領域と差をつけることで、人間の視覚特性に近く、高品位な出力画像を得ることができる。また、人が検出されていない領域でも遠近法にしたがって鮮鋭感が制御されるので、奥行き感のある高品位な出力画像が得られる。
【００８５】
［調整処理の説明］
次に、図６のフローチャートを参照して、図３のステップＳ１７の処理に対応する調整処理について説明する。この調整処理では、入力画像の鮮鋭感を調整するエンハンス処理が行われる。
【００８６】
ステップＳ４１において、ハイパスフィルタ５１は、供給された入力画像に対して、ハイパスフィルタを用いたフィルタ処理を施し、入力画像から高域成分を抽出する。ハイパスフィルタ５１は、フィルタ処理により得られた高域成分を加減増幅器５２に供給する。
【００８７】
ステップＳ４２において、加減増幅器５２は、制御信号合成部２６から供給された制御信号に基づいて、ハイパスフィルタ５１からの高域成分を、入力画像の領域ごとに増幅または減衰させ、その結果得られた補正高域成分を加算部５３に供給する。
【００８８】
例えば、高域成分は、入力画像のうちの高域成分のみが抽出された画像の画像信号（高域信号）であり、この画像の各画素の画素値に対して、それらの画素と同じ位置にある制御信号に基づく制御画像の画素の画素値が加算され、補正高域成分とされる。したがって、制御画像の画素の画素値が正である場合には、その値の大きさに応じて高域成分が増幅され、制御画像の画素の画素値が負である場合には、その値の大きさに応じて、高域成分が減衰されることになる。
【００８９】
ステップＳ４３において、加算部５３は、供給された入力画像に、加減増幅器５２から供給された補正高域成分を加算し、その結果得られた出力画像を出力する。入力画像に、高域成分を領域ごとに増幅または減衰させて得られた補正高域成分を加算することで、入力画像の各領域の鮮鋭感が、その領域の特性に応じて増幅または減衰される。これにより、領域ごとに鮮鋭感が調整された、立体感のある高品位な出力画像が得られる。
【００９０】
出力画像が出力されると調整処理は終了し、これにより図３のステップＳ１７も終了して、画像処理は終了する。
【００９１】
以上のように、画像処理部２７は、制御信号に基づいて入力画像の高域成分を増幅させたり、減衰させたりすることで、各領域の鮮鋭感の調整を行なう。このような制御信号を用いれば、領域ごとに鮮鋭感の調整を行なうことができ、立体感のある好ましい鮮鋭感の制御が可能となる。したがって、例えば、アテンションの高い人物に対する肌と、それ以外の部位に対する最適な画像処理や、風景のような奥行きのある画像処理において、領域ごとに適正に質感の調整を行なうことができる。その結果、画像個々のシーンに対して、適応的に、人間の視覚特性に近い自然な奥行き感の表現を実現することができる。
【００９２】
〈変形例１〉
［画像処理装置の構成例］
なお、入力画像は、２次元の平面画像に限らず、左眼画像と右眼画像からなる立体画像であってもよい。ここで、左眼画像とは、立体画像の観察時にユーザの左眼で観察されるように表示される画像であり、右眼画像とは観察時にユーザの右眼で観察されるように表示される画像である。
【００９３】
入力画像が立体画像である場合、例えば画像処理装置は、図７に示すように構成される。なお、図７において、図１における場合と対応する部分には同一の符号を付してあり、その説明は省略する。
【００９４】
図７の画像処理装置８１は、奥行き検出部２１、顔検出部２２、奥行き制御信号生成部２３、顔肌領域制御信号生成部２４、人物領域制御信号生成部２５、制御信号合成部２６、画像処理部２７、奥行き検出部９１、顔検出部９２、奥行き制御信号生成部９３、顔肌領域制御信号生成部９４、人物領域制御信号生成部９５、制御信号合成部９６、および画像処理部９７から構成される。
【００９５】
すなわち、画像処理装置８１は、画像処理装置１１にさらに奥行き検出部９１乃至画像処理部９７が設けられた構成とされている。また、画像処理装置８１では、入力画像としての立体画像が、奥行き検出部２１、顔検出部２２、画像処理部２７、奥行き検出部９１、顔検出部９２、および画像処理部９７に供給される。
【００９６】
ここで、奥行き検出部９１乃至画像処理部９７は、奥行き検出部２１乃至画像処理部２７と同様の処理を行う。但し、奥行き検出部２１乃至画像処理部２７では、左眼画像に対する処理が行なわれるのに対し、奥行き検出部９１乃至画像処理部９７では、右眼画像に対する処理が行われる。
【００９７】
また、例えば、奥行き検出部２１と奥行き検出部９１では、立体画像に基づいて、ステレオマッチングなどにより左眼画像と右眼画像の間の視差が検出され、その検出結果に基づいて奥行き情報が生成される。具体的には、例えば奥行き検出部２１では、左眼画像の各画素について、それらの画素に対応する右眼画像の画素が検出され、各画素同士の距離から画素ごとに視差が求められる。同様に奥行き検出部９１では、右眼画像の各画素について、それらの画素に対応する左眼画像の画素が検出され、画素ごとに視差が求められる。
【００９８】
このように、入力画像が立体画像である場合であっても、立体画像の質感を領域ごとに適切に調整することができる。特に、立体画像では、奥行きの情報によって、領域ごとにより正確に質感調整の制御を変化させ、好ましい立体感を表現することができる。
【００９９】
〈第２の実施の形態〉
［画像処理装置の構成例］
また、以上においては、アテンションの高い領域の質感調整のために、人物領域を検出する例について説明したが、一般的にアテンションの高い、他の領域が検出されて、その領域に対する質感調整も行なわれるようにしてもよい。
【０１００】
そのような場合、画像処理装置は、例えば図８に示すように構成される。なお、図８において、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１０１】
図８の画像処理装置１２１は、奥行き検出部２１、顔検出部２２、奥行き制御信号生成部２３、顔肌領域制御信号生成部２４、人物領域制御信号生成部２５、制御信号合成部２６、画像処理部２７、誘目領域検出部１３１、および誘目領域制御信号生成部１３２から構成される。
【０１０２】
誘目領域検出部１３１は、供給された入力画像から、一般的にユーザが注目すると推定される領域（以下、誘目領域と称する）を検出し、その検出結果を示す誘目領域情報を誘目領域制御信号生成部１３２に供給する。
【０１０３】
誘目領域制御信号生成部１３２は、誘目領域検出部１３１から供給された誘目領域情報に基づいて、入力画像に対する質感の調整処理時における、入力画像の各領域に対する質感の強調度合いを示す誘目領域制御信号を生成し、制御信号合成部２６に供給する。ここで、誘目領域制御信号は、入力画像の各領域の誘目領域らしさ、すなわちアテンションの高さに応じて、それらの領域ごとに質感の強調度合いを制御するための信号である。
【０１０４】
制御信号合成部２６は、奥行き制御信号生成部２３からの奥行き制御信号、顔肌領域制御信号生成部２４からの顔肌領域制御信号、人物領域制御信号生成部２５からの人物領域制御信号、および誘目領域制御信号生成部１３２からの誘目領域制御信号を合成して、制御信号を生成する。制御信号合成部２６は、生成した制御信号を、画像処理部２７に供給する。
【０１０５】
［画像処理の説明］
次に、図９のフローチャートを参照して、画像処理装置１２１により行われる画像処理について説明する。なお、ステップＳ７１およびステップＳ７２の処理は、図３のステップＳ１１およびステップＳ１２の処理と同様であるので、その説明は省略する。
【０１０６】
ステップＳ７３において、誘目領域検出部１３１は、供給された入力画像から誘目領域を検出し、誘目領域情報を誘目領域制御信号生成部１３２に供給する。
【０１０７】
例えば、入力画像が動画像である場合、誘目領域検出部１３１は、処理対象の現フレームの入力画像と、過去のフレームの入力画像とを用いて、入力画像の各領域の動きベクトル（以下、ローカル動きベクトルと称する）を検出する。また、誘目領域検出部１３１は、入力画像に基づいて、入力画像の背景の動きベクトルをグローバル動きベクトルとして求める。例えば、グローバル動きベクトルは、入力画像の左右の端の領域の動きベクトルの平均値などとされる。
【０１０８】
さらに、誘目領域検出部１３１は、入力画像の領域ごとに、グローバル動きベクトルとローカル動きベクトルとの差分を算出し、各領域の誘目領域らしさの度合いを示す誘目度を求める。この誘目度は、入力画像上の領域がどの程度ユーザの目を引くか、つまりどの程度アテンションが高いかを示している。
【０１０９】
誘目領域検出部１３１は、入力画像の各領域の誘目度と、入力画像の撮像時のパン、チルト、ズームなどのカメラワークとに基づいて、入力画像上の誘目領域を検出し、誘目領域を示す誘目領域情報を、誘目領域制御信号生成部１３２に供給する。なお、誘目領域の検出については、例えば特開２００８−５３７７５号公報などに詳細に記載されている。
【０１１０】
誘目領域が検出されると、その後、ステップＳ７４乃至ステップＳ７６の処理が行われるが、これらの処理は図３のステップＳ１３乃至ステップＳ１５の処理と同様であるので、その説明は省略する。
【０１１１】
ステップＳ７７において、誘目領域制御信号生成部１３２は、誘目領域検出部１３１から供給された誘目領域情報に基づいて誘目領域制御信号を生成し、制御信号合成部２６に供給する。
【０１１２】
例えば、誘目領域制御信号生成部１３２は、入力画像と同じ大きさの画像を誘目領域制御画像とし、誘目領域制御画像の各画素の画素値を、誘目領域情報に基づいて定める。例えば、入力画像上の誘目領域と同じ位置にある誘目領域制御画像の画素の画素値は大きい値とされ、入力画像上の誘目領域でない領域と同じ位置にある誘目領域制御画像の画素の画素値は小さい値とされる。
【０１１３】
このように、入力画像の誘目領域の位置に応じて、誘目領域制御画像の各画素の画素値を定めることで、この誘目領域制御画像（誘目領域制御信号）を用いて入力画像の鮮鋭感の強調度合いを制御すれば、違和感のないより自然な出力画像を得ることができる。すなわち、入力画像のアテンションの高い領域の鮮鋭感がより強調され、注視しているものほど鮮鋭に見えるという人間の視覚特性に近しい、自然な出力画像を得ることができるようになる。
【０１１４】
誘目領域制御信号生成部１３２は、このようにして得られた誘目領域制御画像の画像信号を誘目領域制御信号として、制御信号合成部２６に供給する。
【０１１５】
ステップＳ７８において、制御信号合成部２６は、奥行き制御信号生成部２３からの奥行き制御信号、顔肌領域制御信号生成部２４からの顔肌領域制御信号、人物領域制御信号生成部２５からの人物領域制御信号、および誘目領域制御信号生成部１３２からの誘目領域制御信号を合成して、制御信号を生成する。そして、制御信号合成部２６は、生成した制御信号を、画像処理部２７に供給する。
【０１１６】
制御信号が生成されると、その後、ステップＳ７９の処理が行われて画像処理は終了するが、ステップＳ７９の処理は図３のステップＳ１７の処理と同様であるので、その説明は省略する。
【０１１７】
以上のように、入力画像における各被写体の奥行きや、顔肌の領域、人物の輪郭の領域、誘目領域に応じて、入力画像の領域ごとに質感の調整の度合いを適切に定めることで、より違和感のない自然な出力画像を得ることができる。特に、誘目領域に応じて質感調整の度合いを定めることで、入力画像に人物以外のアテンションの高い被写体が存在する場合でも、人間の視覚特性に適した好ましい画像表示が可能となる。
【０１１８】
〈第３の実施の形態〉
［画像処理部の構成例］
なお、以上においては、画像処理部２７において、入力画像の質感の調整として、鮮鋭感の調整を行なう場合について説明したが、鮮鋭感だけでなく、コントラストの調整も行なわれるようにしてもよい。
【０１１９】
そのような場合、図１の画像処理部２７は、例えば図１０に示すように構成される。すなわち、画像処理部２７は、非線形フィルタ１６１、減算部１６２、増幅器１６３、および加算部１６４から構成される。この画像処理部２７では、入力画像に対して、鮮鋭感とコントラストの調整が行なわれて、出力画像が生成される。
【０１２０】
非線形フィルタ１６１は、供給された入力画像に対して、εフィルタなどからなる非線形フィルタを用いたフィルタ処理を施して、その結果得られた画像（以下、平滑化画像と称する）を減算部１６２および加算部１６４に供給する。ここで、非線形フィルタは、入力画像の画素値が急峻に変化する部分、つまりエッジ部分を保存したまま入力画像全体を平滑化するフィルタである。
【０１２１】
減算部１６２は、供給された入力画像から、非線形フィルタ１６１からの平滑化画像を減算し、その結果得られたテクスチャ成分を増幅器１６３に供給する。増幅器１６３は、制御信号合成部２６から供給された制御信号に基づいて、減算部１６２から供給されたテクスチャ成分を入力画像の領域ごとに増幅させ、加算部１６４に供給する。なお、以下、増幅器１６３で増幅された入力画像のテクスチャ成分を、適宜、補正テクスチャ成分とも称することとする。
【０１２２】
加算部１６４は、非線形フィルタ１６１から供給された平滑化画像に、増幅器１６３から供給された補正テクスチャ成分を加算し、その結果得られた出力画像を出力する。
【０１２３】
［調整処理の説明］
ところで、画像処理部２７が図１０に示す構成とされる場合においても、画像処理装置１１により、図３を参照して説明した画像処理が行われる。また、この画像処理では、ステップＳ１７の調整処理において、入力画像の鮮鋭感とコントラストの調整が行なわれる。
【０１２４】
以下、図１１のフローチャートを参照して、図１０の画像処理部２７により行われる調整処理について説明する。この調整処理は、図３のステップＳ１７に対応する処理である。
【０１２５】
ステップＳ１０１において、非線形フィルタ１６１は、供給された入力画像に対して非線形フィルタを用いたフィルタ処理を施し、その結果得られた平滑化画像を減算部１６２および加算部１６４に供給する。
【０１２６】
このフィルタ処理では、入力画像のエッジ部分が保存されたまま、入力画像全体が平滑化される。フィルタ処理時において、非線形フィルタのタップ長を長くすれば、テクスチャ成分や補正テクスチャ成分に低域の振幅成分が含まれるようになる。このようなフィルタ処理の詳細は、例えば特開２００１−２９８６２１号公報に詳細に記載されている。
【０１２７】
ステップＳ１０２において、減算部１６２は、供給された入力画像から、非線形フィルタ１６１からの平滑化画像を減算し、入力画像からテクスチャ成分を抽出する。ここで、テクスチャ成分は、入力画像からエッジを含む成分を除いて得られる成分である。減算部１６２は、得られたテクスチャ成分を増幅器１６３に供給する。
【０１２８】
ステップＳ１０３において、増幅器１６３は、制御信号合成部２６から供給された制御信号に基づいて、減算部１６２から供給されたテクスチャ成分を入力画像の領域ごとに増幅させ、その結果得られた補正テクスチャ成分を加算部１６４に供給する。
【０１２９】
例えば、テクスチャ成分は、入力画像からエッジを含む成分が除去されて得られる画像の画像信号であり、この画像の各画素の画素値に対して、それらの画素と同じ位置にある制御画像の画素の画素値が加算され、補正テクスチャ成分とされる。
【０１３０】
ステップＳ１０４において、加算部１６４は、非線形フィルタ１６１から供給された平滑化画像に、増幅器１６３から供給された補正テクスチャ成分を加算し、その結果得られた出力画像を出力する。
【０１３１】
このようにして得られた出力画像は、入力画像の鮮鋭感とコントラストが領域ごとに調整されて得られた画像である。入力画像のエッジ成分を変化させずに、テクスチャ成分を適宜強調すると、入力画像の鮮鋭感とコントラストが調整される。
【０１３２】
加算部１６４から出力画像が出力されると調整処理は終了し、これにより図３のステップＳ１７も終了して、画像処理は終了する。
【０１３３】
以上のように、画像処理部２７は、制御信号に基づいて入力画像のテクスチャ成分を増幅させることで、各領域の鮮鋭感とコントラスト感の調整を行なう。このような制御信号を用いれば、領域ごとに、立体感のある好ましい鮮鋭感およびコントラスト感の制御が可能となる。
【０１３４】
なお、図１０の画像処理部２７では、平滑化画像に補正テクスチャ成分が加算されて、出力画像とされると説明したが、入力画像に補正テクスチャ成分が加算されて、出力画像とされるようにしてもよい。
【０１３５】
〈第４の実施の形態〉
［画像処理部の構成例］
また、図１０の画像処理部２７では、テクスチャ成分に対して鮮鋭感やコントラスト感の調整が行なわれると説明したが、エッジ成分に対しても鮮鋭感の調整が行なわれるようにしてもよい。
【０１３６】
そのような場合、画像処理装置１１の画像処理部２７は、例えば図１２に示すように構成される。なお、図１２において、図１０における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１３７】
すなわち、画像処理部２７は、非線形フィルタ１６１、減算部１６２、増幅器１６３、加算部１６４、ハイパスフィルタ１９１、加減増幅器１９２、および加算部１９３から構成される。すなわち、図１２の画像処理部２７は、図１０の画像処理部２７に、さらにハイパスフィルタ１９１乃至加算部１９３が設けられた構成となっている。
【０１３８】
ハイパスフィルタ１９１は、非線形フィルタ１６１から供給された平滑化画像に対して、ハイパスフィルタを用いたフィルタ処理を施し、その結果得られたエッジ成分を加減増幅器１９２に供給する。
【０１３９】
加減増幅器１９２は、制御信号合成部２６から供給された制御信号に基づいて、ハイパスフィルタ１９１から供給されたエッジ成分を、入力画像の領域ごとに増幅または減衰させ、加算部１９３に供給する。ここで、加減増幅器１９２に供給される制御信号は、増幅器１６３に供給される制御信号の生成に用いられた重みとは、異なる重みが用いられて生成された信号である。
【０１４０】
なお、以下、加減増幅器１９２で増幅または減衰された入力画像のエッジ成分を、適宜、補正エッジ成分とも称することとする。
【０１４１】
加算部１９３は、加算部１６４から供給された画像に、加減増幅器１９２から供給された補正エッジ成分を加算し、その結果得られた出力画像を出力する。
【０１４２】
［調整処理の説明］
画像処理部２７が図１２に示す構成とされる場合、画像処理装置１１により、図３を参照して説明した画像処理が行われるが、ステップＳ１６において、制御信号合成部２６は、異なる２つの制御信号を生成し、それぞれ増幅器１６３と加減増幅器１９２に供給する。
【０１４３】
すなわち、制御信号合成部２６は、所定の重みにより、奥行き制御信号、顔肌領域制御信号、および人物領域制御信号を重み付き加算して制御信号を生成し、増幅器１６３に供給する。また、制御信号合成部２６は、上述の所定の重みとは異なる重みにより、奥行き制御信号、顔肌領域制御信号、および人物領域制御信号を重み付き加算して制御信号を生成し、加減増幅器１９２に供給する。
【０１４４】
また、この画像処理では、ステップＳ１７の調整処理において、入力画像のテクスチャ成分とエッジ成分がそれぞれ増幅または減衰され、鮮鋭感とコントラストの調整が行なわれる。
【０１４５】
以下、図１３のフローチャートを参照して、図１２の画像処理部２７により行われる調整処理について説明する。この調整処理は、図３のステップＳ１７に対応する処理である。
【０１４６】
なお、ステップＳ１３１乃至ステップＳ１３４の処理は、図１１のステップＳ１０１乃至ステップＳ１０４の処理と同様であるので、その説明は諸略する。
【０１４７】
但し、ステップＳ１３１では、非線形フィルタ１６１は、フィルタ処理により得られた平滑化画像を減算部１６２、加算部１６４、およびハイパスフィルタ１９１に供給する。また、ステップＳ１３４では、加算部１６４は、非線形フィルタ１６１からの平滑化画像に、増幅器１６３からの補正テクスチャ成分を加算し、得られた画像を加算部１９３に供給する。
【０１４８】
ステップＳ１３５において、ハイパスフィルタ１９１は、非線形フィルタ１６１から供給された平滑化画像に対して、ハイパスフィルタを用いたフィルタ処理を施し、入力画像のエッジ成分を抽出する。ハイパスフィルタ１９１は、抽出したエッジ成分を加減増幅器１９２に供給する。
【０１４９】
ステップＳ１３６において、加減増幅器１９２は、制御信号合成部２６からの制御信号に基づいて、ハイパスフィルタ１９１からのエッジ成分を、入力画像の領域ごとに増幅または減衰させ、加算部１９３に供給する。すなわち、エッジ成分の画像の各画素の画素値に対して、制御信号に基づく制御画像の画素の画素値が加算されて、補正エッジ成分とされる。
【０１５０】
ステップＳ１３７において、加算部１９３は、加算部１６４から供給された、補正テクスチャ成分が加算された平滑化画像に、加減増幅器１９２から供給された補正エッジ成分を加算し、その結果得られた出力画像を出力する。加算部１９３から出力画像が出力されると調整処理は終了し、これにより図３のステップＳ１７も終了して、画像処理は終了する。
【０１５１】
このように、入力画像のテクスチャ成分だけでなく、テクスチャ成分とは独立に、各領域のエッジ成分の鮮鋭感を調整することで、より適切なエッジの強調制御が可能となり、立体感のある好ましい出力画像を得ることができる。
【０１５２】
〈第５の実施の形態〉
［画像処理部の構成例］
さらに、画像処理部２７において超解像処理が行われて、入力画像がより高い解像度の出力画像に変換されるようにし、その際に、制御信号に応じて領域ごとに超解像効果の度合い、つまり超解像のかかり具合が適応的に制御されるようにしてもよい。
【０１５３】
そのような場合、図１の画像処理装置１１の画像処理部２７は、例えば図１４に示すように構成される。
【０１５４】
すなわち、図１４の画像処理部２７は、クラスタップ抽出部２２１、ADRC（Adaptive Dynamic Range Control）処理部２２２、クラス分類部２２３、予測係数保持部２２４、予測タップ抽出部２２５、および予測演算部２２６から構成される。この画像処理部２７では、入力画像がクラスタップ抽出部２２１および予測タップ抽出部２２５に供給される。
【０１５５】
クラスタップ抽出部２２１は、これから生成しようとする出力画像（この出力画像は、これから求めようとする画像あり、現段階では存在しないため、仮想的に想定される）の画素を、順次、注目する注目画素とする。クラスタップ抽出部２２１は、供給された入力画像における、注目画素と同じ位置近傍のいくつかの画素を、注目画素を複数のクラスのうちの何れかにクラス分けするためのクラスタップとして抽出し、ADRC処理部２２２に供給する。
【０１５６】
ADRC処理部２２２は、クラスタップ抽出部２２１から供給されたクラスタップにADRC処理を施し、ADRC処理の施されたクラスタップをクラス分類部２２３に供給する。
【０１５７】
クラス分類部２２３は、ADRC処理部２２２から供給されたクラスタップに基づいて、注目画素をクラス分類し、その結果、注目画素が分類されたクラスを示すクラスコードを生成する。また、クラス分類部２２３は、制御信号合成部２６から供給された制御信号に基づいて、予測係数保持部２２４に記録されている複数の予測係数からなる予測係数セットのうち、どの予測係数セットを用いるかを示す予測係数セットＩＤを生成する。
【０１５８】
すなわち、予測係数保持部２２４には、クラスコードごとの予測係数からなる予測係数セットが複数記録されている。この予測係数は、注目画素の予測に用いられるものであり、学習により予め求められている。また、同じクラスコードの予測係数であっても、異なる予測係数セットを構成する予測係数であれば、予測係数の値は異なり、予測係数セットごとに、超解像効果の度合い、例えば鮮鋭感などの質感が異なる注目画素が得られる。
【０１５９】
クラス分類部２２３は、クラスコードと、予測係数セットを特定する予測係数セットＩＤとを予測係数保持部２２４に供給する。予測係数保持部２２４は、クラス分類部２２３から供給されたクラスコードおよび予測係数セットＩＤにより特定される予測係数を、予測演算部２２６に供給する。
【０１６０】
予測タップ抽出部２２５は、供給された入力画像における、注目画素と同じ位置近傍のいくつかの画素を、注目画素の画素値を予測するために用いられる予測タップとして抽出し、予測演算部２２６に供給する。予測演算部２２６は、予測タップ抽出部２２５から供給された予測タップ、つまり予測タップを構成する画素の画素値に、予測係数保持部２２４から供給された予測係数を乗算して、注目画素の画素値を予測演算し、出力画像を生成する。予測演算部２２６は、生成した出力画像を出力する。
【０１６１】
［調整処理の説明］
ところで、画像処理部２７が図１４に示す構成とされる場合においても、画像処理装置１１により、図３を参照して説明した画像処理が行われる。また、この画像処理では、ステップＳ１７の調整処理において、入力画像が、入力画像よりも解像度の高い出力画像に変換される。
【０１６２】
以下、図１５のフローチャートを参照して、図１４の画像処理部２７により行われる調整処理について説明する。この調整処理は、図３のステップＳ１７に対応する処理である。
【０１６３】
ステップＳ１６１において、画像処理部２７は、これから生成しようとする出力画像の画素を１つ選択し、注目画素とする。
【０１６４】
ステップＳ１６２において、クラスタップ抽出部２２１は、供給された入力画像からクラスタップを抽出し、ADRC処理部２２２に供給する。
【０１６５】
ステップＳ１６３において、ADRC処理部２２２は、クラスタップ抽出部２２１から供給されたクラスタップにADRC処理を施し、クラス分類部２２３に供給する。
【０１６６】
例えば、ADRC処理部２２２は、クラスタップを構成する画素の画素値の最大値MAXおよび最小値MINを検出し、検出された画素値の最大値MAXと最小値MINとの差ＤＲを、クラスタップを構成する画素の集合の局所的なダイナミックレンジとする。
【０１６７】
ADRC処理部２２２は、このダイナミックレンジＤＲに基づいて、クラスタップを構成する画素（の画素値）を１ビットに再量子化する。つまり、ADRC処理部２２２は、クラスタップを構成する各画素の画素値から最小値MINを減算し、その減算値をDR/2で除算（量子化）する。そして、ADRC処理部２２２は、以上のようにして得られるクラスタップを構成する１ビットの各画素の画素値を所定の順番で並べたビット列をクラス分類部２２３に供給する。
【０１６８】
ステップＳ１６４において、クラス分類部２２３は、ADRC処理部２２２から供給されたビット列に基づいて、注目画素のクラス分類を行なう。例えば、クラス分類部２２３は、ADRC処理部２２２から供給されたビット列をそのままクラスコードとする。
【０１６９】
また、クラス分類部２２３は、制御信号合成部２６から供給された制御信号に基づく制御画像の画素のうち、注目画素と同じ位置近傍にある画素の画素値に基づいて、予測係数セットＩＤを選択する。例えば、制御画像の画素の画素値の取り得る範囲が、いくつかの範囲に分割され、それらの分割された範囲ごとに予測係数セットＩＤが対応付けられている。クラス分類部２２３は、制御信号に示される画素の画素値が属す範囲に対応付けられている予測係数セットＩＤを選択する。
【０１７０】
クラス分類部２２３は、このようにして選択した予測係数セットＩＤとクラスコードを予測係数保持部２２４に供給する。すると、予測係数保持部２２４は、予め記録している各予測係数セットの予測係数のうち、クラス分類部２２３からの予測係数セットＩＤとクラスコードにより特定される予測係数を、予測演算部２２６に供給する。すなわち、予測係数セットＩＤにより特定される予測係数セットに属す予測係数のうち、クラスコードにより特定される予測係数が選択されて出力される。
【０１７１】
ステップＳ１６５において、予測タップ抽出部２２５は、供給された入力画像における、注目画素と同じ位置近傍のいくつかの画素を予測タップとして抽出し、予測演算部２２６に供給する。
【０１７２】
ステップＳ１６６において、予測演算部２２６は、予測タップ抽出部２２５から供給された予測タップの画素の画素値に、予測係数保持部２２４から供給された予測係数を乗算し、注目画素の画素値を予測演算する。すなわち、予測係数が乗算された画素値の和が注目画素の画素値とされる。
【０１７３】
ステップＳ１６７において、画像処理部２７は、出力画像の全ての画素について予測演算を行なったか否かを判定する。例えば、出力画像の全ての画素が注目画素とされ、その画素値が算出された場合、全ての画素について予測演算を行なったと判定される。
【０１７４】
ステップＳ１６７において、まだ全ての画素について予測演算を行なっていないと判定された場合、処理はステップＳ１６１に戻り、上述した処理が繰り返される。
【０１７５】
これに対して、ステップＳ１６７において、全ての画素について予測演算を行なったと判定された場合、処理はステップＳ１６８に進む。
【０１７６】
ステップＳ１６８において、予測演算部２２６は、注目画素とした各画素の画素値からなる出力画像を出力し、調整処理は終了する。調整処理が終了すると、これにより図３のステップＳ１７も終了し、画像処理は終了する。
【０１７７】
このように、画像処理部２７では、出力画像の領域ごとに、制御信号に基づいて予測係数セットが選択されるので、超解像効果の度合い、つまり解像度の創造の度合いを領域ごとに調整することが可能となり、立体感のある好ましい出力画像を得ることができる。
【０１７８】
〈第６の実施の形態〉
［画像処理部の構成例］
また、制御信号に応じて、入力画像の彩度が調整されるようにしてもよい。そのような場合、図１の画像処理装置１１の画像処理部２７は、例えば図１６に示すように構成される。
【０１７９】
すなわち、図１６の画像処理部２７は、分離部２５１、彩度加減増幅器２５２、および合成部２５３から構成される。この例では、入力画像の画像信号は、例えば輝度信号（Ｙ信号）と、クロマ信号（ＣｂＣｒ信号）とからなる画像信号とされる。
【０１８０】
分離部２５１は、供給された入力画像を、輝度成分（輝度信号）とクロマ成分（クロマ信号）とに分離し、輝度成分を合成部２５３に供給するとともに、クロマ成分を彩度加減増幅器２５２に供給する。
【０１８１】
彩度加減増幅器２５２は、制御信号合成部２６から供給された制御信号に基づいて、分離部２５１から供給されたクロマ成分（色差成分）を、入力画像の領域ごとに増幅または減衰させ、合成部２５３に供給する。合成部２５３は、分離部２５１からの輝度成分と、彩度加減増幅器２５２からのクロマ成分とからなる画像を出力画像として出力する。
【０１８２】
［調整処理の説明］
ところで、画像処理部２７が図１６に示す構成とされる場合においても、画像処理装置１１により、図３を参照して説明した画像処理が行われる。また、この画像処理では、ステップＳ１７の調整処理において、入力画像のクロマ成分の調整が行なわれる。
【０１８３】
以下、図１７のフローチャートを参照して、図１６の画像処理部２７により行われる調整処理について説明する。この調整処理は、図３のステップＳ１７に対応する処理である。
【０１８４】
ステップＳ１９１において、分離部２５１は、供給された入力画像を、輝度成分とクロマ成分とに分離し、輝度成分を合成部２５３に供給するとともに、クロマ成分を彩度加減増幅器２５２に供給する。
【０１８５】
ステップＳ１９２において、彩度加減増幅器２５２は、制御信号合成部２６から供給された制御信号に基づいて、分離部２５１から供給されたクロマ成分を、入力画像の領域ごとに増幅または減衰させ、合成部２５３に供給する。例えば、クロマ成分の画像の各画素の画素値に対して、それらの画素と同じ位置にある制御画像の画素の画素値が加算され、補正後のクロマ成分とされる。
【０１８６】
ステップＳ１９３において、合成部２５３は、分離部２５１からの輝度成分の輝度信号と、彩度加減増幅器２５２からのクロマ成分のクロマ信号とからなる画像信号を、出力画像の画像信号として出力する。
【０１８７】
このようにして得られた出力画像は、入力画像の彩度が領域ごとに調整されて得られた画像である。合成部２５３から出力画像が出力されると調整処理は終了し、これにより図３のステップＳ１７も終了して、画像処理は終了する。
【０１８８】
以上のように、画像処理部２７は、制御信号に基づいて入力画像のクロマ成分を増幅または減衰させることで、各領域の彩度の調整を行なう。このような制御信号を用いれば、領域ごとに、立体感のある好ましい彩度の制御が可能となる。
【０１８９】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１９０】
図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１９１】
コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。
【０１９２】
バス３０４には、さらに、入出力インターフェース３０５が接続されている。入出力インターフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記録部３０８、ネットワークインターフェースなどよりなる通信部３０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。
【０１９３】
以上のように構成されるコンピュータでは、CPU３０１が、例えば、記録部３０８に記録されているプログラムを、入出力インターフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。
【０１９４】
コンピュータ（CPU３０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１９５】
そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インターフェース３０５を介して、記録部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記録部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記録部３０８に、あらかじめインストールしておくことができる。
【０１９６】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１９７】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１９８】
さらに、本技術は、以下の構成とすることも可能である。
【０１９９】
［１］
入力画像の各領域における被写体の奥行き位置に基づいて、前記入力画像の各領域の質感の強調度合いを制御する奥行き制御信号を生成する奥行き制御信号生成部と、
前記入力画像における人の顔の肌の領域に基づいて、前記入力画像の各領域の質感の強調度合いを制御する顔肌領域制御信号を生成する顔肌領域制御信号生成部と、
前記入力画像における人の領域に基づいて、前記入力画像の各領域の質感の強調度合いを制御する人物領域制御信号を生成する人物領域制御信号生成部と、
前記奥行き制御信号、前記顔肌領域制御信号、および前記人物領域制御信号を合成して、制御信号を生成する制御信号合成部と
を備える画像処理装置。
［２］
前記制御信号に基づいて、前記入力画像の各領域の質感の調整を行ない、出力画像を生成する画像処理部をさらに備える
上記［１］に記載の画像処理装置。
［３］
前記画像処理部は、前記制御信号に基づいて、前記入力画像のエッジ成分を増幅または減衰させる
上記［２］に記載の画像処理装置。
［４］
前記画像処理部は、前記制御信号に基づいて、前記入力画像のテクスチャ成分を増幅させる
上記［２］に記載の画像処理装置。
［５］
前記画像処理部は、前記制御信号とは異なる他の制御信号に基づいて、前記入力画像のエッジ成分を増幅または減衰させる
上記［４］に記載の画像処理装置。
［６］
前記画像処理部は、
前記出力画像の領域ごとに、前記制御信号に基づいて前記出力画像の生成に用いる予測係数を選択する予測係数選択部と、
前記入力画像と前記予測係数とに基づいて、前記入力画像よりも解像度の高い前記出力画像を生成する予測演算部と
上記［２］に記載の画像処理装置。
［７］
前記画像処理部は、前記制御信号に基づいて、前記入力画像のクロマ成分を増幅または減衰させる
上記［２］に記載の画像処理装置。
［８］
前記入力画像におけるアテンションが高いと推定される領域に基づいて、前記入力画像の各領域の質感の強調度合いを制御する誘目領域制御信号を生成する誘目領域制御信号生成部をさらに備え、
前記制御信号合成部は、前記奥行き制御信号、前記顔肌領域制御信号、前記人物領域制御信号、および前記誘目領域制御信号を合成して、前記制御信号を生成する
上記［１］または［２］に記載の画像処理装置。
［９］
前記顔肌領域制御信号生成部は、前記入力画像からの人の顔の領域の検出結果に基づいて、人の顔の肌の領域を特定して前記顔肌領域制御信号を生成し、処理対象の前記入力画像から人の顔の領域が検出されなかった場合、過去の前記入力画像における人の顔の肌の領域の特定結果に基づいて、前記処理対象の前記入力画像における人の顔の肌の領域を特定する
上記［１］乃至［８］の何れかに記載の画像処理装置。
［１０］
前記人物領域制御信号生成部は、前記入力画像からの人の顔の領域の検出結果、または前記入力画像の人の顔の肌の領域の特定結果の少なくとも何れかを用いて、前記入力画像における人の領域を特定し、前記人物領域制御信号を生成する
上記［９］に記載の画像処理装置。
【符号の説明】
【０２００】
１１  画像処理装置，  ２１  奥行き検出部，  ２２  顔検出部，  ２３  奥行き制御信号生成部，  ２４  顔肌領域制御信号生成部，  ２５  人物領域制御信号生成部，  ２６  制御信号合成部，  ２７  画像処理部，  １３１  誘目領域検出部，  １３２  誘目領域制御信号生成部
【図１】
0005743142.tif 000002
【図２】
0005743142.tif 000003
【図３】
0005743142.tif 000004
【図４】
0005743142.tif 000005
【図５】
0005743142.tif 000006
【図６】
0005743142.tif 000007
【図７】
0005743142.tif 000008
【図８】
0005743142.tif 000009
【図９】
0005743142.tif 000010
【図１０】
0005743142.tif 000011
【図１１】
0005743142.tif 000012
【図１２】
0005743142.tif 000013
【図１３】
0005743142.tif 000014
【図１４】
0005743142.tif 000015
【図１５】
0005743142.tif 000016
【図１６】
0005743142.tif 000017
【図１７】
0005743142.tif 000018
【図１８】
0005743142.tif 000019