(57)【要約】  本開示は、実物がそこにあるような質感を再現することができるようにする画像処理装置および方法に関する。反射特性推定部は、供給された入力画像から、被写体の特性として、例えば、被写体の反射特性を推定して解析する。反射特性推定部は、反射特性推定結果である鏡面反射成分を、画像推定情報として、特性情報統合部に供給するとともに、ハイライト領域検出部にも供給する。ハイライト領域検出部は、反射特性推定部との処理と並行して、反射特性推定部からの反射特性推定結果である鏡面反射成分を用いて、ハイライト領域検出を行い、ハイライト領域検出結果を、画像推定情報として、特性情報統合部に供給する。本開示は、例えば、画像処理装置に適用することができる。
2016190062.tif 000002
【特許請求の範囲】
【請求項１】
画像の被写体の反射特性を推定する反射特性推定部と、
前記反射特性推定部により推定された反射特性推定結果を用いて、前記画像におけるハイライト領域を検出するハイライト領域検出部と、
前記反射特定推定結果と、前記ハイライト領域検出部により検出されたハイライト領域検出結果とに基づき、反射領域およびハイライト領域が強調された画像に対して、前記画像と前記反射領域およびハイライト領域が強調された画像との差分によるリミット処理を行うことで、前記画像における被写体の質感を制御する質感制御部と
を備える画像処理装置。
【請求項２】
前記反射特性推定部による反射特性推定結果は、前記被写体の反射特性が、鏡面反射成分が強いことを示す情報である
請求項１に記載の画像処理装置。
【請求項３】
前記ハイライト領域検出部は、低鏡面反射成分の領域、高輝度領域、および低彩度領域を満たす領域を、ハイライト領域として検出を行う
請求項１に記載の画像処理装置。
【請求項４】
前記ハイライト領域検出部は、面積カウントを行って除外されなかった小面積の領域を、ハイライト領域として検出を行う
請求項３に記載の画像処理装置。
【請求項５】
前記質感制御部は、前記反射特定推定結果と、前記ハイライト領域検出部により検出されたハイライト領域検出結果とに基づいて、反射領域およびハイライト領域を強調する強調処理部と、
前記反射領域およびハイライト領域が強調された画像に対して、前記画像と前記反射領域およびハイライト領域が強調された画像との差分によるリミット処理を行うリミット処理部と
を備える請求項１に記載の画像処理装置。
【請求項６】
前記リミット処理部は、前記差分が所定のリミット直線を超えている画素を面積カウントした結果に基づき、小面積部分に対して抑制が弱く、大面積部分に対して抑制が強くなる抑制ゲインを算出し、算出した抑制ゲインを用いて、前記リミット処理を行う
請求項５に記載の画像処理装置。
【請求項７】
前記リミット処理部は、前記所定のリミット直線とは異なる他のリミット直線を用いて、前記リミット処理を行う
請求項６に記載の画像処理装置。
【請求項８】
前記他のリミット直線は、入力値によりリミット値が変更される
請求項７に記載の画像処理装置。
【請求項９】
前記リミット処理部は、前記所定のリミット直線を用いて、前記リミット処理を行う
請求項６に記載の画像処理装置。
【請求項１０】
前記質感制御部は、前記画像において強調された反射領域およびハイライト領域の周辺の輝度を下げるシャドウ制御を行うシャドウ制御部を
さらに備える請求項５に記載の画像処理装置。
【請求項１１】
前記シャドウ制御部は、前記画像と前記リミット処理が行われた画像との差分の大きい部分の周辺の輝度を下げることで、前記画像において強調された反射領域およびハイライト領域の周辺の輝度を下げるシャドウ制御を行う
請求項１０に記載の画像処理装置。
【請求項１２】
前記シャドウ制御部は、前記差分の大きい部分に対して強くする適用ゲインを算出し、算出した適用ゲインを用いて、シャドウ制御を行う
請求項１１に記載の画像処理装置。
【請求項１３】
前記シャドウ制御部は、ユーザにより設定される引き込み開始ポイントより低い輝度に対してシャドウ制御を行う
請求項１２に記載の画像処理装置。
【請求項１４】
前記シャドウ制御部は、シャドウ制御用のリミット直線より大きい輝度に対してシャドウ制御を行う
請求項１３に記載の画像処理装置。
【請求項１５】
画像処理装置が、
画像の被写体の反射特性を推定し、
推定された反射特性推定結果を用いて、前記画像におけるハイライト領域を検出し、
前記反射特定推定結果と、検出されたハイライト領域検出結果とに基づき、反射領域およびハイライト領域が強調された画像に対して、前記画像と前記反射領域およびハイライト領域が強調された画像との差分によるリミット処理を行うことで、前記画像における被写体の質感を制御する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置および方法に関し、特に、実物がそこにあるような質感を再現することができるようにした画像処理装置および方法に関する。
【背景技術】
【０００２】
映像のリアリティを高めることを目的に、コントラストや繊細感などを調整する技術が開発されてきた。【０００３】
なお、特許文献１においては、画像中の物体の色補正や所望の色再現を実現して高画質化を図るといった技術が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１０／０８７１６２号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、コントラストや繊細感などの基礎画質を高めるだけでは、性能に限界があった。そこで、例えば、被写体を実際に見たかのような状況を映像で再現するなどのように、実物がそこにあるような質感を再現することが求められている。【０００６】
本開示は、このような状況に鑑みてなされたものであり、実物がそこにあるような質感を再現することができるものである。
【課題を解決するための手段】
【０００７】
本開示の一側面の画像処理装置は、画像の被写体の反射特性を推定する反射特性推定部と、前記反射特性推定部により推定された反射特性推定結果を用いて、前記画像におけるハイライト領域を検出するハイライト領域検出部と、前記反射特定推定結果と、前記ハイライト領域検出部により検出されたハイライト領域検出結果とに基づき、反射領域およびハイライト領域が強調された画像に対して、前記画像と前記反射領域およびハイライト領域が強調された画像との差分によるリミット処理を行うことで、前記画像における被写体の質感を制御する質感制御部とを備える。【０００８】
前記反射特性推定部による反射特性推定結果は、前記被写体の反射特性が、鏡面反射成分が強いことを示す情報である。【０００９】
前記ハイライト領域検出部は、低鏡面反射成分の領域、高輝度領域、および低彩度領域を満たす領域を、ハイライト領域として検出を行うことができる。【００１０】
前記ハイライト領域検出部は、面積カウントを行って除外されなかった小面積の領域を、ハイライト領域として検出を行うことができる。【００１１】
前記質感制御部は、前記反射特定推定結果と、前記ハイライト領域検出部により検出されたハイライト領域検出結果とに基づいて、反射領域およびハイライト領域を強調する強調処理部と、前記反射領域およびハイライト領域が強調された画像に対して、前記画像と前記反射領域およびハイライト領域が強調された画像との差分によるリミット処理を行うリミット処理部とを備えることができる。【００１２】
前記リミット処理部は、前記差分が所定のリミット直線を超えている画素を面積カウントした結果に基づき、小面積部分に対して抑制が弱く、大面積部分に対して抑制が強くなる抑制ゲインを算出し、算出した抑制ゲインを用いて、前記リミット処理を行うことができる。【００１３】
前記リミット処理部は、前記所定のリミット直線とは異なる他のリミット直線を用いて、前記リミット処理を行うことができる。【００１４】
前記他のリミット直線は、入力値によりリミット値が変更される。【００１５】
前記リミット処理部は、前記所定のリミット直線を用いて、前記リミット処理を行うことができる。【００１６】
前記質感制御部は、前記画像において強調された反射領域およびハイライト領域の輝度を下げるシャドウ制御を行うシャドウ制御部をさらに備えることができる。【００１７】
前記シャドウ制御部は、前記画像の入出力差分の大きい部分の周辺の輝度を下げることで、前記画像において強調された反射領域およびハイライト領域の周辺の輝度を下げるシャドウ制御を行うことができる。【００１８】
前記シャドウ制御部は、前記差分の大きい部分に対して強くする適用ゲインを算出し、算出した適用ゲインを用いて、シャドウ制御を行うことができる。【００１９】
前記シャドウ制御部は、ユーザにより設定される引き込み開始ポイントより低い輝度に対してシャドウ制御を行うことができる。【００２０】
前記シャドウ制御部は、シャドウ制御用のリミット直線より大きい輝度に対してシャドウ制御を行うこうことができる。【００２１】
本開示の一側面の画像処理方法は、画像処理装置が、画像の被写体の反射特性を推定し、推定された反射特性推定結果を用いて、前記画像におけるハイライト領域を検出し、前記反射特定推定結果と、検出されたハイライト領域検出結果とに基づき、反射領域およびハイライト領域が強調された画像に対して、前記画像と前記反射領域およびハイライト領域が強調された画像との差分によるリミット処理を行うことで、前記画像における被写体の質感を制御する。【００２２】
本開示の一側面においては、画像の被写体の反射特性が推定され、推定された反射特性推定結果を用いて、前記画像におけるハイライト領域の検出が行われる。そして、前記反射特定推定結果と、検出されたハイライト領域検出結果とに基づき、反射領域およびハイライト領域が強調された画像に対して、前記画像と前記反射領域およびハイライト領域が強調された画像との差分によるリミット処理を行うことで、前記画像における被写体の質感が制御される。
【発明の効果】
【００２３】
本開示の一側面によれば、画像を処理することができる。実物がそこにあるような質感を再現することができる。特に、ハイライト領域を再現することができる。
【図面の簡単な説明】
【００２４】
【図１】本技術のコンセプトを説明する図である。
【図２】本技術の質感制御方法について説明する図である。
【図３】画像処理装置の主な構成例を示すブロック図である。
【図４】被写体特性解析部と特性制御部の構成例を示すブロック図である。
【図５】ハイライト領域検出について具体的に説明するための図である。
【図６】ハイライト領域検出について具体的に説明するための図である。
【図７】ハイライト領域推定処理について説明するフローチャートである。
【図８】入出力差分によるリミット処理について具体的に説明するための図である。
【図９】リミット処理について説明するフローチャートである。
【図１０】シャドウ制御について具体的に説明するための図である。
【図１１】シャドウ制御について説明するフローチャートである。
【図１２】本技術による効果の一例を示す図である。
【図１３】図３の画像処理装置の画像処理について説明するフローチャートである。
【図１４】計測・推定・統合処理について説明するフローチャートである。
【図１５】視環境情報に基づく処理について説明するフローチャートである。
【図１６】材質に基づく反射特性調整処理について説明するフローチャートである。
【図１７】視線情報に基づく処理について説明する説明するフローチャートである。
【図１８】パーソナルコンピュータの主な構成例を示すブロック図である。
【発明を実施するための形態】
【００２５】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．本技術の概要
２．第１の実施の形態
３．第２の実施の形態
【００２６】
＜本技術の概要＞
［本技術のコンセプト］
図１を参照して、本技術のコンセプトについて説明する。本技術は、画像における物体の質感を向上させるようにするものである。
【００２７】
実世界において、人間が目に感じるもの、すなわち、光がどういう形で目に入ってくるかという物理的情報(Material imformation)が根本的に必要な情報である。これらの物理的情報は、例えば、太陽光（照明: lighting）、物体の形状(geometry)、物体の反射成分(reflectance)などであり、これらの物理的情報があれば、理論的には、光を再現することができる。
【００２８】
これらの物理的情報は、カメラのセンサに入るので、画像（2DImage）から抽出される情報（画像統計量、拡散／鏡面反射成分、撮影時の照明情報）を基に、被写体の特性情報（被写体の領域情報や認識情報）として推定し、取得することができる。
【００２９】
なお、画像から情報を抽出する処理は、光の特性を考慮した処理であり、それを被写体の特性情報として推定する処理は、オブジェクト（被写体）ベースの処理である。
【００３０】
したがって、本技術においては、画像から抽出される情報を、被写体の特性情報として利用して、画像における被写体（の表面）の質感を制御する。また、その制御の際、実世界から計測されて取得される物理的情報を利用することも可能である。
【００３１】
さらに、画像における被写体の質感は、これらの物理的情報だけでなく、実際には、見ている環境の情報（視環境の照明情報）と人間がどう感じているかという情報（知覚:hyperacuity）にも関連してくる。したがって、本技術においては、これらの物理的情報を利用するだけでなく、見ている環境の情報（視環境の照明情報）と人間がどう感じているかという情報を利用した形で、画像における被写体の質感を制御し、再度画像を作り直す。
【００３２】
このように、本技術においては、画像における被写体の質感が制御される。ここで、本明細書において、質感とは、材料のもつ性質（物理的要因）に対して生じる人間の心理的感覚（心理的要因）のことである。
【００３３】
すなわち、本明細書において、質感は、物理的要因である被写体の物理特性を表すパラメータと、心理的要因である被写体の認知感度を表すパラメータとを有するものであると定義される。
【００３４】
したがって、本明細書における質感制御とは、上述した物理的要因および心理的要因のパラメータを制御するということを意味する。なお、以下、質感制御の際に、物理的要因のパラメータである物理特性パラメータが制御されるとしか記載しないが、実際には、その際には、心理的要因のパラメータである被写体の認知感度を表すパラメータも制御されている。
【００３５】
［本技術の質感制御方法］
次に、図２を参照して、本技術の質感制御方法について説明する。
【００３６】
まず、実世界の被写体が撮影されて、被写体の画像が計測・推測ブロック１に入力される。計測・推測ブロック１において、被写体の物理特性を示す物理特性パラメータは、被写体の撮影時に実世界から計測されて取得される。あるいは、計測・推測ブロック１において、被写体の物理特性を示す物理特性パラメータは、入力された被写体の画像から推測されて、取得される。例えば、物理特性パラメータとして、上述した照明、被写体の構造や反射特性が取得される。
【００３７】
取得された被写体の物理特性パラメータは、実世界モデリングブロック２において、モデリングされる。モデリングされた被写体の物理特性パラメータは、質感制御ブロック３に入力される。
【００３８】
質感制御ブロック３においては、画像における被写体の質感が、モデリングされた被写体の物理特性パラメータや画像から得られる特徴量（テクスチャ）に応じて制御される。質感制御の一例としては、例えば、反射しやすいように、物理特性パラメータを変える。これにより、被写体の光学的特性が最適化される。また、例えば、テクスチャの足りない部分があれば、それを適切に復元する。すなわち、質感制御ブロック３においては、質感制御として、見た目の光沢感や透明感が上がるように、これらの物理特性パラメータが変更（制御）される。
【００３９】
レンダリング・レタッチブロック４においては、質感が制御された結果（変更されたパラメータ）に応じて、画像を再構成するために、画像が再合成（レンダリング）され、画質が微調整された結果の画像が出力される。
【００４０】
以上の処理により、本技術によれば、入力画像が実際の見た目と違うような場合に、例えば、画像における、照明光の最適化や光沢感の向上、透明感の再現がなされる。すなわち、被写体を実際に見たときの状況を映像で再現することができる。
【００４１】
＜第１の実施の形態＞
［画像処理装置の構成例］
図３は、本開示を適用した画像処理装置の一実施の形態の構成を表すブロック図である。
【００４２】
図３に示される画像処理装置１１は、上述したように、実世界の被写体が撮影されて入力された画像における被写体に関する物理特性パラメータが取得され、画像における被写体の質感を制御し、被写体の質感が制御された画像を出力する。
【００４３】
画像処理装置１１は、撮影環境情報取得部２１、撮影環境情報解析部２２、被写体特性解析部２３、特性情報統合部２４、視環境情報解析部２５、特性制御部２６、および画像合成部２７を含むように構成されている。
【００４４】
撮影環境情報取得部２１、撮影環境情報解析部２２、および被写体特性解析部２３は、図２の計測・推測ブロック１に対応している。特性情報統合部２４は、図２の実世界モデリングブロック２に対応している。特性制御部２６は、図２の質感制御ブロック３に対応している。画像合成部２７は、レンダリング・レタッチブロック４に対応している。
【００４５】
撮影環境情報取得部２１は、被写体の画像の撮影し、被写体の画像を入力し、入力した入力画像を、被写体特性解析部２３および画像合成部２７に供給する。また、撮影環境情報取得部２１は、被写体の画像の撮影時に、環境や被写体の撮影時情報を取得し、取得した撮影時情報を、撮影環境情報解析部２２に供給する。
【００４６】
撮影環境情報解析部２２は、撮影環境情報取得部２１からの撮影時に取得された撮影時情報を解析し、解析した撮影時情報を、特性情報統合部２４に供給する。
【００４７】
被写体特性解析部２３は、撮影環境情報取得部２１からの入力画像から、被写体の特性を推定して解析し、解析した画像推定情報を、特性情報統合部２４に供給する。被写体特性解析部２３においては、撮影時情報として撮影時に取得できなかった細かい（例えば、サンプリングレートの高い）部分の情報を、画像から推定することで取得することができる。
【００４８】
具体的には、例えば、被写体特性解析部２３は、供給された入力画像から、被写体の特性として、例えば、被写体の反射特性を推定して解析する。しかしながら、この反射特性推定において、２色性反射モデルを利用した場合、ハイライト領域（低彩度・高輝度部分）を検出することが困難であった。すなわち、色情報を使用している反射特性推定では、低彩度であるハイライト領域を検出しにくかった。
【００４９】
また、反射特性推定結果である鏡面反射成分においては、ハイライト領域部分の検出ができていないため、鏡面反射強調を行うと、まだらや境界が強調されてしまっていた。さらに、ハイライト領域を別処理で検出すると、鏡面反射成分との境界や過検出が起こってしまっていた。
【００５０】
反射特性推定やハイライト領域推定の検出精度が低かったり、ノイズや動きの影響による誤検出が起きたりすると、鏡面反射強調で過強調が起きてしまい、強調を全体的に弱めにする必要が生じてしまい、性能を十分に出すことが難しかった。
【００５１】
さらに、白が飛び（サチり）気味の領域に対しては、鏡面反射強調効果を出すことが難しかった。
【００５２】
そこで、被写体特性解析部２３は、反射特性の推定と並列で、反射特性推定結果である鏡面反射成分を用いて、ハイライト領域検出を行う。被写体特性解析部２３は、解析した被写体の反射特性推定結果である鏡面反射成分と、ハイライト領域検出結果とを、画像推定情報として、特性情報統合部２４に供給する。
【００５３】
特性情報統合部２４は、撮影環境情報解析部２２からの撮影時情報と、被写体特性解析部２３からの画像推定情報とを統合し、被写体に関する物理特性パラメータとして、特性制御部２６に供給する。
【００５４】
視環境情報解析部２５は、画像を視聴する際の環境である視環境の情報を取得し、解析する。視環境情報解析部２５は、解析した視環境情報を、視環境パラメータとして、特性制御部２６に供給する。
【００５５】
なお、被写体に関する物理特性パラメータは、被写体の奥行き・形状情報、撮影時の照明情報、被写体の材質情報、および被写体の反射特性情報を含むように構成されている。なお、撮影時の照明情報も、被写体の色などに影響し、被写体に関わる、あるいは被写体の背景に関わる情報であるといえるので、被写体に関する物理特性パラメータに含まれる。
【００５６】
視環境パラメータは、視環境光情報、視聴時間、および注目被写体（視線）情報を含むように構成されている。
【００５７】
特性制御部２６は、画像における被写体の質感（いまの場合、画質）を制御するため、制御パラメータとして、特性情報統合部２４からの被写体に関する物理特性パラメータと、視環境情報解析部２５からの視環境パラメータとを用いる。具体的には、例えば、特性制御部２６は、特性情報統合部２４からの物理特性パラメータに基づいて、画質を変えたり、反射特性を調整したり、形状を変えたりなど、質感を制御するための処理内容を決定する。なお、そのうち、反射特性調整の際には、特性制御部２６は、さらに、入出力差分によるリミット処理とシャドウ制御をするための処理内容を決定する。
【００５８】
特性制御部２６は、決定した処理内容の情報を、画像合成部２７に供給し、画像合成部２７に質感制御を行わせる。なお、質感制御は、画像合成部２７に行わせる場合には、質感を出すための画質制御とも言える。例えば、質感制御は、図示せぬ音声合成部などに行わせる場合には、質感を出すための音質制御とも言える。さらに、特性制御部２６は、視環境パラメータに応じて、画像合成部２７に質感制御を行わせ、質感制御を最適化する。
【００５９】
画像合成部２７は、特性制御部２６の制御のもと、撮影環境情報取得部２１からの入力画像を再合成（レンダリング）して、調整して、再合成結果を出力画像として出力する。
【００６０】
［被写体特性解析部と特性制御部の構成例］
図４は、被写体特性解析部２３と特性制御部２６の構成例を示すブロック図である。
【００６１】
被写体特性解析部２３は、反射特性推定部３１およびハイライト領域検出部３２を含むように構成されている。
【００６２】
特性制御部２６は、鏡面反射強調部４１、リミット処理部４２、およびシャドウ制御部４３を含むように構成されている。
【００６３】
撮影環境情報取得部２１からの入力画像は、反射特性推定部３１およびハイライト領域検出部３２の他に、リミット処理部４２およびシャドウ制御部４３にも入力される。
【００６４】
反射特性推定部３１は、供給された入力画像から、被写体の特性として、例えば、被写体の反射特性を推定して解析する。反射特性推定部３１は、反射特性推定結果である鏡面反射成分（鏡面反射成分が強いことを示す情報）を、画像推定情報として、特性情報統合部２４に供給するとともに、ハイライト領域検出部３２にも供給する。
【００６５】
ハイライト領域検出部３２は、反射特性推定部３１との処理と並行して、反射特性推定部３１からの反射特性推定結果である鏡面反射成分を用いて、ハイライト領域検出を行い、ハイライト領域検出結果を、画像推定情報として、特性情報統合部２４に供給する。
【００６６】
特性情報統合部２４は、画像推定情報のうち、反射特性推定部３１からの被写体の反射特性推定結果である鏡面反射成分と、ハイライト領域検出部３２からのハイライト領域検出結果とを統合する。特性情報統合部２４は、撮影環境情報解析部２２からの撮影時情報と、被写体特性解析部２３からの画像推定情報とを統合し、被写体に関する物理特性パラメータとして、特性制御部２６の鏡面反射強調部４１に供給する。
【００６７】
鏡面反射強調部４１は、特性情報統合部２４からの物理特性パラメータに基づいて、反射特性を調整する。具体的には、鏡面反射強調部４１は、特性情報統合部２４からの物理特性パラメータ（鏡面反射成分およびハイライト領域検出結果）に基づいて、鏡面反射成分とハイライト領域を強調するための処理内容を決定し、決定した処理内容を、リミット処理部４２に供給する。これにより、鏡面反射強調部４１は、画像合成部２７に、画像における鏡面反射成分とハイライト領域を強調させることができる。すなわち、鏡面反射強調部４１は、処理内容として、入力画像における鏡面反射成分とハイライト領域を強調している。
【００６８】
リミット処理部４２は、鏡面反射強調部４１からの処理内容を参照して、すなわち、鏡面反射強調部４１による処理結果である鏡面反射成分とハイライト領域が強調された画像に対して、入出力差分によるリミット処理を行う。この入出力差分によるリミット処理については、図８を参照して詳しく後述されるが、実際には、リミット処理部４２は、入力画像と、鏡面反射強調部４１による処理結果である鏡面反射成分とハイライト領域が強調された画像との差分によるリミット処理を行うための処理内容を決定し、決定した処理内容を、シャドウ制御部４３に供給する。これにより、リミット処理部４２は、画像合成部２７に、入出力差分によるリミット処理を行わせることができる。すなわち、リミット処理部４２は、処理内容として、鏡面反射強調部４１による処理結果である鏡面反射成分とハイライト領域が強調された画像に対して、入出力差分によるリミット処理を行っている。
【００６９】
シャドウ制御部４３は、リミット処理部４２からの処理内容を用いて、すなわち、リミット処理部４２によるリミット処理された画像に対して、シャドウ制御を行う。このシャドウ制御については、図１０を参照して詳しく後述されるが、実際には、シャドウ制御部４３は、入力画像とリミット処理部４２によるリミット処理された画像との差分を用いて、シャドウ制御を行うための処理内容を決定し、決定した処理内容を、画像合成部２７に出力する。これにより、シャドウ制御部４３は、画像合成部２７に、シャドウ制御を行わせることができる。すなわち、シャドウ制御部４３は、処理内容として、リミット処理部４２によるリミット処理された画像に対して、シャドウ制御を行っている。
【００７０】
なお、シャドウ制御部４３は、画作りのためのオプションであり、必ずしも構成されなくてもよい。
【００７１】
［ハイライト領域検出について］
図５および図６は、ハイライト領域検出部３２によるハイライト領域検出について具体的に説明するための図である。
【００７２】
ハイライト領域検出部３２は、鏡面反射成分が検出されない領域、高輝度の領域、低彩度の領域を、ハイライト領域として検出する。鏡面反射成分が検出されない領域、すなわち、低鏡面反射成分の領域は、反射特性推定部３１からの反射特性推定結果である鏡面反射成分を用いて検出される。
【００７３】
図５のＡは、低鏡面反射成分のゲインを強くさせる低鏡面反射成分用ゲインカーブである。図５のＡにおいて、横軸がspecular（鏡面反射成分）を表し、縦軸が低鏡面反射成分用ゲインを表す。図５のＢは、高輝度のゲインを強くさせる高輝度用ゲインカーブである。図５のＢにおいて、横軸が入力輝度を表し、縦軸が高輝度用ゲインを表す。図５のＣは、低彩度のゲインを強くさせる低彩度用ゲインカーブである。図５のＣにおいて、横軸がSat（入力彩度）を表し、縦軸が低彩度用ゲインを表す。
【００７４】
ハイライト領域検出部３２は、これらのゲインカーブによるそれぞれのゲインを合成（乗算）し、それをハイライト領域ゲインとして算出する。
【００７５】
しかしながら、低鏡面反射成分、高輝度、低彩度の条件だけでは、高輝度背景などの大面積の部分が強調されてしまう。
【００７６】
ここで、ハイライト領域は、小面積になる傾向があるので、ハイライト領域検出部３２は、さらに、ハイライト領域を小面積にするため、面積カウントを行い、大面積部分を除外する。
【００７７】
すなわち、図６に示されるように、入力画像６１に対して、高輝度、低彩度、低鏡面反射成分によるハイライト領域ゲイン６２が検出される。ここで、白がハイライト領域なので、白の背景（高輝度背景）が全てハイライト領域としてハイライト領域ゲイン６２が検出されてしまう。そこで、ハイライト領域検出部３２は、黒を大面積とし、白を小面積として、面積をカウントし、小面積限定ゲイン６３を検出する。これにより、小面積に限定されたハイライト強調ゲイン６４が検出される。
【００７８】
次に、図７のフローチャートを参照して、ハイライト領域検出部３２によるハイライト領域推定処理について説明する。
【００７９】
ステップＳ１１において、ハイライト領域検出部３２は、入力画像に対して、反射特性推定部３１からの反射特性推定結果である鏡面反射成分を用いて、低鏡面反射成分用ゲイン算出を行う。
【００８０】
ステップＳ１２において、ハイライト領域検出部３２は、入力画像に対して、高輝度用ゲイン算出を行う。ステップＳ１３において、ハイライト領域検出部３２は、入力画像に対して、低彩度用ゲイン算出を行う。ステップＳ１４において、ステップＳ１１乃至Ｓ１３により求められたゲインを合成して、ハイライト領域ゲインを算出する。
【００８１】
ステップＳ１５において、ハイライト領域検出部３２は、ハイライト領域ゲインにおいて、面積をカウントする。ステップＳ１６において、ハイライト領域検出部３２は、ハイライト領域ゲインに対して、小面積限定処理を行い、ハイライト強調ゲイン６４を検出する。これにより、ハイライト領域推定処理は終了される。
【００８２】
以上のようにハイライト領域を検出するようにしたので、反射特性推定で検出、強調できない低彩度、高輝度、小面積部分を検出、強調できる。また、鏡面反射成分を利用してハイライト領域検出を行うようにしたので、境界や、過検出が起こりにくい。
【００８３】
［入出力差分によるリミット処理について］
図８は、リミット処理部４２による入出力差分によるリミット処理について具体的に説明するための図である。
【００８４】
リミット処理部４２は、入力画像７１と、鏡面反射強調部４１からの出力画像７２の差分により、突き上がり過ぎている箇所を面積カウントする。すなわち、リミット処理部４２は、グラフ８１に示されるように、入力画像７１と出力画像７２の差分が、面積カウント用のリミット直線を超えている画素の面積をカウントし、面積カウント７３を検出する。グラフ８１において、横軸は入力輝度を表し、縦軸はリミット処理結果を表している。面積カウント７３は、入力値に対応する出力値が面積カウント用のリミット直線を超えた画素の面積がカウントされて検出される。面積カウント用のリミット直線は、パラメータとして指定して作成される。
【００８５】
次に、リミット処理部４２は、面積カウント７３を抑制ゲインとして、リミット処理を行う。すなわち、リミット処理部４２は、リミット処理として、面積に応じて、鏡面反射強調部４１による鏡面反射およびハイライト領域の強調のかかり方を制限（抑制）する処理を行っている。
【００８６】
グラフ８２において、横軸は面積カウントを表し、縦軸は面積カウントによる抑制ゲインを表している。グラフ８２に示されるように、面積カウントが大きい場合、リミット処理（抑制ゲイン）は強くされ、面積カウントが小さい場合、リミット処理は弱くされる。
【００８７】
これにより、小面積の突き上がりは許容し、大面積の過度な強調を抑制するという画作りが可能になる。
【００８８】
グラフ８３において、横軸は入力輝度を表し、縦軸は、リミット処理結果を表している。入力値をin、出力値をout、リミット値をlimitとし、グラフ８３に示される面積カウントによる抑制ゲインを、area_gainとすると、面積カウント結果による抑制処理は、次の式（１）で示される。
area_out = limit + (out - limit )×(1.0 - area_gain)  ・・・（１）
【００８９】
すなわち、面積カウントが大きい場合、area_gainを１とすると、area_out = limitとなり、面積の大きい領域は、大きく抑制される。一方、面積カウントが小さい場合、area_gainを０とすると、area_out = outとなり、面積の小さい領域は、抑制されず、そのままの値とされる。
【００９０】
なお、リミット処理用のリミット直線は、入力に合わせて算出され、入力値によりリミット値が変わるので、階調潰れや階調逆転が起こりにくい。また、面積カウント用のリミット直線を、リミット処理用に用いてもよい。
【００９１】
次に、図９のフローチャートを参照して、リミット処理部４２によるリミット処理について説明する。
【００９２】
ステップＳ３１において、リミット処理部４２は、入力画像７１と、鏡面反射強調部４１からの出力画像７２の差分を用いて、グラフ８１に示される面積カウント用のリミット直線算出を行う。ステップＳ３２において、リミット処理部４２は、入出力差分がリミット値を超えている面積をカウントする。
【００９３】
ステップＳ３３において、リミット処理部４２は、グラフ８２に示される抑制ゲインを算出する。ステップＳ３４において、リミット処理部４２は、グラフ８３に示されるリミット処理用のリミット直線を算出する。
【００９４】
ステップＳ３５において、リミット処理部４２は、抑制ゲインとリミット値によりリミット処理を行う。その後、リミット処理は終了される。
【００９５】
以上のように、入出力差分によるリミット処理により鏡面反射およびハイライト領域の強調のかかり方を制限するようにしたので、鏡面反射成分とハイライト領域成分の境界を目立たなくすることができるとともに、まだらや過強調、階調潰れを抑制することができる。
【００９６】
また、入力画像と強調結果（出力画像）の差分が大きい箇所の面積カウントを行い、大面積部分のみリミット処理をかけるようにしたので、小面積の突き上がりを許容し、大面積の過強調のみを抑制するという画作りを行うことが可能である。また、入力画像の値に応じてリミット値を変えることができるので、階調潰れや階調逆転が起こりづらい。さらに、面積カウントをすることにより局所でリミット処理を変えているので、全体的に強調を弱める必要がなく、最適な強調ができる。
【００９７】
［シャドウ制御について］
図１０は、シャドウ制御部４３によるシャドウ制御について具体的に説明するための図である。シャドウ制御部４３は、鏡面反射強調の周辺の輝度を引き込む（下げる）処理であるシャドウ制御を行うことにより、局所でのコントラストを向上させる。
【００９８】
具体的には、シャドウ制御部４３は、入力画像７１と、リミット処理部４２からのリミット処理結果の出力画像７５との差分（入出力差分）の大きいところの面積をカウントし、カウント結果である面積カウント７４を算出する。また、グラフ９１は、横軸が面積カウントを表しており、縦軸が面積カウントによる適用ゲイン（area_gain）を表している。
【００９９】
面積カウント７４において、白い部分が入出力差分の大きい箇所であり、すなわち、鏡面反射強調の強い箇所である。したがって、グラフ９１に示されるように、この部分の適用ゲインを強く設定することで、鏡面反射強調の周辺にシャドウ制御をかけることが可能になる。一方、面積カウント７４において、黒い部分が、入出力差分の小さい箇所であり、鏡面反射強調が弱く、グラフ９１に示されるように、シャドウ制御の弱い（かかりにくい）箇所である。
【０１００】
グラフ９２において、横軸は、入出力差分によるリミット処理結果（in）を表し、縦軸は、シャドウ制御結果(out)を表している。
【０１０１】
シャドウ制御部４３は、入力とシャドウ制御用引き込み直線の差分diffにより設定される引き込み開始ポイントから上の領域を鏡面反射およびハイライト強調させる。一方、引き込み開始ポイントから低いところを、差分diffにより引き込みするようにしている。この処理は、式（２）で表わすことができる。
【０１０２】
out = in - (diff ×  area_gain)                ・・・（２）
※area_gainは、グラフ９１の適用ゲインである。
【０１０３】
すなわち、area_gain=1.0のときは、シャドウ制御が強くかかり、area_gain=0.0のときは、シャドウ制御がほぼかからない。これにより、輝度を持ち上げるところは持ち上げ、下げるところは下げるようにすることができる。
【０１０４】
さらに、グラフ９３に示されるように、引き込み処理と同時に、シャドウ制御用のリミット処理を行うことも可能である。グラフ９３において、横軸は、図８を参照して上述した入出力差分によるリミット処理結果（in）を表し、縦軸は、シャドウ制御結果(out)を表している。
【０１０５】
すなわち、シャドウ制御部４３は、引き込み開始ポイントより高い輝度は、鏡面反射およびハイライト領域強調を行い、低い輝度をシャドウ領域の対象とする。一方、黒の引き込みすぎ対策としては、グラフ９３に示されるように、低輝度まで引き込むと黒くつぶれるので、シャドウ制御用のリミット直線を算出し、算出したシャドウ制御用のリミット直線によるリミット処理により、シャドウ制御の対象が中間階調とされる。これにより、低輝度までの引き込みにより黒くつぶれることが抑制される。
【０１０６】
次に、図１１のフローチャートを参照して、シャドウ処理部４３によるシャドウ制御について説明する。
【０１０７】
ステップＳ５１において、シャドウ処理部４３は、入出力差分の大きい箇所、すなわち、鏡面反射強調領域をカウントする。ステップＳ５２において、シャドウ処理部４３は、グラフ９１に示されるような、適用ゲイン算出を行う。
【０１０８】
ステップＳ５３において、シャドウ処理部４３は、グラフ９２に示されるように、ステップＳ５２で算出された適用ゲインを用いて、引き込み処理を行う。
【０１０９】
ステップＳ５４において、シャドウ処理部４３は、グラフ９３に示される、シャドウ制御用のリミット直線の算出を行う。ステップＳ５５において、シャドウ処理部４３は、ステップＳ５４により算出されたシャドウ制御用のリミット直線を用いて、リミット処理を行い、その後、シャドウ制御を終了する。
【０１１０】
以上のように、鏡面反射強調の周辺の輝度を引き込む処理であるシャドウ制御を行うようにしたので、鏡面反射強調のみの処理に比べて、オブジェクト内のダイナミックレンジが上がるため、光沢感・透明感が向上する。白がサチり気味の領域の周囲領域に対して処理が行われるため、鏡面反射強調効果がない領域でも光沢感、透明感が向上する。
【０１１１】
以上のように、本技術においては、鏡面反射成分を利用したハイライト領域検出を行って、鏡面反射成分との統合処理後、鏡面反射とハイライト強調を行うようにしたので、低彩度・高輝度部分を強調することができる。すなわち、ハイライト領域を再現することができる。また、ハイライト領域検出においては、鏡面反射成分が利用されるので、境目が起こりにくい。
【０１１２】
また、本技術においては、ハイライト領域検出に加え、入力画像と強調結果の差分によるリミット処理を行うようにしたので、まだらや階調つぶれを防ぐことができる。
【０１１３】
すなわち、入力データと強調結果の差分によるリミット処理は、差分が大きい箇所との面積カウントを行い、大面積部分のみリミット処理をかけることが可能である。そのため、小面積の突きあがりを許容し、大面積の過強調を抑制するという画作りが可能である。また、入力データの値により、リミット値を変えているので、階調潰れや階調逆転が起きにくい。
【０１１４】
さらに、鏡面反射強調の周囲の輝度を引き込むシャドウ制御を行うようにしたので、局所でのコントラストが向上される。シャドウ制御により、白がサチってしまっている領域の周囲領域に対しても処理が行われ、オブジェクト内のダイナミックレンジが上がるため、光沢感、透明感を向上させることができる。
【０１１５】
［効果の例］
図１２は、本技術による効果の一例を示す図である。リンゴの表面の光沢が映える入力画像１０１に対して、反射特性推定部３１が行った反射特性推定結果である鏡面反射成分１０２は、リンゴの表面におけるハイライト領域が検出できていない。
【０１１６】
これに対して、本技術のハイライト領域検出結果１０３においては、鏡面反射成分で検出できていないハイライト領域が検出されている。これにより、実物がそこにあるような質感をより再現することができる。
【０１１７】
［画像処理の一例］
次に、図１３のフローチャートを参照して、図３の画像処理装置１１の画像処理について説明する。
【０１１８】
ステップＳ１０１において、撮影環境情報取得部２１は、被写体の画像の撮影し、被写体の画像を入力する。撮影環境情報取得部２１は、入力した入力画像を、被写体特性解析部２３、特性制御部２６、および画像合成部２７に供給する。
【０１１９】
ステップＳ１０２において、撮影環境情報取得部２１、撮影環境情報解析部２２、および被写体特性解析部２３は、計測・推定・統合処理を行う。この計測・推定・統合処理は、図１４を参照して後述される。ステップＳ１０２の処理により、計測された物理特性パラメータと、推定された物理特性パラメータ（被写体の反射特性、ハイライト領域検出結果、撮影環境光、被写体形状、および被写体の材質など）とが、特性制御部２６に供給される。
【０１２０】
ステップＳ１０３において、視環境情報解析部２５および特性制御部２６は、画像を視聴する際の環境である視環境情報に基づく処理を行う。この視環境情報に基づく処理は、図１５を参照して後述される。ステップＳ１０３の処理により、視環境情報に基づく質感制御の処理内容が決定される。
【０１２１】
ステップＳ１０４において、特性制御部２６（の鏡面反射強調部４１）は、被写体の材質に基づく反射特性調整処理を行う。この反射特性調整処理は、図１６を参照して後述される。なお、このとき、特性情報統合部２４により統合された物理特性パラメータ（材質および反射特性、ハイライト領域検出結果）が参照される。ステップＳ１０４の処理により、反射特性に基づく質感制御の処理内容が決定され、鏡面反射強調部４１により鏡面反射およびハイライトが強調され、強調結果が、リミット処理部４２に供給される。なお、反射特性調整処理も、ステップＳ１０８において画像合成部２７によりまとめて行われてもよいが、本説明のように、後段のリミット処理およびシャドウ制御のために実際に行われてもよい。画像合成部２７によりまとめて行われる場合は、処理内容がリミット処理部４２に供給される。
【０１２２】
ステップＳ１０５において、リミット処理部４２は、鏡面反射強調部４１からの鏡面反射およびハイライトの強調結果（まとめて行う場合は、処理内容）を参照して、入出力差分によるリミット処理を行う。このリミット処理は、図９を参照して上述したリミット処理と基本的に同様の処理を行うので、その説明は繰り返しになるため、省略される。ステップＳ１０５の処理により、リミット処理のための処理内容を決定され、リミット処理が行われ、リミット処理結果が、シャドウ制御部４３に供給される。なお、リミット処理も、ステップＳ１０８において画像合成部２７によりまとめて行われてもよいが、本説明のように、後段のシャドウ制御のために実際に行われてもよい。画像合成部２７によりまとめて行われる場合は、処理内容がシャドウ制御部４３に供給される。
【０１２３】
ステップＳ１０６において、シャドウ制御部４３は、リミット処理部４２からの処理結果（まとめて行う場合は処理内容）を用いて、シャドウ制御を行う。このリミット処理は、図１１を参照して上述したシャドウ制御と基本的に同様の処理を行うので、その説明は繰り返しになるため、省略される。ステップＳ１０６の処理により、シャドウ制御のための処理内容を決定され、シャドウ制御処理が行われ、シャドウ制御結果が、画像合成部２７に供給される。なお、シャドウ処理も、ステップＳ１０８において画像合成部２７によりまとめて行われてもよいが、本説明のように実際に行われてもよい。画像合成部２７によりまとめて行われる場合は、処理内容が画像合成部２７に供給される。
【０１２４】
ステップＳ１０７において、視環境情報解析部２５および特性制御部２６は、視線情報に基づく処理を行う。この視線情報に基づく処理は、図１７を参照して後述される。ステップＳ１０７の処理により、視線情報に基づく質感制御の処理内容が決定される。
【０１２５】
ステップＳ１０８において、画像合成部２７は、決定された質感制御の処理内容に基づいて、入力画像を再合成する。すなわち、図１３の例の場合、視環境光のコントラスト調整、画像の材質に基づく反射特性（ハイライト領域検出結果含む）の調整、視線情報に基づく調整、リミット処理、シャドウ制御により、被写体の画像の質感が制御される。
【０１２６】
次に、図１４のフローチャートを参照して、図１３のステップＳ１０２の計測・推定・統合処理について説明する。
【０１２７】
ステップＳ１３１において、撮影環境情報取得部２１は、撮影環境光を計測し、計測した撮影環境光を、撮影環境情報解析部２２に供給する。撮影環境情報解析部２２は、撮影環境情報取得部２１からの撮影環境光を解析し、解析した結果、撮影環境光の情報を、特性情報統合部２４に供給する。
【０１２８】
ステップＳ１３２において、撮影環境情報取得部２１は、被写体の反射特性を計測し、計測した被写体の反射特性と材質を、撮影環境情報解析部２２に供給する。撮影環境情報解析部２２は、撮影環境情報取得部２１からの被写体の反射特性と材質を解析し、解析した被写体の反射特性と材質を、特性情報統合部２４に供給する。
【０１２９】
ステップＳ１３３において、撮影環境情報取得部２１は、被写体形状を計測し、計測した被写体形状を、撮影環境情報解析部２２に供給する。撮影環境情報解析部２２は、撮影環境情報取得部２１からの被写体形状を解析し、解析した被写体形状を、特性情報統合部２４に供給する。
【０１３０】
ステップＳ１３４において、被写体特性解析部２３は、供給された入力画像から撮影環境光を推定して解析し、解析した結果、撮影環境光の情報を取得する。被写体特性解析部２３は、撮影環境光の情報を、特性情報統合部２４に供給する。
【０１３１】
ステップＳ１３５において、特性情報統合部２４は、計測された撮影環境光の情報と推定された撮影環境光の情報とを統合する。特性情報統合部２４は、統合された撮影環境光の情報を、物理特性パラメータとして、特性制御部２６に供給する。
【０１３２】
ステップＳ１３６において、特性制御部２６は、画像合成部２７に、撮影環境光の情報から得られる照明色により画像のホワイトバランスを調整させる。なお、この調整処理は、上述した図１３のステップＳ１０４における反射特性調整処理などのタイミングで行われてもよいが、ホワイトバランス調整の後に、他の調整を行う方が好ましいので、このような処理順となっている。
【０１３３】
ステップＳ１３７において、被写体特性解析部２３は、被写体の反射特性・材質を推定して、解析し、解析した反射特性・材質の情報を、特性情報統合部２４に供給する。そのうち、反射特性推定部３１は、供給された入力画像から、被写体の特性として、例えば、被写体の反射特性を推定して解析する。反射特性推定部３１は、反射特性推定結果である鏡面反射成分を、画像推定情報として、特性情報統合部２４に供給するとともに、ハイライト領域検出部３２にも供給する。
【０１３４】
ステップＳ１３８において、ハイライト領域検出部３２は、反射特性推定部３１との処理と並行して、反射特性推定部３１からの反射特性推定結果である鏡面反射成分を用いて、ハイライト領域検出を行う。なお、この処理は、図７を参照して上述した処理と基本的に同様であり、その説明は繰り返しになるため、省略される。ステップＳ１３８の処理により、ハイライト領域検出結果は、画像推定情報として、特性情報統合部２４に供給される。
【０１３５】
ステップＳ１３９において、特性情報統合部２４は、反射特性推定部３１からの被写体の反射特性推定結果である鏡面反射成分と、ハイライト領域検出部３２からのハイライト領域検出結果とを統合する。
【０１３６】
ステップＳ１４０において、特性情報統合部２４は、計測された被写体の反射特性の情報と推定された被写体の反射特性の情報とを統合する。特性情報統合部２４は、統合された被写体の反射特性の情報を、物理特性パラメータとして、特性制御部２６に供給する。
【０１３７】
ステップＳ１４１において、特性情報統合部２４は、計測された被写体の材質の情報と推定された被写体の材質の情報とを統合する。特性情報統合部２４は、統合された被写体の材質の情報を、物理特性パラメータとして、特性制御部２６に供給する。
【０１３８】
ステップＳ１４２において、被写体特性解析部２３は、被写体の形状を推定して、解析し、解析した被写体の形状の情報を、特性情報統合部２４に供給する。
【０１３９】
ステップＳ１４３において、特性情報統合部２４は、計測された被写体の形状の情報と推定された被写体の形状の情報とを統合する。特性情報統合部２４は、統合された被写体の形状の情報を、物理特性パラメータとして、特性制御部２６に供給する。
【０１４０】
次に、図１５のフローチャートを参照して、図１３のステップＳ１０３の視環境情報に基づく処理について説明する。
【０１４１】
ステップＳ１６１において、視環境情報解析部２５は、画像を視聴する際の環境である視環境の情報として、例えば、視環境光の情報を取得し、解析する。視環境情報解析部２５は、解析した視環境光の情報を、視環境パラメータとして、特性制御部２６に供給する。
【０１４２】
特性制御部２６には、被写体特性解析部２３から撮影時の画像の絶対輝度情報も推定され、供給されている。ステップＳ１６２において、特性制御部２６は、撮影時の対象画素の絶対輝度が所定の輝度値より高いか否かを判定する。ステップＳ１６２において、撮影時の対象画素の絶対輝度が高いと判定された場合、処理は、ステップＳ１６３に進む。
【０１４３】
ステップＳ１６３において、特性制御部２６は、視環境情報解析部２５からの視環境パラメータを参照し、視環境光が所定の値より明るいか否かを判定する。ステップＳ１６３において、視環境光が明るいと判定された場合、処理は、ステップＳ１６４に進む。この場合、暗く見える可能性があるので、ステップＳ１６４において、特性制御部２６は、画像合成部２７を制御し、質感制御として、コントラスト調整値を高めに設定させる。
【０１４４】
ステップＳ１６３において、視環境光が暗いと判定された場合、ステップＳ１６４はスキップされ、処理は、ステップＳ１６７に進む。
【０１４５】
ステップＳ１６２において、撮影時の対象画素の絶対輝度が低いと判定された場合、処理は、ステップＳ１６５に進む。ステップＳ１６５において、特性制御部２６は、視環境情報解析部２５からの視環境パラメータを参照し、視環境光が所定の値より明るいか否かを判定する。
【０１４６】
ステップＳ１６５において、視環境光が暗いと判定された場合、処理は、ステップＳ１６６に進む。ステップＳ１６６において、特性制御部２６は、画像合成部２７を制御し、質感制御として、コントラスト調整値を低めに設定させる。
【０１４７】
ステップＳ１６５において、視環境光が明るいと判定された場合、ステップＳ１６６はスキップされ、処理は、ステップＳ１６７に進む。
【０１４８】
ステップＳ１６７において、特性制御部２６は、全画素について反射特性の調整が終了したか否かを判定する。
【０１４９】
ステップＳ１６７において、全画素について処理が終了したと判定された場合、視環境情報に基づく処理は終了する。ステップＳ１６７において、全画素についてまだ処理が終了していないと判定された場合、ステップＳ１６２に戻り、それ以降の処理が繰り返される。
【０１５０】
以上のように、視環境によるコントラスト調整および画像の反射特性の調整が行われて、被写体の画像の質感が制御される。これにより、画像における、照明光の最適化や光沢感の向上、透明感の再現がなされる。
【０１５１】
次に、図１６のフローチャートを参照して、図１３のステップＳ１０４における材質に基づく反射特性調整処理について説明する。
【０１５２】
ステップＳ１８１において、特性制御部２６は、特性情報統合部２４からの被写体の反射特性の情報に基づいて、鏡面反射成分が大きいか否かを判定する。ステップＳ１８１において、鏡面反射成分が大きいと判定された場合、処理は、ステップＳ１８２に進む。
【０１５３】
ステップＳ１８２において、特性制御部２６は、質感制御として、鏡面反射成分を強調させるように決定する。ステップＳ１８１において、鏡面反射成分が小さいと判定された場合、処理は、ステップＳ１８３に進む。
【０１５４】
特性制御部２６は、ステップＳ１８３において、拡散反射成分が大きいか否かを判定する。ステップＳ１８３において、拡散反射成分が大きいと判定された場合、処理は、ステップＳ１８４に進む。ステップＳ１８４において、特性制御部２６は、質感制御として、拡散反射成分を低減させるように決定する。
【０１５５】
ステップＳ１８３において、拡散反射成分が小さいと判定された場合、処理は、ステップＳ１８５に進む。
【０１５６】
ステップＳ１８５において、特性制御部２６は、特性情報統合部２４により統合された被写体の材質の情報に基づいて、鏡面反射が強い材質であるか否かを判定する。ステップＳ１８５において、鏡面反射が強い材質であると判定された場合、処理は、ステップＳ１８６に進む。ステップＳ１８６において、特性制御部２６は、質感制御として、鏡面反射成分を強調させるように決定する。
【０１５７】
ステップＳ１８５において、鏡面反射が強い材質ではないと判定された場合、処理は、ステップＳ１８７に進む。ステップＳ１８７において、特性制御部２６は、質感制御として、鏡面反射成分を低減させるように決定する。
【０１５８】
ステップＳ１８８において、特性制御部２６は、全画素について反射特性の調整が終了したか否かを判定する。
【０１５９】
ステップＳ１８８において、全画素について反射特性の調整が終了したと判定された場合、反射特性調整処理は終了する。ステップＳ１８８において、全画素についてまだ反射特性の調整が終了していないと判定された場合、ステップＳ１８１に戻り、それ以降の処理が繰り返される。
【０１６０】
以上のように、被写体の材質に応じて、画像の反射特性の調整が行われて、被写体の画像の質感が制御される。これにより、画像における、照明光の最適化や光沢感の向上、透明感の再現がなされる。
【０１６１】
次に、図１７のフローチャートを参照して、図１３のステップＳ１０７の視線情報に基づく処理について説明する。
【０１６２】
ステップＳ２０１において、視環境情報解析部２５は、視環境の情報として、例えば、注目被写体情報、または視線情報を取得し、解析する。視環境情報解析部２５は、解析した視環境の情報を、視環境パラメータとして、特性制御部２６に供給する。
【０１６３】
ステップＳ２０２において、特性制御部２６は、対象画素が、注目被写体領域であるかまたは視線対象領域であるか否かを判定する。ステップＳ２０２において、注目被写体領域であるかまたは視線対象領域であると判定された場合、処理は、ステップＳ２０３に進む。
【０１６４】
ステップＳ２０３において、特性制御部２６は、画像合成部２７を制御し、質感制御として、これまでの処理（すなわち、視環境情報、反射特性、視線情報に基づく処理）の画質調整値を弱めに再設定させる。
【０１６５】
ステップＳ２０２において、対象画素が、注目被写体領域でも視線対象領域でもないと判定された場合、ステップＳ２０３はスキップされ、処理は、ステップＳ２０４に進む。
【０１６６】
ステップＳ２０４において、特性制御部２６は、全画素について処理が終了したか否かを判定する。
【０１６７】
ステップＳ２０４において、全画素について処理が終了したと判定された場合、視線情報に基づく処理は終了する。ステップＳ２０４において、全画素についてまだ処理が終了していないと判定された場合、ステップＳ２０２に戻り、それ以降の処理が繰り返される。
【０１６８】
以上により、本技術においては、被写体に関する物理特性パラメータ（形状、反射特性、照明など）を計測、測定し、それらの特性を制御することで、映像品質を向上させることができる。
【０１６９】
その反射特性推定の際、ハイライト領域を検出するようにしたので、反射特性推定で検出、強調できない低彩度、高輝度、小面積部分を検出、強調できる。また、その際、鏡面反射成分を利用してハイライト領域検出を行うようにしたので、境界や、過検出が起こりにくい。
【０１７０】
また、特性制御の際に、入出力差分によるリミット処理を行うようにしたので、鏡面反射成分とハイライト領域成分の境界を目立たなくすることができるとともに、まだらや過強調、階調潰れを抑制することができる。
【０１７１】
その際、入力画像と強調結果の差分が大きい箇所の面積カウントを行い、大面積部分のみリミット処理をかけるようにしたので、小面積の突き上がりを許容し、大面積の過強調のみを抑制するという画作りを行うことが可能である。また、入力画像の値に応じてリミット値を変えることができるので、階調潰れや階調逆転が起こりづらい。さらに、面積カウントをすることにより局所でリミット処理を変えているので、全体的に強調を弱める必要がなく、最適な強調ができる。
【０１７２】
さらに、シャドウ制御を行うようにしたので、鏡面反射強調のみの処理に比べて、オブジェクト内のダイナミックレンジが上がるため、光沢感・透明感が向上する。白がサチり気味の領域の周囲領域に対して処理が行われるため、鏡面反射強調効果がない領域でも光沢感、透明感が向上する。
【０１７３】
なお、本発明は、画像処理装置、テレビジョン装置、プロジェクタなどや、それらを含む映像システムなどに適用することが可能である。
【０１７４】
＜第２の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
【０１７５】
図１８は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータのハードウエアの構成例を示すブロック図である。
【０１７６】
パーソナルコンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０１７７】
バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。
【０１７８】
入力部５０６は、キーボード、マウス、マイクロホンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
【０１７９】
以上のように構成されるパーソナルコンピュータ５００では、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行する。これにより、上述した一連の処理が行われる。
【０１８０】
コンピュータ（CPU５０１）が実行するプログラムは、リムーバブルメディア５１１に記録して提供することができる。リムーバブルメディア５１１は、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディア等である。また、あるいは、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１８１】
コンピュータにおいて、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。
【０１８２】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要な段階で処理が行われるプログラムであっても良い。
【０１８３】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１８４】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【０１８５】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１８６】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１８７】
なお、本技術は以下のような構成も取ることができる。
（１）  画像の被写体の反射特性を推定する反射特性推定部と、
前記反射特性推定部により推定された反射特性推定結果を用いて、前記画像におけるハイライト領域を検出するハイライト領域検出部と、
前記反射特定推定結果と、前記ハイライト領域検出部により検出されたハイライト領域検出結果とに基づき、反射領域およびハイライト領域が強調された画像に対して、前記画像と前記反射領域およびハイライト領域が強調された画像との差分によるリミット処理を行うことで、前記画像における被写体の質感を制御する質感制御部と
を備える画像処理装置。
（２）  前記反射特性推定部による反射特性推定結果は、前記被写体の反射特性が、鏡面反射成分が強いことを示す情報である
前記（１）に記載の画像処理装置。
（３）  前記ハイライト領域検出部は、低鏡面反射成分の領域、高輝度領域、および低彩度領域を満たす領域を、ハイライト領域として検出を行う
前記（１）または（２）に記載の画像処理装置。
（４）  前記ハイライト領域検出部は、面積カウントを行って除外されなかった小面積の領域を、ハイライト領域として検出を行う
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）  前記質感制御部は、前記反射特定推定結果と、前記ハイライト領域検出部により検出されたハイライト領域検出結果とに基づいて、反射領域およびハイライト領域を強調する強調処理部と、
前記反射領域およびハイライト領域が強調された画像に対して、前記画像と前記反射領域およびハイライト領域が強調された画像との差分によるリミット処理を行うリミット処理部と
を備える前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）  前記リミット処理部は、前記差分が所定のリミット直線を超えている画素を面積カウントした結果に基づき、小面積部分に対して抑制が弱く、大面積部分に対して抑制が強くなる抑制ゲインを算出し、算出した抑制ゲインを用いて、前記リミット処理を行う
前記（５）に記載の画像処理装置。
（７）  前記リミット処理部は、前記所定のリミット直線とは異なる他のリミット直線を用いて、前記リミット処理を行う
前記（６）に記載の画像処理装置。
（８）  前記他のリミット直線は、入力値によりリミット値が変更される
前記（７）に記載の画像処理装置。
（９）  前記リミット処理部は、前記所定のリミット直線を用いて、前記リミット処理を行う
前記（６）に記載の画像処理装置。
（１０）  前記画像において強調された反射領域およびハイライト領域の周辺の輝度を下げるシャドウ制御を行うシャドウ制御部を
さらに備える前記（５）乃至（９）のいずれかに記載の画像処理装置。
（１１）  前記シャドウ制御部は、前記画像と前記リミット処理が行われた画像との差分の大きい部分の周辺の輝度を下げることで、前記画像において強調された反射領域およびハイライト領域の周辺の輝度を下げるシャドウ制御を行う
前記（１０）に記載の画像処理装置。
（１２）  前記シャドウ制御部は、前記差分の大きい部分に対して強くする適用ゲインを算出し、算出した適用ゲインを用いて、シャドウ制御を行う
前記（１１）に記載の画像処理装置。
（１３）  前記シャドウ制御部は、ユーザにより設定される引き込み開始ポイントより低い輝度に対してシャドウ制御を行う
前記（１２）に記載の画像処理装置。
（１４）  前記シャドウ制御部は、シャドウ制御用のリミット直線より大きい輝度に対してシャドウ制御を行う
前記（１３）に記載の画像処理装置。
（１５）  画像処理装置が、
画像の被写体の反射特性を推定し、
推定された反射特性推定結果を用いて、前記画像におけるハイライト領域を検出し、
前記反射特定推定結果と、検出されたハイライト領域検出結果とに基づき、反射領域およびハイライト領域が強調された画像に対して、前記画像と前記反射領域およびハイライト領域が強調された画像との差分によるリミット処理を行うことで、前記画像における被写体の質感を制御する
画像処理方法。
【符号の説明】
【０１８８】
１  計測・推測ブロック，  ２  実世界モデリングブロック，  ３  質感制御ブロック，  ４  レンダリング・レタッチブロック，  １１  画像処理装置，２１  撮影環境情報取得部，  ２２  撮影環境情報解析部，  ２３  被写体特性解析部，  ２４  特性情報統合部，  ２５  視環境情報解析部，  ２６  特性制御部，  ２７  画像合成部，  ３１  反射特性推定部，  ３２  ハイライト領域検出部，  ４１  鏡面反射強調部，  ４２  リミット処理部，  ４３  シャドウ制御部，  ６１  入力画像，  ６２  ハイライト領域ゲイン，  ６３  小面積限定ゲイン，６４  ハイライト強調ゲイン，  ７１  入力画像，  ７２  出力画像，  ７３  面積カウント，  ８１乃至８３  グラフ，  ７４  面積カウント，  ９１乃至９３  グラフ，  １０１  入力画像，  １０２  鏡面反射成分，  １０３  ハイライト領域検出結果
【図１】
2016190062.tif 000003
【図２】
2016190062.tif 000004
【図３】
2016190062.tif 000005
【図４】
2016190062.tif 000006
【図５】
2016190062.tif 000007
【図６】
2016190062.tif 000008
【図７】
2016190062.tif 000009
【図８】
2016190062.tif 000010
【図９】
2016190062.tif 000011
【図１０】
2016190062.tif 000012
【図１１】
2016190062.tif 000013
【図１２】
2016190062.tif 000014
【図１３】
2016190062.tif 000015
【図１４】
2016190062.tif 000016
【図１５】
2016190062.tif 000017
【図１６】
2016190062.tif 000018
【図１７】
2016190062.tif 000019
【図１８】
2016190062.tif 000020
【国際調査報告】
2016190062.tif 000021
2016190062.tif 000022
2016190062.tif 000023
2016190062.tif 000024