(57)【要約】【課題】実物がそこにあるような質感を再現することができるようにする。【解決手段】特性情報統合部は、撮影環境情報解析部からの撮影時情報と、被写体特性解析部からの画像推定情報とを統合し、被写体に関する物理特性パラメータとして、特性制御部に供給する。特性制御部は、被写体特性解析部からの物理特性パラメータに基づいて、画質を変えたり、反射特性を調整したり、形状を変えたりなど、質感を制御するための処理内容を決定する。特性制御部は、決定した処理内容の情報を、画像合成部に供給し、画像合成部に質感制御を行わせる。本開示は、例えば、画像処理装置に適用することができる。【選択図】図３
2014222447.tif 000002
【特許請求の範囲】
【請求項１】
画像の被写体に関する物理特性パラメータを取得する物理特性パラメータ取得部と、
前記物理特性パラメータ取得部により取得された物理特性パラメータを用いて、前記画像における被写体の質感を制御する質感制御部と
を備える画像処理装置。
【請求項２】
前記物理特性パラメータは、前記被写体の反射特性を示す反射特性情報であり、
前記質感制御部は、前記反射特性情報を用いて、前記画像における被写体の反射特性の強弱を調整する
請求項１に記載の画像処理装置。
【請求項３】
前記反射特性情報は、前記被写体の反射特性が、鏡面反射成分が強いことを示す情報であり、
前記質感制御部は、前記反射特性情報を用いて、前記画像における被写体の鏡面反射成分を強調する
請求項２に記載の画像処理装置。
【請求項４】
前記反射特性情報は、前記画像における被写体の反射特性が、拡散反射成分が強いことを示す情報であり、
前記質感制御部は、前記反射特性情報を用いて、前記画像における被写体の拡散反射成分を弱めて、前記画像における被写体の鏡面反射成分を強調する
請求項２に記載の画像処理装置。
【請求項５】
前記物理特性パラメータは、前記被写体の材質を示す情報であり、
前記質感制御部は、前記被写体の材質の種類に応じて、前記画像における被写体の反射特性を調整する
請求項１に記載の画像処理装置。
【請求項６】
前記物理特性パラメータは、前記被写体の形状を示す情報であり、
前記質感制御部は、前記被写体の形状に応じて、前記画像における被写体の陰影を強調する
請求項１に記載の画像処理装置。
【請求項７】
前記物理特性パラメータは、前記被写体の照明に関する情報であり、
前記質感制御部は、前記照明に応じて、前記画像における被写体のコントラストを調整する
請求項１に記載の画像処理装置。
【請求項８】
前記物理特性パラメータは、前記被写体の画像を撮影する際に計測される特性情報である計測特性情報と、前記画像から推測される特性情報である推測特性情報とからなり、
前記計測特性情報と前記推測特性情報とを統合して、統合された物理特性パラメータを生成する情報統合部をさらに備え、
前記質感制御部は、前記情報統合部により統合された物理特性パラメータを用いて、前記画像における被写体の質感を制御する
請求項１に記載の画像処理装置。
【請求項９】
前記画像を視聴する環境の情報である視環境情報を取得する視環境情報取得部を
さらに備え、
前記質感制御部は、前記視環境情報取得部により取得された視環境情報を用いて、前記画像における被写体の質感を制御する
請求項１に記載の画像処理装置。
【請求項１０】
前記物理特性パラメータ取得部は、前記被写体の画像を撮影する際に計測される前記物理特性パラメータを取得する
請求項１に記載の画像処理装置。
【請求項１１】
前記物理特性パラメータ取得部は、前記画像から推測することにより前記物理特性パラメータを取得する
請求項１に記載の画像処理装置。
【請求項１２】
画像処理装置が、
画像の被写体に関する物理特性パラメータを取得し、
取得された物理特性パラメータを用いて、前記画像における被写体の質感を制御する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置および方法に関し、特に、実物がそこにあるような質感を再現することができるようにした画像処理装置および方法に関する。
【背景技術】
【０００２】
映像のリアリティを高めることを目的に、コントラストや繊細感などを調整する技術が開発されてきた。
【０００３】
なお、特許文献１においては、画像中の物体の色補正や所望の色再現を実現して高画質化を図るといった技術が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１０／０８７１６２号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、コントラストや繊細感などの基礎画質を高めるだけでは、性能に限界があった。そこで、例えば、被写体を実際に見たかのような状況を映像で再現するなどのように、実物がそこにあるような質感を再現することが求められている。
【０００６】
本開示は、このような状況に鑑みてなされたものであり、実物がそこにあるような質感を再現することができるものである。
【課題を解決するための手段】
【０００７】
本開示の一側面の画像処理装置は、画像の被写体に関する物理特性パラメータを取得する物理特性パラメータ取得部と、前記物理特性パラメータ取得部により取得された物理特性パラメータを用いて、前記画像における被写体の質感を制御する質感制御部とを備える。
【０００８】
前記物理特性パラメータは、前記被写体の反射特性を示す反射特性情報であり、前記質感制御部は、前記反射特性情報を用いて、前記画像における被写体の反射特性の強弱を調整することができる。
【０００９】
前記反射特性情報は、前記被写体の反射特性が、鏡面反射成分が強いことを示す情報であり、前記質感制御部は、前記反射特性情報を用いて、前記画像における被写体の鏡面反射成分を強調することができる。
【００１０】
前記物理特性パラメータは、前記被写体の材質を示す情報であり、前記質感制御部は、前記被写体の材質の種類に応じて、前記画像における被写体の反射特性を調整することができる。
【００１１】
前記物理特性パラメータは、前記被写体の形状を示す情報であり、前記質感制御部は、前記被写体の形状に応じて、前記画像における被写体の陰影を強調することができる。
【００１２】
前記物理特性パラメータは、前記被写体の照明に関する情報であり、前記質感制御部は、前記照明に応じて、前記画像における被写体のコントラストを調整することができる。
【００１３】
前記物理特性パラメータは、前記被写体の画像を撮影する際に計測される特性情報である計測特性情報と、前記画像から推測される特性情報である推測特性情報とからなり、前記計測特性情報と前記推測特性情報とを統合して、統合された物理特性パラメータを生成する情報統合部をさらに備え、前記質感制御部は、前記情報統合部により統合された物理特性パラメータを用いて、前記画像における被写体の質感を制御することができる。
【００１４】
前記画像を視聴する環境の情報である視環境情報を取得する視環境情報取得部をさらに備え、前記質感制御部は、前記視環境情報取得部により取得された視環境情報を用いて、前記画像における被写体の質感を制御することができる。
【００１５】
前記物理特性パラメータ取得部は、前記被写体の画像を撮影する際に計測される前記物理特性パラメータを取得することができる。
【００１６】
前記物理特性パラメータ取得部は、前記画像から推測することにより前記物理特性パラメータを取得することができる。
【００１７】
本開示の一側面の画像処理方法は、画像処理装置が、画像の被写体に関する物理特性パラメータを取得し、取得された物理特性パラメータを用いて、前記画像における被写体の質感を制御する。
【００１８】
本開示の一側面においては、画像の被写体に関する物理特性パラメータが取得され、取得された物理特性パラメータを用いて、前記画像における被写体の質感が制御される。
【発明の効果】
【００１９】
本開示の一側面によれば、画像を処理することができる。特に、実物がそこにあるような質感を再現することができる。
【図面の簡単な説明】
【００２０】
【図１】本技術のコンセプトを説明する図である。
【図２】本技術の質感制御方法について説明する図である。
【図３】画像処理装置の主な構成例を示すブロック図である。
【図４】制御パラメータとそれにより決定される質感制御の処理内容を示す図である。
【図５】画像処理装置の第１の実施の形態の構成例を示すブロック図である。
【図６】図５の画像処理装置の画像処理を説明するフローチャートである。
【図７】推定処理を説明するフローチャートである。
【図８】反射特性調整処理を説明するフローチャートである。
【図９】画像処理装置の第２の実施の形態の構成例を示すブロック図である。
【図１０】輝度と主観的な明るさの関係を示す図である。
【図１１】図９の画像処理装置の画像処理を説明するフローチャートである。
【図１２】視環境情報に基づく処理を説明するフローチャートである。
【図１３】画像処理装置の第３の実施の形態の構成例を示すブロック図である。
【図１４】図１３の画像処理装置の画像処理を説明するフローチャートである。
【図１５】視線情報に基づく処理について説明するフローチャートである。
【図１６】画像処理装置の第４の実施の形態の構成例を示すブロック図である。
【図１７】図１６の画像処理装置の画像処理を説明するフローチャートである。
【図１８】計測・推定処理について説明するフローチャートである。
【図１９】画像処理装置の第５の実施の形態の構成例を示すブロック図である。
【図２０】統合方法の例を示す図である。
【図２１】図１９の画像処理装置の画像処理を説明するフローチャートである。
【図２２】計測・推定・統合処理について説明するフローチャートである。
【図２３】画像処理装置の第６の実施の形態の構成例を示すブロック図である。
【図２４】図２３の画像処理装置の画像処理を説明するフローチャートである。
【図２５】計測・推定・統合処理について説明するフローチャートである。
【図２６】材質に基づく反射特性調整処理について説明するフローチャートである。
【図２７】テクスチャ復元処理を説明するフローチャートである。
【図２８】周波数領域の特徴量の調整する方法の例を示す図である。
【図２９】ブロックマッチングによるテクスチャの復元例を示す図である。
【図３０】画像処理装置の第７の実施の形態の構成例を示すブロック図である。
【図３１】図３０の画像処理装置の画像処理を説明するフローチャートである。
【図３２】画像処理装置の第８の実施の形態の構成例を示すブロック図である。
【図３３】図３２の画像処理装置の画像処理を説明するフローチャートである。
【図３４】パーソナルコンピュータの主な構成例を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．本技術の概要
２．第１の実施の形態
３．第２の実施の形態
４．第３の実施の形態
５．第４の実施の形態
６．第５の実施の形態
７．第６の実施の形態
８．第７の実施の形態
９．第８の実施の形態
１０．第９の実施の形態
【００２２】
＜１．            本技術の概要＞
[本技術のコンセプト]
図１を参照して、本技術のコンセプトについて説明する。本技術は、画像における物体の質感を向上させるようにするものである。
【００２３】
実世界において、人間が目に感じるもの、すなわち、光がどういう形で目に入ってくるかという物理的情報(Material imformation)が根本的に必要な情報である。これらの物理的情報は、例えば、太陽光（照明: lighting）、物体の形状(geometry)、物体の反射成分(reflectance)などであり、これらの物理的情報があれば、理論的には、光を再現することができる。
【００２４】
これらの物理的情報は、カメラのセンサに入るので、画像（2DImage）から抽出される情報（画像統計量、拡散／鏡面反射成分、撮影時の照明情報）を基に、被写体の特性情報（被写体の領域情報や認識情報）として推定し、取得することができる。
【００２５】
なお、画像から情報を抽出する処理は、光の特性を考慮した処理であり、それを被写体の特性情報として推定する処理は、オブジェクト（被写体）ベースの処理である。
【００２６】
したがって、本技術においては、画像から抽出される情報を、被写体の特性情報として利用して、画像における被写体（の表面）の質感を制御する。また、その制御の際、実世界から計測されて取得される物理的情報を利用することも可能である。
【００２７】
さらに、画像における被写体の質感は、これらの物理的情報だけでなく、実際には、見ている環境の情報（視環境の照明情報）と人間がどう感じているかという情報（知覚:hyperacuity）にも関連してくる。したがって、本技術においては、これらの物理的情報を利用するだけでなく、見ている環境の情報（視環境の照明情報）と人間がどう感じているかという情報を利用した形で、画像における被写体の質感を制御し、再度画像を作り直す。
【００２８】
このように、本技術においては、画像における被写体の質感が制御される。ここで、本明細書において、質感とは、材料のもつ性質（物理的要因）に対して生じる人間の心理的感覚（心理的要因）のことである。
【００２９】
すなわち、本明細書において、質感は、物理的要因である被写体の物理特性を表すパラメータと、心理的要因である被写体の認知感度を表すパラメータとを有するものであると定義される。
【００３０】
したがって、本明細書における質感制御とは、上述した物理的要因および心理的要因のパラメータを制御するということを意味する。なお、以下、質感制御の際に、物理的要因のパラメータである物理特性パラメータが制御されるとしか記載しないが、実際には、その際には、心理的要因のパラメータである被写体の認知感度を表すパラメータも制御されている。
【００３１】
[本技術の質感制御方法]
次に、図２を参照して、本技術の質感制御方法について説明する。
【００３２】
まず、実世界の被写体が撮影されて、被写体の画像が計測・推測ブロック１に入力される。計測・推測ブロック１において、被写体の物理特性を示す物理特性パラメータは、被写体の撮影時に実世界から計測されて取得される。あるいは、計測・推測ブロック１において、被写体の物理特性を示す物理特性パラメータは、入力された被写体の画像から推測されて、取得される。例えば、物理特性パラメータとして、上述した照明、被写体の構造や反射特性が取得される。
【００３３】
取得された被写体の物理特性パラメータは、実世界モデリングブロック２において、モデリングされる。モデリングされた被写体の物理特性パラメータは、質感制御ブロック３に入力される。
【００３４】
質感制御ブロック３においては、画像における被写体の質感が、モデリングされた被写体の物理特性パラメータや画像から得られる特徴量（テクスチャ）に応じて制御される。質感制御の一例としては、例えば、反射しやすいように、物理特性パラメータを変える。これにより、被写体の光学的特性が最適化される。また、例えば、テクスチャの足りない部分があれば、それを適切に復元する。すなわち、質感制御ブロック３においては、質感制御として、見た目の光沢感や透明感が上がるように、これらの物理特性パラメータが変更（制御）される。
【００３５】
レンダリング・レタッチブロック４においては、質感が制御された結果（変更されたパラメータ）に応じて、画像を再構成するために、画像が再合成（レンダリング）され、画質が微調整された結果の画像が出力される。
【００３６】
以上の処理により、本技術によれば、入力画像が実際の見た目と違うような場合に、例えば、画像における、照明光の最適化や光沢感の向上、透明感の再現がなされる。すなわち、被写体を実際に見たときの状況を映像で再現することができる。
【００３７】
［画像処理装置の構成例］
図３は、本開示を適用した画像処理装置の一実施の形態の構成を表すブロック図である。
【００３８】
図３に示される画像処理装置１１は、上述したように、実世界の被写体が撮影されて入力された画像における被写体に関する物理特性パラメータが取得され、画像における被写体の質感を制御し、被写体の質感が制御された画像を出力する。
【００３９】
画像処理装置１１は、撮影環境情報取得部２１、撮影環境情報解析部２２、被写体特性解析部２３、特性情報統合部２４、視環境情報解析部２５、特性制御部２６、および画像合成部２７を含むように構成されている。
【００４０】
撮影環境情報取得部２１、撮影環境情報解析部２２、および被写体特性解析部２３は、図２の計測・推測ブロック１に対応している。特性情報統合部２４は、図２の実世界モデリングブロック２に対応している。特性制御部２６は、図２の質感制御ブロック３に対応している。画像合成部２７は、レンダリング・レタッチブロック４に対応している。
【００４１】
撮影環境情報取得部２１は、被写体の画像の撮影し、被写体の画像を入力し、入力した入力画像を、被写体特性解析部２３および画像合成部２７に供給する。また、撮影環境情報取得部２１は、被写体の画像の撮影時に、環境や被写体の撮影時情報を取得し、取得した撮影時情報を、撮影環境情報解析部２２に供給する。
【００４２】
撮影環境情報解析部２２は、撮影環境情報取得部２１からの撮影時に取得された撮影時情報を解析し、解析した撮影時情報を、特性情報統合部２４に供給する。
【００４３】
被写体特性解析部２３は、撮影環境情報取得部２１からの入力画像から、被写体の特性を推定して解析し、解析した画像推定情報を、特性情報統合部２４に供給する。被写体特性解析部２３においては、撮影時情報として撮影時に取得できなかった細かい（例えば、サンプリングレートの高い）部分の情報を、画像から推定することで取得することができる。
【００４４】
特性情報統合部２４は、撮影環境情報解析部２２からの撮影時情報と、被写体特性解析部２３からの画像推定情報とを統合し、被写体に関する物理特性パラメータとして、特性制御部２６に供給する。
【００４５】
視環境情報解析部２５は、画像を視聴する際の環境である視環境の情報を取得し、解析する。視環境情報解析部２５は、解析した視環境情報を、視環境パラメータとして、特性制御部２６に供給する。
【００４６】
特性制御部２６は、制御パラメータとして、特性情報統合部２４からの被写体に関する物理特性パラメータと、視環境情報解析部２５からの視環境パラメータとを用いる。具体的には、例えば、特性制御部２６は、特性情報統合部２４からの物理特性パラメータに基づいて、画質を変えたり、反射特性を調整したり、形状を変えたりなど、質感を制御するための処理内容を決定する。特性制御部２６は、決定した処理内容の情報を、画像合成部２７に供給し、画像合成部２７に質感制御を行わせる。さらに、特性制御部２６は、視環境パラメータに応じて、画像合成部２７に質感制御を行わせ、質感制御を最適化する。
【００４７】
画像合成部２７は、特性制御部２６の制御のもと、撮影環境情報取得部２１からの入力画像を再合成（レンダリング）して、調整して、再合成結果を出力画像として出力する。
【００４８】
［制御パラメータと処理内容］
図４は、特性制御部２６において参照される制御パラメータとそれにより決定される質感制御の処理内容の例を示す図である。
【００４９】
制御パラメータは、撮影環境情報解析部２２からの撮影時情報と被写体特性解析部２３からの画像推定情報とが統合された被写体に関する物理特性パラメータ、および視環境情報解析部２５からの視環境パラメータとで構成されている。
【００５０】
被写体に関する物理特性パラメータは、被写体の奥行き・形状情報、撮影時の照明情報、被写体の材質情報、および被写体の反射特性情報を含むように構成されている。なお、撮影時の照明情報も、被写体の色などに影響し、被写体に関わる、あるいは被写体の背景に関わる情報であるといえるので、被写体に関する物理特性パラメータに含まれる。
【００５１】
視環境パラメータは、視環境光情報、視聴時間、および注目被写体（視線）情報を含むように構成されている。
【００５２】
上から順に説明するに、奥行き・形状情報が凸凹な密な形状であることを示す場合、処理内容として、陰影（self shadow）強調を行うことが決定される。照明情報が照明色を示す場合、処理内容として、その照明色に応じたホワイトバランス調整を行うことが決定される。
【００５３】
照明情報が背景の絶対輝度が高いことを示し、視環境光情報が明るいことを示す場合、処理内容として、明度関数をもとにコントラスト調整を行うことが決定される。照明情報が背景の絶対輝度が低いことを示し、視環境光情報が明るいことを示す場合、処理内容として、明度関数をもとにコントラストを高くすることが決定される。
【００５４】
照明情報が背景の絶対輝度が高いことを示し、視環境光情報が暗いことを示す場合、処理内容として、明度関数をもとにコントラストを低くすることが決定される。照明情報が背景の絶対輝度が低いことを示し、視環境光情報、暗いことを示す場合、処理内容として、明度関数をもとにコントラストの調整を行うことが決定される。
【００５５】
奥行き・形状情報が疎な形状であることを示し、照明情報が照明方向を示す場合、処理内容として、陰影（cast shadow）強調を行うことが決定される。
【００５６】
反射特性情報が、鏡面反射成分が強いことを示す場合、処理内容として、鏡面反射成分を強調して合成することが決定される。反射特性情報が、拡散反射成分が強いことを示す場合、処理内容として、拡散反射成分を弱めて、鏡面反射成分を強調することが決定される。なお、反射特性情報から、物体の材質の情報を推定することは可能である。画像から、金属であるかとか、布であるのかなど、材質の情報を推定することも可能である。
【００５７】
したがって、材質情報が材質の種類を示す場合、処理内容として、材質の種類に応じて反射特性を制御することが決定される。または、材質情報が材質の種類を示す場合、処理内容として、材質の種類に応じてテクスチャを復元することが決定される。
【００５８】
材質情報が、金属であることを示す場合、処理内容として、鏡面反射成分を強調することが決定される。材質情報が、木材であることを示す場合、処理内容として、鏡面反射成分を低減することが決定される。
【００５９】
視環境が明るいことを示す場合、処理内容として、明度関数を基に明るく表示することが決定される。視環境が暗いことを示す場合、処理内容として、明度関数を基に暗く表示することが決定される。
【００６０】
注目被写体（視線）情報が注目被写体の対象領域であることを示す場合、処理内容として、上記の制御を適用することが決定される。注目被写体（視線）情報が注目被写体の非対象領域であることを示す場合、処理内容として、上記の制御を適用しないことが決定される。また、他の処理内容としては、注目被写体（視線）情報が、注目被写体の非対象領域であることを示す場合、フォーカスをぼかすことが決定される。例えば、ビジュアルアテンションなどの情報も利用可能である。
【００６１】
視聴時間が短いことを示す場合、処理内容として、通常の処理が行われることが決定される。視聴時間が長いことを示す場合、処理内容として、徐々に暗めに表示し、また、処理内容を弱めることが決定される。
【００６２】
なお、視環境情報としては、表示デバイスの特性情報も考慮することができる。
【００６３】
以下、上述した処理内容に対応する具体的な構成例や処理例について説明していく。
【００６４】
＜２．第１の実施の形態＞
［画像処理装置の構成例］
図５は、本開示を適用した画像処理装置の第１の実施の形態の構成を表している。図５の例においては、画像から反射特性を推定してそれを質感制御に用いて、光り具合を変更する画像処理装置の構成が示されている。
【００６５】
図５に示される画像処理装置５１は、被写体特性解析部２３および画像合成部２７を備える点が、図３の画像処理装置１１と共通している。
【００６６】
画像処理装置５１は、撮影環境情報取得部２１、撮影環境情報解析部２２、特性情報統合部２４、および視環境情報解析部２５が除かれた点が、図３の画像処理装置１１と異なっている。また、画像処理装置５１は、特性制御部２６が、特性制御部６１と入れ替わった点が、図３の画像処理装置１１と異なっている。
【００６７】
すなわち、図示せぬ前段のカメラからの入力画像は、被写体特性解析部２３および画像合成部２７に供給される。
【００６８】
被写体特性解析部２３は、供給された入力画像から、被写体の特性として、例えば、被写体の反射特性を推定して解析する。被写体特性解析部２３は、解析した被写体の反射特性を、物理特性パラメータとして、特性制御部６１に供給する。
【００６９】
特性制御部６１は、被写体特性解析部２３からの物理特性パラメータを、制御パラメータとし、制御パラメータに基づいて、質感を制御するための処理内容を決定する。具体的には、特性制御部６１は、制御パラメータとして、例えば、被写体の反射特性に基づいて、照り返しが多い場合の鏡面反射成分や、全体のバランスを考慮する。そして、特性制御部６１は、考慮の結果、照り返しのあまりない場合の拡散反射成分も調整する質感制御の処理内容を決定し、決定した質感制御を、画像合成部２７に行わせる。
【００７０】
［画像処理の例］
次に、図６のフローチャートを参照して、図５の画像処理装置５１の画像処理について説明する。
【００７１】
ステップＳ５１において、図示せぬ前段のカメラは、画像を撮影する。図示せぬ前段のカメラからの入力画像は、被写体特性解析部２３および画像合成部２７に供給される。
【００７２】
ステップＳ５２において、被写体特性解析部２３は、供給された入力画像から、被写体の特性を推定する推定処理を行う。この推定処理は、図７を参照して後述される。ステップＳ５２の処理により、推定された物理特性パラメータである被写体の反射特性が、特性制御部６１に供給される。
【００７３】
ステップＳ５３において、特性制御部６１は、被写体の反射特性調整処理を行う。この反射特性調整処理は、図８を参照して後述される。ステップＳ５３の処理により、反射特性に基づく質感制御の処理内容が決定される。
【００７４】
ステップＳ５４において、画像合成部２７は、決定された質感制御の処理内容に基づいて、入力画像を再合成する。すなわち、図６の例の場合、画像の反射特性の調整により、被写体の画像の質感が制御される。
【００７５】
この再合成処理は、逐次、画素毎に行われてもよいし、ピクチャが揃ってから画素毎に行われてもよい。なお、処理の単位については、以下においても同様である。
【００７６】
次に、図７のフローチャートを参照して、図６のステップＳ５２の推定処理について説明する。
【００７７】
ステップＳ７１において、被写体特性解析部２３は、供給された入力画像から撮影環境光を推定して解析し、解析した結果、撮影環境光の情報を取得する。被写体特性解析部２３は、撮影環境光の情報を、特性制御部６１に供給する。
【００７８】
ステップＳ７２において、特性制御部６１は、画像合成部２７に、撮影環境光の情報から得られる照明色により画像のホワイトバランスを調整させる。なお、この調整処理は、上述した図６のステップＳ５３における反射特性調整処理などのタイミングで行われてもよいが、ホワイトバランス調整の後に、他の調整を行う方が好ましいので、このような処理順となっている。
【００７９】
ステップＳ７３において、被写体特性解析部２３は、被写体の反射特性を推定して、解析し、解析した反射特性の情報を、特性制御部６１に供給する。
【００８０】
ステップＳ７４において、被写体特性解析部２３は、被写体の形状を推定して、解析し、解析した被写体の形状の情報を、特性制御部６１に供給する。
【００８１】
以上のようにして、入力画像から被写体の特性である撮影環境光や被写体の反射特性、形状などが推定される。
【００８２】
次に、図８のフローチャートを参照して、図６のステップＳ５３の反射特性調整処理について説明する。
【００８３】
ステップＳ９１において、特性制御部６１は、被写体特性解析部２３からの被写体の反射特性の情報に基づいて、鏡面反射成分が大きいか否かを判定する。ステップＳ９１において、鏡面反射成分が大きいと判定された場合、処理は、ステップＳ９２に進む。
【００８４】
ステップＳ９２において、特性制御部６１は、質感制御として、照り返しがあることを示す鏡面反射成分を強調させるように決定する。ステップＳ９１において、鏡面反射成分が小さいと判定された場合、処理は、ステップＳ９３に進む。
【００８５】
特性制御部６１は、ステップＳ９３において、拡散反射成分が大きいか否かを判定する。ステップＳ９３において、拡散反射成分が大きいと判定された場合、処理は、ステップＳ９４に進む。この場合、白っぽい物体である可能性があるので、ステップＳ９４において、特性制御部６１は、質感制御として、拡散反射成分を低減させるように決定する。
【００８６】
ステップＳ９３において、拡散反射成分が小さいと判定された場合、処理は、ステップＳ９５に進む。ステップＳ９５において、特性制御部６１は、全画素について反射特性の調整が終了したか否かを判定する。
【００８７】
ステップＳ９５において、全画素について反射特性の調整が終了したと判定された場合、反射特性調整処理は終了する。ステップＳ９５において、全画素についてまだ反射特性の調整が終了していないと判定された場合、ステップＳ９１に戻り、それ以降の処理が繰り返される。
【００８８】
なお、図８の例においては、鏡面反射だけ高めると画像のレンジを超えてしまう場合があるので、拡散反射も調整しながら、反射特性の調整が行われている。
【００８９】
以上のように、画像の反射特性の調整が行われて、被写体の画像の質感が制御される。これにより、画像における、照明光の最適化や光沢感の向上、透明感の再現がなされる。
【００９０】
＜３．第２の実施の形態＞
［画像処理装置の構成例］
図９は、本開示を適用した画像処理装置の第２の実施の形態の構成を表している。図９の例においては、画像から推定される反射特性に加え、視環境の情報を質感制御に用いて、光り具合を変更する画像処理装置の構成が示されている。
【００９１】
図９に示される画像処理装置１０１は、被写体特性解析部２３、視環境情報解析部２５、および画像合成部２７を備える点が、図３の画像処理装置１１と共通している。
【００９２】
画像処理装置１０１は、撮影環境情報取得部２１、撮影環境情報解析部２２、および特性情報統合部２４が除かれた点が、図３の画像処理装置１１と異なっている。また、画像処理装置１０１は、特性制御部２６が、特性制御部１１１と入れ替わった点が、図３の画像処理装置１１と異なっている。
【００９３】
すなわち、図示せぬ前段のカメラからの入力画像は、被写体特性解析部２３および画像合成部２７に供給される。
【００９４】
被写体特性解析部２３は、供給された入力画像から、被写体の特性として、例えば、被写体の反射特性を推定して解析する。また、例えば、被写体の特性として、撮影時の画像の絶対輝度情報も推定され解析される。被写体特性解析部２３は、解析した被写体の特性を、物理特性パラメータとして、特性制御部１１１に供給する。
【００９５】
視環境情報解析部２５は、画像を視聴する際の環境である視環境の情報として、例えば、視環境光の情報を取得し、解析する。視環境情報解析部２５は、解析した視環境光の情報を、視環境パラメータとして、特性制御部１１１に供給する。
【００９６】
特性制御部１１１は、被写体特性解析部２３からの物理特性パラメータに基づいて、質感を制御するための処理内容を決定する。具体的には、特性制御部１１１は、物理特性パラメータとして、例えば、被写体の反射特性に基づいて、鏡面反射成分や、全体のバランスを考慮して拡散反射成分も調整するという、質感制御の処理内容を決定し、決定した質感制御を、画像合成部２７に行わせる。
【００９７】
また、特性制御部１１１は、視環境情報解析部２５からの視環境パラメータに応じて、画像合成部２７に質感制御を行わせ、質感制御を最適化する。具体的には、特性制御部１１１は、視環境パラメータとして、例えば、視聴時の照明光（視環境光）に応じて、コントラストを調整するという、質感制御の処理内容を決定し、決定した質感制御を、画像合成部２７に行わせる。
【００９８】
図１０は、輝度と主観的な明るさの関係を示す図である。
【００９９】
図１０の例においては、横軸が視環境光の輝度（右にいくほど明るい）を示しており、縦軸が、人が感じる明るさや暗さを示している。
【０１００】
例えば、人が200cd/m2の視環境で、314cdm2の画像を見ると、暗いと明るいの中間あたりの明るさだと人は感じる。例えば、人が500cd/m2の視環境で、314cdm2の画像を見ると、200cd/m2の場合よりも明るく感じてしまう。
【０１０１】
このように、質感向上には、視聴時の照明光の影響を受けることがわかる。また、図１０より、質感向上には、黒の再現性が重要なこともわかる。以上のことから、画像処理装置１０１においては、この視環境の情報も、質感制御に用いられる。
【０１０２】
［画像処理の例］
次に、図１１のフローチャートを参照して、図９の画像処理装置１０１の画像処理について説明する。
【０１０３】
ステップＳ１１１において、図示せぬ前段のカメラは、画像を撮影する。図示せぬ前段のカメラからの入力画像は、被写体特性解析部２３および画像合成部２７に供給される。
【０１０４】
ステップＳ１１２において、被写体特性解析部２３は、供給された入力画像から、被写体の特性を推定する推定処理を行う。この推定処理は、図７を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。ステップＳ１１２の処理により、推定された物理特性パラメータである被写体の反射特性が、特性制御部１１１に供給される。なお、図７の例では推定されていないが、例えば、被写体の特性として、撮影時の画像の絶対輝度情報も推定され、特性制御部１１１に供給される。
【０１０５】
ステップＳ１１３において、視環境情報解析部２５および特性制御部１１１は、画像を視聴する際の環境である視環境情報に基づく処理を行う。この視環境情報に基づく処理は、図１２を参照して後述される。ステップＳ１１３の処理により、視環境情報に基づく質感制御の処理内容が決定される。
【０１０６】
また、ステップＳ１１４において、特性制御部１１１は、被写体の反射特性調整処理を行う。この反射特性調整処理は、図８を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。ステップＳ１１４の処理により、反射特性に基づく質感制御の処理内容が決定される。
【０１０７】
ステップＳ１１５において、画像合成部２７は、決定された質感制御の処理内容に基づいて、入力画像を再合成する。すなわち、図１１の例の場合、視環境光のコントラスト調整および画像の反射特性の調整により、被写体の画像の質感が制御される。
【０１０８】
次に、図１２のフローチャートを参照して、図１１のステップＳ１１３の視環境情報に基づく処理について説明する。
【０１０９】
ステップＳ１３１において、視環境情報解析部２５は、画像を視聴する際の環境である視環境の情報として、例えば、視環境光の情報を取得し、解析する。視環境情報解析部２５は、解析した視環境光の情報を、視環境パラメータとして、特性制御部１１１に供給する。
【０１１０】
特性制御部１１１には、被写体特性解析部２３から撮影時の画像の絶対輝度情報も推定され、特性制御部１１１に供給されている。ステップＳ１３２において、特性制御部１１１は、撮影時の対象画素の絶対輝度が所定の輝度値より高いか否かを判定する。ステップＳ１３２において、撮影時の対象画素の絶対輝度が高いと判定された場合、処理は、ステップＳ１３３に進む。
【０１１１】
ステップＳ１３３において、特性制御部１１１は、視環境情報解析部２５からの視環境パラメータを参照し、視環境光が所定の値より明るいか否かを判定する。ステップＳ１３３において、視環境光が明るいと判定された場合、処理は、ステップＳ１３４に進む。この場合、暗く見える可能性があるので、ステップＳ１３４において、特性制御部１１１は、画像合成部２７を制御し、質感制御として、コントラスト調整値を高めに設定させる。
【０１１２】
ステップＳ１３３において、視環境光が暗いと判定された場合、ステップＳ１３４はスキップされ、処理は、ステップＳ１３７に進む。
【０１１３】
ステップＳ１３２において、撮影時の対象画素の絶対輝度が低いと判定された場合、処理は、ステップＳ１３５に進む。ステップＳ１３５において、特性制御部１１１は、視環境情報解析部２５からの視環境パラメータを参照し、視環境光が所定の値より明るいか否かを判定する。
【０１１４】
ステップＳ１３５において、視環境光が暗いと判定された場合、処理は、ステップＳ１３６に進む。ステップＳ１３６において、特性制御部１１１は、画像合成部２７を制御し、質感制御として、コントラスト調整値を低めに設定させる。
【０１１５】
ステップＳ１３５において、視環境光が明るいと判定された場合、ステップＳ１３６はスキップされ、処理は、ステップＳ１３７に進む。
【０１１６】
ステップＳ１３７において、特性制御部１１１は、全画素について反射特性の調整が終了したか否かを判定する。
【０１１７】
ステップＳ１３７において、全画素について処理が終了したと判定された場合、視環境情報に基づく処理は終了する。ステップＳ１３７において、全画素についてまだ処理が終了していないと判定された場合、ステップＳ１３２に戻り、それ以降の処理が繰り返される。
【０１１８】
以上のように、視環境によるコントラスト調整および画像の反射特性の調整が行われて、被写体の画像の質感が制御される。これにより、画像における、照明光の最適化や光沢感の向上、透明感の再現がなされる。
【０１１９】
＜４．第３の実施の形態＞
［画像処理装置の構成例］
図１３は、本開示を適用した画像処理装置の第３の実施の形態の構成を表している。図１３の例においては、画像から推定される反射特性および視環境の情報に加え、視線情報を質感制御に用いる画像処理装置の構成が示されている。
【０１２０】
図１３に示される画像処理装置１５１は、被写体特性解析部２３、視環境情報解析部２５、および画像合成部２７を備える点が、図３の画像処理装置１１と共通している。
【０１２１】
画像処理装置１５１は、撮影環境情報取得部２１、撮影環境情報解析部２２、および特性情報統合部２４が除かれた点が、図３の画像処理装置１１と異なっている。また、画像処理装置１５１は、特性制御部２６が、特性制御部１６１と入れ替わった点が、図３の画像処理装置１１と異なっている。
【０１２２】
すなわち、図示せぬ前段のカメラからの入力画像は、被写体特性解析部２３および画像合成部２７に供給される。
【０１２３】
被写体特性解析部２３は、供給された入力画像から、被写体の特性として、例えば、被写体の反射特性を推定して解析する。また、例えば、被写体の特性として、撮影時の画像の絶対輝度情報も推定され解析される。被写体特性解析部２３は、解析した被写体の特性を、物理特性パラメータとして、特性制御部１６１に供給する。
【０１２４】
視環境情報解析部２５は、画像を視聴する際の環境である視環境の情報として、例えば、視環境光の情報を取得し、解析する。また、視環境情報解析部２５は、視環境の情報として、例えば、視覚特性(コントラスト感度関数 (Contrast Sensitivity Function; CSF))や注目被写体、または視線などの情報を取得し解析する。視環境情報解析部２５は、解析した視環境の情報を、視環境パラメータとして、特性制御部１６１に供給する。
【０１２５】
特性制御部１６１は、被写体特性解析部２３からの物理特性パラメータに基づいて、質感を制御するための処理内容を決定する。具体的には、特性制御部１６１は、物理特性パラメータとして、例えば、被写体の反射特性に基づいて、鏡面反射成分や、全体のバランスを考慮して拡散反射成分も調整するという、質感制御の処理内容を決定し、決定した質感制御を、画像合成部２７に行わせる。
【０１２６】
特性制御部１６１は、視環境情報解析部２５からの視環境パラメータに応じて、画像合成部２７に質感制御を行わせ、質感制御を最適化する。具体的には、特性制御部１６１は、視環境パラメータとして、例えば、視聴時の照明光（視環境光）に応じて、コントラストを調整するという、質感制御の処理内容を決定し、決定した質感制御を、画像合成部２７に行わせる。また、特性制御部１６１は、視環境パラメータとして、例えば、視線情報に応じて画質調整値を調整するという、質感制御の処理内容を決定し、決定した質感制御を、画像合成部２７に行わせる。
【０１２７】
［画像処理の例］
次に、図１４のフローチャートを参照して、図１３の画像処理装置１５１の画像処理について説明する。
【０１２８】
ステップＳ１５１において、図示せぬ前段のカメラは、画像を撮影する。図示せぬ前段のカメラからの入力画像は、被写体特性解析部２３および画像合成部２７に供給される。
【０１２９】
ステップＳ１５２において、被写体特性解析部２３は、供給された入力画像から、被写体の特性を推定する推定処理を行う。この推定処理は、図７を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。ステップＳ１５２の処理により、推定された物理特性パラメータである被写体の反射特性が、特性制御部１６１に供給される。なお、図７の例では推定されていないが、例えば、被写体の特性として、撮影時の画像の絶対輝度情報も推定され、特性制御部１６１に供給される。
【０１３０】
ステップＳ１５３において、視環境情報解析部２５および特性制御部１６１は、画像を視聴する際の環境である視環境情報に基づく処理を行う。この視環境情報に基づく処理は、図１２を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。ステップＳ１５３の処理により、視環境情報に基づく質感制御の処理内容が決定される。
【０１３１】
ステップＳ１５４において、特性制御部１６１は、被写体の反射特性調整処理を行う。この反射特性調整処理は、図８を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。ステップＳ１５４の処理により、反射特性に基づく質感制御の処理内容が決定される。
【０１３２】
さらに、ステップＳ１５５において、視環境情報解析部２５および特性制御部１６１は、視線情報に基づく処理を行う。この視線情報に基づく処理は、図１５を参照して後述される。ステップＳ１５５の処理により、視線情報に基づく質感制御の処理内容が決定される。
【０１３３】
ステップＳ１５６において、画像合成部２７は、決定された質感制御の処理内容に基づいて、入力画像を再合成する。すなわち、図１４の例の場合、視環境光のコントラスト調整、画像の反射特性の調整、および視線情報による調整値の再設定により、被写体の画像の質感が制御される。
【０１３４】
次に、図１５のフローチャートを参照して、図１４のステップＳ１５５の視線情報に基づく処理について説明する。
【０１３５】
ステップＳ１７１において、視環境情報解析部２５は、視環境の情報として、例えば、注目被写体情報、または視線情報を取得し、解析する。視環境情報解析部２５は、解析した視環境の情報を、視環境パラメータとして、特性制御部１６１に供給する。
【０１３６】
ステップＳ１７２において、特性制御部１６１は、対象画素が、注目被写体領域であるかまたは視線対象領域であるか否かを判定する。ステップＳ１７２において、注目被写体領域であるかまたは視線対象領域であると判定された場合、処理は、ステップＳ１７３に進む。
【０１３７】
ステップＳ１７３において、特性制御部１６１は、画像合成部２７を制御し、質感制御として、これまでの処理（すなわち、視環境情報、反射特性、視線情報に基づく処理）の画質調整値を弱めに再設定させる。
【０１３８】
ステップＳ１７２において、対象画素が、注目被写体領域でも視線対象領域でもないと判定された場合、ステップＳ１７３はスキップされ、処理は、ステップＳ１７４に進む。
【０１３９】
ステップＳ１７４において、特性制御部１６１は、全画素について処理が終了したか否かを判定する。
【０１４０】
ステップＳ１７４において、全画素について処理が終了したと判定された場合、視線情報に基づく処理は終了する。ステップＳ１７４において、全画素についてまだ処理が終了していないと判定された場合、ステップＳ１７２に戻り、それ以降の処理が繰り返される。
【０１４１】
以上のように、視環境によるコントラスト調整および画像の反射特性の調整が行われて、被写体の画像の質感が制御される。これにより、画像における、照明光の最適化や光沢感の向上、透明感の再現がなされる。
【０１４２】
＜５．第４の実施の形態＞
［画像処理装置の構成例］
図１６は、本開示を適用した画像処理装置の第４の実施の形態の構成を表している。図１６の例においては、画像から推定される物理特性パラメータだけでなく、撮影時に取得される物理特性パラメータも、質感制御に用いる画像処理装置の構成が示されている。
【０１４３】
図１６に示される画像処理装置２０１は、撮影環境情報取得部２１、撮影環境情報解析部２２、被写体特性解析部２３、視環境情報解析部２５、および画像合成部２７を備える点が、図３の画像処理装置１１と共通している。
【０１４４】
画像処理装置２０１は、特性情報統合部２４が除かれた点が、図３の画像処理装置１１と異なっている。また、画像処理装置２０１は、特性制御部２６が、特性制御部２１１と入れ替わった点が、図３の画像処理装置１１と異なっている。
【０１４５】
すなわち、撮影環境情報取得部２１は、被写体の画像の撮影し、被写体の画像を入力し、入力した入力画像を、被写体特性解析部２３および画像合成部２７に供給する。また、撮影環境情報取得部２１は、被写体の画像の撮影時に、環境や被写体の撮影時情報を取得し、取得した撮影時情報を、撮影環境情報解析部２２に供給する。
【０１４６】
撮影環境情報解析部２２は、撮影環境情報取得部２１からの撮影時に取得された撮影時情報を解析し、解析した撮影時情報を、物理特性パラメータとして、特性制御部２１１に供給する。
【０１４７】
被写体特性解析部２３は、供給された入力画像から、被写体の特性として、例えば、被写体の反射特性を推定して解析する。また、例えば、被写体の特性として、撮影時の画像の絶対輝度情報も推定され解析される。被写体特性解析部２３は、解析した被写体の特性を、物理特性パラメータとして、特性制御部２１１に供給する。
【０１４８】
視環境情報解析部２５は、画像を視聴する際の環境である視環境の情報として、例えば、視環境光の情報を取得し、解析する。
【０１４９】
特性制御部２１１は、被写体特性解析部２３からの物理特性パラメータに基づいて、質感を制御するための処理内容を決定する。その際、特性制御部２１１は、撮影環境情報解析部２２からの撮影時に取得された物理特性パラメータも参照して、処理内容を決定する。なお、撮影環境情報解析部２２および被写体特性解析部２３のうち、少なくとも一方の物理特性パラメータが参照されればよい。例えば、そのうちの信頼性の高いパラメータが用いられる。
【０１５０】
具体的には、特性制御部２１１は、物理特性パラメータとして、例えば、被写体の反射特性に基づいて、鏡面反射成分や、全体のバランスを考慮して拡散反射成分も調整するという、質感制御の処理内容を決定し、決定した質感制御を、画像合成部２７に行わせる。
【０１５１】
特性制御部２１１は、視環境情報解析部２５からの視環境パラメータに応じて、画像合成部２７に質感制御を行わせ、質感制御を最適化する。具体的には、特性制御部２１１は、視環境パラメータとして、例えば、視聴時の照明光（視環境光）に応じて、コントラストを調整するという、質感制御の処理内容を決定し、決定した質感制御を、画像合成部２７に行わせる。
【０１５２】
［画像処理の例］
次に、図１７のフローチャートを参照して、図１６の画像処理装置２０１の画像処理について説明する。
【０１５３】
ステップＳ２０１において、撮影環境情報取得部２１は、被写体の画像の撮影し、被写体の画像を入力する。撮影環境情報取得部２１は、入力した入力画像を、被写体特性解析部２３および画像合成部２７に供給する。
【０１５４】
ステップＳ２０２において、撮影環境情報取得部２１、撮影環境情報解析部２２、および被写体特性解析部２３は、計測・推定処理を行う。この計測・推定処理は、図１８を参照して後述される。ステップＳ２０２の処理により、計測された物理特性パラメータと、推定された物理特性パラメータ（被写体の反射特性、撮影環境光、および被写体形状など）とが、特性制御部２１１に供給される。
【０１５５】
ステップＳ２０３において、視環境情報解析部２５および特性制御部２１１は、画像を視聴する際の環境である視環境情報に基づく処理を行う。この視環境情報に基づく処理は、図１２を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。ステップＳ２０３の処理により、視環境情報に基づく質感制御の処理内容が決定される。
【０１５６】
ステップＳ２０４において、特性制御部２１１は、被写体の反射特性調整処理を行う。この反射特性調整処理は、図８を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。なお、このとき、参照される反射特性は、計測されたものと推定されたものの少なくともどちらか一方である。ステップＳ２０４の処理により、反射特性に基づく質感制御の処理内容が決定される。
【０１５７】
ステップＳ２０５において、画像合成部２７は、決定された質感制御の処理内容に基づいて、入力画像を再合成する。すなわち、図１７の例の場合、計測または測定された視環境光のコントラスト調整、および画像の反射特性の調整により、被写体の画像の質感が制御される。
【０１５８】
次に、図１８のフローチャートを参照して、図１７のステップＳ２０２の計測・推定処理について説明する。
【０１５９】
ステップＳ２２１において、撮影環境情報取得部２１は、撮影環境光を計測し、計測した撮影環境光を、撮影環境情報解析部２２に供給する。撮影環境情報解析部２２は、撮影環境情報取得部２１からの撮影環境光を解析し、解析した結果、撮影環境光の情報を、物理特性パラメータとして、特性制御部２１１に供給する。
【０１６０】
ステップＳ２２２において、撮影環境情報取得部２１は、被写体の反射特性を計測し、計測した被写体の反射特性を、撮影環境情報解析部２２に供給する。撮影環境情報解析部２２は、撮影環境情報取得部２１からの被写体の反射特性を解析し、解析した被写体の反射特性を、物理特性パラメータとして、特性制御部２１１に供給する。
【０１６１】
ステップＳ２２３において、撮影環境情報取得部２１は、被写体形状を計測し、計測した被写体形状を、撮影環境情報解析部２２に供給する。撮影環境情報解析部２２は、撮影環境情報取得部２１からの被写体形状を解析し、解析した被写体形状を、物理特性パラメータとして、特性制御部２１１に供給する。
【０１６２】
ステップＳ２２４において、被写体特性解析部２３は、供給された入力画像から撮影環境光を推定して解析し、解析した結果、撮影環境光の情報を取得する。被写体特性解析部２３は、照明光の情報を、特性制御部２１１に供給する。
【０１６３】
ステップＳ２２５において、特性制御部２１１は、画像合成部２７に、撮影環境光の情報から得られる照明色により画像のホワイトバランスを調整させる。なお、この調整処理は、上述した図１７のステップＳ２０４における反射特性調整処理などのタイミングで行われてもよいが、ホワイトバランス調整の後に、他の調整を行う方が好ましいので、このような処理順となっている。
【０１６４】
ステップＳ２２６において、被写体特性解析部２３は、被写体の反射特性を推定して、解析し、解析した反射特性の情報を、特性制御部２１１に供給する。
【０１６５】
ステップＳ２２７において、被写体特性解析部２３は、被写体の形状を推定して、解析し、解析した被写体の形状の情報を、特性制御部２１１に供給する。
【０１６６】
以上のようにして、撮影時に被写体の特性である照明光や被写体の反射特性、形状などが計測され、また、入力画像から被写体の特性である照明光や被写体の反射特性、形状などが推定される。
【０１６７】
＜６．第５の実施の形態＞
［画像処理装置の構成例］
図１９は、本開示を適用した画像処理装置の第５の実施の形態の構成を表している。図１９の例においては、画像から推定される物理特性パラメータと、撮影時に取得される物理特性パラメータとを統合したのち、質感制御に用いる画像処理装置の構成が示されている。
【０１６８】
図１９に示される画像処理装置２５１は、撮影環境情報取得部２１、撮影環境情報解析部２２、被写体特性解析部２３、視環境情報解析部２５、特性情報統合部２４、および画像合成部２７を備える点が、図３の画像処理装置１１と共通している。
【０１６９】
画像処理装置２５１は、特性制御部２６が、特性制御部２６１と入れ替わった点が、図３の画像処理装置１１と異なっている。
【０１７０】
すなわち、撮影環境情報解析部２２は、解析した撮影時情報を、特性情報統合部２４に供給する。被写体特性解析部２３は、解析した被写体の特性（画像推定情報）を、特性情報統合部２４に供給する。
【０１７１】
特性情報統合部２４は、撮影環境情報解析部２２からの撮影時情報と、被写体特性解析部２３からの画像推定情報とを信頼度に基づいて統合し、被写体に関する物理特性パラメータとして、特性制御部２６１に供給する。
【０１７２】
特性制御部２６１は、特性情報統合部２４からの物理特性パラメータに基づいて、質感を制御するための処理内容を決定する。具体的には、特性制御部２６１は、物理特性パラメータとして、例えば、被写体の反射特性に基づいて、鏡面反射成分や、全体のバランスを考慮して拡散反射成分も調整するという、質感制御の処理内容を決定し、決定した質感制御を、画像合成部２７に行わせる。
【０１７３】
特性制御部２６１は、視環境情報解析部２５からの視環境パラメータに応じて、画像合成部２７に質感制御を行わせ、質感制御を最適化する。具体的には、特性制御部２６１は、視環境パラメータとして、例えば、視聴時の照明光（視環境光）に応じて、コントラストを調整するという、質感制御の処理内容を決定し、決定した質感制御を、画像合成部２７に行わせる。
【０１７４】
図２０は、特性情報統合部２４による統合方法の例を示す図である。特性情報統合部２４は、例えば、図２０に示されるように、撮影環境情報解析部２２からの撮影時情報と、被写体特性解析部２３からの画像推定情報とを統合する。
【０１７５】
例えば、画像から推定されたdepth mapにおける座標(i,j)の奥行きd1(i,j)と、撮影時に計測されたdepth mapにおける座標(i,j)の奥行きd2(i,j)を加算することで、統合されたdepth mapにおける座標(i,j)の奥行きd0(i,j)を算出する。
【０１７６】
ここで、d1(i,j)の空間的な分散値V{d1(i,j)}は、次の式（１）で表わされる。
【数１】
2014222447.tif 000003
【０１７７】
例えば、分散値が高いほど、推定結果が安定していないと考えられ、次の式（２）に示されるように、奥行き情報の信頼度が低いとみなせる分散値に応じてd1およびd2の情報を加算することで、最終結果の奥行き情報d0を得ることができる。
【数２】
2014222447.tif 000004
【０１７８】
なお、図２０の統合方法は、一例であり、他の統合方法により統合を行ってもよい。また、図２０の例においては、depth情報を例に説明したが、他の特性情報も同様に統合することができる。
【０１７９】
［画像処理の例］
次に、図２１のフローチャートを参照して、図１９の画像処理装置２５１の画像処理について説明する。
【０１８０】
ステップＳ２５１において、撮影環境情報取得部２１は、被写体の画像の撮影し、被写体の画像を入力する。撮影環境情報取得部２１は、入力した入力画像を、被写体特性解析部２３および画像合成部２７に供給する。
【０１８１】
ステップＳ２５２において、撮影環境情報取得部２１、撮影環境情報解析部２２、被写体特性解析部２３、および特性情報統合部２４は、計測・推定・統合処理を行う。この計測・推定・統合処理は、図２２を参照して後述される。ステップＳ２５２の処理により、計測された撮影時情報と、推定された画像推定情報とが統合され、物理特性パラメータ（被写体の反射特性、撮影環境光、および被写体形状など）として、特性制御部２６１に供給される。
【０１８２】
ステップＳ２５３において、視環境情報解析部２５および特性制御部２６１は、画像を視聴する際の環境である視環境情報に基づく処理を行う。この視環境情報に基づく処理は、図１２を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。ステップＳ２５３の処理により、視環境情報に基づく質感制御の処理内容が決定される。
【０１８３】
ステップＳ２５４において、特性制御部２６１は、被写体の反射特性調整処理を行う。この反射特性調整処理は、図８を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。なお、このとき、特性情報統合部２４により統合された物理特性パラメータ（反射特性）が参照される。ステップＳ２５４の処理により、反射特性に基づく質感制御の処理内容が決定される。
【０１８４】
ステップＳ２５５において、画像合成部２７は、決定された質感制御の処理内容に基づいて、入力画像を再合成する。すなわち、図２１の例の場合、視環境光のコントラスト調整、および、統合された物理特性パラメータによる画像の反射特性の調整により、被写体の画像の質感が制御される。
【０１８５】
次に、図２２のフローチャートを参照して、図２１のステップＳ２５２の計測・推定・統合処理について説明する。
【０１８６】
ステップＳ２７１において、撮影環境情報取得部２１は、撮影環境光を計測し、計測した撮影環境光を、撮影環境情報解析部２２に供給する。撮影環境情報解析部２２は、撮影環境情報取得部２１からの撮影環境光を解析し、解析した結果、撮影環境光の情報を、特性情報統合部２４に供給する。
【０１８７】
ステップＳ２７２において、撮影環境情報取得部２１は、被写体の反射特性を計測し、計測した被写体の反射特性を、撮影環境情報解析部２２に供給する。撮影環境情報解析部２２は、撮影環境情報取得部２１からの被写体の反射特性を解析し、解析した被写体の反射特性を、特性情報統合部２４に供給する。
【０１８８】
ステップＳ２７３において、撮影環境情報取得部２１は、被写体形状を計測し、計測した被写体形状を、撮影環境情報解析部２２に供給する。撮影環境情報解析部２２は、撮影環境情報取得部２１からの被写体形状を解析し、解析した被写体形状を、特性情報統合部２４に供給する。
【０１８９】
ステップＳ２７４において、被写体特性解析部２３は、供給された入力画像から撮影環境光を推定して解析し、解析した結果、撮影環境光の情報を取得する。被写体特性解析部２３は、撮影環境光の情報を、特性情報統合部２４に供給する。
【０１９０】
ステップＳ２７５において、特性情報統合部２４は、計測された撮影環境光の情報と推定された撮影環境光の情報とを、例えば、図２０を参照して上述した方法で統合する。特性情報統合部２４は、統合された撮影環境光の情報を、物理特性パラメータとして、特性制御部２６１に供給する。
【０１９１】
ステップＳ２７６において、特性制御部２６１は、画像合成部２７に、撮影環境光の情報から得られる照明色により画像のホワイトバランスを調整させる。なお、この調整処理は、上述した図２１のステップＳ２５４における反射特性調整処理などのタイミングで行われてもよいが、ホワイトバランス調整の後に、他の調整を行う方が好ましいので、このような処理順となっている。
【０１９２】
ステップＳ２７７において、被写体特性解析部２３は、被写体の反射特性を推定して、解析し、解析した反射特性の情報を、特性情報統合部２４に供給する。
【０１９３】
ステップＳ２７８において、特性情報統合部２４は、計測された被写体の反射特性の情報と推定された被写体の反射特性の情報とを、例えば、図２０を参照して上述した方法で統合する。特性情報統合部２４は、統合された被写体の反射特性の情報を、物理特性パラメータとして、特性制御部２６１に供給する。
【０１９４】
ステップＳ２７９において、被写体特性解析部２３は、被写体の形状を推定して、解析し、解析した被写体の形状の情報を、特性情報統合部２４に供給する。
【０１９５】
ステップＳ２８０において、特性情報統合部２４は、計測された被写体の形状の情報と推定された被写体の形状の情報とを、例えば、図２０を参照して上述した方法で統合する。特性情報統合部２４は、統合された被写体の形状の情報を、物理特性パラメータとして、特性制御部２６１に供給する。
【０１９６】
以上のようにして、撮影時に被写体の特性である照明光や被写体の反射特性、形状などが計測され、また、入力画像から被写体の特性である照明光や被写体の反射特性、形状などが推定され、それらの情報が信頼性に基づいて統合される。これにより、画像における、照明光の最適化や光沢感の向上、透明感の再現がさらに向上される。
【０１９７】
＜７．第６の実施の形態＞
［画像処理装置の構成例］
図２３は、本開示を適用した画像処理装置の第６の実施の形態の構成を表している。図２３の例においては、被写体の特性として、被写体の材質情報も取得され、取得された材質情報を質感制御に用いる画像処理装置の構成が示されている。また、図２３の例においては、質感制御として、テクスチャ復元も行われる。この例においては、異なる素材は、固有の反射特性を持つことを利用する。
【０１９８】
図２３に示される画像処理装置３０１は、撮影環境情報取得部２１、撮影環境情報解析部２２、被写体特性解析部２３、視環境情報解析部２５、および画像合成部２７を備える点が、図３の画像処理装置１１と共通している。
【０１９９】
画像処理装置２５１は、特性情報統合部２４が特性情報統合部３１１と入れ替わった点と、特性制御部２６が特性制御部３１２と入れ替わった点と、事前知識データベース３１３が追加された点とが、図３の画像処理装置１１と異なっている。
【０２００】
すなわち、撮影環境情報解析部２２は、解析した撮影時情報（被写体の材質情報含む）を、特性情報統合部３１１に供給する。被写体特性解析部２３は、解析した被写体の特性（画像推定情報）を、特性情報統合部３１１に供給する。
【０２０１】
特性情報統合部３１１は、撮影環境情報解析部２２からの撮影時情報と、被写体特性解析部２３からの画像推定情報とを信頼度に基づいて統合し、被写体に関する物理特性パラメータとして、特性制御部３１２に供給する。また、特性情報統合部３１１は、特性制御部３１２の制御のもと、被写体の材質（肌、金属、布など）に対応したテクスチャ画像を事前知識データベース３１３から読み出し、読み出したテクスチャ画像を、特性制御部３１２に供給する。
【０２０２】
特性制御部３１２は、特性情報統合部３１１からの物理特性パラメータに基づいて、質感を制御するための処理内容を決定する。具体的には、特性制御部３１２は、物理特性パラメータとして、例えば、被写体の材質の反射特性に基づいて、鏡面反射成分や、全体のバランスを考慮して拡散反射成分も調整するという、質感制御の処理内容を決定する。そして、特性制御部３１２は、決定した質感制御を、画像合成部２７に行わせる。
【０２０３】
特性制御部３１２は、視環境情報解析部２５からの視環境パラメータに応じて、画像合成部２７に質感制御を行わせ、質感制御を最適化する。具体的には、特性制御部３１２は、視環境パラメータとして、例えば、視聴時の照明光（視環境光）に応じて、コントラストを調整するという、質感制御の処理内容を決定し、決定した質感制御を、画像合成部２７に行わせる。
【０２０４】
また、特性制御部３１２は、特性情報統合部３１１に材質に応じたテクスチャ画像を読み出させ、それを用いて、入力画像の材質の種類に応じたテクスチャ復元処理を行うという、質感制御の処理内容を決定し、決定した質感制御を、画像合成部２７に行わせる。
【０２０５】
事前知識データベース３１３は、被写体の材質に対応したテクスチャ画像を記憶している。
【０２０６】
以上のように、画像処理装置３０１においては、撮影時に被写体の特性である照明光や被写体の反射特性、形状、材質などが計測され、また、入力画像から被写体の特性である照明光や被写体の反射特性、形状、材質などが推定される。そして、それらの情報が統合されて、質感制御に用いられる。
【０２０７】
［画像処理の例］
次に、図２４のフローチャートを参照して、図２３の画像処理装置３０１の画像処理について説明する。
【０２０８】
ステップＳ３０１において、撮影環境情報取得部２１は、被写体の画像の撮影し、被写体の画像を入力する。撮影環境情報取得部２１は、入力した入力画像を、被写体特性解析部２３および画像合成部２７に供給する。
【０２０９】
ステップＳ３０２において、撮影環境情報取得部２１、撮影環境情報解析部２２、および被写体特性解析部２３は、計測・推定・統合処理を行う。この計測・推定・統合処理は、図２５を参照して後述される。ステップＳ３０２の処理により、計測された物理特性パラメータと、推定された物理特性パラメータ（被写体の反射特性、撮影環境光、被写体形状、および被写体の材質など）とが、特性制御部３１２に供給される。
【０２１０】
ステップＳ３０３において、視環境情報解析部２５および特性制御部３１２は、画像を視聴する際の環境である視環境情報に基づく処理を行う。この視環境情報に基づく処理は、図１２を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。ステップＳ３０３の処理により、視環境情報に基づく質感制御の処理内容が決定される。
【０２１１】
ステップＳ３０４において、特性制御部３１２は、被写体の材質に基づく反射特性調整処理を行う。この反射特性調整処理は、図２６を参照して後述される。なお、このとき、特性情報統合部２４により統合された物理特性パラメータ（材質および反射特性）が参照される。ステップＳ３０４の処理により、反射特性に基づく質感制御の処理内容が決定される。
【０２１２】
ステップＳ３０５において、特性制御部３１２は、特性情報統合部３１１に材質に応じたテクスチャ画像を読み出させ、それを用いて、入力画像の材質の種類に応じたテクスチャ復元処理を行う。このテクスチャ復元処理は、図２７を参照して後述される。ステップＳ３０５の処理により、テクスチャ復元による質感制御の処理内容が決定される。
【０２１３】
ステップＳ３０６において、画像合成部２７は、決定された質感制御の処理内容に基づいて、入力画像を再合成する。すなわち、図２４の例の場合、計測または測定された視環境光のコントラスト調整、画像の材質に基づく反射特性の調整、材質に応じたテクスチャ復元により、被写体の画像の質感が制御される。
【０２１４】
次に、図２５フローチャートを参照して、図２４のステップＳ３０２の計測・推定・統合処理について説明する。
【０２１５】
ステップＳ３２１において、撮影環境情報取得部２１は、撮影環境光を計測し、計測した撮影環境光を、撮影環境情報解析部２２に供給する。撮影環境情報解析部２２は、撮影環境情報取得部２１からの撮影環境光を解析し、解析した結果、撮影環境光の情報を、特性情報統合部３１１に供給する。
【０２１６】
ステップＳ３２２において、撮影環境情報取得部２１は、被写体の反射特性を計測し、計測した被写体の反射特性と材質を、撮影環境情報解析部２２に供給する。撮影環境情報解析部２２は、撮影環境情報取得部２１からの被写体の反射特性と材質を解析し、解析した被写体の反射特性と材質を、特性情報統合部３１１に供給する。
【０２１７】
ステップＳ３２３において、撮影環境情報取得部２１は、被写体形状を計測し、計測した被写体形状を、撮影環境情報解析部２２に供給する。撮影環境情報解析部２２は、撮影環境情報取得部２１からの被写体形状を解析し、解析した被写体形状を、特性情報統合部３１１に供給する。
【０２１８】
ステップＳ３２４において、被写体特性解析部２３は、供給された入力画像から撮影環境光を推定して解析し、解析した結果、撮影環境光の情報を取得する。被写体特性解析部２３は、撮影環境光の情報を、特性情報統合部３１１に供給する。
【０２１９】
ステップＳ３２５において、特性情報統合部３１１は、計測された撮影環境光の情報と推定された撮影環境光の情報とを、例えば、図２０を参照して上述した方法で統合する。特性情報統合部３１１は、統合された撮影環境光の情報を、物理特性パラメータとして、特性制御部３１２に供給する。
【０２２０】
ステップＳ３２６において、特性制御部３１２は、画像合成部２７に、撮影環境光の情報から得られる照明色により画像のホワイトバランスを調整させる。なお、この調整処理は、上述した図２４のステップＳ３０４における反射特性調整処理などのタイミングで行われてもよいが、ホワイトバランス調整の後に、他の調整を行う方が好ましいので、このような処理順となっている。
【０２２１】
ステップＳ３２７において、被写体特性解析部２３は、被写体の反射特性・材質を推定して、解析し、解析した反射特性・材質の情報を、特性情報統合部３１１に供給する。
【０２２２】
ステップＳ３２８において、特性情報統合部３１１は、計測された被写体の反射特性の情報と推定された被写体の反射特性の情報とを、例えば、図２０を参照して上述した方法で統合する。特性情報統合部３１１は、統合された被写体の反射特性の情報を、物理特性パラメータとして、特性制御部３１２に供給する。
【０２２３】
ステップＳ３２９において、特性情報統合部３１１は、計測された被写体の材質の情報と推定された被写体の材質の情報とを、例えば、図２０を参照して上述した方法で統合する。特性情報統合部３１１は、統合された被写体の材質の情報を、物理特性パラメータとして、特性制御部３１２に供給する。
【０２２４】
ステップＳ３３０において、被写体特性解析部２３は、被写体の形状を推定して、解析し、解析した被写体の形状の情報を、特性情報統合部３１１に供給する。
【０２２５】
ステップＳ３３１において、特性情報統合部３１１は、計測された被写体の形状の情報と推定された被写体の形状の情報とを、例えば、図２０を参照して上述した方法で統合する。特性情報統合部３１１は、統合された被写体の形状の情報を、物理特性パラメータとして、特性制御部３１２に供給する。
【０２２６】
以上のようにして、撮影時に被写体の特性である照明光や被写体の反射特性、形状に加えて、さらに、被写体の材質などが計測され、また、それらが入力画像から推定され、それらの情報が信頼性に基づいて統合される。このようにして統合された物理特性パラメータが質感制御に用いられるので、画像における、照明光の最適化や光沢感の向上、透明感の再現がさらに向上される。
【０２２７】
次に、図２６のフローチャートを参照して、図２４のステップＳ３０４における材質に基づく反射特性調整処理について説明する。
【０２２８】
ステップＳ３５１において、特性制御部３１２は、特性情報統合部３１１からの被写体の反射特性の情報に基づいて、鏡面反射成分が大きいか否かを判定する。ステップＳ３５１において、鏡面反射成分が大きいと判定された場合、処理は、ステップＳ３５２に進む。
【０２２９】
ステップＳ３５２において、特性制御部３１２は、質感制御として、鏡面反射成分を強調させるように決定する。ステップＳ３５１において、鏡面反射成分が小さいと判定された場合、処理は、ステップＳ３５３に進む。
【０２３０】
特性制御部３１２は、ステップＳ３５３において、拡散反射成分が大きいか否かを判定する。ステップＳ３５３において、拡散反射成分が大きいと判定された場合、処理は、ステップＳ３５４に進む。ステップＳ３５４において、特性制御部３１２は、質感制御として、拡散反射成分を低減させるように決定する。
【０２３１】
ステップＳ３５３において、拡散反射成分が小さいと判定された場合、処理は、ステップＳ３５５に進む。
【０２３２】
ステップＳ３５５において、特性制御部３１２は、特性情報統合部３１１により統合された被写体の材質の情報に基づいて、鏡面反射が強い材質であるか否かを判定する。ステップＳ３５５において、鏡面反射が強い材質であると判定された場合、処理は、ステップＳ３５６に進む。ステップＳ３５６において、特性制御部３１２は、質感制御として、鏡面反射成分を強調させるように決定する。
【０２３３】
ステップＳ３５５において、鏡面反射が強い材質ではないと判定された場合、処理は、ステップＳ３５７に進む。ステップＳ３５７において、特性制御部３１２は、質感制御として、鏡面反射成分を低減させるように決定する。
【０２３４】
ステップＳ３５８において、特性制御部３１２は、全画素について反射特性の調整が終了したか否かを判定する。
【０２３５】
ステップＳ３５８において、全画素について反射特性の調整が終了したと判定された場合、反射特性調整処理は終了する。ステップＳ３５８において、全画素についてまだ反射特性の調整が終了していないと判定された場合、ステップＳ３５１に戻り、それ以降の処理が繰り返される。
【０２３６】
以上のように、被写体の材質に応じて、画像の反射特性の調整が行われて、被写体の画像の質感が制御される。これにより、画像における、照明光の最適化や光沢感の向上、透明感の再現がなされる。
【０２３７】
次に、図２７のフローチャートを参照して、図２４のステップＳ３０５におけるテクスチャ復元処理を説明する。
【０２３８】
特性制御部３１２は、ステップＳ３７１において、特性情報統合部３１１を制御し、事前知識データベース３１３から、被写体の材質に対応するテクスチャ画像（パッチデータ）を取得させる。
【０２３９】
ステップＳ３７２において、特性制御部３１２は、図２８に示されるように、フィルタバンクを用いて、入力画像とテクスチャ画像をそれぞれサブバンド分割させるように画像合成部２７を制御する。
【０２４０】
ステップＳ３７３において、特性制御部３１２は、サブバンド毎に、入力画像の周波数成分のヒストグラムと、テクスチャ画像の周波数成分のヒストグラムとが一致する調整を行うように画像合成部２７を制御する。すなわち、特性制御部３１２は、画像合成部２７を制御し、サブバンド毎に、入力画像とテクスチャ画像とで、ヒストグラムイコライゼーションを行わせる。
【０２４１】
以上のように、テクスチャを復元するという、質感制御を行うことにより、被写体の質感が向上されるので、よりリアリティのある画像とすることができる。
【０２４２】
なお、図２７および図２８の例においては、周波数領域の特徴量の調整する方法の例であるヒストグラムイコライゼーションによりテクスチャ復元処理を行う例を説明した。ただし、テクスチャ復元処理は、その例だけに限らず、例えば、図２９に示されるように、ブロックマッチングにより画素値を置き換えることで、テクスチャを復元させることも可能である。
【０２４３】
例えば、入力画像に対応するテクスチャ画像（パッチデータ）の中から、入力画像の処理対象領域のうちの注目ブロックの画素値にマッチするブロックが抽出され、注目ブロックが抽出されたブロックで置き換えが行なわれる。その処理が、全ての領域に対して行われ、全ての領域が書き終えられたら、処理が終了となる。
【０２４４】
＜８．第７の実施の形態＞
［画像処理装置の構成例］
図３０は、本開示を適用した画像処理装置の第７の実施の形態の構成を表している。図３０の例においては、撮影時に取得される情報を画像から推定された情報と統合するとともに、メタデータ化して、そのメタデータを、後段（画像合成部）で質感制御に用いる画像処理装置の構成が示されている。
【０２４５】
図３０に示される画像処理装置３５１は、被写体特性解析部２３、特性情報統合部２４、および視環境情報解析部２５を備える点が、図３の画像処理装置１１と共通している。
【０２４６】
画像処理装置３５１は、撮影環境情報取得部２１、撮影環境情報解析部２２、特性制御部２６、画像合成部２７が、それぞれ、撮影環境情報取得部３６１、撮影環境情報解析部３６２、特性制御部３６３、画像合成部３６４に入れ替わった点が、図３の画像処理装置１１と異なっている。
【０２４７】
すなわち、撮影環境情報取得部３６１は、被写体の画像の撮影し、被写体の画像を入力する。また、撮影環境情報取得部３６１は、被写体の画像の撮影時に、環境や被写体の撮影時情報を取得し、入力画像と撮影時情報とを、撮影環境情報解析部３６２に供給する。
【０２４８】
撮影環境情報解析部３６２は、入力画像を被写体特性解析部２３に供給し、撮影時情報を特性情報統合部２４に供給する。さらに、撮影環境情報解析部３６２は、撮影時情報をメタデータ化して入力画像に付加し、入力画像とメタデータ化された撮影時情報とを画像合成部３６４に供給する。
【０２４９】
画像合成部３６４は、特性制御部３６３により決定された処理内容に基づいて、入力画像を再合成する。なお、例えば、メタデータとして、シャッタースピード、絞り、どのような明るさのレンズを使っているかなどのカメラパラメータが得られれば、入力画像の明るさ（絶対輝度）の情報はおおよそ把握することができる。したがって、画像合成部３６４は、さらに、入力画像に付加されているメタデータに基づいて、再計算を行い、入力画像を再合成する。
【０２５０】
［画像処理の例］
次に、図３１のフローチャートを参照して、図３０の画像処理装置３５１の画像処理について説明する。
【０２５１】
ステップＳ３５１において、撮影環境情報取得部３６１は、被写体の画像の撮影し、被写体の画像を入力する。撮影環境情報取得部３６１は、入力した入力画像を、撮影環境情報解析部３６２に供給する。なお、この入力画像は、撮影環境情報解析部３６２から被写体特性解析部２３にも供給される。
【０２５２】
ステップＳ３５２において、撮影環境情報取得部３６１、撮影環境情報解析部３６２、被写体特性解析部２３、および特性情報統合部２４は、計測・推定・統合処理を行う。この計測・推定・統合処理は、図２５を参照して上述された処理と基本的に同様であり、その説明は繰り返しになるので省略される。ステップＳ３５２の処理により、計測された物理特性パラメータと、推定された物理特性パラメータ（被写体の反射特性、撮影環境光、被写体形状、および被写体の材質など）とが、特性制御部３６３に供給される。
【０２５３】
また、ステップＳ３５３において撮影環境情報解析部３６２は、撮影時情報をメタデータ化し、入力画像に付加して、画像合成部３６４に供給する。
【０２５４】
ステップＳ３５４において、視環境情報解析部２５および特性制御部３６３は、画像を視聴する際の環境である視環境情報に基づく処理を行う。この視環境情報に基づく処理は、図１２を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。ステップＳ３５４の処理により、視環境情報に基づく質感制御の処理内容が決定される。
【０２５５】
ステップＳ３５５において、特性制御部３６３は、被写体の材質に基づく反射特性調整処理を行う。この反射特性調整処理は、図２６を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。なお、このとき、特性情報統合部２４により統合された物理特性パラメータ（材質および反射特性）が参照される。ステップＳ３５５の処理により、反射特性に基づく質感制御の処理内容が決定される。
【０２５６】
ステップＳ３５６において、画像合成部３６４は、決定された質感制御の処理内容に基づいて、入力画像を再合成する。すなわち、図３１の例の場合、視環境光のコントラスト調整、および材質に基づく画像の反射特性の調整により、被写体の画像の質感が制御される。
【０２５７】
また、ステップＳ３５７において、画像合成部３６４は、入力画像に付加されているメタデータに基づいて、再計算を行い、入力画像を再合成する。例えば、メタデータとして、シャッタースピード、絞りなどのカメラパラメータが得られれば、入力画像の明るさの情報はおおよそ把握することができ、それにより、さらに、画像の質感が向上される。
【０２５８】
＜９．第８の実施の形態＞
［画像処理装置の構成例］
図３２は、本開示を適用した画像処理装置の第８の実施の形態の構成を表している。図３２の例においては、撮影時に取得される情報と画像から推定できるすべての情報がすべて取得され、それらを統合して、それらの情報をすべて質感制御に用いる画像処理装置の構成が示されている。
【０２５９】
図３２に示される画像処理装置４０１は、図３の画像処理装置１１と基本的に同じ構成である。すなわち、画像処理装置４０１は、撮影環境情報取得部２１、撮影環境情報解析部２２、被写体特性解析部２３、特性情報統合部２４、視環境情報解析部２５、特性制御部２６、および画像合成部２７を含むように構成されている。
【０２６０】
なお、上述した他の例においては、反射特性や照明、材質などの一部の物理特性パラメータを利用する例であった。これに対して、図３２の例においては、撮影時に取得される情報と画像から推定できるすべての情報がすべて取得され、それらを統合し、それらの情報をすべて質感制御に用いる構成が示されている。この構成において、すべての情報が精度よく取得された場合、その精度良く取得された情報を変えることで、ＣＧを作り直すように、どのような画像も、あたかも実世界にあるように作成することができる。
【０２６１】
［画像処理の例］
次に、図３３のフローチャートを参照して、図３２の画像処理装置４０１の画像処理について説明する。
【０２６２】
ステップＳ４０１において、撮影環境情報取得部２１は、被写体の画像の撮影し、被写体の画像を入力する。撮影環境情報取得部２１は、入力した入力画像を、被写体特性解析部２３および画像合成部２７に供給する。
【０２６３】
ステップＳ４０２において、撮影環境情報取得部２１、撮影環境情報解析部２２、および被写体特性解析部２３は、計測・推定・統合処理を行う。この計測・推定・統合処理は、図２５を参照して上述した処理と基本的に同様の処理であり、その説明は繰り返しになるので省略される。ステップＳ４０２の処理により、計測された物理特性パラメータと、推定された物理特性パラメータ（被写体の反射特性、撮影環境光、被写体形状、および被写体の材質など）とが、特性制御部２６に供給される。
【０２６４】
ステップＳ４０３において、視環境情報解析部２５および特性制御部２６は、画像を視聴する際の環境である視環境情報に基づく処理を行う。この視環境情報に基づく処理は、図１２を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。ステップＳ４０３の処理により、視環境情報に基づく質感制御の処理内容が決定される。
【０２６５】
ステップＳ４０４において、特性制御部２６は、被写体の材質に基づく反射特性調整処理を行う。この反射特性調整処理は、図２６を参照して上述した処理と基本的に同様の処理であり、その説明は繰り返しになるので省略される。なお、このとき、特性情報統合部２４により統合された物理特性パラメータ（材質および反射特性）が参照される。ステップＳ４０４の処理により、反射特性に基づく質感制御の処理内容が決定される。
【０２６６】
ステップＳ４０５において、視環境情報解析部２５および特性制御部２６は、視線情報に基づく処理を行う。この視線情報に基づく処理は、図１５を参照して上述した処理と基本的に同様の処理であり、その説明は繰り返しになるので省略される。ステップＳ４０５の処理により、視線情報に基づく質感制御の処理内容が決定される。
【０２６７】
ステップＳ４０６において、画像合成部２７は、決定された質感制御の処理内容に基づいて、入力画像を再合成する。すなわち、図３３の例の場合、視環境光のコントラスト調整、画像の材質に基づく反射特性の調整、視線情報に基づく調整により、被写体の画像の質感が制御される。
【０２６８】
以上のように、撮影時または画像から得られる物理特性パラメータがすべて用いられる。そして、さらに、この物理特性パラメータが精度よく取得されていれば、それらを変更することで、入力画像の再現力が乏しかったとしても、画像における、照明光の最適化や光沢感の向上、透明感の再現がなされる。すなわち、ＣＧ（コンピュータグラフィックス）のように、被写体を実際に見たときの状況を映像で再現することができる。
【０２６９】
以上により、本発明においては、被写体に関する物理特性パラメータ（形状、反射特性、照明など）を計測、測定し、それらの特性を制御することで、映像品質を向上させることができる。
【０２７０】
また、撮影時、視聴時の環境情報（照明、注目位置など）を考慮して、人が見たときの映像品質を一定に保つように制御することができる。
【０２７１】
被写体に関する物理特性パラメータを撮影時、視聴時の環境情報を候補して制御することで、撮像、表示を通じて生じた現実との誤差を補正する、あるいは、強調することで、映像を見たときの印象を改善することができる。
【０２７２】
また、撮影時に計測した情報と画像から推測した情報を統合して信頼性を高めることができる。
【０２７３】
さらに、撮影時の情報は、メタデータとして利用することができるので、視聴環境に最適な映像品質を実現することができる。
【０２７４】
以上のように、本技術によれば、よりリアルな映像表現が可能となる。すなわち、被写体の特性（材質、形状、反射特性など）を制御することで、撮影から表示を通じて生じた現実との誤差を補正し、あるいは、強調することで、被写体を実際に見たときの状況を映像で再現したり、映像を見たときの印象を強くすることができる。
【０２７５】
また、撮影時、視聴時の環境情報を利用して、被写体を実際に見たときの状況を映像で再現することができる。
【０２７６】
＜１０．第９の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
【０２７７】
図３４は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータのハードウエアの構成例を示すブロック図である。
【０２７８】
パーソナルコンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０２７９】
バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。
【０２８０】
入力部５０６は、キーボード、マウス、マイクロホンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
【０２８１】
以上のように構成されるパーソナルコンピュータ５００では、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行する。これにより、上述した一連の処理が行われる。
【０２８２】
コンピュータ（CPU５０１）が実行するプログラムは、リムーバブルメディア５１１に記録して提供することができる。リムーバブルメディア５１１は、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディア等である。また、あるいは、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０２８３】
コンピュータにおいて、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。
【０２８４】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要な段階で処理が行われるプログラムであっても良い。
【０２８５】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２８６】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【０２８７】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２８８】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０２８９】
なお、本技術は以下のような構成も取ることができる。
（１）画像の被写体に関する物理特性パラメータを取得する物理特性パラメータ取得部と、
前記物理特性パラメータ取得部により取得された物理特性パラメータを用いて、前記画像における被写体の質感を制御する質感制御部と
を備える画像処理装置。
（２）  前記物理特性パラメータは、前記被写体の反射特性を示す反射特性情報であり、
前記質感制御部は、前記反射特性情報を用いて、前記画像における被写体の反射特性の強弱を調整する
前記（１）に記載の画像処理装置。
（３）  前記反射特性情報は、前記被写体の反射特性が、鏡面反射成分が強いことを示す情報であり、
前記質感制御部は、前記反射特性情報を用いて、前記画像における被写体の鏡面反射成分を強調する
前記（２）に記載の画像処理装置。
（４）  前記反射特性情報は、前記画像における被写体の反射特性が、拡散反射成分が強いことを示す情報であり、
前記質感制御部は、前記反射特性情報を用いて、前記画像における被写体の拡散反射成分を弱めて、前記画像における被写体の鏡面反射成分を強調する
前記（２）に記載の画像処理装置。
（５）  前記物理特性パラメータは、前記被写体の材質を示す情報であり、
前記質感制御部は、前記被写体の材質の種類に応じて、前記画像における被写体の反射特性を調整する
前記（１）に記載の画像処理装置。
（６）  前記物理特性パラメータは、前記被写体の形状を示す情報であり、
前記質感制御部は、前記被写体の形状に応じて、前記画像における被写体の陰影を強調する
前記（１）に記載の画像処理装置。
（７）  前記物理特性パラメータは、前記被写体の照明に関する情報であり、
前記質感制御部は、前記照明に応じて、前記画像における被写体のコントラストを調整する
前記（１）に記載の画像処理装置。
（８）  前記物理特性パラメータは、前記被写体の画像を撮影する際に計測される特性情報である計測特性情報と、前記画像から推測される特性情報である推測特性情報とからなり、
前記計測特性情報と前記推測特性情報とを統合して、統合された物理特性パラメータを生成する情報統合部をさらに備え、
前記質感制御部は、前記情報統合部により統合された物理特性パラメータを用いて、前記画像における被写体の質感を制御する
前記（１）に記載の画像処理装置。
（９）  前記画像を視聴する環境の情報である視環境情報を取得する視環境情報取得部を
さらに備え、
前記質感制御部は、前記視環境情報取得部により取得された視環境情報を用いて、前記画像における被写体の質感を制御する
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）  前記物理特性パラメータ取得部は、前記被写体の画像を撮影する際に計測される前記物理特性パラメータを取得する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１）  前記物理特性パラメータ取得部は、前記画像から推測することにより前記物理特性パラメータを取得する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１２）  画像処理装置が、
画像の被写体に関する物理特性パラメータを取得し、
取得された物理特性パラメータを用いて、前記画像における被写体の質感を制御する
画像処理方法。
【符号の説明】
【０２９０】
１  計測・推測ブロック，  ２  実世界モデリングブロック，  ３  質感制御ブロック，  ４  レンダリング・レタッチブロック，  １１  画像処理装置，２１  撮影環境情報取得部，  ２２  撮影環境情報解析部，  ２３  被写体特性解析部，  ２４  特性情報統合部，  ２５  視環境情報解析部，  ２６  特性制御部，  ２７  画像合成部，  ５１  画像処理装置，  ６１  特性制御部，  １０１  画像処理装置，  １１１  特性制御部，  １５１  画像処理装置，  １６１  特性制御部，  ２０１  画像処理装置，  ２１１  特性制御部，  ２５１  画像処理装置，  ２６１  特性制御部，  ３０１  画像処理装置，  ３１１  特性情報統合部，  ３１２  特性制御部，３１３  事前知識データベース，  ３５１  画像処理装置，  ３６１  撮影環境情報取得部，  ３６２  撮影環境情報解析部，  ３６３  特性制御部，  ４０１  画像処理装置
【図１】
2014222447.tif 000005
【図２】
2014222447.tif 000006
【図３】
2014222447.tif 000007
【図４】
2014222447.tif 000008
【図５】
2014222447.tif 000009
【図６】
2014222447.tif 000010
【図７】
2014222447.tif 000011
【図８】
2014222447.tif 000012
【図９】
2014222447.tif 000013
【図１０】
2014222447.tif 000014
【図１１】
2014222447.tif 000015
【図１２】
2014222447.tif 000016
【図１３】
2014222447.tif 000017
【図１４】
2014222447.tif 000018
【図１５】
2014222447.tif 000019
【図１６】
2014222447.tif 000020
【図１７】
2014222447.tif 000021
【図１８】
2014222447.tif 000022
【図１９】
2014222447.tif 000023
【図２０】
2014222447.tif 000024
【図２１】
2014222447.tif 000025
【図２２】
2014222447.tif 000026
【図２３】
2014222447.tif 000027
【図２４】
2014222447.tif 000028
【図２５】
2014222447.tif 000029
【図２６】
2014222447.tif 000030
【図２７】
2014222447.tif 000031
【図２８】
2014222447.tif 000032
【図２９】
2014222447.tif 000033
【図３０】
2014222447.tif 000034
【図３１】
2014222447.tif 000035
【図３２】
2014222447.tif 000036
【図３３】
2014222447.tif 000037
【図３４】
2014222447.tif 000038