(57)【要約】【課題】よりリアルな映像表現を実現するとともに、符号化効率を向上することができるようにする。【解決手段】レイヤ化部は、入力画像を外観特性情報により分離する。レイヤ化部は、入力画像を外観特性情報毎にレイヤ化し、メタデータ化された外観特性情報とレイヤ化された画像を、画像符号化部に供給する。画像符号化部は、レイヤ化された画像を符号化し、メタデータ化された外観特性情報とともに送信する。なお、外観特性情報は、画像として送られる場合、レイヤとレイヤで差分を出して、それを送ることができる。本開示は、例えば、画像処理装置に適用することができる。【選択図】図１１
2015211306.tif 000002
【特許請求の範囲】
【請求項１】
画像の被写体の外観に関する特性を表す外観特性情報を取得する外観情報取得部と、
前記外観情報取得部により取得された外観特性情報に基づいて、前記画像をレイヤコーディングする符号化部と
を備える画像処理装置。
【請求項２】
前記符号化部は、前記外観特性情報を、レイヤ毎にリンクさせる
請求項１に記載の画像処理装置。
【請求項３】
前記符号化部は、前記外観特性情報を、メタデータとして、前記符号化部により符号化された画像と共に伝送する
請求項２に記載の画像処理装置。
【請求項４】
前記外観特性情報は、前記被写体の撮影時に取得される情報である
請求項２に記載の画像処理装置。
【請求項５】
前記外観特性情報は、前記被写体の反射特性情報である
請求項４に記載の画像処理装置。
【請求項６】
前記外観特性情報は、前記被写体の鏡面反射特性情報である
請求項５に記載の画像処理装置。
【請求項７】
前記外観特性情報は、前記被写体の拡散反射特性情報である
請求項６に記載の画像処理装置。
【請求項８】
前記符号化部は、前記画像を鏡面反射成分のレイヤと拡散反射成分のレイヤとに分けて符号化する
請求項７に記載の画像処理装置。
【請求項９】
前記外観特性情報は、前記被写体の照明光に関する情報である
請求項４に記載の画像処理装置。
【請求項１０】
前記外観特性情報は、前記被写体の形状に関する情報である
請求項９に記載の画像処理装置。
【請求項１１】
前記符号化部は、前記画像を照明光のレイヤと形状のレイヤとに分けて符号化する
請求項１０に記載の画像処理装置。
【請求項１２】
前記外観特性情報は、前記被写体の材質に関する情報である
請求項４に記載の画像処理装置。
【請求項１３】
前記外観特性情報は、前記画像から取得される情報である
請求項２に記載の画像処理装置。
【請求項１４】
前記外観特性情報は、前記画像のテクスチャ情報である
請求項１３に記載の画像処理装置。
【請求項１５】
前記外観特性情報は、前記画像のストラクチャ情報である
請求項１３に記載の画像処理装置。
【請求項１６】
画像処理装置が、
画像の被写体の外観に関する特性を表す外観特性情報を取得し、
取得された外観特性情報に基づいて、前記画像をレイヤコーディングする
画像処理方法。
【請求項１７】
レイヤコーディングされた画像の被写体の外観に関する特性を表す外観特性情報に基づいて、前記画像を復号する復号部と、
前記外観特性情報を用いて、前記復号部により復号された画像における被写体の質感を制御する質感制御部と
を備える画像処理装置。
【請求項１８】
画像処理装置が、
レイヤコーディングされた画像の被写体の外観に関する特性を表す外観特性情報に基づいて、前記画像を復号し、
前記外観特性情報を用いて、復号された画像における被写体の質感を制御する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置および方法に関し、特に、よりリアルな映像表現を実現するとともに、符号化効率を向上することができるようにした画像処理装置および方法に関する。
【背景技術】
【０００２】
映像のリアリティを高めることを目的に、コントラストや繊細感などを調整する技術が開発されてきた。
【０００３】
なお、特許文献１においては、画像中の物体の色補正や所望の色再現を実現して高画質化を図るといった技術が提案されている。
【０００４】
しかしながら、コントラストや繊細感などの基礎画質を高めるだけでは、性能に限界があった。そこで、例えば、被写体を実際に見たかのような状況を映像で再現するなどのように、実物がそこにあるような質感を再現することが求められている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第２０１０／０８７１６２号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、入力画像からの被写体の特性解析では、正しい特性情報を求めることが難しかった。また、リアルな映像表現を実現するための情報を全て画像で伝送しようとすると、ビット幅や帯域が足りなかった。
【０００７】
本開示は、このような状況に鑑みてなされたものであり、よりリアルな映像表現を実現するとともに、符号化効率を向上することができるものである。
【課題を解決するための手段】
【０００８】
本開示の一側面の画像処理装置は、画像の被写体の外観に関する特性を表す外観特性情報を取得する外観情報取得部と、前記外観情報取得部により取得された外観特性情報に基づいて、前記画像をレイヤコーディングする符号化部とを備える。
【０００９】
前記符号化部は、前記外観特性情報を、レイヤ毎にリンクさせる。
【００１０】
前記符号化部は、前記外観特性情報を、メタデータとして、前記符号化部により符号化された画像と共に伝送する。
【００１１】
前記外観特性情報は、前記被写体の撮影時に取得される情報である。
【００１２】
前記外観特性情報は、前記被写体の反射特性情報である。
【００１３】
前記外観特性情報は、前記被写体の鏡面反射特性情報である。
【００１４】
前記外観特性情報は、前記被写体の拡散反射特性情報である。
【００１５】
前記符号化部は、前記画像を鏡面反射成分のレイヤと拡散反射成分のレイヤとに分けて符号化することができる。
【００１６】
前記外観特性情報は、前記被写体の照明光の光源に関する情報である。
【００１７】
前記外観特性情報は、前記被写体の形状に関する情報である。
【００１８】
前記符号化部は、前記画像を照明光のレイヤと形状のレイヤとに分けて符号化することができる。
【００１９】
前記外観特性情報は、前記被写体の材質に関する情報である。
【００２０】
前記外観特性情報は、前記画像から取得される情報である。
【００２１】
前記外観特性情報は、前記画像のテクスチャ情報である。
【００２２】
前記外観特性情報は、前記画像のストラクチャ情報である。
【００２３】
本開示の一側面の画像処理方法は、画像処理装置が、画像の被写体の外観に関する特性を表す外観特性情報を取得し、取得された外観特性情報に基づいて、前記画像をレイヤコーディングする。
【００２４】
本開示の他の側面の画像処理装置は、レイヤコーディングされた画像の被写体の外観に関する特性を表す外観特性情報に基づいて、前記画像を復号する復号部と、前記外観特性情報を用いて、前記復号部により復号された画像における被写体の質感を制御する質感制御部とを備える。
【００２５】
本開示の他の側面の画像処理方法は、画像処理装置が、レイヤコーディングされた画像の被写体の外観に関する特性を表す外観特性情報に基づいて、前記画像を復号し、前記外観特性情報を用いて、復号された画像における被写体の質感を制御する。
【００２６】
本開示の一側面においては、画像の被写体の外観に関する特性を表す外観特性情報が取得される。そして、取得された外観特性情報に基づいて、前記画像がレイヤコーディングされる。
【００２７】
本開示の他の側面においては、レイヤコーディングされた画像の被写体の外観に関する特性を表す外観特性情報に基づいて、前記画像が復号される。そして、前記外観特性情報を用いて、復号された画像における被写体の質感が制御される。
【発明の効果】
【００２８】
本開示の一側面によれば、画像を処理することができる。特に、よりリアルな映像表現を実現するとともに、符号化効率を向上することができる。
【００２９】
本開示の他の側面によれば、画像を処理することができる。特に、よりリアルな映像表現を実現するとともに、符号化効率を向上することができる。
【００３０】
なお、本明細書に記載された効果は、あくまで例示であり、本技術の効果は、本明細書に記載された効果に限定されるものではなく、付加的な効果があってもよい。
【図面の簡単な説明】
【００３１】
【図１】本技術のコンセプトを説明する図である。
【図２】本技術の質感制御方法について説明する図である。
【図３】本技術を適用した画像処理装置の主な構成例を示すブロック図である。
【図４】図３の画像処理装置の入力側処理を説明するフローチャートである。
【図５】計測処理について説明するフローチャートである。
【図６】図３の画像処理装置の出力側処理を説明するフローチャートである。
【図７】推定・統合処理について説明するフローチャートである。
【図８】視環境情報に基づく処理について説明するフローチャートである。
【図９】材質に基づく反射特性調整処理について説明するフローチャートである。
【図１０】視線情報に基づく処理について説明するフローチャートである。
【図１１】本技術を適用した画像処理装置の他の構成例を示すブロック図である。
【図１２】レイヤコーディングの例を示す図である。
【図１３】レイヤコーディングの例を示す図である。
【図１４】図１１の画像処理装置の入力側処理を説明するフローチャートである。
【図１５】レイヤコーディングの例を示す図である。
【図１６】本技術を適用した画像処理装置の他の構成例を示すブロック図である。
【図１７】図１６の画像処理装置の出力側処理を説明するフローチャートである。
【図１８】本技術を適用した画像処理装置の他の構成例を示すブロック図である。
【図１９】事例１の質感制御処理に用いられる画像の例を示す図である。
【図２０】事例１の質感制御処理に用いられる画像の例を示す図である。
【図２１】事例１の質感制御処理に用いられる画像の例を示す図である。
【図２２】事例２の質感制御処理に用いられる画像の例を示す図である。
【図２３】事例３の質感制御処理に用いられる画像の例を示す図である。
【図２４】事例１乃至事例３の場合の外観特性情報の例を示す図である。
【図２５】事例１の出力側処理を説明するフローチャートである。
【図２６】事例２の出力側処理を説明するフローチャートである。
【図２７】事例３の出力側処理を説明するフローチャートである。
【図２８】パーソナルコンピュータの主な構成例を示すブロック図である。
【発明を実施するための形態】
【００３２】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．概要
２．第１の実施の形態
３．第２の実施の形態
４．第３の実施の形態
５．コンピュータ
【００３３】
概要＞
[質感制御のコンセプト]
図１を参照して、質感制御のコンセプトについて説明する。質感制御は、画像における物体の質感を向上させるようにするものである。
【００３４】
実世界において、人間が目に感じるもの、すなわち、光がどういう形で目に入ってくるかという物理的情報(Material information)が根本的に必要な情報である。これらの物理的情報は、例えば、太陽光（照明: lighting）、物体の形状(geometry)、物体の反射成分(reflectance)などであり、これらの物理的情報があれば、理論的には、光を再現することができる。
【００３５】
これらの物理的情報は、カメラのセンサに入るので、画像（2DImage）から抽出される情報（画像統計量、拡散／鏡面反射成分、撮影時の照明情報）を基に、被写体の特性情報（被写体の領域情報や認識情報）として推定し、取得することができる。
【００３６】
なお、画像から情報を抽出する処理は、光の特性を考慮した処理であり、それを被写体の特性情報として推定する処理は、オブジェクト（被写体）ベースの処理である。
【００３７】
したがって、質感制御においては、画像から抽出される情報を、被写体の特性情報として利用して、画像における被写体（の表面）の質感を制御する。また、その制御の際、実世界から計測されて取得される物理的情報を利用することも可能である。
【００３８】
さらに、画像における被写体の質感は、これらの物理的情報だけでなく、実際には、見ている環境の情報（視環境の照明情報）と人間がどう感じているかという情報（知覚:hyperacuity）にも関連してくる。したがって、本技術においては、これらの物理的情報を利用するだけでなく、見ている環境の情報（視環境の照明情報）と人間がどう感じているかという情報を利用した形で、画像における被写体の質感を制御し、再度画像を作り直す。
【００３９】
このように、質感制御においては、画像における被写体の質感が制御される。ここで、本明細書において、質感とは、材料のもつ性質（物理的要因）に対して生じる人間の心理的感覚（心理的要因）のことである。
【００４０】
すなわち、本明細書において、質感は、物理的要因である被写体の物理特性を表すパラメータと、心理的要因である被写体の認知感度を表すパラメータとを有するものであると定義される。
【００４１】
したがって、本明細書における質感制御とは、上述した物理的要因および心理的要因のパラメータを制御するということを意味する。なお、以下、質感制御の際に、物理的要因のパラメータである物理特性パラメータが制御されるとしか記載しないが、実際には、その際には、心理的要因のパラメータである被写体の認知感度を表すパラメータも制御されている。
【００４２】
[質感制御方法]
次に、図２を参照して、上述した質感制御方法について説明する。
【００４３】
まず、実世界の被写体が撮影されて、被写体の画像が計測・推測ブロック１に入力される。計測・推測ブロック１において、被写体の物理特性を示す物理特性パラメータは、被写体の撮影時に実世界から計測されて取得される。あるいは、計測・推測ブロック１において、被写体の物理特性を示す物理特性パラメータは、入力された被写体の画像から推測されて、取得される。例えば、物理特性パラメータとして、上述した照明、被写体の構造や反射特性が取得される。
【００４４】
取得された被写体の物理特性パラメータは、実世界モデリングブロック２において、モデリングされる。モデリングされた被写体の物理特性パラメータは、質感制御ブロック３に入力される。
【００４５】
質感制御ブロック３においては、画像における被写体の質感が、モデリングされた被写体の物理特性パラメータや画像から得られる特徴量（テクスチャ）に応じて制御される。質感制御の一例としては、例えば、反射しやすいように、物理特性パラメータを変える。これにより、被写体の光学的特性が最適化される。また、例えば、テクスチャの足りない部分があれば、それを適切に復元する。すなわち、質感制御ブロック３においては、質感制御として、見た目の光沢感や透明感が上がるように、これらの物理特性パラメータが変更（制御）される。
【００４６】
また、質感制御ブロック３においては、画像の表示中に行われるユーザの動作に関するユーザ動作情報（例えば、操作情報や視線情報、視聴情報）が取得解析され、その質感制御に用いられる。さらに、質感制御に用いられた情報が、視環境や動作環境にフィードバックが反映されて、結果、質感制御ブロック３においては、質感がより制御される。
【００４７】
レンダリング・レタッチブロック４においては、質感が制御された結果（変更されたパラメータ）に応じて、画像を再構成するために、画像が再合成（レンダリング）され、画質が微調整された結果の画像が出力される。
【００４８】
以上の処理により、入力画像が実際の見た目と違うような場合に、例えば、画像における、照明光の最適化や光沢感の向上、透明感の再現がなされる。すなわち、被写体を実際に見たときの状況を映像で再現することができる。
【００４９】
しかしながら、よりリアルな映像表現を実現するためには、正しい情報が必要であるが、上述したような入力画像からの被写体の特性解析では、正しい特性情報を求めることが困難であった。
【００５０】
また、リアルな映像表現を実現するための情報を全て画像で伝送すると、ビット幅や帯域が足りなかった。
【００５１】
また、上述のように、特性解析を処理部で行うと処理コストがかかっていた。
【００５２】
そこで、本技術においては、撮影時の情報を、画像の被写体の外観に関する特性を表す外観特性情報として、入力画像と画像符号化して伝送するようにする。
【００５３】
外観特性情報としては、例えば、反射特性（光学特性）を示す情報、照明光（の光源）に関する情報、前記被写体の形状に関する情報、前記被写体の材質に関する情報、画像のテクスチャ情報、および画像のストラクチャ情報などがある。なお、そのうち、反射特性（光学特性）を示す情報、照明光（の光源）に関する情報、前記被写体の形状に関する情報、前記被写体の材質に関する情報は、撮影時に取得される情報であり、画像のテクスチャ情報、および画像のストラクチャ情報は、画像から取得される情報である。
【００５４】
これにより、よりリアルな映像表現を実現するとともに、符号化効率を向上することができる。
【００５５】
第１の実施の形態＞
［画像処理装置の構成例］
図３は、本開示を適用した画像処理装置の一実施の形態の構成を表すブロック図である。
【００５６】
図３に示される画像処理装置１１は、入力側装置２１と出力側装置２２に分かれて構成されている。
【００５７】
入力側装置２１は、撮影環境情報取得部３１、撮影環境情報解析部３２、および画像符号化部３３により構成されている。
【００５８】
撮影環境情報取得部３１は、被写体の画像を撮影し、被写体の画像を入力し、入力した入力画像を、撮影環境情報解析部３２に供給する。また、撮影環境情報取得部３１は、被写体の画像の撮影時に、撮影部の設定値やセンサなどから環境や被写体の撮影時情報を取得し、取得した撮影時情報を、撮影環境情報解析部３２に供給する。
【００５９】
撮影環境情報解析部３２は、撮影環境情報取得部３１からの撮影時に取得された撮影時情報を解析し、必要に応じて、解析した撮影時情報を、外観特性情報として、入力画像とともに、画像符号化部３３に出力する。なお、撮影環境情報解析部３２において、撮影時情報として撮影時に取得できなかった細かい（例えば、サンプリングレートの高い）部分の情報を、例えば、テクスチャやストラクチャなど、画像から推定することで取得することもできる。
【００６０】
画像符号化部３３は、入力画像を符号化して、出力側装置２２に伝送する。なお、外観特性情報は、画像として伝送してもよいし、メタデータとして伝送してもよい。また、外観特性情報の一部のみをメタデータとして伝送してもよい。
【００６１】
このとき、外観特性情報として、撮影時情報である反射特性、照明光に関する情報、奥行き情報、形状、材質などがあげられる。なお、このとき、HDR(ハイダイナミックレンジ)画像など、LDR（ローダイナミックレンジ）画像のビット幅や帯域に収まりきらない情報（高輝度情報）なども外観特性情報として伝送される。
【００６２】
出力側装置２２は、画像復号部４１、被写体特性解析部４２、特性情報統合部４３、視環境情報解析部４４、特性制御部４５、および画像合成部４６を含まれるように構成される。
【００６３】
画像復号部４１は、符号化データと外観特性情報とを受け取る。画像復号部４１は、符号化データを復号して画像を生成し、生成された画像を、被写体特性解析部４２および画像合成部４６に供給する。また、画像復号部４１は、外観特性情報を、特性情報統合部４３に供給する。
【００６４】
被写体特性解析部４２は、撮影環境情報取得部３１からの入力画像から、被写体の特性を推定して解析し、解析した画像推定情報を、特性情報統合部４３に供給する。入力側装置２１において取得されなかった場合、被写体特性解析部４２においては、撮影時情報として撮影時に取得できなかった細かい（例えば、サンプリングレートの高い）部分の情報を、例えば、テクスチャやストラクチャなど、画像から推定することで取得することができる。
【００６５】
特性情報統合部４３は、画像復号部４１からの外観特性情報と、被写体特性解析部４２からの画像推定情報とを統合し、被写体に関する物理特性パラメータとして、特性制御部４５に供給する。
【００６６】
視環境情報解析部４４は、画像を視聴する際の環境である視環境の情報を取得し、解析する。視環境情報解析部４４は、解析した視環境情報を、視環境パラメータとして、特性制御部４５に供給する。視環境パラメータは、例えば、視環境光情報、視聴時間、および注目被写体（視線）情報を含むように構成されている。
【００６７】
特性制御部４５は、制御パラメータとして、特性情報統合部４３からの被写体に関する物理特性パラメータと、視環境情報解析部４４からの視環境パラメータとを用いる。具体的には、例えば、特性制御部４５は、特性情報統合部４３からの物理特性パラメータに基づいて、画質を変えたり、反射特性を調整したり、形状を変えたりなど、質感を制御するための処理内容を決定する。特性制御部４５は、決定した処理内容の情報を、画像合成部４６に供給し、画像合成部４６に質感制御を行わせる。さらに、特性制御部４５は、視環境パラメータに応じて、画像合成部４６に質感制御を行わせ、質感制御を最適化する。
【００６８】
画像合成部４６は、特性制御部４５の制御のもと、撮影環境情報取得部３１からの入力画像を再合成（レンダリング）して、調整して、再合成結果を出力画像として出力する。
【００６９】
なお、制御パラメータは、撮影環境情報解析部３２からの撮影時情報と被写体特性解析部４２からの画像推定情報とが統合された被写体に関する物理特性パラメータ、および視環境情報解析部４４からの視環境パラメータとで構成されている。
【００７０】
被写体に関する物理特性パラメータは、被写体の奥行き・形状情報、撮影時の照明情報、被写体の材質情報、および被写体の反射特性情報を含むように構成されている。なお、撮影時の照明情報も、被写体の色などに影響し、被写体に関わる、あるいは被写体の背景に関わる情報であるといえるので、被写体に関する物理特性パラメータに含まれる。視環境パラメータは、視環境光情報、視聴時間、および注目被写体（視線）情報を含むように構成されている。
【００７１】
[入力側処理]
次に、図４のフローチャートを参照して、図３の入力側装置２１による入力側処理について説明する。
【００７２】
ステップＳ１１において、撮影環境情報取得部３１は、被写体の画像の撮影し、被写体の画像を入力する。撮影環境情報取得部３１は、入力した入力画像を、撮影環境情報解析部３２に供給する。
【００７３】
ステップＳ１２において、撮影環境情報取得部３１および撮影環境情報解析部３２は、計測処理を行う。この計測処理の詳細は、図５を参照して後述される。ステップＳ１２の処理により、外観特性情報（被写体の反射特性、撮影環境光、被写体形状、および被写体の材質など）が計測される。
【００７４】
撮影環境情報解析部３２は、ステップＳ１３において、外観特性情報をメタデータ化する。撮影環境情報解析部３２は、外観特性情報を、入力画像とともに、画像符号化部３３に出力する。なお、メタデータ化しない場合には、ステップＳ１３の処理は省略される。
【００７５】
画像符号化部３３は、ステップＳ１４において、入力画像を符号化して、ステップＳ１５において、符号化された画像を、メタデータ化された外観特性情報とともに、出力側装置２２に伝送する。
【００７６】
次に、図５のフローチャートを参照して、計測処理について説明する。
【００７７】
ステップＳ３１において、撮影環境情報取得部３１は、撮影環境光を計測し、計測した撮影環境光を、撮影環境情報解析部３２に供給する。撮影環境情報解析部３２は、撮影環境情報取得部３１からの撮影環境光を解析する。
【００７８】
ステップＳ３２において、撮影環境情報取得部３１は、被写体の反射特性を計測し、計測した被写体の反射特性を、撮影環境情報解析部３２に供給する。撮影環境情報解析部３２は、撮影環境情報取得部３１からの被写体の反射特性を解析し、解析した反射特性を、外観特性情報とする。
【００７９】
ステップＳ３３において、撮影環境情報取得部３１は、被写体形状を計測し、計測した被写体形状を、撮影環境情報解析部３２に供給する。撮影環境情報解析部３２は、撮影環境情報取得部３１からの被写体形状を解析し、解析した被写体形状を外観特性情報とする。
【００８０】
ステップＳ３４において、被写体特性解析部４２は、供給された入力画像から撮影環境光を推定して解析し、解析した結果、撮影環境光の情報を取得する。
【００８１】
ステップＳ３５において、被写体特性解析部４２は、取得した撮影環境光の情報を統合し、統合した撮影環境光情報を、外観特性情報とする。
【００８２】
ステップＳ３５において、被写体特性解析部４２は、撮影環境光の情報から得られる照明色により画像のホワイトバランスを調整する。
【００８３】
以上のようにして、撮影時に被写体の特性である照明光や被写体の反射特性、形状などが計測される。
【００８４】
［出力側装置の処理］
次に、図６のフローチャートを参照して、出力側装置２２の出力側の処理について説明する。
【００８５】
ステップＳ５１において、画像復号部４１は、符号化データと外観特性情報とを受け取る。画像復号部４１は、ステップＳ５２において、符号化データを復号して画像を生成し、生成された画像を、被写体特性解析部４２および画像合成部４６に供給する。また、画像復号部４１は、外観特性情報を、特性情報統合部４３に供給する。
【００８６】
ステップＳ５３において、被写体特性解析部４２および特性情報統合部４３は、推定・統合処理を行う。この推定・統合処理の詳細は、図７を参照して後述される。ステップＳ５３の処理により、入力側からの外見特性情報と推定された情報とが統合されて、物理特性パラメータとして、特性制御部４５に供給される。
【００８７】
ステップＳ５４において、視環境情報解析部４４および特性制御部４５は、画像を視聴する際の環境である視環境情報に基づく処理を行う。この視環境情報に基づく処理の詳細は、図８を参照して後述される。ステップＳ５４の処理により、視環境情報に基づく質感制御の処理内容が決定される。
【００８８】
ステップＳ５５において、特性制御部４５は、被写体の材質に基づく反射特性調整処理を行う。この反射特性調整処理は、図９を参照して後述される。なお、このとき、特性情報統合部４３により統合された物理特性パラメータ（材質および反射特性）が参照される。ステップＳ５５の処理により、反射特性に基づく質感制御の処理内容が決定される。
【００８９】
ステップＳ５６において、視環境情報解析部４４および特性制御部４５は、ユーザ動作情報に含まれる視線情報に基づく処理を行う。この視線情報に基づく処理は、図１０を参照して後述される。ステップＳ５６の処理により、視線情報に基づく質感制御の処理内容が決定される。
【００９０】
ステップＳ５７において、画像合成部４６は、決定された質感制御の処理内容に基づいて、入力画像を再合成する。すなわち、図３の例の場合、視環境光のコントラスト調整、画像の材質に基づく反射特性の調整、視線情報に基づく調整により、被写体の画像の質感が制御される。
【００９１】
以上のように、入力側から、入力画像と撮影時の情報とが外観特性情報として伝送されてきて、出力側においては、それらが用いられて、画像における被写体の質感が制御される。
【００９２】
次に、図７のフローチャートを参照して、図６のステップＳ５３の推定・統合処理について説明する。
【００９３】
ステップＳ６１において、被写体特性解析部４２は、被写体の反射特性・材質を推定して、解析し、解析した反射特性・材質の情報を、特性情報統合部４３に供給する。
【００９４】
ステップＳ６２において、特性情報統合部４３は、画像復号部４１からの被写体の反射特性の情報と推定された被写体の反射特性の情報とを統合する。特性情報統合部４３は、統合された被写体の反射特性の情報を、物理特性パラメータとして、特性制御部４５に供給する。
【００９５】
ステップＳ６３において、特性情報統合部４３は、画像復号部４１からの被写体の材質の情報と推定された被写体の材質の情報とを統合する。特性情報統合部４３は、統合された被写体の材質の情報を、物理特性パラメータとして、特性制御部４５に供給する。
【００９６】
ステップＳ６４において、被写体特性解析部４２は、被写体の形状を推定して、解析し、解析した被写体の形状の情報を、特性情報統合部４３に供給する。
【００９７】
ステップＳ６５において、特性情報統合部４３は、画像復号部４１からの被写体の形状の情報と推定された被写体の形状の情報とを、統合する。特性情報統合部４３は、統合された被写体の形状の情報を、物理特性パラメータとして、特性制御部４５に供給する。
【００９８】
以上のようにして、撮影時に被写体の特性である照明光や被写体の反射特性、形状に加えて、さらに、被写体の材質などが計測され、符号化されて、受け取られる。そして、それらが入力画像から推定され、それらの情報が信頼性に基づいて統合される。このようにして統合された物理特性パラメータが質感制御に用いられるので、画像における、照明光の最適化や光沢感の向上、透明感の再現がさらに向上される。
【００９９】
次に、図８のフローチャートを参照して、図６のステップＳ５４の視環境情報に基づく処理について説明する。
【０１００】
ステップＳ７１において、視環境情報解析部４４は、画像を視聴する際の環境である視環境の情報として、例えば、視環境光の情報を取得し、解析する。視環境情報解析部４４は、解析した視環境光の情報を、視環境パラメータとして、特性制御部４５に供給する。
【０１０１】
特性制御部４５には、被写体特性解析部４２から撮影時の画像の絶対輝度情報も推定され、特性制御部４５に供給されている。ステップＳ７２において、特性制御部４５は、撮影時の対象画素の絶対輝度が所定の輝度値より高いか否かを判定する。ステップＳ７２において、撮影時の対象画素の絶対輝度が高いと判定された場合、処理は、ステップＳ７３に進む。
【０１０２】
ステップＳ７３において、特性制御部４５は、視環境情報解析部４４からの視環境パラメータを参照し、視環境光が所定の値より明るいか否かを判定する。ステップＳ７３において、視環境光が明るいと判定された場合、処理は、ステップＳ７４に進む。この場合、暗く見える可能性があるので、ステップＳ７４において、特性制御部４５は、画像合成部４６を制御し、質感制御として、コントラスト調整値を高めに設定させる。
【０１０３】
ステップＳ７３において、視環境光が暗いと判定された場合、ステップＳ７４はスキップされ、処理は、ステップＳ７７に進む。
【０１０４】
ステップＳ７２において、撮影時の対象画素の絶対輝度が低いと判定された場合、処理は、ステップＳ７５に進む。ステップＳ７５において、特性制御部４５は、視環境情報解析部４４からの視環境パラメータを参照し、視環境光が所定の値より明るいか否かを判定する。
【０１０５】
ステップＳ７５において、視環境光が暗いと判定された場合、処理は、ステップＳ７６に進む。ステップＳ７６において、特性制御部４５は、画像合成部４６を制御し、質感制御として、コントラスト調整値を低めに設定させる。
【０１０６】
ステップＳ７５において、視環境光が明るいと判定された場合、ステップＳ７６はスキップされ、処理は、ステップＳ７７に進む。
【０１０７】
ステップＳ７７において、特性制御部４５は、全画素について反射特性の調整が終了したか否かを判定する。
【０１０８】
ステップＳ７７において、全画素について処理が終了したと判定された場合、視環境情報に基づく処理は終了する。ステップＳ７７において、全画素についてまだ処理が終了していないと判定された場合、ステップＳ７２に戻り、それ以降の処理が繰り返される。
【０１０９】
以上のように、視環境によるコントラスト調整および画像の反射特性の調整が行われて、被写体の画像の質感が制御される。これにより、画像における、照明光の最適化や光沢感の向上、透明感の再現がなされる。
【０１１０】
次に、図９のフローチャートを参照して、図６のステップＳ５５における材質に基づく反射特性調整処理について説明する。
【０１１１】
ステップＳ８１において、特性制御部４５は、特性情報統合部４３からの被写体の反射特性の情報に基づいて、鏡面反射成分が大きいか否かを判定する。ステップＳ８１において、鏡面反射成分が大きいと判定された場合、処理は、ステップＳ８２に進む。
【０１１２】
ステップＳ８２において、特性制御部４５は、質感制御として、鏡面反射成分を強調させるように決定する。ステップＳ８１において、鏡面反射成分が小さいと判定された場合、処理は、ステップＳ８３に進む。
【０１１３】
特性制御部４５は、ステップＳ８３において、拡散反射成分が大きいか否かを判定する。ステップＳ８３において、拡散反射成分が大きいと判定された場合、処理は、ステップＳ８４に進む。ステップＳ８４において、特性制御部４５は、質感制御として、拡散反射成分を低減させるように決定する。
【０１１４】
ステップＳ８３において、拡散反射成分が小さいと判定された場合、処理は、ステップＳ８５に進む。
【０１１５】
ステップＳ８５において、特性制御部４５は、特性情報統合部４３により統合された被写体の材質の情報に基づいて、鏡面反射が強い材質であるか否かを判定する。ステップＳ８５において、鏡面反射が強い材質であると判定された場合、処理は、ステップＳ８６に進む。ステップＳ８６において、特性制御部４５は、質感制御として、鏡面反射成分を強調させるように決定する。
【０１１６】
ステップＳ８５において、鏡面反射が強い材質ではないと判定された場合、処理は、ステップＳ８７に進む。ステップＳ８７において、特性制御部４５は、質感制御として、鏡面反射成分を低減させるように決定する。
【０１１７】
ステップＳ８８において、特性制御部４５は、全画素について反射特性の調整が終了したか否かを判定する。
【０１１８】
ステップＳ８８において、全画素について反射特性の調整が終了したと判定された場合、反射特性調整処理は終了する。ステップＳ８８において、全画素についてまだ反射特性の調整が終了していないと判定された場合、ステップＳ８１に戻り、それ以降の処理が繰り返される。
【０１１９】
以上のように、被写体の材質に応じて、画像の反射特性の調整が行われて、被写体の画像の質感が制御される。これにより、画像における、照明光の最適化や光沢感の向上、透明感の再現がなされる。なお、テクスチャやストラクチャの例が示されていないが、それらの外観特性情報も符号化されて伝送されてきて、被写体の画像の質感制御に用いられる。
【０１２０】
次に、図１０のフローチャートを参照して、図６のステップＳ５６の視線情報に基づく処理について説明する。
【０１２１】
ステップＳ１０１において、視環境情報解析部４４は、視環境の情報として、例えば、注目被写体情報、または視線情報を取得し、解析する。視環境情報解析部４４は、解析した視環境の情報を、視環境パラメータとして、特性制御部４５に供給する。
【０１２２】
ステップＳ１０２において、特性制御部４５は、対象画素が、注目被写体領域であるかまたは視線対象領域であるか否かを判定する。ステップＳ１０２において、注目被写体領域であるかまたは視線対象領域であると判定された場合、処理は、ステップＳ１０３に進む。
【０１２３】
ステップＳ１０３において、特性制御部４５は、画像合成部４６を制御し、質感制御として、例えば、これまでの処理（すなわち、視環境情報、材質に基づく処理など）の画質調整値を弱めに再設定させる。
【０１２４】
ステップＳ１０２において、対象画素が、注目被写体領域でも視線対象領域でもないと判定された場合、ステップＳ１０３はスキップされ、処理は、ステップＳ１０４に進む。
【０１２５】
ステップＳ１０４において、特性制御部４５は、全画素について処理が終了したか否かを判定する。
【０１２６】
ステップＳ１０４において、全画素について処理が終了したと判定された場合、視線情報に基づく処理は終了する。ステップＳ１０４において、全画素についてまだ処理が終了していないと判定された場合、ステップＳ１０２に戻り、それ以降の処理が繰り返される。
【０１２７】
以上のように、視環境によるコントラスト調整および画像の反射特性の調整が行われて、被写体の画像の質感が制御される。これにより、画像における、照明光の最適化や光沢感の向上、透明感の再現がなされる。
【０１２８】
＜３．第２の実施の形態＞
［画像処理装置の他の構成例］
図１１は、本開示を適用した画像処理装置の他の実施の形態の構成を表している。図１１の例においては、外観特性情報の成分毎にレイヤに分けて符号化して送るという、レイヤコーディングが行われる例が示されている。すなわち、レイヤコーディングとは、画像をレイヤに分けて符号化することであり、例えば、図１１の例において、画像は、画像のうち光学特性を表すレイヤ、形状を表すレイヤ、など外観特性情報の成分毎にレイヤに分けて符号化される。
【０１２９】
図１１の画像処理装置５１は、出力側装置２２を備える点が図３の画像処理装置１１と共通している。図１１の画像処理装置５１は、入力側装置２１が入力側装置６１に入れ替わった点が、図３の画像処理装置１１と異なっている。
【０１３０】
図１１の入力側装置６１は、撮影環境情報取得部３１、撮影環境情報解析部３２、および画像符号化部３３を備える点は、図３の入力側装置２１と共通している。図１１の入力側装置６１は、レイヤ化部７１が追加された点が、図３の入力側装置２１と異なっている。
【０１３１】
すなわち、レイヤ化部７１は、入力画像を外観特性情報により分離する。具体的には、レイヤ化部７１は、入力画像を外観特性情報毎にレイヤ化し、メタデータ化された外観特性情報とレイヤ化された画像を、画像符号化部３３に供給する。言い換えるに、外観特性情報は、レイヤ毎にリンクされている。
【０１３２】
画像符号化部３３は、レイヤ化された画像を符号化し、メタデータ化された外観特性情報とともに送信する。なお、外観特性情報は、画像として送られる場合、レイヤとレイヤで差分を出して、それを送ることができる。そのように、外観特性情報を画像として送ってもよいし、例えば、鏡面反射成分の座標、大きさ、強さなどのメタデータとして送られてもよい。また、鏡面反射は、画像として送っておき、異なる外観特性情報をメタデータとして送ることも可能である。
【０１３３】
なお、出力側装置２２の画像復号部４１においては、符号化データが復号されて生成された画像とメタデータによって画像が復元される。
【０１３４】
図１２を参照して、拡散反射と鏡面反射に分けて符号化する例について説明する。
【０１３５】
入力画像には、反射光として、拡散反射成分と鏡面反射成分がある。反射光が入った入力画像から、照明による反射光の影響（画像の変化）取り除いたものである拡散反射成分のレイヤと、取り除いた反射光の影響である鏡面反射成分のレイヤとに分けて符号化する。
【０１３６】
これにより、不要な情報が除かれるので、符号化効率を向上させることができる。
【０１３７】
図１３を参照して、幾何学形状、光学的特性、照明に分けて符号化する例について説明する。
【０１３８】
左側の光るりんごの画像を、幾何学形状のレイヤ、照明光情報のレイヤ、および光学的特性（反射成分）のレイヤに分けて符号化する。
【０１３９】
これにより、不要な情報が除かれるので、符号化効率を向上させることができる。
【０１４０】
[入力側処理]
次に、図１４のフローチャートを参照して、図１１の入力側装置２１による入力側処理について説明する。
【０１４１】
ステップＳ１２１において、撮影環境情報取得部３１は、被写体の画像の撮影し、被写体の画像を入力する。撮影環境情報取得部３１は、入力した入力画像を、撮影環境情報解析部３２に供給する。
【０１４２】
ステップＳ１２２において、撮影環境情報取得部３１および撮影環境情報解析部３２は、計測処理を行う。この計測処理の詳細は、図５を参照して上述した計測処理と基本的に同じ処理であり、繰り返しになるので省略される。ステップＳ１２２の処理により、外観特性情報（被写体の反射特性、撮影環境光、被写体形状、および被写体の材質など）が計測される。
【０１４３】
撮影環境情報解析部３２は、ステップＳ１２３において、外観特性情報をメタデータ化する。撮影環境情報解析部３２は、外観特性情報を、入力画像とともに、レイヤ化部７１に出力する。なお、メタデータ化しない場合には、ステップＳ１２３の処理は省略される。
【０１４４】
ステップＳ１２４において、レイヤ化部７１は、外観特性情報により画像をレイヤ化する。すなわち、レイヤ化部７１は、入力画像を外観特性情報毎にレイヤ化し、メタデータ化された外観特性情報とレイヤ化された画像を、画像符号化部３３に供給する。
【０１４５】
画像符号化部３３は、ステップＳ１２５において、レイヤ化された画像を符号化（レイヤコーディング）して、ステップＳ１２６において、符号化された画像を、メタデータ化された外観特性情報とともに、出力側装置２２に伝送する。
【０１４６】
以上のように、被写体の外観特性情報毎にレイヤ化し、伝送することで、符号化効率を向上させることができる。
【０１４７】
なお、例えば、HDR（ハイダイナミックレンジ）は単純な輝度だけであるが、（鏡面）反射特性の場合、物理的なところを加味しているので、さらに圧縮できる。例えば、どのくらい鏡面反射がベースと比したゲインを送ることで、エンハンスメントレイヤを復元することができる。
【０１４８】
また、図１２の例においては、照明光の色はあったが、輝度と色の両方を符号化する必要があった。これに対して、例えば、図１５の例に示されるように、鏡面反射性成分を構成している照明光の色を分離して、それをメタデータとして伝送することが可能である。このとき、照明光の色を分離することで、鏡面反射成分は輝度のみの情報となる。
【０１４９】
図１５の例の場合、例えば、図１４のステップＳ１２３において、照明光の色がメタデータ化される。そして、画像は、ステップＳ１２４において、拡散反射成分のレイヤと鏡面反射成分(輝度)のレイヤに分けられ、ステップＳ１２５において、レイヤコーディングされて、ステップＳ１２６において、拡散反射成分と鏡面反射成分（輝度）毎にレイヤコーディングされた画像とメタデータ化された照明光の色が伝送される。
【０１５０】
このように、鏡面反射成分の画像を輝度情報だけで構成することにより、さらに、符号化効率が向上し、画像サイズも削減できる。
【０１５１】
［画像処理装置の他の構成例］
図１６は、本開示を適用した画像処理装置の他の実施の形態の構成を表している。図１６の例においては、図１１の例と同様に、レイヤコーディングが行われ、それに対して、出力側において、被写体特性解析および特性情報統合の処理を省略する例が示されている。
【０１５２】
図１６の画像処理装置８１は、入力側装置６１を備える点が図１１の画像処理装置５１と共通している。図１６の画像処理装置８１は、出力側装置２２が出力側装置９１に入れ替わった点が、図１１の画像処理装置５１と異なっている。
【０１５３】
図１６の出力側装置９１は、画像復号部４１、視環境情報解析部４４、特性制御部４５、および画像合成部４６を備える点は、図１１の出力側装置２２と共通している。図１６の出力側装置９１は、被写体特性解析部４２、および特性情報統合部４３が除かれた点が、図１１の出力側装置２２と異なっている。
【０１５４】
すなわち、画像復号部４１は、符号化データと外観特性情報とを受け取る。画像復号部４１は、符号化データを復号して、外観特性情報に基づいて画像を生成し、生成された画像を画像合成部４６に供給する。また、画像復号部４１は、外観特性情報を、特性制御部４５に供給する。
【０１５５】
特性制御部４５は、制御パラメータとして、画像復号部４１からの外観特性情報を用いる。具体的には、例えば、特性制御部４５は、画像復号部４１からの制御パラメータに基づいて、画質を変えたり、反射特性を調整したり、形状を変えたりなど、質感を制御するための処理内容を決定する。特性制御部４５は、決定した処理内容の情報を、画像合成部４６に供給し、画像合成部４６に質感制御を行わせる。さらに、特性制御部４５は、視環境パラメータに応じて、画像合成部４６に質感制御を行わせ、質感制御を最適化する。
【０１５６】
画像合成部４６は、特性制御部４５の制御のもと、画像復号部４１からの入力画像を再合成（レンダリング）して、調整して、再合成結果を出力画像として出力する。
【０１５７】
以上のように、入力画像を外観特性情報により分離し、画像符号化して伝送することにより、出力側においては、被写体特性解析、特性情報統合の処理を省略することができる。これにより、処理コストを低減できる。
【０１５８】
［出力側装置の処理］
次に、図１７のフローチャートを参照して、図１６の出力側装置９１の出力側の処理について説明する。
【０１５９】
ステップＳ１４１において、画像復号部４１は、符号化データと外観特性情報とを受け取る。画像復号部４１は、ステップＳ１４２において、符号化データを復号して、外観特性情報に基づいて画像を生成し、生成された画像を画像合成部４６に供給する。また、画像復号部４１は、外観特性情報を、特性制御部４５に供給する。
【０１６０】
ステップＳ１４３において、視環境情報解析部４４および特性制御部４５は、画像を視聴する際の環境である視環境情報に基づく処理を行う。この視環境情報に基づく処理の詳細は、図８を参照して上述した処理と基本的に同様の処理を行うため、省略される。ステップＳ１４３の処理により、視環境情報に基づく質感制御の処理内容が決定される。
【０１６１】
ステップＳ１４４において、特性制御部４５は、被写体の材質に基づく反射特性調整処理を行う。この反射特性調整処理は、図９を参照して上述した処理と基本的に同様であり、その説明は繰り返しになるので省略される。なお、このとき、画像復号部４１からの外観特性情報のうち、材質および反射特性が参照される。ステップＳ１４４の処理により、反射特性に基づく質感制御の処理内容が決定される。
【０１６２】
ステップＳ１４５において、視環境情報解析部４４および特性制御部４５は、視線情報に基づく処理を行う。この視線情報に基づく処理は、図１０を参照して後述した処理と基本的に同様な処理であり、その説明は繰り返しになるので省略される。ステップＳ１４５の処理により、視線情報に基づく質感制御の処理内容が決定される。
【０１６３】
ステップＳ１４６において、画像合成部４６は、決定された質感制御の処理内容に基づいて、入力画像を再合成する。すなわち、図１６の例の場合、視環境光のコントラスト調整、画像の材質に基づく反射特性の調整、視線情報に基づく調整により、被写体の画像の質感が制御される。
【０１６４】
以上のように、入力側から、入力画像と撮影時の情報とが外観特性情報として伝送されてきて、出力側において、それらが用いられて、画像における被写体の質感が制御される。したがって、図１７に示されるように、被写体特性解析、特性情報統合の処理を省略可能であるので、処理コストを低減することができる。
【０１６５】
＜４．第３の実施の形態＞
［画像処理装置の他の構成例］
図１８は、本開示を適用した画像処理装置の他の実施の形態の構成を表している。図１８の例においては、外観特性情報として、オブジェクト情報（位置、大きさ、輝度など）をメタデータ化して伝送する例が示されている。
【０１６６】
図１８の画像処理装置１１１は、入力側装置２１を備える点が図３の画像処理装置１１と共通している。図１８の画像処理装置１１１は、出力側装置２２が出力側装置１２１に入れ替わった点が、図３の画像処理装置１１と異なっている。
【０１６７】
図１８の出力側装置１２１は、画像復号部４１、特性情報統合部４３、視環境情報解析部４４、特性制御部４５、および画像合成部４６を備える点は、図３の出力側装置２２と共通している。図１８の出力側装置１２１は、被写体特性解析部４２が除かれた点と、事前知識データベース１３１およびオブジェクト生成部１３２が追加された点が、図３の出力側装置２２と異なっている。
【０１６８】
すなわち、入力側装置２１からは、符号化データとともに、外観特性情報として、オブジェクト情報（位置、大きさ、輝度など）、材質情報、照明情報、反射特性情報、撮影情報などがメタデータとして伝送されてくる。
【０１６９】
画像復号部４１は、それらを受け取り、符号化データを復号して画像を生成し、生成された画像と外観特性情報を事前知識データベース１３１に供給する。また、画像復号部４１は、外観特性情報を、特性情報統合部４３に供給し、生成された画像を画像合成部４６に供給する。
【０１７０】
事前知識データベース１３１は、材質、テクスチャ情報、ストラクチャ情報、芝生、スタジアム情報などのデータベースで構成されている。なお、表示デバイス（2K用、4K用、多機能携帯電話機用など）に合わせた事前知識データベース１３１を変えることもできる。
【０１７１】
オブジェクト生成部１３２は、画像とオブジェクト情報とを事前知識データベース１３１を介して受け取ると、オブジェクト情報から、事前知識データベース１３１を参照して、パターンマッチング処理やCG処理によりオブジェクトを生成する。オブジェクト生成部１３２は、生成したオブジェクトを特性情報統合部４３に供給する。
【０１７２】
特性情報統合部４３は、画像復号部４１からの外観特性情報と、オブジェクト生成部１３２からのオブジェクト情報とを統合し、被写体に関する物理特性パラメータとして、特性制御部４５に供給する。
【０１７３】
特性制御部４５は、制御パラメータとして、特性情報統合部４３からの被写体に関する物理特性パラメータと、視環境情報解析部４４からの視環境パラメータとを用いる。具体的には、例えば、特性制御部４５は、特性情報統合部４３からの物理特性パラメータに基づいて、画質を変えたり、反射特性を調整したり、形状を変えたりなど、質感を制御するための処理内容を決定する。特性制御部４５は、決定した処理内容の情報を、画像合成部４６に供給し、画像合成部４６に質感制御を行わせる。さらに、特性制御部４５は、視環境パラメータに応じて、画像合成部４６に質感制御を行わせ、質感制御を最適化する。
【０１７４】
画像合成部４６は、特性制御部４５の制御のもと、撮影環境情報取得部３１からの入力画像を再合成（レンダリング）して、調整して、再合成結果を出力画像として出力する。
【０１７５】
図１９乃至図２１の例においては、事例１の場合に用いられる画像が示されている。図１９の例においては、宝石と化粧瓶の金属部分の画像が示されている。図２０の例においては、金属の懐中時計と皮の手袋の画像が示されている。図２１の例においては、葉につく雫の画像が示されている。
【０１７６】
このような宝石や金属部分、水、皮などの材質情報、位置、大きさ、輝度などが外観特性情報（メタデータ）として伝送されてくる。そして、オブジェクト生成部１３２により、事前知識データベース１３１が利用されて、よりリアルな宝石や金属が生成される。なお、ここで、宝石や金属部分、水、皮などをCG画像にしてしまうことも可能である。
【０１７７】
図２２の例においては、事例２の場合に用いられる画像として、照明光で照らされるライブの画像が示されている。
【０１７８】
このようなライブの画像とともに、照明光の情報が外観特性情報（メタデータ）として伝送されてくる。オブジェクト生成部１３２において異なる色の照明光に変えることで、全く印象の違う画像に作り変えることが可能である。
【０１７９】
図２３の例においては、事例３の場合に用いられる画像として、サッカーのスタジアムでの試合の画像が示されている。
【０１８０】
このような画像とともに、サッカーやテニスなどスポーツのスタジアム情報と、芝生の位置情報（ハーフウェイラインやサイドラインなど）が外観特性情報（メタデータ）として伝送されてくる。事前知識データベース１３１に、各スタジアムの芝生情報などのデータベースを用意しておき、オブジェクト生成部１３２により芝生の部分が生成される。
【０１８１】
これにより、早い動きで芝生のテクスチャのつぶれが起きなくなる。また、日陰になっていて見えにくい箇所が見えやすくなるという効果がある。
【０１８２】
図２４は、事例１乃至事例３の場合の外観特性情報の例が示されている。外観特性情報は、例えば、オブジェクト情報、照明情報、材質情報、反射特性情報、撮影情報などが含まれて構成されている。
【０１８３】
事例１の場合、オブジェクト情報として、単純な形状のとき、座標データが、複雑な形状のとき、マスクデータが送られてくる。また、オブジェクト情報として、オブジェクトの全体的な輝度の情報と、オブジェクトの全体的な色の情報が送られてくる。材質情報として材質の種類が送られてくる。
【０１８４】
事例２の場合、照明情報として、照明色と照明方向が送られてくる。材質情報として材質の種類が送られてくる。反射特性情報として鏡面反射成分や拡散反射成分が送られてくる。
【０１８５】
事例３の場合、芝生部分とライン部分の座標データやマスクデータが送られてくる。撮影情報としてコート情報、季節、天気、時間の情報、距離・ピント情報、およびスタジアム情報が送られてくる。
【０１８６】
なお、スタジアム情報については、スタジアムごとにコートや観客席、カメラ位置などをモデリングデータとして事前知識データベース１３１に用意しておき、それらを用いて、選手・ボール以外をCG表現にすることに用いられる。
【０１８７】
次に、図２５のフローチャートを参照して、事例１の場合の出力側処理について説明する。
【０１８８】
図２４に示されたように、入力側装置２１から、オブジェクト情報として、単純な形状のとき、座標データが、複雑な形状のとき、マスクデータが送られてくる。また、オブジェクト情報として、オブジェクトの全体的な輝度の情報と、オブジェクトの全体的な色の情報が送られてくる。材質情報として材質の種類が送られてくる。
【０１８９】
ステップＳ２０１において、画像復号部４１は、符号化データと外観特性情報とを受け取る。ステップＳ２０２において、画像復号部４１は、符号化データを復号して画像を生成し、生成された画像と外観特性情報を事前知識データベース１３１に供給する。オブジェクト生成部１３２は、それらの情報を、事前知識データベース１３１を介して受け取る。また、画像復号部４１は、外観特性情報を、特性情報統合部４３に供給し、生成された画像を画像合成部４６に供給する。
【０１９０】
ステップＳ２０３において、オブジェクト生成部１３２は、オブジェクト情報の座標データまたはマスクデータを参照し、オブジェクトを生成する領域を決定する。
【０１９１】
ステップＳ２０４において、オブジェクト生成部１３２は、材質の種類に基づいて、事前知識データベース１３１の材質データベースから、オブジェクトのパターンを決定する。
【０１９２】
ステップＳ２０５において、オブジェクト生成部１３２、特性情報統合部４３、特性制御部４５、画像合成部４６は、画像のパターンの輝度を調整する。すなわち、オブジェクト生成部１３２は、オブジェクト情報の輝度に基づいて、画像のパターンの輝度を決定し、決定されたパターンの輝度を特性情報統合部４３に供給する。特性情報統合部４３は、オブジェクト生成部１３２により決定されたオブジェクトの輝度と外観特性情報とを統合し、被写体に関する物理特性パラメータとして、特性制御部４５に供給する。特性制御部４５は、物理特性パラメータに基づいて、画像合成部４６を制御し、画像のパターンの輝度を調整させる。
【０１９３】
ステップＳ２０６において、オブジェクト生成部１３２、特性情報統合部４３、特性制御部４５、画像合成部４６は、画像のパターンの色を調整する。すなわち、オブジェクト生成部１３２は、オブジェクト情報の色に基づいて、画像のパターンの色を決定し、決定されたパターンの色を特性情報統合部４３に供給する。特性情報統合部４３は、オブジェクト生成部１３２により決定されたオブジェクトの色と外観特性情報とを統合し、被写体に関する物理特性パラメータとして、特性制御部４５に供給する。特性制御部４５は、物理特性パラメータに基づいて、画像合成部４６を制御し、画像のパターンの色を調整させる。
【０１９４】
ステップＳ２０７において、オブジェクト生成部１３２、特性情報統合部４３、特性制御部４５、画像合成部４６は、材質の種類と鏡面反射情報に応じて反射特性を調整する。すなわち、オブジェクト生成部１３２は、材質の種類と鏡面反射情報に応じて反射特性を決定し、決定された反射特性を特性情報統合部４３に供給する。特性情報統合部４３は、オブジェクト生成部１３２により決定された反射特性と外観特性情報とを統合し、被写体に関する物理特性パラメータとして、特性制御部４５に供給する。特性制御部４５は、物理特性パラメータに基づいて、画像合成部４６を制御し、画像の反射特性を調整させる。
【０１９５】
以上のようにすることで、オブジェクト生成部において、事前知識データベースが利用されて、図１９に示されるようによりリアルな宝石や金属が生成される。なお、ここで、CG画像にしてしまうことも可能である。
【０１９６】
次に、図２６のフローチャートを参照して、事例２の場合の出力側処理について説明する。
【０１９７】
図２４を参照して上述したように、事例２の場合、照明情報として、照明色と照明方向が送られてくる。材質情報として材質の種類が送られてくる。反射特性情報として鏡面反射成分や拡散反射成分が送られてくる。
【０１９８】
ステップＳ２２１において、画像復号部４１は、符号化データと外観特性情報とを受け取る。ステップＳ２２２において、画像復号部４１は、符号化データを復号して画像を生成し、生成された画像と外観特性情報を事前知識データベース１３１に供給する。オブジェクト生成部１３２は、それらの情報を、事前知識データベース１３１を介して受け取る。また、画像復号部４１は、外観特性情報を、特性情報統合部４３に供給し、生成された画像を画像合成部４６に供給する。
【０１９９】
ステップＳ２２３において、オブジェクト生成部１３２、特性情報統合部４３、特性制御部４５、画像合成部４６は、照明色が違う色になるようにホワイトバランスを調整する。すなわち、オブジェクト生成部１３２は、照明色が違う色になるようにホワイトバランスを決定し、決定されたホワイトバランスを特性情報統合部４３に供給する。特性情報統合部４３は、オブジェクト生成部１３２により決定されたホワイトバランスと外観特性情報とを統合し、被写体に関する物理特性パラメータとして、特性制御部４５に供給する。特性制御部４５は、物理特性パラメータに基づいて、画像合成部４６を制御し、画像のホワイトバランスを調整させる。
【０２００】
ステップＳ２２４において、オブジェクト生成部１３２、特性情報統合部４３、特性制御部４５、画像合成部４６は、反射成分の種類によって照明色の反映を調整する。すなわち、オブジェクト生成部１３２は、反射成分の種類によって照明色の反映度合いを決定し、決定された照明色の反映度合いを特性情報統合部４３に供給する。例えば、鏡面反射成分の場合、照明色を強く反映させ、拡散反射成分の場合、照明色を弱く反映させるように決定する。
【０２０１】
特性情報統合部４３は、オブジェクト生成部１３２により決定された照明色の反映度合いと外観特性情報とを統合し、被写体に関する物理特性パラメータとして、特性制御部４５に供給する。特性制御部４５は、物理特性パラメータに基づいて、画像合成部４６を制御し、反射成分の種類によって照明色の反映を調整する。
【０２０２】
ステップＳ２２５において、オブジェクト生成部１３２、特性情報統合部４３、特性制御部４５、画像合成部４６は、照明方向によって陰影強調を調整する。すなわち、オブジェクト生成部１３２は、照明方向によって陰影強調を決定し、決定された陰影強調を特性情報統合部４３に供給する。
【０２０３】
特性情報統合部４３は、オブジェクト生成部１３２により決定された陰影強調と外観特性情報とを統合し、被写体に関する物理特性パラメータとして、特性制御部４５に供給する。特性制御部４５は、物理特性パラメータに基づいて、画像合成部４６を制御し、陰影強調を行う。
【０２０４】
以上のように、違う色の照明に変えることができる。これにより、画像を全く印象の違う印象の画像に作り変えることができる。
【０２０５】
次に、図２７のフローチャートを参照して、事例３の場合の出力側処理について説明する。
【０２０６】
図２４を参照して上述したように、事例３の場合、芝生部分とライン部分の座標データやマスクデータが送られてくる。撮影情報としてコート情報、季節、天気、時間の情報、距離・ピント情報、およびスタジアム情報が送られてくる。
【０２０７】
なお、スタジアム情報については、スタジアムごとにコートや観客席、カメラ位置などをモデリングデータとして事前知識データベース１３１に用意しておき、それらを用いて、選手・ボール以外をCG表現にすることに用いられる。
【０２０８】
ステップＳ２４１において、画像復号部４１は、符号化データと外観特性情報とを受け取る。ステップＳ２４２において、画像復号部４１は、符号化データを復号して画像を生成し、生成された画像と外観特性情報を事前知識データベース１３１に供給する。オブジェクト生成部１３２は、それらの情報を、事前知識データベース１３１を介して受け取る。また、画像復号部４１は、外観特性情報を、特性情報統合部４３に供給し、生成された画像を画像合成部４６に供給する。
【０２０９】
ステップＳ２４３において、オブジェクト生成部１３２は、オブジェクト情報の座標データまたはマスクデータに基づいて、芝生部分、ライン部分を生成する領域を決定する。
【０２１０】
ステップＳ２４４において、オブジェクト生成部１３２は、撮影情報のコート情報に基づいて、使用しているコートに応じた芝生のデータベースを、事前知識データベース１３１から決定する。
【０２１１】
ステップＳ２４５において、オブジェクト生成部１３２、特性情報統合部４３、特性制御部４５、画像合成部４６は、撮影情報の季節、天気、時間に基づいて、季節、天気、時間に応じて、芝生の輝度や色を調整する。すなわち、オブジェクト生成部１３２は、季節、天気、時間に応じて、芝生の輝度や色を決定し、決定された芝生の輝度や色を特性情報統合部４３に供給する。特性情報統合部４３は、オブジェクト生成部１３２により決定された芝生の輝度や色と外観特性情報とを統合し、被写体に関する物理特性パラメータとして、特性制御部４５に供給する。特性制御部４５は、物理特性パラメータに基づいて、画像合成部４６を制御し、画像の芝生の輝度や色を調整させる。
【０２１２】
ステップＳ２４６において、オブジェクト生成部１３２、特性情報統合部４３、特性制御部４５、画像合成部４６は、芝生の大きさ、周波数特性を調整する。すなわち、オブジェクト生成部１３２は、距離およびピント情報に基づいて、芝生の大きさ、周波数特性を決定し、決定された芝生の大きさ、周波数特性を特性情報統合部４３に供給する。
【０２１３】
特性情報統合部４３は、オブジェクト生成部１３２により決定された芝生の大きさ、周波数特性と外観特性情報を統合し、被写体に関する物理特性パラメータとして、特性制御部４５に供給する。特性制御部４５は、物理特性パラメータに基づいて、画像合成部４６を制御し、芝生の大きさ、周波数特性を調整する。
【０２１４】
以上のようにすることで、例えば、早い動きにより生じていた芝生のテクスチャのつぶれが起こることを抑制できる。また、例えば、日陰になっていて見えにくい箇所が見えやすくなる。
【０２１５】
なお、事前知識データベース１３１については、表示デバイス固有の特性に応じて、使用するデータベースを変更することが可能である。表示デバイス固有の特性とは、例えば、解像度、色域、コントラスト（ピーク輝度、黒側再現性）、ビット幅などがあげられる。また、データベースとしては、4K用の高精細なデータベースや、xvYCCなどの広色域のデータベースがあるとよい。
【０２１６】
以上により、本技術によれば、よりリアルな映像表現が可能になる。
【０２１７】
また、本技術によれば、拡散反射と鏡面反射や、テクスチャとストラクチャの情報のように、被写体の特性ごとにレイヤ化して伝送することで、符号化効率を向上できる。
【０２１８】
また、本技術によれば、復号後に特性情報を推定する必要が低くなり、処理コストを削減できる。
【０２１９】
なお、以上においては、第２の実施の形態において、特性情報毎のレイヤ化について説明し、第３の実施の形態において、オブジェクト情報の利用について説明してきたが、１つの画像処理装置において、両者の例を行うようにしてもよい。
【０２２０】
また、上記説明においては、入力側装置と出力側装置で１つの画像処理装置に含まれる例について記載したが、入力側装置と出力側装置は、それぞれ単独で１つの画像処理装置を構成することも可能である。
【０２２１】
＜５．コンピュータ＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
【０２２２】
図２８は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータのハードウエアの構成例を示すブロック図である。
【０２２３】
パーソナルコンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０２２４】
バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。
【０２２５】
入力部５０６は、キーボード、マウス、マイクロホンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
【０２２６】
以上のように構成されるパーソナルコンピュータ５００では、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行する。これにより、上述した一連の処理が行われる。
【０２２７】
コンピュータ（CPU５０１）が実行するプログラムは、リムーバブルメディア５１１に記録して提供することができる。リムーバブルメディア５１１は、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディア等である。また、あるいは、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０２２８】
コンピュータにおいて、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。
【０２２９】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要な段階で処理が行われるプログラムであっても良い。
【０２３０】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２３１】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【０２３２】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２３３】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０２３４】
なお、本技術は以下のような構成も取ることができる。
（１）画像の被写体の外観に関する特性を表す外観特性情報を取得する外観情報取得部と、
前記外観情報取得部により取得された外観特性情報に基づいて、前記画像をレイヤコーディングする符号化部と
を備える画像処理装置。
（２）  前記符号化部は、前記外観特性情報を、レイヤ毎にリンクさせる
前記（１）に記載の画像処理装置。
（３）  前記符号化部は、前記外観特性情報を、メタデータとして、前記符号化部により符号化された画像と共に伝送する
前記（１）または（２）に記載の画像処理装置。
（４）  前記外観特性情報は、前記被写体の撮影時に取得される情報である
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）  前記外観特性情報は、前記被写体の反射特性情報である
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）  前記外観特性情報は、前記被写体の鏡面反射特性情報である
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）  前記外観特性情報は、前記被写体の拡散反射特性情報である
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）  前記符号化部は、前記画像を鏡面反射成分のレイヤと拡散反射成分のレイヤとに分けて符号化する
前記（７）に記載の画像処理装置。
（９）  前記外観特性情報は、前記被写体の照明光の光源に関する情報である
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（１０）前記外観特性情報は、前記被写体の形状に関する情報である
前記（９）に記載の画像処理装置。
（１１）前記符号化部は、前記画像を照明光のレイヤと形状のレイヤとに分けて符号化する
前記（１０）に記載の画像処理装置。
（１２）前記外観特性情報は、前記被写体の材質に関する情報である
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（１３）  前記外観特性情報は、前記画像から取得される情報である
前記（１）または（２）に記載の画像処理装置。
（１４）  前記外観特性情報は、前記画像のテクスチャ情報である
前記（１）、（２）、または（１３）のいずれかに記載の画像処理装置。
（１５）  前記外観特性情報は、前記画像のストラクチャ情報である
前記（１）、（２）、または（１３）のいずれかに記載の画像処理装置。
（１６）  画像処理装置が、
画像の被写体の外観に関する特性を表す外観特性情報を取得し、
取得された外観特性情報に基づいて、前記画像をレイヤコーディングする
画像処理方法。
（１７）  レイヤコーディングされた画像の被写体の外観に関する特性を表す外観特性情報に基づいて、前記画像を復号する復号部と、
前記外観特性情報を用いて、前記復号部により復号された画像における被写体の質感を制御する質感制御部と
を備える画像処理装置。
（１８）  画像処理装置が、
レイヤコーディングされた画像の被写体の外観に関する特性を表す外観特性情報に基づいて、前記画像を復号し、
前記外観特性情報を用いて、復号された画像における被写体の質感を制御する
画像処理方法。
【符号の説明】
【０２３５】
１  計測・推測ブロック，  ２  実世界モデリングブロック，  ３  質感制御ブロック，  ４  レンダリング・レタッチブロック，  １１  画像処理装置，２１  入力側装置，  ２２  出力側装置，  ３１  撮影環境情報取得部，  ３２  撮影環境情報解析部，  ３３  画像符号化部，  ４１  画像復号部，  ４２  被写体特性解析部，  ４３  特性情報統合部，  ４４  視環境情報解析部，  ４５  特性制御部，  ４６  画像合成部，  ５１  画像処理装置
【図１】
2015211306.tif 000003
【図２】
2015211306.tif 000004
【図３】
2015211306.tif 000005
【図４】
2015211306.tif 000006
【図５】
2015211306.tif 000007
【図６】
2015211306.tif 000008
【図７】
2015211306.tif 000009
【図８】
2015211306.tif 000010
【図９】
2015211306.tif 000011
【図１０】
2015211306.tif 000012
【図１１】
2015211306.tif 000013
【図１２】
2015211306.tif 000014
【図１３】
2015211306.tif 000015
【図１４】
2015211306.tif 000016
【図１５】
2015211306.tif 000017
【図１６】
2015211306.tif 000018
【図１７】
2015211306.tif 000019
【図１８】
2015211306.tif 000020
【図１９】
2015211306.tif 000021
【図２０】
2015211306.tif 000022
【図２１】
2015211306.tif 000023
【図２２】
2015211306.tif 000024
【図２３】
2015211306.tif 000025
【図２４】
2015211306.tif 000026
【図２５】
2015211306.tif 000027
【図２６】
2015211306.tif 000028
【図２７】
2015211306.tif 000029
【図２８】
2015211306.tif 000030