(57)【要約】【課題】映像の質感を、視認者に伝えたい映像の質感に変化させる映像質感変換装置を提供する。【解決手段】映像質感変換装置１は、映像の特徴量の応じた複数の生成過程モデル（特徴量モデル）、および、映像の撮影から表示までの変換処理を特定する変換関数および当該変換関数の係数をパラメータとした当該映像の観測過程モデル（変換モデル）を予め記憶するモデル記憶手段１０と、指定された生成過程モデルに、指定された統計量を適用して変換関数の変換を行ったときの統計量と、指定された統計量との誤差が最小となる観測過程モデルの変換関数のパラメータ値を計算する理想変換パラメータ値計算手段１３と、理想変換パラメータ値計算手段１３で計算されたパラメータ値を適用して、入力された映像に対して変換関数の演算を行う変換手段２０と、を備える。【選択図】図２
2014164690.tif 000002
【特許請求の範囲】
【請求項１】
映像の質感を変化させる映像質感変換装置であって、
映像の特徴量の統計量をパラメータとした当該特徴量の分布である確率分布を、特徴量モデルとして当該特徴量に応じて複数予め記憶する特徴量モデル記憶手段と、
映像の撮影から表示までの予め定めた変換処理を特定する変換関数および当該変換関数の係数をパラメータとした当該映像の画素値の分布である確率分布を、変換モデルとして予め記憶する変換モデル記憶手段と、
外部から、前記特徴量モデルおよびその統計量の指定を受け付ける統計量指定手段と、
前記指定された特徴量モデルに前記指定された統計量を適用して前記変換モデルの変換関数の変換を行ったときの統計量と、前記指定された統計量との誤差が最小となる前記変換関数のパラメータ値を計算する理想変換パラメータ値計算手段と、
この理想変換パラメータ値計算手段で計算されたパラメータ値を適用して、入力された映像に対して前記変換関数の演算を行う変換手段と、
を備えることを特徴とする映像質感変換装置。
【請求項２】
前記理想変換パラメータ値計算手段は、
前記指定された特徴量モデルと前記変換モデルとに基づいて、勾配法により、前記指定された統計量を用いたときの前記変換関数の係数のパラメータ値の誤差勾配を計算する誤差勾配計算手段と、
この誤差勾配計算手段で計算された誤差勾配で、前記変換関数の係数のパラメータ値を更新するパラメータ値更新手段と、
前記誤差勾配の大きさが予め定めた閾値よりも小さくなったときに、前記誤差勾配が収束し、前記誤差が最小になったと判定する収束判定手段と、を備え、
前記誤差勾配計算手段が、前記収束判定手段で前記誤差勾配が収束したと判定されるまで、前記更新されたパラメータ値により誤差勾配を再計算することを特徴とする請求項１に記載の映像質感変換装置。
【請求項３】
コンピュータを、請求項１または請求項２に記載の映像質感変換装置として機能させるための映像質感変換プログラム。
【請求項４】
映像の質感を再生側で変化させるためのパラメータを生成する変換パラメータ生成装置であって、
映像の特徴量の統計量をパラメータとした当該特徴量の分布である確率分布を、特徴量モデルとして前記特徴量に応じて複数予め記憶する特徴量モデル記憶手段と、
映像の撮影から表示までの予め定めた変換処理を特定する変換関数および当該変換関数の係数をパラメータとした当該映像の画素値の分布である確率分布を、変換モデルとして予め記憶する変換モデル記憶手段と、
外部から、前記特徴量モデルおよびその統計量の指定を受け付ける統計量指定手段と、
前記指定された特徴量モデルに前記指定された統計量を適用して前記変換モデルの変換関数の変換を行ったときの統計量と、前記指定された統計量との誤差が最小となる前記変換関数のパラメータ値を計算する理想変換パラメータ値計算手段と、
入力された映像と、前記再生側のパラメータとなる前記変換関数および前記理想変換パラメータ値計算手段で計算された前記変換関数の係数のパラメータ値とを多重化して符号化した多重符号化データを生成する多重符号化手段と、
を備えることを特徴とする変換パラメータ生成装置。
【請求項５】
コンピュータを、請求項４に記載の変換パラメータ生成装置として機能させるための変換パラメータ生成プログラム。
【請求項６】
請求項４に記載の変換パラメータ生成装置で生成された多重符号化データを復号し、映像の質感を変化させる映像質感近似変換装置であって、
前記多重符号化データを復号し、映像と、変換関数および当該変換関数の係数のパラメータ値とに分離する復号分離手段と、
この復号分離手段で分離された映像を、前記パラメータ値を適用した前記変換関数で変換した映像と、前記分離された映像を、再生側の既知の変換関数で変換した映像との誤差が最小となる前記再生側の変換関数のパラメータ値を計算する近似変換パラメータ値計算手段と、
この近似変換パラメータ値計算手段で計算されたパラメータの値を適用して、前記分離された映像に対して前記再生側の変換関数の演算を行う変換手段と、
を備えることを特徴とする映像質感近似変換装置。
【請求項７】
前記近似変換パラメータ値計算手段は、
前記復号分離手段で分離された映像を、前記分離された変換関数およびパラメータ値を適用して変換する理想パラメータ変換手段と、
この理想パラメータ変換手段で生成された映像と、前記復号分離手段で分離された映像を前記再生側の変換関数で変換した映像とに基づいて、勾配法により、前記再生側の変換関数のパラメータ値の誤差勾配を計算する誤差勾配計算手段と、
この誤差勾配計算手段で計算された誤差勾配で、前記再生側の変換関数の係数のパラメータ値を更新するパラメータ値更新手段と、
前記誤差勾配の大きさが予め定めた閾値よりも小さくなったときに、前記誤差勾配が収束し、前記誤差が最小になったと判定する収束判定手段と、を備え、
前記誤差勾配計算手段が、前記収束判定手段で前記誤差勾配が収束したと判定されるまで、前記更新されたパラメータ値により誤差勾配を再計算することを特徴とする請求項６に記載の映像質感近似変換装置。
【請求項８】
コンピュータを、請求項６または請求項７に記載の映像質感近似変換装置として機能させるための映像質感近似変換プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像が有する質感を変化させる映像質感変換装置、変換パラメータ生成装置、映像質感近似変換装置、および、それらのプログラムに関する。
【背景技術】
【０００２】
一般に、人間が映像を見て感じる質感（映し出された物体の材質感、撮影環境の特徴等）は、映像の特徴量に対する統計量と深く関連していることが知られている（非特許文献１参照）。
例えば、図８（ａ）に示すように、映像の特徴量として、空間周波数の分布（傾き）が（ａ−１），（ａ−２）のように異なることで、映像の滑らかさ（鮮鋭度）が変化する。また、例えば、図８（ｂ）に示すように、映像の特徴量として、空間周波数成分同士の相関が（ｂ−１），（ｂ−２）のように異なることで、映像のテクスチャ構造の質感が変化する。また、例えば、図８（ｃ）に示すように、映像の特徴量として、輝度分布が（ｃ−１），（ｃ−２）のように異なることで、映像の面特性（光沢感）が変化する。
このように、映像の特徴量に対する統計量は、人間が映像を見て感じる質感に影響する。なお、ここに例示した統計量以外にも、多様な統計量が質感認知に影響することが知られている。
【０００３】
また、映像が有する空間周波数スペクトラムの特徴量が、映像の主観的な鮮鋭度に関わる性質に基づいて、映像の主観的な鮮鋭度を向上させる手法が知られている（特許文献１参照）。
この特許文献１に記載された手法は、入力画像と当該入力画像を平滑化した平滑化画像との差分にゲインを乗算して、入力画像と加算することで、エッジ周辺の空間周波数を変化させて、鮮鋭度を向上させている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１８７１１８号公報
【非特許文献】
【０００５】
【非特許文献１】Portilla, J., & Simoncelli, E. P. E. (2000). A parametric texture model based on joint statistics of complex wavelet coefficients. International Journal of Computer Vision, 40(1), 49-70.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載された手法は、鮮鋭度を向上させる対象が、カメラ等の撮影環境を経て映像上に映し出された被写体である。そのため、特許文献１に記載された手法は、たとえ、映像上の被写体の鮮鋭度を向上させても、撮影環境等によっては、視認者が実際の被写体を視認する場合と鮮鋭度が異なり、質感が損なわれてしまう場合がある。
また、特許文献１に記載された手法では、映像の鮮鋭度を調整することは可能であるが、例えば、光沢感等、他の質感を調整することはできない。
このように、従来の手法では、撮影環境等によって、撮影された映像の質感を、視認者に伝えたい質感の映像に調整することができないという問題がある。
【０００７】
本発明は、このような問題に鑑みてなされたもので、映像の質感を、視認者に伝えたい映像の質感に変化させることが可能な映像質感変換装置、変換パラメータ生成装置、映像質感近似変換装置、および、それらのプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００８】
前記課題を解決するため、請求項１に記載の映像質感変換装置は、映像の質感を変化させる映像質感変換装置であって、特徴量モデル記憶手段と、変換モデル記憶手段と、統計量指定手段と、理想変換パラメータ値計算手段と、変換手段と、を備える構成とした。
【０００９】
かかる構成において、映像質感変換装置は、特徴量モデル記憶手段に、映像の特徴量の統計量をパラメータとした当該特徴量の分布である確率分布を、特徴量モデルとして予め特徴量に応じて複数記憶しておく。この確率分布は、映像の輝度、周波数成分等の特徴量を確率分布で表したものである。
【００１０】
また、映像質感変換装置は、変換モデル記憶手段に、映像の撮影から表示までの予め定めた変換処理を特定する変換関数および当該変換関数の係数をパラメータとした当該映像の画素値の分布である確率分布を、変換モデルとして予め記憶しておく。この確率分布は、ガンマ変換、周波数フィルタ等の映像に対して与えられる既知の変換処理をモデル化したものである。
【００１１】
そして、映像質感変換装置は、統計量指定手段によって、外部から、特徴量モデルおよびその統計量の指定を受け付ける。この指定された特徴量モデルと統計量とによって、映像の質感を特定することができる。例えば、空間周波数分布（特徴量モデル）に対して高周波成分を高める統計量を指定されることで、特徴量モデルは、鮮鋭度を高める方向に働くモデルとなる。
【００１２】
そして、映像質感変換装置は、理想変換パラメータ値計算手段によって、指定された特徴量モデルに指定された統計量を適用して、変換モデルの変換関数の変換を行ったときの統計量と、指定された統計量との誤差が最小となる変換関数のパラメータ値を計算する。すなわち、理想変換パラメータ値計算手段は、映像の特徴量の統計量が、外部から質感を規定するために指定された統計量に最も近くなるような変換関数のパラメータ値を計算する。
【００１３】
そして、映像質感変換装置は、変換手段によって、理想変換パラメータ値計算手段で計算されたパラメータ値を適用して、入力された映像に対して変換モデルの変換関数の演算を行う。これによって、映像質感変換装置は、変換手段で、変換関数により変換された映像の指定された特徴量の統計量を、指定された統計量に近似させて、質感を変化させることができる。
【００１４】
また、請求項２に記載の映像質感変換装置は、請求項１に記載の映像質感変換装置において、理想変換パラメータ値計算手段が、誤差勾配計算手段と、パラメータ値更新手段と、収束判定手段と、を備える構成とした。
【００１５】
かかる構成において、映像質感変換装置は、誤差勾配計算手段によって、指定された特徴量モデルと変換モデルとに基づいて、勾配法により、指定された統計量を用いたときの変換関数の係数のパラメータ値の誤差勾配を計算する。これによって、パラメータ値を更新すべき量（更新量）が計算されることになる。
そして、映像質感変換装置は、パラメータ値更新手段によって、誤差勾配計算手段で計算された誤差勾配で、変換関数の係数のパラメータ値を更新する。
また、映像質感変換装置は、収束判定手段によって、誤差勾配の大きさが予め定めた閾値よりも小さくなったときに、誤差勾配が収束し、誤差が最小になったと判定する。
そして、映像質感変換装置は、誤差勾配計算手段によって、収束判定手段で誤差勾配が収束したと判定されるまで、更新されたパラメータ値により誤差勾配を再計算する。これによって、映像質感変換装置は、誤差が最小となったときの変換関数のパラメータ値を求めることができる。
【００１６】
また、請求項１または請求項２に記載の映像質感変換装置は、コンピュータを、当該装置として機能させるための映像質感変換プログラムで動作させることとしてもよい（請求項３）。
【００１７】
また、請求項４に記載の変換パラメータ生成装置は、映像の質感を再生側で変化させるためのパラメータを生成する変換パラメータ生成装置であって、特徴量モデル記憶手段と、変換モデル記憶手段と、統計量指定手段と、理想変換パラメータ値計算手段と、多重符号化手段と、を備える構成とした。
【００１８】
かかる構成において、変換パラメータ生成装置は、特徴量モデル記憶手段に、映像の特徴量の統計量をパラメータとした当該特徴量の分布である確率分布を、特徴量モデルとして特徴量に応じて複数予め記憶しておく。
また、変換パラメータ生成装置は、変換モデル記憶手段に、映像の撮影から表示までの予め定めた変換処理を特定する変換関数および当該変換関数の係数をパラメータとした当該映像の画素値の分布である確率分布を、変換モデルとして予め記憶しておく。
【００１９】
そして、変換パラメータ生成装置は、統計量指定手段によって、外部から、特徴量モデルおよびその統計量の指定を受け付ける。
そして、変換パラメータ生成装置は、理想変換パラメータ値計算手段によって、指定された特徴量モデルに指定された統計量を適用して、変換モデルの変換関数の変換を行ったときの統計量と、指定された統計量との誤差が最小となる変換関数のパラメータ値を計算する。
【００２０】
また、変換パラメータ生成装置は、多重符号化手段によって、入力された映像と、再生側のパラメータとなる変換関数および理想変換パラメータ値計算手段で計算された変換関数の係数のパラメータ値とを多重化して符号化する。
この変換パラメータ生成装置で生成された多重符号化データは、放送または通信によって再生側に送信することとしてもよいし、記録媒体に蓄積し再生側で読み出すこととしてもよい。
【００２１】
この請求項４に記載の変換パラメータ生成装置は、コンピュータを、当該装置として機能させるための変換パラメータ生成プログラムで動作させることとしてもよい（請求項５）。
【００２２】
また、請求項６に記載の映像質感近似変換装置は、請求項４に記載の変換パラメータ生成装置で生成された多重符号化データを復号し、映像の質感を変化させる映像質感近似変換装置であって、復号分離手段と、近似変換パラメータ値計算手段と、変換手段と、を備える構成とした。
【００２３】
かかる構成において、映像質感近似変換装置は、復号分離手段によって、多重符号化データを復号し、映像と、変換関数および当該変換関数の係数のパラメータ値とに分離する。そして、映像質感近似変換装置は、近似変換パラメータ値計算手段によって、復号分離手段で分離された映像を、パラメータ値を適用した変換関数で変換した映像と、分離された映像を、再生側の既知の変換関数で変換した映像との誤差が最小となる再生側の変換関数のパラメータ値を計算する。
【００２４】
そして、映像質感近似変換装置は、変換手段によって、近似変換パラメータ値計算手段で計算されたパラメータの値を適用して、復号分離手段で分離された映像に対して再生側の変換関数の演算を行う。
これによって、映像質感近似変換装置は、映像の制作側で指定されたパラメータが、再生側に存在しない場合であっても、再生側のパラメータで、質感が近似した映像に変換することができる。
【００２５】
また、請求項７に記載の映像質感近似変換装置は、請求項６に記載の映像質感近似変換装置において、近似変換パラメータ値計算手段が、理想パラメータ変換手段と、誤差勾配計算手段と、パラメータ値更新手段と、収束判定手段と、を備える構成とした。
【００２６】
かかる構成において、映像質感近似変換装置は、理想パラメータ変換手段によって、復号分離手段で分離された映像を、分離された変換関数およびパラメータ値を適用して変換する。これによって、映像の制作側が指定する映像が生成されることになる。しかし、この生成された映像は、映像の制作側が理想とする変換関数を適用したもので、再生側において、ガウス変換や周波数フィルタの有無等によって、再生側の変換処理が異なる。そのため、そのままの映像を再生側で表示しようとしても、再生側では、映像の制作側が理想とする質感を得ることはできない。
【００２７】
そこで、映像質感近似変換装置は、誤差勾配計算手段によって、理想パラメータ変換手段で生成された映像と、復号分離手段で分離された映像を再生側の変換関数で変換した映像とに基づいて、勾配法により、再生側の変換関数のパラメータ値の誤差勾配を計算する。これによって、再生側の変換関数におけるパラメータ値を更新すべき量（更新量）が計算されることになる。
【００２８】
そして、映像質感近似変換装置は、パラメータ値更新手段によって、誤差勾配計算手段で計算された誤差勾配で、再生側の変換関数の係数のパラメータ値を更新する。
また、映像質感近似変換装置は、収束判定手段によって、誤差勾配の大きさが予め定めた閾値よりも小さくなったときに、誤差勾配が収束し、誤差が最小になったと判定する。
【００２９】
そして、映像質感近似変換装置は、誤差勾配計算手段によって、収束判定手段で誤差勾配が収束したと判定されるまで、更新されたパラメータ値により誤差勾配を再計算する。これによって、映像質感近似変換装置は、誤差が最小となったときの再生側の変換関数のパラメータ値を求めることができる。
【００３０】
また、請求項６または請求項７に記載の映像質感近似変換装置は、コンピュータを、当該装置として機能させるための映像質感近似変換プログラムで動作させることとしてもよい（請求項８）。
【発明の効果】
【００３１】
本発明は、以下に示す優れた効果を奏するものである。
請求項１〜３に記載の発明によれば、映像の特徴量に対する統計量を指定することで、当該統計量に応じた質感に映像を変化させることができる。また、本発明によれば、質感に影響を与える任意の統計量を指定することで、映像の鮮鋭度のみならず、種々の質感を変化させることができる。
【００３２】
請求項４〜８に記載の発明によれば、映像の制作側の操作者が映像の特徴量に対する統計量を指定することで、再生側において、当該統計量に応じた質感に映像を変化させることができる。また、本発明によれば、質感に影響を与える任意の統計量を指定することで、映像の鮮鋭度のみならず、種々の質感を変化させることができる。さらに、本発明によれば、映像の制作側と再生側とで、映像が変化する過程（変換処理）が異なる場合であっても、再生側において、映像の制作側の操作者が視認者に提示したい質感に近似した質感を映像に再現することができる。
【図面の簡単な説明】
【００３３】
【図１】本発明の概要を説明するための人間の視知覚モデルを模式的に示した概念図である。
【図２】本発明の第１実施形態に係る映像質感変換装置の構成を示すブロック構成図である。
【図３】本発明の第１実施形態に係る映像質感変換装置の動作を示すフローチャートである。
【図４】本発明の第２実施形態に係る変換パラメータ生成装置および映像質感近似変換装置を含んだ映像質感変換システムにおける各装置の構成を示すブロック構成図である。
【図５】本発明の第２実施形態に係る変換パラメータ生成装置の動作を示すフローチャートである。
【図６】本発明の第２実施形態に係る映像質感近似変換装置の動作を示すフローチャートである。
【図７】本発明の第２実施形態の変形例の構成を示すブロック構成図である。
【図８】映像の特徴量に対する統計量と質感との関係を説明するための説明図である。
【発明を実施するための形態】
【００３４】
［本発明の概要］
本発明の実施形態を説明する前に、本発明が、どのように質感を変化させるかについて、図１に示した「人間の視知覚モデルＭ」に基づいて、その概要を説明する。
前記背景技術で説明したように、映像の特徴量に対する統計量と質感とが関連していることは、非特許文献１に記載されている。
ここで、人間の視知覚において、質感に関わる統計量を推定する過程をモデル化する。この過程は、基本的には、図１に示すように、生成過程Ｐ１と、観測過程Ｐ２と、推定過程Ｐ３とにモデル化することができる。
【００３５】
生成過程Ｐ１は、ある統計量の組み合わせに従って、確率的に映像を生成する過程である。ここでいう統計量とは、空間周波数の分布、周波数成分同士の相関、輝度分布等の映像の特徴量を記述するパラメータである。この生成過程Ｐ１において、ある統計量の組み合わせを有するように生成された映像を、ここでは、元映像と呼び、視認者が直接観測する映像とは区別する。
この生成過程Ｐ１は、統計量θに対する元映像Ｉの条件付き確率Ｐ（Ｉ｜θ）として表現することができる。この統計量が変化することにより、生成される元映像Ｉから感じられる質感が大きく影響を受けることになる。
【００３６】
観測過程Ｐ２は、生成過程Ｐ１が生成する元映像に対して、撮影、画像処理等の変換が加えられる過程である。視認者が観測するのは、この観測過程Ｐ２の出力（観測映像）に相当する。
この観測過程Ｐ２は、元映像Ｉに対する観測映像Ｉ′の条件付き確率Ｐ（Ｉ′｜Ｉ）として表現することができる。
【００３７】
推定過程Ｐ３は、視認者が観測過程Ｐ２で変換された観測映像に基づいて、統計量を推定する過程である。すなわち、視認者が、統計量によって、質感を知覚する過程である。この推定過程Ｐ３は、以下の式（１）で表される周辺化尤度を最大化する処理としてモデル化することができる。
【００３８】
【数１】
2014164690.tif 000003
【００３９】
この推定過程Ｐ３で推定される統計量（推定値）は、生成過程Ｐ１および観測過程Ｐ２にそれぞれ含まれる確率的要因から、実際の統計量とは一致せず、推定誤差が生ずる。この推定誤差の期待値が小さいほど、推定精度が高いことを意味し、視認者は、より正確に映像中の被写体の質感を知覚することができる。
【００４０】
このようなモデルにおいて、本発明は、映像の生成過程Ｐ１および観測過程Ｐ２のそれぞれの統計的モデル（Ｐ（Ｉ｜θ）、Ｐ（Ｉ′｜Ｉ））に基づいて、生成過程Ｐ１における統計量と、観測映像の統計量（推定値）との誤差を小さくして、現実の観測過程を理想的な観測過程に近似するように補正する。
そして、本発明は、このように補正した観測過程Ｐ２を元映像に適用することで、所望の統計量、すなわち、所望の質感に画質を変化（向上）させた観測映像を生成する。
以上説明した内容を具現化した、本発明の実施形態について、以下説明する。
【００４１】
≪第１実施形態≫
［映像質感変換装置の構成］
最初に、図２を参照して、本発明の第１実施形態に係る映像質感変換装置１の構成について説明する。この映像質感変換装置１は、映像の質感を変化させるものである。すなわち、この映像質感変換装置１は、操作者によって、映像の質感を特定する生成過程における統計量のパラメータを指定されることで、映像（元映像）から、当該質感に対応するように変化させた変換映像（観測映像）を生成するものである。
ここでは、映像質感変換装置１は、モデル記憶手段１０と、統計量記憶手段１１と、統計量指定手段１２と、理想変換パラメータ値計算手段１３と、変換手段２０と、を備える。
【００４２】
モデル記憶手段（特徴量モデル記憶手段、変換モデル記憶手段）１０は、映像の生成過程のモデル（生成過程モデル１０ａ）と、観測過程のモデル（観測過程モデル１０ｂ）とを予め記憶しておくものである。このモデル記憶手段１０は、ハードディスク等の一般的な記憶媒体で構成される。
【００４３】
生成過程モデル（特徴量モデル）１０ａは、映像の生成過程Ｐ１（図１参照）を、統計量をパラメータとした映像の特徴量の確率分布で表したモデルである。なお、モデル記憶手段１０には、生成過程モデル１０ａとして、複数のモデルを記憶しておく。
以下、生成過程モデル１０ａの例について説明する。
【００４４】
（空間周波数分布）
統計量として、映像のコントラストと周波数分布の傾きとを用いる場合、以下の式（２）に示す確率分布Ｐ（Ｉ｜θ）を生成過程モデル１０ａとして用いることができる。
【００４５】
【数２】
2014164690.tif 000004
【００４６】
ここで、Ｉｆは、映像Ｉをフーリエ展開した際の周波数ｆに関する成分、Ｎ（ｘ；ａ，ｂ）は、平均ａ、標準偏差ｂの正規分布を表す。また、θ１，θ２は、空間周波数分布の分布形状を定めるパラメータであって、θ１はコントラスト、θ２は周波数分布の傾きを示す。すなわち、θ１は、その値が大きいほどコントラストが高く、θ２は、その値が大きいほど滑らかな（低周波成分の比率が高い）映像に変換するように作用するパラメータである。このパラメータの値を、後記する統計量記憶手段１１に記憶されているパラメータ値によって変化させることで、映像のコントラストや鮮鋭度を制御することができる。
なお、例えば、統計量としてコントラストのみを用いる場合、前記式（２）におけるθ２の値を“０”としたモデルを用いればよい。
【００４７】
（周波数成分同士の相関）
統計量として、周波数成分同士の相関を用いる場合、以下の式（３）に示す確率分布Ｐ（Ｉ｜θ）を生成過程モデル１０ａとして用いることができる。
【００４８】
【数３】
2014164690.tif 000005
【００４９】
ここで、Ｉｆ，Ｉｆ′は、それぞれ、映像Ｉをフーリエ展開した際の周波数ｆ，ｆ′に関する成分である。また、θは、周波数成分同士の相関の強度を定めるパラメータであって、映像が有するテクスチャ構造の質感に作用するパラメータである。
【００５０】
（輝度分布）
統計量として、輝度の分布を用いる場合、以下の式（４）に示す確率分布Ｐ（Ｉ｜θ）を生成過程モデル１０ａとして用いることができる。
【００５１】
【数４】
2014164690.tif 000006
【００５２】
ここで、Ｉｉは、映像Ｉの画素位置ｉの画素値、Ｂ（ｘ，ｙ）は、ベータ関数で分布の積分値を“１”に規格化するものである。また、θ１，θ２は、分布形状を定めるパラメータであって、面特性（光沢感）に作用するパラメータである。
なお、ここで、生成過程モデル１０ａの一例を説明したが、これら以外にも、統計量に対する一般的なモデルを用いてもよいことはいうまでもない。
【００５３】
また、生成過程モデル１０ａとして、複数のモデルを統合したモデルを用いてもよい。
例えば、前記式（２）と式（３）とを統合した、以下の式（５）に示す同時分布を用いてもよい。
【００５４】
【数５】
2014164690.tif 000007
【００５５】
ここで、Ｉｆ，Ｉｆ′は、それぞれ、映像Ｉをフーリエ展開した際の周波数ｆ，ｆ′に関する成分である。また、Ｃｆ，ｆ′は、分散共分散行列で、Ｃ−１ｆ，ｆ′は、Ｃの逆行列を示す。また、θ１，θ２は、空間周波数分布の分布形状を定めるパラメータであって、θ１はコントラスト、θ２は周波数分布の傾きを示す。また、θ３は、周波数成分同士の相関の強度を定めるパラメータである。
【００５６】
観測過程モデル（変換モデル）１０ｂは、映像の観測過程Ｐ２（図１参照）を、映像の撮影から表示までの予め定めた変換処理を特定する変換関数および当該変換関数の係数をパラメータとした当該映像の画素値の確率分布で表したモデルである。すなわち、観測過程モデル１０ｂは、映像が撮影されてから視認者に提示されるまでの既知の過程を表したモデルである。
例えば、映像質感変換装置１から出力する映像を表示する表示装置（不図示）が、ガンマ特性を持っていることが既知であれば、ガンマ変換のモデルを観測過程モデルとする。
また、例えば、映像質感変換装置１に入力する映像を撮影するカメラが高周波成分を減衰させる周波数応答特性を持っていることが既知であれば、周波数フィルタのモデルを観測過程モデルとする。
もちろん、ガンマ変換のモデルや周波数フィルタのモデルを組み合わせたモデルを、観測過程モデルとしてもよい。
以下、観測過程モデル１０ｂの例について説明する。
【００５７】
（周波数フィルタ）
観測過程が、分散ガウスノイズを含んだ周波数フィルタ（混合ガウス関数で表される周波数フィルタ）である場合、以下の式（６）に示す確率分布Ｐ（Ｉ′｜Ｉ）を観測過程モデル１０ｂとして用いることができる。
【００５８】
【数６】
2014164690.tif 000008
【００５９】
ここで、Ｔ（Ｉ）は、観測過程を示す変換式（変換関数）、Ｉｆは、映像Ｉをフーリエ展開した際の周波数ｆに関する成分である。また、τｋ，μｋ，σｋは、周波数フィルタのパラメータであって、当該観測過程を特定するためのパラメータ（観測過程パラメータ）である。なお、ｋは、混合ガウス関数のインデックスで、例えば、２つのガウス関数を混合する場合、ｋ＝１，２となる。また、ＩＦＴはフーリエ逆変換を示す。
また、Ｉ′ｉは、画素位置ｉにおける変換映像（観測映像）Ｉ′の画素値、Ｔ（Ｉ）ｉは、画素位置ｉにおけるＴ（Ｉ）の画素値を示す。
なお、ｓは、観測過程で画素ごとに加わるノイズの分散である。
この式（６）において、観測過程パラメータτｋ，μｋ，σｋは、後記するパラメータ値記憶手段１３３に記憶される最適化の対象となるパラメータである。なお、ノイズ分散ｓも観測過程のパラメータであるが、映像質感変換装置１で制御するものではないため、ここでは、最適化の対象とはしない。
【００６０】
（ガンマ変換）
観測過程が、ガンマ変換である場合、前記式（６）における観測過程Ｔ（Ｉ）を、以下の式（７）に示す関数（変換関数）とすればよい。
【００６１】
【数７】
2014164690.tif 000009
【００６２】
ここで、τ１，τ２は、ガンマ変換のパラメータ（観測過程パラメータ）であって、後記するパラメータ値記憶手段１３３において最適化の対象となるパラメータである。
【００６３】
（周波数フィルタ＋ガンマ変換）
観測過程が、前記式（６）や式（７）で示した周波数フィルタとガンマ変換と含む場合、前記式（６）における観測過程Ｔ（Ｉ）を、以下の式（８）に示す関数（変換関数）とすればよい。
【００６４】
【数８】
2014164690.tif 000010
【００６５】
この式（８）における観測過程パラメータは、前記式（６）、式（７）で説明したものと同じである。
【００６６】
統計量記憶手段１１は、生成過程モデル１０ａのパラメータに与える統計量（パラメータ値）を記憶するものである。この統計量記憶手段１１は、ハードディスク等の一般的な記憶媒体で構成される。
この統計量記憶手段１１には、複数の生成過程モデル１０ａごとに、映像の質感を変える統計量を複数記憶しておく。
この統計量記憶手段１１には、例えば、前記式（２）に示した空間周波数分布のモデルに対応する統計量θ１，θ２の値を複数記憶しておく。すなわち、当該モデルを用いて、映像のコントラストを調整するための統計量（パラメータ値）θ１と、映像の滑らかさ（鮮鋭度）を調整するための統計量（パラメータ値）θ２との組を、複数、統計量記憶手段１１に記憶しておく。
【００６７】
ここでは、空間周波数分布の生成過程モデル用の統計量として、映像のコントラストを低く、かつ、鮮鋭度を低くする統計量Ａ１、映像のコントラストを低く、かつ、鮮鋭度を高くする統計量Ａ２、映像のコントラストを高く、かつ、鮮鋭度を低くする統計量Ａ３、映像のコントラストを高く、かつ、鮮鋭度を高くする統計量Ａ４のように、映像の質感をどのように変化させるかによって、複数の統計量を、統計量記憶手段１１に記憶しておく。
なお、ここでは、空間周波数分布の統計量として、４つの組み合わせの例を示したが、各統計量を細分化して、さらに段階的に統計量を記憶しておいても構わない。
【００６８】
また、統計量記憶手段１１には、例えば、前記式（３）に示した周波数成分同士の相関のモデルに対応する統計量θの値を複数記憶しておく。すなわち、当該モデルを用いて、映像のテクスチャ構造の質感を調整するための統計量（パラメータ値）θを、複数、統計量記憶手段１１に記憶しておく。ここでは、周波数成分同士の相関のモデル用の統計量として、パラメータ値が異なる複数の統計量Ｂ１，Ｂ２，…を統計量記憶手段１１に記憶しておく。
【００６９】
また、統計量記憶手段１１には、例えば、前記式（４）に示した輝度分布のモデルに対応する統計量θ１，θ２の値を複数記憶しておく。すなわち、当該モデルを用いて、映像の面特性（光沢感）を調整するための統計量（パラメータ値）θ１，θ２を、複数、統計量記憶手段１１に記憶しておく。ここでは、輝度分布のモデル用の統計量として、パラメータ値が異なる複数の統計量Ｃ１，Ｃ２，…を統計量記憶手段１１に記憶しておく。
また、統計量記憶手段１１には、例えば、前記式（５）に示した統合した生成過程モデルを用いる場合、当該モデルに対応する統計量θの値を複数記憶しておくこととしてもよい。
【００７０】
統計量指定手段１２は、生成過程モデル（特徴量モデル）１０ａおよびその統計量の指定を受け付けるものである。すなわち、統計量指定手段１２は、操作者によって、外部から、映像の質感を変化させる生成過程モデル１０ａおよびその統計量を選択させるユーザインタフェースである。この統計量指定手段１２によって、統計量記憶手段１１に記憶されている生成過程モデル１０ａに対応した統計量（Ａ１，Ａ２，…，Ｂ１，Ｂ２，…，Ｃ１，Ｃ２，…）のいずれかが選択される。
この統計量指定手段１２は、操作者によって指定された統計量を識別する識別子（例えば、Ａ１等）を、誤差勾配計算手段１３１に出力する。
【００７１】
理想変換パラメータ値計算手段１３は、指定された生成過程モデル（特徴量モデル）１０ａに指定された統計量を適用して、観測過程モデル（変換モデル）の変換関数の変換を行ったときの統計量と、指定された統計量との誤差が最小となる変換関数のパラメータ値を計算するものである。すなわち、理想変換パラメータ値計算手段１３は、指定された統計量（生成過程パラメータ）から、映像の質感を変化させる理想のパラメータ（観測過程パラメータ）を推定するものである。ここでは、理想変換パラメータ値計算手段１３は、誤差勾配計算手段１３１と、パラメータ値更新手段１３２と、パラメータ値記憶手段１３３と、収束判定手段１３４と、を備える。
【００７２】
誤差勾配計算手段１３１は、映像の生成過程モデル１０ａおよび観測過程モデル１０ｂに基づいて、勾配法により、指定された統計量を用いたときの観測過程（変換関数）の係数のパラメータ値の誤差勾配を計算するものである。すなわち、誤差勾配計算手段１３１は、生成過程における統計量と、観測映像の統計量（推定値）との誤差を計算するものである。
なお、操作者によって指定された真の統計量θと、推定値との誤差（２乗誤差）の期待値は、以下の式（９）に示すフィッシャ情報量Ｊθの逆数として漸近的に近似できる。
【００７３】
【数９】
2014164690.tif 000011
【００７４】
ここで、Ｅは、確率分布Ｐ（Ｉ′｜θ）に従う期待値である。また、確率分布Ｐ（Ｉ′｜θ）は、前記式（１）に示すように、生成過程モデル１０ａの確率分布Ｐ（Ｉ｜θ）と、観測過程モデル１０ｂの確率分布Ｐ（Ｉ′｜Ｉ）とから求められる確率分布である。
ここで、誤差が最小となる理想的な観測過程Ｔ＊θは、以下の式（１０）に示すように、フィッシャ情報量Ｊθを最大化する観測過程とすればよい。
【００７５】
【数１０】
2014164690.tif 000012
【００７６】
この最適化問題は、以下の式（１１）を、観測過程Ｔ（変換関数）のパラメータτｉ（ｉ＝１，２，…）について解けばよい。
【００７７】
【数１１】
2014164690.tif 000013
【００７８】
そこで、誤差勾配計算手段１３１は、以下の式（１２）によって、観測過程Ｔのパラメータτｉに対するフィッシャ情報量勾配（誤差勾配）Δτｉを、パラメータτｉの更新量として計算する。
【００７９】
【数１２】
2014164690.tif 000014
【００８０】
なお、生成過程モデルの統計量θがｎ種類の統計量（θ１，θ２，…，θｎ）である場合、誤差勾配計算手段１３１は、以下の式（１３）によって、フィッシャ情報量勾配Δτｉを計算する。
【００８１】
【数１３】
2014164690.tif 000015
【００８２】
また、ここでは、観測過程Ｔ（変換関数）のパラメータを、τで代表して表記しているが、前記式（２）のように、観測過程Ｔのパラメータがτ，μ，σである場合、誤差勾配計算手段１３１は、τ，μ，σのそれぞれのパラメータについて、フィッシャ情報量勾配（Δτ，Δμ，Δσ）を計算する。
このフィッシャ情報量勾配を計算する際に、誤差勾配計算手段１３１は、生成過程モデルおよびその統計量については、操作者が指定したモデル記憶手段１０に記憶されている生成過程モデル１０ａ（数式）および統計量記憶手段１１に記憶されている統計量（パラメータ値）を用いる。
【００８３】
また、誤差勾配計算手段１３１は、観測過程モデルについては、モデル記憶手段１０に予め記憶されている観測過程モデル１０ｂ（数式）を用い、そのパラメータ値については、パラメータ値記憶手段１３３に記憶されているパラメータ値を用いる。
そして、誤差勾配計算手段１３１は、計算結果である更新量（誤差勾配）を、パラメータ値更新手段１３２および収束判定手段１３４に出力する。
また、誤差勾配計算手段１３１は、収束判定手段１３４から、更新量（誤差勾配）が収束していない旨の指示が通知された場合、更新量（誤差勾配）の再計算を行う。
【００８４】
パラメータ値更新手段１３２は、誤差勾配計算手段１３１で計算された更新量（誤差勾配）で、観測過程モデル１０ｂの観測過程（変換関数）のパラメータ値を更新するものである。
ここでは、パラメータ値更新手段１３２は、誤差勾配計算手段１３１で計算された更新量Δτｉを、パラメータ値記憶手段１３３に記憶されている観測過程パラメータ値τｉに加算することで、観測過程パラメータ値τｉを更新する。
なお、パラメータ値更新手段１３２は、複数のパラメータ（τ，μ，σ等）が存在する場合は、それぞれのパラメータ値を更新する。
【００８５】
パラメータ値記憶手段１３３は、観測過程モデル１０ｂのモデルパラメータの値（観測過程パラメータ値）を記憶するもので、ハードディスク等の一般的な記憶媒体で構成される。
このパラメータ値記憶手段１３３には、観測過程モデル１０ｂのパラメータ値として、予め任意の初期値を記憶しておく。そして、パラメータ値記憶手段１３３は、パラメータ値更新手段１３２によって、観測過程パラメータ値が逐次更新される。
【００８６】
収束判定手段１３４は、誤差勾配計算手段１３１で計算された更新量（誤差勾配）の大きさ（絶対値）が、予め定めた閾値以下となったか否かにより、更新量が収束したかどうかを判定するものである。
ここでは、収束判定手段１３４は、誤差勾配計算手段１３１から出力される観測過程モデル１０ｂのすべてのモデルパラメータの更新量が、予め定めた閾値以下となったときに、更新量が収束したと判定する。
なお、収束判定手段１３４は、更新が収束していない場合、誤差勾配計算手段１３１に対して、再度、更新量を計算する旨を指示する。一方、収束判定手段１３４は、更新が収束した場合、変換手段２０に対して、パラメータ値記憶手段１３３に記憶されている観測過程モデル１０ｂの観測過程パラメータ値で、映像を変換する旨を指示する。
【００８７】
変換手段２０は、映像が撮影されてから視認者に提示されるまでの既知の観測過程（変換関数）に、理想変換パラメータ値計算手段１３で計算された観測過程パラメータ値を適用し、映像（元映像Ｉ）を変換するものである。すなわち、変換手段２０は、既知の観測過程（変換関数）に、収束判定手段１３４で更新が収束し、パラメータ値記憶手段１３３に記憶されている観測過程パラメータ値を適用し、映像（元映像Ｉ）を変換する。
これによって、変換手段２０で変換された映像は、視認者に提示された際に、理想的な観測過程を経た映像として、視認者に認識されることになる。
【００８８】
なお、この既知の観測過程（変換関数）は、モデル記憶手段１０に記憶されている観測過程モデル１０ｂにおける観測過程Ｔ（前記式（６），式（７）参照）と同じである。
例えば、映像質感変換装置１から出力する映像を表示する表示装置（不図示）が、ガンマ特性を持っていることが既知であれば、観測過程（変換関数）として、ガンマ変換の変換式を用いる。すなわち、この場合、変換手段２０は、予め定めた前記式（７）の観測過程Ｔに、パラメータ値記憶手段１３３に記憶されている観測過程パラメータ値τｋ，μｋ，σｋを適用して、映像を変換する。
【００８９】
また、例えば、映像質感変換装置１に入力する映像を撮影するカメラが高周波成分を減衰させる周波数応答特性を持っていることが既知であれば、観測過程（変換関数）として、周波数フィルタの変換式を用いる。この場合、変換手段２０は、予め定めた前記式（６）の変換式Ｔ（Ｉ）に、パラメータ値記憶手段１３３に記憶されている観測過程パラメータ値τｋ，μｋ，σｋを適用して、映像を変換する。すなわち、式（６）の例の場合、変換手段２０は、映像をフーリエ変換した後、各周波数成分に、観測過程パラメータ値τｋ，μｋ，σｋを適用し、逆フーリエ変換を行うことで、映像を変換する。
【００９０】
以上説明したように映像質感変換装置１を構成することで、映像質感変換装置１は、現実の観測過程に対して、操作者が所望した質感を再現するために最適な（理想的な）観測過程のパラメータを推定し、視認者に提示された際に、視認者に所望の質感を与えることができる映像を生成することができる。
【００９１】
［映像質感変換装置の動作］
次に、図３を参照（構成については、適宜図２参照）して、本発明の第１実施形態に係る映像質感変換装置１の動作について説明する。
なお、モデル記憶手段１０には、複数の生成過程モデル１０ａと、既知の観測過程モデル１０ｂとを予め記憶しておく。また、統計量記憶手段１１には、複数の生成過程モデル１０ａに対して与える統計量（パラメータ値）を複数記憶しておく。また、パラメータ値記憶手段１３３には、観測過程パラメータの初期値を予め記憶しておく。
【００９２】
まず、映像質感変換装置１は、統計量指定手段１２によって、操作者からの指示により、映像の質感を変化させる統計量記憶手段１１に記憶されている統計量を選択する（ステップＳ１）。
そして、映像質感変換装置１は、誤差勾配計算手段１３１によって、ステップＳ１で選択された生成過程モデル１０ａおよびその統計量（パラメータ値）と、モデル記憶手段１０に記憶されている観測過程モデル１０ｂおよびパラメータ値記憶手段１３３に記憶されている観測過程パラメータ値とに基づいて、前記式（１２）により、生成過程における統計量と、観測映像の統計量（推定値）との誤差、すなわち、観測過程モデル１０ｂのパラメータ値の更新量を、フィッシャ情報量勾配（誤差勾配）として計算する（ステップＳ２）。
【００９３】
さらに、映像質感変換装置１は、パラメータ値更新手段１３２によって、ステップＳ２で計算された更新量で、パラメータ値記憶手段１３３に記憶されている観測過程パラメータ値を更新する（ステップＳ３）。
そして、映像質感変換装置１は、収束判定手段１３４によって、ステップＳ２で計算された更新量（誤差勾配）の大きさ（絶対値）が、予め定めた閾値以下となったか否かにより、更新量が収束したかどうかを判定する（ステップＳ４）。
【００９４】
ここで、更新量が収束していない場合（ステップＳ４でＮｏ）、映像質感変換装置１は、ステップＳ２に戻って、更新された観測過程パラメータ値を用いて、再度、更新量（誤差勾配）を計算する。
一方、更新量が収束した場合（ステップＳ４でＹｅｓ）、映像質感変換装置１は、変換手段２０によって、既知の観測過程（前記式（７），式（８）等の観測過程Ｔ（Ｉ））に、パラメータ値記憶手段１３３に記憶されている観測過程パラメータ値を適用して、映像を変換する（ステップＳ５）。
以上の動作によって、映像質感変換装置１は、指定された統計量、すなわち、操作者が所望する映像の質感を再現する理想的な観測過程のパラメータで、映像の質感を変化させることができる。
【００９５】
≪第２実施形態≫
［映像質感変換システムの構成］
次に、図４を参照して、本発明の第２実施形態に係る映像質感変換システムＳの構成について説明する。
図２で説明した映像質感変換装置１は、既知の観測過程に対する理想的な観測過程パラメータ値を推定して映像の変換を行った。しかし、映像を伝送する場合、映像を受信して提示する受信装置ごとに、観測過程が異なる場合がある。例えば、理想的な観測過程として周波数領域でフィルタを用いることを想定しても、受信装置によっては、画素ごとの演算しか実装していない場合がある。
【００９６】
そこで、本発明の第２実施形態に係る映像質感変換システムＳは、映像制作者が所望する質感を規定する統計量に対して、理想的な観測過程のパラメータを映像の再生側に伝送し、再生側で、その質感に近似した質感を再現するために、自身が有する観測過程のパラメータを推定して映像を変換する。
図４に示すように、映像質感変換システムＳは、変換パラメータ生成装置３と、映像質感近似変換装置５と、を備える。
なお、変換パラメータ生成装置３と映像質感近似変換装置５とは、放送波を介して映像等を伝送する形態であってもよいし、通信回線を介して伝送を行う形態であってもよい。
また、ここでは、映像質感近似変換装置５を１つ記載しているが、複数存在してもよいことはいうまでもない。
【００９７】
（変換パラメータ生成装置の構成）
変換パラメータ生成装置３は、操作者が指定した統計量によって映像の質感を変化させるために、操作者が予め規定した観測過程およびそのパラメータ値（理想的な観測過程およびそのパラメータ値）を、受信装置（映像質感近似変換装置５）に伝送するものである。
ここでは、変換パラメータ生成装置３は、モデル記憶手段１０と、統計量記憶手段１１と、統計量指定手段１２と、理想変換パラメータ値計算手段１３と、多重符号化手段３０と、送信手段４０と、を備える。
【００９８】
多重符号化手段３０および送信手段４０以外の構成は、図２で説明した映像質感変換装置１の構成と同じものであるため、同一の符号を付して説明を省略する。
ただし、ここでは、理想変換パラメータ値計算手段１３は、多重符号化手段３０に、観測過程パラメータ（観測過程Ｔおよびそのパラメータ値）を出力することとする。
【００９９】
多重符号化手段３０は、映像を符号化し、理想変換パラメータ値計算手段１３で計算された観測過程パラメータ（観測過程Ｔおよびそのパラメータ値）と多重化するものである。
この多重符号化手段３０は、例えば、ＭＰＥＧ２（Moving Picture Experts Group 2）の符号化方式によって映像を符号化し、観測過程パラメータ（観測過程Ｔおよびそのパラメータ値）をサイド情報に付加する。そして、多重符号化手段３０は、生成した多重符号化データを送信手段４０に出力する。
【０１００】
送信手段４０は、多重符号化手段３０で生成された多重符号化データを、映像質感近似変換装置５に送信するものである。
この送信手段４０は、図示を省略した放送送出装置に多重符号化データを出力することで、放送によって、多重符号化データを送信するものであってもよいし、通信回線を介して、多重符号化データを送信するものであってもよい。
これによって、変換パラメータ生成装置３は、映像とともに、映像制作者である操作者（放送事業者等）が理想とする観測過程パラメータ（観測過程Ｔおよびそのパラメータ値）を、映像質感近似変換装置５に伝送することができる。
【０１０１】
（映像質感近似変換装置の構成）
映像質感近似変換装置５は、変換パラメータ生成装置３から伝送される映像と映像制作者が理想とする観測過程パラメータとに基づいて、映像の再生側において、質感が近似する観測過程パラメータを推定して、映像の質感を変化させるものである。
ここでは、映像質感近似変換装置５は、受信手段５０と、復号分離手段６０と、近似変換パラメータ値計算手段７０と、変換手段８０と、を備える。
【０１０２】
受信手段５０は、変換パラメータ生成装置３から送信される多重符号化データを受信するものである。この受信手段５０は、送信手段４０に対応して、放送波によって多重符号化データを受信するものであってもよいし、通信回線を介して多重符号化データを受信するものであってもよい。
この受信手段５０は、受信した多重符号化データを復号分離手段６０に出力する。
【０１０３】
復号分離手段６０は、受信手段５０で受信した多重符号化データから、観測過程パラメータ（観測過程Ｔおよびそのパラメータ値）を分離するとともに、映像を復号するものである。
この復号分離手段６０は、復号した映像を、近似変換パラメータ値計算手段７０の理想パラメータ変換手段７１と、変換手段８０とに出力する。また、復号分離手段６０は、復号した観測過程パラメータ（観測過程Ｔおよびそのパラメータ値）を、理想パラメータ変換手段７１に出力する。
【０１０４】
近似変換パラメータ値計算手段７０は、復号分離手段６０で分離された映像を、分離された観測過程パラメータ（観測過程Ｔおよびそのパラメータ値）で変換した映像と、分離された映像を、再生側の既知の観測過程の変換関数で変換した映像との誤差が最小となる再生側の変換関数のパラメータ値を計算するものである。すなわち、近似変換パラメータ値計算手段７０は、映像制作者が所望の質感を再現するために推定した観測過程パラメータから、当該質感に近似した質感を再現する自身が有する観測過程パラメータを推定するものである。
ここでは、近似変換パラメータ値計算手段７０は、理想パラメータ変換手段７１と、誤差勾配計算手段７２と、パラメータ値更新手段７３と、パラメータ値記憶手段７４と、収束判定手段７５と、を備える。
【０１０５】
理想パラメータ変換手段７１は、復号分離手段６０で復号された映像を、復号分離手段６０で分離された観測過程パラメータ（観測過程Ｔおよびそのパラメータ値）によって変換するものである。
すなわち、理想パラメータ変換手段７１は、復号された映像Ｉに対して、観測過程Ｔを用いた変換を行うことで、変換映像Ｔ（Ｉ）を生成する。このとき、観測過程Ｔのパラメータ値には、復号分離手段６０で復号分離された観測過程Ｔのパラメータ値を用いる。
これによって、映像の制作側の操作者が所望する質感を再現するための理想的なパラメータによって、映像が変換される。ただし、ここで変換された映像は、再生側の観測過程によっては、質感が操作者の所望する質感とはなっていない。
この理想パラメータ変換手段７１は、変換した映像（変換映像Ｔ（Ｉ））を、誤差勾配計算手段７２に出力する。
【０１０６】
誤差勾配計算手段７２は、理想パラメータ変換手段７１で変換された変換映像Ｔ（Ｉ）と、映像質感近似変換装置５の既知の観測過程（変換関数）で変換される変換映像Ｔ＊（Ｉ）との誤差勾配を、勾配法により計算するものである。
なお、変換パラメータ生成装置３から通知される観測過程Ｔと、映像質感近似変換装置５の既知の観測過程Ｔ＊において、変換誤差が最小となる理想的な観測過程の条件を最もよく近似する変換Ｔｏｐｔは、以下の式（１４）として与えられる。
【０１０７】
【数１４】
2014164690.tif 000016
【０１０８】
ここで、Ｄは、２つの観測過程における変換誤差を示す。この変換誤差Ｄは、２つの変換の間に定義される距離として、以下の式（１５）に示す２乗距離や、式（１６）に示す一般化Ｉダイバージェンスを用いて定量化することができる。あるいは、Ｂｒｅｇｍａｎダイバージェンス、βダイバージェンス等を用いることもできる。
【０１０９】
【数１５】
2014164690.tif 000017
【０１１０】
【数１６】
2014164690.tif 000018
【０１１１】
この式（１５）、式（１６）において、ｘ，ｙは、画素の位置を示し、Ｔ＊（Ｉ）ｘ，ｙ、Ｔ（Ｉ）ｘ，ｙは、各画素位置の値を示す。
なお、Ｔ（Ｉ）は、理想パラメータ変換手段７１によって生成されているため、前記式（１４）の最適化問題は、以下の式（１７）を、既知の観測過程Ｔ＊のパラメータτ＊ｉ（ｉ＝１，２，…）について解けばよい。
【０１１２】
【数１７】
2014164690.tif 000019
【０１１３】
そこで、誤差勾配計算手段７２は、以下の式（１８）によって、観測過程Ｔ＊のパラメータτ＊ｉに対する誤差勾配Δτ＊ｉを、パラメータτ＊ｉの更新量として計算する。
【０１１４】
【数１８】
2014164690.tif 000020
【０１１５】
この誤差勾配を計算する際に、誤差勾配計算手段７２は、Ｔ（Ｉ）については、理想パラメータ変換手段７１によって生成された変換映像、Ｔ＊（Ｉ）の観測過程Ｔ＊については、映像質感近似変換装置５の既知の観測過程、例えば、映像質感近似変換装置５から出力する映像を表示する表示装置（不図示）が、ガンマ特性を持っていることが既知であれば、ガンマ変換を観測過程（変換関数）とする。なお、この観測過程Ｔ＊の数式は、予め誤差勾配計算手段７２に組み込んでおいてもよいし、別途、図示を省略した記憶手段、あるいは、パラメータ値記憶手段７４に予め記憶しておいてもよい。
そして、誤差勾配計算手段７２は、計算結果である更新量（誤差勾配）を、パラメータ値更新手段７３および収束判定手段７５に出力する。
また、誤差勾配計算手段７２は、収束判定手段７５から、更新量（誤差勾配）が収束していない旨の指示が通知された場合、更新量（誤差勾配）の再計算を行う。
【０１１６】
パラメータ値更新手段７３は、誤差勾配計算手段７２で計算された更新量で、再生側の観測過程Ｔ＊（変換関数）のパラメータ値を更新するものである。
ここでは、パラメータ値更新手段７３は、誤差勾配計算手段７２で計算された更新量Δτ＊ｉを、パラメータ値記憶手段７４に記憶されている観測過程パラメータ値τ＊ｉに加算することで、観測過程パラメータ値τ＊ｉを更新する。
【０１１７】
パラメータ値記憶手段７４は、映像質感近似変換装置５における既知の観測過程（変換関数）のパラメータ値（観測過程パラメータ値）を記憶するもので、ハードディスク等の一般的な記憶媒体で構成される。
このパラメータ値記憶手段７４には、観測過程パラメータ値として、予め任意の初期値を記憶しておく。そして、パラメータ値記憶手段７４は、パラメータ値更新手段７３によって、観測過程パラメータ値が逐次更新される。
【０１１８】
収束判定手段７５は、誤差勾配計算手段７２で計算された更新量（誤差勾配）の大きさ（絶対値）が、予め定めた閾値以下となったか否かにより、更新量が収束したかどうかを判定するものである。
ここでは、収束判定手段７５は、誤差勾配計算手段７２から出力される観測過程のすべてのパラメータの更新量が、予め定めた閾値以下となったときに、更新量が収束したと判定する。
なお、収束判定手段７５は、更新が収束していない場合、誤差勾配計算手段７２に対して、再度、更新量（誤差勾配）を計算する旨を指示する。一方、収束判定手段７５は、更新が収束した場合、変換手段８０に対して、パラメータ値記憶手段７４に記憶されている観測過程パラメータ値で、映像を変換する旨を指示する。
【０１１９】
変換手段８０は、映像質感近似変換装置５の既知の観測過程（変換関数）に、近似変換パラメータ値計算手段７０で計算（推定）された観測過程パラメータ値を適用し、映像を変換するものである。すなわち、変換手段８０は、既知の観測過程に、収束判定手段７５で更新が収束し、パラメータ値記憶手段７４に記憶されている観測過程パラメータ値を適用し、映像を変換する。
以上説明したように映像質感近似変換装置５を構成することで、映像質感近似変換装置５は、放送事業者等、映像の制作側の操作者が所望した質感に近似させるように、映像質感近似変換装置５の観測過程のパラメータを推定し、映像の質感を変化させることができる。
【０１２０】
［映像質感変換システムの動作］
次に、図５，図６を参照して、本発明の第２実施形態に係る映像質感変換システムＳの動作について説明する。
【０１２１】
（変換パラメータ生成装置の動作）
まず、図５を参照（構成については、適宜図４参照）して、変換パラメータ生成装置３の動作について説明する。
なお、変換パラメータ生成装置３のモデル記憶手段１０、統計量記憶手段１１、統計量指定手段１２および理想変換パラメータ値計算手段１３は、図２で説明した映像質感変換装置１の構成と同じものであり、図５のステップＳ１からステップＳ４までの動作は、図３で説明した動作と同じである。
【０１２２】
変換パラメータ生成装置３は、ステップＳ２で計算された更新量が収束した後（ステップＳ４でＹｅｓ）、多重符号化手段３０によって、映像を符号化し（ステップＳ６）、理想変換パラメータ値計算手段１３で計算された、理想とする観測過程Ｔ（変換関数）および観測過程パラメータ値を映像（符号化映像）に多重化する（ステップＳ７）。
そして、変換パラメータ生成装置３は、送信手段４０によって、パラメータ（観測過程Ｔおよびそのパラメータ値）を多重化した多重符号化データを、映像質感近似変換装置５に送信する（ステップＳ８）。
【０１２３】
（映像質感近似変換装置の動作）
次に、図６を参照（構成については、適宜図４参照）して、映像質感近似変換装置５の動作について説明する。
【０１２４】
まず、映像質感近似変換装置５は、受信手段５０によって、変換パラメータ生成装置３から送信される多重符号化データを受信する（ステップＳ１０）。
そして、映像質感近似変換装置５は、復号分離手段６０によって、多重符号化データから、観測過程パラメータ（観測過程Ｔおよび観測過程パラメータ値）を分離し（ステップＳ１１）、符号化映像を復号する（ステップＳ１２）。
【０１２５】
その後、映像質感近似変換装置５は、理想パラメータ変換手段７１によって、ステップＳ１２で復号された映像Ｉに対して、ステップＳ１１で分離した観測過程Ｔおよびそのパラメータ値を用いた変換を行うことで、変換映像Ｔ（Ｉ）を生成する（ステップＳ１３）。
そして、映像質感近似変換装置５は、誤差勾配計算手段７２によって、ステップＳ１３で変換された変換映像Ｔ（Ｉ）と、パラメータ値記憶手段７４に記憶されているパラメータ値を適用して、映像質感近似変換装置５の既知の観測過程で変換した変換映像Ｔ＊（Ｉ）とに基づいて、前記式（１８）により、誤差勾配を計算する（ステップＳ１４）。
【０１２６】
さらに、映像質感近似変換装置５は、パラメータ値更新手段７３によって、ステップＳ１４で計算された更新量で、パラメータ値記憶手段７４に記憶されているパラメータ値（近似変換パラメータ値）を更新する（ステップＳ１５）。
そして、映像質感近似変換装置５は、収束判定手段７５によって、ステップＳ１４で計算された更新量（誤差勾配）の大きさ（絶対値）が、予め定めた閾値以下となったか否かにより、更新量が収束したかどうかを判定する（ステップＳ１６）。
【０１２７】
ここで、更新量が収束していない場合（ステップＳ１６でＮｏ）、映像質感近似変換装置５は、ステップＳ１４に戻って、更新されたパラメータ値を用いて、再度、更新量（誤差勾配）を計算する。
一方、更新量が収束した場合（ステップＳ１６でＹｅｓ）、映像質感近似変換装置５は、変換手段８０によって、既知の観測過程Ｔ（変換関数）に、パラメータ値記憶手段１３３に記憶されているパラメータ値を適用して、ステップＳ１２で復号された映像を変換する（ステップＳ１７）。
以上の動作によって、映像質感近似変換装置５は、送信側が質感を再現するために理想とする観測過程を有さない場合であっても、自身が有する観測過程で当該質感を近似して再現することができる。
【０１２８】
以上、本発明の第２実施形態に係る映像質感変換システムＳの構成および動作について説明した。
なお、映像質感変換システムＳは、放送や通信によって、多重符号化データ（映像と理想的な観測過程およびそのパラメータ値）を伝送する形態としたが、当該多重符号化データを記録媒体等に蓄積し、再生側で読み出す形態であっても構わない。
その場合、映像質感変換システムは、図７に示す映像質感変換システムＳＢとして構成すればよい。すなわち、映像質感変換システムＳＢは、図４で説明した変換パラメータ生成装置３の送信手段４０を蓄積手段４０Ｂに置換した変換パラメータ生成装置３Ｂと、図４で説明した映像質感近似変換装置５の受信手段５０を読出手段５０Ｂに置換した映像質感近似変換装置５Ｂとで構成すればよい。
【０１２９】
ここで、変換パラメータ生成装置３Ｂの蓄積手段４０Ｂは、多重符号化手段３０で生成された多重符号化データを、ＤＶＤ等の記録媒体に書き込むものである。
また、映像質感近似変換装置５Ｂの読出手段５０Ｂは、多重符号化データが書き込まれた記録媒体から、当該データを読み出すものである。
なお、他の構成については、図４で説明した変換パラメータ生成装置３および映像質感近似変換装置５の構成を同じである。
【０１３０】
以上、本発明の実施形態について種々説明したが、映像質感変換装置１、変換パラメータ生成装置３，３Ｂ、および、映像質感近似変換装置５，５Ｂは、それぞれ、コンピュータを、前記した内部構成の各手段として機能させるためのプログラム（映像質感変換プログラム、変換パラメータ生成プログラム、映像質感近似変換プログラム）で動作させることができる。
【符号の説明】
【０１３１】
１      映像質感変換装置
１０    モデル記憶手段（特徴量モデル記憶手段、変換モデル記憶手段）
１０ａ  生成過程モデル（特徴量モデル）
１０ｂ  観測過程モデル（変換モデル）
１１    統計量記憶手段
１２    統計量視指定手段
１３    理想変換パラメータ値計算手段
１３１  誤差勾配計算手段
１３２  パラメータ値更新手段
１３３  パラメータ値記憶手段
１３４  収束判定手段
２０    変換手段
３，３Ｂ  変換パラメータ生成装置
３０    多重符号化手段
４０    送信手段
４０Ｂ  蓄積手段
５，５Ｂ  映像質感近似変換装置
５０    受信手段
５０Ｂ  読出手段
６０    復号分離手段
７０    近似変換パラメータ値計算手段
７１    理想パラメータ変換手段
７２    誤差勾配計算手段
７３    パラメータ値更新手段
７４    パラメータ値記憶手段
７５    収束判定手段
８０    変換手段
【図１】
2014164690.tif 000021
【図２】
2014164690.tif 000022
【図３】
2014164690.tif 000023
【図４】
2014164690.tif 000024
【図５】
2014164690.tif 000025
【図６】
2014164690.tif 000026
【図７】
2014164690.tif 000027
【図８】
2014164690.tif 000028