(57)【特許請求の範囲】
【請求項１】
撮影された画像を取得する画像取得手段と、
画像に含まれる被写体の色再現を行うための照明の分光特性情報である理想照明データを取得する情報取得手段と、
前記画像を撮影した環境における照明の分光特性に関する撮影照明データを取得する撮影照明データ取得手段と、
前記画像を観賞する環境における照明の分光特性に関する観察照明データを取得する観察照明データ取得手段と、
前記撮影照明データを用いて、前記画像に対して第一の補正を行う第一の補正手段と、
前記理想照明データと前記観察照明データとの差分を検出し、当該差分に応じたデータを、前記画像を補正するためのデータであるレンダリング照明データとして生成する補正データ生成手段と、
前記レンダリング照明データを用いて、前記第一の補正手段が補正した画像に対して第二の補正を行う第二の補正手段と、
前記第二の補正手段が補正した画像を出力する出力手段と、を有することを特徴とする、画像処理装置。
【請求項２】
前記理想照明データは、前記画像に含まれる複数のオブジェクトの位置情報と、各オブジェクトに対応する、当該オブジェクトの色再現を行うための照明の分光特性情報を含み、
前記レンダリング照明データの生成、および、前記第二の補正は、前記オブジェクトごとに実行される
ことを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記第一の補正手段は、前記理想照明データと前記撮影照明データの差分が、所定の値より小さい場合に、前記第一の補正を行わない
ことを特徴とする、請求項１または２に記載の画像処理装置。
【請求項４】
前記補正データ生成手段は、前記理想照明データと前記観察照明データの差分が所定の値より小さい場合に、レンダリング照明データの生成を行わず、
前記第二の補正手段は、レンダリング照明データが存在しない場合に、前記第二の補正を行わない
ことを特徴とする、請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
請求項１から４のいずれか１項に記載の画像処理装置と、前記画像処理装置が補正した画像を配信する画像配信装置と、を含むサーバ装置と、
前記配信された画像を表示するクライアント装置と、
からなることを特徴とする、画像配信システム。
【請求項６】
画像を配信するサーバ装置と、
請求項１から４のいずれか１項に記載の画像処理装置と、前記画像処理装置が補正した画像を表示する画像表示装置と、を含むクライアント装置と、
からなることを特徴とする、画像配信システム。
【請求項７】
撮影された画像を処理する画像処理装置が行う画像処理方法であって、
前記画像を取得する画像取得ステップと、
画像に含まれる被写体の色再現を行うための照明の分光特性情報である理想照明データを取得する情報取得ステップと、
前記画像を撮影した環境における照明の分光特性に関する撮影照明データを取得する撮影照明データ取得ステップと、
前記画像を観賞する環境における照明の分光特性に関する観察照明データを取得する観察照明データ取得ステップと、
前記撮影照明データを用いて、前記画像に対して第一の補正を行う第一の補正ステップと、
前記理想照明データと前記観察照明データとの差分を検出し、当該差分に応じたデータを、前記画像を補正するためのデータであるレンダリング照明データとして生成する補正データ生成ステップと、
前記レンダリング照明データを用いて、前記第一の補正ステップが補正した画像に対して第二の補正を行う第二の補正ステップと、
前記第二の補正ステップが補正した画像を出力する出力ステップと、
を含むことを特徴とする、画像処理方法。
【請求項８】
前記理想照明データは、前記画像に含まれる複数のオブジェクトの位置情報と、各オブジェクトに対応する、当該オブジェクトの色再現を行うための照明の分光特性情報を含み、
前記レンダリング照明データの生成、および、前記第二の補正は、前記オブジェクトごとに実行される
ことを特徴とする、請求項７に記載の画像処理方法。
【請求項９】
前記第一の補正ステップでは、前記理想照明データと前記撮影照明データの差分が、所定の値より小さい場合に、前記第一の補正を行わない
ことを特徴とする、請求項７または８に記載の画像処理方法。
【請求項１０】
前記補正データ生成ステップでは、前記理想照明データと前記観察照明データの差分が所定の値より小さい場合に、レンダリング照明データの生成を行わず、
前記第二の補正ステップは、レンダリング照明データが存在しない場合に、前記第二の補正を行わない
ことを特徴とする、請求項７から９のいずれか１項に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を処理する装置に関する。
【背景技術】
【０００２】
多原色による忠実な色再現を可能とするための方法として、マルチバンドカメラにより撮影された映像に基づいて被写体の分光反射率を推定し、色再現を行う方法が知られている。当該方法は、ナチュラルビジョンと呼ばれ、絵画や文化遺産の鑑賞、医療の診断などへの適用が期待されている。特に、絵画など美術品をディスプレイに表示して観賞する場合に、忠実な色再現を行うことが期待できる。
【０００３】
ナチュラルビジョンでは、まず、マルチバンドカメラで被写体を撮影し、得られた波長データ（撮影信号）を、撮影に用いたカメラの特性（カメラ特性データ）と、被写体の分光的な統計情報（被写体特性データ）とを用いて処理し、画像データを得る。
そして、撮影時に用いた照明光の分光特性（撮影照明データ）を用いて、被写体の分光反射率映像信号を得る。続いて、当該分光反射率映像信号を、被写体の映像を表示するモニタ装置を観察する環境の照明光の分光特性（観察照明データ）を用いて補正する。このようにすることで、被写体が当該環境に置かれた時にどのような色合いに見えるのかをシミュレートして表示することができる。
【０００４】
このように、ある特定の分光特性を有する照明を当てたときに、被写体がどのような色合いに見えるのかをシミュレートする際に適用する照明をレンダリング照明といい、当該シミュレーションを行うためのデータをレンダリング照明データという。
【０００５】
ナチュラルビジョンでは、観察照明の分光特性を計測し、当該分光特性に対応するレンダリング照明データを生成する。これにより、観察照明とは異なる分光特性の照明下で撮影された被写体の映像を、被写体があたかも観察照明下に置かれているかのように表示することができる。また、より臨場感を持たせるため、撮影照明の分光特性と、観察照明の分光特性が一致するようにレンダリング照明データを生成して補正を行う提案が行われている（特許文献１）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−０１７３５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来の技術では、対象物（例えば絵画や美術品）に適した照明を当てた場合と同等の演出を実現するための照明データを、レンダリング照明データとして、画像を提供する側または画像を観賞する側が何らかの方法で作成しなければならない。しかし、最適なレンダリング照明データを作成することは、観賞者となるユーザにとって容易なことではない。
【０００８】
本発明は、このような課題に鑑みてなされたものであり、簡便な構成で忠実な色再現を行うための画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明に係る画像処理装置は、
撮影された画像を取得する画像取得手段と、画像に含まれる被写体の色再現を行うための照明の分光特性情報である理想照明データを取得する情報取得手段と、前記画像を撮影した環境における照明の分光特性に関する撮影照明データを取得する撮影照明データ取得手段と、前記画像を観賞する環境における照明の分光特性に関する観察照明データを取得する観察照明データ取得手段と、前記撮影照明データを用いて、前記画像に対して第一の補正を行う第一の補正手段と、前記理想照明データと前記観察照明データとの差分を検出し、当該差分に応じたデータを、前記画像を補正するためのデータであるレンダリング照明データとして生成する補正データ生成手段と、前記レンダリング照明データを用いて、前記第一の補正手段が補正した画像に対して第二の補正を行う第二の補正手段と、前記第二の補正手段が補正した画像を出力する出力手段と、を有することを特徴とする。
【００１０】
また、本発明に係る画像処理方法は、
撮影された画像を処理する画像処理装置が行う画像処理方法であって、前記画像を取得する画像取得ステップと、画像に含まれる被写体の色再現を行うための照明の分光特性情報である理想照明データを取得する情報取得ステップと、前記画像を撮影した環境における照明の分光特性に関する撮影照明データを取得する撮影照明データ取得ステップと、前記画像を観賞する環境における照明の分光特性に関する観察照明データを取得する観察照明データ取得ステップと、前記撮影照明データを用いて、前記画像に対して第一の補正を行う第一の補正ステップと、前記理想照明データと前記観察照明データとの差分を検出し、当該差分に応じたデータを、前記画像を補正するためのデータであるレンダリング照明データとして生成する補正データ生成ステップと、前記レンダリング照明データを用いて、前記第一の補正ステップが補正した画像に対して第二の補正を行う第二の補正ステップと、前記第二の補正ステップが補正した画像を出力する出力ステップと、を含むことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、簡便な構成で忠実な色再現を行うための画像処理装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】第一の実施形態に係る映像配信システムの処理概要図。
【図２】第一の実施形態に係る映像配信システムの構成図。
【図３】第一の実施形態における絵画データの例。
【図４】第一の実施形態における撮影照明データの例。
【図５】第一の実施形態における最適色温度情報の例。
【図６】第一の実施形態におけるオブジェクトエリア情報の例。
【図７】第一の実施形態に係る映像配信システムの処理フローチャート図。
【図８】第二の実施形態に係る映像配信システムの構成図。
【発明を実施するための形態】
【００１３】
以下、図面を参照しつつ、本発明の実施形態を詳細に説明する。なお、同一の構成要素には原則として同一の参照番号を付して、説明を省略する。
【００１４】
（第一の実施形態）
<処理概要>
第一の実施形態に係る映像配信システムは、映像を配信するサーバ装置と、当該配信された映像を受信して表示するクライアント装置からなるシステムである。配信される映像は、マルチバンドカメラを用いて撮影された絵画の映像である。
【００１５】
第一の実施形態に係る映像配信システムが行う映像配信処理の概要について、図１を参
照しながら説明する。本実施形態では、撮影された映像に対して６つのステップを実行することで、クライアント装置における表示を実現する。
【００１６】
なお、以下の説明において、撮影に用いたカメラの特性を表すデータを「カメラ特性データ」、被写体の分光的な統計情報を表すデータを「被写体特性データ」と称する。また、被写体の撮影時に当該被写体を照明していた照明光の分光特性情報を「撮影照明データ」と称し、被写体の映像を表示するモニタ装置を観察する環境の照明光の分光特性情報を「観察照明データ」と称する。
【００１７】
ステップ１では、マルチバンドカメラが取得した波長データ（以下、撮影信号）と、カメラ特性データと、被写体特性データとを用いて、波長と各色信号との関連付けを行う。これにより画像（以下、撮影画像）が生成される。
【００１８】
ステップ２では、撮影照明データを用いて撮影画像を補正し、撮影照明の色成分が除去された画像、すなわち、被写体の分光反射率のみが反映された画像を得る。
【００１９】
ここで、最適色温度情報について説明する。最適色温度情報とは、被写体に対して最適（理想的）な色温度を構成する照明光の波長と、各波長の強度からなる情報である。ステップ３では、最適色温度情報と、観察照明データの波長を比較し、各波長の強度の差分を求める。これにより、レンダリング照明データが生成される。
【００２０】
ステップ４では、生成したレンダリング照明データを用いて、被写体の分光反射率を補正し、被写体に対応する最適色温度情報に基づいて、色が補正された画像を生成する。以降、当該画像を色画像と称する。
ステップ５では、生成した色画像を、表示装置に表示可能な映像信号に変換する処理を行う。これにより、表示画像が生成される。そして、ステップ６で、生成した表示画像を表示装置に出力する。
本実施形態に係る映像配信システムは、被写体に対応する最適色温度情報を事前に定義しておき、当該最適色温度情報と、観察照明データとを比較した結果に基づいてレンダリング照明データを生成する。これにより、簡便な処理でレンダリング照明データを生成することができる。
【００２１】
<システム構成>
次に、第一の実施形態に係る映像配信システムのシステム構成について、図２を参照しながら説明する。第一の実施形態に係る映像配信システムは、配信される映像に含まれる絵画についてのデータを保持する絵画データベース１と、映像の配信を行う映像配信サーバ２と、配信された映像を表示する表示クライアント３からなる。
【００２２】
絵画データベース１は、配信される映像に含まれる絵画に関するデータ（絵画データ）を記憶するデータベースである。絵画データは、具体的には、マルチバンドカメラで絵画を撮影した撮影信号、当該カメラを識別するためのＩＤ、当該絵画に含まれるオブジェクトに関する情報、当該オブジェクトの位置を表す情報、最適色温度情報、撮影照明データからなる。具体的な例については後述する。
【００２３】
映像配信サーバ２を構成する手段について説明する。
サーバ制御部４は、映像配信サーバ２の全体的な動作を制御する手段である。サーバ制御部４は、表示クライアント３から絵画データの配信要求を受信すると、絵画データ取得部５を介して絵画データを取得し、配信処理を開始する。
【００２４】
絵画データ取得部５（映像取得手段、情報取得手段、および、撮影照明データ取得手段
）は、絵画データベース１から、要求のあった絵画に対応する絵画データを取得する。絵画データは、カメラＩＤ、オブジェクト情報、オブジェクトエリア情報、撮影信号、撮影照明データ、最適色温度情報からなる。最適色温度情報およびオブジェクトエリア情報が、本発明における理想照明データである。
絵画データ取得部５は、当該絵画データに含まれる各情報を、後述する各手段に送信する。具体的には、カメラＩＤをカメラＤＢ６に、オブジェクト情報を被写体特性ＤＢ７に、オブジェクトエリア情報をサーバ制御部４に、撮影信号を撮影画像生成部８に送信する。また、撮影照明データを撮影画像補正部９に、最適色温度情報をレンダリング照明データ生成部１１に送信する。
【００２５】
カメラＤＢ６は、被写体（絵画）の撮影に用いるカメラ特性についてのデータ（カメラ特性データ）を記憶する手段である。カメラＤＢ６は、絵画データ取得部５からカメラＩＤを受信すると、対応するカメラのカメラ特性データを取得し、後述する撮影画像生成部８に送信する。
被写体特性ＤＢ７は、被写体（絵画）の特性についてのデータ（被写体特性データ）を記憶する手段である。被写体特性ＤＢ７は、絵画データ取得部５からオブジェクト情報を受信すると、対応するオブジェクトの被写体特性データを取得し、後述する撮影画像生成部８に送信する。
【００２６】
撮影画像生成部８は、取得した撮影信号、カメラ特性データ、被写体特性データに基づいて、波長と各色信号との関連付けを行い、撮影画像を生成する手段である。生成された撮影画像は、撮影画像補正部９に出力される。
【００２７】
撮影画像補正部９は、取得した撮影照明データを用いて、撮影画像を補正する手段（第一の補正手段）である。補正後の撮影画像は、被写体の分光反射率のみが反映された画像となる。補正後の撮影画像は、色画像生成部１０に出力される。
【００２８】
レンダリング照明データ生成部１１は、取得した最適色温度情報と、観察照明データとを比較してレンダリング照明データを生成する手段（補正データ生成手段）である。観察照明データは、表示クライアント側の照明に関するデータであり、通信インタフェース部１３を介して表示クライアント３から取得される。当該データは、表示クライアント３に接続された、観察照明スペクトル計測装置１２により得られたデータである。
レンダリング照明データ生成部１１は、最適色温度情報と、観察照明データとを比較して、その差分を補正するためのデータ（レンダリング照明データ）を生成する。生成したレンダリング照明データは、色画像生成部１０に出力される。
【００２９】
色画像生成部１０は、補正された撮影画像と、取得したレンダリング照明データに基づいて、撮影画像（被写体の分光反射率が反映された画像）を補正し、色画像を生成する手段（第二の補正手段）である。生成された色画像は、通信インタフェース部１３および１４を介して表示クライアント３に送信される。
【００３０】
次に、画像の表示を行う表示クライアント３について説明する。
表示クライアント３は、観察照明のスペクトルを計測する観察照明スペクトル計測装置１２、色再現処理の一部を行う手段である色再現部１５、画像を表示する表示部１６から構成される。
【００３１】
観察照明スペクトル計測装置１２は、観察照明、すなわち、絵画を観賞する際に用いる、表示クライアント３の周辺照明のスペクトルを計測する手段（観察照明データ取得手段）である。
クライアント制御部１７は、絵画配信要求をユーザから取得し、画像配信のトリガを行
う手段である。絵画配信要求は映像配信サーバ２に送信され、色画像が配信される。通信インタフェース部１４を介して受信した色画像は、色画像補正部１８で等色関数を用いて補正され、表示装置に出力可能な映像信号に変換される。変換後の信号は表示部１６に出力され、画像が表示される。
【００３２】
なお、色画像の配信処理は、絵画データ取得部５が取得したオブジェクトエリア情報に基づいて、サーバ制御部４がオブジェクト単位で実行する。また、色画像補正部１８は、オブジェクトごとに色画像を取得し、これらを合成して最終的に一枚の画像を出力する。
【００３３】
<データの説明>
次に、絵画データベース１に記憶される絵画データについて説明する。
図３は、絵画データベース１に記憶される絵画データのデータ形式を示した図である。本実施形態における絵画データは、撮影信号３１、撮影照明データ３２、最適色温度情報３３、オブジェクトエリア情報３４、オブジェクト情報３５、カメラＩＤ３６を含むデータである。これらの情報はＸＭＬ形式で記述されており、必要に応じてより詳細な情報にリンクされる形式となっている。
【００３４】
撮影信号３１はマルチバンドカメラで撮影された信号であり、各画素に対応する波長データである。
撮影照明データ３２は、撮影照明の波長ごとのスペクトル強度を、スペクトルの次元数とともに記録したデータである。撮影照明データ３２のデータ構造を図４に示す。当該データ形式は、観察照明データおよびレンダリング照明データと共通で用いられる。
【００３５】
最適色温度情報３３は、最適色温度を構成する光線のスペクトル強度を、波長ごとに、最適色温度、スペクトルの次元数とともに記録したデータである。最適色温度情報３３のデータ構造を図５に示す。
オブジェクトエリア情報３４は、絵画に含まれるオブジェクトの位置情報を、絵画上の座標を用いて示したものである。また、オブジェクトごとに、最適色温度情報へのリンク情報が定義されている。オブジェクトエリア情報３４のデータ構造を図６に示す。
オブジェクト情報３５は、絵画に含まれるオブジェクトそのものに関する情報である。例えば、オブジェクトの特性や属性、絵画の材質や、表面に関する情報を、オブジェクトごとに定義したものである。
【００３６】
なお、上述した絵画データのフォーマットは例であり、他のフォーマットを用いてもよい。例えば、絵画データはＸＭＬ形式以外で記録されていてもよいし、撮影信号３１、撮影照明データ３２、最適色温度情報３３は、例示したような、スペクトルレベルを波長ごとに表したデータでなくてもよい。また、図６では、左上の座標と右下の座標を用いてオブジェクトの位置を定義しているが、これ以外であってもよい。
【００３７】
<処理フローチャート>
次に、本実施形態に係る映像配信システムの処理を、処理フローチャートである図７を参照しながら説明する。
まず、ステップＳ００１で、絵画を観賞するユーザが、絵画データの配信要求を行う。配信要求は、クライアント制御部１７が取得し、映像配信サーバ２のサーバ制御部４に送信される。
ステップＳ００２では、サーバ制御部４が、絵画データ取得部５に対して絵画データの取得を要求し、絵画データ取得部５が、絵画データベース１から対象の絵画データを取得する。絵画データ取得部５によって取得された絵画データに含まれる情報は、分離され各処理部へ出力される。
【００３８】
絵画データ取得部５で分離された情報のうち、オブジェクトエリア情報は、サーバ制御部４に入力される（ステップＳ００３）。そして、サーバ制御部４は、受信したオブジェクトエリア情報に基づいて、対応する最適色温度情報を取得する。また、処理する画像の座標情報を取得して、該当するオブジェクトに対する色再現処理を開始する。以下、ステップＳ００４〜ステップＳ０１１の処理は、オブジェクトごとに実行される。
【００３９】
絵画データ取得部５で分離された情報のうち、オブジェクト情報は、被写体特性データベース７に送信される（ステップＳ００４）。そして、被写体特性データベース７は、受信したオブジェクト情報に基づいて、被写体特性データを検索し、取得する。
また、絵画データ取得部５で分離されたカメラＩＤは、カメラデータベース６に入力される（ステップＳ００５）。そして、カメラデータベース６は、受信したカメラＩＤに基づいて、カメラ特性データを検索し、取得する。
取得されたカメラ特性データと被写体特性データは、撮影画像生成部８に入力される（ステップＳ００６）。撮影画像生成部８では、撮影信号と被写体特性データとカメラ特性データを用いて、波長と各色信号との関連付けを行い、撮影信号を補正した撮影画像を生成し、撮影画像補正部９に出力する。
【００４０】
絵画データ取得部５で分離された情報のうち、撮影照明データは、撮影画像補正部９に入力される（ステップＳ００７）。撮影画像補正部９では、撮影画像生成部８が生成した撮影画像に対して、撮影照明データを用いて補正を行う。
具体的には、撮影画像の持つ波長データから、撮影照明データ分の波長データを減算することで、撮影画像の補正を行う。これにより、撮影画像のデータに含まれている撮影照明分の色成分がなくなり、オブジェクトそのものの分光反射率を得ることができる。
【００４１】
絵画データ取得部５で分離された情報のうち、最適色温度情報は、レンダリング照明データ生成部１１に入力される。また、レンダリング照明データ生成部１１には、観察照明スペクトル計測装置１２により得られた観察照明データが入力される（ステップＳ００８）。
【００４２】
レンダリング照明データ生成部１１は、最適色温度情報と観察照明データとを比較してレンダリング照明データを生成し、生成したレンダリング照明データを色画像生成部１０に出力する（ステップＳ００９）。具体的には、最適色温度情報と観察照明データとの比較を行い、各波長の強度差分を検出したうえで、当該差分を補正するデータを生成し、レンダリング照明データとする。これにより、絵画の観賞に適した最適色温度で表示するためのレンダリング照明データを生成することができる。
【００４３】
色画像生成部１０は、取得したレンダリング照明データを用いて撮影画像を補正し、色画像を生成する（ステップＳ０１０）。色画像生成部１０で生成された色画像は、通信インタフェース部１３および１４を介して、表示クライアント３に出力される（ステップＳ０１１）。
サーバ制御部４は、ここまでの色再現処理をオブジェクト単位で行う。具体的には、サーバ制御部４が、絵画データに含まれているオブジェクトエリア情報に基づいて、他のオブジェクトに対する処理が必要かを判定し、必要な場合、処理をステップＳ００３へ遷移させる。全てのオブジェクトに対して処理を行った場合、処理は終了する。
【００４４】
次に、表示クライアント３側における処理を説明する。
表示クライアント３に送信された色画像は、色画像補正部１８によって、色空間の変換が行われる。取得した色画像は、オブジェクト単位の画像であるため、色画像補正部１８がこれを一枚の画像に合成し、表示装置に出力可能な映像信号（測色値）に変換する（ステップＳ０１３）。
補正後の映像信号は、表示部１６に出力される。最終的に、映像信号は、測色値からＲＧＢなどのディスプレイで表示可能な多原色信号に変換され、表示される（ステップＳ０１４）。
【００４５】
第一の実施形態に係る映像配信システムでは、以上のような処理を行うことによって、最適な色温度で絵画を観賞することができる。すなわち、撮影時の照明が最適色温度に対応した照明でなかった場合や、観賞時の照明が最適色温度に対応した照明でない場合であっても、忠実な色再現を行うことができる。
また、色再現をオブジェクトごとに実行することにより、より緻密な色再現を行うことができる。また、映像配信サーバ側でレンダリング照明データを生成するため、観賞環境に合わせたレンダリング照明データを事前に生成しなくてもよいという利点がある。
【００４６】
（第二の実施形態）
第一の実施形態では、図１におけるステップ１〜４に対応する処理を映像配信サーバ２が行い、ステップ５〜６に対応する処理を表示クライアント３が行った。これに対し、第二の実施形態は、ステップ１に対応する処理のみを映像配信サーバ２が行い、ステップ２〜６に対応する処理を表示クライアント３が行う実施形態である。
【００４７】
図８は、第二の実施形態に係る映像配信システムの構成図である。第一の実施形態に係る映像配信システムは、絵画データを保持する絵画データベース１と、画像の配信を行う映像配信サーバ１０２と、配信された画像を表示する表示クライアント１０３からなる。
第二の実施形態は、撮影画像補正部９、色画像生成部１０、レンダリング照明データ１１が、映像配信サーバ側ではなく表示クライアント側にあるという点において、第一の実施形態と相違する。また、第二の実施形態では、オブジェクト単位での色再現処理の制御を、サーバ制御部４ではなく、クライアント制御部１７が行う。
なお、第一の実施形態と同一の符号を付した構成要素については、第一の実施形態と同様の処理を行う手段であるため、明示した処理以外については、詳細な説明は省略する。
【００４８】
第二の実施形態は、絵画データ取得部５が、取得したオブジェクトエリア情報、最適色温度情報、撮影照明データを、通信インタフェース部１３を介して表示クライアント１０３へ送信するという点において、第一の実施形態と相違する。また、撮影画像生成部８が、撮影画像を生成した後、当該撮影画像を、通信インタフェース部１３を介して表示クライアント１０３へ送信するという点において相違する。
以降の処理は、表示クライアント１０３にて行われる。
【００４９】
第一の実施形態における色再現部１５が、色画像を受信し、表示画像を生成したのに対し、第二の実施形態における色再現部１１５は、撮影画像を受信し、必要な処理を行ったうえで表示画像を生成する。以下、具体的な流れを説明する。
【００５０】
映像配信サーバ１０２から送信された撮影画像は、撮影画像補正部９に撮影照明データとともに入力される。そして、撮影画像補正部９が、第一の実施形態と同様に、取得した撮影照明データを用いて撮影画像を補正する。補正後の撮影画像は、被写体の分光反射率が反映された画像となる。補正後の撮影画像は、色画像生成部１０に出力される。
【００５１】
また、映像配信サーバ１０２から受信した最適色温度情報は、レンダリング照明データ生成部１１に入力される。レンダリング照明データ生成部１１は、第一の実施形態と同様に、最適色温度情報と観察照明データとを比較し、当該比較結果に基づいて、レンダリング照明データを生成する。生成したレンダリング照明データは、色画像生成部１０に出力される。
【００５２】
色画像生成部１０は、撮影画像補正部９が補正した撮影画像と、レンダリング照明データ生成部１１が生成したレンダリング照明データに基づいて、第一の実施形態と同様に撮影画像を補正し、色画像を生成する。生成された色画像は、色画像補正部１８に入力され、第一の実施形態と同様の処理によって変換され、表示部１６に出力される。
【００５３】
第二の実施形態に係る映像配信システムの処理フローチャートは、図７と同様であるが、ステップＳ００７〜Ｓ０１０の処理を表示クライアント１０３が行うという点において、第一の実施形態と相違する。
また、ステップＳ０１１のかわりに、撮影画像、オブジェクトエリア情報、撮影照明データ、最適色温度情報を送信する処理が、ステップＳ００６の次に挿入される。
【００５４】
クライアント制御部１７は、絵画に対応するオブジェクトエリア情報を取得し、当該オブジェクトエリア情報に基づいて、他のオブジェクトに対する処理が必要かを判定し、ステップＳ００３〜Ｓ０１０の処理を繰り返し実行する。全てのオブジェクトに対して処理を行った場合、処理は終了する。
【００５５】
（第三の実施形態）
第一および第二の実施形態では、撮影照明データと観察照明データを用いて撮影画像を補正した。これにより、絵画にとって最適でない照明を用いて撮影されている場合や、絵画にとって最適でない照明を用いて観賞される場合であっても、忠実な色再現を行うことができる。しかし、当該絵画にとって最適な照明で撮影または観賞が行われている場合、補正処理が無益となる場合がある。第三の実施形態は、これに対応するため、不要な処理を省略する実施形態である。
【００５６】
第三の実施形態に係る映像配信システムの構成図は、第一の実施形態と同様であるため、主に第一の実施形態との相違点を中心に説明し、第一の実施形態と同様の構成については説明を省略する。
【００５７】
第三の実施形態では、撮影画像補正部９が、絵画データ取得部５から、最適色温度情報をさらに取得し、取得した撮影照明データとの間に差分がある場合にのみ、撮影画像の補正を行う。撮影照明データと最適色温度情報との間に差分が無いということは、最適な色温度の照明によって撮影が行われていることを意味するため、このような場合に撮影画像の補正を行っても無益なためである。
具体的には、ステップＳ００７の処理にて、撮影照明データと最適色温度情報とを比較し、差分があるか否かを判定する。なお、判定は完全一致である必要はなく、差分が所定の閾値を超えている場合にのみ「差分あり」と判定してもよい。そして、差分があると判定した場合にのみ、撮影画像の補正を行う。差分が無いと判定した場合、撮影画像の補正処理はスキップする。
【００５８】
また、第三の実施形態では、レンダリング照明データ生成部１１が、取得した最適色温度情報と、観察照明データとの間に差分がある場合にのみ、レンダリング照明データの生成を行う。具体的には、ステップＳ００９の処理にて、観察照明データと最適色温度情報とを比較し、差分があるか否かを判定する。ここでも同様に、判定は完全一致である必要はなく、差分が所定の閾値を超えている場合にのみ「差分あり」と判定してもよい。そして、差分があると判定した場合にのみ、レンダリング照明データの生成を行う。差分が無いと判定した場合、最適な色温度の照明で観察されていることを意味するため、レンダリング照明データの生成は行わない。また、色画像生成部１０は、レンダリング照明データが存在しない場合、レンダリング照明データを用いた補正を行わない。
【００５９】
また、第三の実施形態では、レンダリング照明データによる補正を行ったか否かを表す
情報を、通信インタフェース部を介して表示クライアントに送信する。そして、ステップＳ０１３にて、色画像補正部１８が、レンダリング照明データによる補正が行われていない場合にのみ、観察照明スペクトル計測装置１２から観察照明データを取得し、当該観察照明データを用いて色画像の補正を行う。レンダリング照明データによる補正が行われている場合、観察照明データを用いた補正が済んでいるため、観察照明データを用いた色画像の補正は行わない。
【００６０】
第三の実施形態では、以上に説明したように、最適色温度情報と、撮影照明データおよび観察照明データを比較し、差分がある場合にのみ補正を行う。これにより、無益な処理を省略することができる。
【００６１】
（第四の実施形態）
第四の実施形態は、第二の実施形態に対して、第三の実施形態で述べた、不要な処理を省略する機能を追加した実施形態である。第四の実施形態に係る映像配信システムの構成図は、第二の実施形態と同様であるため、主に第二の実施形態との相違点を中心に説明し、第二の実施形態と同様の構成については説明を省略する。
【００６２】
第四の実施形態では、第三の実施形態と同様に、撮影画像補正部９が、取得した最適色温度情報と、撮影照明データとを比較し、差分があるか否かを判定する。そして、差分があると判定した場合にのみ、撮影画像の補正を行う。差分が無いと判定した場合、最適な色温度で撮影されていることを意味するため、撮影画像の補正は行わない。
【００６３】
また、同様に、レンダリング照明データ生成部１１が、取得した最適色温度情報と、観察照明データとを比較し、差分があるか否かを判定する。そして、差分があると判定した場合にのみ、レンダリング照明データの生成を行う。差分が無いと判定した場合、最適な色温度で観察されていることを意味するため、レンダリング照明データの生成は行わない。
【００６４】
また、第四の実施形態では、レンダリング照明データによる補正を行ったか否かを表す情報を、レンダリング照明データ生成部１１から色画像補正部１８に送信する。
そして、色画像補正部１８が、レンダリング照明データによる補正が行われていない場合にのみ、観察照明スペクトル計測装置１２から観察照明データを取得し、当該観察照明データを用いて色画像の補正を行う。レンダリング照明データによる補正が行われている場合、観察照明データを用いた補正が済んでいるため、観察照明データを用いた色画像の補正は行わない。
【００６５】
第四の実施形態では、以上に説明したように、最適色温度情報と、撮影照明データおよび観察照明データを比較し、差分がある場合にのみ補正を行う。これにより、無益な処理を省略することができる。
【００６６】
（変形例）
なお、各実施形態の説明は本発明を説明する上での例示であり、本発明は、発明の趣旨を逸脱しない範囲で適宜変更または組み合わせて実施することができる。例えば、本発明は、上記処理の少なくとも一部を含む、映像配信システムとして実施することもできる。また、映像表示装置単体として実施することもできる。また、映像処理装置が行う映像処理方法として実施することもできる。また、映像出力装置や表示装置を有する、その他の装置として実施することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
【００６７】
例えば、実施形態の説明では、絵画に含まれる複数のオブジェクトごとに最適色温度を
定義したが、分割の方法は必ずしもオブジェクト単位でなくてもよい。例えば、画像をエリアで分割し、エリアごとに色温度の再現処理を行ってもよい。
また、色再現は、必ずしも分割して行う必要はない。例えば、絵画データからオブジェクトに関する定義を省略し、絵画全体を一つの処理対象として処理を行ってもよい。
【００６８】
また、実施形態の説明では、撮影照明データや最適色温度を絵画データに含ませたが、これ以外の方法を用いてもよい。例えば、撮影信号、カメラＩＤ、オブジェクトに関する情報、最適色温度情報、撮影照明データを、例示した方法以外で個別に配信してもよい。
【００６９】
また、記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を実現するシステムや装置のコンピュータ（又はＣＰＵ、ＭＰＵ等のデバイス）によっても、本発明を実施することができる。また、例えば、記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を実現するシステムや装置のコンピュータによって実行されるステップからなる方法によっても、本発明を実施することができる。
この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体（つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体）から、上記コンピュータに提供される。したがって、上記コンピュータ（ＣＰＵ、ＭＰＵ等のデバイスを含む）、上記方法、上記プログラム（プログラムコード、プログラムプロダクトを含む）、上記プログラムを非一時的に保持するコンピュータ読取可能な記録媒体は、いずれも本発明の範疇に含まれる。
【符号の説明】
【００７０】
１・・・絵画ＤＢ、２・・・映像配信サーバ、３・・・表示クライアント、５・・・絵画データ取得部、８・・・撮影画像生成部、９・・・撮影画像補正部、１０・・・色画像生成部、１１・・・レンダリング照明データ生成部
【図１】
0006373135.tif 000002
【図２】
0006373135.tif 000003
【図３】
0006373135.tif 000004
【図４】
0006373135.tif 000005
【図５】
0006373135.tif 000006
【図６】
0006373135.tif 000007
【図７】
0006373135.tif 000008
【図８】
0006373135.tif 000009