(57)【要約】【課題】マルチスペクトル映像、コンピュータグラフィクスとして制作される映像等、様々な映像を共通の環境で扱うことができるようにする。【解決手段】複数のバンドを有する映像データを扱うシステムであって、映像データは画素毎に各バンドの信号値と付加情報とで構成され、付加情報は信号値から被写体の反射率または分光放射輝度を求める手段と照明を特定する情報からなることを前提とし、映像データを読み込む映像入力部と、映像データに付加情報をつけて映像データ記憶部に記憶させる付加情報算出部と、映像データ記憶部の付加情報から反射率等のスペクトルデータと照明スペクトルから表示映像を算出して映像表示部に出力する映像変換部と、で映像処理装置を構成する。付加情報算出部は、被写体の分光反射率データまたは被写体の分光放射輝度データを生成するか、収集する。【選択図】図１
2007274637.tif 000002
【特許請求の範囲】
【請求項１】
映像データ入力部と、映像データ記憶部と、映像表示部を備える映像処理装置であって、さらに、
前記映像データ入力部からデータを受けて前記映像データ記憶部へ出力する付加情報算出部と、
前記映像データ記憶部からデータを受けて前記映像表示部へ出力する映像データ変換部と、
前記付加情報算出部へ付加情報を提供する付加情報入力部と、
前記映像表示部の照明環境として設定する照明環境データを前記付加情報算出部または前記映像データ変換部へ入力する照明環境データ入力部と、
を備え、
前記付加情報算出部は、映像データ入力部から受けた映像データに、被写体の分光反射率または被写体の分光放射輝度を算出することのできる情報が含まれている場合には、映像データ入力部から受けた前記映像データから付加情報として被写体の分光反射率データまたは被写体の分光放射輝度データを生成し、あるいは被写体の分光反射率または被写体の分光放射輝度を算出することのできる前記情報が含まれていない場合には、前記付加情報を生成するのに必要な情報を前記の付加情報入力部から収集してから前記付加情報を生成し、
映像データ変換部は、前記映像データと前記付加情報と前記照明環境データとを用いて、映像表示部で予め設定された環境に応じた表示映像データに変換し、映像表示部に出力することを特徴とする映像処理装置。
【請求項２】
映像データ入力部と、映像データ変換部と、映像表示部を備える映像処理装置であって、さらに、
前記映像データ入力部からデータを受けて前記映像データ変換部へ出力する付加情報算出部と、
前記付加情報算出部からの映像データを記憶する第１の映像データ記憶部と、
前記付加情報算出部へ付加情報を提供する付加情報入力部と、
前記映像表示部の照明環境として設定する照明環境データを前記付加情報算出部または前記映像データ変換部へ入力する照明環境データ入力部と、
前記映像データ変換部から映像表示部へのデータを一時的に記憶する第２の映像データ記憶部と
を備え、
前記付加情報算出部は、映像データ入力部から受けた映像データに、被写体の分光反射率または被写体の分光放射輝度を算出することのできる情報が含まれている場合には、映像データ入力部から受けた前記映像データから付加情報として被写体の分光反射率データまたは被写体の分光放射輝度データを生成し、あるいは被写体の分光反射率または被写体の分光放射輝度を算出することのできる前記情報が含まれていない場合には、前記付加情報を生成するのに必要な情報を前記の付加情報入力部から収集してから前記付加情報を生成し、
映像データ変換部は、前記映像データと前記付加情報と前記照明環境データとを用いて映像表示部で予め設定された環境に応じた表示映像データに変換し、第２の映像データ記憶部または映像表示部に出力し、
映像表示部は、映像データ変換部あるいは第２の映像データ記憶部からのデータを映像として表示することを特徴とする映像処理装置。
【請求項３】
映像データ入力部と、映像データ変換部と、映像表示部を備える映像処理装置であって、さらに、
前記映像データ入力部からデータを受けて前記映像データ変換部へ出力する付加情報算出部と、
前記付加情報算出部からの映像データを記憶し前記映像データ変換部に出力するする第１の映像データ記憶部と、
第１の映像データ記憶部の記憶内容を編集する編集部と
前記付加情報算出部へ付加情報を提供する付加情報入力部と、
前記映像表示部の照明環境として設定する照明環境データを前記付加情報算出部または前記映像データ変換部へ入力する照明定義部と、
前記映像データ変換部から映像表示部へのデータを一時的に記憶する第２の映像データ記憶部と、を備え、
前記映像データ変換部は、第１の映像データ記憶部からのデータと前記照明定義部からのデータを受けて前記映像表示部へあるいは第２の映像データ記憶部へ出力し、
前記付加情報算出部は、映像データ入力部から受けた映像データに、被写体の分光反射率または被写体の分光放射輝度を算出することのできる情報が含まれている場合には、映像データ入力部から受けた前記映像データから付加情報として被写体の分光反射率データまたは被写体の分光放射輝度データを生成し、あるいは被写体の分光反射率または被写体の分光放射輝度を算出することのできる前記情報が含まれていない場合には、前記付加情報を生成するのに必要な情報を前記の付加情報入力部から収集してから前記付加情報を生成し、
映像データ変換部は、前記映像データと前記付加情報と前記照明環境データとを用いて、映像表示部で予め設定された環境に応じた表示映像データに変換し、第２の映像データ記憶部または映像表示部に出力し、
映像表示部は、映像データ変換部あるいは第２の映像データ記憶部からのデータを映像として表示することを特徴とする映像処理装置。
【請求項４】
上記の分光反射率データは分光反射率推定行列であり、照明環境データはレンダリング照明スペクトル情報であるかまたは分光放射輝度データは分光放射輝度推定行列であることを特徴とする請求項１、２あるいは３のいずれかに記載の映像処理装置。
【請求項５】
上記の分光反射率データ、照明環境データあるいは分光放射輝度データは、それぞれを引用できる分光反射率タグデータ、照明光タグデータあるいは輝度タグデータを通じて与えられ、
上記の映像データ変換部は、上記の映像データに、分光反射率タグデータ、照明光タグデータあるいは輝度タグデータを付加して出力し、
上記の映像表示部は、上記の映像データと、分光反射率タグデータ、照明光タグデータあるいは輝度タグデータ、から分光反射率データ、照明光データあるいは輝度データとを得て、上記の映像表示部用の表示データを算出して表示することを特徴とする請求項１ないし４のいずれかに記載の映像処理装置。
【請求項６】
上記の分光反射率データで互いに等価なものには、同一の分光反射率タグデータを用い、
あるいは、上記の照明環境データで互いに等価なものには、同一の照明光タグデータを用い、
あるいは、上記の輝度データで互いに等価なものには、同一の輝度タグデータを用いることを特徴とする請求項５に記載の映像処理装置。
【請求項７】
上記の映像表示部が、表示映像データを算出する際に、変換テーブルを用いて算出する算出手段を有することを特徴とする請求項１から４のいずれかに記載の映像処理装置。
【請求項８】
上記の映像表示部が、表示映像データを算出する際に、複数の変換テーブルを用いて算出する算出手段を有し、
前記タグデータに基づいて使用する変換テーブルを切り替える手段を有することを特徴とする請求項５に記載の映像処理装置。
【請求項９】
上記の映像データと、分光反射率データと、照明環境データあるいは分光放射輝度データと、表示映像データとは、独立したそれぞれの記憶領域に保持することを特徴とする請求項１から５のいずれかに記載の映像処理装置。
【請求項１０】
上記の映像表示部は、さらに、表示映像データを入力する手段と、表示映像データから分光反射率データを算出する手段と、を備え、
さらに、入力された表示映像データから分光反射率データを算出して記憶領域に保持するかまたは表示することを特徴とする請求項１から８のいずれかに記載の映像処理装置。
【請求項１１】
上記の付加情報算出部は、さらに、入力した表示映像データから、あるいは表示映像データを算出可能な入力したデータから、分光反射率データを算出する手段と、
算出した前記の分光反射率データを記憶する記憶領域と、を備え、
前記の分光反射率データを前記記憶領域に保持するかまたは映像表示部で表示することを特徴とする請求項１から８のいずれかに記載の映像処理装置。
【請求項１２】
上記の映像変換部で用いる分光反射率データ、照明環境データあるいは分光放射輝度データとして、
映像データから求めた値を用いるか、あるいは、他の予め決められた手段で用意された値を用いるか、を選択する選択手段をさらに備えることを特徴とする請求項３から９のいずれかに記載の映像処理装置。
【請求項１３】
上記の予め決められた手段は、入力した映像データに含まれるノイズ、上記の照明環境データ、分光反射率データあるいは分光放射輝度データの少なくとも一つを、あるいは、分光反射率データあるいは照明光データあるいは輝度データの統計情報の少なくとも一つを提供する手段であることを特長とする請求項１０に記載の映像処理装置。
【請求項１４】
照明環境データを入力する手段あるいは照明環境データを改変する手段と、入力した照明環境データあるいは改変した照明環境データを用いて表示映像データを算出して表示する表示手段を備えることを特徴とする請求項１から１０のいずれかに記載の映像処理装置。
【請求項１５】
分光反射率データを入力する手段と、分光反射率データを改変する手段と、入力した分光反射率データあるいは改変した分光反射率データを用いて表示映像データを算出して表示する表示手段を備えることを特徴とする請求項１から１０のいずれかに記載の映像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、演色性があるような被写体の映像を撮像したり、混色の種類の異なる表示を行なったり、色空間における色域が異なる表示装置で表示したりする場合でも、共通に扱うことができる映像処理装置に関している。
【背景技術】
【０００２】
電子撮像装置で取得した撮像データを電子表示装置で表示したり、印刷したりする場合に、電子撮像装置としては、電子管式カメラや半導体を用いたＣＣＤ（電荷結合素子）が使われるが、用いられるフィルタや受光体には種々のものがある。また、電子表示装置としても動作原理の異なるものが種々用いられている。また、撮像データを印刷する場合には、混色が電子表示装置の場合とは異なり減法混色となる。このように、同じ被写体を撮像する場合でも撮像条件や表示条件がことなるために、被写体の色を正しく表現することは、容易ではないことが知られている。
【０００３】
一般に、被写体の色を再現する場合には、分光測色的に再現するか、赤緑青の光による３刺激値を再現するかが行なわれる。
【０００４】
分光測色的に再現するには反射率を目標色に合わせる方法があり、この方法で行うＣＣＭ（Ｃｏｍｐｕｔｅｒ  Ｃｏｌｏｒ  Ｍａｔｃｈｉｎｇ（コンピュータカラーマッチング））は、アイソメリックマッチと呼ばれている。反射率が合致した場合、メタメリズムによる色変化を完全に取り去ることができる。
【０００５】
目の感度の違いによる３原色表示装置の色が実物と異なって見える所謂観察者メタメリズムという現象は、近年色再現の分野でも注目されている問題点であり、モニタの観察者が標準的な目の分光感度と異なっている場合に、標準的な目の感度の人に合わせて設計された３原色映像表示装置を見た場合に実際と異なった色に見えるものである。この目の感度のばらつきや差というのは、人種によっても異なる他、同一の人物であっても、加齢や水晶体の病気等で発生することが知られている。
【０００６】
このような観察者メタメリズムを軽減することのできるスペクトル近似法による多原色分解は究極的に正確な色再現を行う場合に用いられる方法であり、医療分野等での利用が期待されている技術であり、公知文献５に詳しく述べられている。
【０００７】
また、被写体の色を表現するために、例えばＸＹＺ表色系がよく使われる。これは、赤緑青の光による３刺激値に基づいた、よく知られた表色系である。光の波長をλとし、赤緑青の等色関数をｘ（λ）、ｙ（λ）、ｚ（λ）、照射光のスペクトルをＳ（λ）、被写体の反射率スペクトルをＲ（λ）、規格化定数をＫとするとき、赤緑青それぞれの３刺激値Ｘ、Ｙ、Ｚは、次の可視帯域（３８０〜７８０ｎｍ）での積分で与えられる事が知られている。
Ｘ＝Ｋ∫Ｒ（λ）ｘ（λ）Ｓ（λ）ｄλ、
Ｙ＝Ｋ∫Ｒ（λ）ｙ（λ）Ｓ（λ）ｄλ、
Ｚ＝Ｋ∫Ｒ（λ）ｚ（λ）Ｓ（λ）ｄλ、
このように、表現される被写体の色は、照射光や反射率で決まる。
【０００８】
上記の３刺激値から、例えば次の式、ｘ＝Ｘ／（Ｘ＋Ｙ＋Ｚ）、ｙ＝Ｙ／（Ｘ＋Ｙ＋Ｚ）、ｚ＝Ｚ／（Ｘ＋Ｙ＋Ｚ）、に従って色度座標が指定され、色度図にプロットされる。ここで、実際に使用できる領域は色空間と呼ばれる。この色空間にはファイルとして記録可能な色空間（ＲＧＢ、ＲＧＢＡ、ＹＣｂＣｒ、ＣＭＹＫなど）と記録できない色空間がある。
【０００９】
例えばＲＧＢ（青緑赤）は、一般に、光の三原色を用いた加法混色の表現に使われる。電子表示装置であるコンピュータのモニタで用いられることが多い。実際に使用されているＲＧＢにはさまざまな種類のものがあり、正確な色表現のためには赤・緑・青の基準を定める必要がある。
【００１０】
また、ＲＧＢＡはＲＧＢの色空間に加えて、透過（透明）度を表現するアルファチャンネルをもったものである。
【００１１】
ＹＣｂＣｒは、テレビ放送での経緯があって使用されている。Ｙは輝度信号（明るさ）を示し、Ｃｂは青の差分信号、Ｃｒは赤の差分信号を示す。
【００１２】
またＣＭＹＫ（シアン(cyan)、マゼンタ(magenta)、イエロー(yellow)、そして黒 (black)）は印刷の過程で利用する、色の３原色に基づいた減法混色の表現法である。
【００１３】
上記の色空間は３原色に基づいたものであるが、最近では、マルチスペクトル映像用のあるいは多元色インクを用いた印刷用の色空間も用いられている。
【００１４】
より具体的には、被写体の色を再現するにあたっては、次の様な問題がある。例えば、市販ソフトのフォトショップ（Photoshop（登録商標））のように、アルファチャネルを用いて不透明度を表現する技術は実用化されていたが、各画素の信号は表示される映像信号そのものであったため、反射率データとして扱うには不具合があった。
【００１５】
また、ＣＧ（コンピュータグラフィクス）ソフトではレンダリング照明を適用させるためにモデルに反射率を用いていたが、マルチスペクトル映像に対応したものは無かった。
【００１６】
マルチスペクトル映像のような被写体表面の反射率または放射輝度に関する情報を扱う手法としては、ナチュラルビジョンフォーマットが提案されている。この技術としては「ナチュラルビジョンファイルフォーマットｖｅｒ．２」が非特許文献１（「平成１６年度  ナチュラルビジョンの研究開発プ口ジェクト研究開発報告書」）および特許文献１に記載されている。この非特許文献１には、撮影映像信号から反射率を数学的に導く方法が記されている。しかし、映像データを取り扱う方法については触れられていない。
【００１７】
また、特許文献２によれば、バンド数の異なる映像情報を、統一した仮想カメラ信号空間に一旦変換することで共通に扱う方法が開示されている。しかしながら、いずれも単一の空間での取り扱いしか示されておらず、具体的にシステムに実装しようとしても単一の環境のデータ以外のものを取り扱うことはできなかった。
【００１８】
【特許文献１】特開２００３−１３４３５１号公報
【特許文献２】特開２００４−１４０６４５
【非特許文献１】ナチュラルビジョン映像データファイルフォーマット：平成１６年度  ナチュラルビジョンの研究開発プロジェクト［動画］研究開発報告書  ｐｐ３４９−３９７
【非特許文献２】A Method for the Unified Representation of Multispectral Images with Different Number of Bands: The Journal of Imaging Science and Technology, March/April 2004, vol. 48, no. 2; p. 120-124
【非特許文献３】A Visual Evaluation of the Image Reproduced by Color Decomposition Based on Spectral Approximation for Multiprimary Display: The Journal of Imaging Science and Technology, July/August 2005, vol. 49, no. 4; p. 410-417
【発明の開示】
【発明が解決しようとする課題】
【００１９】
マルチスペクトル映像として取得されるカメラ映像、コンピュータグラフィクスとして制作される映像、通常カメラの映像等、様々な映像を共通の環境で扱うことができるようにする。
【発明の効果】
【００２０】
この発明では、映像データは画素毎に画像信号と、反射率を推定する行列をもっており、システムで定義されるレンダリングに用いる照明スペクトルから表示用映像データを生成することができる。また、反射率推定行列が画像上の部位別に撮影時の照明が異なっている場合には、部位毎に異なる反射率推定行列を定義することで、正しい反射率を求めることができる。更に、部位毎に異なるレンダリング照明を作用させることができ、マルチスペクトル画像を容易に編集または加工できる。種々の環境で撮影あるいは作られた映像であっても、同じ編集ツールで扱うことができる。
【課題を解決するための手段】
【００２１】
本発明は、複数のバンドを有する映像データを扱うシステムであって、映像データは画素毎に各バンドの信号値と付加情報とで構成され、前記付加情報は信号値から被写体の反射率または分光放射輝度を求める手段と照明を特定する情報からなることを前提とし、映像データを読み込む映像入力部と、映像データに付加情報をつけて映像データ記憶部に記憶させる付加情報算出部と、映像データ記憶部の付加情報から反射率等のスペクトルデータと照明スペクトルから表示映像を算出して映像表示部に出力する映像変換部とを有している。前記記憶部は、編集用映像データを記憶することを特徴としている。
【００２２】
より詳しく述べると、本発明の映像処理装置は、映像データ入力部と、映像データ記憶部と、映像表示部を備える映像処理装置であって、さらに、前記映像データ入力部からデータを受けて前記映像データ記憶部へ出力する付加情報算出部と、前記映像データ記憶部からデータを受けて前記映像表示部へ出力する映像データ変換部と、前記付加情報算出部へ付加情報を提供する付加情報入力部と、前記映像表示部の照明環境として設定する照明環境データを前記付加情報算出部または前記映像データ変換部へ入力する照明環境データ入力部と、を備え、
前記付加情報算出部は、映像データ入力部から受けた映像データに、被写体の分光反射率または被写体の分光放射輝度を算出することのできる情報が含まれている場合には、映像データ入力部から受けた前記映像データから付加情報として被写体の分光反射率データまたは被写体の分光放射輝度データを生成し、あるいは被写体の分光反射率または被写体の分光放射輝度を算出することのできる前記情報が含まれていない場合には、前記付加情報を生成するのに必要な情報を前記の付加情報入力部から収集してから前記付加情報を生成し、映像データ変換部は、前記映像データと前記付加情報と前記照明環境データとを用いて、映像表示部で予め設定された環境に応じた表示映像データに変換し、映像表示部に出力するものである。
【００２３】
また、映像データ入力部と、映像データ変換部と、映像表示部を備える映像処理装置であって、さらに、前記映像データ入力部からデータを受けて前記映像データ変換部へ出力する付加情報算出部と、前記付加情報算出部からの映像データを記憶する第１の映像データ記憶部と、前記付加情報算出部へ付加情報を提供する付加情報入力部と、前記映像表示部の照明環境として設定する照明環境データを前記付加情報算出部または前記映像データ変換部へ入力する照明環境データ入力部と、前記映像データ変換部から映像表示部へのデータを一時的に記憶する第２の映像データ記憶部と、を備え、
前記付加情報算出部は、映像データ入力部から受けた映像データに、被写体の分光反射率または被写体の分光放射輝度を算出することのできる情報が含まれている場合には、映像データ入力部から受けた前記映像データから付加情報として被写体の分光反射率データまたは被写体の分光放射輝度データを生成し、あるいは被写体の分光反射率または被写体の分光放射輝度を算出することのできる前記情報が含まれていない場合には、前記付加情報を生成するのに必要な情報を前記の付加情報入力部から収集してから前記付加情報を生成し、映像データ変換部は、前記映像データと前記付加情報と前記照明環境データとを用いて、映像表示部で予め設定された環境に応じた表示映像データに変換し、第２の映像データ記憶部または映像表示部に出力し、映像表示部は、映像データ変換部あるいは第２の映像データ記憶部からのデータを映像として表示する映像処理装置であってもよい。
【００２４】
また、映像データ入力部と、映像データ変換部と、映像表示部を備える映像処理装置であって、さらに、前記映像データ入力部からデータを受けて前記映像データ変換部へ出力する付加情報算出部と、前記付加情報算出部からの映像データを記憶し前記映像データ変換部に出力するする第１の映像データ記憶部と、第１の映像データ記憶部の記憶内容を編集する編集部と、前記付加情報算出部へ付加情報を提供する付加情報入力部と、前記映像表示部の照明環境として設定する照明環境データを前記付加情報算出部または前記映像データ変換部へ入力する照明定義部と、  前記映像データ変換部から映像表示部へのデータを一時的に記憶する第２の映像データ記憶部と、を備え、
前記映像データ変換部は、第１の映像データ記憶部からのデータと前記照明定義部からのデータを受けて前記映像表示部へあるいは第２の映像データ記憶部へ出力し、前記付加情報算出部は、映像データ入力部から受けた映像データに、被写体の分光反射率または被写体の分光放射輝度を算出することのできる情報が含まれている場合には、映像データ入力部から受けた前記映像データから付加情報として被写体の分光反射率データまたは被写体の分光放射輝度データを生成し、あるいは被写体の分光反射率または被写体の分光放射輝度を算出することのできる前記情報が含まれていない場合には、前記付加情報を生成するのに必要な情報を前記の付加情報入力部から収集してから前記付加情報を生成し、映像データ変換部は、前記映像データと前記付加情報と前記照明環境データとを用いて、映像表示部で予め設定された環境に応じた表示映像データに変換し、第２の映像データ記憶部または映像表示部に出力し、映像表示部は、映像データ変換部あるいは第２の映像データ記憶部からのデータを映像として表示する映像処理装置であってもよい。
【００２５】
具体的には例えば、上記の分光反射率データは分光反射率推定行列であり、照明環境データはレンダリング照明スペクトル情報であるかまたは分光放射輝度データは分光放射輝度推定行列である。
【００２６】
上記の分光反射率データ、照明環境データあるいは分光放射輝度データは、それぞれを引用できる分光反射率タグデータ、照明光タグデータあるいは輝度タグデータを通じて与えられ、上記の映像データ変換部は、上記の映像データに、分光反射率タグデータ、照明光タグデータあるいは輝度タグデータを付加して出力し、上記の映像表示部は、上記の映像データと、分光反射率タグデータ、照明光タグデータあるいは輝度タグデータ、から分光反射率データ、照明光データあるいは輝度データとを得て、上記の映像表示部用の表示データを算出して表示することで記憶するデータ量を省くことができる。
【００２７】
また、上記の分光反射率データで互いに等価なものには、同一の分光反射率タグデータを用い、あるいは、上記の照明環境データで互いに等価なものには、同一の照明光タグデータを用い、あるいは、上記の輝度データで互いに等価なものには、同一の輝度タグデータを用いることによっても記憶するデータ量を省くことができる。
【００２８】
また、上記の映像表示部が、表示映像データを算出する際に、変換テーブルを用いて算出することによって、算出手段を簡単化することができる。
【００２９】
また、上記の映像表示部が、表示映像データを算出する際に、複数の変換テーブルを用いて算出する算出手段を有し、前記タグデータに基づいて使用する変換テーブルを切り替えることで、使い勝手と画質を改善できる。
【００３０】
また、上記の映像データと、分光反射率データと、照明環境データあるいは分光放射輝度データと、表示映像データとは、独立したそれぞれの記憶領域に保持することもできる。
【００３１】
上記の映像表示部は、さらに、表示映像データを入力する手段と、表示映像データから分光反射率データを算出する手段と、を備え、
さらに、入力された表示映像データから分光反射率データを算出して記憶領域に保持するかまたは表示することで、表示時間帯を調整できる。
【００３２】
上記の付加情報算出部は、さらに、入力した表示映像データから、あるいは表示映像データを算出可能な入力したデータから、分光反射率データを算出する手段と、算出した前記の分光反射率データを記憶する記憶領域と、を備え、
前記の分光反射率データを前記記憶領域に保持するかまたは映像表示部で表示することもできる。
【００３３】
また、上記の映像変換部で用いる分光反射率データ、照明環境データあるいは分光放射輝度データとして、映像データから求めた値を用いるか、あるいは、他の予め決められた手段で用意された値を用いるか、を選択することで多彩な表示を行うことができる。
【００３４】
上記の予め決められた手段は、入力した映像データに含まれるノイズ、上記の照明環境データ、分光反射率データあるいは分光放射輝度データの少なくとも一つを、あるいは、分光反射率データあるいは照明光データあるいは輝度データの統計情報の少なくとも一つである。
【００３５】
また、照明環境データを入力する手段あるいは照明環境データを改変する手段と、入力した照明環境データあるいは改変した照明環境データを用いて表示映像データを算出して表示できる。
【００３６】
また、分光反射率データを入力する手段と、分光反射率データを改変する手段と、入力した分光反射率データあるいは改変した分光反射率データを用いて表示映像データを算出して表示できる。
【発明を実施するための最良の形態】
【００３７】
以下に、この発明の実施の形態を図面に基づいて詳細に説明する。以下の説明においては、同じ機能あるいは類似の機能をもった装置に、特別な理由がない場合には、同じ符号を用いるものとする。
【実施例１】
【００３８】
図１に示す映像処理装置は、複数のバンドを有する映像データを扱うシステムであって、システムで扱われる映像データは画素毎に各バンドの信号値と付加情報とで構成され、前記付加情報は信号値から被写体の分光反射率または分光放射輝度を求める行列を特定する情報からなることを前提としている。図１のシステムは、映像データ入力部１、付加情報算出部２、映像データ記憶部３、映像データ変換部４、映像表示部５、付加情報入力部６、照明環境データ入力部７を含む。付加情報算出部２は、映像データ入力部から受けた映像データに、被写体の分光反射率または被写体の分光放射輝度を算出することのできる情報が含まれている場合には、映像データ入力部から受けた前記映像データから付加情報として被写体の分光反射率データまたは被写体の分光放射輝度データを生成し、あるいは被写体の分光反射率または被写体の分光放射輝度を算出することのできる前記情報が含まれていない場合には、前記付加情報を生成するのに必要な情報を前記の付加情報入力部６から収集してから前記付加情報を生成し、映像データ変換部４は、前記映像データと前記付加情報と前記照明環境データとを用いて、映像表示部５で予め設定された環境に応じた表示映像データに変換し、映像表示部５に出力するものである。
【００３９】
付加情報算出部２の、より詳細な構成を図１０に示す。これは、被写体の分光反射率または被写体の分光放射輝度を算出することのできる情報が含まれている場合には、プロファイル抽出部２１、マトリクス定義部２２、マスク生成部２３で、被写体の分光反射率データまたは被写体の分光放射輝度データを生成しこれを付加情報として、前記映像データにデータ合成部２４で付加情報として付加するものである。
【００４０】
また、図２のシステムでは、付加情報算出部２は、映像データ入力部から受けた映像データに、被写体の分光反射率または被写体の分光放射輝度を算出することのできる情報が含まれている場合には、映像データ入力部から受けた前記映像データから付加情報として被写体の分光反射率データまたは被写体の分光放射輝度データを生成し、あるいは被写体の分光反射率または被写体の分光放射輝度を算出することのできる前記情報が含まれていない場合には、前記付加情報を生成するのに必要な情報を前記の付加情報入力部６から収集し、さらに照明環境入力部７からのデータを用いて前記付加情報を生成し、映像データ変換部４は、前記映像データと前記付加情報と前記照明環境データとを用いて、映像表示部で表示映像データに変換し、映像表示部５に出力するものである。
【００４１】
図１の構成は、コンピュータとモニタを基本構成として実現することができる。この場合のブロックは、コンピュータプログラムの各処理モジュールに当たる。また、外部からのデータ入力手段として、ＣＤ−ＲＯＭやフレキシブルディスク等の記憶メディアの読み取り装置、通信回線およびオペレータの操作による入力としてマウス・キーボードを有しているものとする。
【００４２】
以下では、ＣＤ−ＲＯＭから６バンド映像データとしてナチュラルビジョンフォーマットで表現されたデータを読み込んで多原色表示装置である６原色モニタに映像を表示させる場合を例に説明する。ナチュラルビジョンフォーマットは、インプットプロファイルとしてＮＶファイルフォーマットＶｅｒ２に規定されている「Ｎコンポーネントスペクトラルマトリクスベースドインプットプロファイル」が付いているケースを考えることにする。前記インプットプロファイルは、反射率推定行列である「Ｄ２Ｒマトリクス」と、カメラのトーン特性およびカメラのバイアス値を含んでいる。
【００４３】
この映像データを実際にシステムに読み込んで映像として表示させる処理は以下のようになる。例えば、システムへＣＤ−ＲＯＭに記録された映像を入力する場合は、映像入力部（ＣＤ−ＲＯＭ）を通じて映像データを読み込むと、映像データに適用する反射率推定行列を映像データに付属されたプロファイルから抽出するようにしている（付加情報算出部）。この反射率推定行列（以下Ｄ２Ｒと記す）を読み込まれた画像の６チャネルの信号値からなる画素データごとに付加情報としてセットにして映像データ記憶部に記憶させる。（以後、画素データに反射率推定行列が定義されているものを反射率画像と呼ぶ。）この、６つの信号値は例えば、６バンドカメラで撮影したときのカメラ出力信号であって、被写体の形状と輝度の情報に関連した値となっている。前記輝度情報である信号値から被写体の反射率を推定する手法はウィーナ推定を用いるものが一般的で、カメラ信号値Ｇと分光反射率ｆの関係は数１のように表される。
【００４４】
【数１】
2007274637.tif 000003
【００４５】
読み込まれた反射率画像は、このままでは色を呈さない。即ち、反射率に対して何らかの光があたっている場合に照射された光に反射率が乗じられたエネルギーとして反射してきたスペクトルが光として色を呈するので、反射率画像だけでは映像として見ることは出来ない。そこで、この反射率画像として表されている物体が、ある照明環境の空間に存在していると想定することとする。
この形状と反射率を有する物体を「反射オブジェクト」と呼ぶ。今、オブジェクトが存在する空間にある分光特性を有する照明が定義されており、その照明が前記オブジェクトに照射されていると、図１１のような関係となる。図１１の反射オブジェクトのある点での反射率ｒ（λ）にスペクトルｉ（λ）の照明の当たっている状態を観測装置で観測した場合、ｓ（λ）の分光放射輝度として観測されるようになる。この照明をシステムとしては任意に定義することができるようになっている。例えば、照明スペクトルを直接的に可視光の各波長毎の相対エネルギーとして指定したり、一般的にスペクトル形状が知られている黒体放射のエネルギー分布で指定したりすることが出来る。こうして反射オブジェクトに照射される照明が決定されると、このとき、観測装置に６チャネルのカメラを用いるとカメラ出力として６つの信号値が得られる。
【００４６】
また、反射オブジェクトではなく、光を透過する物体で色を呈しているようなものの場合、前述の分光反射率の代わりに分光透過率を用いた「透過オブジェクト」も定義することが出来る。この場合は分光反射率を分光透過率に置き換える他は基本的な考え方は反射オブジェクトと同じであるのでシステムでは分光透過率と分光反射率を全くおなじ処理手段で扱うようにしている。
【００４７】
更に、発光物体の場合には、前記分光反射率と照明の組み合わせではなく、直接的に分光放射輝度としてスペクトルが直接観測されていると考えるようになっている。この場合、画素値はカメラ信号値から分光放射輝度を推定する分光放射輝度推定行列をカメラ信号にかけたものとして推定分光放射輝度を計算するようにしている。以下「発光オブジェクト」と呼ぶ。このオブジェクトは存在する空間に定義されている照明のスペクトルに拠らない色が観測されることになる。
例えば、図１の構成の場合に、映像データ記憶部には分光反射率や分光放射輝度のようなスペクトルが記録されても構わないが、情報容量が大きくなるため、通常はスペクトルを推定できる行列と映像データの組み合わせで表現することが望ましい。このようなデータの構成を具体的な映像を例に以下に説明する。
【００４８】
映像として、自動車が映っていて、ボディ部が反射オブジェクト、窓ガラス部が透過オブジェクト、テールランプ部が発光オブジェクトであって、それらが１つのシーンに存在するケースでは、図１２のような画像のデータと推定マトリクスおよび照明スペクトルを一まとめとしたデータ構造をしている。この例では、スペクトルは可視域の波長３８０ｎｍから７８０ｎｍを１ｎｍ間隔でサンプリングした４０１次元で扱っているが、精度を考慮して間隔や波長領域を変えても構わないし、可視光線以外を含ませることも可能である。
【００４９】
このようにして図１の映像データ記憶部に書き込まれた映像データは映像データ変換部によって表示映像信号に変換される。即ち、映像データ記憶部の付加情報から分光反射率または分光透過率を求め、それに照明スペクトルから分光放射輝度を算出する部分と、映像データ記憶部の付加情報から分光放射輝度をもとめる部分とに分けて処理が行われる。分光放射輝度を６原色モニタで構成されている映像表示装置に表示する表示映像信号への変換は、多原色分解を行っている。多原色分解の方法については、例えば公知文献４（特開２００４−１４０６４５号公報）に詳しく記載されている方法などが知られている。
【００５０】
即ち、分光放射輝度信号に人間の目の感度である等色関数（Color  Matching  Functionの頭文字をとってＣＭＦとあらわされることもある）を乗じた信号である測色値（ＸＹＺ信号とも表現される）を一旦求め、その測色値から多原色表示装置の色再現プロファイルを用いて多原色表示装置への表示映像信号を生成する方法である。このような多原色分解を行う場合には前記等色関数を映像データ変換部において指定する方法と、付加情報として映像データに付加しておく方法が考えられる。前者は処理が簡単で一般的な場合に用いられる処理方法である。後者の場合は、付加情報入力部からの指定により画素毎に異なる等色関数を指定できるようになるのでシステムで扱う映像データの情報量は増えてしまうが、例えばシーン内で注視する点が異なったときに目の順応によって感度が変化したような映像を生成することが出来るといった効果がある。
【００５１】
また、測色値を経ずに分光放射輝度を再現させる方法としては、スペクトル近似と呼ばれる多原色分解法が知られている。このスペクトル近似法によれば、分光放射輝度を極力忠実に再現するような多原色表示になっており、それによって例えば目の感度が異なった人が見ても正しく見えるという特徴を有している。目の感度の違いによる3原色表示装置の色が実物と異なって見える所謂観察者メタメリズムという現象は、色再現の分野で注目されている問題点であり、モニタの観察者が標準的な目の分光感度と異なっている場合に、標準的な目の感度の人に合わせて設計された３原色映像表示装置を見た場合に実際と異なった色に見えるという現象である。この目の感度のばらつきや差というのは、人種によっても異なる他、同一の人物であっても、加齢や水晶体の病気等で発生することが知られている。
【００５２】
このような観察者メタメリズムを軽減することのできるスペクトル近似法による多原色分解は医療分野等での利用が期待されている技術であり正確な色再現を行う場合に用いられる方法として、公知文献５に詳しく述べられている。
【００５３】
本実施例の構成によれば、ＮＶファイルフォーマット画像を読み込んで、反射オブジェクト・透過オブジェクト・発光オブジェクトのいずれかまたはそれらの組み合わせからなる被写体を、分光反射率画像・分光透過率画像・分光放射輝度画像のいずれかまたはそれらの組み合わせの「スペクトル画像」として表された映像データとして編集を行うことができるようになる。そのとき、各画素で異なる推定行列を指定することが出来るので、反射オブジェクトや透過オブジェクトおよび発光オブジェクトが混在しているような映像を取り扱うことが出来るようになる。
【００５４】
図１２の例では、付加情報として推定行列とレンダリング照明を含んだものとして説明したが、その場合は図１に示すように照明データが付加情報入力部を通じて付加情報算出部に入れられるようになっていることが望ましい。また、図１の構成の場合のように付加情報に照明が含まれなくても、映像変換部で指定する照明スペクトルを利用することができるので構わない。
【００５５】
本システムでは、映像データから得られた付加情報を優先的に利用し、これらが無い場合にオペレータにキーボードまたは外部記憶機器等からの入力を行わせるようになっている。さらにこれらが行われない場合にはシステムで予め指定しているデフォルトの値を用いて処理を行うようになっている。
【００５６】
ただし、ソフトウェアでの設定を変更することによって前記優先順位を変更することが可能となっており、例えば常にデフォルトの付加情報による処理を行わせるように指示することも出来るようになっている。
【００５７】
入力映像信号値と表示映像信号の関係の例を以下に示す。
６バンド信号値をｆと表すと、ｆはカメラの出力信号と考えられ、これに付加情報が付いたものが編集用のメモリに記憶される。６バンド信号値ｆに（Ｄ２Ｒ）マトリクスをかけると、分光反射率ｒが求まる。分光反射率ｒに照明スペクトルＬの対角行列をかけると、分光放射輝度ｓが求まる。分光放射輝度ｓに等色関数（ＣＭＦ）をかけると、測色値（３刺激値とも呼ぶ）ＸＹＺが求まる。
【００５８】
３刺激値（ＸＹＺ）を多原色分解テーブルで６原色分解すると６原色表示信号Ｄ（ＲＧＢＯＣＰ）が求まる。上記ＲＧＢＯＣＰとは、通常用いられているＲＧＢとは異なる３原色としてオレンジ・シアン・紫を更に含んだことを示しているが、これらの色は任意であって、この表示装置の特性の決定方法は本発明の本質には無関係である。
【００５９】
これを式で表すと、
Ｄ＝Ｘ（ｆ×Ｄ２Ｒ×Ｌ×ＣＭＦ）
となる、ここで、Ｘは関数であって、これは多原色分解テーブルの参照による変換を指す。また、Ｄ２Ｃ＝（Ｄ２Ｒ）×Ｌ×ＣＭＦ、で表される測色値推定行列を事前に計算しておくことで、
Ｄ＝Ｘ（ｆ×Ｄ２Ｃ）
と計算することも可能となる。
【００６０】
このとき、Ｘのテーブルの生成方法は公知文献４に記載されているような多原色分解法をテーブル化したもので実現されるのが望ましい。このときテーブル生成部には予めＣＭＦと映像表示部の特性が記憶されており、映像データと共に送られてくる付加情報からＤ２Ｒと照明スペクトルが入力され、これらの情報からテーブルを生成するようになっている。
【００６１】
また、映像データが送られてくる前にＤ２Ｒや照明スペクトル等必要な情報が取得できる場合には、前記テーブルの生成は事前に済ませておくことが可能となる。
【００６２】
ＸＹＺの測色値信号が、表示装置で出力した結果の測色値（ＸＹＺ値）において保持されるような多原色分解の方法は複数種類提案されているが、そのいずれの方法であっても本発明の利用は可能である。もちろん、スペクトル近似による再現であっても構わない。スペクトル近似とは、測色値を経るのではなく、スペクトル画像のスペクトル（この場合は分光放射輝度）に最も近くなるような多元色値を再現する手法であり、どの多原色分解法を用いるのかはソフトウェアの設定で決定される。また上記では、Ｘをテーブル変換としたが、これをその都度計算で多原色信号を算出する方法でも構わない。
【００６３】
更に、上記のように複数ある多原色分解の方法を表示させるスペクトルに応じて切り替えることも有効であるので、変換テーブルを複数用意しておいて、付加情報に応じて切り替える構成をとることも望ましい。こうすることによって、例えば多原色表示装置の特性によって表示しにくい色がある場合に、その色を表示させるときに他の多原色分解法を用いて、表示装置の特性に起因するノイズ等を低減させることができるという効果がある。
【００６４】
今、６バンドカメラで屋外撮影した自動車と背景に木がある映像（ベース画像と呼ぶ）において自動車の色を塗り替える場合を考えるとする。描画ペインの制作ビューでは画像は６バンド信号＋分光反射率推定行列で表されていて、これに照明選択ボタンで選択された太陽光のスペクトルをレンダリング照明としてかけた結果にディスプレープロファイルを作用させた映像として表示ペインに記憶させて表示されている。
【００６５】
付加情報としては、画素属性はオブジェクト属性のタグデータを持っている。オブジェクト属性は画素データの意味を定める情報で、バンド数・ｂｉｔ深さ・分光反射率／分光透過率／スペクトルの何れであるかを示すフラグ・推定マトリクス（６×４０１次元）、とから成っている。ツール選択ボタンは描画用ツールと、マスク領域選択部と、ベース画像選択用プレビュー画面等から成っている。描画用ツールはスポイトツール・ブラシツール・ペンツール等である。マスク領域選択とは、同一のタグデータの領域を１ビット画像として表現したもので、このマスクごとに推定行列およびレンダリング照明など属性情報を定義するようにしている。すなわち、選択されたマスクにより指定された画素群が同一の処理で表示ペインのデータに変換されることになる。さらに、このマスクの領域が加工処理等を行う画素の領域であり、この領域が照明種類を適用させる領域ともなっている。
【００６６】
描画ペインのパレットの個々のますには分光反射率データが対応している。パレットの枡の分光反射率データにレンダリング照明をかけた結果に対してディスプレープロファイルを作用させた色が表示ペインを通じて表示されている。パレットから選ばれた分光反射率・分光放射輝度を制作ビュー上で塗る時、選ばれたのが分光反射率の場合は、分光反射率に照明をかけて分光放射輝度を得る。また、選ばれたのが分光放射輝度の場合は、既に照明がかけられた値として分光放射輝度を利用することになるので、照明に何が選ばれているかに拘わらず分光放射輝度の値は不変となる。例えば制作ビュー上で、車のテールランプの赤色は発光オブジェクトなので、これを選ぶと分光放射輝度を指定したことになり、どのような照明環境であっても赤色は変化しないようになっている。
【００６７】
照明選択ボタンを用いてレンダリング照明を選択するようにしている。Ｄ６５、Ａ光源などが選べるようになっているほか、ユーザー定義照明も登録できる。スペクトルメーターで計測した照明スペクトルが登録できる。ボタン上の右クリックでスペクトルのグラフ表示が見られる。
【００６８】
パレットに並べる色は分光反射率として作成することが通常であるが、分光放射輝度として直接指定することもできる。分光放射輝度で指定された場合は、レンダリング照明スペクトルで除することで分光反射率を計算するようにしている。また、シリンジツールのように画像中の画素を指定してその画素のスペクトルオブジェクトをパレットに適用することも出来るようになっている。カメラで撮影した実物の情報をそのまま利用することができる。カメラで撮影するだけなのでスペクトルを生成する複雑な工程や知識が不要になるという効果がある。
【００６９】
付加情報として用いる分光反射率推定行列は例えばカメラからの入力信号に対する推定行列の場合、カメラの分光感度の他に被写体の分光反射率の相関行列のような統計的なデータを用いて算出することが多い。付加情報の推定行列を直接的に得られない場合でも、数１に記載した計算で推定行列を算出させることで対応するようにしている。ここで、用いる感度データや統計情報のような情報をデフォルトで持つようにすることで、より好ましい映像を制作することが出来るようになることがある。
【００７０】
例えば、分光反射率推定行列を算出する場合に、映像の中に自動車が映っていることが判っていて、その部分の推定行列を算出するときに、自動車の塗板の分光反射率に関する統計データを用いると、より好ましい色再現ができる可能性が高まる等の効果がある。また、極地に出現するオーロラの映像の場合はオーロラが発光オブジェクトなので、分光放射輝度推定行列を算出することになるが、このオーロラの分光放射輝度に関する統計情報を利用することでよりリアルなオーロラが再現できるようになる。
【００７１】
また、ＮＶファイルフォーマットではそのような感度データは統計データも併せ持つことができるような形式になっており、入力された映像データに含まれているプロファイルから前記カメラ感度や被写体に関する統計情報を抽出し、それらから推定行例を算出することも可能である。
【００７２】
付加情報算出部は図１０に示すように、入力部からのＮＶファイルフォーマットデータを受けると、まず、映像データとプロファイル等のデータに分離し、後者からプロファイルを抽出する。これにＤ２Ｒ等が定義されていればそれをそのまま利用し、定義されていない場合はカメラ感度や統計情報を抽出するように動く、抽出されたデータからマトリクス定義部にてマトリクスを算出するが、抽出できなかった場合にはデフォルト値を利用して算出するように働く、次に画像中に複数の推定行列が適用されている場合には、同一の推定行列が適用されている画素をグループ化しそのグループの存在領域を示したマスク画像を生成する。このときそれぞれのマスクにインデックス情報（ＩＤ番号）を付する。最後に冒頭に分離した映像データに前記マスクのインデックスをデータと合成してメモリに格納する。
【００７３】
尚、システムで定義する環境に関する情報は、レンダリング照明だけでなくても良く、目の感度に相当する等色関数（ＣＭＦ）を定義するようにすることや、ＣＭＦをプロファイルとして持たせるようにしている映像データではそのプロファイルから抽出するような構成とするものであっても構わない。
【００７４】
プロファイルを作成するための各データは、例えばテキストデータの形式で定義されており、また、これらの分光データの波長領域、波長間隔は任意であり、データは負値もとれるようになっており、データ間はタブ等で区切る。
【００７５】
カメラ特性データは分光感度データとトーン特性である「ＴＲＣ」とカメラのバイアスデータから構成される。例えば、分光感度データは、図１３（ａ）の分光感度ファイル（＊．ｈｓｓ）、ＴＲＣとバイアスデータは図１３（ｂ）のＣＴＲＣ＿バイアスファイル（＊．ｔｒｃ）に示す形式で記述する。分光感度データは、基準とする露出時間、絞り値に設定した場合の値とし、この時の感度レベル補正係数を１とする。基準となる露出時間（秒）、絞り値（基準絞り時の光量／絞り開放時の光量）がそれぞれ露出時間補正係数、絞り補正係数として記述される。分光感度データ、ＴＲＣ、バイアスデータ、感度レベル補正係数、露出時間補正係数、絞り補正係数の定義は、N-Component Spectrum-Based Input ProfilesのSpectralSensitivityTag、TRCTag、MsensitivityLevelCoefficientTag、ExposureTimeTag、ApertureStopTagのデータの定義にそれぞれ対応する。
【００７６】
撮影照明スペクトルデータ、レンダリング照明スペクトルデータ、観察照明スペクトルデータについては、図１４（ａ）に例を示す。この照明スペクトルファイル（*.ils）のデータ形式は、撮影照明スペクトル、レンダリング照明スペクトル、観察照明スペクトルに対して共通に用いることができる。
【００７７】
被写体統計データは被写体の分光反射率もしくは（反射）スペクトルの平均ベクトル、主成分と固有値から構成され、図１４（ｂ）に示す被写体統計ファイル（*.sts）の形式で記述する。平均ベクトル、主成分、固有値の関係は付録を参照のこと。平均ベクトルは０としてもよい。
【００７８】
等色関数データは図１５に示す等色関数ファイル（*.cmf）の形式で記述する。等色関数がＣＩＥ１９３１等色関数もしくはＣＩＥの１９６４等色関数の場合はｘ（λ）、ｙ（λ）、ｚ（λ）の順とする。その他の等色関数については数、順序は任意である。
【００７９】
ディスプレイ特性データは、原色スペクトル＋バイアススペクトルデータとＴＲＣデータとから構成し、それぞれ図１６（ａ）ＤＴＲＣファイル（＊．ｄｔｒ）に示す、図１６（ｂ）原色スペクトルファイル（＊．ｄｐｓ）の形式で記述する。バイアススペクトル、原色スペクトル、ＴＲＣデータの定義は、N-Component Spectrum-Based Display ProfilesのMbiasSectrumTag 、MultiPrimarySpectrumTag、TRCTagのデータの定義にそれぞれ対応する。
【実施例２】
【００８０】
図３に示す映像処理装置は、複数のバンドを有する映像データを扱うシステムであって、システムで扱われる映像データは画素毎に各バンドの信号値と付加情報とで構成され、前記付加情報は信号値から被写体の分光反射率または分光放射輝度を求める行列を特定する情報からなることを前提としている。図２のシステムは、映像データ入力部１、付加情報算出部２、映像データ変換部４、映像表示部５、付加情報入力部６、照明環境データ入力部７、第１の映像データ記憶部８、第２の映像データ記憶部９、を含む。付加情報算出部２は、映像データ入力部から受けた映像データに、被写体の反射率または被写体の分光放射輝度を算出することのできる情報が含まれている場合には、映像データ入力部から受けた前記映像データから付加情報として被写体の反射率データまたは被写体の分光放射輝度データを生成し、あるいは被写体の反射率または被写体の分光放射輝度を算出することのできる前記情報が含まれていない場合には、前記付加情報を生成するのに必要な情報を前記の付加情報入力部６から収集してから前記付加情報を生成し、第１の映像データ記憶部８または映像データ変換部４に出力する。この出力先の切換えは、映像処理装置をハードウェアで構成するか、ソフトウェアで構成するかにより、ハードウェアスイッチかソフトウェアスイッチかで行う。映像データ変換部４では、前記映像データと前記付加情報と照明環境データ入力部７からの前記照明環境データとを用いて映像表示部４で予め設定された環境に応じた表示映像データに変換し、第２の映像データ記憶部９または映像表示部５に出力する。この出力先の切換えは、上記と同様に映像処理装置をハードウェアで構成するか、ソフトウェアで構成するかにより、ハードウェアスイッチかソフトウェアスイッチかで行う。表示映像データは、映像表示部５で表示する。
【００８１】
図４に示す映像処理装置は、映像データ入力部１、付加情報算出部２、映像データ変換部４、映像表示部５、付加情報入力部６、照明環境データ入力部７、第１の映像データ記憶部８、第２の映像データ記憶部９、を含む。付加情報算出部２は、映像データ入力部から受けた映像データに、被写体の反射率または被写体の分光放射輝度を算出することのできる情報が含まれている場合には、映像データ入力部から受けた前記映像データから付加情報として被写体の反射率データまたは被写体の分光放射輝度データを生成し、あるいは被写体の反射率または被写体の分光放射輝度を算出することのできる前記情報が含まれていない場合には、前記付加情報を生成するのに必要な情報を前記の付加情報入力部６から収集し、さらに照明環境入力部７からのデータを用いて前記付加情報を生成し、第１の映像データ記憶部８または映像データ変換部４に出力する。この出力先の切換えは、映像処理装置をハードウェアで構成するか、ソフトウェアで構成するかにより、ハードウェアスイッチかソフトウェアスイッチかで行う。映像データ変換部４では、前記映像データと前記付加情報と前記照明環境データとを用いて映像表示部４で予め設定された環境に応じた表示映像データに変換し、第２の映像データ記憶部９または映像表示部５に出力する。この出力先の切換えは、上記と同様に映像処理装置をハードウェアで構成するか、ソフトウェアで構成するかにより、ハードウェアスイッチかソフトウェアスイッチかで行う。表示映像データは、映像表示部５で表示する。
【実施例３】
【００８２】
図５と図６に示す図は、それぞれ、図３と図４の、第１の映像データ記憶部８に記憶されたデータを編集改変するための編集部１０を設けたものである。この編集部１０では、デジタルデータを直接改変してもよいし、また市販の編集ソフトを用いることもできる。
【実施例４】
【００８３】
図７は、映像データ変換部４と映像表示部５とに限定した図面であり、この映像データ変換部４では、多原色変換テーブル１３を用いて変換を行うものである。この変換テーブルでは、決められた範囲にある値については、同じ変換出力とすることで、変換テーブルのサイズを抑制することができる。また、この多原色変換テーブル１３は、照明データやＤ２Ｒを入力して生成することができる。このとき、映像データから測色値XYZを計算するユニットとXYZから多原色分解するルックアップテーブル（LUT）とに分けて構成しても良い。
【００８４】
図８は、タグデータをもとにテーブル生成を行い、多原色変換テーブル１４に前記のタグデータごとに設定する。このような多原色変換テーブル１４は、管理が容易であり、使い勝手がよい。
【実施例５】
【００８５】
図９に示す映像処理装置は、図５の照明環境データ入力部７を、照明定義部１１で置き換えたものである。図に記入はないが、この照明定義部１１の内容は、編集部１０で入出力あるいは編集できるようにしておくことが望ましい。照明定義部１１の内容は、任意に設定した照明環境データである。
【産業上の利用可能性】
【００８６】
図１、２の映像データ記憶部３や、図３から６の第１の映像データ記憶部８、第２の映像データ記憶部９を、通信網回線上に設置し、図には記載していないが、映像表示部５の鑑賞者が入力しやすいように、映像表示部５の近くに入力装置を設けて、この入力装置からの要求信号で記憶した情報を表示するようにすることができる。
【００８７】
また、本発明の利用の例として、スペクトルベース画像処理システムを以下に示すような３つのユニットから構成して利用することが出来る。
（１）スペクトル情報の入力手段としてのマルチバンドカメラ
（２）スペクトル空間での編集機能
（３）分光的色再現が可能な多原色表示装置
【００８８】
スペクトル空間での編集機能は、ＣＧだけでなく（１）のマルチバンドカメラ（６バンドや１６バンドなどの異なるバンド数の映像を含む）の映像を取り扱うことが可能となっている。本システムでは、画像情報は６チャンネルで取り扱っている。この６チャネルの信号値は反射率または分光放射輝度の４０１次元の信号に変換するスペクトル推定行列を個々に定義できるようになっている。
【００８９】
入力される画像は動画を含む任意のバンド数の画像が扱えるようになっている。ただし、動画データはシーケンス中で最大２５５個の照明を扱うことが出来ることとし、フレーム毎に適用する照明を選ぶことが可能で、特に選択されない場合は前フレームの照明が継承される。
【００９０】
描画に使用する色を選択するスペクトルパレットは６バンド仮想撮影信号値で与えられる分光反射率データまたは分光放射輝度データとして色を扱っている。スペクトルパレットに色を登録する時は表示信号を計算して表示ペインで見えている。表示信号の色はこの時に定義されているレンダリング照明スペクトルでの色となるように計算される。スペクトルパレット上の色は反射率でデータを保持しているので、レンダリング照明の変化に連動してパレット上の色も変化するようになっている。スペクトルパレットから選ばれた色で描画する場合は描画ペイン上で、反射率・スペクトルが保存されるような値で画素信号が変更される。スペクトル作成用のベジエ曲線は次元数を６〜２０まで任意に選ぶことが出来るようになっている。
【００９１】
また、システムで扱うデータの空間と次元は下記の通りである。
１）  表示ペインは測色値を与えると多原色分解テーブルから信号値が得られるように定義されている。多原色分解装置は３次元の入力を６次元にして出力する３次元ＬＵＴで構成しており、ＬＵＴは多原色分解で一般的に利用されている「行列切り替え法」で作成している。
２）  描画ペインは推定行列を用いた４０１次元のスペクトル空間であって、各画素の６つのバンドの信号値に１つの変換マトリクスが付されている。また、変換マトリクスの種類は信号値を分光反射率に変換する行列（Ｄ２ｒ）と信号値を分光放射輝度に変換する行列（Ｄ２ｓ）の２種類が利用できる
３）  照明等スペクトルデータは全て３８０ｎｍから７８０ｎｍを１ｎｍ間隔でサンプリングした４０１次元。
【００９２】
さらに、６原色表示装置に表示されて画像操作者が見ている映像は表示ペインであって、表示ペイン上にポインタ（マウスやペンに連動）が表示され、アクション選択を行うことが出来るようになっている。
アクション：実装されているアクションは下記の８種
画像のクリア：表示／描画ペイン両方をクリア
画像ロード：ＢＭＰ、Ｒａｗ、ＮＶの３種の画像を読み込む
画像セーブ：ＮＶファイルで画像を保存する
マスク選択：照明選択：描画ペインに定義する照明を選択
スペクトル／反射率  編集：スペクトルや反射率をデータから読み込みグラフ上で変更する。画像のクリアやロード等では変更されない。
シリンジ：スポイトツールで表示ペインで指定した位置の色をスペクトル／反射率として取得する
彩色ツール：筆で彩色するツールでコーティングとウォーターの２種が選択できる
【００９３】
ＮＶファイルフォーマットデータ（以下ＮＶデータ）にはＤ２ｒが添付されており、そのＤ２ｒはＮＶデータを取得した際に使用したカメラの感度Ｓと撮影時の照明Ｌ１とを用いて算出する。即ち、Ｆをカメラ感度Ｓと撮影照明Ｌ１を掛けたシステム関数として算出し、
Ｆ＝ＳＬ１（ただしＬ１は対角行列）
Ｍ＝ＲrＦt（ＦＲrＦt＋Ｒn）-1
として求めている。
このＮＶデータｇから反射率はＤ２ｒを用いて下式のように算出する。
（反射率）＝Ｍｇ
また、読み込まれた画像が例えばＢＭＰの場合、画像データは例えばｓＲＧＢモニタで表示することを前提とした表示信号に相当するデータであると認識し、これをｓＲＧＢの原色即ちＲＧＢ各色の測色値と信号値を乗じてＸＹＺ信号を算出してから分光反射率データに変換するようにしている。このときに用いるもので、測色値から分光反射率データを取得する行列（Ｃ２ｒ）は上式のＦを等色関数Ｃと観察照明Ｉ1を掛けて算出したＭを用いている
Ｆ＝ＣＩ1（ただしＩ1は対角行列）
ただし、ＲrとＲnは被写体の反射率とノイズの自己相関マトリクスで、
Ｒrはマクベスチャート２４色パッチの分光反射率の自己相関関数、Ｒnは０行列とした。
【００９４】
分光反射率データからＮＶデータｇへの変換は、注目画素に分光反射率推定行列Ｍ（Ｄ２ｒ）が定義されている場合下式のように算出した。
ｇ＝（ＭtＭ）-1Ｍt×ｒ
ただし、ｒは反射率データ、ｔは行列の転置、−１は逆行列を表す。
一方、注目画素に撮影時のカメラの感度と撮影照明スペクトルの積であるシステム関数Ｓのデータが付加されている場合下式に基づいて算出した。
ｇ＝Ｓｒ
【００９５】
本実施例によるシステム特徴を以下に整理する。
（１）  再現画像は３原色システムよりも正確な色再現が可能となっている。
（２）  任意のレンダリング照明での再現画像の生成が可能となっている。
（３）  多原色分解テーブルを変更することでスペクトル近似多原色分解を適用させると、観察者の視感度の違いに起因する実物と再現画像との色の見えの違いである所謂観測者メタメリズムは低減できる。
【００９６】
本システムはさらに任意の分光特性の照明を設定することが可能で、該照明での再現画像をシミュレートする機能を有しているとともに、レタッチに使用する色をパレットに作成して並べられるようになっており、このパレットの色もスペクトル空間で作成することができるようになっている。即ち、パレットの色を、
（１）指定したスペクトルをもつ照明下での分光放射輝度として指定する
（２）分光反射率として指定する
という２種類のモードで生成することができるようになっている。
【００９７】
このようなスペクトルベース画像処理システムにすることによって、画像の入力から合成・加工、保存まで全てをスペクトルの空間で扱えるようになった。また、任意のスペクトルの照明をデザインすることと、その照明光での見えをシミュレーションすることが可能であり、さらに、反射率やスペクトルで色を指定し、その色を使って描画することが可能である。従来のシステムでは色の見えを介した色再現を目標としているのに対して、分光反射率やスペクトルという物理量を介した映像の編集加工ができるようになった。
【００９８】
［付録］  なお、上記では、以下の関係を用いている。
（１）ノイズレベル
【数２】
2007274637.tif 000004
（２）  分光反射率、平均分光反射率、主成分の関係
【数３】
2007274637.tif 000005
（３）  主成分、固有値と共分散行列の関係
【数４】
2007274637.tif 000006
（４）  共分散行列と相関行列の関係
【数５】
2007274637.tif 000007
（５）  分光反射率のウィーナー推定
【数６】
2007274637.tif 000008
【図面の簡単な説明】
【００９９】
【図１】本発明の第１の映像処理装置を示すブロック図である。
【図２】本発明の第２の映像処理装置を示すブロック図である。
【図３】本発明の第３の映像処理装置を示すブロック図である。
【図４】本発明の第４の映像処理装置を示すブロック図である。
【図５】本発明の第５の映像処理装置を示すブロック図である。
【図６】本発明の第６の映像処理装置を示すブロック図である。
【図７】変換テーブルを用いる映像データ変換部と、映像表示部とに限定したブロック図である。
【図８】タグデータをもとにテーブル生成を行う変換テーブルを用いる映像データ変換部と、映像表示部とに限定したブロック図である。
【図９】本発明の第７の映像処理装置を示すブロック図である。
【図１０】付加情報算出部の詳細を示すブロック図である。
【図１１】反射オブジェクトのある点での反射率ｒ（λ）にスペクトルｉ（λ）の照明の当たっている状態を観測装置で観測した場合を示す図である。
【図１２】データの構成を、具体的な映像の例について示す図である。
【図１３】（ａ）分光感度ファイル（＊．ｈｓｓ）、（ｂ）ＣＴＲＣ＿バイアスファイル、を示す図である。
【図１４】撮影照明スペクトルデータ、レンダリング照明スペクトルデータ、観察照明スペクトルデータの例を示す図である。
【図１５】等色関数データ例を示す図である。
【図１６】（ａ）ＤＴＲＣファイル、（ｂ）原色スペクトルファイルの形式で記述したディスプレイ特性データを示す図である。
【符号の説明】
【０１００】
１  映像データ入力部
２  付加情報算出部
３  映像データ記憶部
４  映像データ変換部
５  映像表示部
６  付加情報入力部
７  照明環境データ入力部
８  第１の映像データ記憶部
９  第２の映像データ記憶部
１０  編集部
１１  照明定義部
１２  テーブル生成部
１３、１４  多原色変換テーブル部
２１  プロファイル抽出部
２２  マトリクス定義部
２３  マスク生成部
２４  データ合成部
【図１】
2007274637.tif 000009
【図２】
2007274637.tif 000010
【図３】
2007274637.tif 000011
【図４】
2007274637.tif 000012
【図５】
2007274637.tif 000013
【図６】
2007274637.tif 000014
【図７】
2007274637.tif 000015
【図８】
2007274637.tif 000016
【図９】
2007274637.tif 000017
【図１０】
2007274637.tif 000018
【図１１】
2007274637.tif 000019
【図１２】
2007274637.tif 000020
【図１３】
2007274637.tif 000021
【図１４】
2007274637.tif 000022
【図１５】
2007274637.tif 000023
【図１６】
2007274637.tif 000024