(57)【要約】【課題】マルチバンド画像データの容量が大きく増すことなく、撮像素子、光学素子、シャッタ等によって生じる画像内のむらを減じることを可能とする。【解決手段】入力プロファイル情報生成部６２２は、イメージエリアを複数の分割領域に分割し、それぞれの分割領域内に含まれる複数の画素のそれぞれに対応する総合分光感度特性をもとに、それぞれの分割領域を代表する総合分光感度特性に関する情報である分割領域代表特性情報を生成する。入力プロファイル情報生成部６２２は、この分割領域代表特性情報を他の情報とともに集約して入力プロファイル情報を生成する。データフォーマット処理部６２４は、マルチバンド画像データに入力プロファイル情報を付加して記憶媒体に記録する。【選択図】図６Ｂ
2010193380.tif 000002
【特許請求の範囲】
【請求項１】
撮影光学系によってイメージエリア上に形成される被写体像に対応する複数の色数のカラー画像信号を生成可能な撮像素子と、
前記撮影光学系の前側、中、後側のいずれかに配設されて、前記撮影光学系を経て前記撮像素子に入射する被写体光の分光特性を変化させることの可能な光学フィルタと
を有し、前記色数よりも多い数のバンドのマルチバンド画像データを生成可能な撮影装置であって、
前記撮像素子、前記撮像素子から出力される画像信号を処理する処理系、およびシャッタのうち、少なくともいずれかに起因して前記イメージエリア上で等価的に生じる分光感度のむらを反映した第１の分光特性分布情報を生成する第１分光特性分布情報生成部と、
前記撮影光学系および前記光学フィルタに起因して前記イメージエリア上に形成される被写体像に生じる分光特性のむらを反映した第２の分光特性分布情報を生成する第２分光特性分布情報生成部と、
前記第１および第２の分光特性分布情報の両方または前記第２の分光分布情報のみに基づいて前記撮像素子の総合分光感度特性を表す情報を生成し、当該の情報を含む入力プロファイル情報を生成する入力プロファイル情報生成部と、
前記入力プロファイル情報を前記マルチバンド画像データに付加してフォーマット処理をするデータフォーマット処理部とを有し、
前記入力プロファイル情報生成部が、
前記イメージエリアを複数の分割領域に分割し、それぞれの分割領域内に含まれる複数の画素のそれぞれに対応する前記総合分光感度特性をもとに、それぞれの分割領域を代表する総合分光感度特性に関する情報である分割領域代表特性情報を生成する代表特性情報生成部と、
前記分割領域代表特性情報を他の情報とともに集約して前記入力プロファイル情報を生成する情報集約処理部と
を有することを特徴とする、撮影装置。
【請求項２】
前記代表特性情報生成部がさらに、
前記複数の分割領域ごとに生成された、前記分割領域の数と同じ数の前記分割領域代表特性情報を、前記分割領域の数よりも少ない数に減じる処理である分割領域代表特性情報減数処理を行い、前記複数の分割領域のそれぞれに対応して、前記分割領域の数よりも少ない数に減じられた前記分割領域代表特性情報のうち、どの分割領域代表特性情報を適用するかを指定する情報である代表特性指定情報を生成するように構成されることを特徴とする請求項１に記載の撮影装置。
【請求項３】
前記入力プロファイル情報生成部がさらに、
前記撮影光学系の周辺光量低下特性と、前記撮像素子のイメージエリア内の各画素に被写体光が入射する際の入射光量の像高依存性とに起因する周辺減光特性を補正するための、領域ごとの分光感度補正係数を前記複数の分割領域に対応して生成する補正係数生成部をさらに有することを特徴とする請求項２に記載の撮影装置。
【請求項４】
前記撮影光学系は複数の焦点距離に設定可能な変倍光学系であり、
前記入力プロファイル情報生成部がさらに、
前記撮影光学系で設定可能な前記複数の焦点距離のそれぞれに対応する複数セットの前記分割領域代表特性情報、前記代表特性指定情報、および前記領域ごとの分光感度補正係数を撮影に先立って生成し、当該の複数セットの前記分割領域代表特性情報、前記代表特性指定情報、および前記領域ごとの分光感度補正係数の中から、撮影時に前記撮影光学系で設定されていた焦点距離に対応するセットの前記分割領域代表特性情報、前記代表特性指定情報、および前記領域ごとの分光感度補正係数を選択するように構成されることを特徴とする請求項３に記載の撮影装置。
【請求項５】
請求項１から４のいずれか１つに記載の撮影装置で生成されたマルチバンド画像データに色変換処理をする色変換処理装置であって、
前記分割領域代表特性情報に基づき、前記複数の分割領域のそれぞれに対応する、分割領域ごとの入力プロファイルを作成する入力プロファイル作成部と、
前記複数の分割領域中のそれぞれの分割領域内の全ての画素データに対し、当該の分割領域に対応して作成された入力プロファイルを一律に作用させる入力プロファイル作用部と
を有することを特徴とする色変換処理装置。
【請求項６】
撮影光学系によってイメージエリア上に形成される被写体像に対応する複数の色数のカラー画像信号を生成可能な撮像素子と、
前記撮影光学系の前側、中、後側のいずれかに配設されて、前記撮影光学系を経て前記撮像素子に入射する被写体光の分光特性を変化させることの可能な光学フィルタと
を有し、前記色数よりも多い数のバンドのマルチバンド画像データを生成可能な撮影装置によって生成されたマルチバンド画像データが蓄積されて、当該のマルチバンド画像データをクライアント情報処理装置に送出可能なサーバ情報処理装置であって、
前記撮像素子、前記撮像素子から出力される画像信号を処理する処理系、およびシャッタのうち、少なくともいずれかに起因して前記イメージエリア上で等価的に生じる分光感度のむらを反映した第１の分光特性分布情報を生成する第１分光特性分布情報生成部と、
前記撮影光学系および前記光学フィルタに起因して前記イメージエリア上に形成される被写体像に生じる分光特性のむらを反映した第２の分光特性分布情報を生成する第２分光特性分布情報生成部と、
前記第１および第２の分光特性分布情報の両方または前記第２の分光分布情報のみに基づいて前記撮像素子の総合分光感度特性を表す情報を生成し、当該の情報を含む入力プロファイル情報を生成する入力プロファイル情報生成部と、
前記入力プロファイル情報を前記マルチバンド画像データに付加してフォーマット処理をするデータフォーマット処理部とを有し、
前記入力プロファイル情報生成部が、
前記イメージエリアを複数の分割領域に分割し、それぞれの分割領域内に含まれる複数の画素のそれぞれに対応する前記総合分光感度特性をもとに、それぞれの分割領域を代表する総合分光感度特性に関する情報である分割領域代表特性情報を生成する代表特性情報生成部と、
前記分割領域代表特性情報を他の情報とともに集約して前記入力プロファイル情報を生成する情報集約処理部と
を有することを特徴とする、サーバ情報処理装置。
【請求項７】
前記代表特性情報生成部がさらに、
前記複数の分割領域ごとに生成された、前記分割領域の数と同じ数の前記分割領域代表特性情報を、前記分割領域の数よりも少ない数に減じる処理である分割領域代表特性情報減数処理を行い、前記複数の分割領域のそれぞれに対応して、前記分割領域の数よりも少ない数に減じられた前記分割領域代表特性情報のうち、どの分割領域代表特性情報を適用するかを指定する情報である代表特性指定情報を生成するように構成されることを特徴とする請求項６に記載のサーバ情報処理装置。
【請求項８】
前記入力プロファイル情報生成部がさらに、
前記撮影光学系の周辺光量低下特性と、前記撮像素子のイメージエリア内の各画素に被写体光が入射する際の入射光量の像高依存性とに起因する周辺減光特性を補正するための、領域ごとの分光感度補正係数を前記複数の分割領域に対応して生成する補正係数生成部を有することを特徴とする請求項７に記載のサーバ情報処理装置。
【請求項９】
前記撮影光学系は複数の焦点距離に設定可能な変倍光学系であり、
前記入力プロファイル情報生成部がさらに、
前記撮影光学系で設定可能な前記複数の焦点距離のそれぞれに対応する複数セットの前記分割領域代表特性情報、前記代表特性指定情報、および前記領域ごとの分光感度補正係数を予め生成し、当該の複数セットの前記分割領域代表特性情報、前記代表特性指定情報、および前記領域ごとの分光感度補正係数の中から、撮影時に前記撮影光学系で設定されていた焦点距離に対応するセットの前記分割領域代表特性情報、前記代表特性指定情報、および前記領域ごとの分光感度補正係数を選択するように構成されることを特徴とする請求項８に記載のサーバ情報処理装置。
【請求項１０】
請求項６から９のいずれか１つに記載のサーバ情報処理装置から送出されたマルチバンド画像データを受信して色変換処理をすることが可能なクライアント情報処理装置であって、
前記分割領域代表特性情報に基づき、前記複数の分割領域のそれぞれに対応する、分割領域ごとの入力プロファイルを作成する入力プロファイル作成部と、
前記複数の分割領域中のそれぞれの分割領域内の全ての画素データに対し、当該の分割領域に対応して作成された入力プロファイルを一律に作用させる入力プロファイル作用部と
を有することを特徴とするクライアント情報処理装置。
【請求項１１】
撮影光学系によってイメージエリア上に形成される被写体像に対応する複数の色数のカラー画像信号を生成可能な撮像素子と、
前記撮影光学系の前側、中、後側のいずれかに配設されて、前記撮影光学系を経て前記撮像素子に入射する被写体光の分光特性を変化させることの可能な光学フィルタと
を有し、前記色数よりも多い数のバンドのマルチバンド画像データを生成可能な撮影装置によって生成されたマルチバンド画像データが蓄積されていて、当該のマルチバンド画像データをクライアント情報処理装置に送出可能なサーバ情報処理装置における画像データ処理方法であって、
前記撮像素子、前記撮像素子から出力される画像信号を処理する処理系、およびシャッタのうち、少なくともいずれかに起因して前記イメージエリア上で等価的に生じる分光感度のむらを反映した第１の分光特性分布情報を生成することと、
前記撮影光学系および前記光学フィルタに起因して前記イメージエリア上に形成される被写体像に生じる分光特性のむらを反映した第２の分光特性分布情報を生成することと、
前記第１および第２の分光特性分布情報の両方または前記第２の分光分布情報のみに基づいて前記撮像素子の総合分光感度特性を表す情報を生成し、当該の情報を含む入力プロファイル情報を生成することと、
前記入力プロファイル情報を前記マルチバンド画像データに付加してフォーマット処理をすることとを有し、
前記入力プロファイル情報を生成することが、
前記イメージエリアを複数の分割領域に分割し、それぞれの分割領域内に含まれる複数の画素のそれぞれに対応する前記総合分光感度特性をもとに、それぞれの分割領域を代表する総合分光感度特性に関する情報である分割領域代表特性情報を生成することと、
前記分割領域代表特性情報を他の情報とともに集約して前記入力プロファイル情報を生成することと
を有することを特徴とする、サーバ情報処理装置における画像データ処理方法。
【請求項１２】
前記分割領域代表特性情報を生成することがさらに、
前記複数の分割領域ごとに生成された、前記分割領域の数と同じ数の前記分割領域代表特性情報を、前記分割領域の数よりも少ない数に減じる処理である分割領域代表特性情報減数処理を行い、前記複数の分割領域のそれぞれに対応して、前記分割領域の数よりも少ない数に減じられた前記分割領域代表特性情報のうち、どの分割領域代表特性情報を適用するかを指定する情報である代表特性指定情報を生成することを含むことを特徴とする請求項１１に記載のサーバ情報処理装置における画像データ処理方法。
【請求項１３】
前記入力プロファイル情報を生成することがさらに、
前記撮影光学系の周辺光量低下特性と、前記撮像素子のイメージエリア内の各画素に被写体光が入射する際の入射光量の像高依存性とに起因する周辺減光特性を補正するための、領域ごとの分光感度補正係数を前記複数の分割領域に対応して生成することをさらに有することを特徴とする請求項１２に記載のサーバ情報処理装置における画像データ処理方法。
【請求項１４】
前記撮影光学系は複数の焦点距離に設定可能な変倍光学系であり、
前記入力プロファイル情報を生成することがさらに、
前記撮影光学系で設定可能な前記複数の焦点距離のそれぞれに対応する複数セットの前記分割領域代表特性情報、前記代表特性指定情報、および前記領域ごとの分光感度補正係数を予め生成し、当該の複数セットの前記分割領域代表特性情報、前記代表特性指定情報、および前記領域ごとの分光感度補正係数の中から、撮影時に前記撮影光学系で設定されていた焦点距離に対応するセットの前記分割領域代表特性情報、前記代表特性指定情報、および前記領域ごとの分光感度補正係数を選択することを含むことを特徴とする請求項１３に記載のサーバ情報処理装置における画像データ処理方法。
【請求項１５】
請求項１１から１４のいずれか１つに記載の、サーバ情報処理装置における画像データ処理方法で処理されて前記サーバ情報処理装置から送出されたマルチバンド画像データを受信可能なクライアント情報処理装置における色変換処理方法であって、
前記分割領域代表特性情報に基づき、前記複数の分割領域のそれぞれに対応する、分割領域ごとの入力プロファイルを作成することと、
前記複数の分割領域中のそれぞれの分割領域内の全ての画素データに対し、当該の分割領域に対応して作成された入力プロファイルを一律に作用させることと
を有することを特徴とする、クライアント情報処理装置における色変換処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、色再現性を高度化したマルチバンド画像データの処理に関するものであり、特にマルチバンド画像データの伝送、保存に際してデータサイズが大きくなるのを抑制可能な撮影装置、色変換処理装置、サーバ情報処理装置、クライアント情報処理装置、サーバ情報処理装置における画像データ処理方法、およびクライアント情報処理装置における色変換処理方法に関する。
【背景技術】
【０００２】
カラーマネージメントを必要とする技術分野で一般的に普及しているＩＣＣプロファイルは、プロファイルコネクションスペース（ＰＣＳ：  Profile  Connection  Space）として定めた測色値空間（例：ＣＩＥ１９３１ＸＹＺ）と機器の信号値とを関係付けるためのデータを有するものとして規定されている。ここで、ＩＣＣはInternational  Color  Consortiumの略である。
【０００３】
カラーマネジメントシステムでは、機器プロファイルのデータを用いて、異なる機器の画像間でＰＣＳでの色が一致するように色再現が行われている。近年、上記ＰＣＳを従来のＸＹＺ色空間からスペクトルベースの色空間に拡張した方式が提案されている。例えば独立行政法人情報通信研究機構によって推進されたナチュラルビジョン開発プロジェクトでは、スペクトルと多原色に基づく分光画像システム（スペクトル画像システム、スペクトルベース色再現システムなどと称される場合もある）によって、より忠実度の高い、自然な色再現を得るための実証実験が行われた。
【０００４】
非特許文献１には、スペクトル画像システムの例が開示されている。簡単に説明すると、非特許文献１では、ＩＣＣプロファイルで規定されているＣＩＥ１９３１ＸＹＺのみならず、分光反射率や分光放射輝度（反射スペクトルと表される場合もある）までも利用できるとしている。ＰＣＳとして何を用いるかによって、プロファイルとして必要となるデータが異なってくる。例えば、分光反射率をベースとした色空間をＰＣＳとして用いる場合について考える。この場合、カメラ等の画像入力装置から出力される画像データ（以下では、カメラ等の画像入力装置から出力される画像データをオリジナル画像データと称する）に対して、スペクトルベースでの色再現処理がなされ、色変換処理が行われて出力用デバイスインデペンデントデータが生成され、表示装置等へ出力される。
【０００５】
上記色変換処理において、画素ごとに分光反射率推定が行われて出力用デバイスインデペンデントデータが生成される。この出力用デバイスインデペンデントデータは、分光反射率画像データであり、デバイスインデペンデントの（機器依存性の無い）カラー情報となる。こうして得られた出力用デバイスインデペンデントデータは、ＰＣＳとして扱うことの可能な信号（データ）と解釈される。上記分光反射率推定を行うときに、一般的には分光反射率推定行列が用いられる。この分光反射率推定行列そのもの、またはそれを求めるのに必要な情報が入力プロファイルに含まれていて、画像入力装置で用いられる色空間のオリジナル画像データがＰＣＳ空間の画像データへと変換される。
【０００６】
上述のようにして得られたＰＣＳ空間の画像データは、出力先の機器の特性を意識することなく、画像データを保存したり、伝送したりすることが行えるようになる。しかし、保存または伝送を考えたとき、画像データを構成する各画素が分光反射率データを保持していると、データ容量が多くなる。例えば、分光反射率画像データを構成する各画素のひとつ一つが４０１次元のデータ（可視光の波長帯域である３８０ｎｍから７８０ｎｍ中、１ｎｍ刻みの波長に対応するデータ）を有すると、画素数に４０１およびビット深度を乗じた容量の画像データを保存または伝送する必要がある。
【０００７】
このようにすると、分光反射率画像データの容量は、オリジナル画像データの容量に比して飛躍的に増すので効率的ではない。画像データの容量増加を避けるためには、オリジナル画像データに入力プロファイルの情報を付加して保存または伝送し、そのオリジナル画像データを読み出した、あるいは受信した機器が上記ＰＣＳ空間の分光反射率画像データを生成することが望ましい。このように、オリジナル画像データに入力プロファイルの情報を付加して保存または伝送することにより、保存、伝送に係るデータ容量の増加を抑制することが可能となる。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】ナチュラルビジョン（次世代映像表示・伝送システム）の研究開発プロジェクト［動画］の研究開発最終報告書、平成１８年３月３１日、独立行政法人情報通信研究機構（拠点研究推進部門））
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上述した入力プロファイルは、オリジナル画像データを構成する各画素のデータに対して、一画面内で一律に適用される。しかし、カメラ等の画像入力装置では、以下に説明するような「むら」を生じることがある。例えば、均一に照明された基準白色板のような、均一な色、均一な輝度の被写体を画面一杯に撮影した場合、画像入力装置から出力される画像データを構成する全ての画素の画素値は均一となるのが理想である。
【００１０】
しかし、現実には必ずしもそうはならず、出力されるオリジナル画像データを構成する画素の画素値はばらつきを生じる。本明細書では、このようなばらつきを生じる原因となるものをむらと称する。このむらが画像の色再現性を低下させる要因となることがある。むらの要因としては、例えば以下に説明するものが挙げられる。
【００１１】
１．  撮影レンズの周辺減光特性：
これは、口径食、コサイン４乗則などが原因となって生じる。口径食は、撮影レンズを透過して結像面に到達する被写体光の光束のうち、画面周辺部分（比較的高い像高の部分）に到達する光束が鏡枠等によって部分的に遮られて画面周辺部での光量が減じられる現象である。コサイン４乗則は、撮影レンズの光軸に対し、ある角度αで像面に入射する光による像面照度をＩα、画面中心での像面照度をＩ0としたときに、Ｉα＝ｃｏｓ4α×Ｉ0となる現象である。撮影レンズの周辺減光特性は、レンズの設計によって異なる。また、同じ設計のレンズであっても、設定絞り値によって異なる。撮影レンズがズームレンズである場合には、設定焦点距離によっても異なる。また、厳密には同じ設計のレンズであっても製造誤差に起因する個体差があり、さらには撮影距離（撮影レンズの焦点調節位置、すなわち繰り出し量）によっても異なることがある。
【００１２】
２．  撮像素子に対して斜めに入射することによる光量減少：
撮像素子に対して斜めに入射する光の光量減少は、撮像素子表面（オンチップマイクロレンズ形成面）に対して光電変換部が深い位置にあるため、光が撮像素子表面に対して斜めに入射すると、オンチップマイクロレンズを透過した光の一部しか光電変換部に到達しなくなる現象である。この現象は、撮像素子の構成やレンズの設計によって異なる。例えば、撮影レンズをいわゆるテレセントリックの構成とすることにより、撮像素子のイメージエリアの周辺部に存在する画素に入射する光の光量減少を抑制することが可能となる。また、同じ撮影レンズであっても、設定絞り値によって上記光量減少の特性は変化する。撮影レンズがズームレンズで、設定焦点距離を変えたときに射出瞳位置が変化すると上記光量減少の特性は変化する。また、撮影レンズがズームレンズであるか単焦点距離レンズであるかによらず、焦点調節に伴って射出瞳位置が変化した場合にも上記光量減少の特性は変化する。
【００１３】
３．  撮像素子の感度むら：
これは、半導体製造プロセスに起因するむらである。撮像素子の製造過程において、例えば直径８インチ（約２００ｍｍ）、１２インチ（約３００ｍｍ）、１８インチ（約４５０ｍｍ）といったサイズのシリコンウェハ上で成膜、レジスト塗布、露光、現像、エッチング、不純物添加といった半導体プロセスが繰り返し行われる。その結果、シリコンウェハ上に複数の撮像素子が形成される。それらの撮像素子はダイシングされ、切り出された個々のチップがパッケージングされて撮像素子が製造される。上記半導体プロセスの特性上、上記シリコンウェハ内の場所の違いによってＰＶＤやＣＶＤ等の成膜工程で形成される膜の厚さの分布にむらを生じたり、レジストの厚みに不均一を生じたり、半導体層を形成するための不純物を添加する際にその添加量にむらを生じたりする。
【００１４】
上述したようなむらは、撮像素子を構成する画素間で光電変換効率のばらつきを生じる。つまり、同じ入射光量に対する出力信号値にばらつきを生じる。また、ＣＭＯＳイメージセンサのように画素ごとにアンプを有する構成のものではアンプゲインの変動も生じ得る。例えば１／２．５型といった比較的小型のイメージエリアを有する撮像素子では、チップサイズが小さいため、上記半導体プロセスで生じるむらの影響を受けにくいが、比較的大型のイメージエリアを有する撮像素子ではチップサイズも大きくなり、撮像素子上のイメージエリアの一端および他端から出力される信号のレベルの差が無視できないほどに大きくなる可能性がある。この、半導体素子の感度むらの分布は、個々の撮像素子によって異なる。
【００１５】
また、オンチップカラーフィルタの層が塗布やフォトリソグラフィによって形成される際のプロセスのばらつきによって、オンチップカラーフィルタの分光透過特性にばらつきを生じることもある。
【００１６】
４．  フィルタの分光透過特性の入射角依存性：
３よりも多いバンド数、例えば６バンドで色分解して撮像することが可能な、マルチバンドカメラと呼ばれるものがある。このマルチバンドカメラとして、ＢＧＲ（Ｂ＝青色、Ｇ＝緑色、Ｒ＝赤色）３色のオンチップカラーフィルタを有する撮像素子と、広帯域、狭帯域の分光透過特性を有する干渉フィルタとの組み合わせによって６バンドの色分解を行うものがある。
【００１７】
例えば、撮影レンズを透過した被写体光を分割して二つの撮像素子に導くビームスプリッタと、ＢＧＲの色分解光学系を有する第１、第２の撮像素子であって、ビームスプリッタの第１の光出射部から出射する被写体光を受ける第１の撮像素子と、ビームスプリッタの第２の光出射から出射する被写体光を受ける第２の撮像素子と、第１の光出射部と第１の撮像素子との間の光路上に設けられ、比較的広帯域の分光透過特性を有する第１の干渉フィルタと、第２の光出射部と第２の撮像素子との間の光路上に設けられ、比較的狭帯域の分光透過特性を有する第２の干渉フィルタとを具備するものが知られている。
【００１８】
ビームスプリッタによって分割されたそれぞれの被写体光は、対応する干渉フィルタを透過して対応する撮像素子に入射する。二つの撮像素子は同じ仕様のものでよい。第１の干渉フィルタは比較的広帯域の、第２の干渉フィルタは比較的狭帯域の分光透過特性を有するので、二つの撮像素子から６バンドの画像信号を得ることができる。このときに用いられる干渉フィルタは、透明基板上に形成される薄膜の膜厚を制御することにより任意の分光透過特性のものを得ることができる。しかし、干渉フィルタに光が入射する際の入射角によって分光透過特性が変化しやすいという特性を有する。干渉フィルタに対して光が斜めに入射すると、薄膜の膜厚が増したのと等価になるからである。その結果、同じ干渉フィルタを透過して、画面中央部に入射する被写体光と、画面周辺部に入射する被写体光とで分光特性が変化するので、画像信号も変化する。これがフィルタ分光透過特性の入射角依存性である。
【００１９】
上述したいくつかの要因によって生じるむらに対応するためには、オリジナル画像データに対して一つの入力プロファイルを一様に適用するのではなく、画素ごとに異なる入力プロファイルを適用することが考えられる。しかし、そのように、画素ごとに適用する入力プロファイルをオリジナル画像データに添付すると、データ容量が大きく増してしまう。
【００２０】
本発明は上述した問題に鑑み、なされたもので、マルチバンド画像データの容量が大きく増すことなく、画像内のむらを減じることの可能な技術を提供することを目的とする。
【課題を解決するための手段】
【００２１】
本発明の第１の態様は、撮影光学系によってイメージエリア上に形成される被写体像に対応する複数の色数のカラー画像信号を生成可能な撮像素子と、
前記撮影光学系の前側、中、後側のいずれかに配設されて、前記撮影光学系を経て前記撮像素子に入射する被写体光の分光特性を変化させることの可能な光学フィルタと
を有し、前記色数よりも多い数のバンドのマルチバンド画像データを生成可能な撮影装置であって、
前記撮像素子、前記撮像素子から出力される画像信号を処理する処理系、およびシャッタのうち、少なくともいずれかに起因して前記イメージエリア上で等価的に生じる分光感度のむらを反映した第１の分光特性分布情報を生成する第１分光特性分布情報生成部と、
前記撮影光学系および前記光学フィルタに起因して前記イメージエリア上に形成される被写体像に生じる分光特性のむらを反映した第２の分光特性分布情報を生成する第２分光特性分布情報生成部と、
前記第１および第２の分光特性分布情報の両方または前記第２の分光分布情報のみに基づいて前記撮像素子の総合分光感度特性を表す情報を生成し、当該の情報を含む入力プロファイル情報を生成する入力プロファイル情報生成部と、
前記入力プロファイル情報を前記マルチバンド画像データに付加してフォーマット処理をするデータフォーマット処理部とを有し、
前記入力プロファイル情報生成部が、
前記イメージエリアを複数の分割領域に分割し、それぞれの分割領域内に含まれる複数の画素のそれぞれに対応する前記総合分光感度特性をもとに、それぞれの分割領域を代表する総合分光感度特性に関する情報である分割領域代表特性情報を生成する代表特性情報生成部と、
前記分割領域代表特性情報を他の情報とともに集約して前記入力プロファイル情報を生成する情報集約処理部と
を有することにより上述した課題を解決する。
【００２２】
本発明の第２の態様は、撮影光学系によってイメージエリア上に形成される被写体像に対応する複数の色数のカラー画像信号を生成可能な撮像素子と、
前記撮影光学系の前側、中、後側のいずれかに配設されて、前記撮影光学系を経て前記撮像素子に入射する被写体光の分光特性を変化させることの可能な光学フィルタと
を有し、前記色数よりも多い数のバンドのマルチバンド画像データを生成可能な撮影装置によって生成されたマルチバンド画像データが蓄積されていて、当該のマルチバンド画像データをクライアント情報処理装置に送出可能なサーバ情報処理装置であって、
前記撮像素子、前記撮像素子から出力される画像信号を処理する処理系、およびシャッタのうち、少なくともいずれかに起因して前記イメージエリア上で等価的に生じる分光感度のむらを反映した第１の分光特性分布情報を生成する第１分光特性分布情報生成部と、
前記撮影光学系および前記光学フィルタに起因して前記イメージエリア上に形成される被写体像に生じる分光特性のむらを反映した第２の分光特性分布情報を生成する第２分光特性分布情報生成部と、
前記第１および第２の分光特性分布情報の両方または前記第２の分光分布情報のみに基づいて前記撮像素子の総合分光感度特性を表す情報を生成し、当該の情報を含む入力プロファイル情報を生成する入力プロファイル情報生成部と、
前記入力プロファイル情報を前記マルチバンド画像データに付加してフォーマット処理をするデータフォーマット処理部とを有し、
前記入力プロファイル情報生成部が、
前記イメージエリアを複数の分割領域に分割し、それぞれの分割領域内に含まれる複数の画素のそれぞれに対応する前記総合分光感度特性をもとに、それぞれの分割領域を代表する総合分光感度特性に関する情報である分割領域代表特性情報を生成する代表特性情報生成部と、
前記分割領域代表特性情報を他の情報とともに集約して前記入力プロファイル情報を生成する情報集約処理部と
を有するものである。
【００２３】
本発明の第３の態様は、撮影光学系によってイメージエリア上に形成される被写体像に対応する複数の色数のカラー画像信号を生成可能な撮像素子と、
前記撮影光学系の前側、中、後側のいずれかに配設されて、前記撮影光学系を経て前記撮像素子に入射する被写体光の分光特性を変化させることの可能な光学フィルタと
を有し、前記色数よりも多い数のバンドのマルチバンド画像データを生成可能な撮影装置によって生成されたマルチバンド画像データが蓄積されていて、当該のマルチバンド画像データをクライアント情報処理装置に送出可能なサーバ情報処理装置における画像データ処理方法であって、
前記撮像素子、前記撮像素子から出力される画像信号を処理する処理系、およびシャッタのうち、少なくともいずれかに起因して前記イメージエリア上で等価的に生じる分光感度のむらを反映した第１の分光特性分布情報を生成することと、
前記撮影光学系および前記光学フィルタに起因して前記イメージエリア上に形成される被写体像に生じる分光特性のむらを反映した第２の分光特性分布情報を生成することと、
前記第１および第２の分光特性分布情報の両方または前記第２の分光分布情報のみに基づいて前記撮像素子の総合分光感度特性を表す情報を生成し、当該の情報を含む入力プロファイル情報を生成することと、
前記入力プロファイル情報を前記マルチバンド画像データに付加してフォーマット処理をすることとを有し、
前記入力プロファイル情報を生成することが、
前記イメージエリアを複数の分割領域に分割し、それぞれの分割領域内に含まれる複数の画素のそれぞれに対応する前記総合分光感度特性をもとに、それぞれの分割領域を代表する総合分光感度特性に関する情報である分割領域代表特性情報を生成することと、
前記分割領域代表特性情報を他の情報とともに集約して前記入力プロファイル情報を生成することと
を有する。
【発明の効果】
【００２４】
本発明によれば、画像全体を複数の分割領域に分割し、それぞれの分割領域内に含まれる複数の画素のそれぞれに対応する分光感度特性をもとに、それぞれの分割領域を代表する分割領域代表特性情報が求められ、この分割領域代表特性情報が他の情報とともに集約されて生成された入力プロファイル情報がマルチバンド画像データに付加されることにより、この入力プロファイル情報を用いて色再現される画像のむらを抑制しつつ入力プロファイル情報の容量を効果的に減じることが可能となる。
【図面の簡単な説明】
【００２５】
【図１】本発明の第１の実施の形態において、撮影装置で生成されたオリジナル画像データが情報処理装置に転送される様子を概念的に説明する図である。
【図２】撮影装置および撮影レンズの内部構成を概略的に説明するブロック図である。
【図３】フィルタの分光透過特性と撮像素子の分光感度特性の組み合わせの一例を示す図である。
【図４】フィルタの分光透過特性と撮像素子の分光感度特性の組み合わせのもう一つの例を示す図である。
【図５】フィルタの分光透過特性と撮像素子の分光感度特性との組み合わせによって得られる分光感度特性の一例を示す図である。
【図６Ａ】付帯情報付加処理部の内部構成を概略的に説明するブロック図である。
【図６Ｂ】入力プロファイル情報生成部の内部構成を概略的に説明するブロック図である。
【図７Ａ】入力プロファイル情報の構成例を説明する図である。
【図７Ｂ】分光感度パターンの情報を概念的に説明する図である。
【図７Ｃ】分割領域を説明する図である。
【図７Ｄ】分割領域代表特性情報、代表特性指定情報、および領域ごとの分光感度補正係数を含む情報のセットが複数生成される様子を概念的に説明する図である。
【図８Ａ】撮影装置で実行される分割領域代表特性情報、代表特性指定情報、および領域ごとの分光感度補正係数の生成処理手順を説明する概略フローチャートである。
【図８Ｂ】撮影装置で実行される入力プロファイル情報生成処理手順を説明する概略フローチャートである。
【図９】撮影装置から転送されたオリジナル画像データに色変換処理を行う色変換処理部の内部構成を概略的に説明するブロック図である。
【図１０Ａ】情報処理装置で実行される色変換処理手順を説明する概略フローチャートである。
【図１０Ｂ】図１０Ａのフローチャートで示される処理手順に続いて情報処理装置で実行される処理手順を説明する概略フローチャートである。
【図１１】本発明の第２の実施の形態において、撮影装置で生成されて一次入力プロファイル情報が付加されたオリジナル画像データが第１の情報処理装置に転送されて蓄積され、そのオリジナル画像データが第１の情報処理装置で処理されて第２の情報処理装置に転送される様子を概念的に説明する図である。
【図１２】付帯情報付加処理部の内部構成を概略的に説明するブロック図である。
【図１３】一次入力プロファイル情報の構成例を説明する図である。
【図１４Ａ】付帯情報付加処理部の内部構成を概略的に説明するブロック図である。
【図１４Ｂ】付帯情報付加処理部の内部構成を概略的に説明するもう一つのブロック図である。
【図１５】第２の情報処理装置（クライアント）によって実行されるマルチバンド画像データ取得処理の手順を説明する概略フローチャートである。
【図１６】第１の情報処理装置（コンテンツサーバ）によって実行されるマルチバンド画像データ送出処理の手順を説明する概略フローチャートである。
【発明を実施するための形態】
【００２６】
−  第１の実施の形態  −
図１は、本発明が適用される、撮影装置１００と、撮影装置１００で生成されたオリジナル画像データに色変換処理をして印刷、表示等を行う情報処理装置１４０とを示す図である。図２は、撮影装置１００および撮影レンズ１１０の内部構成を概略的に示すブロック図である。本実施の形態において、撮影装置１００は６バンドのオリジナル画像データを生成可能に構成されるマルチバンド撮影装置であって、撮影レンズが交換可能のものであるとする。また、撮影レンズ１１０はズーム式のものであるとする。
【００２７】
撮影装置１００はカメラＣＰＵ１０２を有し、撮影レンズ１１０はレンズＣＰＵ１１２を有する。撮影装置１００に撮影レンズ１１０を装着し、撮影装置１００の電源を投入すると、これらのカメラＣＰＵ１０２とレンズＣＰＵ１１２との間で相互に通信が行われる。レンズＣＰＵ１１２からカメラＣＰＵ１０２には、撮影レンズ１１０に関連する、後で詳述する様々な情報が出力される。その情報の中には、撮影レンズ１１０の周辺減光特性に関連する情報も含まれる。また、ユーザが撮影レンズ１１０の設定焦点距離を変更する操作をすると、設定された焦点距離に関連する情報がレンズＣＰＵ１１２からカメラＣＰＵ１０２に出力される。
【００２８】
撮影レンズ１１０の絞りの設定は、カメラＣＰＵ１０２によって制御される。例えば、撮影装置１００の撮影モードがプログラム露光モードに設定されている場合について説明する。カメラＣＰＵ１０２は、測光結果と、撮影装置１００で予め設定されている撮像素子の感度（等価ＩＳＯ感度）とからシャッタ速度と絞り値とを決定する。カメラＣＰＵ１０２は、決定された絞り値に基づいてレンズＣＰＵ１１２に絞り制御信号を発する。レンズＣＰＵ１１２は、撮影レンズ１１０の絞り値を制御する。つまり、撮影時に設定されていた絞り値はカメラＣＰＵ１０２によって把握可能に構成されている。本明細書中で撮影装置１００は撮影レンズ１１０が交換可能な一眼レフレックス式のデジタルスチルカメラであるものとして説明をするが、撮影レンズ固定式のものであっても、動画を撮像可能なムービーカメラであってもよい。あるいは、撮影装置を内蔵する携帯電話や携帯情報端末（ＰＤＡ）であってもよい。
【００２９】
情報処理装置１４０は、パーソナル・コンピュータ（以下ＰＣ）等で構成されるものであっても良いし、画像データを処理して保管、表示、および印刷等のうちの少なくともいずれかを行うことが可能な、専用の装置であってもよい。以下では、情報処理装置１４０は、ＰＣ１４２、表示装置１４４、キーボード１４６等を有して構成されるものとする。情報処理装置１４０には、プリンタ１５０等を接続することが可能である。ＰＣ１４２は、ローカル・エリア・ネットワーク（ＬＡＮ）やインターネット等を介して他のＰＣやサーバ等に接続することも可能に構成することができる。本明細書では、表示装置１４４やプリンタ１５０等を画像出力装置と総称する。
【００３０】
撮影装置１００から情報処理装置１４０へは、ＵＳＢケーブル、ＬＡＮケーブル、ＩＥＥＥ１３９４ケーブル、ＨＤＭＩケーブル等を用いた有線通信、光や電磁波を用いた無線方式通信、メモリカード等を介して画像データを転送可能に構成される。
【００３１】
図２を参照し、撮影装置１００は、二つの撮像素子２１８、２２０と、撮影レンズ１１０を透過した被写体光を分割して二つの撮像素子２１８、２２０に導くビームスプリッタ２３０と、ビームスプリッタ２３０と撮像素子２１８、２２０それぞれの間に配設されるシャッタ２１０、２１２および光学フィルタ（以下、単に「フィルタ」と称する）２１４、２１６とを有する。
【００３２】
撮影装置１００はまた、撮像素子２１８、２２０から出力される画像データを一時的に記憶する第１バッファ２０２および第２バッファ２０４と、第１バッファ２０２および第２バッファ２０４に記憶される画像データに処理を施してマルチバンド画像データを生成する画像処理部２０６と、カメラＣＰＵ１０２から出力されるシャッタ制御信号に基づいてシャッタ２１０、２１２などを駆動するドライバ２０８とを有する。シャッタ２１０、２１２は、フォーカルプレンシャッタなどを用いることが可能である。なお、これらのフォーカルプレンシャッタに代えて、撮影レンズ１１０内にレンズシャッタを内蔵することも可能である。
【００３３】
撮影装置１００はさらに、メモリ２０５を有する。メモリ２０５は、アクセス速度に優れるＲＡＭと、記憶保持のために電力を必要としないフラッシュメモリとを含む。上記の第１バッファ２０２および第２バッファ２０４はメモリ２０５に含まれていてもよい。この場合、メモリ２０５のＲＡＭ内に第１バッファ２０２および第２バッファ２０４の領域が確保される。フラッシュメモリには、カメラＣＰＵ１０２で実行されるファームウェアや、個々の撮影装置１００に固有の情報、さらには撮影装置１００の動作ステータス情報等が記憶される。
【００３４】
本実施の形態において、撮像素子２１８、２２０のそれぞれはベイヤ配列のＢＧＲオンチップカラーフィルタを有する単板式のものとして説明する。しかし、本発明はこの例に限定されるものではない。例えば、ビームスプリッタ２３０の光射出部に対向する位置にダイクロイックプリズム等を有して構成される色分解光学系をそれぞれ配置した構成を有するものであってもよい。この場合、ビームスプリッタ２３０で二分割され、フィルタ２１４、２１６を透過した被写体光は、上記色分解光学系によって色分解される。そして、色分解された各色の被写体光を受光する位置に配設される複数の単色の撮像素子に色分解されたそれぞれの被写体光導かれる。
【００３５】
フィルタ２１４、２１６は、干渉フィルタの機能を有する。ビームスプリッタ２３０の光射出部と撮像素子２１８、２２０のそれぞれとの間に光学的ローパスフィルタ（ＯＬＰＦ）等の光学素子が配置される場合、それらの光学素子の表面に干渉フィルタを構成する薄膜層を形成することもできる。なお、フィルタ２１４、２１６に関し、必ずしも双方が干渉フィルタの機能を有する必要はない。つまり、フィルタ２１４、２１６のうち、一方のみ干渉フィルタの機能を有し、他方は他の光学素子、例えば単なる平行平面ガラスやＯＬＰＦ等であってもよい。更に、フィルタ２１４、２１６については必ずしも光の干渉を利用したフィルタに限るものでなく、斜めに光が入った場合にその特性が変化するようなフィルタであれば、本発明は同様に利用が出来る。以下ではフィルタ２１４、２１６の双方が干渉フィルタの機能を有していて、フィルタ２１４が比較的広帯域の分光透過特性を有し、フィルタ２１６が比較的狭帯域の分光透過特性を有するものとして説明をする。これらのフィルタ２１４、２１６の分光透過特性については後で説明する。
【００３６】
撮影装置１００はさらに、付帯情報付加処理部６００を有する。付帯情報付加処理部６００は、撮影装置１００で撮影が行われる際に、後述する入力プロファイル情報を生成する。付帯情報付加処理部６００は、これらの入力プロファイル情報を、画像処理部２０６で生成されたマルチバンド画像データに付加し、記憶媒体２４０にオリジナル画像データとして記録する。記憶媒体２４０は、撮影装置１００に着脱自在に取り付け可能なメモリカードや小型ハードディスク等のいわゆるリムーバブルメディアを利用可能である。なお、以下では、カメラＣＰＵ１０２がメモリ１０５中に記憶されているファームウェアを実行することにより付帯情報付加処理部６００が実施されるものとして説明をする。
【００３７】
撮影レンズ１１０は、レンズＣＰＵ１１２と、絞りドライバ１１４と、絞りユニット１１６と、レンズ駆動部１１８と、メモリ１２０とを有する。絞りユニット１１６は、光彩絞りを形成する複数の絞り羽根と、それらの絞り羽根を開閉駆動するアクチュエータとを有する。絞り羽根を開閉駆動するアクチュエータとしては、電磁アクチュエータ、例えばステッピングモータを用いることができる。レンズ駆動部１１８は、撮影レンズ１１０内のフォーカシングレンズを撮影レンズ１１０の光軸方向に沿って移動させるためのアクチュエータ、例えば超音波モータや電磁駆動のモータ等を有する。
【００３８】
レンズ駆動部１１８はまた、フォーカシングレンズの位置に応じた情報をレンズＣＰＵ１１２に出力可能に構成される。一例として、レンズ駆動部１１８は、フォーカシングレンズの無限遠撮影位置からの移動量に応じた信号を生成可能なエンコーダから出力される信号を常に監視し、最新のレンズ位置に基づく情報をレンズＣＰＵ１１２に随時出力するように構成される。また、撮影レンズ１１０が、撮影装置１００のユーザによる手動焦点調節が可能に構成される場合も、レンズ駆動部１１８は最新のフォーカシングレンズの位置に応じた情報をレンズＣＰＵ１１２に随時出力するように構成可能である。なお、以下ではフォーカシングレンズの位置に応じた情報を単に「レンズ位置情報」と称する。
【００３９】
図３および図４に、フィルタ２１４、２１６の分光透過特性の例を示す。図３および図４に示されるグラフにおいて、横軸には波長が、縦軸には透過率が示されている。これらのグラフにはまた、フィルタ２１４、２１６の分光透過特性とともに、撮像素子２１８、２２０中におけるＢ、Ｇ、Ｒの波長帯域を受け持つ画素の相対分光感度が示されている。図３に示されるように、フィルタ２１４は、比較的広帯域の分光透過特性を有する。
【００４０】
一方、フィルタ２１６は、図４に示されるように比較的狭帯域の分光透過特性を有する。なお、以下ではフィルタ２１４、２１６の分光透過特性について、単に「広帯域の分光透過特性を有する」、「狭帯域の分光透過特性を有する」と表記する。図３に示されるように、フィルタ２１４は、可視域の長波長側で透過率が急激に低下する特性を有している。可視域の光をほぼ均一に透過可能である、と云う点で、広帯域の分光透過特性を有すると称することができる。図４に示されるように、フィルタ２１６は、その分光透過特性の立ち下がり部（分光透過率が急激に低下する部分、二カ所）、立ち上がり部（分光透過率が急激に上昇する部分、一カ所）が、撮像素子２２０中におけるＢ、Ｇ、Ｒの波長帯域を受け持つ画素が有する分光感度のプロファイル（山型のプロファイル）をそのピーク付近で分断するように特性が定められている。フィルタ２１４に比してフィルタ２１６が透過可能な光の波長帯域は狭い、と云う点で、狭帯域の分光透過特性を有すると称することができる。
【００４１】
広帯域の分光透過特性を有するフィルタ２１４については、先にも説明したように省略することも可能である。例えば、図２において、ビームスプリッタ２３０の射出面と撮像素子２１８、２２０のそれぞれとの間に、透明基板上に薄膜の層が形成されたフィルタ２１４、２１６が介装されるような構成の場合、フィルタ２１４を省略する際には、代わりに素通しの透明基板を介装することが二つの撮像素子２１８、２２０に至る等価光路長を等しくして撮影レンズ１１０の収差特性を等しくする上で望ましい。また、ビームスプリッタ２３０の射出面と撮像素子２１８、２２０との間にＯＬＰＦや赤外カットフィルタ等が介装されていて、それらの表面に薄膜の層が形成されてフィルタ２１４、２１６が構成される場合、フィルタ２１４に対応する薄膜の層を省略すればよい。
【００４２】
図５は、フィルタ２１４、２１６の分光透過特性と、Ｂ、Ｇ、Ｒ各色のオンチップカラーフィルタの分光透過特性と、撮像素子を構成する画素の分光感度特性との組み合わせによって決まる、撮像素子２１８、２２０中におけるＢ、Ｇ、Ｒ各色の画素の分光感度を示す図である。つまり、バンド１、バンド２、バンド３はそれぞれ、撮像素子２１８のＢオンチップカラーフィルタ、Ｇオンチップカラーフィルタ、Ｒオンチップカラーフィルタが設けられた各画素の分光感度特性を示す。また、バンド４、バンド５、バンド６はそれぞれ、撮像素子２２０のＢオンチップカラーフィルタ、Ｇオンチップカラーフィルタ、Ｒオンチップカラーフィルタが設けられた各画素の分光感度特性を示す。
【００４３】
図６Ａは、付帯情報付加処理部６００の構成を概略的に示すブロック図である。付帯情報付加処理部６００は、画像処理部２０６で生成されたマルチバンド画像データに入力プロファイル情報を付加してオリジナル画像データを生成する処理を行う。付帯情報付加処理部６００で生成されたオリジナル画像データは、記憶媒体２４０に記録される。
【００４４】
付帯情報付加処理部６００の説明の前に、センサ情報記憶部６３０とフィルタ情報記憶部６３２とについて説明する。これらのセンサ情報記憶部６３０およびフィルタ情報記憶部６３２は、メモリ２０５中のフラッシュメモリ内に設けられる。
【００４５】
センサ情報記憶部６３０には、センサ情報が記憶される。センサ情報は、撮像素子２１８、２２０のバイアス・トーン特性に関する情報と、分光感度のむらに関連する情報（以下では単に「感度むら情報」と称する）とを含む。感度むら情報は、以下で詳しく説明するように、撮像素子２１８、２２０、撮像素子２１８、２２０から出力される画像信号を処理する処理系、およびシャッタのうち、少なくともいずれかに起因して、撮像素子のイメージエリア上で等価的に生じる分光感度のむらを反映した情報である。
【００４６】
撮像素子２１８、２２０に起因する感度むらは、従来の技術でも説明したように、撮像素子２１８、２２０を製造する過程での成膜やエッチング等のプロセスのばらつきによって生じる分光感度むらである。
【００４７】
撮像素子２１８、２２０から出力される画像信号を処理する処理系に起因する感度むらは、例えば撮像素子２１８、２２０中に形成されるＡ／Ｄコンバータやアンプ等の特性のばらつきによって生じるむらである。例えば、撮像素子２１８、２２０内の画素ごと、あるいは列ごとにアンプが設けられる場合、それらのアンプのゲインにばらつきがあると、それは分光感度のむらを生じうる。また、撮像素子２１８、２２０内に複数のＡ／Ｄコンバータが設けられて複数のチャンネルから同時に画像信号を読み出し可能に構成されるものでは、Ａ／Ｄコンバータの特性のばらつきによって分光感度のむらを生じうる。その結果、撮像素子２１８、２２０から出力される画像信号を処理して得られる画像データは、仮に撮像素子２１８、２２０のイメージエリア上に均一な光が入射していたとしても、画像データ中の各画素値にはばらつきを生じる。この画素値のばらつきにより、色むらを生じることとなる。
【００４８】
シャッタの露光精度がばらついたときには、像面露光量のばらつきを生じ、結果として画像データにばらつきを生じる。例えば、シャッタ２１０、２１２それぞれで得られる露光量に差があれば、撮像素子２１８、２２０から得られる画像信号を処理して生成される画像データの分光特性は、ずれを生じることになる。
【００４９】
上記のような要因によるむらの影響を受けた画像データの画素値のばらつきは、あたかも撮像素子２１８、２２０の分光感度のむらが原因であるかのように捉えることができる。つまり、撮像素子２１８、２２０から得られる画像に生じるむらの原因が、撮像素子２１８、２２０の分光感度のむら、画像信号を処理する処理系、シャッタのいずれであったとしても、それらはすべて画像データの画素値のばらつきとして反映される。そこで、センサ情報記憶部６３０には、撮像素子２１８、２２０、撮像素子２１８、２２０から出力される画像信号を処理する処理系、シャッタ２１０、２１２に起因する分光感度むらの情報は、撮像素子２１８、２２０のイメージエリア上で等価的に生じる分光感度のむらを表すものとして記憶される。
【００５０】
撮像素子２１８、２２０、撮像素子２１８、２２０から出力される画像信号を処理する処理系に起因する分光感度のむらは、例えば、撮影装置１００の製造の過程で較正を行うことにより得ることができる。較正の一例としては、撮影装置１００のレンズマウント部に半透明乳白色のキャップを装着し、分光放射輝度が既知の面光源に撮影装置１００を向けて撮影して得られた画像データを処理することが可能である。得られた画像データの画素値のばらつきから、撮像素子２１８、２２０の各画素に対応する分光感度のばらつきが求められる。この分光感度のばらつきから、撮像素子２１８、２２０の受光面上における分光感度の分布に関連する情報を生成することができる。なお、この較正を行う際には、シャッタ秒時を比較的長くすることが較正結果に及ぼすシャッタ精度の影響を減じる上で効果的である。
【００５１】
シャッタ２１０、２１２に起因する分光感度のむらは、撮影装置１００の製造過程において較正を行うことにより計測可能である。例えば、較正用の撮影レンズを撮影装置１００に装着して均一な輝度面を画面一杯に捉えるようにして撮影する。このとき、露光むらの生じにくいシャッタ秒時（例えば１／３２秒）、露光むらの生じやすいシャッタ秒時（例えば１／８１９２秒）で撮影し、それぞれのシャッタ秒時で撮像素子から得られる画像信号を比較する。そして、画素ごとに画素値を比較することによりシャッタに起因するむらを推定することが可能となる。
【００５２】
以上は撮影装置１００の製造過程において較正を行う例について説明したが、以下に説明するように撮影装置１００の使用過程においても較正をすることができる。シャッタ２１０、２１２がフォーカルプレンシャッタであるものとして、先幕、後幕の走行タイミングを検知するセンサをシャッタ内に組み込む。すなわち、シャッタ２１０、２１２内にフォトインタラプタ、あるいはフォトリフレクタ等のセンサを組み込む。これらのセンサにより、シャッタ作動時、先幕がセンサの近傍を通過してから後幕が同じセンサの近傍を通過するまでの時間を検出できる。検出された時間と、目標シャッタ秒時との差から、シャッタ２１０、２１２に起因する分光感度のむらを得ることができる。すなわち、シャッタ２１０と２１２とで露光精度が異なっていると、撮像素子２１８、２２０から出力される画像信号間の相対値に誤差を生じることとなり、結果として得られる画像データの色再現性に影響を及ぼすこととなる。本明細書においては、これもむらとして扱うものとする。
【００５３】
フォーカルプレンシャッタの特性として、先幕と後幕とで形成されるスリットの幅が露光動作中に変動する場合がある。これもむらの原因となる。先幕、後幕の走行タイミングを検知する上記センサを、シャッタ内に例えば３つ組み込み、幕の走行開始地点、中間、走行完了地点において先幕、後幕が走行する際の時間的間隔を計測することにより、スリット幅の変動によるむらも検出することが可能となる。このようにして検出されたむらも、撮像素子２１８、２２０の分光感度のむらとして扱うことが可能である。
【００５４】
センサ情報記憶部６３０には、センサ情報として、上述したようにして得られる感度むら情報とバイアス・トーン特性に関する情報とが記憶される。なお、センサ情報記憶部６３０に記憶される感度むら情報に関して、撮像素子２１８、２２０、撮像素子２１８、２２０から出力される画像信号を処理する処理系、およびシャッタに関連するものが必ずしも全て記憶されている必要はなく、少なくともいずれかに起因するものが記憶されていればよい。
【００５５】
フィルタ情報記憶部６３２には、フィルタ２１４、２１６の分光透過特性に関連する情報が記憶される。フィルタ情報記憶部６３２にはまた、フィルタ２１４、２１６に対して光が斜めに入射した場合の分光透過特性の変化に関連する情報、すなわち入射角の変化に対する分光透過特性の変化を導出可能な情報も記憶可能である。
【００５６】
付帯情報付加処理部６００について説明する。付帯情報付加処理部６００は、レンズ情報取得部６０２と、撮影情報取得部６０４と、被写体特性情報入力部６０６と、撮影照明光情報入力部６０８と、周辺減光導出部６１０とを有する。付帯情報付加処理部６００はまた、入射角度導出部６１２と、感度ムラ導出部６１４と、バイアス・トーン特性抽出部６１６と、入力プロファイル情報生成部６２２と、データフォーマット処理部６２４とを有する。
【００５７】
レンズ情報取得部６０２は、撮影装置１００に装着されている撮影レンズ１１０のレンズ情報をレンズＣＰＵ１１２から取得する。このレンズ情報には、一例として、撮影レンズの焦点距離（ズームレンズの場合には広角端から望遠端までの焦点距離レンジ）、開放Ｆ値、周辺減光特性、射出瞳位置などを含むことができる。レンズ情報にはまた、分光透過特性に関連する情報や撮影レンズ１１０の個体を識別可能な情報、例えば撮影レンズ１１０のメーカ、機種、シリアル番号等を特定可能な情報が含まれていてもよい。
【００５８】
射出瞳位置の情報としては、撮影レンズを無限遠の被写体に焦点が合うように焦点調節したときの、結像面から射出瞳位置までの光軸方向に沿う距離、あるいは撮影レンズ１１０（撮影装置１００）のマウント面から射出瞳位置までの光軸方向に沿う距離に関連する情報等とすることができる。レンズ情報取得部６０２は、上述のようにして取得した情報を、周辺減光導出部６１０、入射角度導出部６１２に出力する。
【００５９】
撮影情報取得部６０４は、撮影装置１００で撮影動作が実行されたときの各種撮影情報を取得する。この撮影情報には、一例として、撮影日時、撮像素子２１８、２２０で設定された感度（等価ＩＳＯ感度）、撮影レンズ１１０がズームレンズである場合には撮影時に設定されていた焦点距離（以下、設定焦点距離と称する）、シャッタ速度、設定絞り値、露出補正量、撮影距離（撮影時の射出瞳位置を求めることができる情報）などを含むことができる。撮影情報取得部６０４は、上述のようにして取得した情報を、周辺減光導出部６１０、入射角度導出部６１２、入力プロファイル情報生成部６２２に出力する。
【００６０】
被写体特性情報入力部６０６は、後述する色変換処理に際して被写体の分光反射率を推定するために用いられる情報を入力する。例えば、被写体の分光反射率を推定する方法の一例としてウィーナ推定と称される方法がある。被写体の分光反射率の推定に際してウィーナ推定を用いる場合、被写体特性情報入力部６０６は被写体の統計的な情報を入力する。
【００６１】
例えば、ユーザが撮影装置１００のメニュー画面を呼び出して、人の肌、自然風景、建築物等、被写体の種類を特定する設定を行うことができる。ユーザによる上述した設定結果に基づき、被写体特性情報入力部６０６は分光反射率を推定するのに有効な統計的情報をメモリ２０５から読み出す。そして被写体特性情報入力部６０６は、この統計的情報を入力プロファイル情報生成部６２２に出力する。
【００６２】
なお、ウィーナ推定によって被写体の分光反射率を推定する際に、確率モデルとしてマルコフモデルを適用することもできる。その場合には、被写体特性情報入力部６０６を省くことが可能となる。被写体特性情報入力部６０６は、上述のようにして入力された情報を入力プロファイル情報生成部６２２に出力する。
【００６３】
撮影照明光情報入力部６０８は、後述する色変換処理に際して被写体の分光反射率を推定するために利用される情報を入力する。例えば、撮影装置１００が分光測光装置を有する場合には、撮影照明光、すなわち撮影時に被写体を照明していた光の分光特性を撮影照明光情報入力部６０８はこの分光測光装置から入力することができる。
【００６４】
分光測光装置の構成としては、既に知られている様々な構成のものを利用可能である。例えば、受光部から入射した撮影照明光を光ファイバの一端に導き、その他端から出射する光をコリメートした後に回折格子を用いて分光し、分光された各波長の光の位置（分布）および強度を、ラインセンサ等を用いて計測することにより、撮影照明光の分光特性を計測可能である。
【００６５】
あるいは、上述した構成を用いず、Ｂ、Ｇ、Ｒ各色の光の強度をセンサで計測した結果を撮影照明光情報入力部６０８が入力することも可能であるが、精度は分光測光装置を用いるものに比して低下する。撮影照明光情報入力部６０８は、上述のようにして入力した撮影照明光情報を、入力プロファイル情報生成部６２２に出力する。
【００６６】
上述した撮影照明光情報についてさらに説明する。例えば、被写体が夕陽に照らされる山肌や、蛍光灯の照明下に載置されている静物のように、被写体が単一の照明光で照明されている場合には、撮影照明光情報は一種類の情報となり、後述する色変換処理に際してはこの撮影照明情報が一律に適用される。
【００６７】
一方、背景は蛍光灯で照明されていて、主要被写体はタングステン光のスポットライトで照明されているような状況では、撮影シーンを分割して得られる複数のエリアごとに異なる撮影照明光情報を適用することも可能である。この場合、撮影に際して、比較的狭い計測範囲（視野範囲）を有する分光装置を用いて撮影シーン内に標準反射板（基準白色板）を載置してスキャンし、撮影視野内における撮影照明光の分布を予め計測することもできる。この場合、撮影照明光情報入力部６０８は、上記ようにして計測された撮影照明光の分光特性に関連する情報を入力し、入力プロファイル情報生成部６２２に出力する。
【００６８】
周辺減光導出部６１０は、撮影レンズ１１０の周辺減光特性に関連する情報をレンズ情報取得部６０２から入力する。周辺減光導出部６１０はまた、設定焦点距離、絞り値、撮影距離（あるいは撮影時の射出瞳位置を求めることが可能な情報）に関連する情報を撮影情報取得部６０４から入力する。上記のように入力した情報に基づき、周辺減光導出部６１０は、撮像素子２１８、２２０の受光面上での像面照度の低下量（像面照度の分布）を導出し、入力プロファイル情報生成部６２２に出力する。
【００６９】
入射角度導出部６１２は、レンズ情報取得部６０２から射出瞳位置に関連する情報を、撮影情報取得部６０４から設定焦点距離、撮影距離（あるいは撮影時の射出瞳位置を求めることが可能な情報）に関連する情報を、それぞれ入力する。これらの情報に基づき、入射角度導出部６１２は、被写体光がフィルタ２１４、２１６に入射する際の入射角度（以下、フィルタ入射角度と称する）を導出し、この入射角度に関連する情報を入力プロファイル情報生成部６２２に出力する。
【００７０】
感度ムラ導出部６１４は、センサ情報記憶部６３０からセンサ情報を入力し、感度ムラ、すなわち撮像素子２１８、２２０それぞれの受光面上における分光感度の分布を導出する。感度むら導出部６１４は、この感度むらを含めた各画素の分光感度に関連する情報を入力プロファイル情報生成部６２２に出力する。
【００７１】
バイアス・トーン特性抽出部６１６は、センサ情報記憶部６３０中に記録される情報から撮像素子２１８、２２０のバイアス・トーン特性を抽出し、入力プロファイル情報生成部６２２に出力する。
【００７２】
図６Ｂは、入力プロファイル情報生成部６２２の内部構成を概略的に示すブロック図である。入力プロファイル情報生成部６２２は、領域分割処理部６２０と、フィルタ特性変化量導出部６１８と、総合分光感度特性導出部６２６と、代表特性情報生成部６２８Ａと、補正係数生成部６２８Ｂと、情報集約処理部６２８Ｃとを有する。
【００７３】
入力プロファイル情報生成部６２２は、撮影情報取得部６０４、撮影照明光情報入力部６０８、被写体特性情報入力部６０６、バイアス・トーン特性抽出部６１６、入射角度導出部６１２、フィルタ情報記憶部６３２、感度むら導出部６１４、周辺減光導出部６１０から出力された情報をもとに、後で図７Ａを参照して詳述する入力プロファイル情報を生成し、この情報をデータフォーマット処理部６２４に出力する。
【００７４】
フィルタ特性変化量導出部６１８は、フィルタ情報記憶部６３２からフィルタ２１４、２１６の分光透過特性に関連する情報を読み出す。そしてフィルタ特性変化量導出部６１８は、この分光透過特性に関連する情報と、入射角度導出部６１２から出力されたフィルタ入射角度に関連する情報とから、フィルタ入射角度に対応するフィルタ特性シフト量を導出し、このフィルタ特性シフト量に関連する情報を、総合分光感度特性導出部６２６へ出力する。
【００７５】
フィルタ特性変化量導出部６１８での処理について説明する。撮影レンズ１１０の射出瞳位置から出射してフィルタ２１４、２１６を透過し、撮像素子２１８、２２０の受光面で結像する被写体像について考える。撮像素子２１８、２２０のイメージエリアの中心（画面中心）、すなわち像高がゼロの位置に入射する被写体光（説明を単純化するため、ここでは主光線のみを考える）は、フィルタ２１４、２１６の入射面に対して直交するように入射する（フィルタ入射角度＝０度）。
【００７６】
一方、画面中心から離れた位置（ある像高を有する位置）に入射する被写体光は、フィルタ２１４、２１６の入射面に対して斜めに入射する。像高が高い程、フィルタ入射角度は大きくなるので、フィルタ２１４、２１６を被写体光が透過する際の薄膜は等価的に厚くなる。したがって、フィルタ２１４、２１６の分光透過特性は、撮像素子２１８、２２０の受光面上に結ばれる被写体像の像高に応じて変化する。
【００７７】
撮像素子２１８、２２０上の画素の配列ピッチは既知であるので、イメージエリアの中心に位置する画素（像高＝０）を基準として、各画素が位置する場所での像高は計算により求めることができる。故に、射出瞳位置と像高とから、各画素に入射する光線がフィルタ２１４、２１６を透過する際のフィルタ入射角度を入射角度導出部６１２で求めることができる。フィルタ特性変化量導出部６１８は、入射角度導出部６１２で求められた上記のフィルタ入射角度から、イメージエリア内の各画素に対応するフィルタ２１４、２１６の分光透過特性を求めて総合分光感度特性導出部６２６に出力する。
【００７８】
領域分割処理部６２０は、入射角度導出部６１２で導出されたフィルタ入射角度をもとに領域分割処理を行う。その一例について説明する。例えば、横長で４：３のアスペクト比を有する長方形の画面で、画面最周辺位置に対応するフィルタ入射角度（以下、これを最大入射角度と称する）が、画面水平方向において３０度、画面垂直方向において２２．５度（いずれも半角であるものとする）であったとする。領域分割処理部６２０はこれらの最大入射角度を、例えば５で除する。その結果、水平方向に６、垂直方向に４．５という値を得る。上記最大入射角度は半角であるので、領域分割処理部６２０は上記演算結果をそれぞれ２倍し、画面水平方向の領域数（Ｘ方向領域数）を１２、画面垂直方向の領域数（Ｙ方向領域数）を９と決定する。領域分割処理部６２０は、Ｘ方向領域数およびＹ方向領域数に関する情報を代表特性情報生成部６２８Ａに出力する。
【００７９】
フィルタの分光透過特性は、先にも説明したように、像高の変化に応じて漸次変化するものである。従って、イメージエリアを分割し、分割された領域（以降、「分割領域」と称する）のそれぞれの中における一端から他端に至るまでのフィルタ分光透過特性の変化は、分割領域の大きさが小さくなるほど小さくなる。分割領域内における一端から他端に至るまでの間におけるフィルタの分光透過特性の変化が十分に小さくなるように分割領域の大きさを定めれば、当該の分割領域内のフィルタ分光透過特性は一定と見なして処理しても、それが画質に及ぼす影響は小さくなる。
【００８０】
例えば、フィルタの分光透過特性が像高の変化に対して緩やかに変化する場合には、分割領域を大きくする（分割数を少なくする）ことが可能となる。領域分割をする際に、不等分割、すなわち分光透過特性変化の小さい領域では分割領域の大きさを増し、分光透過特性変化の大きい領域では分割領域の大きさを減らすことも可能である。以下では、領域分割処理部６２０が等分割の方式によって領域分割処理をするものとして説明をする。
【００８１】
総合分光感度特性導出部６２６は、感度むら導出部６１４から出力された、撮像素子２１８、２２０それぞれのイメージエリア上における分光感度の分布（イメージエリア上の画素のそれぞれに対応する分光感度特性）と、フィルタ特性変化量導出部６１８から出力された、イメージエリア内の各画素に対応するフィルタ２１４、２１６の分光透過特性とから、総合分光感度特性を各画素に対応して求め、代表特性情報生成部６２８Ａに出力する。ここで総合分光感度特性とは、イメージエリア内の各画素の分光感度特性に、その画素に対応する上記分光透過特性を乗じて得られたものを意味する。つまり、イメージエリア内の各画素がフィルタ２１４、２１６を透過した光を受光する結果、等価的にどのような分光感度特性を有しているかを表すのが総合分光感度特性である。
【００８２】
図７Ａは、入力プロファイル情報生成部６２２で生成される入力プロファイル情報７００の内部構成例を概念的に示す図である。図７Ｂは、撮影装置１００が６バンドの分光感度を有するものである場合の、分光感度特性を特定するデータを概念的に表したものである。図７Ｃは、領域分割処理部６２０によってイメージエリアがＸ方向（画像の長辺に沿う方向）に１２、Ｙ方向（画像の短辺に沿う方向）に９の、全部で１０８の分割領域に分割される様子を概念的に示す図である。
【００８３】
図７Ａに示される例では、入力プロファイル情報７００は、レンズタイプ、設定焦点距離、バンド数、分光感度パターン数、波長次元数、分光感度パターン、Ｘ方向領域数、およびＹ方向領域数に関する情報と、分光感度パターン指定テーブルと、領域ごとの分光感度補正係数と、バイアス・トーンカーブデータと、被写体特性情報と、撮影照明情報とを含む。
【００８４】
レンズタイプの情報は、撮影レンズの焦点距離に関する情報を含む、レンズタイプの情報はまた、個々のレンズを一意に特定可能な情報（例えばシリアルナンバー）を含んでいてもよい。撮影レンズがいわゆるズームレンズである場合、上記レンズタイプの情報は広角端、望遠端における焦点距離の情報、あるいは広角端における焦点距離およびズーム比の情報を含むことが望ましい。図７Ａに示される例では、レンズタイプの情報は、当該の撮影レンズが１２ｍｍから６０ｍｍの焦点距離範囲を有するズームレンズで、シリアルナンバーがＤＤＤ０１２３４５であることを示している。上記レンズタイプの情報は、周辺減光導出部６１０を経由してレンズ情報取得部６０２から入力することができる。
【００８５】
設定焦点距離の情報は、入力プロファイル情報７００が、撮影レンズの焦点距離が何ｍｍに設定されているときのものであるかを示している。図７Ａの例では、設定焦点距離の情報は１５であり、これは入力プロファイル情報７００が、撮影レンズの設定焦点距離が１５ｍｍとなっているときのものに対応することを示している。
【００８６】
バンド数の情報は、当該の撮影装置から出力可能な画像のバンド数を示している。図７Ａの例では、バンド数の情報は６であり、これは６バンドの画像データが出力可能であることを示している。
【００８７】
分光感度パターン数、波長次元数、分光感度パターン、Ｘ方向領域数、およびＹ方向領域数の各情報、分光感度パターン指定テーブルについて説明する。本発明において、代表特性情報生成部６２８Ａは、領域分割処理部６２０で決定されたＸ方向分割数（この数をｎXと称する）、Ｙ方向分割数（この数をｎYと称する）で規定される、ｎX×ｎY個の分割領域それぞれに対する入力プロファイル作成用の情報を生成する。図７ＡにおいてＸ方向領域数には上記ｎXに対応する値（１２）が、Ｙ方向領域数には上記ｎYに対応する値（９）が記憶される。つまり、分割領域の数は、上記ｎX、ｎYの積である１０８となる。ところで、それぞれの分割領域内には複数の画素が存在し、それぞれの画素ごとに総合分光感度特性は異なる。代表特性情報生成部６２８Ａは、分割領域内に存在する複数の画素のそれぞれに対応する総合分光感度をもとに、当該の分割領域を代表する総合分光感度特性に関する情報を生成する。本明細書では、この情報を「分割領域代表特性情報」と称する。
【００８８】
１０８個の分割領域それぞれを代表する分光感度特性は、図７Ｂに概念的に示されるようなデータによって定義することができる。この分光感度特性は、先に説明した総合分光感度特性とすることが望ましい。本実施の形態において、撮影装置１００は、Ｂ、Ｇ、Ｒのオンチップカラーフィルタと、分光透過特性の異なる２種類のフィルタ２１４、２１６との組み合わせによって６バンドの分光感度を有する。６バンドの分光感度は、図７Ｂに例示されるような６つの分光感度プロファイルで表すことができる。図７Ｂでは、分光感度プロファイルが３８０ｎｍから７８０ｎｍの波長帯域を１０ｎｍ間隔で、つまり、４１個の波長ポイントに対応する感度として定義される（図７Ｂのグラフ中、黒い丸が分光感度を定義するデータに対応する点を表している）様子が描かれている。
【００８９】
図７Ａにおける波長次元数とは、可視光帯域（波長３８０ｎｍから７８０ｎｍの帯域）内においていくつの波長ポイントに対応するデータによって分光感度が定義されているかを示すものである。例えば１ｎｍ間隔の波長ポイントで分光感度が定義される場合、波長次元数は、（７８０−３８０）／１＋１＝４０１となるし、５ｎｍ間隔の波長ポイントで分光感度が定義される場合、波長次元数は、（７８０−３８０）／５＋１＝８１となる。図７Ｂの例では、１０ｎｍ間隔で分光感度が定義されているので、波長次元数は４１となる。
【００９０】
上記では波長帯域が３８０ｎｍから７８０ｎｍの範囲にデフォルト設定されている場合について説明した。しかし、分光感度プロファイルはこれよりも広い波長範囲にわたって定義されていてもよいし、狭い波長範囲にわたって定義されていてもよい。その場合には、例えば最短波長、波長間隔、波長次元数の情報を入力プロファイル中に含めることにより、任意の波長帯域（最短波長  〜  最短波長＋波長間隔×波長次元数）における分光感度プロファイルを定義することが可能となる。
【００９１】
図７Ａにおける分光感度パターン数の情報について説明する。上記のように、本実施の形態では１０８個の分割領域それぞれに対して図７Ｂに概念的に示されるような分光感度の情報が割り当てられる。例えるならば、１０８個の分割領域それぞれに当てはめる１０８種類のタイルが必要となる。但し、ある程度の誤差を許容することにより、１０８個の各分割領域に対応する分光感度の特性として、例えば図７Ｃにおける分割領域（１、１）、（２、１）、（１２、１）、（１、３）、（１１、５）、（１２、９）における分光感度の特性は実質的に同じ、というような扱いが可能となる。つまり、１０８個の分割領域中、いくつかの分割領域に対して同じ種類のタイルを当てはめることができる。そのようにすることにより、タイルの種類を少なくすることができる。従って、入力プロファイルの容量を大幅に減じることが可能となる。
【００９２】
以下、撮像素子２１８、２２０の分光感度特性にフィルタ２１４、２１６の分光透過率特性を加味した総合分光感度特性をどのように扱うかについて説明する。イメージエリア全体の総合分光感度特性の分布（イメージエリア内の各画素に対応する総合分光感度特性）と、求められる画質や入力プロファイルの許容情報容量等とから、予めどのような分光感度パターンを用意すればよいかを決定する処理をカメラＣＰＵ１０２で実行されるプログラムのアルゴリズム中に組み込むことが可能である。
【００９３】
このとき、より高画質が求められ、入力プロファイル情報７００の情報量の多いことが許容される場合には分光感度パターンの数は分割領域数と等しく（本実施の形態では１０８個）することができる。逆に、画質の低下は見込まれるものの、入力プロファイル情報７００の情報量を減らすことが求められる場合には、分光感度パターンの数を減じれば良い。無論、イメージエリア全体の総合分光感度特性の分布を見渡したときに変化が緩やかであれば、画質の低下を招くことなく、分光感度パターンの数を減じることが可能となる。極端な例では、分光感度パターンの数は最小個数である１つ、ということもある。
【００９４】
図７Ａにおける分光感度パターン数の情報は、総合分光感度特性のパターンを定義する情報が当該の入力プロファイル情報中に何組含まれるかを示す。図７Ａに示される例では、分光感度パターン数は３０となっている。つまり、図７Ａに示されるように、６バンド感度１、６バンド感度２、…、６バンド感度３０と、３０種類の分光感度パターン（３０種類のタイル）が入力プロファイル情報中に含まれることを意味する。
【００９５】
上記３０種類の分光感度パターンのうち、分割領域（１、１）から分割領域（１２、９）までのそれぞれに対していずれかの分光感度パターンを割り当てることになる。つまり、図７Ａにおける分光感度パターン指定テーブルは、各分割領域に割り当てるべき分光感度パターン（６バンド感度１、６バンド感度２、…、６バンド感度３０のうちのいずれか）を指定するための情報を含んでいる。
【００９６】
本明細書において、図７Ａに示される分光感度パターン数、波長次元数、分光感度パターン、Ｘ方向領域数、Ｙ方向領域数を含んで構成される情報を分割領域代表特性情報と称する。また、分光感度パターン指定テーブル、すなわち各分割領域にどの分割領域代表特性情報を適用するテーブルを含んで構成される情報を代表特性指定情報と称する。また、本明細書においては、分割領域の数と同じ数だけ求められた分光感度パターンの数を減じて、複数の分割領域に対して同じ分光感度パターンを割り当てるようにする処理を「分光感度特性情報減数処理」と称する。この分光感度特性情報減数処理の詳細については後で説明する。
【００９７】
領域ごとの分光感度補正係数は、横に並ぶ６つの係数で一組の係数セットが形成され、この一組の係数セットが一つの分割領域に適用される。図７Ａに示される例では、１０８個の分割領域のそれぞれに対して３０組の６バンド感度のうちのいずれかが適用されることは上述したとおりであるが、適用された分光感度パターン中に含まれる６つの分光感度特性（６バンド感度）のそれぞれに対して上記６つの係数が乗じられる。領域ごとの分光感度補正係数は、周辺減光導出部６１０から出力される情報に基づいて生成されるものである。従って、６バンド感度に対して１つの係数を一律に乗じるものであってもよい。ただし、上述のように６バンド感度のそれぞれに対して独立した係数を有することにより、以下で説明するように、各分割領域における分光感度特性をよりきめ細かく定義することが可能となる。
【００９８】
今、６バンド感度１から６バンド感度３０のいずれかで定義される６つの分光感度特性（図７Ｂにおける分光感度プロファイル１、２、…、６に相当）を、短波長側から、分光感度特性１、分光感度特性２、…、分光感度特性６と称する。図７Ａに例示される領域ごとの分光感度補正係数中、最上段の６つの係数（１．００２６、１．００４９、０．９９７１、０．９９６１、１．００２８、１．００８４）はそれぞれ、分割領域（１，１）に適用される分光感度パターン（図７Ａの例では６バンド感度１が適用される）中の分光感度特性１、分光感度特性２、…、分光感度特性６に乗じられる。
【００９９】
つまり、これら６つの係数によって、分光感度特性１、分光感度特性２、…、分光感度特性６の成分比を自在に変化させることが可能となる。例えば、これら６つの係数を同じように増減すると可視光領域全域にわたって感度を増減したのと等価となる。特定の係数のみを増減すると、その係数が乗じられる分光感度特性のみ、増減させることが可能となる。
【０１００】
同様に、２段目の６つの係数（０．９９７３、１．００５０１．００３０、０．９９６１、１．００２９、０．９９１５）は、分割領域（２，１）に適用される分光感度パターン（図７Ａの例では６バンド感度２が適用される）中の分光感度特性１、分光感度特性２、…、分光感度特性６に乗じられる。
【０１０１】
以上のように、領域ごとの分光感度補正係数として、分割領域（１，１）、分割領域（２，１）、…、分割領域（１２，１）、分割領域（１，２）、分割領域（２，２）、…  …  、分割領域（１２，９）のそれぞれに対して６つの係数が入力プロファイル情報７００中に含まれる。つまり、領域ごとの分光感度補正係数として、６（バンド数）×１２（Ｘ方向領域数）×９（Ｙ方向領域数）＝６４８個のデータを図７Ａの例では含む。
【０１０２】
以上に説明した内容を総括すると、上述したむらの要因中、撮像素子の感度むら、フィルタの分光透過特性の入射角依存性に対しては分割領域ごとに適用する分光感度パターン（６バンド感度１から６バンド感度３０）を変えることにより対応可能である。一方、上述したむらの要因中、撮影レンズの周辺減光特性、撮像素子に対して斜めに入射する光の光量減少に対しては、撮像素子に入射する光の量の変化に対応して領域ごとの分光感度補正係数を変えることにより対応可能である。そして、むらの程度や求められる画像の品質に応じて分光感度パターン数、分光感度パターン、Ｘ方向領域数、Ｙ方向領域数が決定される。
【０１０３】
なお、撮影レンズの分光透過特性（ＣＣＩ）が標準値からずれている場合、あるいは、撮影レンズに色補正フィルタ等が装着されていて、そのフィルタのＣＣＩが標準値からずれているような場合、領域ごとの分光感度補正係数を変えることにより対応することが可能である。すなわち、撮影レンズのＣＣＩが標準値からずれているような場合、画像全体の色味がずれることになる。このような場合、図７Ａを参照して説明した領域ごとの分光感度補正係数中、例えば上述した分光感度特性６に乗じられる係数（図７Ａ中、一番右の縦並びの１０８個のデータ  １．００８４、０．９９１５、０．９９１４、…、０．９９１７）を一律に増減させることで画像全体の色味の補正をする、と云ったことも可能となる。
【０１０４】
以上で図７Ａを参照して説明した入力プロファイル情報７００は、撮影レンズ１１０が特定の焦点距離に設定されている（図７Ａの例では設定焦点距離が１５ｍｍとなっている）場合に対応するものである。ところで、撮影レンズ１１０がズームレンズである場合や、マクロレンズのように焦点調節にともなうレンズ位置の変動量が大きいものである場合、図７Ａに例示される入力プロファイル情報中、以下のものが撮影時の撮影レンズ１１０の状態に応じて変化しうる。すなわち、分光感度パターン、Ｘ方向領域数、Ｙ方向領域数、分光感度パターン指定テーブル、領域ごとの分光感度補正係数は、撮影時の撮影レンズ１１０の状況によって変化する。つまり、入力プロファイル情報７００中、分割領域代表特性情報、代表特性指定情報、領域ごとの分光感度補正係数は、撮影レンズ１１０のタイプによっては、撮影状況によって異なることがある。
【０１０５】
上述した入力プロファイル情報７００中、分割領域代表特性情報、代表特性指定情報、および領域ごとの分光感度補正係数は、撮影装置１００に撮影レンズ１１０が装着され、撮影装置１００の電源が投入されたときに入力プロファイル情報生成部６２２で生成することが望ましい。例えば、装着される撮影レンズが１２ｍｍから６０ｍｍの範囲で焦点距離を変えることの可能なズームレンズである場合、入力プロファイル情報生成部６２２は図７Ｄに例示されるような複数セットの分割領域代表特性情報、代表特性指定情報、および領域ごとの分光感度補正係数７０２−１、７０２−２、…、７０２−ｎを生成し、メモリ２０５中に記憶する。なお、これら複数セットの分割領域代表特性情報、代表特性指定情報、および領域ごとの分光感度補正係数７０２−１、７０２−２、…７０２−ｎは、撮影レンズ１１０の設定絞り値が最小（開放絞り）のときのものとすることが可能である。
【０１０６】
撮影レンズ１１０の設定絞りが変化した場合、射出瞳の径が変化する。射出瞳径の変化によって比較的大きく影響を受けるのは周辺減光である。従って、図７Ａに示される入力プロファイル情報７００中、領域ごとの分光感度補正係数（図７Ａの例においては６×１０８のデータ）に変更を加えることにより、撮影レンズ１１０の設定絞りの影響を減じることが可能となる。
【０１０７】
情報集約処理部６２８Ｃは、撮影レンズの設定焦点距離、設定絞りに関連する情報を撮影情報取得部６０４から得る。そして情報集約処理部６２８Ｃは、撮影時に設定されていた焦点距離に対応する分割領域代表特性情報、代表特性指定情報、および領域ごとの分光感度補正係数（７０２−１、７０２−２、…、７０２−ｎのいずれか）を選択し、その情報中に含まれる領域ごとの分光感度補正係数に対して、撮影レンズ１１０の設定絞り値に応じた変更を加える。
【０１０８】
情報集約処理部６２８Ｃは、上述のようにして生成された情報にバイアス・トーンカーブデータ、被写体特性情報、撮影照明情報を付加して入力プロファイル情報７００を生成し、データフォーマット処理部６２４に出力する。バイアス・トーンカーブデータ、被写体特性情報、撮影照明情報については、図６Ａを参照して先に説明したとおりである。なお、本実施の形態において、マルチバンド画像データは６バンドの画像データであるものとして説明をしている。これに対応して、バイアス補正情報は１バンド目から６バンド目の各画像データに適用するバイアス値を含むものとすることが可能である。同様に、トーンカーブ補正情報は、１バンド目から６バンド目の各画像データのトーン特性を補正するルックアップテーブル（ＬＵＴ）を含むものとすることが可能である。
【０１０９】
図６Ａを参照し、データフォーマット処理部６２４は、入力プロファイル情報生成部６２２から出力された上記の入力プロファイル情報を、画像処理部２０６から出力されたマルチバンド画像データに付加する。そしてデータフォーマット処理部６２４は、上記のマルチバンド画像データをオリジナル画像データとして記憶媒体２４０に所定のファイルフォーマットで記録する処理を行う。
【０１１０】
図８Ａは、撮影装置１００に撮影レンズ１１０が装着されて電源が投入されたときにカメラＣＰＵ１０２で実行される、分割領域代表特性情報、代表特性指定情報、および領域ごとの分光感度補正係数の生成手順を説明するフローチャートである。
【０１１１】
Ｓ８００においてＣＰＵ１０２は、取得したレンズ情報からレンズタイプの情報（例：レンズの焦点距離範囲、シリアル番号等）、射出瞳位置の情報、および周辺減光の情報を抽出する。Ｓ８０２においてＣＰＵ１０２は、撮像素子２１８、２２０のバンド数（＝ｂ）、波長次元数、フィルタ分光透過特性、撮像素子２１８、２２０の分光感度むらに関する情報をメモリ２０５から読み出す。Ｓ８０４においてＣＰＵ１０２は、フィルタ数（＝ｆ）の情報をメモリ２０５から読み出し、バンド数（＝ｂ×ｆ）を決定する。
【０１１２】
ＣＰＵ１０２はＳ８０６において、イメージエリア内の画素位置から求められた像高とＳ８００で抽出された射出瞳位置情報とからフィルタ入射角特性を算出し、Ｘ方向領域数とＹ方向領域数とを決定する。
【０１１３】
Ｓ８０８においてＣＰＵ１０２は、イメージエリア内の各画素に対応するフィルタ２１４、２１６の分光透過特性を求め、それを撮像素子２１８、２２０それぞれのイメージエリア上における分光感度の分布（イメージエリア上の画素のそれぞれに対応する分光感度特性）に乗じて総合分光感度特性を求める。この総合分光感度特性は、二つの撮像素子２１８、２２０から出力される画像信号を処理して得られる１つの画像内の各画素に対応するものとしてまとめられる。
【０１１４】
上記について説明する。フィルタ２１４の分光透過特性と撮像素子２１８の分光感度特性の分布との組み合わせから１つの総合分光感度特性（これを総合分光感度特性  Ａと称する）が得られ、フィルタ２１６の分光透過特性と撮像素子２２０の分光感度特性の分布との組み合わせからもう１つの総合分光感度特性（これを総合分光感度特性  Ｂと称する）が得られる。しかし、１つの６バンド画像データは二つの撮像素子２１８、２２０から得られる画像信号を合成して得られるものである。したがってＣＰＵ１０２は、これらの総合分光感度特性  Ａと総合分光感度特性  Ｂとを合成して１つの総合分光感度特性を生成する。
【０１１５】
Ｓ８０８の処理に関する以上の説明では、総合分光感度特性  Ａは、イメージエリア内の各画素に対応するフィルタ２１４の分光透過特性と、撮像素子２１８の分光感度特性の分布との組み合わせから得られるものと説明した。また、総合分光感度特性  Ｂは、イメージエリア内の各画素に対応するフィルタ２１６の分光透過特性と、撮像素子２２０の分光感度特性の分布との組み合わせから得られるものと説明した。これらに関して、総合感度特性  Ａは、イメージエリア内の各画素に対応するフィルタ２１４の分光透過特性のばらつきのみを反映し、総合分光感度特性  Ｂは、イメージエリア内の各画素に対応するフィルタ２１６の分光透過特性のみを反映するようにしてもよい。
【０１１６】
つまり、総合分光感度特性  Ａは、イメージエリア内の各画素に対応するフィルタ２１４の分光透過特性と、撮像素子２１８の代表的な分光感度特性（例えばイメージエリア中心近傍での分光感度特性）との組み合わせから得られたものとしてもよい。そして、総合分光感度特性  Ｂは、イメージエリア内の各画素に対応するフィルタ２１６の分光透過特性と、撮像素子２１８の代表的な分光感度特性との組み合わせから得られたものとしてもよい。理由は、撮像素子の製造プロセスのばらつきによる分光感度特性のむらによる影響は、被写体光がフィルタを透過する際の入射角変化による影響の大きさに比して、一般的に小さいからである。また、製造プロセスの改善によって撮像素子の分光感度特性のむらは無視できるほどに小さくすることが可能であるからである。
【０１１７】
Ｓ８１０においてＣＰＵ１０２は、Ｓ８０６で決定されたＸ方向領域数とＹ方向領域数とから決まる複数（図７Ｃの例では１０８個）の分割領域のそれぞれに対する総合分光感度特性の代表特性を決定する。つまり、ＣＰＵ１０２は、分割領域内の各画素に対応する総合分光感度特性（総合分光感度特性は６バンドの分光感度プロファイルで表現できる）からその分割領域に対応する代表特性を決める。代表特性を決めるための方法としては、単純平均、最頻値抽出、最小二乗近似、あるいは分割領域の中心に位置する画素の総合分光感度特性を代表特性とする等、任意の方法を利用可能である。
【０１１８】
Ｓ８１２においてＣＰＵ１０２は、各分割領域に対応する総合分光感度の代表特性（図７の例では１０８組の総合分光感度情報）を分析して、先に説明した分光感度特性情報減数処理を行う。すなわち、ＣＰＵ１０２は、分光感度のパターンの数（ｎ）を決定し、分光感度パターン１、２、…、ｎに対応する分光感度のプロファイルを定義するデータ（図７Ａにおける６バンド感度１、６バンド感度２、…、６バンド感度３０に相当）を生成する処理を行う。図７Ａに示される例ではｎ＝３０となっている。分光感度のパターン数ｎは、１つの画面内における総合分光感度のばらつきや、撮影者が望む画質、入力プロファイル情報のために利用可能なデータ容量等に基づいて決定することができる。
【０１１９】
ＣＰＵ１０２によりＳ８１２で行われる分光感度特性情報減数処理の例について図７Ｃを参照して説明する。ここで説明する処理例では、色差が用いられる。Ｓ８１０の処理が完了した時点では、１０８個の分割領域（１，１）、（２，１）、…、（１２，９）のそれぞれに対応して総合分光感度特性の代表特性が決定されている。そこで、イメージエリアの中心近傍に位置する分割領域、例えば分割領域（６，５）の総合分光感度特性を基準として、他の分割領域（１，２）、（２，１）、…、（１２，９）の総合分光感度特性を、色差によって比較してゆくことができる。
【０１２０】
具体的には、以下のようにして比較される。すなわち、ＣＰＵ１０２は、白色の光がフィルタ２１４、２１６を透過して撮像素子２１８、２２０のイメージエリアに入射したものと仮定して、各分割領域の総合分光感度特性によって得られる信号値（これを仮想出力信号値と称する）［ａ１、ａ２、…、ａ６］を分割領域ごとに求める。
【０１２１】
次に、ＣＰＵ１０２は、イメージエリアの中心近傍に位置する分割領域（ここでは、分割領域（６，５）がイメージエリアの中心近傍に位置する分割領域として選択される）の分割領域の総合分光感度特性を用いて（後述する）分光反射率推定マトリクス［Ｍ］を算出する（［  ］  は、行列を意味する。）。この時［Ｍ］は便宜的なものであり、正確な反射率推定行列である必要はなく、例えば撮影照明スペクトルとして全波長帯域でフラットなエネルギーを持った照明を想定して算出することでも構わない。その後、前記中心近傍に位置する分割領域の仮想出力信号値［ａｎ１、ａｎ２、…、ａｎ６］に前記［Ｍ］を乗じてもとめた分光反射率を基準として、各分割領域における仮想出力信号値［ａ１、ａ２、…、ａ６］と比較し、各分割領域に対応して色差を求める。
【０１２２】
色差の算出は分光反射率に照明を乗じて人間の視覚の等色関数を作用させて求めた測色値から算出する方法が知られているが、その計算方法も前述したように正確である必要はなく、分割領域間で相対的に色味が異なっているかどうかが判ればよい。本実施例では、ｘｙ色度座標上での距離を色差として求めている。この処理によって、１０８個の分割領域に対応する１０８個の色差情報が得られる。当然のことながら、分割領域（６，５）に対応する色差は０である。尚、色差は色度座標上の方向に関する情報を含まないので、同じ色差が必ずしも同じような色とは限らない。この例で示した方法は、フィルタの分光透過特性が総合分光感度特性に支配的に影響していることを想定しており、イメージエリアの中心即ち光軸を中心として同心円的に色変化が広がっている場合の例である。
【０１２３】
ＣＰＵ１０２は続いて、１０８個の色差の最大値と最小値との差を求め、この差（色差の分布幅）に基づいて分光感度のパターン数ｎを決定する。ＣＰＵ１０２は、１０８個の色差をｎ個の階級に分類し、各階級中に存在する色差の値から各階級を代表する色差を決める。なお、階級幅については必要に応じて等幅としても不等幅としてもよいが、本実施の形態において階級幅は等幅であるものとする。各階級を代表する色差は、各階級の中間値に最も近い色差とすることができる。ＣＰＵ１０２による以上の処理により、色差に関してｎ個の値を選び出すことができる。ＣＰＵ１０２は、これらｎ個の色差に対応する総合分光感度特性をもとに、図７Ａに例示される６バンド感度１、６バンド感度２、…の分光感度パターンを決定する。
【０１２４】
Ｓ８１４においてＣＰＵ１０２は、Ｓ８１０で生成された６バンド感度１、６バンド感度２、…、６バンド感度ｎのうち、各分割領域においてどの分光感度パターンを適用するのかを指定するテーブルを生成する。このテーブルが図７Ａに示される分光感度パターン指定テーブルである。
【０１２５】
Ｓ８１４での処理の具体例について説明する。Ｓ８１２での処理により、ＣＰＵ１０２は各分割領域における色差と、選択されたｎ個の分光感度パターンに対応する色差を把握することができる。ＣＰＵ１０２は、各分割領域の色差に最も近い色差を有する分光感度パターンをｎ個の分光感度パターン中から選択する。この選択処理を全部の分割領域に対して行うことにより、ＣＰＵ１０２は分光感度パターン指定テーブルを生成する。
【０１２６】
Ｓ８１６においてＣＰＵ１０２は、周辺減光特性に基づいて領域ごとの分光感度補正係数を求める処理を行う。Ｓ８１６の処理によって、図７Ａに示される領域ごとの分光感度補正係数が求められる。なお、ＣＰＵ１０２が領域ごとの分光感度補正係数を求める際に、以下のように係数を求めることが可能である。図７Ａに示される例では、もともと１０８組あった分光感度のパターン数が３０組に減じられている。
【０１２７】
上述した分光感度特性情報減数処理により、所与の分割領域に割り当てられた分光感度パターンは、当該の分割領域が本来有していた分光感度パターンに対して多少異なる場合がある。これはすなわち、当該の分割領域における色再現特性に誤差が生じうるということを意味する。その一方で、分光感度補正係数は、先にも説明したように例えば図７Ｂに示されるような６つの分光感度プロファイルそれぞれに対して乗じることのできる６つの値を有する。従って、Ｓ８１６で求められる分光感度補正係数によって、周辺減光特性の影響を減じるだけでなく、あたかもオーディオアンプでグラフィックイコライザを操作して音質を変えるかのように、６つの分光感度プロファイルの成分比を調節することが可能となる。これにより、分光感度パターンの数を減じることにより生じうる誤差を減じることが可能となる。Ｓ８１６での処理が、図６Ｂにおける補正係数生成部６２８Ｂで行われる処理に対応する。
【０１２８】
Ｓ８１８においてＣＰＵ１０２は、全ての焦点距離に対応するセットの分割領域代表特性情報、代表特性指定情報、および領域ごとの分光感度補正係数の生成が完了したか否かを判定する。この判定が否定される間、ＣＰＵ１０２はＳ８００からＳ８１８の処理を繰り返し行う。Ｓ８１８の判定が肯定されると、ＣＰＵ１０２は分割領域代表特性情報、代表特性指定情報、および領域ごとの分光感度補正係数生成の処理を完了する。以上で説明した図８Ａの処理により、図７Ｄに例示されるような複数セットの分割領域代表特性情報、代表特性指定情報、および領域ごとの分光感度補正係数７０２−１、７０２−２、…７０２−ｎがメモリ２０５に記録される。
【０１２９】
図８Ｂは、上述した分割領域代表特性情報、代表特性指定情報、および領域ごとの分光感度補正係数の生成手順に続き、撮影装置１００で撮影が行われるときにカメラＣＰＵ１０２で実行される入力プロファイル情報生成処理手順を説明するフローチャートである。図８Ｂに示される処理は、撮影装置１００で撮影が行われて第１バッファ２０２、第２バッファ２０４にデジタル画像信号が記憶された後に実行が開始される。
【０１３０】
Ｓ８３０においてＣＰＵ１０２は、撮影時に撮影レンズ１１０で設定されていた設定焦点距離および設定絞りに関する情報を取得する。Ｓ８３２でＣＰＵ１０２は、画像処理部２０６へ画像処理を開始するように制御信号を発する。
【０１３１】
ＣＰＵ１０２はＳ８３４において、図７Ｄに例示されるような複数セットの分割領域代表特性情報、代表特性指定情報、および領域ごとの分光感度補正係数７０２−１、７０２−２、…、７０２−ｎの中から設定焦点距離に対応するものを選択する。Ｓ８３６においてＣＰＵ１０２は、設定絞りの情報に基づいて周辺減光特性を導出する処理を行う。
【０１３２】
Ｓ８３８においてＣＰＵ１０２は、Ｓ８３４で選択した分割領域代表特性情報、代表特性指定情報、および領域ごとの分光感度補正係数に含まれる領域ごとの分光感度補正係数を、Ｓ８３６で導出された周辺減光特性をもとに修正する処理を行う。
【０１３３】
Ｓ８４０においてＣＰＵ１０２は、分割領域代表特性情報、代表特性指定情報、および領域ごとの分光感度補正係数に、レンズタイプ、設定焦点距離、およびバンド数に関する情報や、バイアス・トーンカーブデータ、被写体特性情報、撮影照明情報などを付加して入力プロファイル情報を生成する。
【０１３４】
Ｓ８４２においてＣＰＵ１０２は、以上のようにして生成された入力プロファイル情報を画像データに付加し、「ナチュラルビジョン映像データファイルフォーマット」に準じたフォーマットで記憶媒体２４０に記録する。なお、上記ナチュラルビジョン映像データファイルフォーマットについては、非特許文献１に詳しく解説されている。
【０１３５】
撮影装置１００で撮影が行われるたびに、図８Ｂのフローチャートを参照して説明した処理がＣＰＵ１０２により行われる。その結果、入力プロファイル情報が生成され、この入力プロファイル情報がマルチバンド画像データに付加されてオリジナル画像データとして記憶媒体２４０に記憶される。また、撮影の途中で撮影レンズ１１０が別のタイプのものに交換されると図８Ａのフローチャートを参照して説明した処理がＣＰＵ１０２により行われて新たな分割領域代表特性情報、代表特性指定情報、および領域ごとの分光感度補正係数が生成される。
【０１３６】
以下では、記憶媒体２４０が撮影装置１００から取り出されて情報処理装置１４０に装着され、記憶媒体２４０内のオリジナル画像データが情報処理装置１４０により読み出されて入力プロファイル作成処理、色変換処理が行われるものとする。
【０１３７】
図９は、色変換処理部９００の概略的構成を説明するブロック図である。本実施の形態において、色変換処理部９００は情報処理装置１４０で色変換処理用のソフトウェアが解釈・実行されて構成されるものとして説明するが、専用のロジック回路やＡＳＩＣ等により構成されていてもよい。また、本実施の形態において情報処理装置１４０はコンピュータであるものとして説明をするが、本発明は画像再生装置、ビデオレコーダ、セットトップボックス（ＳＴＢ）、プリンタ、画像表示機能付きの可搬式データストレージ装置、携帯電話等に適用することができる。
【０１３８】
色変換処理部９００は、入力されるオリジナル画像データＤ中に含まれるマルチバンド画像データ、入力プロファイル情報を分離し、この入力プロファイル情報をもとに入力プロファイルを作成する。色変換処理部９００は、作成された入力プロファイルを用いてマルチバンド画像データに対して色変換の処理をし、モニタ表示装置やプリンタなどの画像出力装置９５０に処理後の画像データを出力する。
【０１３９】
色変換処理部９００は、入力プロファイル作用部９１０と、出力プロファイル作用部９２０と、入力プロファイル作成部９３０とを有する。入力プロファイル作用部９１０は、トーン補正部９１２と、領域分割部９１４と、領域ごとのマトリクス演算部９１６とを有する。図９において、領域ごとのマトリクス演算部は「領域ごとのＭＴＸ演算部」と表記されている。
【０１４０】
入力プロファイル作成部９３０は、バイアス・トーンカーブ補正情報取得部９３２と、領域分割情報取得部９３４と、領域ごとの分光反射率推定マトリクス作成部（図９において、「領域ごとの分光反射率推定ＭＴＸ作成部」と表記されている）９３６と、領域ごとのシステム関数算出部９３８と、領域ごとの分光感度作成部９４０と、撮影照明情報取得部９４２とを有する。
【０１４１】
バイアス・トーンカーブ補正情報取得部９３２は、入力プロファイル情報中からバイアス・トーンカーブ補正情報を取得し、それをトーン補正部９１２に出力する。本実施の形態において、マルチバンド画像データが６バンドの画像データである場合について説明しており、バイアス補正情報は、１バンド目から６バンド目の各画像データに適用するバイアス値を含む。同様に、トーンカーブ補正情報は、１バンド目から６バンド目の各画像データのトーン特性を補正するルックアップテーブル（ＬＵＴ）を含む。領域分割情報取得部９３４は、入力プロファイル情報中から領域数の情報（図７Ａ、７Ｂを参照して説明したＸ方向領域数およびＹ方向領域数）を取得し、領域分割部９１４に出力する。
【０１４２】
領域ごとの分光感度作成部９４０は、入力プロファイル情報中から、図７Ａを参照して説明した分光感度パターン、分光感度指定テーブル、領域ごとの分光感度補正係数の情報を取得し、領域ごとの分光感度を作成する。具体的には、各領域に対応して指定された分光感度パターン（６バンド感度１、６バンド感度２、…）のそれぞれに領域ごとの分光感度補正係数を乗じ、領域ごとの分光感度特性を算出する処理を行う。
【０１４３】
撮影照明情報取得部９４２は、入力プロファイル情報中から撮影照明情報を取得する。領域ごとのシステム関数算出部９３８は、領域ごとの分光感度作成部９４０で作成された領域ごとの分光感度に撮影照明情報を乗じて領域ごとのシステム関数を算出する。撮影時に被写体が単一の光源によって照明されていた場合には、領域ごとの分光感度に乗じられる撮影照明情報は一種類となる。撮影時に被写体が複数の光源によって照明されていた場合、入力プロファイル情報中には分割された領域のそれぞれに対応する照明情報が含まれる。その場合、領域ごとのシステム関数算出部は、領域ごとの分光感度作成部９４０で作成された領域ごとの分光感度に領域ごとの撮影照明情報を乗じ、領域ごとのシステム関数を算出する。
【０１４４】
領域ごとの分光反射率推定マトリクス作成部９３６は、領域ごとのシステム関数算出部９３８で算出された領域ごとのシステム関数と、入力プロファイル情報に含まれる被写体特性情報とを用いて領域ごとの分光反射率推定マトリクスＭを作成する。分光反射率推定マトリクスＭは、以下の式を用いて作成することが可能である。なお、以下の式において符号に付したカギ括弧  ［  ］  は、行列を意味する。また、［  ］Tは転置行列を意味し、［  ］-1は逆行列を意味する。
［Ｍ］  ＝  ［Ｒ］rr［Ｈ］T（［Ｈ］［Ｒ］rr［Ｈ］T［Ｒ］nn）-1    …    式（１）
上記式（１）において、［Ｒ］nnはノイズの相関行列を意味し、例えば以下の式で表すことができる。
【０１４５】
【数１】
2010193380.tif 000003
【０１４６】
また、［Ｒ］rrは被写体特性情報と呼ばれるものであり、［ｒ］の相関行列のことであり、以下の式で表される。尚［ｒ］iは複数のサンプルの分光反射率特性のことである。
【０１４７】
【数２】
2010193380.tif 000004
【０１４８】
［Ｈ］はシステム関数を意味し、以下の式で表される。
［Ｈ］＝ｈk（λ）Ｉ（λ）
ｈk（λ）：領域ごとの分光感度  （ｋ＝１〜Ｎ）
Ｉ（λ）：撮影照明情報  （Ｎ×Ｎの対角行列）
入力プロファイル作用部９１０は、トーン補正部９１２と、領域分割部９１４と、領域ごとのマトリクス演算部（図９中、「領域ごとのＭＴＸ演算部」と表記されている）９１６とを有する。トーン補正部９１２は、バイアス・トーンカーブ補正情報取得部９３２から出力されたバイアスおよびトーンカーブ補正情報を用いて、マルチバンド画像データを補正する。領域分割部９１４は、領域分割情報取得部９３４から出力されるＸ方向領域数およびＹ方向領域数に基づき、マルチバンド画像データを分割する。
【０１４９】
なお、ここで説明する「マルチバンド画像データを分割する」とは、画像データそのものを実際に分割するのではなく、撮影装置１００で定められた分割領域に従っていわば区画分けをすることを意味する。領域ごとのマトリクス演算部９１６は、領域分割部９１４で分割された領域内の画像データに対して、その領域に対応する分光反射率推定マトリクスを適用し、分割された領域ごとに分光反射率画像データを生成する。
【０１５０】
入力プロファイル作用部９１０で生成された分光反射率画像データに対して、画像出力装置９５０の出力プロファイルが出力プロファイル作用部９２０で適用され、画像出力装置９５０に出力される。本発明の実施の形態において、画像出力装置９５０は、プリンタやモニタ表示装置とすることができる。
【０１５１】
図１０Ａ、１０Ｂは、情報処理装置１４０で実行される色変換処理の手順を説明するフローチャートである。この色変換処理は、先にも説明したように、ソフトウェアや専用のロジック回路等で実行可能であるが、情報処理装置１４０内に記憶されるソフトウェアが情報処理装置１４０によって実行されるものであってもよい。このソフトウェアは、例えば画像を閲覧、加工可能な画像処理ソフトウェアであってもよいし、処理対象のマルチバンド画像データ（オリジナル画像データ）が動画である場合には動画再生ソフトウェアであってもよい。以下では、画像処理ソフトウェアが情報処理装置１４０で実行され、記憶媒体２４０中に記録されるマルチバンドの静止画像データ（オリジナル画像データ）に処理がなされてモニタ表示装置等の画像出力装置９５０に出力されるものとして説明をする。
【０１５２】
Ｓ１００２において情報処理装置１４０はオリジナル画像データを記憶媒体２４０からオリジナル画像データを情報処理装置１４０内の記憶装置に読み込む処理を行う。
【０１５３】
Ｓ１００４で情報処理装置１４０は、Ｓ１００２で読み込んだオリジナル画像データ中から入力プロファイル情報７００を取得する処理を行う。情報処理装置１４０は、Ｓ１００４で取得した入力プロファイル情報７００中から、Ｓ１００６でバイアス・トーンカーブ補正情報を取得し、Ｓ１００８で領域分割情報を取得する処理を行う。
【０１５４】
Ｓ１０１０で情報処理装置１４０は、入力プロファイル情報７００中から分光感度パターン、分光感度パターン指定テーブル、および領域ごとの分光感度補正係数を取得する処理を行う。
【０１５５】
情報処理装置１４０は、Ｓ１０１２において撮影照明情報を、Ｓ１０１４において被写体特性情報を、それぞれ入力プロファイル情報７００中から取得する処理を行う。Ｓ１０１６において情報処理装置１４０は、分光感度パターン指定テーブルで指定される分光感度パターンに、領域ごとの分光感度補正係数を乗じて領域ごとのシステム関数Ｈｎを導出する。
【０１５６】
Ｓ１０１８において情報処理装置１４０は、被写体特性情報［Ｒ］rr、領域ごとのシステム関数［Ｈ］n、および撮影照明スペクトル（撮影照明情報）Ｉ（λ）を用いて、領域ごとの分光反射率推定行列［Ｍ］ｎを導出する。
【０１５７】
以上に説明したＳ１０１８までの処理によって、各分割領域に対応した分光反射率推定行列［Ｍ］ｎ  （ｎ：１、２、…、ｎX×ｎY）が求められる。続いて、以下に図１０Ｂを参照して説明するＳ１０２０からＳ１０２６の処理によって、画像データ内の画素のひとつ一つに対応する画素信号値に対して色変換処理が行われる。
【０１５８】
Ｓ１０２０において情報処理装置１４０は、バイアス・トーン補正処理を行う。すなわち、全画素の画素信号値のそれぞれからバイアス値を減じる処理を行い、さらにトーン特性情報によって線形信号値に変換する処理を行う。なお、本実施の形態においては、１つの画素に対応して６つの線形信号値が得られる。
【０１５９】
Ｓ１０２２において情報処理装置１４０は、これから処理しようとする画素（以下、「処理対象の画素」と称する）が属する分割領域を特定する。Ｓ１０２４において情報処理装置１４０は、処理対象の画素が属する分割領域に対応する分光反射率推定行列を、Ｓ１０２０で得られた線形信号値に乗じて分光反射率画像信号を生成する。この分光反射率画像信号は、機器に依存しない（デバイスインデペンデント）の画像信号となる。
【０１６０】
Ｓ１０２６において情報処理装置１４０は、処理対象画像データ（オリジナル画像データ）中の全画素に対応する分光反射率画像信号の生成を完了したか否かを判定し、この判定が否定される間はＳ１０２０からＳ１０２６の処理を繰り返し行う。Ｓ１０２６の判定が肯定されると処理はＳ１０２８に進む。情報処理装置１４０はＳ１０２８において、分光反射率画像信号に画像出力装置９５０の出力プロファイルを作用させて、機器依存の（デバイスデペンデントの）画像信号を生成し、それを画像出力装置９５０に出力する。なお、Ｓ１０２８の処理において、画像出力装置９５０が存在する環境を照明する照明光（これを「観察照明光」、あるいは「環境光」と称する）の分光特性を加味することも可能である。
【０１６１】
以上に説明したように、本発明の第１の実施の形態の撮影装置１００、情報処理装置１４０によれば、画像全体に単一の入力プロファイルが一律に適用されることはない。その代わりに、上述したむらに対応して分割領域が定められ、それぞれの分割領域に対応した入力プロファイルが適用される。そして、撮影装置１００で生成されるオリジナル画像データには、各画素に対応した入力プロファイルではなく、入力プロファイル情報が付加される。
【０１６２】
従って、より忠実な色再現を可能とする一方でオリジナル画像データの容量の増加を抑制することができる。また、撮影装置１００内で入力プロファイルを作成する処理を行うことが不要となるので、撮影装置１００の処理負荷を減じることも可能となる。オリジナル画像データの容量の増加が抑制されることにより、記憶媒体２４０内に記録可能なコマ数を増したり、何らかの通信手段を介して他の装置にオリジナル画像データを転送する際に要する時間を短縮したりすることが可能となる。また、撮影装置１００の処理負荷が減じられることにより、撮影装置の連写速度を増したり、一駒の撮影をしてから次の撮影操作等が可能となるまでの時間を短縮して操作性を向上させたりすることが可能となる。
【０１６３】
以上では、撮影装置１００が撮影レンズ交換式のものである例について説明したが、撮影レンズが撮影装置本体に固定されたものであってもよい。また、撮影装置１００は静止画のみならず、動画を撮影可能なものであってもよい。動画の場合、一連の動画ファイルに１つの入力プロファイル情報を付加することが可能である。また、動画撮影中に撮影レンズの変倍操作、撮影距離等、撮影条件の変化があったときには、動画ファイル中で撮影条件の変更があった箇所に入力プロファイル情報を随時埋め込むことも可能である。あるいは、動画ファイル中には撮影条件を特定可能な情報のみを埋め込み、一連の動画ファイルの先頭または末尾に複数の撮影条件に対応した入力プロファイル情報を付加するようにしてもよい。
【０１６４】
図２を参照して説明した撮影装置１００は、撮影レンズ１１０によって形成される被写体像がビームスプリッタ２３０によって２分割され、分割されたそれぞれの被写体光がフィルタ２１４、２１６を透過して撮像素子２１８、２２０に導かれる構成のものであった。しかし、本発明はこれに限られるものではない。
【０１６５】
例えば、撮影装置１００がオンチップカラーフィルタを備える撮像素子を１つ有する、いわゆる単板式の構成で、２回の撮影によって１画面分の多バンド画像データを得るものであってもよい。そして、２回の撮影をする際にフィルタを切り替えるようにすることが可能である。その場合、撮影レンズ１１０の前側（被写体と撮影レンズ１１０の光入射面との間）、撮影レンズ１１０の中、および撮影レンズ１１０の後側（撮影レンズ１１０の光出射面と撮像素子との間）のうち、いずれかの位置においてフィルタを切り替えるようにすることが可能である。
【０１６６】
また、撮像素子がオンチップカラーフィルタを有しておらず、被写体光を三つの分光帯域の光に分光するダイクロイックプリズムと３つのモノクロ撮像素子とを有する、いわゆる三板式の構成を有する撮影装置でも２回の撮影によって１画面分の多バンド画像データを得るようにすることができる。その場合、撮影レンズ１１０の前側、撮影レンズ１１０の中、および撮影レンズ１１０の後側（撮影レンズ１１０の光出射面とダイクロイックプリズムの入射面との間）のうち、いずれかの位置においてフィルタを切り替えるようにすることが可能である。
【０１６７】
また、上記のように単板式、三板式の撮影装置を用いて２回の撮影をする際にフィルタを切り替える方式のものにおいて、二つのフィルタを機械的に切り替えるのに代えて、分光透過特性を電気的に切り替え可能な構成のフィルタを用いることも可能である。その場合、２回の撮影に連動して分光透過特性を電気的に切り替えることができる。
【０１６８】
−  第２の実施の形態  −
第１の実施の形態において、マルチバンド画像データに付加される入力プロファイル情報が、撮影をしてマルチバンド画像データを生成する撮影装置１００の内部で生成される例について説明した。これに対し、第２の実施の形態においては、撮影に用いられた撮影装置以外の情報処理装置で入力プロファイル情報が生成される。
【０１６９】
また、第１の実施の形態においては、撮影装置１００で生成されるマルチバンド画像データには図７Ａを参照して説明した入力プロファイル情報が付加される例について説明した。つまり、入力プロファイル情報７００には、バンド数、分光感度パターン数、波長次元数、分光感度パターン、Ｘ方向領域数、Ｙ方向領域数、分光感度パターン指定テーブル、領域ごとの分光感度補正係数、バイアス・トーンカーブデータ、被写体特性情報、撮影照明情報が含まれる例について説明した。
【０１７０】
これに対して、第２の実施の形態においては、図１１に示されるように、撮影装置１００Ａで生成されるマルチバンド画像データに付加される入力プロファイル情報は、カメラＩＤやレンズＩＤ等の画像入力機器ＩＤ情報、撮影設定情報、被写体特性情報、および撮影照明情報を含む。撮影装置１００Ａを用いて撮影を行うと、一例として、図１３に示されるような入力プロファイル情報７００Ａの付加されたオリジナル画像データが撮影装置１００Ａによって生成される。
【０１７１】
以下では、撮影装置１００Ａによってマルチバンド画像データに付加される入力プロファイル情報を一次入力プロファイル情報と称し、撮影装置１００Ａと異なる他の情報処理装置によってマルチバンド画像データに付加される入力プロファイル情報を二次入力プロファイル情報と称する。第１の実施の形態で図７Ａを参照して説明した入力プロファイル情報７００が第２の実施の形態における二次入力プロファイル情報に相当する。
【０１７２】
一次入力プロファイル情報７００Ａに含まれるカメラＩＤ、レンズＩＤはそれぞれ、撮影装置１００Ａ、撮影レンズ１１０Ａの個体を一意に特定可能な情報を含んでいる。一次入力プロファイル情報７００Ａを調べることによって、この情報が付加されるマルチバンド画像データがどの機種、どの個体の画像入力機器によって得られたものであるかを特定することが可能となる。
【０１７３】
撮影装置１００Ａで生成されたオリジナル画像データは、コンテンツサーバとしての第１の情報処理装置に蓄積される。以下では第１の情報処理装置１１１０を、サーバ１１１０と称する。図１１では撮影装置１００Ａ、サーバ１１１０がそれぞれ１台づつ図示されているが、それぞれが複数であっても１つであってもよい。
【０１７４】
撮影装置１００Ａからサーバ１１１０へのオリジナル画像データの転送は、メモリカード、有線通信、無線通信、ネットワーク等、様々な方法を介して行うことができる。例えば、撮影装置１００Ａに無線ＬＡＮ、有線ＬＡＮ等を介してのネットワーク接続機能が備えられる場合、ＷＡＮ／ＬＡＮ１１００を介してオリジナル画像データをサーバ１１１０に転送することが可能となる。また、撮影装置１００Ａから取り出したメモリカードをコンピュータ等に接続し、そのコンピュータ内に一旦蓄積することも可能である。そして、そのコンピュータがＷＡＮ／ＬＡＮ１００を介してサーバ１１１０と接続され、コンピュータ内に蓄積されたオリジナル画像データをサーバ１１１０に転送するように構成することも可能である。以下ではＷＡＮ／ＬＡＮ１１００を単にネットワーク１１００と称する。
【０１７５】
サーバ１１１０は、例えば撮影装置１００Ａや撮影レンズ１１０Ａ等の画像入力機器のメーカによって提供、運営されるものとすることが可能である。サーバ１１１０にはまた、撮影装置１００Ａや撮影レンズ１１０Ａ等の画像入力機器の色再現特性に関連する様々な情報が網羅的に蓄積されている。そして、撮影装置１００Ａで生成されたオリジナル画像データに付加される入力プロファイル情報中から上記画像入力機器ＩＤ情報を読み出し、この画像入力機器ＩＤ情報に対応する、上記画像入力機器の色再現特性に関連する様々な情報を取得することが可能に構成されている。
【０１７６】
つまり、画像入力機器の色再現特性に関連する様々な情報は、第１の実施の形態においては撮影装置１００の内部のメモリ２０５に記憶されているところ、第２の実施の形態においてはサーバ１１１０内に蓄積されている。
【０１７７】
サーバ１１１０は、ネットワーク１１００を介して、クライアント情報処理装置としての、第２の情報処理装置１４０Ａと接続可能に構成される。以下では第２の情報処理装置１４０Ａをクライアント１４０Ａと称する。クライアント１４０Ａは、１つであっても複数存在していてもよい。
【０１７８】
以下では、クライアント１４０Ａは表示装置１４４やプリンタ１５０等の画像出力装置が接続されるコンピュータであるものとして説明するが、本発明は画像再生装置、ビデオレコーダ、セットトップボックス（ＳＴＢ）、プリンタ、画像表示機能付きの可搬式データストレージ装置、携帯電話等にも適用することができる。
【０１７９】
第１の実施の形態の撮影装置１００と第２の実施の形態の撮影装置１００Ａとの相違点は、撮影装置１００Ａで生成されるマルチバンド画像データに付加される入力プロファイル情報が上述した一次入力プロファイル情報である点のみである。それ以外、撮影装置１００Ａの内部構成は、第１の実施の形態で図２を参照して説明したものと同様であるのでその説明を省略し、撮影装置１００との相違点を中心に説明をする。
【０１８０】
図１２は、撮影装置１００Ａが有する付帯情報付加処理部６００Ａの概略的構成を、付帯情報付加処理部６００Ａに接続される構成要素とともに示すブロック図である。図１２において、図６に示される第１の実施の形態の撮影装置１００が有するものと同様の構成要素には同じ符号を付してその説明を省略する。
【０１８１】
撮影装置１００Ａは、第１の実施の形態の撮影装置１００が有していたセンサ情報記憶部６３０、フィルタ情報記憶部６３２を有していない代わりにボディＩＤ情報記憶部１２１０を有する。付帯情報付加処理部６００Ａは、レンズ情報取得部６０２Ａと、撮影情報取得部６０４と、被写体特性情報入力部６０６と、撮影照明光情報入力部６０８と、入力プロファイル情報生成部６２２Ａと、データフォーマット処理部６２４とを有する。
【０１８２】
レンズ情報取得部６０２Ａは、撮影装置１００Ａに装着される撮影レンズ１１０ＡからレンズＩＤ情報等を含むレンズ情報を取得する。入力プロファイル情報生成部６２２Ａは、ボディＩＤ情報記憶部１２１０、レンズ情報取得部６０２Ａ、撮影情報取得部６０４、被写体特性情報入力部６０６、撮影照明光情報入力部６０８から以下で説明する情報を入力し、図１３に示される一次入力プロファイル情報７００Ａを生成する。
【０１８３】
撮影情報取得部６０４、被写体特性情報入力部６０６、撮影照明光情報入力部６０８から入力プロファイル情報生成部６２２Ａに送られる情報は第１の実施の形態で説明したものと同じであるのでその説明を省略する。ボディＩＤ情報記憶部１２１０からは、ボディＩＤ情報が送出される。このボディＩＤ情報には、撮影装置１００Ａの機種を特定可能な情報と、撮影装置１００Ａの個体を特定可能な情報とが含まれる。撮影装置１００Ａの個体の機種を特定可能な情報としては、機種名や製品コード等を表すテキストデータとすることが可能である。撮影装置１００Ａの個体を特定可能な情報としては、製造番号等を含む情報とすることが可能である。
【０１８４】
レンズ情報取得部６０２Ａからは、レンズＩＤ情報が送出される。このレンズＩＤ情報には、撮影レンズ１１０Ａの機種を特定可能な情報と、撮影レンズ１１０Ａの個体を特定可能な情報とが含まれる。レンズＩＤ情報も、ボディＩＤ情報について説明したのと同様の情報を含む。
【０１８５】
撮影装置１００Ａで撮影が行われると、入力プロファイル情報生成部６２２Ａは図１３に例示されるような一次入力プロファイル情報７００Ａを生成し、データフォーマット処理部６２４に出力する。画像処理部２０６から出力されるマルチバンド画像データに上記一次入力プロファイル情報７００Ａを付加し、オリジナル画像データを生成する処理がデータフォーマット処理部６２４でおこなわれ、このオリジナル画像データは記憶媒体２４０に記録される。
【０１８６】
図１３は、入力プロファイル情報生成部６２２で生成される一次入力プロファイル情報７００Ａの内容例を概念的に示す図である。一次入力プロファイル情報７００Ａには、図１３に例示されるように、レンズＩＤ情報、ボディＩＤ情報、撮影時に撮影レンズ１１０Ａ、撮影装置１００Ａで設定された、焦点距離、絞り値、撮影距離の逆数、シャッタ速度、設定ＩＳＯ感度等を含む、撮影設定情報、被写体特性情報、撮影照明情報などを含むことが可能である。被写体特性情報、撮影照明情報については第１の実施の形態で説明したものと同じである。
【０１８７】
図１４Ａ、図１４Ｂは、サーバ１１１０内の付帯情報付加処理部１４７０と、この付帯情報付加処理部１４７０に接続される構成要素（画像データ取得部１４０２、補助記憶装置１４２０、色変換処理部１４３０）を示す概略ブロック図である。この付帯情報付加処理部１４７０は、サーバ１１１０内に設けられるものである。撮影装置１００Ａ内の付帯情報付加処理部６００Ａが一次入力プロファイル情報をマルチバンド画像データに付加する処理を行うのに対し、付帯情報付加処理部１４７０は以下で説明するように二次入力プロファイル情報をマルチバンド画像データに付加する処理を行う。
【０１８８】
画像データ取得部１４０２、色変換処理部１４３０、付帯情報付加処理部１４７０は、専用のハードウェアロジックによって実施されてもよいし、サーバ１１１０内にストアされるプログラムが解釈実行されて実施されてもよい。以下では、画像データ取得部１４０２、色変換処理部１４３０、付帯情報付加処理部１４７０は、サーバ１１１０内にストアされるプログラムが解釈実行されて実施されるものとして説明する。補助記憶装置１４２０は、サーバ１１１０に内蔵、あるいは外付けされるハードディスクドライブ等によって構成される。
【０１８９】
付帯情報付加処理部１４７０は、入力機器ＩＤ情報取得部１４０４と、撮影設定情報取得部１４０６と、撮影照明光情報取得部１４０８と、被写体特性情報取得部１４１０と、ボディＩＤ情報取得部１４１２と、レンズＩＤ情報取得部１４１４と、入力プロファイル生成用情報取得部１４１６と、バイアス・トーンカーブ情報取得部１４１８（以上、図１４Ａ）とを有する。付帯情報付加処理部１４７０はさらに、入射角度導出部６１２Ｓと、感度むら導出部６１４Ｓと、フィルタ情報取得部１４３４と、周辺減光導出部６１０Ｓと、入力プロファイル情報生成部６２２Ｓと、データフォーマット処理部６２４Ｓ（以上、図１４Ｂ）とを有する。
【０１９０】
入力プロファイル情報生成部６２２Ｓは、フィルタ特性変化量導出部６１８Ｓと、領域分割処理部６２０Ｓと、総合分光感度特性導出部６２６Ｓと、代表特性情報生成部６２８ＡＳと、補正係数生成部６２８ＢＳと情報集約処理部６２８ＣＳとを有する。
【０１９１】
付帯情報付加処理部１４７０は、撮影装置１００Ａで生成されたマルチバンド画像データに付加されている一次入力プロファイル情報に基づいて二次入力プロファイル情報を生成する。そして、マルチバンド画像データに付加されていた一次入力プロファイル情報に代えて上記二次入力プロファイル情報を付加する処理を行う。入力プロファイル情報生成部６２２Ｓは、第１の実施の形態における撮影装置１００が有している入力プロファイル情報生成部６２２と同様の機能を有していて、上記二次入力プロファイル情報を生成する。
【０１９２】
以上に説明した構成要素中、第１の実施の形態の撮影装置１００が有するものと同じ機能を有する構成要素には、撮影装置１００が有する構成要素に付されたものと同じ符号の末尾に文字Ｓを付してその詳細な説明を省く。例えば、第１の実施の形態中の撮影装置１００が有する領域分割処理部６２０と、第２の実施の形態中のサーバ１１１０の付帯情報付加処理部１４７０が有する領域分割処理部６２０Ｓとは、基本的に同じ機能を有する。符号の末尾に文字Ｓを付した理由は、これらの構成要素が撮影装置１００Ａではなくサーバ１１１０に備えられるものであることを示すためである。
【０１９３】
画像データ取得部１４０２は、クライアント１４０Ａから送出要求のあった画像に対応する、一次入力プロファイル情報付きのオリジナル画像データを補助記憶装置１４２０から読み出して付帯情報付加処理部１４７０に送出する。
【０１９４】
画像データ取得部１４０２から付帯情報付加処理部１４７０に送出されたオリジナル画像データから分離された一次入力プロファイル情報から、入力機器ＩＤ情報取得部１４０４、撮影設定情報取得部１４０６、撮影照明光情報取得部１４０８、被写体特性情報取得部１４１０のそれぞれにおいて後述する情報が取得される。一次入力プロファイル情報が分離されたマルチバンド画像データ（以下の説明では単に「画像データ」と称する）が、色変換処理部１４３０またはデータフォーマット処理部６２４Ｓに出力される。
【０１９５】
上記画像データが色変換処理部１４３０およびデータフォーマット処理部６２４Ｓのうちのいずれに出力されるかは、クライアント１４０Ａから要求される画像のタイプによって異なる。すなわち、サーバ１１１０によって色変換処理がなされた画像データを送出することをクライアント１４０Ａから要求されている場合には、色変換処理部１４３０で色変換処理がなされてクライアント１４０Ａに送出される。この場合、クライアント１４０Ａは、サーバ１１１０で色変換処理がなされた画像をそのまま表示装置１４４やプリンタ１５０等の画像出力機器に出力する。このように、画像データを受け取ったクライアント１４０Ａの側で色変換処理をすることなく画像出力装置に出力可能な画像データを本明細書では「出力用画像データ」と称する。
【０１９６】
入力機器ＩＤ情報取得部１４０４は、オリジナル画像データから分離された一次入力プロファイル情報から入力機器ＩＤ情報を抽出し、ボディＩＤ情報取得部１４１２、レンズＩＤ情報取得部１４１４に送出する。
【０１９７】
撮影設定情報取得部１４０６は、一次入力プロファイル情報に含まれる撮影設定情報を抽出し、入力プロファイル生成用情報取得部１４１６、情報集約処理部６２８ＣＳに送出する。撮影設定情報は、図１３を参照して説明したとおりである。
【０１９８】
撮影照明光情報取得部１４０８は、一次入力プロファイル情報に含まれる撮影照明情報を抽出し、情報集約処理部６２８ＣＳに送出する。被写体特性情報取得部１４１０は、一次入力プロファイル情報に含まれる被写体特性情報を抽出し、情報集約処理部６２８ＣＳに送出する。
【０１９９】
ボディＩＤ情報取得部１４１２は、一次入力プロファイル情報中から抽出したボディＩＤ情報を入力プロファイル生成用情報取得部１４１６に送出する。レンズＩＤ情報取得部１４１４は、一次入力プロファイル情報中から抽出したレンズＩＤ情報を入力プロファイル生成用情報取得部１４１６に送出する。
【０２００】
入力プロファイル生成用情報取得部１４１６は、撮影設定情報取得部１４０６、ボディＩＤ情報取得部１４１２、レンズＩＤ情報取得部１４１４から送出された情報の組み合わせに対応する入力機器情報を補助記憶装置１４２０から読み出す。そして、読み出した入力機器情報をバイアス・トーンカーブ情報取得部１４１８、入射角度導出部６１２Ｓ、フィルタ情報取得部１４３４、感度むら導出部６１４Ｓ、周辺減光導出部６１０Ｓに送出する。
【０２０１】
ところで、補助記憶装置１４２０には、撮影装置１００Ａや撮影レンズ１１０Ａ等を含むさまざまな入力機器を一意に特定可能な入力機器ＩＤ情報と、この入力機器ＩＤ情報に対応する、センサ情報、レンズ情報、フィルタ情報、バイアス・トーンカーブ情報（これらの情報については第１の実施の形態で説明したものと同様であり、第１の実施の形態においては撮影装置１００、撮影レンズ１１０の内部に記憶されていた情報である）が網羅的に蓄積されている。
【０２０２】
情報は、撮影装置１００Ａ、撮影レンズ１１０Ａ等の入力機器のメーカによって提供される。なお、撮影装置１００Ａや撮影レンズ１１０Ａを購入したユーザが、これらの撮影装置１００Ａや撮影レンズ１１０Ａを使用し始めてからある期間が経過したときに各自で、あるいは修理センター等で較正をしてもよい。その較正結果をサーバ１１１０に送出することにより、センサ情報、レンズ情報、フィルタ情報、バイアス・トーンカーブ情報等を適宜更新することが可能となる。
【０２０３】
バイアス・トーンカーブ情報取得部１４１８は、補助記憶装置１４２０から送出された上記情報中からバイアス・トーンカーブ情報を取得し、情報集約処理部６２８ＣＳに送出する。
【０２０４】
入射角度導出部６１２Ｓは、第１の実施の形態における入射角度導出部６１２での処理と同様の処理を行ない、その処理結果を入力プロファイル情報生成部６２２Ｓに出力する。
【０２０５】
フィルタ情報取得部１４３４は、入力プロファイル生成用情報取得部１４１６から送出された入力機器情報中から撮影装置１００Ａに内蔵されるフィルタの情報（フィルタ情報）を取得する。そしてフィルタ情報取得部１４３４は、フィルタ情報を入力プロファイル情報生成部６２２Ｓに出力する。このフィルタ情報は、第１の実施の形態において撮影装置１００のフィルタ情報記憶部６３２に記憶されているものと同様のものである。
【０２０６】
感度むら導出部６１４Ｓは、入力プロファイル生成用情報取得部１４１６から送出された入力機器情報中から撮影装置１００Ａの感度むらに関する情報を抽出し、入力プロファイル情報生成部６２２Ｓに出力する。この感度むらに関する情報は、第１の実施の形態で説明したのと同様、撮像素子、撮像素子から出力される画像信号を処理する処理系、およびシャッタのうち、少なくともいずれかに起因して、撮像素子のイメージエリア上で等価的に生じる分光感度のむらを反映した情報である。
【０２０７】
周辺減光導出部６１０Ｓは、入力プロファイル生成用情報取得部１４１６から送出された入力機器情報中から撮影レンズ１１０Ａの周辺減光特性に関連する情報を抽出し、入力プロファイル情報生成部６２２Ｓ（入力プロファイル情報生成部６２２Ｓ内の補正係数生成部６２８ＢＳ）に出力する。入力プロファイル情報生成部６２２Ｓは、第１の実施の形態で図６Ｂを参照して説明した入力プロファイル情報生成部６２２と同様の処理を行って二次入力プロファイル情報を生成し、データフォーマット処理部６２４Ｓおよび色変換処理部１４３０に出力する。
【０２０８】
クライアント１４０Ａから要求される画像データの出力形態が出力用画像データである場合、色変換処理部１４３０は、画像データに色変換の処理をして出力用画像データを生成する。すなわち、色変換処理部１４３０は、入力プロファイル情報生成部６２２Ｓ内の情報集約処理部６２８ＣＳで生成された二次入力プロファイル情報と、クライアント１４０Ａから送出された出力プロファイルの情報とを用いて画像データに色変換の処理を行い、出力用画像データを生成する。
【０２０９】
一方、クライアント１４０Ａから、二次入力プロファイル情報付きの画像データ送出が要求された場合には、入力プロファイル情報生成部６２２Ｓで二次入力プロファイル情報が生成される。前にも説明したように、二次入力プロファイル情報は、第１の実施の形態で図７Ａを参照して説明したものと同様の情報である。入力プロファイル情報生成部６２２Ｓは、第１の実施の形態の撮影装置１００が有する入力プロファイル情報生成部６２２での処理と同様の処理を経て二次入力プロファイル情報を生成する。
【０２１０】
ところで、クライアント１４０Ａは、同じ入力機器で生成された複数の画像の送出をサーバ１１１０に要求する場合がある。そのとき、撮影レンズ１１０Ａがズームレンズで、上記複数の画像が互いに異なる設定焦点距離に設定されて撮影され、生成されたものである場合がある。そのような場合には、第１の実施の形態で図７Ａ等を参照して説明した、分割領域代表特性情報、代表特性指定情報、領域ごとの分光感度補正係数を含む情報のセットを、撮影レンズ１１０Ａがズームレンズで設定可能な焦点距離に対応して複数用意しておくことができる。
【０２１１】
つまり、第１の実施の形態で図７Ｄを参照して説明したような、分割領域代表特性情報、代表特性指定情報、領域ごとの分光感度補正係数を含む情報のセット７０２−１、７０２−２、…、７０２−ｎを予め生成することができる。ここで、予め生成するとは、クライアント１４０Ａからサーバ１１１０に対して、同じ撮影装置１００Ａおよび撮影レンズ１１０Ａの組み合わせで撮影されて生成された複数の画像データの送出の要求があった場合、サーバ１１１０がクライアント１４０Ａに一連の画像データを送出する前に上記情報のセットを生成する、という意味である。
【０２１２】
クライアント１４０Ａが、サーバ１１１０から送出された画像データに付加されている二次入力プロファイル情報に基づいて色変換処理をすることが可能に構成されるものである場合、クライアント１４０Ａは色変換処理部を有する。この色変換処理部は、第１の実施の形態で図９を参照して説明したものと同じものとすることが可能である。
【０２１３】
図１５は、クライアント１４０Ａによって実行されるマルチバンド画像データ取得処理の手順を説明する概略フローチャートである。クライアント１４０Ａ内の記憶装置内に記憶されるプログラムが読み出され、クライアント１４０Ａ内の処理装置によってこのプログラムが実行されることによりマルチバンド画像データの取得処理が行われる。
【０２１４】
Ｓ１５０２においてクライアント１４０Ａは取得する画像の種別の入力を受け付ける。つまり、サーバ１１１０から送出される画像として出力用画像データを希望するか、あるいは二次入力プロファイル情報付きの画像データを希望するかに応じてクライアント１４０Ａのユーザが行う設定操作を受け付ける。
【０２１５】
Ｓ１５０４においてクライアント１４０Ａは、Ｓ１５０２で受け付けたオペレータの設定操作に基づき、出力用画像データの取得をオペレータは希望しているか否かを判定する。Ｓ１５０４での判定が肯定された場合、クライアント１４０ＡはＳ１５０６において出力用画像データの送出をサーバ１１１０へ要求する。
【０２１６】
Ｓ１５０８においてクライアント１４０Ａは、出力プロファイルをサーバ１１１０へ出力する。この出力プロファイルには、クライアント１４０Ａに含まれる、あるいは接続される画像出力装置の出力プロファイルや、クライアント１４０Ａの存在する環境を照明する照明光（これを観察照明光と称する）の特性に関する情報等を含めることが可能である。Ｓ１５１０においてクライアント１４０Ａは、サーバ１１１０から送出された出力用画像データを受信する。
【０２１７】
Ｓ１５０４での判定が否定された場合、すなわちオペレータは二次入力プロファイル情報付きの画像データの取得を希望していると判定される場合、処理はＳ１５１４に進む。Ｓ１５１４においてクライアント１４０Ａは、二次入力プロファイル情報付きの画像データの送出をサーバ１１１０へ要求する。
【０２１８】
Ｓ１５１６においてクライアント１４０Ａは、二次入力プロファイル情報付きの画像データをサーバ１１１０から受信する。Ｓ１５１８においてクライアント１４０Ａは、サーバ１１１０から送出された画像データに付加される二次入力プロファイル情報と、クライアント１４０Ａ内に記憶される出力プロファイルの情報とを用いて色変換処理を行う。Ｓ１５１８における色変換処理に関しては、第１の実施の形態で図１０Ａ、図１０Ｂを参照して説明したものと同様の処理を行うことが可能である。
【０２１９】
Ｓ１５１２でクライアント１４０Ａは、Ｓ１５１０で受信した出力用画像データまたはＳ１５１８の色変換処理により生成された画像データを、表示装置１４４やプリンタ１５０等の画像出力装置に送信し、マルチバンド画像データ取得処理を完了する。
【０２２０】
図１６は、サーバ１１１０によって実行されるマルチバンド画像データ送出処理の手順を説明する概略フローチャートである。サーバ１１１０内の記憶装置内に記憶されるプログラムが読み出されてサーバ１１１０により実行されることによりマルチバンド画像データの送出処理が行われる。
【０２２１】
Ｓ１６０２においてサーバ１１１０は、クライアント１４０Ａから発せられた画像送出要求を受信する。Ｓ１６０４においてサーバ１１１０は、クライアント１４０Ａから送出を要求された画像データが二次入力プロファイル情報を有しているか否かを判定する。Ｓ１６０４での判定が肯定された場合、すなわちクライアント１４０Ａから送出を要求された画像データが二次入力プロファイル情報を有していると判定された場合、処理はＳ１６０６に進む。
【０２２２】
一方、Ｓ１６０４で、クライアント１４０Ａから送出を要求された画像データが二次入力プロファイル情報を有していないと判定される場合、Ｓ１６２０で二次入力プロファイル情報が生成され、画像データに付加されて、処理はＳ１６０６に進む。Ｓ１６２０における処理は、第１の実施の形態で図８Ａ、図８Ｂを参照して説明した処理と同様のものとすることが可能である。
【０２２３】
ここでＳ１６０４での処理について説明する。クライアント１４０Ａから送出を要求された画像データは、過去に他のクライアントから二次入力プロファイル情報付きの画像データとして送出を要求された可能性がある。そのような場合には、過去に生成された二次入力プロファイル情報を当該の画像データとともに保存することができる。あるいは、撮影装置１００Ａが第１の実施の形態の撮影装置１００と同様の仕様を有するものである場合、サーバ１１１０の補助記憶装置１４２０にオリジナル画像データを蓄積する時点で画像データは二次入力プロファイル情報が付されている。このように、過去に二次入力プロファイル情報が生成された画像データである場合、あるいは図７Ａに示されるような入力プロファイル情報を生成可能な撮影装置で生成された画像データである場合、Ｓ１６０４での判定は肯定される。
【０２２４】
Ｓ１６０６においてサーバ１１１０は、クライアント１４０Ａから要求されている画像データの種別が出力用画像データであるか否かの判定を行う。Ｓ１６０６での判定が肯定された場合、すなわちクライアント１４０Ａから要求されている画像データの種別が出力用画像データである場合、Ｓ１６０８に進む。サーバ１１１０はＳ１６０８において、出力プロファイルの情報をクライアント１４０Ａから受信する。
【０２２５】
Ｓ１６１０においてサーバ１１１０は、色変換処理を行う。この色変換処理は、第１の実施の形態で図１０Ａ、図１０Ｂを参照して説明したような方法で行うことができる。この場合、画像データに付加される（あるいはＳ１６２０で生成された）二次入力プロファイル情報が色変換処理に際して用いられる。すなわち、領域ごとの分光反射率推定マトリクスを用いて入力プロファイルが作成され、領域ごとのマトリクス演算がなされる。
【０２２６】
Ｓ１６１２でサーバ１１１０は、クライアント１４０Ａに画像データを送出し、一連のマルチバンド画像データ送出処理を完了する。
【０２２７】
以上の図１６のフローチャートを参照しての説明では、クライアント１４０Ａから送出を要求された画像データが二次入力プロファイル情報を有していないと判定されたときに二次入力プロファイル情報が生成されるものであった。これに関して、以下のようにすることも可能である。すなわち、画像入力機器で生成されたオリジナル画像データが補助記憶装置１４２０に蓄積される時点で、当該のオリジナル画像データに二次入力プロファイル情報が付加されているか否かを判定することができる。そして、二次入力プロファイル情報が付加されていないと判定されたときに二次入力プロファイル情報を生成する処理をすることが可能である。
【０２２８】
このとき、例えば撮影装置１００Ａと撮影レンズ１１０Ａとの組み合わせによって撮影され、生成された複数のオリジナル画像データが補助記憶装置１４２０に蓄積される場合がある。そのような場合には、第１の実施の形態で図７Ｄを参照して説明したような、分割領域代表特性情報、代表特性指定情報、領域ごとの分光感度補正係数を含む情報のセット７０２−１、７０２−２、…、７０２−ｎを予め生成しておくことができる。ここで予め生成しておくとは、同じ撮影装置１００Ａおよび撮影レンズ１１０Ａの組み合わせで撮影され、生成された、一連の複数の画像データそれぞれに対する二次入力プロファイル情報を生成する前に、予め上記情報のセットを生成する、ということである。このようにすることにより、二次入力プロファイル情報生成の処理を効率化することが可能となる。
【０２２９】
本発明の第２の実施の形態では、以下に説明するような利点を有する。先ず、撮影装置１００Ａが生成する一次入力プロファイル情報は二次入力プロファイル情報に比して情報量が少なく、一次入力プロファイル情報を生成する際の処理負荷も軽減される。したがって、撮影装置１００Ａで連続撮影をする際の連続撮影速度（コマ速）を上げることが可能となる。また、記憶媒体２４０にはより多くのオリジナル画像データを記録することが可能となる。
【０２３０】
さらに、サーバ１１１０からクライアント１４０Ａに入力プロファイル付きの画像データが送出される際、画像データに付加される二次入力プロファイル情報の情報量を、画素のひとつ一つに対応する入力プロファイル情報が付加される場合に比して大幅に減じることが可能となる。したがって、画像データの転送に要する時間を短縮することが可能となる。
【産業上の利用可能性】
【０２３１】
本発明に係るマルチバンド画像の技術は、デジタルスチルカメラ、デジタルムービーカメラ、携帯電話に組み込まれるカメラ等の撮影装置、コンテンツ送出用のサーバ、モニタ表示装置等に接続されて用いられるセットトップボックス、ビデオプレーヤ、ビデオレコーダ等に適用することが可能である。
【符号の説明】
【０２３２】
１００、１００Ａ    撮影装置
１０２    カメラＣＰＵ
１１０、１１０Ａ    撮影レンズ
１１２    レンズＣＰＵ
１４０    情報処理装置
１４０Ａ    第２の情報処理装置（クライアント）
１４２    ＰＣ
１４４    表示装置
１５０    プリンタ
２０６    画像処理部
２１０、２１２    シャッタ
２１４、２１６    光学フィルタ
２１８、２２０    撮像素子
２４０    記憶媒体
６００、６００Ａ、１４７０    付帯情報付加処理部
６０２    レンズ情報取得部
６０４    撮影情報取得部
６０６    被写体特性情報入力部
６０８    撮影照明光情報入力部
６１０、６１０Ｓ    周辺減光導出部
６１２、６１２Ｓ    入射角度導出部
６１４、６１４Ｓ    感度むら導出部
６１６    バイアス・トーン特性抽出部
６１８、６１８Ｓ    フィルタ特性変化量導出部
６２０、６２０Ｓ    領域分割処理部
６２２、６２２Ａ、６２２Ｓ    入力プロファイル情報生成部
６２４、６２４Ｓ    データフォーマット処理部
６２６、６２６Ｓ    総合分光特性導出部
６２８Ａ、６２８ＡＳ    代表特性情報生成部
６２８Ｂ、６２８ＢＳ    補正係数生成部
６２８Ｃ、６２８ＣＳ    情報集約処理部
７００    入力プロファイル情報
７００Ａ    一次入力プロファイル情報
７０２−１、７０２−２    情報のセット
９００    色変換処理部
９１０    入力プロファイル処理部
９１２    トーン補正部
９１４    領域分割部
９１６    領域ごとのマトリクス演算部
９２０    出力プロファイル作用部
９３０    入力プロファイル作成部
９３２    バイアス・トーンカーブ補正情報取得部
９３４    領域分割情報取得部
９３６    領域ごとの分光反射率推定マトリクス作成部
９３８    領域ごとのシステム関数算出部
９４０    領域ごとの分光感度作成部
９４２    撮影照明情報取得部
９５０    画像出力装置
１１１０    第１の情報処理装置（コンテンツサーバ）
１４０２    画像データ取得部
１４０４    入力機器ＩＤ情報取得部
１４０６    撮影設定情報取得部
１４０８    撮影照明光情報取得部
１４１０    被写体特性情報取得部
１４１２    ボディＩＤ情報取得部
１４１４    レンズＩＤ情報取得部
１４１６    入力プロファイル生成用情報取得部
１４１８    バイアス・トーンカーブ情報取得部
１４２０    補助記憶装置
１４３０    色変換処理部
【図１】
2010193380.tif 000005
【図２】
2010193380.tif 000006
【図３】
2010193380.tif 000007
【図４】
2010193380.tif 000008
【図５】
2010193380.tif 000009
【図６Ａ】
2010193380.tif 000010
【図６Ｂ】
2010193380.tif 000011
【図７Ａ】
2010193380.tif 000012
【図７Ｂ】
2010193380.tif 000013
【図７Ｃ】
2010193380.tif 000014
【図７Ｄ】
2010193380.tif 000015
【図８Ａ】
2010193380.tif 000016
【図８Ｂ】
2010193380.tif 000017
【図９】
2010193380.tif 000018
【図１０Ａ】
2010193380.tif 000019
【図１０Ｂ】
2010193380.tif 000020
【図１１】
2010193380.tif 000021
【図１２】
2010193380.tif 000022
【図１３】
2010193380.tif 000023
【図１４Ａ】
2010193380.tif 000024
【図１４Ｂ】
2010193380.tif 000025
【図１５】
2010193380.tif 000026
【図１６】
2010193380.tif 000027