(57)【要約】      （修正有）【課題】簡便で高性能のマルチバンドカメラをフィルタセットの分光感度特性の最適設計手法と具体的実現法と高精度の分光反射率画像取得装置の構成法により実現する。また視覚の射影理論に基づいて，従来のＲＧＢカメラが取り逃がしていたメタメリックブラック成分を抽出する新規なフィルタKの設計論理を提供する。【解決手段】１〜３バンド程度のフィルタＫをＸＹＺフィルタに付加して４〜６バンドのＸＹＺＫフィルタセットを構成することにより，ＸＹＺによる測色的色再現を保証し，かつ被写体の分光反射率の高精度推定が可能なマルチバンドカメラを実現する。またカメラ信号を分光反射率推定アルゴリズムに適用して高精度の分光反射率画像を取得する装置化手段を提供する。【選択図】図４
2010122080.tif 000002
【特許請求の範囲】
【請求項１】
特定の波長帯域を透過するＮ＝４バンド以上の光学フィルタを備え，該フィルタの少なくとも一つは被写体からの反射光の分光スペクトル分布からメタメリックブラックを近似的に抽出するように設計されたフィルタＫを具備したことを特徴とするマルチバンドカメラ。
【請求項２】
前記請求項１のフィルタＫは，視覚空間への射影子（マトリクスＲ）と補完空間を張るメタメリックブラック空間への射影子Ｒk（＝Ｉ−Ｒ）を近似するように設計されたことを特徴とするマルチバンドカメラ。
【請求項３】
前記請求項１の光学フィルタの中の３バンドは，ＲＧＢまたはＸＹＺの測色的三刺激値を抽出する特性を有する３色フィルタからなることを特徴とするマルチバンドカメラ。
【請求項４】
前記請求項３において，Ｎ＝４バンドの場合に適用するフィルタＫは，等エネルギー白色，Ｄ６５，Ｄ５０標準光源など可視波長帯に広く分布する分光エネルギーを有する白色光源のメタメリックブラックの分光スペクトル分布を近似する分光透過特性を具備したことを特徴とするマルチバンドカメラ。
【請求項５】
前記請求項３において，Ｎ＝５バンド以上に適用する光学フィルタの中の３色フィルタを除く残りのＮ−３バンドは，被写体からの反射光の分光スペクトル分布からメタメリックブラックを分担して近似的に抽出するように設計された複数バンドからなるフィルタＫであることを特徴とするマルチバンドカメラ。
【請求項６】
前記請求項１〜請求項５の光学フィルタは回転円板に装着され，ＣＣＤあるいはＣＭＯＳセンサなどを備えた白黒カメラを組み合わせて，時系列に分光画像信号を出力するように構成されたことを特徴とするマルチバンドカメラ。
【請求項７】
前記請求項１〜請求項６のフィルタＫは，インクジェットなどのカラープリント機器を用いて透明媒体に記録された光学フィルタからなることを特徴とするマルチバンドカメラ。
【請求項８】
前記請求項１〜請求項７のマルチバンドカメラの分光画像信号から被写体の分光反射率を推定することを特徴とするマルチバンド画像の分光反射率画像推定方法および装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，測色的三刺激値を取得する３色分解系に，メタメリックブラック成分を抽出する新たなフィルタを加えて多色分解系を構成し，被写体の分光反射率の高精度推定を行うマルチバンドカメラに関する。          
【背景技術】
【０００２】
現在普及している民生用のデジタルカメラやカラ−スキャナの大半は，RGBフィルタを用いて３原色原理に基づく測色的色再現を実現している。外界からの色刺激はN次元の分光反射スペクトル分布として与えられるが，人の視覚系は，凡そ380 nmから730 nmの波長領域に感度をもつLMS錐体の応答として色を知覚している。錐体応答は心理物理量であるRGBあるいはXYZ三刺激値として定量化され，今日まで多くの色彩画像機器は，三刺激値の一致を図る測色的色再現を目標として設計されてきている。しかしながら，測色的色再現は所与の照明光源下での条件等色として成立するもので，照明光源や観察環境が変われば視覚系への分光反射スペクトル分布も変化するので，色の見えはもはや一致しなくなる。このため，照明環境に左右されない色再現を実現するために，被写体の分光反射率を取得する分光画像カメラの開発が進み，美術品や世界遺産の画像および映像のア−カイブ，あるいは医用画像の正確な色彩再現などへの応用が活発に行われている。
【０００３】
分光反射率を計測する分光測色計（スペクトロフォトメ−タ）や分光放射輝度計などの計測器は，波長分解能5 nmあるいは10 nm程度で，最低N=31から最高N=81次元の分光反射率を計測できるが，N次元をn次元に低次元化したマルチバンドカメラでもn=16 バンド(次元) 程度あれば，簡単な内挿補間によって実用的な精度の分光反射率画像を取得できる。しかし，低価格化のために，n=4〜8バンド程度の低次元信号から，高次元の分光反射率を推定するアルゴリズムの開発が盛んであり，これを備えたマルチバンド画像のスペクトル推定システムが用いられる。このマルチバンド画像のスペクトル推定システムは，一般に被写体を撮影する際に，波長帯域が異なる少なくとも４バンド以上の各チャンネルに対応して被写体の反射光を選択的に透過する波長帯域通過フィルタと，透過光を受光して，複数のバンドの分光画像をマルチバンド画像として取得するCCDカメラと，このマルチバンド画像から被写体の分光反射率スペクトルを推定するアルゴリズムを記述したプログラムとこのプログラムを実行する分光反射率推定装置とから構成される。
【０００４】
一般的なマルチバンドカメラは，モノクロCCDカメラの前面に特定波長帯域を選択的に透過する光学フィルタを装着して撮像する。この波長帯域透過フィルタとCCDカメラの組み合わせによるマルチバンド画像の取得法には，さまざまな構成が考えられる。可視波長帯域を等分割したn枚の帯域通過フィルタをn台のモノクロCCDカメラ個々に装着すれば，同時並列式に短時間でnバンドの画像が得られ，動画像の撮像に向くが，バンド数が多くなると大掛かりかつ高価となる。１台のモノクロCCDカメラを用いて，各バンドのフィルタを一枚毎に交換して時系列に撮像する方法は，最も簡便・安価であるが，全バンドの取得に時間を要する。
最も代表的な例は，［非特許文献１］に見られ，1999〜2005年度の期間，通信・放送機構の直轄研究，さらに独立行政法人情報通信研究機構の拠点研究として実施されたナチュラルビジョンプロジェクトに使用された。図１のように，１台のモノクロCCDカメラの前面に，16枚の狭帯域多層膜干渉フィルタを埋め込んだ回転フィルタを設け，時系列に16バンドの分光画像を得ている。回転フィルタ式は同時式に比べ低速となるが，１回転でnチャネルを取得できる。しかし多層膜干渉フィルタは高価であり，装置が複雑となる欠点がある。また動画用には，２台の3バンドHDTVカメラと特殊な干渉フィルタを組み合わせて，6チャネルのマルチバンドカメラを構成している。
［非特許文献２］には，図２のような，比較的安価な色ガラスフィルタに赤外カットフィルタを組み合わせた６バンドの回転フィルタが提案されているが，各バンドのフィルタの帯域幅および分光感度特性は明らかに不揃いであり，設計指針も不明確である。
さらに［非特許文献３］には，RGBカラ−CCDカメラと付加フィルタの組み合わせによるマルチバンド画像の取得法が記載されている。まず付加フィルタなしで
R，G，およびBの３バンド画像を撮像し，次に付加フィルタFを通して FR，FG，およびFBの新たな３バンドを得る。モノクロCCDカメラを用いる場合に比べて，１枚の付加フィルタで６バンド，n枚の付加フィルタを用いれば，3n＋3バンドに相当するマルチバンド画像が得られる利点がある。ただし付加フィルタとRGBフィルタの分光透過率の積により生成される新たなフィルタの分光感度特性が，相互に一次独立である必要があり，かつ可視の波長域を適切に分割する帯域通過特性をもつ付加フィルタの選択が重要である。
［特許文献１］には，フィルタを切り替える代わりに二種類の異なる照明光源を用いてRGBカラ−CCDカメラで二度撮像し，６バンド画像を取得する方法が開示されている。この方法においても，RGBフィルタと照明光源の分光放射スペクトル分布との積による総合分光感度特性が適切な形状をもつことが重要であるが，上記いずれの方法においても，フィルタの分光感度特性の理論的設計基準あるいは最適化手法は明確にされていない。
【非特許文献１】通信・放送機構 「平成１２年度ナチュラルビジョン（次世代映像表示伝送システム）の研究開発プロジェクト研究開発報告書」通信・放送機構（2001）
【非特許文献２】F. H. Imai, L. A. Taplin, E. A. Day：「Comparisonof the accuracy of various transformations from multi-bandImages to reflectance spectra」，MCSLTechnical Report （2002）, www.art-si.org
【非特許文献３】F. H. Imai, R. S. Berns and Di-Y. Tzeng：「A Comparative Analysis of Spectral Reflectance Estimated inVarious Spaces Using a Trichromatic Camera System」，Journal ofImaging Science and Technology 44，pp.280-287（2000）
【特許文献１】特願2004−278061  特開2006−090897
【０００５】
以上の各方式ともに，最終的に得られるnバンドの各帯域の分光感度特性から決定されるnチャネルの低次元分光画像信号から，各画素のN次元(N > n)の分光反射率スペクトルの推定が行われるが，推定精度はnバンドの各帯域の分光感度特性の良否に左右される。従来のカラ−カメラのRGBフィルタの分光感度特性に関しては，測色的三刺激値を取得するためにはル−タ条件（Luther
Condition），すなわちRGB分光感度特性がCIE等色関数の線形変換を満たすべきである，という明確な設計指針があったが。これに対し従来のマルチバンド画像システムでは，各バンドの分光感度特性の最適設計理論は確立されていない。［特許文献２］には，６種類のカラ−フィルタを通して被写体を撮影してマルチバンド画像を取得する際に，各カラ−フィルタの分光透過率特性をガウス分布で近似し，その標準偏差を10nmから30nmまでの範囲内に設定し，各カラ−フィルタのピ−ク波長を，400nmから700nmまでの可視波長域を等間隔に分割する各波長に対し，それぞれ中心波長の前後15nmの範囲内に設定する，という分光設計指針が記載されている。しかし，この指針は単に可視波長域を均等分割し，各バンドの中心となるピ−ク波長とバンドの半値幅を与える標準偏差の許容範囲を規定しただけの設計目標に過ぎず，ル−タ条件のような分光感度特性の関数形状に関する理論的な最適設計の指針を明示したものではない。
従来のマルチバンド分光画像取得システムの多くは，［特許文献２］と同様に可視波長域の均等に分割するフィルタ群の選択を意図しており，誘電体多層膜干渉フィルタを用いれば中心波長と半値幅を設計仕様とできるが，製作コストが掛るため，安価な色ガラスフィルタやラッテンフィルタで代用する例も多い。一般的に，分光感度特性の最適設計理論はないものの，与えられたフィルタセットに対して，たとえば主成分分析法やウィ−ナ推定を適用した場合の推定精度は，真の分光反射率スペクトル分布と推定結果とのスペクトルのrms（root mean square）誤差から評価することができ，いずれのフィルタセットが推定アルゴリズムに対して最良かの判断は可能である。現状では分光反射率が既知のマクベス色票やIT8標準色票，SOCS標準分光デ−タベ−スなどを用いた評価実験により推定誤差の小さい実用的なフィルタセットを選択することが実践的とされる。
【特許文献２】特願2006−108039  特開2007−278950
【０００６】
マルチバンドカメラによる分光画像は様々な照明環境での忠実な色再現に活用されているが，バンド数の多い高次元カメラは高価なため，低次元からの分光推定法が研究されてきた。主成分分析法やウィ−ナ推定法は，低次の基底による分光反射率の近似に有効である。［非特許文献４］には，主成分分析法によりアクリル絵の具の分光反射率をn=3 〜10次の固有ベクトルで近似した結果，n=7バンド程度を用いれば，高精度の分光反射率推定が可能であった，と報告している。また［非特許文献５］には，分光反射率を確率変数として扱い，ガウス確率密度関数を導入して，ウィ−ナ推定法を適用したマルチバンドカメラからの分光反射率推定法が解説されている。
【非特許文献４】A. G. Beltra, et al：「Linear Basesfor Spectral Reflectance Functions of Acrylic Paints」，Color Research andApplication, 23, 1, pp.39-45（1998）
【非特許文献５】村上百合:「分光反射率の推定理論」，日本写真学会誌，65巻，4号，pp．234−239（2002）
【０００７】
ウィ−ナ推定法は，信号と雑音の統計量が既知の場合に，平均二乗誤差を最小とする信号推定理論としてよく知られているが，分光スペクトルの推定に適用する場合には，真のN次元分光スペクトルCに対する推定値Cestとの平均二乗誤差ｅ2は
【数１】
2010122080.tif 000003
で与えられる。
ここで，マルチバンドフィルタの分光感度特性をSとするとき，Sからのnチャネルのセンサ信号Qを用いてｅ2を最小とする推定解は
【数２】
2010122080.tif 000004
で記述される。
ウィ−ナ推定法では，バイアス項bはウィ−ナ推定行列が適切な場合にはほぼ零と見なせるので省略されることが多く，また雑音分散Reeは信号対雑音比が計測されていれば，雑音電力スペクトルとしての推定値を常数値として設定できるが，Ｓ／Ｎ（信号対雑音）比が大きいセンシング系では無視しても実用上は差し支えない。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従来のマルチバンド画像取得システムに対して，本発明が解決しようとする課題は
次の二点に絞られる。
［A］ フィルタセットの分光感度設計に関する最適化基準の明確化
［B］ ノンパラメトリック（標本採取によるパラメ−タ学習なし）な高精度推定法
課題［A］は，数学的な最適化理論の下に実現可能な解を得ることが望ましく，当然ながらフィルタセットの分光感度は全波長域に亘り正値をとる
（positivity） 条件や物理的に製作可能であること，などを満たす必要がある。
さらに，従来の主成分分析やウィ−ナ推定法では，高精度の推定を行うために，予め分光反射率が既知の色票などの標本を採取し，統計的パラメ−タを学習するパラメトリックな手法で，固有値と固有ベクトルによる最適な基底関数展開により実際の分光反射率スペクトルを近似するのが主流となっている。パラメトリックな推定法は，学習した標本と類似の統計的パラメ−タをもつ対象には適合性に優れるが，面倒な標本採取を伴う上に，未学習の未知の対象に対しては常に高精度が得られるとは限らない。しかし，パラメトリックな最適推定法の一つとして，バンド数nが指定され，推定対象の統計的パラメ−タ（分光反射率スペクトルの平均ベクトルや共分散行列など）が既知であって，フィルタの分光感度特性を制約なしで自由に選べる場合には，特異値分解（SVD：Singular Value Decomposition）を用いることにより，理論的な最適解としての基底関数を得ることができ，応用目的によっては非常に有効な手法である。
一方，課題［B］は面倒かつ非能率的な標本の学習過程を省いて，未知の対象に対しても簡便かつ安定に近似解を得ることに狙いがあり，成功すれば実用性が高い。しかし原理的にはパラメトリックな推定法を超えることは難しく，上記のSVDによる推定精度が一つの理論目標となるが，現実的には，パラメトリックなウィ−ナ推定解に対抗できるノンパラメトリックなウィ−ナ推定法を見出すことが有効なアプロ−チと考えられる。
【課題を解決するための手段】
【０００９】
そこで本発明は，上記課題を解決すべく，まず課題［A］に関する分光感度設計の根拠となる数学的理論モデルを提示し，具体的なフィルタの分光感度特性を設計する。
数学的理論モデルとしては，視覚系のメタメリズム理論，すなわち，N次元の分光スペクトル空間から３次元の視覚空間への射影理論を基に，n=3+m（mは付加バンド数）
バンドのフィルタの分光感度特性の最適近似解に応用する。
次に課題［B］に関しては，ノンパラメトリックな推定法としては一般化逆行列解や平滑化擬似逆行列解が知られているが，本発明では，課題［A］の解決結果を，さらに高精度が期待されるノンパラメトリックなウィ−ナ推定法に適用して，実用的な推定精度を得ることを目的とする。実際に設計したフィルタの分光感度特性を適用した場合の推定誤差をパラメトリックなウィ−ナ推定法との比較の下に実験評価し，かつ理論目標であるSVDとの推定精度のギャップについても考察し，本発明の有効性を検証する。
【００１０】
［非特許文献６］には，視覚系のメタメリズムに関する数学的解釈を与えたマトリクスＲ理論が述べられている。
【非特許文献６】J. B.Cohen：「Color and Color Mixture, Scalar and Vector Fundamentals」，                ColorResearch and Application，13， 1，pp．5−39（1988）この理論によれば，視覚系への入力であるN次元の分光スペクトル刺激Cは
【数３】
2010122080.tif 000005
のように，２つの分光成分，C＊とBに分解される。
マトリクスR は視覚空間への射影子を表し
【数４】
2010122080.tif 000006
で与えられ，AはCIE 1931 xyz等色関数からなる等色行列
【数５】
2010122080.tif 000007
を表す。ここで，N次元の分光スペクトル刺激Cのうち，人の視覚系が目に見える成分として感知するのは3次元の基本分光成分C* (Fundamentalと呼ぶ)であって，N-3次元の残差成分B (Metameric Blackと呼ぶ) は目に見えない分光成分として破棄されている。
視覚系がLMS錐体の応答として受容する三刺激値T=[X. Y，Z]t は実はFundamental C*が担っており，メタメリックブラック成分の三刺激値TBはTB=AtB=0（零）である。したがって，同じ三刺激値Tを与える分光スペクトル刺激C（メタマ−）は無数に存在する。すなわち，マトリクスR理論は人の視覚の特徴であるメタメリズムの数学的基盤を記述したもので，メタマ−とはC* が同じでB が異なる分光刺激Cの組をいう。
ここで，本発明はC*とTとの唯一無二の関係に注目する。すなわち，いかなる分光スペクトル刺激Cも，唯一無二の三刺激値T を担うのはC*であり，したがってTを与えればFundamental C*を一般化逆行列Pinvによって再生することができ，この関係は
【数６】
2010122080.tif 000008
で表せる。
【００１１】
そこで，本発明では，目的とする被写体の分光反射率スペクトルの推定に当り，まず視覚系にとって有意な分光情報であるFundamental C*の取得を前提とする。［数６］より，このC*は測色的三刺激値Tを担っているので，たとえば，ル−タ条件を満たすsRGB規格の３色カメラのRGBフィルタを備えて， RGB/XYZ変換によって測色的三刺激値XYZを得れば，分光的には暗にC*を抽出していることになる。
一方，メタメリックブラックB は，視覚系にとっては不可視情報であり不要と考えられるが，分光反射率rをもつ被写体からのカメラへの分光反射スペクトル入力Cは
【数７】
2010122080.tif 000009
と表せ，照明光源Eによって変化する。したがって分光反射率rはBを含めたCから推定しなければならない。異なる照明環境での正確な色の見えの再現には，当然メタメリックブラックBの推定が重要な意味をもつ。
【００１２】
本発明の最重要点は，RGB/XYZフィルタを備えた従来の３色カメラにより暗に検出されているFundamental C*に加えて，メタメリックブラックBを検出するフィルタKを付加することにある。所与の照明光源Eの下での(XYZ+K)フィルタセットからの低次元色信号を用いて，ウィ−ナ推定法などにより，分光スペクトル入力Cの推定値Cestを求めれば，［数７］から照明光源Eを除去した
【数８】
2010122080.tif 000010
により，最終的な被写体の分光反射率の推定値restを得る。推定値restは照明光の影響を除いた被写体固有の分光反射率を反映しているので，他の異なる照明光源下での画像の色の見えの予測が可能となり正確な色の見えの再現に供することができる。
さて，マトリクスR理論によれば，メタメリックブラックBは
【数９】
2010122080.tif 000011
で記述され，カメラ入力CにマトリクスRに直交する射影子RKを操作して得られる。しかし，RKはN−3次元の自由度をもつため，正確に復元するには，N−3チャネルのフィルタを必要とする。すなわち，本発明の付加フィルタKの次元は，最低1から最大N-3までを意味するが，N-3バンドもの高次元は非現実的である。できるだけ次元数を減らして，XYZの３バンドを含めてもn=4〜6程度で近似することが望ましい。
本発明が従来法と決定的に異なる主張点は，視覚系にとって必須の分光情報であるFundamental C* をXYZ フィルタによって確保し，その上で視覚系が取逃がしていたメタメリックブラックBを付加フィルタKによって救済することにあり，フィルタKがもつべき分光感度特性は，視覚系の射影理論から数学的にモデル化できる点にある。すなわち従来手法では不明確であった，課題［A］のフィルタ形状の最適化設計基準を明確化した点にある。フィルタKの具体的な実現法については後述の［実施例］に詳細を示すことにする。
【００１３】
次に課題［B］のノンパラメトリックな推定法は，［非特許文献７］で公知であり，上記の(XYZ+K)フィルタからの光電変換信号の組XYZKを適用すれば容易に推定解を得ることができる。本発明においても，一般化逆行列解や平滑化擬似逆行列解に比べて高精度が期待されるノンパラメトリックなウィ−ナ推定法が有効と考えられるが，その適用に当たっては，従来，色見本などの標本採取によって学習していた共分散行列RCCを数学的にモデル化して学習なしで適用する必要がある。RCCのノンパラメトリックなモデルとしては，単純マルコフ過程モデルが簡便かつ実用的である。［非特許文献８］には，ノンパラメトリックなウィ−ナ推定法をカラ−スキャナの分光感度特性の間接的推定に応用した事例が報告されている。自然界の被写体からの分光反射スペクトルは緩やかな分布形状をもつものが多く，分光スペクトル入力Cの隣接波長成分間には，相関係数ρで連結した単純マルコフ過程を仮定でき，共分散行列RCCは次式でモデル化される。
【数１０】
2010122080.tif 000012
相関係数ρは推定対象により適正値が異なるが，凡そρ=0.9前後に設定すればよい。このRCCを前述の［数２］に代入すれば，ノンパラメトリックなウィ−ナ推定解となる。
【非特許文献７】C. E. Mancill：「DigitalColor Restoration」，USCIPI (Image Processing Institute, SouthernCalifornia University) Technical Report, Aug.（1975）
【非特許文献８】小寺宏曄：「カラ−スキャナの分光特性の間接的推定と測色的評価」， テレビジョン学会誌，41, 3,pp.264-269（1987）
【発明の効果】
【００１４】
本発明は，視覚系が抽出している基本分光成分（Fundamental C*）を第一義に考え，これをXYZフィルタによって優先的に確保した上で，残差成分であるメタメリックブラックの回復を図る，という論理の下にマルチバンドフィルタの分光感度設計を行う。その結果
［1］ XYZフィルタがル−タ条件を満足していれば，理論的に測色的誤差を生じない。
［2］ XYZ信号のみを用いれば従来の３色カメラとの互換性がある。
［3］ XYZ+K信号をノンパラメトリックな分光推定法に適用すれば，教師なし（標本学習なし）で高精度の分光反射率画像を取得できる。
などの従来法にない実用的な効果を生み出すものである。上記［3］の高精度化の効果については，後述の［実施例］で明らかにする。
【発明を実施するための最良の形態】
【００１５】
本発明の目的は，低次元のマルチバンド画像信号から高次元の分光反射率画像を経済的，効率的，かつ高精度で推定するシステムの提供にある。最良の形態の一つは，流通しているRGB/XYZカメラ系に，１枚のフィルタKのみの追加による４バンド（n=4）で実用に供し得る分光反射率画像推定システムを構成することにある。
【００１６】
最良の形態の二つ目は，４バンド以上（n > 4）のさらに高精度が要求される用途に対して，メタメリックブラック成分の推定誤差を最小とするように，複数（n-3）枚からなるフィルタKのセットを構成することである。これは射影子RKを，n-3枚のフィルタKに合理的に分担させるように分割して近似することにより実現できるものと考えられる。
【実施例１】
【００１７】
以下，本発明のマルチバンド画像システムへの適用と分光反射率画像の推定方法について，具体的実施例を基に詳細に説明する。
図４は，本発明によるマルチバンド画像取得システムの全体構成の一実施例である。
被写体からのカメラへの反射光入力41は，回転フィルタ盤42を通して各バンドの波長帯域透過光44に分光される。該回転フィルタ盤42には，マルチバンドの各波長帯域通過フィルタが中心から同一半径距離に装着されている。本実施例は最も簡便な４バンドの場合を例示したもので，ル−タ条件を満たすように設計された三色分解フィルタ(R, G, B) に加えて，43の第４のフィルタKが取り付けられている。該フィルタ盤の回転に従い，４バンドのフィルタ(R, G, B, K)のいずれか一つを順次通過した波長帯域透過光44は，モノクロCCDカメラ45によって分光画像信号46に変換され，ケ−ブルで接続された画像信号処理装置47  に転送される。48は画像信号処理装置47に内蔵された分光反射率画像推定プログラムを示し，本実施例ではウィーナ推定アルゴリズムを実行して，結果を分光反射率画像データ49として外部に出力する。
【００１８】
図５に，本発明におけるフィルタKの具体的設計法の一例を図解する。
本発明における最も重要な構成要素は，新規なフィルタKにあり，これをマルチバンドに導入した点に独自性を有する。フィルタKは，従来，理論的根拠が希薄であった分光感度特性を視覚系の射影理論に基づき合理的に設計することが可能で，視覚系が取逃がしていたメタメリックブラックを救済することを意図している。
メタメリックブラックBは，［数９］に示したように，カメラ入力Cに射影子RKを操作して得られるので，フィルタKは射影子RKそのものを分光感度特性とするもので，厳密にBを復元するには N-3
次元の高次の２次元フィルタバンクを必要とする。可視波長域の380nm〜730nmを10nmの分解能で計測する分光測色計の場合には，N-3=33次元を要することになり非現実的である。
本発明の工夫は，N-3次元を1〜3程度の低次元で合理的に近似する点にあり，XYZ+Kのフィルタセットをn=4〜6の低次元マルチバンドで構成することを目的としている。以下では，フィルタKを最低限の１枚で近似し，n=4バンドで分光反射率画像を推定する場合の実施例を詳述する。数学的には僅か１チャネルでは無論正確な復元は望めないが，射影子RKの機能を集約するように近似を試みた。RKはRに直交するメタメリックブラック空間へのn行n列の射影子であり，以下の構造的特徴に着目する。
［a］マトリクスRKの各j行（または列）ベクトルは，波長λj の単色光のメタメリックブラック成分Bj からなり，次式で表せる。
【数１１】
2010122080.tif 000013
［b］メタメリックブラックBは
【数１２】
2010122080.tif 000014
のように，カメラ入力Cと単色光のメタメリックブラック成分Bj との内積に書き換えられる。このことは，正確なメタメリックブラックBは，入力CにマトリクスRKのjk 要素Bj(λk)を係数とする光学的２次元フィルタを掛けて得られることを意味する。
ここでは，［数１２］を思い切りよく次式
【数１３】
2010122080.tif 000015
【数１４】
2010122080.tif 000016
を用いて近似する。
［数１３］は，行ベクトルK を重み係数とする入力C の荷重和 （内積）を意味する。
［数１４］のK の要素 Kj は，マトリクスRKの各行（または列）ベクトルBjの要素のスカラ−和を表し，n行n列 の２次元射影子RKは1×n の１次元フィルタKに凝縮される。つまり２次元行列RKを行（または列）方向に積分投影して1次元に圧縮することを意味する。
図５の51は，この積分投影による，射影子RKの1次元フィルタKへの圧縮近似法を示す。
【００１９】
１次元フィルタKは上記のように，全ての波長λj の単色光のメタメリックブラックBjを等しく積算したものであるから，実は等エネルギ−白色EEのメタメリックブラックBEEに等しい。
実際，C= EEとおけば，［数１２］は［数１５］に帰着する。
【数１５】
2010122080.tif 000017
マトリクスRと射影子RKは直交関係にあるので，等エネルギ−白色EEの基本分光成分(Fundamental)であるCEE* とメタメリックブラックBEEは，補完（Complement）の関係にある。白色光源EEは全ての単色光を等しく含むので，分光感度ベクトルK =BEE は，全ての単色光のメタメリックブラックを反映している。フィルタKはこのBEEを分光感度特性とするものである。
図５の52は以上のフィルタKの理論的成り立ちを図解したものである。フィルタKは，各単色光のメタメリックブラックを入力Cの各波長成分で荷重することにより，第一近似でBを検出する作用をもつもので，従来の概念とは根本的に異なる設計思想に基づいている。
【００２０】
しかしながら，メタメリックブラックBEEは負の応答を含むので，これをフィルタKとして物理的に実現することはできない。そこで，XYZKフィルタの分光感度を独立な関数の４次元行列と考えれば，任意の線形変換を加えても基本特性に変わりはない。線形変換後のXYZKフィルタ関数を，一般化逆行列解やウィ−ナ推定解に適用しても，分光反射率の推定解は何らの影響も受けないことは，線形数学理論で自明である。
フィルタKの正値性（positivity）を保証する最も簡単な線形変換は，メタメリックブラックBEEの分光応答関数bEE(λ)に適当な正の一定値をバイアスとして加え，オフセットをもたせることで実現できる。フィルタKの分光感度特性をk(λ)とすれば，BEEは照明光や被写体に無関係な不変量であるので，
【数１６】
2010122080.tif 000018
のように，bEE(λ)の最小値を減ずるオフセットを与えれば，可視波長域全域でk(λ) を正値とできる。図５の53は，正値性を保証したフィルタKの規格化された分光感度特性k(λ) を示す。このk(λ)をXYZフィルタの分光感度特性を表す1931 CIE xyz等色関数と併せれば，図５の54に示すような最も簡素な４バンドのXYZKフィルタセットが構成される。
【実施例２】
【００２１】
フィルタKの正値性を保証する線形変換は，メタメリックブラックBEE の分光応答関数bEE(λ)とXYZフィルタの分光感度特性であるCIE 1931 xyz等色関数との線形結合によっても実現することができる。たとえば，［数１６］の替わりに
【数１７】
2010122080.tif 000019
を用いれば，可視波長域全域でk(λ)の正値性が保証される．
図６の61に，この場合のフィルタKの規格化された分光感度特性k(λ)を，また図６の62にXYZフィルタと併せた４バンドのXYZKフィルタ系の分光感度特性を例示する。
【実施例３】
【００２２】
次に，本発明の４バンドのXYZKフィルタ系を分光反射率画像の推定アルゴリズムに適用した場合の実施例について説明する。
４バンドのXYZK色分解系の分光感度は
【数１８】
2010122080.tif 000020
で表され，分光スペクトル入力Cに対する4色信号Qは，雑音を無視すれば
【数１９】
2010122080.tif 000021
とかける。
目的は4次元信号Qから，入力であるN次元の分光分布Cを逆推定することにあり，次の教師なし解法に適用して，その効果を実験検証した。
［A］一般化逆行列（擬似逆行列）解
［B］平滑化擬似逆行列解
［C］教師なしウィ−ナ推定解
【００２３】
雑音を無視できるとして，Cのノルム（エネルギ−）
【数２０】
2010122080.tif 000022
を最小とする推定解は，線形代数理論により，擬似逆行列Pinvを用いて次式で表せる。
【数２１】
2010122080.tif 000023
この一般化逆行列解は広く利用される手法で，標本の学習や拘束条件を必要とせず安直に得られるが，安定性に問題がある。
【００２４】
自然界の色の分光分布は緩やかで滑らかな形状が多く，そのような対象には，平滑性の拘束条件を加味したノルム最小解法が知られおり，［非特許文献６］などで公知である。
分光分布Cの滑らかさを拘束する平滑化行列N
【数２２】
2010122080.tif 000024
を導入して，Nの下でのCのノルム最小解をLagrangeの未定係数法で求めれば
【数２３】
2010122080.tif 000025
の平滑化擬似逆行列解が得られる。
ただし，平滑化行列N は非正則（singular）の特異行列のため，［数２３］のN−１に直接これを用いることはできない。N が特異行列となるのは，２次差分演算子Dが完全な零和条件を満たしていることに起因する。
そこで，実際上は行列Nに微小な擾乱を与えて
【数２４】
2010122080.tif 000026
とすれば正則行列として扱え，［数２２］を計算できる。
【００２５】
［数２］に示したウィ−ナ推定法の共分散行列RCCに［数１０］のモデルを用い，雑音を無視すれば，標本の学習を要しない教師なしのウィ−ナ推定解
【数２５】
2010122080.tif 000027
が得られる。バイアス項bは無視しても推定誤差への影響は小さいが，平均ベクトルmCを白色照明光の分光エネルギ−分布の凡そ1/3程度と見積もり，mC 値として0.3近傍を用いれば良好な結果が得られる。
教師なしのウィ−ナ推定解の精度は，共分散行列RCCのモデルと実測との差異に左右される。
図７は，IT8／7.2 標準色票（264色），インクジェット色票 （1331色），およびJISのSOCS標準分光デ−タベ−ス中のアクリル絵の具色票（50色）について，実測によるRCCと［数１０］のモデルとの比較を示す。マルコフモデルで仮定した隣接波長成分間の相関は，実測でも観察されるが，この差異がウィ−ナ推定における教師（標本学習）の有無の有意差に現れる。
以上の［数２１］，［数２３］および［数２５］に示した計算式は公知であるが，分光反射率スペクトルの推定精度は，これらの計算式に適用されるマルチバンドフィルタの分光感度行列S，およびSからの4次元信号Qの質によって決まる。
図８は［数２１］，［数２３］および［数２５］の推定解のコアとなる推定行列Pinv，SinvおよびWinvの関数形を比較したものである。これらの推定行列が低次元の４次元信号Qからいかに高次(N次元)の入力スペクトルCを精度よく逆推定するかを握っている。
そこで，本発明のXYZKフィルタによる４次元信号Qの適用効果を評価するために，IT8/7.2標準色票(264色)，インクジェット色票(1331色)，およびSOCS標準分光デ−タベ−スの中のアクリル絵の具色票(50色)を用いて，分光反射率スペクトルの推定実験を行ったところ，十分実用に耐える良好な結果を得た。以下に評価結果を実施例で示す。
【実施例４】
【００２６】
［表１］は，上記３種のテスト色票について，本発明のXYZKフィルタを適用した分光反射率スペクトルの推定実験を行い，rms（root mean square）
誤差をまとめたものである。
【表１】
2010122080.tif 000028
推定誤差は，［一般化逆行列 ＞ 平滑化擬似逆行列 ＞ 教師なしウィ−ナ推定 ＞ 教師ありウィ−ナ推定］の順に改善された。IT8に比べると，インクジェット色票およびSOCSのアクリル絵の具の推定精度は劣ったが，写真感材によるIT8色票の緩やかな分光分布形状に対し，変化が激しい形状をもつことや共分散行列RCCのモデルと実測の不一致等に起因するものと推察される。
比較のために，同じ次元数 （n=4）での特異値分解 （SVD）の結果を掲げたが，SVDは対象色票の固有値解析に基づく基底関数の組で統計的に最良の近似を行うもので，理想的な到達目標であるが，現実的なフィルタとして実装可能な解とはならない。ここで本発明の評価尺度となるのは，XYZKフィルタによる教師ありウィ−ナ推定がこのSVDの到達目標にいかに近づくかにある。［表１］によれば，色票を100％（全数）学習した場合のウィ−ナ推定のrms誤差が，SVDのそれに極めて近いことが示される。20％程度の学習でも，ほとんど遜色ない高精度が得られている。これは，本発明のマルチバンドフィルタが理論的かつ合理的に設計されていることを裏付ける確証を与えるものといえる。
また，教師なしウィ−ナ推定のrms誤差は，教師ありに比べて，IT8色票では２倍弱，インクジェット色票およびSOCS色票の例では２倍強に止まっている。  標本学習の有無による優劣は否めないが，数値的な精度としては十分実用に耐える誤差の範囲にあるといえる。さらに，本発明のXYZKフィルタは理論的に測色的三刺激値の推定誤差を生じることはなく，［表１］の実験結果においても，CIELABでの平均色差は，ΔEab* <0.01となっており，これは数値計算での若干の丸め誤差によるもので全く問題にならない。これに対してn=4次のSVDでは，［表１］の最下段に掲げるように，高品位の測色的色再現にとっては許容できないΔEab*=2.5〜６程度の平均色差が生じている。すなわち，測色的色再現に関しては本発明がSVDに勝り，測色的色再現と分光的色再現を両立させる優れた特性を有することが実証された。
【００２７】
図９は，以上の評価実験における実際の色票の個々の分光反射率スペクトルの推定誤差を検証した結果の一例である。本実施例は最も実用的な教師なしのウィーナ推定を上記の３種の実際の色票に適用したもので，分光測色計による実測の分光反射率スペクトル分布（実線）と推定結果（点線）との可視波長域における誤差を表示している。分光反射率分布の形状の異なる代表的なサンプルについて，最も簡便なn=4バンドのフィルタセットを用いても，本発明が十分に実用的な推定精度をもつことが明らかである。
【実施例５】
【００２８】
さらに図１０は，フィルタKを複数枚で構成し，５バンド以上で分光画像を取得し，メタメリックブラックの抽出性能を向上して，さらに高精度の分光反射率推定を可能とする他の実施例を示す。本実施例は［実施例１］の４バンドを６バンドに拡張した場合について，フィルタセットの主要部を例示している。被写体からのカメラへの反射光入力101は，回転フィルタ盤102を通して各バンドの波長帯域透過光104に分光される。回転フィルタ盤102には，ル−タ条件を満たすように設計された
三色分解フィルタ(R, G, B) に加えて，３枚で構成したフィルタK のセット103が取り付けられている。該フィルタ盤の回転に従い，6バンドフィルタ(R,
G, B, K1, K2, K3)のいずれか一つを順次通過した波長帯域透過光104は，モノクロCCDカメラ105によって分光画像信号106に変換され，外部システムに出力される。３枚のフィルタ(K1, K2, K3)は，射影子RK の２次元行列を行または列方向に３分割して，１次元のフィルタKの構成理論と同様に，各分割した複数行（または列）の要素を積算して，それぞれをn×1からなる３枚の１次元のフィルタのセット(K1, K2, K3)を構成し，３枚併せてRK の分光感度特性を近似するよう分担させる。射影子RK の３分割法としては，様々な組み合わせ法が考えられるが，フィルタKを１枚に集約するよりも，メタメリックブラックの検出精度は確実に向上するので，6バンドフィルタセットからの６次元信号Q=[X, Y, Z, K1, K2, K3]tをウィーナ推定法に適用することにより，従来の６バンドカメラよりも高性能の分光反射率画像の取得を可能とするものである。
【００２９】
本発明の実施に当たっては，以上のいずれの実施例においても，設計されたフィルタKの分光感度特性をもつ光学フィルタの製作が問題となる。具体的には，波長に対する分光透過率を設計できる可変透過率の蒸着膜フィルタや，プリズムあるいは回折格子を透過した被写体からの分光反射スペクトルの波長方向に沿って透過率分布が上記のフィルタKに等しくなるよう露光量を変えて記録した銀塩フィルムを重ねた光学系としても実現できる。しかしこれらは複雑高価となるので、さらに安価な手段としては，透明フィルム上にカラーインクジェットプリンタなどで(C, M, Y)インク量を調整して色票を記録し，分光透過率分布が上記実施例のいずれかのフィルタKの分光感度を近似するCMYインクジェット透明色票を選択して光学フィルタとしてもよい。これらの手段によるフィルタの分光感度特性は，実はフィルタKの分光感度の振幅特性に厳密に一致させる必要はなく，メタメリックブラックの分光分布の形状の波長変化（形状をフーリエ変換したときの空間周波数分布に相当）を反映していれば近似フィルタとしての代用が可能である。マルチバンドの分光信号Qからのウィーナ推定は，このような分光感度の近似のずれを自動的に吸収して，最小２乗近似解を与えるからである。
【産業上の利用可能性】
【００３０】
本発明は，マルチバンドの分光画像カメラに適用して，照明環境に影響されない分光反射率画像を簡便かつ高精度に推定するもので，電子博物館における絵画の再現，美術品や世界文化遺産のデジタルアーカイブなどに広く利用できる。
【図面の簡単な説明】
【００３１】
【図１】多層膜フィルタを用いた回転式１６マルチバンドフィルタの従来例
【図２】色ガラスフィルタを用いた回転式４マルチバンドフィルタの従来例
【図３】２種類の光源と３色フィルタを組み合わせた６マルチバンドフィルタの従来例
【図４】本発明による分光画像推定装置の全体構成を示す一実施例
【図５】本発明の原理に基づくフィルタKの具体的分光感度特性の設計例
【図６】本発明の原理に基づくフィルタKの具体的分光感度特性の他の設計例
【図７】ウィーナ推定における共分散行列のマルコフモデルと実測との差異の例
【図８】標準色票IT8の分光反射率推定のための演算子の比較
【図９】本発明を適用した実際の色票の分光反射率推定誤差の評価実験例
【図１０】本発明を４バンド以上に拡張した構成法を示す他の実験例
【符号の説明】
【００３２】
４１  被写体からのカメラへの反射光入力
４２  ４バンドの回転フィルタ盤
４３  第４のフィルタK
４４  各バンドの波長帯域透過光
４５  モノクロCCDカメラ
４６  マルチバンドフィルタからの分光画像信号出力
４７  画像信号処理装置
４８  画像信号処理装置に内蔵される分光反射率画像推定プログラム
４９  分光反射率画像推定結果の出力端子
５１  積分投影による，射影子RKの1次元フィルタKへの圧縮近似法
５２  フィルタKの理論的成り立ちの図解
５３  オフセットにより正値性を保証したフィルタKの分光感度特性k(λ)  
５４  オフセット法による最も簡単な４バンドのXYZKフィルタセットの構成例
６１  線形結合により正値性を保証したフィルタKの分光感度特性k(λ)  
６２  線形結合による４バンドのXYZKフィルタフィルタセットの構成例
１０１  被写体からのカメラへの反射光入力
１０２  ６バンドの回転フィルタ盤
１０３  ３枚で構成したフィルタKのセット
１０４  各バンドの波長帯域透過光
１０５  モノクロCCDカメラ
１０６  マルチバンドフィルタからの分光画像信号出力
【図１】
2010122080.tif 000029
【図２】
2010122080.tif 000030
【図３】
2010122080.tif 000031
【図４】
2010122080.tif 000032
【図５】
2010122080.tif 000033
【図６】
2010122080.tif 000034
【図７】
2010122080.tif 000035
【図８】
2010122080.tif 000036
【図９】
2010122080.tif 000037
【図１０】
2010122080.tif 000038
【手続補正書】
【提出日】平成20年12月8日(2008.12.8)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，測色的三刺激値を取得する３色分解系に，メタメリックブラック成分を抽出する新たなフィルタを加えて多色分解系を構成し，被写体の分光反射率の高精度推定を行うマルチバンドカメラに関する。          
【背景技術】
【０００２】
現在普及している民生用のデジタルカメラやカラ−スキャナの大半は，RGBフィルタを用いて３原色原理に基づく測色的色再現を実現している。外界からの色刺激はN次元の分光反射スペクトル分布として与えられるが，人の視覚系は，凡そ380 nmから730 nmの波長領域に感度をもつLMS錐体の応答として色を知覚している。錐体応答は心理物理量であるRGBあるいはXYZ三刺激値として定量化され，今日まで多くの色彩画像機器は，三刺激値の一致を図る測色的色再現を目標として設計されてきている。しかしながら，測色的色再現は所与の照明光源下での条件等色として成立するもので，照明光源や観察環境が変われば視覚系への分光反射スペクトル分布も変化するので，色の見えはもはや一致しなくなる。このため，照明環境に左右されない色再現を実現するために，被写体の分光反射率を取得する分光画像カメラの開発が進み，美術品や世界遺産の画像および映像のア−カイブ，あるいは医用画像の正確な色彩再現などへの応用が活発に行われている。
【０００３】
分光反射率を計測する分光測色計（スペクトロフォトメ−タ）や分光放射輝度計などの計測器は，波長分解能5 nmあるいは10 nm程度で，最低N=31から最高N=81次元の分光反射率を計測できるが，N次元をn次元に低次元化したマルチバンドカメラでもn=16 バンド(次元) 程度あれば，簡単な内挿補間によって実用的な精度の分光反射率画像を取得できる。しかし，低価格化のために，n=4〜8バンド程度の低次元信号から，高次元の分光反射率を推定するアルゴリズムの開発が盛んであり，これを備えたマルチバンド画像のスペクトル推定システムが用いられる。このマルチバンド画像のスペクトル推定システムは，一般に被写体を撮影する際に，波長帯域が異なる少なくとも４バンド以上の各チャンネルに対応して被写体の反射光を選択的に透過する波長帯域通過フィルタと，透過光を受光して，複数のバンドの分光画像をマルチバンド画像として取得するCCDカメラと，このマルチバンド画像から被写体の分光反射率スペクトルを推定するアルゴリズムを記述したプログラムとこのプログラムを実行する分光反射率推定装置とから構成される。
【０００４】
一般的なマルチバンドカメラは，モノクロCCDカメラの前面に特定波長帯域を選択的に透過する光学フィルタを装着して撮像する。この波長帯域透過フィルタとCCDカメラの組み合わせによるマルチバンド画像の取得法には，さまざまな構成が考えられる。可視波長帯域を等分割したn枚の帯域通過フィルタをn台のモノクロCCDカメラ個々に装着すれば，同時並列式に短時間でnバンドの画像が得られ，動画像の撮像に向くが，バンド数が多くなると大掛かりかつ高価となる。１台のモノクロCCDカメラを用いて，各バンドのフィルタを一枚毎に交換して時系列に撮像する方法は，最も簡便・安価であるが，全バンドの取得に時間を要する。
最も代表的な例は，［非特許文献１］に見られ，1999〜2005年度の期間，通信・放送機構の直轄研究，さらに独立行政法人情報通信研究機構の拠点研究として実施されたナチュラルビジョンプロジェクトに使用された。図１のように，１台のモノクロCCDカメラの前面に，16枚の狭帯域多層膜干渉フィルタを埋め込んだ回転フィルタを設け，時系列に16バンドの分光画像を得ている。回転フィルタ式は同時式に比べ低速となるが，１回転でnチャネルを取得できる。しかし多層膜干渉フィルタは高価であり，装置が複雑となる欠点がある。また動画用には，２台の3バンドHDTVカメラと特殊な干渉フィルタを組み合わせて，6チャネルのマルチバンドカメラを構成している。
［非特許文献２］には，図２のような，比較的安価な色ガラスフィルタに赤外カットフィルタを組み合わせた６バンドの回転フィルタが提案されているが，各バンドのフィルタの帯域幅および分光感度特性は明らかに不揃いであり，設計指針も不明確である。
さらに［非特許文献３］には，RGBカラ−CCDカメラと付加フィルタの組み合わせによるマルチバンド画像の取得法が記載されている。まず付加フィルタなしで
R，G，およびBの３バンド画像を撮像し，次に付加フィルタFを通して FR，FG，およびFBの新たな３バンドを得る。モノクロCCDカメラを用いる場合に比べて，１枚の付加フィルタで６バンド，n枚の付加フィルタを用いれば，3n＋3バンドに相当するマルチバンド画像が得られる利点がある。ただし付加フィルタとRGBフィルタの分光透過率の積により生成される新たなフィルタの分光感度特性が，相互に一次独立である必要があり，かつ可視の波長域を適切に分割する帯域通過特性をもつ付加フィルタの選択が重要である。
［特許文献１］には，フィルタを切り替える代わりに二種類の異なる照明光源を用いてRGBカラ−CCDカメラで二度撮像し，６バンド画像を取得する方法が開示されている。この方法においても，RGBフィルタと照明光源の分光放射スペクトル分布との積による総合分光感度特性が適切な形状をもつことが重要であるが，上記いずれの方法においても，フィルタの分光感度特性の理論的設計基準あるいは最適化手法は明確にされていない。
【非特許文献１】通信・放送機構 「平成１２年度ナチュラルビジョン（次世代映像表示伝送システム）の研究開発プロジェクト研究開発報告書」通信・放送機構（2001）
【非特許文献２】F. H. Imai, L. A. Taplin, E. A. Day：「Comparisonof the accuracy of various transformations from multi-bandImages to reflectance spectra」，MCSLTechnical Report （2002）, www.art-si.org
【非特許文献３】F. H. Imai, R. S. Berns and Di-Y. Tzeng：「A Comparative Analysis of Spectral Reflectance Estimated inVarious Spaces Using a Trichromatic Camera System」，Journal ofImaging Science and Technology 44，pp.280-287（2000）
【特許文献１】特願2004−278061  特開2006−090897
【０００５】
以上の各方式ともに，最終的に得られるnバンドの各帯域の分光感度特性から決定されるnチャネルの低次元分光画像信号から，各画素のN次元(N > n)の分光反射率スペクトルの推定が行われるが，推定精度はnバンドの各帯域の分光感度特性の良否に左右される。従来のカラ−カメラのRGBフィルタの分光感度特性に関しては，測色的三刺激値を取得するためにはル−タ条件（Luther
Condition），すなわちRGB分光感度特性がCIE等色関数の線形変換を満たすべきである，という明確な設計指針があったが。これに対し従来のマルチバンド画像システムでは，各バンドの分光感度特性の最適設計理論は確立されていない。［特許文献２］には，６種類のカラ−フィルタを通して被写体を撮影してマルチバンド画像を取得する際に，各カラ−フィルタの分光透過率特性をガウス分布で近似し，その標準偏差を10nmから30nmまでの範囲内に設定し，各カラ−フィルタのピ−ク波長を，400nmから700nmまでの可視波長域を等間隔に分割する各波長に対し，それぞれ中心波長の前後15nmの範囲内に設定する，という分光設計指針が記載されている。しかし，この指針は単に可視波長域を均等分割し，各バンドの中心となるピ−ク波長とバンドの半値幅を与える標準偏差の許容範囲を規定しただけの設計目標に過ぎず，ル−タ条件のような分光感度特性の関数形状に関する理論的な最適設計の指針を明示したものではない。
従来のマルチバンド分光画像取得システムの多くは，［特許文献２］と同様に可視波長域の均等に分割するフィルタ群の選択を意図しており，誘電体多層膜干渉フィルタを用いれば中心波長と半値幅を設計仕様とできるが，製作コストが掛るため，安価な色ガラスフィルタやラッテンフィルタで代用する例も多い。一般的に，分光感度特性の最適設計理論はないものの，与えられたフィルタセットに対して，たとえば主成分分析法やウィ−ナ推定を適用した場合の推定精度は，真の分光反射率スペクトル分布と推定結果とのスペクトルのrms（root mean square）誤差から評価することができ，いずれのフィルタセットが推定アルゴリズムに対して最良かの判断は可能である。現状では分光反射率が既知のマクベス色票やIT8標準色票，SOCS標準分光デ−タベ−スなどを用いた評価実験により推定誤差の小さい実用的なフィルタセットを選択することが実践的とされる。
【特許文献２】特願2006−108039  特開2007−278950
【０００６】
マルチバンドカメラによる分光画像は様々な照明環境での忠実な色再現に活用されているが，バンド数の多い高次元カメラは高価なため，低次元からの分光推定法が研究されてきた。主成分分析法やウィ−ナ推定法は，低次の基底による分光反射率の近似に有効である。［非特許文献４］には，主成分分析法によりアクリル絵の具の分光反射率をn=3 〜10次の固有ベクトルで近似した結果，n=7バンド程度を用いれば，高精度の分光反射率推定が可能であった，と報告している。また［非特許文献５］には，分光反射率を確率変数として扱い，ガウス確率密度関数を導入して，ウィ−ナ推定法を適用したマルチバンドカメラからの分光反射率推定法が解説されている。
【非特許文献４】A. G. Beltra, et al：「Linear Basesfor Spectral Reflectance Functions of Acrylic Paints」，Color Research andApplication, 23, 1, pp.39-45（1998）
【非特許文献５】村上百合:「分光反射率の推定理論」，日本写真学会誌，65巻，4号，pp．234−239（2002）
【０００７】
ウィ−ナ推定法は，信号と雑音の統計量が既知の場合に，平均二乗誤差を最小とする信号推定理論としてよく知られているが，分光スペクトルの推定に適用する場合には，真のN次元分光スペクトルCに対する推定値Cestとの平均二乗誤差ｅ2は
【数１】
2010122080.tif 000039
で与えられる。
ここで，マルチバンドフィルタの分光感度特性をSとするとき，Sからのnチャネルのセンサ信号Qを用いてｅ2を最小とする推定解は
【数２】
2010122080.tif 000040
で記述される。
ウィ−ナ推定法では，バイアス項bはウィ−ナ推定行列が適切な場合にはほぼ零と見なせるので省略されることが多く，また雑音分散Reeは信号対雑音比が計測されていれば，雑音電力スペクトルとしての推定値を常数値として設定できるが，Ｓ／Ｎ（信号対雑音）比が大きいセンシング系では無視しても実用上は差し支えない。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従来のマルチバンド画像取得システムに対して，本発明が解決しようとする課題は
次の二点に絞られる。
［A］ フィルタセットの分光感度設計に関する最適化基準の明確化
［B］ ノンパラメトリック（標本採取によるパラメ−タ学習なし）な高精度推定法
課題［A］は，数学的な最適化理論の下に実現可能な解を得ることが望ましく，当然ながらフィルタセットの分光感度は全波長域に亘り正値をとる
（positivity） 条件や物理的に製作可能であること，などを満たす必要がある。
さらに，従来の主成分分析やウィ−ナ推定法では，高精度の推定を行うために，予め分光反射率が既知の色票などの標本を採取し，統計的パラメ−タを学習するパラメトリックな手法で，固有値と固有ベクトルによる最適な基底関数展開により実際の分光反射率スペクトルを近似するのが主流となっている。パラメトリックな推定法は，学習した標本と類似の統計的パラメ−タをもつ対象には適合性に優れるが，面倒な標本採取を伴う上に，未学習の未知の対象に対しては常に高精度が得られるとは限らない。しかし，パラメトリックな最適推定法の一つとして，バンド数nが指定され，推定対象の統計的パラメ−タ（分光反射率スペクトルの平均ベクトルや共分散行列など）が既知であって，フィルタの分光感度特性を制約なしで自由に選べる場合には，特異値分解（SVD：Singular Value Decomposition）を用いることにより，理論的な最適解としての基底関数を得ることができ，応用目的によっては非常に有効な手法である。
一方，課題［B］は面倒かつ非能率的な標本の学習過程を省いて，未知の対象に対しても簡便かつ安定に近似解を得ることに狙いがあり，成功すれば実用性が高い。しかし原理的にはパラメトリックな推定法を超えることは難しく，上記のSVDによる推定精度が一つの理論目標となるが，現実的には，パラメトリックなウィ−ナ推定解に対抗できるノンパラメトリックなウィ−ナ推定法を見出すことが有効なアプロ−チと考えられる。
【課題を解決するための手段】
【０００９】
そこで本発明は，上記課題を解決すべく，まず課題［A］に関する分光感度設計の根拠となる数学的理論モデルを提示し，具体的なフィルタの分光感度特性を設計する。
数学的理論モデルとしては，視覚系のメタメリズム理論，すなわち，N次元の分光スペクトル空間から３次元の視覚空間への射影理論を基に，n=3+m（mは付加バンド数）
バンドのフィルタの分光感度特性の最適近似解に応用する。
次に課題［B］に関しては，ノンパラメトリックな推定法としては一般化逆行列解や平滑化擬似逆行列解が知られているが，本発明では，課題［A］の解決結果を，さらに高精度が期待されるノンパラメトリックなウィ−ナ推定法に適用して，実用的な推定精度を得ることを目的とする。実際に設計したフィルタの分光感度特性を適用した場合の推定誤差をパラメトリックなウィ−ナ推定法との比較の下に実験評価し，かつ理論目標であるSVDとの推定精度のギャップについても考察し，本発明の有効性を検証する。
【００１０】
［非特許文献６］には，視覚系のメタメリズムに関する数学的解釈を与えたマトリクスＲ理論が述べられている。
【非特許文献６】J. B.Cohen：「Color and Color Mixture, Scalar and Vector Fundamentals」，                ColorResearch and Application，13， 1，pp．5−39（1988）この理論によれば，視覚系への入力であるN次元の分光スペクトル刺激Cは
【数３】
2010122080.tif 000041
のように，２つの分光成分，C＊とBに分解される。
マトリクスR は視覚空間への射影子を表し
【数４】
2010122080.tif 000042
で与えられ，AはCIE 1931 xyz等色関数からなる等色行列
【数５】
2010122080.tif 000043
を表す。ここで，N次元の分光スペクトル刺激Cのうち，人の視覚系が目に見える成分として感知するのは3次元の基本分光成分C* (Fundamentalと呼ぶ)であって，N-3次元の残差成分B (Metameric Blackと呼ぶ) は目に見えない分光成分として破棄されている。
視覚系がLMS錐体の応答として受容する三刺激値T=[X. Y，Z]t は実はFundamental C*が担っており，メタメリックブラック成分の三刺激値TBはTB=AtB=0（零）である。したがって，同じ三刺激値Tを与える分光スペクトル刺激C（メタマ−）は無数に存在する。すなわち，マトリクスR理論は人の視覚の特徴であるメタメリズムの数学的基盤を記述したもので，メタマ−とはC* が同じでB が異なる分光刺激Cの組をいう。
ここで，本発明はC*とTとの唯一無二の関係に注目する。すなわち，いかなる分光スペクトル刺激Cも，唯一無二の三刺激値T を担うのはC*であり，したがってTを与えればFundamental C*を一般化逆行列Pinvによって再生することができ，この関係は
【数６】
2010122080.tif 000044
で表せる。
【００１１】
そこで，本発明では，目的とする被写体の分光反射率スペクトルの推定に当り，まず視覚系にとって有意な分光情報であるFundamental C*の取得を前提とする。［数６］より，このC*は測色的三刺激値Tを担っているので，たとえば，ル−タ条件を満たすsRGB規格の３色カメラのRGBフィルタを備えて， RGB/XYZ変換によって測色的三刺激値XYZを得れば，分光的には暗にC*を抽出していることになる。
一方，メタメリックブラックB は，視覚系にとっては不可視情報であり不要と考えられるが，分光反射率rをもつ被写体からのカメラへの分光反射スペクトル入力Cは
【数７】
2010122080.tif 000045
と表せ，照明光源Eによって変化する。したがって分光反射率rはBを含めたCから推定しなければならない。異なる照明環境での正確な色の見えの再現には，当然メタメリックブラックBの推定が重要な意味をもつ。
【００１２】
本発明の最重要点は，RGB/XYZフィルタを備えた従来の３色カメラにより暗に検出されているFundamental C*に加えて，メタメリックブラックBを検出するフィルタKを付加することにある。所与の照明光源Eの下での(XYZ+K)フィルタセットからの低次元色信号を用いて，ウィ−ナ推定法などにより，分光スペクトル入力Cの推定値Cestを求めれば，［数７］から照明光源Eを除去した
【数８】
2010122080.tif 000046
により，最終的な被写体の分光反射率の推定値restを得る。推定値restは照明光の影響を除いた被写体固有の分光反射率を反映しているので，他の異なる照明光源下での画像の色の見えの予測が可能となり正確な色の見えの再現に供することができる。
さて，マトリクスR理論によれば，メタメリックブラックBは
【数９】
2010122080.tif 000047
で記述され，カメラ入力CにマトリクスRに直交する射影子RKを操作して得られる。しかし，RKはN−3次元の自由度をもつため，正確に復元するには，N−3チャネルのフィルタを必要とする。すなわち，本発明の付加フィルタKの次元は，最低1から最大N-3までを意味するが，N-3バンドもの高次元は非現実的である。できるだけ次元数を減らして，XYZの３バンドを含めてもn=4〜6程度で近似することが望ましい。
本発明が従来法と決定的に異なる主張点は，視覚系にとって必須の分光情報であるFundamental C* をXYZ フィルタによって確保し，その上で視覚系が取逃がしていたメタメリックブラックBを付加フィルタKによって救済することにあり，フィルタKがもつべき分光感度特性は，視覚系の射影理論から数学的にモデル化できる点にある。すなわち従来手法では不明確であった，課題［A］のフィルタ形状の最適化設計基準を明確化した点にある。フィルタKの具体的な実現法については後述の［実施例］に詳細を示すことにする。
【００１３】
次に課題［B］のノンパラメトリックな推定法は，［非特許文献７］で公知であり，上記の(XYZ+K)フィルタからの光電変換信号の組XYZKを適用すれば容易に推定解を得ることができる。本発明においても，一般化逆行列解や平滑化擬似逆行列解に比べて高精度が期待されるノンパラメトリックなウィ−ナ推定法が有効と考えられるが，その適用に当たっては，従来，色見本などの標本採取によって学習していた共分散行列RCCを数学的にモデル化して学習なしで適用する必要がある。RCCのノンパラメトリックなモデルとしては，単純マルコフ過程モデルが簡便かつ実用的である。［非特許文献８］には，ノンパラメトリックなウィ−ナ推定法をカラ−スキャナの分光感度特性の間接的推定に応用した事例が報告されている。自然界の被写体からの分光反射スペクトルは緩やかな分布形状をもつものが多く，分光スペクトル入力Cの隣接波長成分間には，相関係数ρで連結した単純マルコフ過程を仮定でき，共分散行列RCCは次式でモデル化される。
【数１０】
2010122080.tif 000048
相関係数ρは推定対象により適正値が異なるが，凡そρ=0.9前後に設定すればよい。このRCCを前述の［数２］に代入すれば，ノンパラメトリックなウィ−ナ推定解となる。
【非特許文献７】C. E. Mancill：「DigitalColor Restoration」，USCIPI (Image Processing Institute, SouthernCalifornia University) Technical Report, Aug.（1975）
【非特許文献８】小寺宏曄：「カラ−スキャナの分光特性の間接的推定と測色的評価」， テレビジョン学会誌，41, 3,pp.264-269（1987）
【発明の効果】
【００１４】
本発明は，視覚系が抽出している基本分光成分（Fundamental C*）を第一義に考え，これをXYZフィルタによって優先的に確保した上で，残差成分であるメタメリックブラックの回復を図る，という論理の下にマルチバンドフィルタの分光感度設計を行う。その結果
［1］ XYZフィルタがル−タ条件を満足していれば，理論的に測色的誤差を生じない。
［2］ XYZ信号のみを用いれば従来の３色カメラとの互換性がある。
［3］ XYZ+K信号をノンパラメトリックな分光推定法に適用すれば，教師なし（標本学習なし）で高精度の分光反射率画像を取得できる。
などの従来法にない実用的な効果を生み出すものである。上記［3］の高精度化の効果については，後述の［実施例］で明らかにする。
【発明を実施するための最良の形態】
【００１５】
本発明の目的は，低次元のマルチバンド画像信号から高次元の分光反射率画像を経済的，効率的，かつ高精度で推定するシステムの提供にある。最良の形態の一つは，流通しているRGB/XYZカメラ系に，１枚のフィルタKのみの追加による４バンド（n=4）で実用に供し得る分光反射率画像推定システムを構成することにある。
【００１６】
最良の形態の二つ目は，４バンド以上（n > 4）のさらに高精度が要求される用途に対して，メタメリックブラック成分の推定誤差を最小とするように，複数（n-3）枚からなるフィルタKのセットを構成することである。これは射影子RKを，n-3枚のフィルタKに合理的に分担させるように分割して近似することにより実現できるものと考えられる。
【実施例１】
【００１７】
以下，本発明のマルチバンド画像システムへの適用と分光反射率画像の推定方法について，具体的実施例を基に詳細に説明する。
図４は，本発明によるマルチバンド画像取得システムの全体構成の一実施例である。
被写体からのカメラへの反射光入力41は，回転フィルタ盤42を通して各バンドの波長帯域透過光44に分光される。該回転フィルタ盤42には，マルチバンドの各波長帯域通過フィルタが中心から同一半径距離に装着されている。本実施例は最も簡便な４バンドの場合を例示したもので，ル−タ条件を満たすように設計された三色分解フィルタ(R, G, B) に加えて，43の第４のフィルタKが取り付けられている。該フィルタ盤の回転に従い，４バンドのフィルタ(R, G, B, K)のいずれか一つを順次通過した波長帯域透過光44は，モノクロCCDカメラ45によって分光画像信号46に変換され，ケ−ブルで接続された画像信号処理装置47  に転送される。48は画像信号処理装置47に内蔵された分光反射率画像推定プログラムを示し，本実施例ではウィーナ推定アルゴリズムを実行して，結果を分光反射率画像データ49として外部に出力する。
【００１８】
図５に，本発明におけるフィルタKの具体的設計法の一例を図解する。
本発明における最も重要な構成要素は，新規なフィルタKにあり，これをマルチバンドに導入した点に独自性を有する。フィルタKは，従来，理論的根拠が希薄であった分光感度特性を視覚系の射影理論に基づき合理的に設計することが可能で，視覚系が取逃がしていたメタメリックブラックを救済することを意図している。
メタメリックブラックBは，［数９］に示したように，カメラ入力Cに射影子RKを操作して得られるので，フィルタKは射影子RKそのものを分光感度特性とするもので，厳密にBを復元するには N-3
次元の高次の２次元フィルタバンクを必要とする。可視波長域の380nm〜730nmを10nmの分解能で計測する分光測色計の場合には，N-3=33次元を要することになり非現実的である。
本発明の工夫は，N-3次元を1〜3程度の低次元で合理的に近似する点にあり，XYZ+Kのフィルタセットをn=4〜6の低次元マルチバンドで構成することを目的としている。以下では，フィルタKを最低限の１枚で近似し，n=4バンドで分光反射率画像を推定する場合の実施例を詳述する。数学的には僅か１チャネルでは無論正確な復元は望めないが，射影子RKの機能を集約するように近似を試みた。RKはRに直交するメタメリックブラック空間へのn行n列の射影子であり，以下の構造的特徴に着目する。
［a］マトリクスRKの各j行（または列）ベクトルは，波長λjの単色光δ(λj)のメタメリックブラック成分Bj からなり，次式で表せる。
【数１１】
2010122080.tif 000049
［b］メタメリックブラックBは
【数１２】
2010122080.tif 000050
のように表せ，Bのj番目の要素B(λj)はカメラ入力Cと単色光のメタメリックブラック成分Bj との内積に書き換えられる。このことは，正確なメタメリックブラックBは，入力CにマトリクスRKのjk 要素Bj(λk)を係数とする光学的２次元フィルタを掛けて得られることを意味する。
ここでは，［数１２］を思い切りよく次式
【数１３】
2010122080.tif 000051
を用いて近似する。
［数１３］は，メタメリックブラックBを係数ベクトルKとカメラ入力であるベクトルC との単純なスカラー積で近似することを表し，K の要素 Kj は予めマトリクスRKの各行（または列）ベクトルBjの要素のスカラ−和をとることにより定数の係数値として算出される。これにより，n行n列の２次元射影子RKは1×n の１次元フィルタKに凝縮される。つまり２次元行列RKを行（または列）方向に積分投影して1次元に圧縮することを意味する。
図５の51は，この積分投影による，射影子RKの1次元フィルタKへの圧縮近似法を示す。
【００１９】
１次元フィルタKは上記のように，全ての波長λj の単色光のメタメリックブラックBjを等しく積算したものであるから，実は等エネルギ−白色EEのメタメリックブラックBEEに等しい。
実際，C= EEとおけば，［数１２］は［数１４］に帰着する。
【数１４】
2010122080.tif 000052
マトリクスRと射影子RKは直交関係にあるので，等エネルギ−白色EEの基本分光成分(Fundamental)であるCEE* とメタメリックブラックBEEは，補完（Complement）の関係にある。白色光源EEは全ての単色光を等しく含むので，分光感度ベクトルK =BEE は，全ての単色光のメタメリックブラックを反映している。フィルタKはこのBEEを分光感度特性とするものである。
図５の52は以上のフィルタKの理論的成り立ちを図解したものである。フィルタKは，各単色光のメタメリックブラックを入力Cの各波長成分で荷重することにより，第一近似でBを検出する作用をもつもので，従来の概念とは根本的に異なる設計思想に基づいている。
【００２０】
しかしながら，メタメリックブラックBEEは負の応答を含むので，これをフィルタKとして物理的に実現することはできない。そこで，XYZKフィルタの分光感度を独立な関数の４次元行列と考えれば，任意の線形変換を加えても基本特性に変わりはない。線形変換後のXYZKフィルタ関数を，一般化逆行列解やウィ−ナ推定解に適用しても，分光反射率の推定解は何らの影響も受けないことは，線形数学理論で自明である。
フィルタKの正値性（positivity）を保証する最も簡単な線形変換は，メタメリックブラックBEEの分光応答関数bEE(λ)に適当な正の一定値をバイアスとして加え，オフセットをもたせることで実現できる。フィルタKの分光感度特性をk(λ)とすれば，BEEは照明光や被写体に無関係な不変量であるので，
【数１５】
2010122080.tif 000053
のように，bEE(λ)の最小値を減ずるオフセットを与えれば，可視波長域全域でk(λ) を正値とできる。図５の53は，正値性を保証したフィルタKの規格化された分光感度特性k(λ) を示す。このk(λ)をXYZフィルタの分光感度特性を表す1931 CIE xyz等色関数と併せれば，図５の54に示すような最も簡素な４バンドのXYZKフィルタセットが構成される。
【実施例２】
【００２１】
フィルタKの正値性を保証する線形変換は，メタメリックブラックBEE の分光応答関数bEE(λ)とXYZフィルタの分光感度特性であるCIE 1931 xyz等色関数との線形結合によっても実現することができる。たとえば，［数１６］の替わりに
【数１６】
2010122080.tif 000054
を用いれば，可視波長域全域でk(λ)の正値性が保証される．
図６の61に，この場合のフィルタKの規格化された分光感度特性k(λ)を，また図６の62にXYZフィルタと併せた４バンドのXYZKフィルタ系の分光感度特性を例示する。
【実施例３】
【００２２】
次に，本発明の４バンドのXYZKフィルタ系を分光反射率画像の推定アルゴリズムに適用した場合の実施例について説明する。
４バンドのXYZK色分解系の分光感度は
【数１７】
2010122080.tif 000055
で表され，分光スペクトル入力Cに対する4色信号Qは，雑音を無視すれば
【数１８】
2010122080.tif 000056
とかける。
目的は4次元信号Qから，入力であるN次元の分光分布Cを逆推定することにあり，次の教師なし解法に適用して，その効果を実験検証した。
［A］一般化逆行列（擬似逆行列）解
［B］平滑化擬似逆行列解
［C］教師なしウィ−ナ推定解
【００２３】
雑音を無視できるとして，Cのノルム（エネルギ−）
【数１９】
2010122080.tif 000057
を最小とする推定解は，線形代数理論により，擬似逆行列Pinvを用いて次式で表せる。
【数２０】
2010122080.tif 000058
この一般化逆行列解は広く利用される手法で，標本の学習や拘束条件を必要とせず安直に得られるが，安定性に問題がある。
【００２４】
自然界の色の分光分布は緩やかで滑らかな形状が多く，そのような対象には，平滑性の拘束条件を加味したノルム最小解法が知られおり，［非特許文献６］などで公知である。
分光分布Cの滑らかさを拘束する平滑化行列N
【数２１】
2010122080.tif 000059
を導入して，Nの下でのCのノルム最小解をLagrangeの未定係数法で求めれば
【数２２】
2010122080.tif 000060
の平滑化擬似逆行列解が得られる。
ただし，平滑化行列N は非正則（singular）の特異行列のため，［数２２］のN−１に直接これを用いることはできない。N が特異行列となるのは，２次差分演算子Dが完全な零和条件を満たしていることに起因する。
そこで，実際上は行列Nに微小な擾乱を与えて
【数２３】
2010122080.tif 000061
とすれば正則行列として扱え，［数２２］を計算できる。
【００２５】
［数２］に示したウィ−ナ推定法の共分散行列RCCに［数１０］のモデルを用い，雑音を無視すれば，標本の学習を要しない教師なしのウィ−ナ推定解
【数２４】
2010122080.tif 000062
が得られる。バイアス項bは無視しても推定誤差への影響は小さいが，平均ベクトルmCを白色照明光の分光エネルギ−分布の凡そ1/3程度と見積もり，mC 値として0.3近傍を用いれば良好な結果が得られる。
教師なしのウィ−ナ推定解の精度は，共分散行列RCCのモデルと実測との差異に左右される。
図７は，IT8／7.2 標準色票（264色），インクジェット色票 （1331色），およびJISのSOCS標準分光デ−タベ−ス中のアクリル絵の具色票（50色）について，実測によるRCCと［数１０］のモデルとの比較を示す。マルコフモデルで仮定した隣接波長成分間の相関は，実測でも観察されるが，この差異がウィ−ナ推定における教師（標本学習）の有無の有意差に現れる。
以上の［数２０］，［数２２］および［数２４］に示した計算式は公知であるが，分光反射率スペクトルの推定精度は，これらの計算式に適用されるマルチバンドフィルタの分光感度行列S，およびSからの4次元信号Qの質によって決まる。
図８は［数２０］，［数２２］および［数２４］の推定解のコアとなる推定行列Pinv，SinvおよびWinvの関数形を比較したものである。これらの推定行列が低次元の４次元信号Qからいかに高次(N次元)の入力スペクトルCを精度よく逆推定するかを握っている。
そこで，本発明のXYZKフィルタによる４次元信号Qの適用効果を評価するために，IT8/7.2標準色票(264色)，インクジェット色票(1331色)，およびSOCS標準分光デ−タベ−スの中のアクリル絵の具色票(50色)を用いて，分光反射率スペクトルの推定実験を行ったところ，十分実用に耐える良好な結果を得た。以下に評価結果を実施例で示す。
【実施例４】
【００２６】
［表１］は，上記３種のテスト色票について，本発明のXYZKフィルタを適用した分光反射率スペクトルの推定実験を行い，rms（root mean square）
誤差をまとめたものである。
【表１】
2010122080.tif 000063
推定誤差は，［一般化逆行列 ＞ 平滑化擬似逆行列 ＞ 教師なしウィ−ナ推定 ＞ 教師ありウィ−ナ推定］の順に改善された。IT8に比べると，インクジェット色票およびSOCSのアクリル絵の具の推定精度は劣ったが，写真感材によるIT8色票の緩やかな分光分布形状に対し，変化が激しい形状をもつことや共分散行列RCCのモデルと実測の不一致等に起因するものと推察される。
比較のために，同じ次元数 （n=4）での特異値分解 （SVD）の結果を掲げたが，SVDは対象色票の固有値解析に基づく基底関数の組で統計的に最良の近似を行うもので，理想的な到達目標であるが，現実的なフィルタとして実装可能な解とはならない。ここで本発明の評価尺度となるのは，XYZKフィルタによる教師ありウィ−ナ推定がこのSVDの到達目標にいかに近づくかにある。［表１］によれば，色票を100％（全数）学習した場合のウィ−ナ推定のrms誤差が，SVDのそれに極めて近いことが示される。20％程度の学習でも，ほとんど遜色ない高精度が得られている。これは，本発明のマルチバンドフィルタが理論的かつ合理的に設計されていることを裏付ける確証を与えるものといえる。
また，教師なしウィ−ナ推定のrms誤差は，教師ありに比べて，IT8色票では２倍弱，インクジェット色票およびSOCS色票の例では２倍強に止まっている。  標本学習の有無による優劣は否めないが，数値的な精度としては十分実用に耐える誤差の範囲にあるといえる。さらに，本発明のXYZKフィルタは理論的に測色的三刺激値の推定誤差を生じることはなく，［表１］の実験結果においても，CIELABでの平均色差は，ΔEab* <0.01となっており，これは数値計算での若干の丸め誤差によるもので全く問題にならない。これに対してn=4次のSVDでは，［表１］の最下段に掲げるように，高品位の測色的色再現にとっては許容できないΔEab*=2.5〜６程度の平均色差が生じている。すなわち，測色的色再現に関しては本発明がSVDに勝り，測色的色再現と分光的色再現を両立させる優れた特性を有することが実証された。
【００２７】
図９は，以上の評価実験における実際の色票の個々の分光反射率スペクトルの推定誤差を検証した結果の一例である。本実施例は最も実用的な教師なしのウィーナ推定を上記の３種の実際の色票に適用したもので，分光測色計による実測の分光反射率スペクトル分布（実線）と推定結果（点線）との可視波長域における誤差を表示している。分光反射率分布の形状の異なる代表的なサンプルについて，最も簡便なn=4バンドのフィルタセットを用いても，本発明が十分に実用的な推定精度をもつことが明らかである。
【実施例５】
【００２８】
さらに図１０は，フィルタKを複数枚で構成し，５バンド以上で分光画像を取得し，メタメリックブラックの抽出性能を向上して，さらに高精度の分光反射率推定を可能とする他の実施例を示す。本実施例は［実施例１］の４バンドを６バンドに拡張した場合について，フィルタセットの主要部を例示している。被写体からのカメラへの反射光入力101は，回転フィルタ盤102を通して各バンドの波長帯域透過光104に分光される。回転フィルタ盤102には，ル−タ条件を満たすように設計された
三色分解フィルタ(R, G, B) に加えて，３枚で構成したフィルタK のセット103が取り付けられている。該フィルタ盤の回転に従い，6バンドフィルタ(R,
G, B, K1, K2, K3)のいずれか一つを順次通過した波長帯域透過光104は，モノクロCCDカメラ105によって分光画像信号106に変換され，外部システムに出力される。３枚のフィルタ(K1, K2, K3)は，射影子RK の２次元行列を行または列方向に３分割して，１次元のフィルタKの構成理論と同様に，各分割した複数行（または列）の要素を積算して，それぞれをn×1からなる３枚の１次元のフィルタのセット(K1, K2, K3)を構成し，３枚併せてRK の分光感度特性を近似するよう分担させる。射影子RK の３分割法としては，様々な組み合わせ法が考えられるが，フィルタKを１枚に集約するよりも，メタメリックブラックの検出精度は確実に向上するので，6バンドフィルタセットからの６次元信号Q=[X, Y, Z, K1, K2, K3]tをウィーナ推定法に適用することにより，従来の６バンドカメラよりも高性能の分光反射率画像の取得を可能とするものである。
【００２９】
本発明の実施に当たっては，以上のいずれの実施例においても，設計されたフィルタKの分光感度特性をもつ光学フィルタの製作が問題となる。具体的には，波長に対する分光透過率を設計できる可変透過率の蒸着膜フィルタや，プリズムあるいは回折格子を透過した被写体からの分光反射スペクトルの波長方向に沿って透過率分布が上記のフィルタKに等しくなるよう露光量を変えて記録した銀塩フィルムを重ねた光学系としても実現できる。しかしこれらは複雑高価となるので、さらに安価な手段としては，透明フィルム上にカラーインクジェットプリンタなどで(C, M, Y)インク量を調整して色票を記録し，分光透過率分布が上記実施例のいずれかのフィルタKの分光感度を近似するCMYインクジェット透明色票を選択して光学フィルタとしてもよい。これらの手段によるフィルタの分光感度特性は，実はフィルタKの分光感度の振幅特性に厳密に一致させる必要はなく，メタメリックブラックの分光分布の形状の波長変化（形状をフーリエ変換したときの空間周波数分布に相当）を反映していれば近似フィルタとしての代用が可能である。マルチバンドの分光信号Qからのウィーナ推定は，このような分光感度の近似のずれを自動的に吸収して，最小２乗近似解を与えるからである。
【産業上の利用可能性】
【００３０】
本発明は，マルチバンドの分光画像カメラに適用して，照明環境に影響されない分光反射率画像を簡便かつ高精度に推定するもので，電子博物館における絵画の再現，美術品や世界文化遺産のデジタルアーカイブなどに広く利用できる。
【図面の簡単な説明】
【００３１】
【図１】多層膜フィルタを用いた回転式１６マルチバンドフィルタの従来例
【図２】色ガラスフィルタを用いた回転式４マルチバンドフィルタの従来例
【図３】２種類の光源と３色フィルタを組み合わせた６マルチバンドフィルタの従来例
【図４】本発明による分光画像推定装置の全体構成を示す一実施例
【図５】本発明の原理に基づくフィルタKの具体的分光感度特性の設計例
【図６】本発明の原理に基づくフィルタKの具体的分光感度特性の他の設計例
【図７】ウィーナ推定における共分散行列のマルコフモデルと実測との差異の例
【図８】標準色票IT8の分光反射率推定のための演算子の比較
【図９】本発明を適用した実際の色票の分光反射率推定誤差の評価実験例
【図１０】本発明を４バンド以上に拡張した構成法を示す他の実験例
【符号の説明】
【００３２】
４１  被写体からのカメラへの反射光入力
４２  ４バンドの回転フィルタ盤
４３  第４のフィルタK
４４  各バンドの波長帯域透過光
４５  モノクロCCDカメラ
４６  マルチバンドフィルタからの分光画像信号出力
４７  画像信号処理装置
４８  画像信号処理装置に内蔵される分光反射率画像推定プログラム
４９  分光反射率画像推定結果の出力端子
５１  積分投影による，射影子RKの1次元フィルタKへの圧縮近似法
５２  フィルタKの理論的成り立ちの図解
５３  オフセットにより正値性を保証したフィルタKの分光感度特性k(λ)  
５４  オフセット法による最も簡単な４バンドのXYZKフィルタセットの構成例
６１  線形結合により正値性を保証したフィルタKの分光感度特性k(λ)  
６２  線形結合による４バンドのXYZKフィルタフィルタセットの構成例
１０１  被写体からのカメラへの反射光入力
１０２  ６バンドの回転フィルタ盤
１０３  ３枚で構成したフィルタKのセット
１０４  各バンドの波長帯域透過光
１０５  モノクロCCDカメラ
１０６  マルチバンドフィルタからの分光画像信号出力