(57)【特許請求の範囲】
【請求項１】
同一被写体を撮影して得られた、多画素数かつ小チャンネル数の画像と、小画素数かつ多チャンネル数の画像とを組み合わせて、多画素数かつ多チャンネル数の画像を作成する画像データ処理方法であって、
前記多画素数かつ小チャンネル数の画像中の所定の一点を着目画素として、該着目画素に対応する前記小画素数かつ多チャンネル数の画像中の一点を中心に設定された所定領域内の複数の画素における画像データに対して、主成分分析を行い、
該主成分分析によって得られた所定数の主成分ベクトルの線型和を用いて、前記多画素数かつ小チャンネル数の画像中における前記着目画素の出力値を再現するように、前記線型和の係数を決定し、
これにより前記着目画素のスペクトル情報を求めることにより、多画素数かつ多チャンネル数の画像を作成することを特徴とする画像データ処理方法。
【請求項２】
前記所定領域は、前記主成分分析の結果求められた第３主成分までの累積寄与率が９０％以上となるような画素数を含むことを特徴とする請求項１に記載の画像データ処理方法。
【請求項３】
前記多画素数かつ小チャンネル数の画像は、銀塩カメラによって撮影された画像をスキャナにより取り込んで得られる画像であり、また前記小画素数かつ多チャンネル数の画像は、低解像度のマルチバンドカメラによって撮影された画像である請求項１または２に記載の画像データ処理方法。
【請求項４】
請求項１〜３のいずれか１項に記載の画像データ処理方法を実行するためのプログラムを記録したことを特徴とする記録媒体。
【請求項５】
同一被写体を撮影して得られた、多画素数かつ小チャンネル数の画像と、小画素数かつ多チャンネル数の画像とを組み合わせて、多画素数かつ多チャンネル数の画像を作成する画像データ処理装置であって、
前記多画素数かつ小チャンネル数の画像中の所定の一点を着目画素として、該着目画素に対応する前記小画素数かつ多チャンネル数の画像中の一点を中心に設定された所定領域内の複数の画素における画像データに対して、主成分分析を行う手段と、
前記主成分分析によって得られた所定数の主成分ベクトルの線型和を用いて、前記多画素数かつ小チャンネル数の画像中における前記着目画素の出力値を再現するように、前記線型和の係数を決定する手段と、
前記決定された係数により前記着目画素のスペクトル情報を算出する手段と、
を備え、多画素数かつ多チャンネル数の画像を作成することを特徴とする画像データ処理装置。
【請求項６】
前記所定領域は、前記主成分分析の結果求められた第３主成分までの累積寄与率が９０％以上となるような画素数を含むことを特徴とする請求項５に記載の画像データ処理装置。
【請求項７】
前記多画素数かつ小チャンネル数の画像は、銀塩カメラによって撮影された画像をスキャナにより取り込んで得られる画像であり、また前記小画素数かつ多チャンネル数の画像は、低解像度のマルチバンドカメラによって撮影された画像である請求項５または６に記載の画像データ処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像データ処理方法及び装置と該方法を実行するためのプログラムを記録した記録媒体に係り、特に、スペクトル画像データの処理を行い、被写体画像の良好な色再現を行う技術に関する。
【０００２】
【従来の技術】
近年、美術館等において、作品をデジタル化して記録、保存するいわゆるデジタルアーカイブが進みつつある。従来、このような記録作業は、銀塩写真を用いて行われるのが一般的であった。しかし、銀塩写真の色再現は必ずしも正確とは言えず、また撮影に用いられる光源によって結果が左右される等の問題があるため、被写体のスペクトル情報を取得できるマルチバンドカメラが利用されるようになってきた。マルチバンドカメラとは、可視域をいくつかの領域に分ける狭帯域のフィルタを用いて被写体を撮影し、それぞれの画像から各画素のスペクトル情報を復元するカメラである。
【０００３】
従来のマルチバンドカメラでは、干渉フィルタと銀塩カメラを組み合わせて撮影を行い、フィルムに撮影された画像を、スキャナ等で読み取ってデジタル化し、各画像の位置合わせ（レジストリ作業）を行って各点（画素）のスペクトル情報を求めていた。しかし、複数の画像の位置合わせを正確に行うことは容易ではなく、結果として得られる画像の画質を損なう場合もあった。
ところで、ＣＣＤカメラの場合には、被写体情報を直接デジタル化できることから、カメラを固定しておけば、レジストリ作業の必要がなく、後のデータ処理を簡易化することができる。そこで近頃では、レジストリ作業の容易さから、撮像装置として、ＣＣＤカメラが利用されることが多くなってきた。
【０００４】
ところが、多画素数のＣＣＤカメラは、非常に高価であり、また、これらにしても画素数に限りがあるため、ＣＣＤカメラを使ったマルチバンドカメラの画素数は１００万画素を越えるものはほとんどなかった。従って、これでは絵画の保存等の目的のためには画素数が充分とは言えず、より多くの画素数を取得できるマルチバンドカメラが要望されていた。
これに対して、例えば、銀塩カメラから輝度情報のみを取得し、これにマルチバンドカメラより得られた色情報を組み合わせて、高精細のスペクトル画像を得る方法が、Proc.of IS&T/SID Sixth Color Imaging Conference,224-227,1998に記載されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記方法では、やはり、銀塩カメラから得られた画像とマルチバンドカメラから得られた画像を、正確に位置合わせする必要があり、相変わらず作業が煩雑であるという問題があった。
本発明は、前記従来の問題に鑑みてなされたものであり、例えば、銀塩カメラ等の高精細画像と解像度の低いマルチバンド画像を用いて、位置合わせを必要とせず簡易に高精細なスペクトル画像を得ることのできる画像データ処理方法及び装置と該方法を実行するためのプログラムを記録した記録媒体を提供することを課題とする。
【０００６】
【課題を解決するための手段】
前記課題を解決するために、本発明の第一の態様は、同一被写体を撮影して得られた、多画素数かつ小チャンネル数の画像と、小画素数かつ多チャンネル数の画像とを組み合わせて、多画素数かつ多チャンネル数の画像を作成する画像データ処理方法であって、前記多画素数かつ小チャンネル数の画像中の所定の一点を着目画素として、該着目画素に対応する前記小画素数かつ多チャンネル数の画像中の一点を中心に設定された所定領域内の複数の画素における画像データに対して、主成分分析を行い、該主成分分析によって得られた所定数の主成分ベクトルの線型和を用いて、前記多画素数かつ小チャンネル数の画像中における前記着目画素の出力値を再現するように、前記線型和の係数を決定し、これにより前記着目画素のスペクトル情報を求めることにより、多画素数かつ多チャンネル数の画像を作成することを特徴とする画像データ処理方法を提供する。
また、前記所定領域は、前記主成分分析の結果求められた第３主成分までの累積寄与率が９０％以上となるような画素数を含むことが好ましい。
【０００７】
また、前記画像データ処理方法において、前記多画素数かつ小チャンネル数の画像は、銀塩カメラによって撮影された画像をスキャナにより取り込んで得られる画像であり、また前記小画素数かつ多チャンネル数の画像は、低解像度のマルチバンドカメラによって撮影された画像であることが好ましい。
また、同様に前記課題を解決するために、本発明の第二の態様は、第一の態様の画像データ処理方法を実行するためのプログラムを記録したことを特徴とする記録媒体を提供する。
【０００８】
また、同様に前記課題を解決するために、本発明の第三の態様は、同一被写体を撮影して得られた、多画素数かつ小チャンネル数の画像と、小画素数かつ多チャンネル数の画像とを組み合わせて、多画素数かつ多チャンネル数の画像を作成する画像データ処理装置であって、前記多画素数かつ小チャンネル数の画像中の所定の一点を着目画素として、該着目画素に対応する前記小画素数かつ多チャンネル数の画像中の一点を中心に設定された所定領域内の複数の画素における画像データに対して、主成分分析を行う手段と、前記主成分分析によって得られた所定数の主成分ベクトルの線型和を用いて、前記多画素数かつ小チャンネル数の画像中における前記着目画素の出力値を再現するように、前記線型和の係数を決定する手段と、前記決定された係数により前記着目画素のスペクトル情報を算出する手段と、を備え、多画素数かつ多チャンネル数の画像を作成することを特徴とする画像データ処理装置を提供する。
また、前記所定領域は、前記主成分分析の結果求められた第３主成分までの累積寄与率が９０％以上となるような画素数を含むことが好ましい。
【０００９】
また、前記画像データ処理装置において、前記多画素数かつ小チャンネル数の画像は、銀塩カメラによって撮影された画像をスキャナにより取り込んで得られる画像であり、また前記小画素数かつ多チャンネル数の画像は、低解像度のマルチバンドカメラによって撮影された画像であることが好ましい。
【００１１】
【発明の実施の形態】
以下、本発明に係る画像データ処理方法及び装置と該方法を実行するためのプログラムを記録した記録媒体について、添付の図面に示される好適実施形態を基に、詳細に説明する。
【００１２】
図１は、本発明に係る画像データ処理装置を組み込んだ画像再現システムの概略を示すブロック図である。
図１に示すように、本画像再現システム１は、撮影対象（被写体）１０を、必要に応じて照明光源１２で照明し、銀塩カメラ１４およびマルチバンドカメラ１６により撮影し、それぞれの撮影画像をデジタル画像データとして画像データ処理装置３０に入力して、これに対し画像データ処理装置３０において所定の画像データ処理を行い、高精細なスペクトル画像を作成して画像出力装置４０から複製画像として出力するものである。
【００１３】
銀塩カメラ１４によって撮影され現像処理されたフィルム１８の画像は、スキャナ２０によって読み取られ、デジタル画像データとして画像データ処理装置３０に入力される。また、マルチバンドカメラ１６は、ＣＣＤカメラを用いており、これによって撮影された画像は、そのままデジタル画像データとして画像データ処理装置３０に入力される。
【００１４】
これらのカメラとしては、特に限定されるものではないが、本実施形態では、銀塩カメラ１４としては、旭光学社製ＰＥＮＴＡＸＺ−５Ｐを使用し、感光材料としては、富士写真フイルム社製Super G ACE 400 を使用した。また、これを現像処理して得られたフィルムを読み取るスキャナ２０としては、富士写真フイルム社製ＣＥＬＳＩＳ６２００を用いた。これによって得られた画像の画素数は、２７００×２７００であり、また各画素のチャンネル数はＲ、Ｇ、Ｂの３チャンネルである。
【００１５】
また、マルチバンドカメラ１６としては、本実施形態では、富士写真フイルム社製のマルチバンドカメラでＣＣＤカメラ部、分光フィルタ部及びパーソナルコンピュータから構成されるものを用いた。ＣＣＤカメラは、ＤＡＬＳＡ社製ＣＡ−Ｄ４−１０２４Ａ、ＰＣＩ  Ｉ／Ｆであり、このＣＣＤカメラはモノクロで、ピクセル数１０２４×１０２４（pixel)、ピクセルサイズ１２×１２（μ）である。分光フィルタは、ＣＲＩ社製の液晶チューナブルフィルタ、Varispec Tunable Filter ＲＳ２３２Ｃ  Ｉ／Ｆであり、これは、波長範囲４００〜７２０nm、で中心波長を任意に選択可能であり、波長半値幅３０nm、透過率６〜６０％（波長に依存）である。また、パーソナルコンピュータは、ＰＲＯＳＩＤＥ社製のブック型ＰＣ（Windows ９５）Ｃ＋＋であり、ＣＰＵは１６６ＭＨｚ、ＲＡＭは１２８Ｍbyteである。
このようなマルチバンドカメラ１６を用いて、被写体を撮影し、１６の波長（チャンネル）に関するデータ（デジタルデータ）として、画素数１０２４×１０２４、チャンネル数１６のスペクトル画像を得て、このデジタル画像データを画像データ処理装置３０に入力する。
【００１６】
図２に、画像データ処理装置３０の概略構成を示す。
図２に示すように、画像データ処理装置３０に入力された銀塩画像データおよびマルチバンド画像データは、それぞれメモリ３１および３２に格納される。
画像データ処理装置３０は、この他、主成分分析手段３３、係数決定手段３４およびスペクトル情報算出手段３５を有して構成される。
【００１７】
上に述べたように、銀塩画像データは、画素数２７００×２７００でチャンネル数３のデジタル画像データであり、また、マルチバンド画像データは、画素数１０２４×１０２４でチャンネル数１６のデジタル画像データである。
従ってこれらを比較すると、銀塩画像データは、マルチバンド画像データに対し、多画素数かつ小チャンネル数の画像であり、マルチバンド画像データは、銀塩画像データに対し、小画素数かつ多チャンネル数の画像であるということができる。
【００１８】
本実施形態の画像データ処理装置３０は、多画素数かつ小チャンネル数の銀塩画像データの着目画素に対応する、小画素数かつ多チャンネル数のマルチバンド画像中の一点を含む所定領域の画像データに対して主成分分析を行い、前記銀塩画像データ中の着目画素における露光量と一致するように、前記主成分分析によって得られた主成分ベクトルの線型和を用いて露光量を表し、このときの線型和の係数を用いて前記着目画素のスペクトル情報を算出することにより、多画素数かつ多チャンネル数の画像を作成するものである。
【００１９】
主成分分析手段３３は、銀塩画像データ中のある一点を着目画素として、これに対応するマルチバンド画像データ中の一点について、これを含む所定領域をとり、この領域内のデータをメモリ３２から取り出して、主成分分析を行う。主成分分析によって、第１、第２、第３主成分ベクトルｖ１、ｖ２、ｖ３を求める。
なお、本実施形態では、マルチバンド画像中における前記所定領域の大きさは、前記着目画素に対応する一点を中心に、５０×５０画素とした。
この領域は、好適には、少なくとも主成分分析を行うことができる程度以上の大きさとし、また第３主成分までの累積寄与率が一定程度以上となるような大きさまでの範囲とするのがよい。特に、第３主成分までの累積寄与率が９０％以上となるような画素数の領域をとると、分光反射率の再現精度が高くなり、より好ましい。
【００２０】
次に、係数決定手段３４において、主成分分析の結果求められた第１、第２、第３主成分ベクトルｖ１、ｖ２、ｖ３を用いて、被写体の分光反射率を近似できるとした場合、次の式（１）〜（３）により、着目画素の出力値として、感材が受ける露光量ＥR'、ＥG'、ＥB'を、主成分ベクトルｖ１、ｖ２、ｖ３のα、β、γを係数とする線型和を用いて、計算することができる。
ＥR'＝Σ［Ｐ(n)・ＳR(n)・ ｛α・ ｖ1(n)＋β・ ｖ2(n)＋γ・ ｖ3(n)｝] ・・・（１）
ＥG'＝Σ［Ｐ(n)・ＳG(n)・ ｛α・ ｖ1(n)＋β・ ｖ2(n)＋γ・ ｖ3(n)｝] ・・・（２）
ＥB'＝Σ［Ｐ(n)・ＳB(n)・ ｛α・ ｖ1(n)＋β・ ｖ2(n)＋γ・ ｖ3(n)｝] ・・・（３）
ここで、Ｐ(n) は、照明光の分布、ＳR(n)、 ＳG(n)、 ＳB(n)は、それぞれカラーネガフィルムのＲ、Ｇ、Ｂ層の分光感度を表し、また、和Σは、チャンネル数ｎ＝１〜１６についてとるものとする。以下、係数α、β、γの決定方法について説明する。
【００２１】
上記式（１）〜（３）において、ａ、〜、ｉを次の式（４）〜（１２）のようにおくと、式（１）は、下記の式（１３）のように変形することができる。なお、和Σはいずれもチャンネル数ｎ＝１〜１６についてとるものとする。
ａ＝Σ［Ｐ(n)・ＳR(n)・ ｖ1(n)］      ・・・・・・（４）
ｂ＝Σ［Ｐ(n)・ＳR(n)・ ｖ2(n)］      ・・・・・・（５）
ｃ＝Σ［Ｐ(n)・ＳR(n)・ ｖ3(n)］      ・・・・・・（６）
ｄ＝Σ［Ｐ(n)・ＳG(n)・ ｖ1(n)］      ・・・・・・（７）
ｅ＝Σ［Ｐ(n)・ＳG(n)・ ｖ2(n)］      ・・・・・・（８）
ｆ＝Σ［Ｐ(n)・ＳG(n)・ ｖ3(n)］      ・・・・・・（９）
ｇ＝Σ［Ｐ(n)・ＳB(n)・ ｖ1(n)］      ・・・・・・（１０）
ｈ＝Σ［Ｐ(n)・ＳB(n)・ ｖ2(n)］      ・・・・・・（１１）
ｉ＝Σ［Ｐ(n)・ＳB(n)・ ｖ3(n)］      ・・・・・・（１２）
【００２２】
【数１】
0004259742.tif 000002
【００２３】
従って、上記式（１３）をα、β、γについて解けば、次の式（１４）が得られる。
【００２４】
【数２】
0004259742.tif 000003
【００２５】
ここで、メモリ３１に格納されている銀塩画像データより、着目画素のＲＧＢデジタル信号よりＲＧＢの各層が受けた露光量ＥR 、 ＥG 、ＥB を、予めレーザー露光により求めておいた露光量と発色濃度の関係を表す３次元ルックアップテーブルを用いて算出する。この露光量ＥR 、 ＥG 、ＥB を上記式（１４）の露光量ＥR'、ＥG'、ＥB'に代入することにより、次の式（１５）のようにして、係数α、β、γを求めることができる。
【００２６】
【数３】
0004259742.tif 000004
【００２７】
このようにして、主成分ベクトルの線型和の係数α、β、γを決定することにより、銀塩画像データ中の着目画素の出力値である露光量を、主成分ベクトルで表すことができ、各点の分光反射率を精度よく推定できる。
そこで、スペクトル情報算出手段３５においては、上で決定された係数α、β、γを用いて、次の式（１６）により、多画素数かつ小チャンネル数の銀塩画像データ中の着目画素のスペクトル情報Ｒ（ｎ）を算出する。
Ｒ（ｎ）＝α・ ｖ1(n)＋β・ ｖ2(n)＋γ・ ｖ3(n)    ・・・・・・（１６）
ここで、ｎはチャンネル数１〜１６である。
このような操作を銀塩画像データ中の全ての点について行うことで、２７００×２７００画素で１６チャンネルの、多画素数かつ多チャンネル数の画像を得ることができる。
【００２８】
このようにして得られた多画素数かつ多チャンネル数の画像は、必要に応じてその他の画像処理を施され、画像出力装置４０から複製画像として出力される。
また、上記画像データ処理方法を実行するためのプログラムを所定の記録媒体に記録しておけば、さまざまなシステムにおいて、本実施形態と同じ画像データ処理を実行することができ、便利である。
【００２９】
このように本実施形態によれば、銀塩カメラと、画素数の少ない、低解像度のマルチバンドカメラを組み合わせることにより、従来のような位置合わせを必要とせずに高精細なスペクトル画像を得ることができる。
なお、本実施形態では、ＣＣＤカメラを用いたマルチバンドカメラを使用したが、ＣＣＤカメラに限定されるものではなく、低解像度のマルチバンドカメラであればよい。また、多画素数、小画素数、多チャンネル数、小チャンネル数というのは、相対的なものであり、通常は、小チャンネルといえば、ＲＧＢの３チャンネルであり、それより多ければ多チャンネル数と言える。また、画素数については、通常１００万画素数程度かそれ以下が小画素数であり、これより多い、好ましくは、３００万画素を越えるものが多画素数と言える。
【００３０】
以上、本発明の画像データ処理方法及び装置と該方法を実行するためのプログラムを記録した記録媒体について詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよいのはもちろんである。
【００３１】
【発明の効果】
以上説明した通り、本発明によれば、多画素数かつ小チャンネル数の画像データである高精細画像と小画素数かつ多チャンネル数の画像データである低解像度の画像を用いて、簡易に多画素数かつ多チャンネル数の高精細なスペクトル画像を得ることができる。
【図面の簡単な説明】
【図１】  本発明に係る画像データ処理装置を組み込んだ画像再現システムの概略を示すブロック図である。
【図２】  本発明に係る画像データ処理装置の一実施形態の概略構成を示すブロック図である。
【符号の説明】
１  画像再現システム
１０  撮影対象（被写体）
１２  照明光源
１４  銀塩カメラ
１６  マルチバンドカメラ
１８  フィルム
２０  スキャナ
３０  画像データ処理装置
３１、３２  メモリ
３３  主成分分析手段
３４  係数決定手段
３５  スペクトル情報算出手段
４０  画像出力装置
【図１】
0004259742.tif 000005
【図２】
0004259742.tif 000006