(57)【要約】本発明は、フォトサイト間で相違し得るスペクトル感度を備える複数のフォトサイトを含むカラー画像の獲得に関する。本発明は、フォトサイトによって放射される信号のデジタル処理を提供し、それは、フォトサイトの様々なスペクトル感度を考慮して、前記信号に空間的彩色の伝達関数を適用することを備える。センサは、それから、カラーフィルタの物質的マトリックスを欠くことができる。センサのスペクトル補正も、この目的のために設けられており、従って、次の工程を備える。各フォトサイトのスペクトル感度データを取得し（Ｓ９１）、フォトサイトの様々なスペクトル感度を考慮して空間的彩色の伝達関数を構築し（Ｓ９４）、また、上述した様々な感度を補償するためにフォトサイトによって放射される信号に上記関数を適用する。
2013526170.tif 000002
【特許請求の範囲】
【請求項１】
カラーイメージセンサのスペクトル校正のための方法であって、前記センサは、フォトサイト間で異なっているであろうスペクトル感度を有する複数のフォトサイトを備えており、
・各フォトサイトのためにスペクトル感度データを取得するステップ（Ｓ９１）と、
・フォトサイトの前記スペクトル感度の多様性を考慮しており、かつ、感度における前記多様性を補償するためにフォトサイトからの信号に適用されるべき空間色彩伝達関数を構築するステップ（Ｓ９２、Ｓ９３、Ｓ９４）と、
を備える方法。
【請求項２】
Ｈ×Ｗピクセルのイメージのためのものであり、かつ、Ｈ×Ｗのフォトサイトを備えるカラーイメージセンサのスペクトル校正のためのものであり、
ａ）ｉ行ｊ列のセンサフォトサイト毎に、そのフォトサイトに対する光波長の関数として、フォトサイトｉ，ｊからの信号の強度を与えるスペクトル校正関数ｆｉ，ｊ（λ）を取得するステップ（Ｓ９１）と、
ｂ）Ｈ×Ｗの次元であり、かつ、少なくともＫ色について光強度レベルがピクセル毎に既知である少なくとも１つの標準イメージから、
・各行について、標準イメージの中心ピクセルの近傍におけるピクセルの強度に夫々が対応しているｎ．ｍマトリックスの成分を備え、前記強度の夫々が、標準イメージの、あるピクセルのｉ行ｊ列についての対応する校正関数ｆｉ，ｊ（λ）によって調整されているものを、
・Ｗ．Ｈ行について備えている
第１のマトリックスシステムＸを構築するステップ（Ｓ９２）と、
ｃ）前記標準イメージのために、
・各行において、標準イメージのピクセル毎に、前記Ｋ色についての実信号強度レベルＫを備えるものを、
・Ｗ．Ｈ行について備えている
第２のマトリックスシステムＹを構築するステップ（Ｓ９３）と、
ｄ）センサによって獲得された現在イメージにステップｂ）を適用することにより構築された第１の現在マトリックスシステムＸ’から、この現在イメージの各ピクセルについての第２の現在マトリックスシステムＹ’に従って、かつ、Ｈ．Ｘ’＝Ｙ’となるように、色強度レベルの実配分を獲得するために、
Ｈ．Ｘ＝Ｙとなるように、第１のマトリックスシステムＸと第２のマトリックスシステムＹとの間での変換のための校正マトリックスシステムＨを確立し、
その校正マトリックスシステムＨは前記空間色彩伝達関数を表すものであるステップ（Ｓ９４）と、
を備える請求項１に記載の方法。
【請求項３】
第１及び第２のマトリックスシステムが、データベース内のイメージの組みを通じて平均化された第１のマトリックスＸ及び第２のマトリックスＹを確立するために、データベース内の複数の標準イメージの中の１つの標準イメージのための指標に特有な第３の次元を備える請求項２に記載の方法。
【請求項４】
ステップｂ）における中心ピクセルの近傍におけるピクセルの数が色の数Ｋ以上である請求項２又は３に記載の方法。
【請求項５】
ステップａ）において、フォトサイト毎に、選択されたスペクトル域内の連続は長Ｐについてフォトサイトからの信号のための強度値が所得され、１組のＰ取得信号強度が、スペクトル校正関数ｆｉ，ｊ（λ）を形成しており、かつ、
第２のマトリックスシステムＹを形成し、かつ、夫々が１つの色に対応しているＫ列を得るために、大凡Ｐ／Ｋ列を一緒に平均かすることにより、Ｋ色の現在イメージのために第２のマトリックスシステムが減縮される請求項２乃至４の何れか１項に記載の方法。
【請求項６】
Ｋ＝３で、Ｋ色が、赤、緑、青である請求項２乃至５の何れか１項に記載の方法。
【請求項７】
Ｋ＝４で、Ｋ色が、黒、シアン、黄、マゼンタである請求項２乃至５の何れか１項に記載の方法。
【請求項８】
上記近傍の次元ｎ．ｍが７×７以上である請求項２乃至７の何れか１項に記載の方法。
【請求項９】
ステップｂ）における校正関数ｆｉ，ｊ（λ）による調整は、第１のマトリックスシステムＸにおける各マトリックス要素Ｘｉ，ｊについて、以下のタイプの式を計算することに等しく、
【数７】
2013526170.tif 000010
但し、
・Ｉｉ，ｊ（λ）は、波長λにおける、ｉ行ｊ列のフォトサイトからの信号についての強度測定であり、
・Ｒ（λ）は、スペクトル感度関数であり、
・Ｕは、可視スペクトル域において、所定の間隔で選択された波長の数である請求項２乃至８の何れか１項に記載の方法。
【請求項１０】
前記スペクトル感度関数が以下のタイプのガウス分布で表される
【数８】
2013526170.tif 000011
請求項９に記載の方法。
【請求項１１】
前記所定の間隔が大凡ｐ＝１０ｎｍであり、大凡３０波長の合計数Ｕを達成する請求項９又は１０に記載の方法。
【請求項１２】
プロセッサによって実行された際に請求項１乃至１１の何れか１項に記載の方法を実現する指令を含むコンピュータプログラム。
【請求項１３】
フォトサイト間でスペクトル感度が異なっているであろう複数のフォトサイトを備えるセンサによってカラーイメージを獲得する方法であって、フォトサイトからの信号をデジタル処理するための手段を使用し、フォトサイトのスペクトル感度における多様性を考慮して空間色彩伝達関数（Ｓ９４）を前記信号に適用（Ｓ９５）し、
前記伝達関数は、請求項１乃至１２の何れか１項に記載の校正方法を用いることで取得され、
前記センサは、物理的なカラーフィルタアレイを伴わない方法。
【請求項１４】
前記センサは、請求項１乃至１１の何れか１項に記載の方法、及び前記空間色彩伝達関数を表す校正マトリックスシステムＨを用いて構成されており、フォトサイトのスペクトル感度における多様性のための補償を含み、
ａ’）センサによって獲得され、かつ、Ｗ×Ｈの次元を有する少なくとも１つの現在イメージから、
・各行について、現在イメージの中心ピクセルの近傍内にあるピクセルの強度に夫々が対応しているｎ．ｍマトリックスの成分を備えるものを、
・Ｗ×Ｈ行について備えている
第１の現在マトリックスシステムＸ’を構築するステップ（Ｓ９５）と、
ｂ’）Ｈ．Ｘ’＝Ｙとなるように、第２のマトリックスシステムＹ’を取得するために（Ｓ９６）第１のマトリックスシステムＸ’に校正マトリックスシステムＨを適用するステップとを含み、第２のマトリックスシステムＹ’は、
・各行において、現在イメージの各ピクセルのための色強度の実配分を備えるものを、
・夫々が現在イメージのＷ×Ｈピクセルの１つに対応するＷ×Ｈ行について備えている請求項１３に記載の獲得方法。
【請求項１５】
プロセッサによって実行された際に請求項１３又は１４に記載の方法を実現する指令を含むコンピュータプログラム。
【請求項１６】
複数のフォトサイトを備えるカラーイメージセンサからのデジタルイメージを処理するためのモジュールであって、請求項１又は１３に記載の方法を実現するための手段を備えるモジュール。
【請求項１７】
請求項１６に記載のモジュールと、前記モジュールに接続されたセンサとを備え、前記センサは、物理的なカラーフィルタアレイを伴わないものであるシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のフォトサイトを備えるセンサからカラーイメージを獲得することに関し、そのセンサは各フォトサイトに特有な複数のスペクトル感度を有する。
【背景技術】
【０００２】
センサ解像度（単位表面積当たりの有効ピクセル数を意味する）の増加は重大な課題を提起する。現在では、可視スペクトルの範囲内で、カメラのために、数平方ミリメートルの表面積に対して１０メガピクセルの解像度が達成されている。もちろん、この課題は、他の波長（赤外線、紫外線）にも影響を及ぼし得る。
【０００３】
解像度が増加するに連れて、センサ（フォトサイト）の感受部分の表面積は大幅に減少させられる。センサのフォトサイトに到達する光の量は、その表面積の二乗に比例する。従って、それは、フォトサイトの表面積の減少と比較して、２基底の指数関数的に減少する。可視スペクトルにおいて、センサは、通常の光の条件下では最早満足なイメージを得ることを許さない信号対雑音比を伴って現在では作製されている。デジタル写真の分野では、従って、センサに達する光のりょうを増加させることが望ましい。
【０００４】
可視スペクトルのカラーイメージセンサの場合、センサの表面に三色フィルタ（赤、緑、青）又は四色フィルタ（赤、緑、青、エメラルド）のアレイを加えることによりピクセルが「着色」される。この方法では、各ピクセルに特定の色要素が割り当てられる。カラーフィルタアレイで最も人気のあるものは、バイエルフィルタモザイクと呼ばれ、図１に示すようなものである。ここで、
・Ｒは赤を示し、
・Ｇは緑を示し、
・Ｂは青を示している。
【０００５】
この種のアレイは、カラーフィルタアレイのパターンによって決定される赤、緑、青の色の一つでイメージセンサのピクセル又はフォトサイトのそれぞれを「着色」するために用いられる。そのため、（図１に表されているように各ピクセルにおいて三色要素を有する）カラーイメージは、赤、緑及び青の色のモザイクで形成されたイメージによって再構築される。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
カラーイメージを獲得するためのこのアプローチの主たる不利益は、カラーフィルタが光の一部を吸収してしまい、それによりフォトサイトに到達する光の量が減少することである。これらのフィルタの構造は、生産ラインにおいて様々な追加の作業を要求する。
【課題を解決するための手段】
【０００７】
本発明は、上記の状況を改善する。
【０００８】
そのようにするために、第１に、フォトサイト間で異なることがあるスペクトル感度を有する複数のフォトサイトを備えるセンサによりカラーイメージを獲得するための方法を提案する。本発明において、上記の方法は、フォトサイトからの信号をデジタル的に処理するための方法を用い、この種のデジタル処理は、フォトサイトのスペクトル感度における多様性を考慮して空間的彩色の伝達関数をこれらの信号に適用することを特に含み、従って、センサが物質的なカラーフィルタアレイを伴わないものである。
【０００９】
本発明は、このように、カラーフィルタを用いる物質的なフィルタリングを、センサからの信号のデジタル処理に置き換えることを提案する。
【００１０】
第１に、フォトサイトのスペクトル伝送特性が知られていなければならず、また、本発明は、それから追加的に、カラーイメージセンサのスペクトル校正のための方法に関連しており、センサは、フォトサイト間で相違し得るスペクトル感度を有する複数のフォトサイトを備えている。
【００１１】
この種の方法は、従って以下の工程を備えている。
・各フォトサイトのスペクトル感度データを取得し、
・フォトサイトの前記スペクトル感度の多様性が考慮され、かつ、感度におけるこの多様性を補償するためにフォトサイトからの信号に適用されるべき空間的彩色の伝達関数を構築する。
【００１２】
本発明は、プロセッサによって実行される際に上記のカラーイメージ獲得方法を実現するための命令を備えるコンピュータプログラムにも関する。この種のプログラムのためのアルゴリズムについての例示的実施形態は、例示的実施形態として以下に説明する図９におけるフローチャートの終わりにより表すことができる。
【００１３】
本発明は、複数のフォトサイトを備え、かつ、上記のイメージ獲得方法を実現するための手段を備える、カラーイメージセンサからのデジタルイメージを処理するためのモジュールにも関する。本発明は、この種のモジュールとこのモジュールに接続されたセンサとを備えるシステムにも関している。センサは、有益的に、カラーフィルタアレイを伴っていない。このモジュールを集積するこの種のシステムは、以下に説明する図１０中に、非常に模式的に表されている。
【００１４】
本発明は、プロセッサによって実行される際に、上述したセンサのスペクトル校正のための方法を実現するための命令を備えるコンピュータプログラムにも関する。この種のプログラムのためのアルゴリズムについての例は、例示的実施形態として以下に説明する図９におけるフローチャートの始まりにより表すことができる。
【図面の簡単な説明】
【００１５】
本発明の他の特徴および効果は、例として挙げられている幾つかの実施形態についての以下の記載、及び以下の事項に関する添付の図面を読むことにより明らかになると思われる。
【図１】バイエルカラーフィルタアレイを表す。
【図２】「ハイパースペクトルイメージ」の意味するところを示す。
【図３】フォトサイトが、相違し、かつ、ランダムなスペクトル感度であるセンサの一部の例を示す。
【図４】センサの予備校正ステップを実現するための装置の例を模式的に示す。
【図５】ハイパースペクトルイメージＩのカラーイメージ（表示した例では赤緑青の３色）への変換を示す。
【図６】センサによってサンプリングされたハイパースペクトルイメージの近傍を含むベクトルＸの構築を示す。
【図７】上述した変換マトリックスを構成する再構築フィルタＨｉの演算を示す。
【図８】上述した近傍ｎ．ｍのサイズの関数として再構築の品質を示す。
【図９】本発明の方法の主要ステップを要約する。
【図９ａ】Ｋ色のシステム（例えばＫ＝３であれば赤緑青のシステム）において表現される獲得イメージを表す図９ｂの変換マトリックスＹ’を取得するために用いられ、本発明の意味における再構築変換前の獲得イメージマトリックスＸ’の形成を示す。
【図９ｂ】そのように変換されたＹ’マトリックスの形成を表す。
【図１０】上述したイメージ取得方法を実現するための無ジュールを含むシステムの非常に模式的な実例を示す。
【発明を実施するための形態】
【００１６】
本発明は、センサに異なる波長間の区別を可能ならしめるためセンサのフォトサイト間に存在する自然分散を使用することを提案する。この分散は、もちろん、原則としてランダムであり、かつ、予測不可能である。従って、例えばバリエーションを製造することを前提とすれば、各センサがそれ自身の自然分散を有することが理解される。
【００１７】
そうであったとしても、センサは、ランダムで、かつランダムに分配されたスペクトル感度を有する多くのカラーフィルタから成るものとして形式的に考えることができる。本発明の１つのアプローチは、従って、以下に説明するように、センサによって獲得された複数イメージに対するモデルを第１に定義することにより、センサによって獲得された実際のイメージからカラーイメージを再構築することから成る。
【００１８】
カラーフィルタアレイを伴わないイメージセンサは、波長に対するランダムな応答とこれもまたランダムな空間的配置とを有するフォトサイトのマトリックスであると形式的には考えることができる。この種のセンサにより出力されるスペクトル情報を決定するために、本発明は、各波長において各ピクセルに対する光の強度Ｉ（ｉ，ｊ，λ）が予め（例えば測定により）知られているハイパースペクトルイメージを使用することを提案する。
【００１９】
図２は、「ハイパースペクトルイメージ」が意味するところの表現を示す。それは、ｉ行ｊ列の各ピクセルが、複数の波長λにおける１組の強度によって特徴づけられる三次元マトリックスの表現である。
【００２０】
この種のハイパースペクトルイメージＩ（ｉ，ｊ，λ）から、対応するハイパースペクトルイメージの合成イメージの各々に対するゲインを調整することにより、選択されたスペクトル感度Ｒ（λ）で取得されたイメージＸ（ｉ，ｊ）をシミュレーションすることが可能である。実際には、ハイパースペクトルイメージは、波長の有限領域に対して定められる。特に、可視スペクトルにおける３１の波長、典型的には４００と７００ｎｍとの間の１０ｎｍ間隔において、ハイパースペクトルイメージの情報がしばしば存在する。イメージのための方程式は、従って、以下のように記述される。
【００２１】
【数１】
2013526170.tif 000003
【００２２】
実際には、純粋なランダム関数がスペクトル感度Ｒ（λ）として選択されることはない。例えば、シリコンは、特定のスペクトル感度を有している。しかしながら、スペクトル感度は、フォトサイトの製造工程に強く依存している。例えばフォトサイト間のレギュラードーピングのように、この分散を減らすための技術が存在している。
【００２３】
フォトサイトシミュレーションの生成を単純化し、かつ、フォトサイトの分散の程度を制御するために、本発明の１実施形態では、以下に示すように、フォトサイトスペクトル感度のガウス関数を使用する。
【００２４】
【数２】
2013526170.tif 000004
【００２５】
パラメータｋ、μ及びσは、各フォトサイトに対してランダムに選択される。このようにして、センサは、ランダムな色感度関数を有してシミュレーションされる。感度関数を制限するために、これらのパラメータの変化の間隔は以下の通りに選択される。
【００２６】
【数３】
2013526170.tif 000005
【００２７】
このように、これらの特徴をより一般的な用語で要約するために、（例えばデータベースからの）基準イメージをセンサによって”見られた”ものとして構築するために、この基準イメージの各ピクセルの波長の関数として強度を調整するために、各ピクセルｉ，ｊに対してスペクトル校正関数ｆｉ，ｊ（λ）が定義される。この調整は、イメージマトリックスＸにおける各マトリックス要素Ｘｉ，ｊについて、以下のタイプの式を計算することに等しい。
【００２８】
【数４】
2013526170.tif 000006
【００２９】
但し、
・Ｉｉ，ｊ（λ）は、波長λにおける、ｉ行ｊ列のフォトサイトからの信号についての強度測定であり、
・Ｒ（λ）は、例えば以下のタイプのガウスの式としてもよいスペクトル感度関数であり、
【００３０】
【数５】
2013526170.tif 000007
【００３１】
・そして、Ｕは、（４００と７００ｎｍとの間の）可視スペクトル域において、所定の間隔（例えば間隔ｐ＝１０ｎｍは、約３０の波長（より正確には３１）の合計数Ｕを意味する）で選択された波長の数である。
【００３２】
センサは、従って、各ピクセルについて特定の波長において感度関数を有している。図３には、センサのフォトサイトの異なるスペクトル感度の例を示す。例えば、Ｒで示すフォトサイトはフォトサイトの平均より「赤」く、一方、フォトサイトＢはより「青く」、図３中右側の腺図に示すように、フォトサイトＲによって受けられた白色光は、フォトサイトＢよりも、また、全可視スペクトル４００−７００ｎｍに渡ってより「平坦」なスペクトル強度を有する平均フォトサイトＭの強度と比較して、赤色波長（６００−７００ｎｍ）において強度の強い信号を生成することを意味している。
【００３３】
この第１段階の後、次いで、上記の等式（１）に従ってハイパースペクトルイメージを使用して、このセンサによるカラーイメージの獲得をモデル化することができる。この目的にためには、以下の値を伴って、異なるセンサ構成を用いることができる。
・０．５と１の間のｋ、
・４５０と６５０ｎｍの間のμ、及び
・５０と２００の間のσ
【００３４】
しかしながら、センサの感度関数は原則として知られていない。従って、ピクセルの夫々を、それに対応する関数を決定するために校正することが適切である。この目的のために、例えば、図４に表されている通りそれによって基準画面がセンサＳＥＮにより１０ｎｍ間隔で４００と７００ｎｍの間の波長の夫々について獲得される単色光分光器ＭＯＮの使用から成る校正ステップが提供される。より詳しくは、図４のデバイスは、
・実際上固有の、選択された波長で光を届けることのできる単色光分光器ＭＯＮと、
・分光光度計ＳＰＥにおける入射光の強度を測定して、最終的にセンサＳＥＮに焦点が合わされる光の強度Ｉ０（λ）を推定するためにこの光の一部を分光光度計ＳＰＥに向かわせることのできる半反射板ＳＲと、
・単色光分光器ＭＯＮが供給することのできる各波長に対して、受光強度に伴って変化する信号Ｉ（λ）を発することを各フォトサイトが意図されているセンサＳＥＮと、
・フォトサイトによって分配される信号強度Ｉ（λ）と、それが受ける実際の光強度Ｉ０（λ）との間の関係を、各波長λに対して確立するためのコンピュータＰＣとを備える。
【００３５】
この種のデバイスによれば、単色性の波長の１組について、センサの各ピクセルの応答を測定することができる。これによれば、前記の組における各波長についてセンサ内の全てのピクセルに対する感度イメージが得られる。
【００３６】
そのイメージがセンサによってランダムなスペクトル感度で捕えられるため、次にカラーイメージを再構築することが必要である。例えばピクセル（ｉ，ｊ）の３色ＲＧＢ（赤、緑、青のＲＧＢ、又は、場合によってはシアン、マゼンタ、黄色、黒の４色）の再構築は、好ましくは、センサによって捕らえられたイメージ内のｖｈ×ｖｗサイズの（「近傍」）矩形取り囲み領域内部における近傍ピクセルを用いて発生する。ピクセル（ｉ，ｊ）の隣接ピクセルの各々は、単一のピクセル（ｉ，ｊ）より豊かな空間的及びスペクトル的情報を提供する。
【００３７】
ピクセル（ｉ，ｊ）ごとに、以下の方法によるＲＧＢのカラー「値」（例えば強度）の再構築を可能とする３×ｖｈｖｗサイズの再構築カーネルHを考慮する。
Ｙ＝ＸＨ                         (3)
・Ｘは、センサによって捕えられたイメージにおけるピクセル（ｉ，ｊ）に対するｖｈ×ｖｗサイズの近傍を含むｖｈｖｗ×１サイズの列ベクトルであり、
・Ｙは、ピクセル（ｉ，ｊ）に対する赤、緑、及び青の値を含む３×１サイズのベクトルであり、また、Ｘは、上記の近傍からカラーイメージを再構築するためのフィルタを含む３×ｖｈｖｗサイズのマトリックスである。
【００３８】
原則として、カーネルＨ（以下、「再構築フィルタ」と称す）を最初に推定するために、ベクトルＸ及びＹが既知である基準画像のデータベースが用いられ、そして、カーネルＨは以下の演算式によって与えられる（但し、Ｘｔは、マトリックスＸの転置を示す）。
Ｈ＝Ｘｔ．Ｙ．（Ｘｔ．Ｘ）−１      (4)
【００３９】
好ましくは、ハイパースペクトルイメージ、例えば、ｎ＝８のイメージのデータベースが用いられ、そして、再構築フィルタがこれらのイメージのために演算される。
【００４０】
原理は、上に記載された通りである。実際には、第１ステップは、以下の関係を用いてハイパースペクトルイメージからＲＧＢイメージを構築することから成っている。
Ｙ＝ＩＡ                         (5)
【００４１】
このイメージは、ベクトルＹの形であって、図５に示すように構築され、そこにおいて、
・ＨはイメージＩｍの高さを示し、
・Ｗはその幅を示し、また、
・Ｐは（例えば４００ｎｍから７００ｎｍまでの）波長間隔の番号を示している。
【００４２】
このように、三次元マトリックスＩｍは、次の行Ｈ及び次の列Ｗにおける個々のピクセルについて、次の波長Ｐにおけるこのピクセルの光の強度（又はエネルギー等）を含んでいる。
【００４３】
第１ステップの間、例えばデータベースから取り込まれる基準イメージは、最初はこの三次元マトリックスＩｍの形にある。マトリックスＩｍに含まれる波長の関数としての強度データは、従って、この基準画像のために知られる。次いで、次の波長Ｐの夫々について、マトリックスｉｍの各列ｈ１、ｈ２を端と端とを接続して単一の列に整列配置することにより、この三次元マトリックスの二次元マトリックスへの変換が行われる。二次元マトリックスＩが、このようにして、Ｐ列（例えば４００と７００ｎｍの間で１０ｎｍ間隔として３１列）及びＨＷ行（従って、イメージ内のピクセルの総数）を含んで取得される。次のステップは、「赤」Ｒ、「緑」Ｇ、及び「青」Ｂに対する３列を伴うマトリックスＡを構築することなら成り、ここでは、斜線の付された部分がゼロでない（例えば値「１」を有する）マトリックス係数であり、また、他の係数が、例えばゼロである。マトリックスＡは、従って、Ｐスペクトル成分（例えば３１）を有する表現から、３色ＲＧＢ成分（又は、変形において、例えば、シアン、マゼンタ、黄色、黒の４色）を有する表現への変換を可能とする。
【００４４】
このマトリックスＡがステップＳ５２において一旦作成されると、単純なマトリックスの乗算によって、Ｓ５３において、Ｙ＝ＩＡとなるようにマトリックスＹが形成される。イメージの各ピクセルに特有のＲＧＢカラー（”３”軸）を表す三次元マトリックスＩｍＲＧＢをマトリックスＹから推論できることが確認できると思われる。このマトリックスは、次いで、後述するように、再構築フィルタを算出するための基準として用いられる。ここで、方法の次のパートを説明するために図６を参照する。
【００４５】
ステップＳ６１は、マトリックスＩを得るための、図５のステップＳ５１と同一である。次いで、Ｓ６２において、各ピクセルについてランダムに選ばれたｋ，μ及びσの値から、センサのための転送関数マトリックスが構築される。計算を単純化し、かつ、（例えば８の基準画像だけを用いることにより）データベースから抽出される要求データの量を減らすため、ｈ×ｗサイズとして図６中に表されている、画像に比してサイズの小さな、その画像の一部分だけが用いられる。この「センサ部分」は、画像Ｈ．Ｗ．と同じサイズになるようにそれから繰り返される。図３は、この「センサ部分」によって捕獲されたホワイトイメージのモデルの一例を表している。これが特別な実施形態でることは言うまでもなく、変形例としては、センサの「部分」ではなく、センサＨ．Ｗの全てのフォトサイトをマトリックスＪの構築に用いることもできる。ここで、センサの「部分」を選択する動機は、再構築の推定のために要求される情報量を減らすことであり、特にこの特定のケースにおいては、要求されるイメージ情報の量を減らすことである。本発明の方法を実現するためにはデータベースからのほんの８つのイメージだけで十分であるべきことが観測されている。豊かな情報を提供するために、このケースにおいて選ばれるイメージは、スペクトル及び色のコントラストが十分なものであることが好ましい。
【００４６】
次のステップＳ６３では、センサを表すマトリックスＳとハイパースペクトルイメージを表すマトリックスＩを用いてセンサにより取り込まれるイメージＪが、以下の方法によって算出される。
【００４７】
【数６】
2013526170.tif 000008
【００４８】
但し、○の中に×を記して示す記号は、マトリックスＳの係数Ｓｉ，ｊとマトリックスＩの係数Ｉｉ，ｊの積を示しており、ｉ，ｊに対するこれらの積はＰ（例えば３１を越える波長）に渡って合計される。ステップＳ６４において得られるマトリックスＪは、それから、ＨＷ係数を有する単一の行である。これから、イメージＨ．Ｗの次元を有するマトリックスＪが再び定められる。次に、ステップＳ６５において、イメージＪのｈｖ×ｗｖサイズの近傍の夫々からピクセルを抽出して繋ぎ合わせることにより、新たなマトリックスＸを構築することができる。この近傍は、フィルタＨを算出する際に入力として機能する。この種の処理は、ステップＳ６４の最後に表されているように、結局はマトリックスＪの各要素（即ち各ピクセル）の周囲の近傍を考慮することを意味する。
【００４９】
次に、Ｈピクセル×Ｗピクセルの完全なイメージを再構築するために、「センサ部分」の異なる位置の夫々について、図７に示すようにフィルタＨが算出される。図６におけるステップ６５のマトリックスＸから始めて、ｈｖの二次元マトリクスについて、ＨＷ／ｈｗ行、ｈｖ×ｗｖ列を有する三次元マトリクスの形式におけるマトリクスＸを表すために、図６中ステップ６２を参照して上記に表した近傍ｈｖが用いられる（ステップＳ７１）。次のステップＳ７２は、要するに図５のマトリックスＹに同じ処理を施すことを意味する。次に、以下の数式に従って、１とｈｗとの間の各近傍インデックスｉについて再構築マトリックスＨｉが決定される。
Ｈｉ＝（Ｘｉｔ．Ｘｉ）−１．Ｘｉｔ．Ｙｉ
（記号Ｘｔは、Ｘの天地マトリックスを示す）。
【００５０】
このようにして、センサのフォトサイトの夫々に対応するイメージの各ピクセルｉについて、再構成フィルタＨｉが、３色ＲＧＢのために（ステップＳ７３）、また、このピクセルｉ周囲の近傍ｈｖ×ｗｖのために得られる。
【００５１】
上述した通り、演算を減少させるためには、サイズにして２０×２０の近傍を選択して、次に、イメージのサイズに至るまでこれを複製することができる。この方法は、しかしながら、再構築フィルタトレーニングを実行するために十分なハイパースペクトルイメージが存在する場合にのみ如何なるサイズのセンサにも適用される。実行された第１のテストにおいては、夫々の幾つかの部分がトレーニングに用いられたため８つのイメージで十分であった。これらのイメージは、サイズにおいて８００ピクセル×８００ピクセルであり、また、上記の近傍が２０ピクセル×２０ピクセルであるため、各イメージは２０×２０のサンプルを１６００提供する。
【００５２】
イメージを最良に再構築するために用いられるべき近傍のサイズは、最適化されている。再構築方法を幾つかの近傍サイズに適用した結果は、図８に示すように、近傍ｈｖ×ｗｖの数（又は、本発明の一般的記載において適用された表記を用いた「ｎ．ｍ」）が大きいほど再構築の品質が改善されることを明らかに示している。しかしながら、再構築のパフォーマンスは、１１×１１から１３×１３ピクセル辺りの近傍の数について収束に達している。７×７ピクセルから始まる近傍の合理的なサイズは、イメージの再構築について既に使用可能である。近傍ｎ．ｍの次元は、従って、７×７以上であってもよい。
【００５３】
再構築の結果についてのトレーニングデータベースの効果を測定するためには、８つのイメージのうち７つだけがフィルタを算出するために用いられる。その再構築フィルタは、次いで８つのイメージに適用される。従って、再構築フィルタの算出に用いられないイメージは引き続いて選択され、そして、それに対して再構築が適用される。ピークの信号対ノイズ比ＰＳＮＲとして表される、ハイパースペクトルイメージから直接的に算出されるＲＧＢイメージと、センサによって取り込まれたハイパースペクトルイメージを用いて算出されたものとの間の違いの測定値は、以下の表に示すように、フィルタの算出に用いられないイメージの再構築の品質における変動の測定値が示すのと同様に、満足な結果を示す。
【００５４】
【表１】
2013526170.tif 000009
【００５５】
再構築の品質に対するパラメータｋ，μ及びσの影響は見積もることができる。これを実行するために、先ず、ｋ及びσの可変性が、それぞれ０と１の間、及び５０と２００の間であるものとして、パラメータμの可変性が５５０と５６０ｎｍの間に低減される。得られた平均ＰＳＮＲ率は２６．３であり、そして、今回は再構築フィルタを算出するために全てのイメージを使用している。
【００５６】
感度関数が波長において変化しなかった場合でさえも、好ましくは感度関数のスペクトル域における変化に起因して、依然として効果的に色が再構築できることは明らかである。
【００５７】
感度関数のガウス分布の変動が変化せず、σが１００と１０１の間にあるものとして定められ、ｋ及びσが、それぞれ、０．５と１、並びに４５０と６７０ｎｍの間である場合、再構築の結果は２８．２のＰＳＮＲ率を与える。
【００５８】
ｋが０．９と１の間であると、ＰＳＮＲ率は２８．７となる。
【００５９】
感度関数が、大きく変動するゲインを伴って、全てが殆ど同一であるため、μを５５０と５６０ｎｍの間に、かつ、σを１００と１０１との間に同時に制限し、しかし、パラメータｋには０．１と１との間の広いレンジを持たせることにより、最も好適な再構築が得られる。原則として、ゲインの変動は色再構築の能力を低下させる。この構成において得られたＰＳＮＲ率は（他のパラメータを選択した場合と比較してその後色があせたように見えるが）２５．６である。
【００６０】
このように、本発明の方法において、色は、フォトサイトの間に存在する自然な可変性を使用して再構築される。物理的なカラーフィルタアレイを有していないセンサは、{ランダムであり、かつ、センサを横断してランダムに分配される感度関数を有するセンサのように作動する。このために、本発明の意味におけるイメージ再構築方法は、
・フォトサイトのそれぞれにおいて感度関数を推定するためのセンサの従来的な校正と、
・センサのためのイメージの獲得をシミュレーションする複数スペクトルの画像のデータベースを用いた再構築フィルタの推定と、
を用いる。
【００６１】
実施されたテストは、センサからの信号のこのタイプの処理が満足のできる色の再構築品質を提供し得ることを示している。
【００６２】
例えばカーボンナノチューブに基づいて現在開発されているイメージ獲得システムは、各フォトサイトに対するスペクトル感度を定めることを提案していない。この種のシステムはナノチューブに有機粒子をドーピングすることに基づいており、それは正確に制御することが困難である。この場合、これらのセンサはランダムなスペクトル感度を有するフォトサイトのランダムなマトリックスのように振る舞い、従ってそれは、本発明の方法を使用して処理するにあたって有利である。
【００６３】
図９には、センサのためのスペクトル校正方法の一例の主要ステップが、そこで校正されたセンサにより実行される色イメージの獲得と同様に要約されている。
【００６４】
スペクトル校正について、Ｈ×Ｗピクセルのイメージのためのセンサを、従って、校正されるべきセンサがＨ×Ｗのフォトサイトを含む場合を考える。
【００６５】
図９においてＳ９１で示される第１ステップａ）は、ｉ行ｊ列の各センサフォトサイトについて、そのフォトサイトに対する光の波長の関数としてフォトサイトｉ，ｊからの信号の強度を与えるスペクトル校正関数ｆｉ，ｊ（λ）を取得することから成る。このステップは、例えば図４に例として表したような装置を用いた計測によって実行することができる。
【００６６】
Ｓ９２で示される次のステップｂ）は、Ｈ×Ｗの次元であり、かつ、少なくともＫ色について各ピクセルにおける光強度レベルが既知である少なくとも一つの標準イメージ（例えば、データベースからの標準イメージ）から、第１のマトリックスシステムＸを構築することから成り、前記システムが、
・各行について、標準イメージの中心ピクセルの近傍にあるピクセルの強度に夫々が対応しているｎ．ｍマトリックスの成分を備え、これらの強度が、標準イメージの、あるピクセルのｉ行ｊ列についての対応する校正関数ｆｉ，ｊ（λ）によって調整されているものを、
・Ｗ．Ｈ行について備えている。
【００６７】
ここで、前記変調が、特定の複数マトリックスのスカラー積「○の中に×を記して示す記号」に対応してもよく、これに、図６を参照して上述した例のように、最終的に二次元マトリックスＸを得るための全波長に渡る合算が続き、前記近傍ｈｖ×ｗｖがここでは単に「ｎ．ｍ」とされていることが理解される。
【００６８】
次に、同じ標準イメージについて、図９中にＳ９３で示すステップｃ）において、第２のマトリックスシステムＹが構築され、これは、
・各行において、標準イメージの各ピクセルついて、前記Ｋ色についての実信号強度レベルＫを備えるものを、
・Ｗ．Ｈ行について備えている。
【００６９】
一例としての実施形態において、このステップｃ）は、図５に示すＹ＝ＩＡの積によって得られるマトリックスＹの構築に対応する。
このステップの可能な実施は、上記ステップａ）に従ってマトリックスＡを定めることから成り、特に、
・各フォトサイトについて、フォトサイトからの信号についての強度値が、選択されたスペクトル域内部の連続波長Ｐについて取得され、１組のＰ取得信号強度がスペクトル校正関数ｆｉ，ｊ（λ）を形成し、
・また、第２のマトリックスシステムＹは、夫々が一つの色に対応し、Ｋ色の現在のイメージについて大凡Ｐ／Ｋ列を一緒に平均化することにより第２のマトリックスシステムＹを形成するＫ列が得られるように、効果的に縮小されることを思い返して頂きたい。
【００７０】
図９中にＳ９４で示すステップｄ）では、例えば図７を参照して上述した実施に従って、Ｈ．Ｘ＝Ｙとなるように、第１のマトリックスシステムＸと第２のマトリックスシステムＹとの間での変換のために校正マトリックスシステムＨが設立される。
【００７１】
校正マトリックスＨは、次いで、上述した空間色彩伝達の「関数」を表す。
【００７２】
このように、センサによって取得された現在のイメージにステップｂ）を適用することにより構築された第１の現在マトリックスシステムＸ’から、この現在イメージの各ピクセルのための第２の現在マトリックスシステムＹ’に従って、かつ、Ｈ．Ｘ’＝Ｙ’となるように、色強度レベルの現実の分配を取得することができる。
【００７３】
再び図９を参照して、マトリックスシステムＨを得ることでセンサが一旦構成されると、センサによってイメージを獲得する方法は、センサのフォトサイトのスペクトル感度における多様性の補償を含むことが可能となり、その方法は以下のステップを含む。
【００７４】
図９中にＳ９５で示す第一段階ａ’）において、第１の現在のマトリックスシステムＸ’が、センサによって獲得され、かつ、Ｗ×Ｈの次元を持つ少なくとも一つの現在イメージから構築され、これは、
・各行について、それぞれが現在イメージの中心ピクセルの近傍内のピクセルの強度に対応するｎ．ｍマトリックス要素を備えるものを、
・Ｗ×Ｈ行について備えている。
【００７５】
このマトリックスＸ’の一般的な外見は図９ａに表されている。
【００７６】
次のステップｂ’）では、Ｈ．Ｘ’＝Ｙ’となるように第２のマトリックスシステムＹ’をステップＳ９６で取得するために、校正マトリックスシステムＨが第１のマトリックスシステムＸ’に適用され、その第２のマトリックスシステムＹ’は、
・各行において、現在イメージの各ピクセルのためのＫ色強度レベルの実配分を備えるものを、
・現在イメージのＷ×Ｈピクセルのうちの一つにそれぞれが対応しているＷ．Ｈ行について備えている。
【００７７】
このマトリックスＹ’の一般的な外見は図９ｂに表されている。
【００７８】
ここでは、前記第１及び第２のマトリックスシステム（Ｘ及びＹ、又はＸ’及びＹ’）が三次元であってもよいため、「マトリックスシステム」との用語を用いている。例えば、構成方法に用いられるシステムＸ及びＹについては、第３の次元が、上述した通り（例えばデータベースの８つのイメージ）、データベース内の複数の標準イメージの中の標準イメージのための指標に特有であってもよい。それから、データベース内のイメージの組みを通じて平均化された第１のマトリックスＸ及び第２のマトリックスＹを確立することができる。
【００７９】
図８を参照して見られたように、ｎ．ｍと考えられる各ピクセルの近傍の数は閾値よりも大きいことが好ましく、特に、マトリックスＸ（又はＸ’）からマトリックスＹ（又はＹ’）への変換のためには、色の数Ｋ以上であることが好ましい。
【００８０】
選択されたスペクトル域（例えば４００と７００ｎｍの間の可視スペクトル、但し、赤外線イメージについては赤外部でも可能）の中の連続波長Ｐについてフォトサイトからの信号の強度値が各フォトサイトについて得られることを思い返して頂きたい。１組のＰ取得信号強度は、次いで、前記スペクトル校正関数ｆｉ，ｊ（λ）を形成する。図５の例示的実施形態を参照して上述した通り、このように、第２のマトリクスシステムＹを形成し、かつ、それぞれが都合よく１色に対応するＫ列を得るために（ステップＳ５２におけるマトリックスＡの構築のために示したように）大凡Ｐ／Ｋ列を一緒に平均化することにより、Ｋ色の現在イメージのために第２のマトリクスシステムＹは減縮される。
【００８１】
ここで図１０を参照して、本発明のシステムは、デジタルイメージＩｍを捕獲するフォトサイトを有するセンサＳＥＮを備えている。センサと関連するモジュールＭＯＤは、例えば、それぞれ関数ＨＬ及びＨＣによって、イメージＩｍの輝度を決定するためのサブモジュールＬＵＭ、及びクロミナンスを決定するためのサブモジュールＣＨＲを備えてもよい。そのモジュールは、加えて、局所的輝度適応サブモジュールＡＤＡ Ｌと、カラーノイズ除去及び増幅サブモジュールＡＤＣと、を備えてもよい。そのモジュールＭＯＤは、特に、例えば３色ＲＧＢシステムの中に、色再構築サブモジュールを備えている。物理的な実施において、特に、捕獲イメージを処理するための方法を実施するために、そのモジュールＭＯＤは、プロセッサ、計算データの短期記憶のための作業メモリ、及び、本発明の意味におけるコンピュータプログラム指令を格納するための長期メモリを備えている。
【００８２】
勿論、本発明は、一例として上述した実施の形態に限定されるものではなく、他の変形にまで拡張されるものである。
【００８３】
センサ又は全体イメージに比して次元の小さな限られた近傍（ｈｖ．ｗｖのための）ｈ．ｗ又はｎ．ｍが上述されている。このアプローチは、特に、「センサ部分」が全体としてセンサのランダム性特性を有する場合、又は、イメージが局所的なスペクトルコントラストにおいて十分にリッチである場合に、算出の複雑さを低減させる。しかしながら、変形として、これらの「近傍」は、それぞれセンサ全体又はイメージ全体に対応させることとしてもよい。
【００８４】
図５を参照して、３色ＲＧＢマトリックスの変換が、赤、緑、青（図９ｂにおいてＫ＝３）の３色に対する０又は１を含む色のマトリックスＡの構築と共に上述されている。第１の変形では、このマトリックスＡについて他の（例えば、赤、緑、青の３色の中の２色の間の波長に対して０．５のような）係数を持つことが可能である。３色を越える定義をするために、３を越えるスペクトル帯、例えば、藍紫帯、青帯、緑帯、黄帯、赤帯、又は他の帯を選ぶことも可能である。更に、シアン、マゼンタ、黄、黒（図９ｂにおいてＫ＝４）のような、連続したスペクトルを伴わない色システムを有することから成る他の変形においては、マトリックスＡを構築するために（例えば黒以外の色について）ゼロでない係数で幾つかの分離したスペクトル帯を定義し、また、（例えば黒の定義のために）ゼロ又は閾値に満たない係数で何とかしてスペクトル帯全てを定義することができる。
【００８５】
センサフォトサイトのスペクトル関数の実際の測定が上述されている。変形として、所与のセンサシリーズのための製造条件に特有なランダムなパターンを定めることにより、標準「センサ部分」を定めることが可能である。従って、本発明の方法を実施するためには製造者からこれらのデータを取得することで十分である。
【図１】
2013526170.tif 000012
【図２】
2013526170.tif 000013
【図３】
2013526170.tif 000014
【図４】
2013526170.tif 000015
【図５】
2013526170.tif 000016
【図６】
2013526170.tif 000017
【図７】
2013526170.tif 000018
【図８】
2013526170.tif 000019
【図９】
2013526170.tif 000020
【図９ａ】
2013526170.tif 000021
【図９ｂ】
2013526170.tif 000022
【図１０】
2013526170.tif 000023
【国際調査報告】
2013526170.tif 000024
2013526170.tif 000025
2013526170.tif 000026
2013526170.tif 000027
2013526170.tif 000028
2013526170.tif 000029