(57)【要約】  本発明は、基本パターン（６）を構成する異なる色のフィルタのモザイク（３）で覆われた感光センサ（２）によって取得したカラー画像を再構成し、前記センサ（２）によってカラー画像が取得された後、デモザイク行列とセンサ（２）に由来するモザイク画像（５）の行列表現との積を得る方法に関し、モザイク画像の行列表現とデモザイク行列との前記積は、フィルタのモザイク（３）の基本パターン（６）に対応する基本パターン（４３）のピクセル近傍の関数として、モザイク画像（５）の各ピクセルの色の補間を実行する。
2021515501.tif 000002
【特許請求の範囲】
【請求項１】
ｈ＜Ｈおよびｗ＜Ｗであるようなサイズｈ×ｗの基本パターン（６）を構成するＰ個の異なる色のフィルタ（７）の、サイズＨ×Ｗのモザイク（３）で覆われた、サイズＨ×Ｗの感光センサ（２）で取得されたカラー画像を再構成する方法であって、前記フィルタのモザイク（３）の前記基本パターン（６）は、前記基本パターン（６）間で重複することなく前記フィルタのモザイク（３）を覆うように繰り返され、前記方法は、コンピュータによって実行される方法において、少なくとも、
参照画像と呼ばれるＰ個の色成分を有するＮ個の画像Ｉｉ、ｉ∈［１，．．．，Ｎ］の第１のデータベースを使用するシミュレーションから開始してデモザイク行列Ｄを構成し、前記第１のデータベースの前記画像が前記センサ（２）によって取得された後、前記センサ（２）に由来し生成された画像をシミュレートして、Ｎ個の画像Ｊｉ、ｉ∈［１，．．．，Ｎ］の第２のデータベースを生成する第１の予備ステップであって、前記参照画像Ｉｉおよび生成された画像Ｊｉは、それぞれ、ＨＷ／（ｈｗ）個のベクトルｙ１、ｘ１の行列の形で表され、
前記ｙ１の成分は、前記参照画像Ｉｉに適用された前記ＨＷ／（ｈｗ）個の基本パターンの１つのサイズｎｈ×ｎｗの縮小近傍の前記Ｐ個の成分であり、
前記ｘ１の成分は、前記生成された画像Ｊｉに適用された前記ＨＷ／（ｈｗ）個の基本パターンの１つのサイズｎｈ×ｎｗの縮小近傍の前記成分であり、
かつｎｈ＞ｈおよびｎｗ＞ｗである
第１の予備ステップと、
前記センサ（２）によって前記カラー画像が取得された後、前記センサ（２）に由来するモザイク画像（５）の行列表現と前記デモザイク行列Ｄとの積を生成するカラー画像を再構成する第２のステップであって、前記モザイク画像（５）の前記行列表現と前記デモザイク行列Ｄとの前記積は、前記フィルタのモザイク（３）の前記基本パターン（６）に対応するサイズｈ×ｗの基本パターン（４３）のサイズｎｈ×ｎｗのピクセルの近傍の関数として、前記モザイク画像（５）の各ピクセルの前記色の補間を使用する、第２のステップと
を含むことを特徴とする、方法。
【請求項２】
ｎｈｎｗ＝Ｐｈｗであることを特徴とする、請求項１に記載の方法。
【請求項３】
第１のデモザイク行列Ｄ１が、前記第１のデータベースの前記Ｎ個の参照画像上で計算された期待値Ｅとして表される、即ち、
【数１】
2021515501.tif 000043
ここで、ｙは、ＨＷ／（ｈｗ）個の前記カラー画像を表すサイズＰｈｗのベクトルの行列である、ことを特徴とする、請求項１または２に記載の方法。
【請求項４】
前記第１のデモザイク行列Ｄ１が次のように表される、即ち、
【数２】
2021515501.tif 000044
で、Ｍ１はｙ１のｘ１への射影の行列、ｙ＝Ｓ１ｙ１で、Ｓ１はベクトルｙ１の近傍の縮小とベクトルｙ１のｙへの変換の行列、および
【数３】
2021515501.tif 000045
は、サイズｎｈ×ｎｗの前記縮小近傍の関数として表される前記第１のデータベースの前記分解画像の相関行列である、ことを特徴とする、請求項３に記載の方法。
【請求項５】
前記デモザイク行列が、前記センサ（２）の前記スペクトル感度の関数として、および異なる色の前記Ｐ個のフィルタ（７）の前記スペクトル関数の関数として表されることを特徴とする、請求項１〜４のいずれか一項に記載の方法。
【請求項６】
マルチスペクトル反射率画像を含む前記第１のデータベースを用いて、第２のデモザイク行列Ｄ２が
【数４】
2021515501.tif 000046
ここで
【数５】
2021515501.tif 000047
によって定義され、
前記第２のデモザイク行列Ｄ２は、
スペクトル成分をλとしてスペクトルパワー密度Ｌ（λ）の光源によって照らされた物体の反射から得られたマルチスペクトル反射率画像を表すベクトル行列ｚ０の関数として、Ｐ個の成分を有する画像を表すベクトル行列ｙ０を計算するステップであって、
【数６】
2021515501.tif 000048
で、Ｆ０は前記モザイク（３）の前記フィルタのスペクトル透過関数のサイズＰλ×Ｐの行列、Ｃ０は前記センサのスペクトル感度のサイズＰλ×Ｐλの対角行列、Ｌ０は前記光源の前記スペクトルパワー密度のサイズＰλ×Ｐλの対角行列であるステップと、
前記多成分画像から始まる前記ベクトル行列ｙと、前記マルチスペクトル反射率画像から始まるベクトル行列ｚとを構成し、前記ベクトル行列ｙおよびｚは前記基本パターンを含むステップであって、ｙ＝ＦＴＣＬｚ、ここで
【数７】
2021515501.tif 000049
で、Ｉｈｗはディメンジョンｈｗ×ｈｗの単位行列、
2021515501.tif 000050
であるステップと、
前記マルチスペクトル反射率画像の前記基本パターンのサイズｎｈ×ｎｗの前記縮小近傍で構成されるベクトル行列ｚ１を構成するステップであって、
【数８】
2021515501.tif 000051
で、ｙ１は前記マルチスペクトル反射率スペクトル画像のサイズｈ×ｗの前記基本パターンのサイズｎｈ×ｎｗの前記縮小近傍で構成される行列、
【数９】
2021515501.tif 000052
はディメンジョンｎｈｎｗ×ｎｈｎｗの単位行列、
【数１０】
2021515501.tif 000053
であるステップと、
Ｍ１はｙ１のｘ１への射影の行列、Ｓ１は前記ベクトルｙ１の前記近傍の縮小の行列およびｙへの変換の行列である状態で、前記第２のデモザイク行列Ｄ２を構成するステップと、
に従って構成されることを特徴とする、請求項５に記載の方法。
【請求項７】
Ｃ０は、前記カメラの光路の構成要素の前記スペクトル感度と前記センサの前記スペクトル感度との積であり、前記構成要素は、前記カメラの対物レンズ、赤外線フィルタ、ローパス空間フィルタ、マイクロレンズシステムの内の少なくとも１つを含むことを特徴とする、請求項６に記載の方法。
【請求項８】
前記デモザイク行列Ｄ、Ｄ１、Ｄ２の各行は、畳み込みフィルタとして表されることを特徴とする、請求項１〜７のいずれか一項に記載の方法。
【請求項９】
請求項１〜８のいずれか一項に記載の方法のステップを実行するための手段を含むデータ処理システム。
【請求項１０】
前記プログラムがコンピュータによって実行されるとき、前記コンピュータに請求項１〜８のいずれか一項に記載の方法のステップを実行させる命令を含むコンピュータプログラム製品。
【請求項１１】
フィルタのスペクトル関数を最適化し、前記フィルタ（７）を異なる色のＰ個のフィルタ（７）のモザイク（３）に配置し、サイズｈ×ｗの基本パターン（６）を埋めるように繰り返す方法であって、前記基本パターン（６）は前記フィルタのモザイク（３）を覆うように繰り返され、前記フィルタのモザイク（３）は感光センサ（２）に適用されている方法において、前記方法は、演色誤差を最小化することによって、および参照画像データベースの画像から開始して取得された、理想的なセンサに由来する画像と、前記参照画像データベースの同じ画像から開始して取得された、前記Ｐ個の異なるフィルタ（７）のモザイク（３）で覆われたセンサに由来する画像との間の平均二乗誤差を最小化することによって、多基準最適化を含み、前記フィルタ（７）のモザイク（３）で覆われた前記センサ（２）によって取得された前記画像は、請求項１〜７のいずれか一項に記載の方法によって再構成されることを特徴とする、方法。
【請求項１２】
前記画像データベースの前記画像から開始して取得された前記理想的なセンサに由来する前記画像と一連のＰ個のフィルタで覆われたセンサに由来する画像との間の演色誤差を最小化することを更に含み、前記Ｐ個のフィルタのそれぞれは前記センサの全体を覆い、前記画像は前記データベースの同じ画像から開始して取得されることを特徴とする、請求項１１に記載の方法。
【請求項１３】
完全なセンサによって取得されたマクベステストチャートと前記Ｐ個のフィルタの前記モザイクを備えたセンサによって取得されたマクベステストチャートとの間の演色誤差を最小化することを更に含むことを特徴とする、請求項１２に記載の方法。
【請求項１４】
請求項１１〜１３に記載の方法のステップを実行するための手段を含む、データ処理システム。
【請求項１５】
前記プログラムがコンピュータによって実行されるとき、前記コンピュータに請求項１１〜１３のいずれか一項に記載の方法のステップを実行させる命令を含む、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単一センサカメラによって取得された画像の処理の分野にある。より詳細には、本発明は、いくつかの色のフィルタのモザイクから構成されるフィルタで覆われたセンサによってカラー画像が取得された後におけるカラー画像の再構成に関する。
【背景技術】
【０００２】
一般に、カメラは、レンズなどの１つ以上の光学的構成要素で構成される少なくとも１つの対物レンズを備えている。カメラの対物レンズにより、捕捉された光は感光セルで構成されるセンサに向けられる。センサが受け取った光のスペクトルの再構成を可能にするために、１つ以上のカラーフィルタがセンサに適用される。
【０００３】
カメラは、対物レンズとセンサの間の光路上に、赤外線（ＩＲｃｕｔ）をカットするフィルタ、光学ローパス（ＯＬＰ）空間フィルタ、センサの各セルに光の焦点を合わせるためのマイクロレンズなどの構成要素の内の１つまたは全てを更に備えてもよい。
【０００４】
カメラは、写真装置、または画像を捕捉でき、モザイクと呼ばれるカラーフィルタのマトリックスを備えた感光センサを有する他の任意の手段であってもよい。
【０００５】
フィルタの第１のモザイク３を介して、第１の感光センサ２によるカラー画像１の取得の一般的な原理を、図１ａに示す。フィルタの第１のモザイク３は、生成された画像上での色を忠実に表現できるように、第１のセンサ２の各ピクセル４に異なるスペクトル感度を与える。第１のセンサ２の各ピクセル４は、第１のセンサ２のフォトサイトを表す。各フォトサイトは、特定の波長範囲の光度に敏感な光電セルであり、該光度は、光電セルのスペクトル感度に関連する小電流を生成して変換される。
【０００６】
図１ａは、異なる色のフィルタの第１のモザイク３で構成されるフィルタのマトリックスの例を示す。この例は、一例として図１ｂに示した第１の基本パターン６に従って配置された異なる色の６つのフィルタを含むサイズＨ×Ｗのフィルタの第１のマトリックス３を示す。ディメンジョンｈ×ｗの第１の基本パターン６は、２つの基本パターン間で重複することなく、フィルタの第１のモザイク３全体を覆うように繰り返される。
【０００７】
取得されるカラー画像５は、Ｐ個の色成分、つまりＰ個の色を有する画像である。Ｐ個の色成分は、図１ｂに示す例では、６つのフィルタＦ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５、Ｆ６の色である。６つのフィルタＦ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５、Ｆ６は、サイズ３×３の第１の基本パターン６に配置される。取得されるカラー画像１を伝える光は、フィルタの第１のマトリックス３を通過し、ピクセルのマトリックスの形で、図１ａに示す第１のセンサ２に到達する。フィルタの第１のマトリックス３は、サイズＨ×Ｗの第１のセンサ２を完全に覆うように配置されている。
【０００８】
フィルタの第１のモザイク３で覆われた第１のセンサ２によって画像が取得された後の画像の再構成は、デモザイク処理またはデマトリックス処理と呼ばれる方法を使用する。各ピクセル４は特定の色のフィルタで覆われているので、ピクセルごとに単一の色がサンプリングされる。したがって、各ピクセル４が受け取る光の色の成分を再構成する方法を実装する必要がある。この目的のために、デモザイク法が使用される。デモザイク法は、特に、異なるピクセル４のクロミナンスの補間で構成される。デモザイク法は、第１のセンサ２によって生成された生画像５に適用されるデモザイク行列を使用する。「生画像」５とは、カラー画像１が取得された後、第１のセンサ２から直接出てくるデータを意味する。
【０００９】
デモザイク行列の構成は、参照画像データベースを使用したトレーニングプロセス中に実行される。参照画像データベースは、Ｐ個の成分を有するＮ個の参照画像Ｉｉ、ｉ∈［１、…、Ｎ］を含み得る。参照画像データベースから開始して、Ｎ個のシミュレーション画像Ｊｉの新しいデータベースが構築される。１つのシミュレーション画像Ｊｉは、各参照画像Ｉｉに対応する。シミュレーション画像Ｊｉは、第１のセンサ２によって参照画像データベースの画像が取得された後、前記第１のセンサ２によって生成された生画像５のモデル化を表す。参照画像Ｉｉから始まるシミュレーション画像Ｊｉは、第１のセンサ２によって測定されない色成分を参照画像Ｉｉから除外することによって得られる。実際には、参照画像ＩｉがＰ個の成分を有する場合、シミュレーション画像Ｊｉにおいて、第１のセンサ２の各ピクセル上に配置されたフィルタの成分のみが維持される。次いで、シミュレーション画像Ｊｉは単一の平面を含む。第１のセンサ２からの生画像５のシミュレーション画像Ｊｉは、以下、モザイク画像５と呼ばれ、参照データベースに由来する画像Ｉｉは、分解画像と呼ばれる。
【００１０】
図２ａは、モザイク画像Ｊｉをベクトル行列ｘに変換する例を示す。図２ｂは、分解画像Ｉｉを、カラー画像を表すベクトル行列ｙへ変換する例を示す。モザイク画像Ｊｉは、図２ａに示すように、サイズｈ×ｗの一連の基本パターンで構成される。モザイク画像Ｊｉのベクトル行列ｘは、ＨＷ／（ｈｗ）個のサイズｈｗのベクトルを含む。分解画像ＩｉはＰ個の成分を含み、各成分はＰ個の色の内の１つに対応する。分解画像Ｉｉの各成分は、フィルタの第１のモザイク３のサイズＨ×Ｗに等しいサイズの画像である。分解画像Ｉｉの各成分は、そのサイズがフィルタの第１のモザイク３の第１の基本パターン６のサイズｈ×ｗに等しいパターンに従ってカットされてもよい。したがって、ＨＷ／（ｈｗ）個のサイズＰｈｗのベクトルで構成された、分解画像Ｉｉを表すベクトル行列ｙを定義することが可能である。
【００１１】
分解画像Ｉｉから始まるモザイク画像Ｊｉの計算のためのモデルは、
ｘ＝Ｍｙ（１０００）
のように表現してもよく、ここで、Ｍはサイズｈｗ×Ｐｈｗの行列である。
【００１２】
図２ｃは、第１の赤色フィルタ２１、第２の緑色フィルタ２２、第３の緑色フィルタ２３および第４の青色フィルタ２４というカラーフィルタを含むサイズ２×２のベイヤー（Ｂａｙｅｒ）行列の第２の基本パターン２０から開始して作成されたフィルタ用に開発された行列Ｍの例を示す。したがって、このパターンに対して得られる行列Ｍのサイズは４×１２である。行列Ｍは、「０」と「１」で構成される。値「１」を有する行列Ｍの各成分は、ベイヤー行列の第２の基本パターン２０のセルを表す。デモザイク処理を得るためには、最新の技術から、モザイク画像Ｊｉと分解画像Ｉｉをそれぞれ表すベクトル行列（ｘ；ｙ）の全てに適用される、最小二乗法によって定義されたいわゆるデモザイク行列Ｄを使用することが知られている。デモザイク行列Ｄは、行列Ｍを反転するだけでは得られない。実際には、行列Ｍの反転を擬似逆行列型の方法を使用して実行できたとしても、この演算では、デモザイク処理で不十分な結果を与える行列Ｄが生成される。
したがって、デモザイク行列Ｄは次のように計算できる。
Ｄ＝Ｅｉ＝１．．Ｎ｛ｙｘＴ（ｘｘＴ）−１｝（１００１）、
ここで、Ｅｉ＝１．．Ｎは、シミュレーション画像データベースのＮ個の画像と比較したときの参照データベースのＮ個の画像の期待値を表す。このようにして計算されたデモザイク行列Ｄのサイズは、Ｐｈｗ×ｈｗである。
【００１３】
計算されたデモザイク行列Ｄから開始して、第１のセンサ２からのモザイク画像に従って再構成された画像の推定値であるベクトル行列ｙ〜を決定することが可能である。
【数１】
2021515501.tif 000003
【００１４】
次に、Ｐ個の成分を有するカラー画像を再構成するには、ベクトル行列ｙ〜をＰ個の成分を有する画像に変換するだけで十分であり、各成分はＰ個の色の１つに対応しており、この変換は、図２ｂに示す演算の逆演算である。したがって、各成分は、モザイク画像のサイズＨ×Ｗに対応するサイズの画像である。
【００１５】
カラー画像を再構成するためのこの方法の問題の１つは、再構成される画像が捕捉されたカラー画像１より大きいことである。次に、画像再構成に使用されるモデルは、ピクセルの色情報の単一の項目から始まるピクセルに対してＰ個の色の補間を実行する。この結果、このように計算された行列Ｄはかなり不安定になるので、カラー画像の再構成の質が低下する。
【００１６】
最先端技術は、その色を決定するために、モザイク行列の各ピクセルの近傍から開始して補間を実行することを提案している。このような補間により、デモザイク行列Ｄの推定値の安定性を強化できる。仏国特許出願第２９５９０９２号明細書および仏国特許出願第２９１７５５９号明細書では、この補間を実行するために、図２ｄに示すような、いわゆるスライディング近傍を使用することが提案された。図２ｄは、第２のセンサによって生成されたモザイク行列の一部を示す。図２ｄに示した例に使用されるサイズｈ×ｗの基本パターンは、ベイヤーモザイクのサイズ２×２の第４の基本パターン２５である。第４の基本パターン２５は、赤色２６、緑色２７および青色２８という異なる色の４つのピクセルを含む。表現を簡略化するために、第４の基本パターン２５のピクセルの１つは白色のままである。各ピクセル２６、２７、２８には、サイズ３×３の独自のピクセル近傍があり、その中央がピクセルである。例えば、第１の赤色ピクセル２６は第１のピクセル近傍２００の中心にあり、第２の緑色ピクセル２７は第２の近傍２０１の中心にあり、第３の青色ピクセル２８は第３の近傍２０２の中心にある。第２のピクセル２７は、同じ列にあるが、第１のピクセル２６に対して下の行にある。したがって、第２の近傍２０１は、第１の近傍２００の底部に向かうピクセルの平行移動である。第３のピクセル２８は、同じ行にあるが、第１のピクセル２６に対して右側の列にある。したがって、第３の近傍２０２は、第１の近傍２００の右側に向かうピクセルの平行移動である。したがって、全く同じ基本パターンの全てのピクセルの近傍は異なる。モザイク行列上で１つの基本パターンから別の基本パターンに移行するとき、１つのパターンから別のパターンへの平行移動において、各ピクセルの近傍は該ピクセルに「付いて行く」。
【００１７】
したがって、画像の再構成中に、各ピクセルの色を、その近傍内のピクセルの色の関数として再構成できる。したがって、ベクトル行列ｘ、ｙの構成で各ピクセルはその近傍だけ増加するので、各ピクセルの他の近傍もベクトル行列ｘ、ｙに保存されるように、各ピクセルの近傍を統合することによって行列Ｄを定義する。デモザイク行列の計算において近傍を考慮に入れることで、画像のより良い再構成が可能になったとしても、より大きな行列を操作しなければならないという欠点があるため、計算やデータ保存のための実質的な手段が必要である。
【発明の概要】
【００１８】
本発明の目的は、特に、デモザイク行列を計算するための既知の方法の改善を提案することである。本発明の別の目的は、センサに関連するフィルタのモザイクの最適化を提案するためにこの改善を使用することである。
【００１９】
この目的のために、本発明は、ｈ＜Ｈおよびｗ＜Ｗであるようなサイズｈ×ｗの基本パターンを構成するＰ個の異なる色のフィルタのカラー画像であって、サイズＨ×Ｗのモザイクで覆われた、サイズＨ×Ｗの感光センサで取得されたカラー画像を再構成する方法を提案する。フィルタのモザイクの前記基本パターンは、基本パターン間で重複することなしにフィルタのモザイクを覆うように繰り返される。前記方法は、コンピュータによって実行される。前記方法は、少なくとも、
・参照画像と呼ばれるＰ個の色成分を有するＮ個の画像Ｉｉ、ｉ∈［１，．．．，Ｎ］の第１のデータベースを使用するシミュレーションから開始してデモザイク行列Ｄを構成し、第１のデータベースの画像がセンサによって取得された後、前記センサから生成された画像をシミュレートして、Ｎ個の画像Ｊｉ、ｉ∈［１，．．．，Ｎ］の第２のデータベースを生成する第１の予備ステップであって、前記参照画像Ｉｉおよび生成された画像Ｊｉは、それぞれ、ＨＷ／（ｈｗ）個のベクトルｙ１、ｘ１の行列の形で表され、
−ｙ１の成分は、参照画像Ｉｉに適用されたＨＷ／（ｈｗ）個の基本パターンの１つのサイズｎｈ×ｎｗの縮小近傍のＰ個の成分であり、
−ｘ１の成分は、生成された画像Ｊｉに適用されたＨＷ／（ｈｗ）個の基本パターンの１つのサイズｎｈ×ｎｗの縮小近傍の成分であり、かつｎｈ＞ｈおよびｎｗ＞ｗである第１の予備ステップと、
・前記センサによってカラー画像が取得された後、センサに由来するモザイク画像の行列表現とデモザイク行列Ｄとの積を生成するカラー画像を再構成する第２のステップであって、モザイク画像の行列表現とデモザイク行列Ｄとの前記積は、フィルタのモザイクの基本パターンに対応するサイズｈ×ｗの基本パターンのサイズｎｈ×ｎｗのピクセルの近傍の関数として、モザイク画像の各ピクセルの色の補間を使用する、第２のステップとを
含む。
【００２０】
有利には、近傍のサイズを、ｎｈｎｗ＝Ｐｈｗによって定義してもよい。
【００２１】
第１のデモザイク行列Ｄ１は、第１のデータベースのＮ個の参照画像について計算された期待値Ｅとして、
【数２】
2021515501.tif 000004
と表すことができ、ここで、ｙは、カラー画像を表すＨＷ／（ｈｗ）個のサイズＰｈｗのベクトル行列である。
【００２２】
第１のデモザイク行列Ｄ１は、
【数３】
2021515501.tif 000005
と表現され、ここで、ｘ１＝Ｍ１ｙ１で、Ｍ１はｙ１のｘ１への射影行列、ｙ＝Ｓ１ｙ１で、Ｓ１はベクトルｙ１の近傍の縮小行列かつベクトルｙ１のｙへの変換行列、
【数４】
2021515501.tif 000006
は、サイズｎｈ×ｎｗの縮小近傍の関数として表された、第１のデータベースの分解画像の相関行列である。
【００２３】
デモザイク行列は、センサのスペクトル感度の関数として、およびＰ個の異なる色のフィルタのスペクトル関数の関数として表すことができる。
【００２４】
第１のデータベースがマルチスペクトル反射率画像を代替として含む場合があるため、第２のデモザイク行列Ｄ２は次の式で定義できる。
【数５】
2021515501.tif 000007
ここで
【数６】
2021515501.tif 000008
第２のデモザイク行列Ｄ２は、
・スペクトル成分をλとしてスペクトルパワー密度Ｌ（λ）の光源によって照らされた物体の反射から得られたマルチスペクトル反射率画像を表すベクトル行列ｚ０の関数として、Ｐ個の成分を有する画像を表すベクトル行列ｙ０を計算するステップであって、
【数７】
2021515501.tif 000009
で、Ｆ０はモザイクのフィルタのスペクトル透過関数のサイズＰλ×Ｐの行列、Ｃ０はセンサのスペクトル感度のサイズＰλ×Ｐλの対角行列、Ｌ０は光源のスペクトルパワー密度のサイズＰλ×Ｐλの対角行列であるステップと、
・多成分画像から始まるベクトル行列ｙと、マルチスペクトル反射率画像から始まるベクトル行列ｚとを構成し、前記ベクトル行列ｙおよびｚは前記基本パターンを含むステップであって、ｙ＝ＦＴＣＬｚ、
【数８】
2021515501.tif 000010
で、Ｉｈｗはディメンジョンｈｗ×ｈｗの単位行列、
2021515501.tif 000011
であるステップと、
・マルチスペクトル反射率画像の基本パターンのサイズｎｈ×ｎｗの縮小近傍で構成されるベクトル行列ｚ１を構成するステップであって、
【数９】
2021515501.tif 000012
で、ｙ１はマルチスペクトル反射率スペクトル画像のサイズｈ×ｗの基本パターンのサイズｎｈ×ｎｗの縮小近傍で構成される行列、
【数１０】
2021515501.tif 000013
で、
【数１１】
2021515501.tif 000014
はディメンジョンｎｈｎｗ×ｎｈｎｗの単位行列、
【数１２】
2021515501.tif 000015
および
【数１３】
2021515501.tif 000016
であるステップと、
・Ｍ１がｙ１のｘ１への射影の行列、Ｓ１がベクトルｙ１の近傍の縮小とｙへの変換の行列である状態で、第２のデモザイク行列Ｄ２を構成するステップと、
に従って構成されてもよい。
【００２５】
Ｃ０は、カメラの光路の構成要素のスペクトル感度とセンサのスペクトル感度との積であってもよく、ここで、前記構成要素は、カメラの対物レンズ、赤外線フィルタ、ローパス空間フィルタ、マイクロレンズシステムの内の少なくとも１つを含んでもよい。
【００２６】
デモザイク行列Ｄ、Ｄ１、Ｄ２の各行は、畳み込みフィルタとして表すことができる。
【００２７】
本発明はまた、カラー画像を再構成する方法のステップを実行するための手段を含むデータ処理システムにも関する。
【００２８】
本発明はまた、プログラムがコンピュータによって実行されるとき、コンピュータにカラー画像を再構成するための方法のステップを実行させる命令を含むコンピュータプログラム製品に関する。
【００２９】
本発明の別の側面は、フィルタのスペクトル関数を最適化し、フィルタをＰ個の異なるカラーフィルタのモザイク上に配置し、サイズｈ×ｗの基本パターンを満たすように繰り返す方法に適用できることであり、ここで、前記基本パターンはフィルタのモザイクを覆うように繰り返し、前記フィルタのモザイクは感光センサに適用される。前記方法は、演色誤差の最小化、および参照画像データベースの画像から開始して取得された理想的なセンサに由来する画像と、参照画像データベースの同じ画像から開始して取得されたＰ個の異なるフィルタのモザイクで覆われたセンサに由来する画像との間の平均二乗誤差の最小化による多基準最適化を含み、フィルタのモザイクで覆われたセンサによって取得された前記画像は、カラー画像を再構成する方法によって再構成される。
【００３０】
最適化の方法は、画像データベースの画像から開始して取得された理想的なセンサに由来する画像と、Ｐ個のフィルタの各々はセンサ全体を覆い、一連のＰ個のフィルタで覆われたセンサに由来する画像との間の演色誤差を最小化することを更に含み、前記画像はデータベースの同じ画像から取得される。
【００３１】
最適化の方法は、完全なセンサによって取得されたマクベス（Ｍａｃｂｅｔｈ）テストチャートと、Ｐ個のフィルタのモザイクを備えたセンサによって取得されたマクベステストチャートとの間の演色誤差を最小化することを更に含む。
【００３２】
本発明はまた、最適化の方法のステップを実行するための手段を含むデータ処理システムにも関する。
【００３３】
本発明は更に、プログラムがコンピュータによって実行されるときに、コンピュータに最適化の方法のステップを実行させる命令を含むコンピュータプログラム製品に関する。
【００３４】
有利には、本発明は、デモザイクアルゴリズムの実行速度、ならびに本発明を実行する状況で使用される計算機の全体的な記憶容量を改善することを可能にする。
【図面の簡単な説明】
【００３５】
本発明の他の利点および特徴は、決して限定的ではないいくつかの実施形態の詳細な説明および添付の図面を検討することで明らかになるであろう。
【図１ａ】フィルタのモザイクを備えたセンサによる画像の取得の一般的な原理を示す図である。
【図１ｂ】フィルタのモザイクの基本パターンの例を示す。
【図２ａ】フィルタのモザイクを備えたセンサからの画像のベクトル行列への変換を示す図である。
【図２ｂ】いくつかの成分を持つ画像のベクトル行列への変換を示す。
【図２ｃ】ベイヤーフィルタモザイクを備えたセンサの出力における画像の計算行列の例を示す。
【図２ｄ】最新技術によるスライディング近傍を使用するピクセルの色の補間の例を示す。
【図３】本発明による近傍を使用するピクセルの色の補間の例を示す。
【図４ａ】センサの出力におけるモザイク画像のベクトル行列への変換を示す。
【図４ｂ】多成分画像のベクトル行列への変換を示す。
【図５】連続スペクトル領域にわたってデモザイク行列を計算するためのデータ取得の例を示す。
【図６ａ】マルチスペクトル画像のいくつかの異なるベクトル行列への変換を示す。
【図６ｂ】フィルタと組み合わされたセンサによってマルチスペクトル画像が取得された後に生成された画像を表すベクトル行列の計算を示す。
【図７】デモザイク行列の畳み込みフィルタへの変換の原理を示す。
【図８】フィルタのモザイクのフィルタの配置およびスペクトル関数を最適化するためのデータ取得の例を示す。
【図９】フィルタのモザイクのフィルタの配置およびスペクトル関数を最適化するために使用される異なる画像の計算を示す。
【図１０】本発明によるデモザイク法および装置を示す。
【図１１】本発明によるデモザイク行列を構成する方法を示す。
【詳細な説明】
【００３６】
本発明は、特に、サイズＨ×Ｗの多色または多成分カラー画像の取得に関する。図１ａでは、画像はＰ個の色成分を含む。Ｐ個の色成分を有する画像１は、物体からの光がＰ個の異なる色のフィルタ７から構成されるフィルタの第１のモザイク３、またはマトリックスを通過した後に、第１の感光センサ２によって取得される。前記フィルタのモザイク３のサイズはＨ×Ｗである。第１のセンサ２は、サイズＨ×Ｗのピクセルマトリックス４によって定義される。各フィルタ７は、第１のセンサ２の１つのピクセル４のサイズであり、第１のセンサ２の１つのピクセル４を覆っている。カラーフィルタ７のモザイク３は、サイズｈ×ｗでｈｗ≧Ｐの第１の基本パターン６から開始して構成される。第１の基本パターン６はｈ×ｗ個の色で構成されており、色は異なってもよいし、同じでもよい。例えば、図１ｂでは、第１の基本パターン６は、２つの赤色フィルタＦ１、２つのオレンジ色フィルタＦ２、２つの緑色フィルタＦ３、１つのピンク色フィルタＦ４、１つの青色フィルタＦ５および１つの黄色フィルタＦ６を含む。第１の基本パターン６のフィルタＦ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５、Ｆ６は、特定の配置に従って配置される。図１ｂに示す例では、第１の基本パターン６は、左から右へ、上から下に、Ｆ３、Ｆ１、Ｆ２、Ｆ４、Ｆ５、Ｆ３、Ｆ１、Ｆ６、Ｆ２のように配置されたフィルタの３×３マトリックス形式である。カラーフィルタのマトリックスまたはモザイク３では、第１の基本パターン６が繰り返され、異なる基本パターン６の間で重複することなくモザイク３全体を覆う。第１の基本パターン６のサイズは、Ｈがｈの倍数であり、Ｗがｗの倍数であるように定義される。本発明の範囲から逸脱することなく、他の基本パターンを使用してもよい。
【００３７】
第１のセンサ２によって画像が取得されると、多成分画像を再構成するために処理される。第１のセンサ２を出てくる生画像に対して実行される処理は、デモザイク行列Ｄ１を使用するデモザイク処理である。デモザイク行列Ｄ１は、ベクトル行列ｘ１、ｙに適用される最小二乗法によって下記の通り得られる。
【数１４】
2021515501.tif 000017
【００３８】
式（１００３）では、ｙは図２ｂに示すベクトル行列である。ベクトル行列ｙは、最新技術で説明されているように、トレーニングにより行列Ｄ１を構成するために使用される参照画像データベースの一部を形成するＰ個の色成分を有する分解画像Ｉｉから得られる。分解画像ＩｉのディメンジョンはＨ×Ｗであり、サイズｈ×ｗの第３の基本パターン２１を含む。ベクトル行列ｙは、第３の基本パターン２１からＰ個の成分、即ち、第３の基本パターン２１の各ピクセルのＰ個の成分を取り込むことによって構成される。したがって、ｙの各ベクトルはサイズＰｈｗであり、ｙは参照画像データベースに由来する多成分画像Ｉに含まれる全ての情報を表すために、ＨＷ／（ｈｗ）個のサイズＰｈｗのベクトルを含む。
【００３９】
本明細書では、行列のサイズや画像のサイズに対して、Ｈ×Ｗを無差別に使用している。行列の場合、Ｈ×Ｗは、行列の行の数Ｈ×列の数Ｗを表す。画像の場合、Ｈ×Ｗは、サイズＨ×Ｗのマトリックスに対応する画像のディメンジョンを表す。同様に、第１の基本パターン６のサイズはｈ行×ｗ列である。ひいては、画像では、画像と同じサイズの行列において第１の基本パターン６のサイズに対応するサイズの部分が定義されている。したがって、基本パターン６が画像に適用されていると言える。類推によって、図２ｂに示される第３の基本パターン２１など基本パターンに対応する画像部分も、基本パターンと呼ばれるであろう。画像の基本パターンのサイズは、行列の基本パターンと同じディメンジョンである。ひいては、画像の基本パターンのサイズはｈ×ｗとして定義される。
【００４０】
式（１００３）では、ｘ１は図４ａに示すように構成される。参照画像データベースから開始して、シミュレーションは、第１のセンサ２によって参照画像データベースの画像が取得された後にシミュレーションされた、第１のセンサ２からのデータを含む生画像４０の新しいデータベースを得ることを可能にする。第１のセンサ２からのデータは、サイズＨ×Ｗの生画像４０を形成し、これはピクセル４１に分解することができ、各ピクセル４１は、例えば、図４ａに示されるように、第１のセンサ２のフォトサイトの応答に対応する。生画像４０は、図１ａに示すように、フィルタ７のモザイク３の基本パターンに対応する第１の基本パターン６を含むサイズＨ×Ｗのマトリックスとして表すことができる。図４ａに示す例では、各ピクセルはＰ個の色成分の１つに対応しており、したがって、Ｐ個のフィルタ７の１つに対応している。図４ａでは、第１の基本パターン６の成分は、Ｆ１からＦｐで示されている。したがって、モザイク画像４０の第１の基本パターン６のサイズはｈ×ｗである。図４ａでは、例えば、基本パターンのサイズは３ｘ３である。本発明によれば、第４のピクセル近傍３０は、第１の基本パターン６に関して定義される。第４の近傍３０のサイズはｎｈ×ｎｗである。本発明による第４の近傍３０は、以下、縮小近傍３０と呼ばれる。縮小近傍３０のサイズは、本発明に従って、ｎｈ＞ｈおよびｎｗ＞ｗとなるように定義される。例えば、ｎｈｎｗ＝Ｐｈｗとなるように縮小近傍を使用することが可能である。有利には、このように定義された縮小近傍は、捕捉されたカラー画像１を記述するための最適な色情報の量と質を含む。
【００４１】
図３は、モザイク画像４０の各ピクセルの色の補間計算を実行するための、本発明による縮小近傍３０の使用を示す。例えば、使用される基本パターンは、最新技術による図２ｄに示されるような第４の基本パターン２５である。したがって、第４の基本パターン２５の周りの図３に示される例に対して、サイズ４×４の縮小近傍３０が定義される。縮小近傍３０は、例えば、第４の基本パターン２５よりも幅および長さが１ピクセル大きいサイズを有する。第４の基本パターン２５の各ピクセルの色は、縮小近傍３０のピクセルの色を補間することによって計算される。モザイク画像４０上で第４の基本パターン２５から隣接する第４の基本パターン２５へ移行する場合、縮小近傍３０は、第４の基本パターン２５の片側のサイズに等しいピクセル数だけ、即ち、この例では２ピクセルだけ、モザイク画像４０上で平行移動する。近傍３０は、全く同じ基本パターンの全てのピクセルに全く同じ近傍が使用されるため、縮小と呼ばれ、この同じ近傍を基本パターンの近傍として定義してもよい。
【００４２】
一般に、縮小近傍３０は、ｎｈ＞ｈおよびｎｗ＞ｗとなるように定義される。例えば、ｎｈｎｗ＝Ｐｈｗを使用してもよい。
【００４３】
したがって、本発明によるサイズｎｈ×ｎｗの同じ縮小近傍３０は、本発明による捕捉されたカラー画像１の再構成中に第１の基本パターン６の各ピクセルの色を補間するために使用される。したがって、デモザイク行列を構成するために、ベクトル行列ｘ１は、各ベクトルがモザイク画像４０を構成する各第１の基本パターン６の縮小近傍３０の成分のみを含むように構成される。したがって、ｘ１の各ベクトルはサイズｎｈｎｗであり、行列ｘ１はＨＷ／（ｈｗ）個のサイズｎｈｎｗのベクトルを含む。したがって、式（１００３）のデモザイク行列Ｄ１のサイズは、Ｐｈｗ×ｎｈｎｗである。有利には、このような行列は、カラー画像の再構成において良好な品質を維持しつつも、最新技術による行列の場合よりもサイズが小さい。例えば、サイズｎｈ×ｎｗのスライディング近傍で再構成された画像は、サイズ（ｎｈ＋ｈ−１）×（ｎｗ＋ｗ−１）の縮小近傍と同じ性能を有していることを実験的に示すことができる。理論的な観点から見ると、２つの近傍はモザイク画像の同じ領域を覆っている。例えば、サイズ２×２のベイヤーの基本パターンとサイズ３×３のスライディング近傍の場合、性能の点で、サイズ４×４の縮小近傍と同じ結果が得られる。
【００４４】
図４ｂに示すように、ベクトル行列ｙ１を定義することもできる。ベクトル行列ｙ１は、行列ｙとして構成されたサイズＰｎｈｎｗのＨＷ／（ｈｗ）個のベクトルの行列の形式でＰ個の成分を有する分解画像４２を表すが、分解画像４２のＰ個の成分のそれぞれについて、第１の基本パターン６の代わりに第１の基本パターン６の縮小近傍３０を取り込んでいる。したがって、以下の演算子を定義することにより、デモザイク行列Ｄ１の簡略版を得ることができる。
【００４５】
縮小近傍３０を備えたＰ個の成分を有する分解画像のベクトル行列ｙ１の縮小近傍３０を備えたモザイク画像４０の、ベクトル行列ｘ１への射影行列Ｍ１は、以下のように定義される。
ｘ１＝Ｍ１ｙ１（１００４）
【００４６】
これをベクトル行列ｙに変換するためのベクトル行列ｙ１の縮小近傍３０の縮小行列Ｓ１は、次のように定義される。
ｙ＝Ｓ１ｙ１（１００５）
したがって、デモザイク行列Ｄ１を次のように定義でき、
【数１５】
2021515501.tif 000018
ここで、Ｒは次のような相関行列である。
【数１６】
2021515501.tif 000019
【００４７】
有利には、式（１００６）によるＤ１の定式化を使用して、参照画像データベースのカラー画像または分解画像の相関行列Ｒを一度だけ計算することが可能であり、前記分解画像は、サイズｎｈ×ｎｗの縮小近傍３０を備える。したがって、考慮されるフィルタのモザイクに従って演算子Ｍ１およびＳ１を変更することにより、デモザイク行列Ｄ１を簡単な方法で再計算することが可能である。
【００４８】
デモザイク法に関連する誤差の推定は、
【数１７】
2021515501.tif 000020
で表すことができ、したがって
【数１８】
2021515501.tif 000021
であり、ここで、ｔｒはトレース演算子である。
【００４９】
したがって、参照画像データベースをエンコードするためのフィルタの特定のモザイクの性能を演繹的に評価することが可能である。
【００５０】
参照画像データベースにより、縮小近傍の所定のサイズｎｈ×ｎｗのＲを計算することができる。
【００５１】
フィルタのモザイクの第１の基本パターン６を定義すると、Ｍ１、Ｓ１、Ｄ１の計算が可能になる。
【００５２】
これらのデータに基づいて、第１のセンサ２上に配置された特定のモザイクの使用に関連する画像の再構成における平均誤差は、参照画像データベースから直接計算することができる。
【００５３】
同様に、参照画像と分解画像との間の色差の平均値を以下に説明する方法で算出することができる。
【００５４】
フィルタの分光量子効率を含む行列は、ＦＱＥで表される。分光量子効率は、モノクロメータを使用して測定できるが、フィルタのスペクトル透過関数が事前にわかっていない場合は、適切な変換によって推定できる。分光量子効率の測定は、基本パターンの各ピクセルについて、モノクロメータによって生成された準色光に対応する画像から開始して、第１のセンサ２によって取得されたデータの記録を進めることによって実行される。画像のレベルは、測定中の露光時間に関連する感度のレベルが対応するように配置される、即ち、画像のレベルには、所定の放射測定装置の感度を調和させるために、露光時間に応じた係数が乗じられる。所定の波長間隔で、所定の波長範囲にわたってＰ個の異なるフィルタで覆われたＰ個の異なるピクセルの量子効率を計算するには、Ｎλ間隔の波長でフィルタまたは光路全体の透明度を測定するために機器を使用する。例えば、３８０ｎｍ〜７８０ｎｍの範囲で１ｎｍの間隔の場合、Ｎλ＝４０１が得られる。
【００５５】
フィルタ空間から標準化された三色ＣＩＥ  １９３１−ＸＹＺ色空間への変換は、
【数１９】
2021515501.tif 000022
のように定義され、ここで、ＦＱＥはサイズＮλ×Ｐの、ＸＹＺはサイズＮλ×３の行列で、ＣＩＥ  １９３１−ＸＹＺ色空間用に定義されたフィルタのスペクトル関数を含み、ＦｔｏＸＹＺのサイズは３×Ｐである。ＦｔｏＸＹＺは、Ｐ個の成分を有するカラー画像を、ＣＩＥ  １９３１−ＸＹＺ色空間で表現された色座標を有する画像に変換できる変換行列である。ＣＩＥ  １９３１−ＸＹＺ色空間は、１９３１年に国際照明委員会（ＣＩＥ）によって定義された。変換行列ＦｔｏＸＹＺのサイズをベクトルｙのサイズに拡張すると、次のように定義される変換ｙＸＹＺが得られ、
【数２０】
2021515501.tif 000023
【００５６】
ここで、Ｉｈｗはサイズｈｗ×ｈｗの単位行列であり、
2021515501.tif 000024
はクロネッカー積を表す。
フィルタの所定のモザイクと定義された近傍サイズの参照画像データベースでの平均二乗色差Ｅｉ＝１．．Ｎ｛ΔＥ２｝の近似は、
【数２１】
2021515501.tif 000025
と、
【数２２】
2021515501.tif 000026
で与えられ、Ｊ’は、ＣＩＥ  Ｌ＊ａ＊ｂ＊色空間への変換の近似値である。
【００５７】
ＣＩＥ  １９３１−ＸＹＺ色空間での表現は、視覚システムの線形表現である。現在、この表現は色差を予測するには不十分である。したがって、そのためにＣＩＥ  Ｌ＊ａ＊ｂ＊色空間が使用され、これにより、色空間が均一になり、人間の知覚に近くなる。ＣＩＥ  Ｌ＊ａ＊ｂ＊色空間は、１９７６年に国際照明委員会（ＣＩＥ）によって定義された。
【００５８】
したがって、特に、テストされるモザイクが何であれ、Ｒの計算は第１の参照データベースの各画像の縮小近傍３０を１回だけ実行されるため、より少ない計算コストで様々なモザイクをテストおよび評価することが可能である。したがって、所定のモザイクを用いた参照データベースの画像の再構成における平均誤差を計算することが可能である。
【００５９】
有利には、本発明によるデモザイク法によって再構成された画像を、ＣＩＥ  １９３１−ＸＹＺ色空間から導出された任意の正規化された空間に変換することが可能である。例えば、標準ＣＩＥ  ６１９６６−２−１（１９９９）で定義されている三色の色空間であるｓＲＧＢ空間（標準の赤、緑、青）を選択できる。例えば、ｓＲＧＢ色空間への変換は次のように実行できる。
【数２３】
2021515501.tif 000027
Ｄ１とｘ１に適用される式（１００２）を使用すると、次のようになる。
【数２４】
2021515501.tif 000028
および
【数２５】
2021515501.tif 000029
Ａは、ＣＩＥ  １９３１−ＸＹＺ色空間からｓＲＧＢ色空間への変換行列である。
【００６０】
図５は、本発明によるデモザイク行列の計算の、スペクトル領域全体、即ち連続スペクトル領域への一般化を示している。図５は、異なるスペクトル成分λ、即ち２つの所定の波長間のエネルギの値の関数として定義されるスペクトルパワー密度Ｌ（λ）の光源５０を示す。光源５０は、マルチスペクトル反射率画像Ｒ（ｘ’、ｙ’、λ）５２によって表される物体５１の表面によって反射される。反射率は、それが反射される物体５１による光源５０のスペクトルの変調を表す。マルチスペクトル反射率画像５２は、直交座標系（ｘ’、ｙ’、λ）で定義されたサイズＨ×ＷのＰλ個の画像で構成されている。反射物体または反射表面５１での光５０の反射は、放射輝度画像Ｌ（λ）Ｒ（ｘ’、ｙ’、λ）を与える。
【００６１】
マルチスペクトル反射率画像５２にスペクトルパワー密度Ｌ（λ）を乗じて放射輝度画像５３を決定することにより、マルチスペクトル反射率画像から始まる多成分画像５４を表現することが可能である。次に、放射輝度画像５３を表す行列に、光のスペクトル成分およびＣ（λ）の関数としてフィルタＦ１（λ）、Ｆ２（λ）、…、ＦＰ（λ）の透過関数を乗じる。この演算は、図６ａおよび図６ｂに示されているように、ベクトル形式で実行することができる。Ｃ（λ）は、フィルタのモザイクのスペクトル感度を含まない状態でのカメラの光路のスペクトル感度として定義される。その光路上で、カメラは、対物レンズ、赤外線フィルタ、ローパス空間フィルタ、マイクロレンズシステム、および第３のセンサ５５を含んでもよい。次に、Ｃ（λ）は、モザイクのフィルタの透過関数を含まない状態での光路の各構成要素のスペクトル透過関数の積として定義することができる。カメラの光路上のセンサのみを考慮する場合、Ｃ（λ）は第３のセンサ５５の感度である。代替的に、センサに加えて、対物レンズ、赤外線フィルタ、ローパス空間フィルタ、マイクロレンズシステムなど、１つ以上の構成要素を光路上で考慮することもできる。
【００６２】
デモザイク行列を決定することによってモデル化される演算は、放射輝度画像５３を取得した後、スペクトル関数Ｆ（λ）である、フィルタの第２のモザイク５７が配置された第３のセンサ５５によって生成されたモザイク画像５６から始まる多成分画像の再構成である。フィルタの第２のモザイク５７は、スペクトル領域における値のＰλ個の範囲に対して定義されたＰ個のフィルタから構成される。一般に、４００ｎｍ〜７００ｎｍのスペクトル領域では、１０ｎｍの間隔が考慮される。第３のセンサ５５は図１ａに示す第１のセンサ２と同様であり、フィルタの第２のモザイク５７は図１ａに示すフィルタ３の第１のモザイクと同様である。
【００６３】
図６ａは、前記マルチスペクトル反射率画像５２のいくつかのベクトル変換、または前記マルチスペクトル反射率画像５２を展開するいくつかの方法を示す。
【００６４】
第１のベクトル行列ｚ０を構成することができ、そのベクトルは、サイズＰλのマルチスペクトル反射率画像５２のスペクトル成分である。第１のベクトル行列ｚ０は、ＨＷ個の異なるベクトルで構成されている。
【００６５】
マルチスペクトル反射率画像５２を表す第２のベクトル行列ｚも構成することができる。第２のベクトル行列ｚを構成するために、ピクセルは、サイズｈｗのグループに一緒にグループ化され、各グループは、スペクトル成分Ｐλの全てに対してフィルタの第２のモザイク５７上の基本パターン６の位置に対応する。したがって、第２のベクトル行列ｚは、ＨＷ／（ｈｗ）個のサイズｈｗＰλのベクトルで構成される。
【００６６】
第３のベクトル行列ｚ１は、フィルタの第２のモザイク５７上の基本パターン６のそれぞれの周りのサイズｎｈ×ｎｗの近傍を使用して、マルチスペクトル反射率画像５２から開始して構成することができる。近傍の各ピクセルのスペクトル成分の累積ベクトルのディメンジョンはｎｈｎｗＰλである。次に、第３の行列ｚ１はＨＷ／（ｈｗ）個の異なるベクトルで構成される。
【００６７】
図６ｂは、第１のベクトル行列ｚ０から始まる多成分ベクトル行列ｙ０の計算を示す。マルチスペクトル反射率画像５２を表す第１のベクトル行列ｚ０に、最初にディメンジョンＰλ×Ｐλの対角行列Ｌ０を乗じると、その成分は光源のスペクトル密度Ｌ（λ）のＰλ値であり、行列Ｌ０の他の値はゼロに設定される。次いで第２に、その結果にディメンジョンＰλ×Ｐλの対角行列Ｃ０を乗じる。対角行列Ｃ０は、その対角線上に、フィルタのモザイク５７のスペクトル透過関数を含まないカメラの光路のスペクトル感度Ｃ（λ）の成分を含む。次に、その結果に、フィルタのモザイクのＰ個のフィルタＦ１（λ）、Ｆ２（λ）、．．．、ＦＰ（λ）のＰλ個のスペクトル透過関数の行列Ｆ０の転置行列を乗じるが、前記行列Ｆ０のサイズはＰλ×Ｐである。したがって、結果は以下のサイズＰ×ＨＷの多成分ベクトル行列ｙ０になる。
【数２６】
2021515501.tif 000030
【００６８】
図２ｂに示すように、ベクトル行列ｙが多成分分解画像Ｉｉから開始して構成されるのと同じ方法で、即ち、図４ｂに示すように、前記行列の行ベクトルに第１の基本パターン６を組み込み、行ベクトルに第１の基本パターン６を含めることにより、マルチスペクトル反射率画像５２から開始して第２のベクトル行列ｚを構成することが可能である。この場合、ｚのディメンジョンはＰλｈｗ×ＨＷ（ｈｗ）である。次に、式（１０１９）を転置して、ｙをｚの関数として
ｙ＝ＦＴＣＬｚ（１０２０）
と表すことができ、ここで
2021515501.tif 000031
Ｉｈｗはサイズｈｗ×ｈｗの単位行列である。
【００６９】
次に、マルチスペクトル画像に適用される新しいデモザイク行列Ｄ２は、
【数２７】
2021515501.tif 000032
と記述でき、ここで
【数２８】
2021515501.tif 000033
であり、ｘ１＝Ｍ１ｙ１＝Ｍ１Ｆ１Ｃ１Ｌ１ｚ１およびｙ＝Ｓ１ｙ１である。
【００７０】
このように定義された新しいデモザイク行列Ｄ２により、フィルタＦ０の透過関数と光源Ｌ０のスペクトル密度のＭ１によって特徴づけられるフィルタのモザイク内の色の配置を考慮することが更に可能になる。有利には、Ｄ２の定式化は、本発明による縮小近傍の定義を考慮に入れる。
【００７１】
また、フィルタの空間配置、フィルタのスペクトル透過関数、および使用する光源によって定義される特定のフィルタのモザイクの性能を演繹的に計算することもできる。この目的のために、デモザイク処理に関連する推定誤差を計算する式（１００８）、（１００９）およびデモザイク処理に関連する色差を計算する式（１０１２）、（１０１３）、（１０１４）、（１０１５）をマルチスペクトル領域に適合させることが可能である。
【００７２】
フィルタの分光量子効率ＦＱＥは、フィルタＦおよびＣの透過行列の積に相当し、ここで、Ｃは、センサの感度に、フィルタのモザイクがない状態でのカメラの光路の構成要素のスペクトル透過関数を乗じたものである。簡単にするために、Ｃを計算するためにセンサの感度のみを考慮することが可能である。
【００７３】
有利には、式（１０２１）において、式ＦＴＣＬＳ１による左側の乗算は、Ｐ個の色成分に従って再構成された画像を射影する。換言すると、ＦＴＣＬＳ１は、スペクトル領域のＰλ個の成分を、モザイクのフィルタのＰ個の色に射影する。
【００７４】
Ｐ個の色成分に従って再構成された画像の射影が実行されない場合、マルチスペクトル画像の再構成フィルタが得られる。したがって、モザイク画像から開始して再構成された画像の各ピクセルに対する色スペクトルを推定することが可能である。
【００７５】
図７は、例えば、Ｄ１などのデモザイク行列の畳み込みフィルタへの変換を示している。
【００７６】
行列Ｄ１などのデモザイク行列により、モザイク画像を表すベクトル行列ｘ１から開始して、再構成された画像を表すベクトル行列ｙ〜を、ｙ〜＝Ｄ１ｘ１に再構成することができる。
【００７７】
デモザイク行列の各行を、カラー画像のサイズｈ×ｗの第５の基本パターン７０のピクセルの１つの色の１つをＰ個の成分で再構成することを可能にする、畳み込みフィルタと見なしてもよい。第５の基本パターン７０は、モザイク画像内の前記対応するピクセルを含む基本パターンｈｗの、サイズｎｈ×ｎｗの縮小近傍７３から開始して、サイズＰｈｗの第１の列ベクトル７１としてエンコードされる。縮小近傍７３は、第２の列ベクトル７４としてエンコードされる。
【００７８】
デモザイク行列Ｄ１の各行は、モザイク画像の各ピクセルに適用される等価な畳み込みフィルタ７２に変換され、Ｐ個の成分を有するカラー画像のピクセルを再構成することができる。有利には、それぞれがモザイク画像のピクセルに適用できる一連の畳み込みフィルタとしてデモザイク行列を表現することにより、計算時間、計算リソースおよびメモリの点で高価な演算となるモザイク画像のベクトル行列への変換を回避することができる。有利には、このようにして、分解しなければならないベクトル行列の形ではない再構成画像が得られる。したがって、再構成画像のベクトル行列を、基本パターンの各ピクセルが畳み込みフィルタに対応する完全な再構成画像に変換する演算を省くことにより、計算時間、計算リソース、およびメモリを節約することが可能である。
【００７９】
畳み込みフィルタへの変換はまた、マルチスペクトルモザイク画像のデモザイク行列Ｄ２にも適用できる。
【００８０】
また、本発明によれば、フィルタの透過関数のスペクトル最適化方法およびモザイクの基本パターン上でのフィルタの配置方法を実行することが可能となる。
【００８１】
この目的のために、本発明による縮小近傍３０と共に最小二乗法を使用して、フィルタまたはデモザイク行列のトレーニングが使用される。上記および特に式（１０２１）で見られるように、デモザイク行列は、フィルタＦのスペクトル関数によって表すことができる。デモザイク行列を使用して、第３のセンサ５５によって捕捉された画像をＰ個の成分を有するカラー画像に再構成する際の品質基準ＭＳＥ（平均二乗誤差）およびΔＥを計算することが可能である。したがって、生成される画像の品質基準を最大化するために、フィルタのスペクトル関数のパラメータを最適化することが可能である。
【００８２】
図８に示すように、図１に示す原理に従って取得された画像から開始して、本発明による方法を使用して、Ｐ個の色成分を有する画像を再構成することが可能である。式（１０１６）および以下の式を使用して、ＣＩＥ１９３１−ＸＹＺ空間などの標準化された三色空間で生成された画像を再構成することも可能である。
【００８３】
図８では、画像の形成のモデルは、マルチスペクトル反射率画像５２から開始して、
・マルチスペクトル反射率画像５２から始まる式ｙＸＹＺ＝ＦｔｏＸＹＺ×ＦＴＬＣｚによって生成されたＣＩＥ  １９３１−ＸＹＺ三色空間の３成分画像８０であって、３成分のそれぞれはフィルタＸ（λ）、Ｙ（λ）、Ｚ（λ）の１つに対応する３成分画像８０と、
・それぞれがフィルタＦ１（λ）、Ｆ２（λ）、…、ＦＰ（λ）の１つの出力に対応するＰ個の成分を有する多成分画像５４と、
・ベクトル行列形式のスペクトル関数Ｆ（λ）のフィルタの第３のモザイク８３を介して直接第３のセンサ５５によって取得された画像に対応するモザイク画像５６であって、そのベクトルはフィルタＦ１（１）、Ｆ２（１）、．．．、ＦＰ（１）のスペクトル関数であるモザイク画像５６と
の間で、画像の再構成を提案する。
【００８４】
放射輝度画像５３は、光束を３つの成分に分割するためのシステムを含む第１の理論的で理想的な撮像システムによって測定することができる。各成分は、フィルタＸ（λ）、Ｙ（λ）、Ｚ（λ）を通過し、次に、第４の理想的なセンサ８１によって測定される。Ｃ（λ）は、センサを含むがフィルタのモザイクがない状態でのカメラの光路のスペクトル感度である。このような理想的な撮像システムでは、ＣＩＥ  １９３１−ＸＹＺ色空間内の各ピクセルの座標Ｘ、Ｙ、Ｚを直接捕捉し、ＣＩＥ  １９３１−ＸＹＺ色空間内に３つの成分を持つ、いわゆる理想的なカラー画像８０が直接生成される。
【００８５】
第２の撮像システムは、Ｐ個のカラーフィルタから構成されてもよく、その透過関数は、Ｆｉ＝１…Ｐ（λ）によって与えられる。光はこれらのＰ個のフィルタのそれぞれを通過し、次に、第３のセンサ５５によって測定される。第３のセンサ５５は、それぞれがＰ個のフィルタＦｉ（λ）の１つに対応する、Ｐ個の色成分を有する多成分画像５４を生成する。第３のセンサ５５を含むがフィルタのモザイクを含まない状態でのカメラの光路のスペクトル感度は、Ｃ（λ）である。代替的に、Ｃ（λ）はセンサのスペクトル感度のみであると考えることもできる。
【００８６】
第３の撮像システムは、モデル化を試みたものである。第３の撮像システムは、第１の基本パターン６上に配置され、第３のセンサ５５のサイズで複製されたＰ個の異なる色のフィルタ８３の第２の行列、またはモザイクから構成される。第３の撮像システムはまた、第３のセンサ５５も備える。
【００８７】
最初のベクトル行列ｚ０から開始して、以下の成分ＸＹＺの理想的な画像に対応するベクトル行列ｙＸＹＺを構成できる。
ｙＸＹＺ＝ＸＹＺＴＬ０ｚ０（１０２７）
例えば、
【数２９】
2021515501.tif 000034
また、
【数３０】
2021515501.tif 000035
【００８８】
行列ｙＸＹＺのサイズは３×ＨＷであり、再構成された画像の各ピクセルの３つの成分ＸＹＺを含むサイズＨ×Ｗ×３の画像に変換できる。
【００８９】
サイズｎｈｎｗＰλ×ＨＷ（ｈｗ）の第３の行列ｚ１から開始して、デモザイク行列Ｄ２は式（１０２１）に従って記述できる。
【００９０】
Ｄ２を書くこの方法は、参照画像データベースの全ての画像について、相関行列Ｒ’全体について一度計算することを可能にする。これにより、帰納的に定義され、フィルタのスペクトル関数の行列Ｆ１にエンコードされたフィルタのモザイクのデモザイク行列Ｄ１を計算できる。したがって、式（１０３１）によるＤ２のモデルは、解かれるべき問題のデータの関数としてのデモザイク演算子または行列Ｄ２の直接表現、即ち、フィルタのモザイクのフィルタのスペクトル関数の最適化を、有利に可能にする。したがって、取得された画像の再構成の品質を最適化するようにＦ１を得ることが可能である。
【００９１】
使用される最適化基準は、空間ＭＳＥおよび比色ΔＥという画像再構成の品質基準である。
【００９２】
最適化基準は、マルチスペクトル反射率画像５２から始まる第４の理想的なセンサ８１によって生成される理想的な画像８０と、フィルタの第３のモザイク８３を介して取得され、デモザイク処理され、即ち、デマトリックス処理され、最適化基準の計算を可能にする色空間に変換されるモザイク画像５６との間で、計算される。
【００９３】
最適化基準を計算するために、ｓＲＧＢ空間またはＡｄｏｂｅ（登録商標）ＲＧＢなどの他の関連空間内の位置を採用できる。ｓＲＧＢ空間内の位置を採用するには、上記の演算を実行する、即ち、式（１０１０）と（１０１１）を使用して標準化された三色ＣＩＥ  １９３１−ＸＹＺ色空間に変換し、次に式（１０１６）、（１０１７）、（１０１８）を使用してｓＲＧＢ空間に変換する。
【００９４】
別の色空間を使用することもできる。例えば、行列Ａを変更することで、ＸＹＺ空間に基づいて表現できる色空間を得ることができる。その他の空間では、ＦｔｏＸＹＺを置換する必要がある。例えば、宛先空間がＡＢＣと呼ばれる場合、式（１０１０）でＸＹＺをＡＢＣに置換することによってＦｔｏＡＢＣを推定する必要がある。
【００９５】
ＭＳＥタイプの基準またはＰＳＮＲタイプの基準を計算することも可能である。ＰＳＮＲ（ピーク信号対雑音比）は、画像の色歪みの指標である。ｓＲＧＢ空間で表現された２つの多成分画像の場合、Ｉ’（ｘ’、ｙ’、ｃ）とＫ’（ｘ’、ｙ’、ｃ）は０と１の間で正規化され、ここで、ｃは３色成分の１つであり、基準ＭＳＥは次のように計算される。
【数３１】
2021515501.tif 000036
【００９６】
基準ＰＮＳＲは次のように計算される。
【数３２】
2021515501.tif 000037
【００９７】
ΔＥの計算は、ＸＹＺ参照系で表現された２つの画像Ｉ’とＫ’については、非線形計算を区分線形関数で次のように近似して実行される。
【数３３】
2021515501.tif 000038
ここで、
【数３４】
2021515501.tif 000039
ここで、ｄｉａｇはベクトルを行列の対角線に配置する関数である。
【００９８】
図９は、反射率画像Ｒ（ｘ’、ｙ’、λ）で実行される様々な演算を示している。
【００９９】
図９に示すように、以下の３つの異なる画像が生成される。
・理想的なカラー画像８０などのＣＩＥ１９３１−ＸＹＺ色空間における第１の３成分画像１０３、
・多成分画像５４など、３つのカラーフィルタが配置された第３のセンサ５５から生じる第２の３成分画像１０４、
・モザイク画像５６に対応する、フィルタの第３のモザイク８３が配置されている第３のセンサ５５から生じる第３の３成分画像１０５。
【０１００】
各画像は、第３および第４のセンサ５５、８１の出力における３つの異なる処理経路１００、１０１、１０２の１つからのものである。
【０１０１】
第１の経路１００は、図６ａに示すように、マルチスペクトル反射率画像Ｒ（ｘ’、ｙ’、λ）をサイズＰλのＨＷ個のベクトルの行列ｚ０に変換することから構成される、第２の処理経路１０１の第１の処理を使用する。放射輝度画像Ｌ（λ）Ｒ（ｘ’、ｙ’、λ）から開始することもできる。
【０１０２】
次に、第１の処理経路１００の第１の処理は、式（１０２７）によって記述されるように、ＸＹＺ空間への行列ｚ０の射影である。サイズ３×ＨＷのベクトル行列ｚＸＹＺが得られる。
次に、式（１０１７）と（１０１８）で説明されているように、行列ｚＸＹＺは、行列Ａを適用して、ｓＲＧＢ空間に射影される。サイズ３×ＨＷの新しい行列ｚｓＲＧＢが得られる。次に、行列ｚｓＲＧＢを「展開」して、ｓＲＧＢ色空間でサイズＨ×Ｗの第１の３成分画像１０３を再構成できる。
【０１０３】
第２の経路１０１は、式（１０１９）に従ってベクトル行列ｙ０を得るために、ベクトルｚ０に対して、図６ｂに示される演算を実行する。次に、ベクトル行列ｙ０は、図２ｂに示すように、ディメンジョンがＰｈｗでＨＷ／（ｈｗ）個のベクトルの行列に変換される。次に、関係（１０１１）によって説明されているように、ベクトル行列ｙ０は関数ＦｔｏＸＹＺによってＸＹＺ空間に射影される。このようにして、サイズＨＷの３つのベクトルｙ０ＸＹＺの行列が得られる。次に、式（１０１７）と（１０１８）で説明されているように、行列ｙ０ＸＹＺは、行列Ａを適用して、ｓＲＧＢ空間に射影される。サイズ３×ＨＷの新しい行列ｙ０ｓＲＧＢが得られる。次に、行列ｙ０ｓＲＧＢを「展開」して、ｓＲＧＢ色空間でサイズＨ×Ｗの第２の３成分画像１０４を再構成できる。
【０１０４】
フィルタの第３のモザイク８３で覆われた第３のセンサ５５によって取得されたマルチスペクトル反射率画像Ｒ（ｘ’、ｙ’、λ）から始まる第３の経路１０２は、図６ａに示すように、サイズＰλｎｈｎｗ×ＨＷ（ｈｗ）の行列ｚ１を与える。行列ｚ１から開始して、サイズｎｈｎｗ×ＨＷ／（ｈｗ）の行列ｘ１は、関係（１０２３）に従って
【数３５】
2021515501.tif 000040
となるように得ることができる。次に、式（１０２１）で説明したデモザイク行列Ｄ２の形式のデモザイク行列Ｄ０を適用すると、ｙ〜１＝Ｄ０ｘ１となるようなサイズＰλｎｈｎｗ×ＨＷ／（ｈｗ）のｙ〜１が得られる。次に、変換ＦｔｏＸＹＺがｙ〜１に適用され、式（１０１１）、即ち、サイズ３×ＨＷの
2021515501.tif 000041
に従ってＸＹＺ空間で結果の画像が取得される。最後に、式（１０１８）で定義された行列Ａを適用することにより、
2021515501.tif 000042
でサイズ３×ＨＷとなるｙ〜ｓＲＧＢが得られる。次に、得られた行列ｙ〜ｓＲＧＢは、ｓＲＧＢ色空間で第３の３成分画像１０５を再構成するために「展開」される。
【０１０５】
図９に示す異なるベクトル行列から開始して、ΔＥ１、ΔＥ２、ΔＥ３およびＭＳＥなどいくつかの異なるΔＥを計算でき、これらのΔＥを最小化して、スペクトル関数とフィルタの第３のモザイク８３での分布を最適化することを試みる。異なるΔＥの計算は、式（１０１２）、（１０１３）、（１０１４）および（１０１５）に従って実行される。
【０１０６】
第１のΔＥ１は、マルチスペクトル反射率画像Ｒ（ｘ’、ｙ’、λ）から開始して直接生成された行列ｚＸＹＺに含まれる画像と、フィルタＦ１、Ｆ２、Ｆ３を介して直接取得され、次いでＸＹＺ色空間への変換を経た画像ｙ０ＸＹＺとの間で計算される。
【０１０７】
第２のΔＥ２は、行列ｚＸＹＺに含まれる画像と、フィルタの第３のモザイク８３を使用して取得した後のＸＹＺ色空間で表される画像ｙ〜ＸＹＺとの間で計算される。
【０１０８】
第３のΔＥ３は、フィルタの演色能力をテストするために画像の再構成を使用しない純粋なスペクトル基準である。第３のΔＥ３を計算するには、マクベス（Ｍａｃｂｅｔｈ）テストチャートまたは２４色を含むカラーチャートのスペクトルを使用する。代替的に、他のスペクトル参照基準を使用することも可能である。マクベステストチャートの２４の正方形のマルチスペクトル反射率データから開始して、一方ではＸＹＺ色空間への変換が直接適用されて第４番の画像を得て、他方ではフィルタＦ１、Ｆ２、Ｆ３およびカメラの光路の感度、次いで第３のセンサ５５の出力における画像のＸＹＺ色空間への変換が適用されて、第５の画像を得る。第４および第５の画像は、第３のΔＥ３の計算に使用される。
【０１０９】
次に、ＭＳＥとＰＮＳＲは、マルチスペクトル反射率画像から開始して直接生成された第１の画像１０３と、モザイク行列８３と第３のセンサ５５とを通過した後のマルチスペクトル反射率画像から開始して生成された第３の画像との間で計算される。
【０１１０】
図１０は、本発明によるデモザイク装置および方法を示す。
【０１１１】
第１のステップ１００は、画像取得装置１０２によるカラー画像１０１を取得するステップである。画像取得装置１０２は、図１ａ、図５、および図８に示すように、センサ２、５５を備える。画像取得装置１０２は、図１ａ、図５、および図８に示すように、モザイクフィルタ３、５７、８３、またはフィルタのモザイクを、ＨＷ個のフィルタのマトリックスの形態で更に備える。フィルタのモザイク３、５７、８３がセンサに適用される。この装置はまた、カメラによって取得された光を、モザイクフィルタ３、５７、８３を備えたセンサ２、５５に向けて収束させる光学装置も備えている。したがって、センサ２、５５のセルに到達する前に、光はフィルタのモザイク３、５７、８３のカラーフィルタ７の１つを通過する。図４ａに示すように、センサ２、５５に由来する生信号１０３は、サイズＨ×Ｗのモザイク画像４０の形で表すことができる。次に、モザイク画像４０は、本発明によるデモザイク演算１０５を実行する第１の計算機またはコンピュータ１０４に送信される。デモザイク演算は、図４ａに示すように、行列形式ｘ１で表されるモザイク画像４０にデモザイク行列Ｄ０、Ｄ１、Ｄ２を乗じることで構成される。デモザイク演算１０５の結果は、ベクトル行列であり、この行列は、図２ｂに示すプロセスとは逆のプロセスに従って、いくつかの色成分で生成された画像に変換され、このことは、ベクトル行列を「展開」して、いくつかの色成分を含む画像の形式で表現することで構成される。次に、再構成画像１０６を、ディスプレイ１０７など、その活用のための適切な手段に送信することができる。
【０１１２】
図１１は、デモザイク行列を生成する方法とその装置を示す。
【０１１３】
デモザイク行列を構成するための装置は、第１のデータベース１１０を含む。第１のデータベース１１０は、いわゆる参照画像を含む。参照画像は、多成分画像またはマルチスペクトル画像であってもよい。参照画像はまた、可視スペクトル外の画像であってもよい。第１のデータベース１１０から開始して、デモザイク行列を構成する第１のステップは、フィルタのモザイクで覆われたセンサからのモザイク画像をモデル化するステップである。モデル化は、センサ２、５５のモデルを実装するシミュレーションアプリケーション１１１によって実行される。シミュレーションアプリケーション１１１は、第２の計算機またはコンピュータ１１２の１つ以上のプロセッサによって実行されてもよい。代替的に、シミュレーションアプリケーション１１１は、第１の計算機１０４によって実行されてもよい。
【０１１４】
各参照画像から開始して、シミュレーションアプリケーション１１１は、モザイク画像を生成し、これにより、いわゆるモザイク画像の第２のデータベース１１４が追加されるであろう。
【０１１５】
第２のデータベース１１４が構築されると、デモザイク行列を構成するための方法の第２のステップ１１５を実施することができる。デモザイク行列を構成する方法を、第２の計算機１１２の１つ以上のプロセッサ上で実行されるコンピュータプログラムによって実行することができる。代替的に、デモザイク行列を構成する方法は、第３の計算機、またはコンピュータ（図示せず）、あるいは第１の計算機１０４で実行することができる。デモザイク行列を構成する方法は、２つのデータベース１１０、１１４の画像を使用する。第１のデータベース１１０は、テスト中のデモザイク行列をそれに適用することによって、即ち、本発明によるデモザイク法を使用することによって、参照画像から始まるモザイク画像を生成するために使用される。このようにして生成されたモザイク画像は、次に、第２のデータベース１１４内の参照画像に対応するモザイク画像と比較される。この比較は、シミュレーションによって生成されたモザイク行列と、テスト中のデモザイク行列の適用によって構成されたモザイク行列との間の誤差の計算で構成される。デモザイク行列を構成する方法は反復法であり、モザイク行列の構成の誤差がしきい値を下回ると、反復は停止する。そうでない場合は、新しいデモザイク行列が決定され、テストされる。
【０１１６】
本発明の異なる実施形態は、様々なステップを含む。これらのステップは、例えば、マイクロプロセッサによって実行可能な機械命令によって実行されてもよい。
【０１１７】
代替的に、これらのステップは、ステップを実行するための配線論理を含む特定の集積回路によって、またはプログラム可能なコンポーネントと個別コンポーネントとの任意の組合せによって実行されてもよい。
【０１１８】
本発明はまた、コンピュータプログラム製品の形態で提供されてもよく、該製品は、データ処理マシン上で実行可能な命令を含む非一時的なコンピュータ記憶媒体を含んでもよく、これらの命令は、本方法を実行するためのコンピュータ（または他の任意の電子デバイス）をプログラミングするために使用可能である。
【図１ａ】
2021515501.tif 000054
【図１ｂ】
2021515501.tif 000055
【図２ａ】
2021515501.tif 000056
【図２ｂ】
2021515501.tif 000057
【図２ｃ】
2021515501.tif 000058
【図２ｄ】
2021515501.tif 000059
【図３】
2021515501.tif 000060
【図４ａ】
2021515501.tif 000061
【図４ｂ】
2021515501.tif 000062
【図５】
2021515501.tif 000063
【図６ａ】
2021515501.tif 000064
【図６ｂ】
2021515501.tif 000065
【図７】
2021515501.tif 000066
【図８】
2021515501.tif 000067
【図９】
2021515501.tif 000068
【図１０】
2021515501.tif 000069
【図１１】
2021515501.tif 000070
【国際調査報告】
2021515501.tif 000071
2021515501.tif 000072
2021515501.tif 000073
2021515501.tif 000074
2021515501.tif 000075