(57)【特許請求の範囲】
【請求項１】
第一の画像から第二の画像を生成する為にデータ処理をする方法であって、前記第一の画像は２次元アレイの画素の値からなり、各々の前記画素の値は、複数のスペクトル帯域の内の１つにおいて前記第一の画像中における輝度に対応している、データ処理をする方法において、
前記第一の画像の前記画素を複数の入力画像平面へ分けるステップであって、前記入力画像平面の各々は前記入力画像平面の他の各々と水平方向及び垂直方向で同数のサンプルを有するサンプリング間隔で、他の前記入力画像平面と同数の画素を持ち、前記入力画像平面内の全ての前記画素は、他の入力画像平面における前記画素と同じスペクトル帯域を持つ、複数の入力画像平面へ分けるステップと、
前記第一の画像を入力画素面の組合せとして表わすステップであって、前記入力画素面の各々が大きさＰのベクトルであり、前記Ｐは、前記複数の入力画像平面からの複数の入力画素に対応する成分を有する、入力画素面の組合せとして表わすステップと、
出力画像平面の組合せを設定するステップであって、複数のスペクトル帯域の内の１つにおいて、前記出力画像平面内の各画素が、前記第二の画像中の格子点に対応している前記第二の画像の前記輝度を表わす、出力画像平面の組合せを設定するステップと、
前記第二の画像を出力画素面の組合せとして表わすステップであって、前記出力画素面の各々が大きさＱのベクトルであり、前記Ｑは、前記出力画像平面からの画素に対応する成分を有する、出力画素面の組合せとして表わすステップと、
前記入力画素面から得たベクトルに線形変換を用いて、前記出力画素面の少なくとも１つを含むベクトルを得るステップとを含むことを特徴とする画像変換方法。
【請求項２】
前記第一の画像が、光学装置により生成され、
前記光学装置は、感光性検出素子アレイと、前記感光性検出素子に結像するためのレンズ系とを有し、
前記線形変換が前記レンズ系の特性に依存することを特徴とする請求項１に記載の画像変換方法。
【請求項３】
前記特性が、前記レンズ系の焦点距離であることを特徴とする請求項２に記載の画像変換方法。
【請求項４】
前記特性が、前記レンズ系のｆナンバーであることを特徴とする請求項２に記載の画像変換方法。
【請求項５】
前記線形変換が、前記第一の画像を生成する為に用いられた照明源に基づいて変化することを特徴とする請求項１に記載の画像変換方法。
【請求項６】
前記線形変換が前記第一の画像に取り込まれた像の種類に基づいて変化することを特徴とする請求項１に記載の画像変換方法。
【請求項７】
前記線形変換が前記第二の画像の出力フォーマットに基づいて変化することを特徴とする請求項１に記載の画像変換方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラに関し、より具体的にはカメラセンサからのデータをカラー画像へと変換する為の改善された画像変換方法に関する。
【０００２】
【従来の技術】
通常、デジタルカラー画像は、整列した格子上の各格子点における画像の輝度を表わす画素値の配列により構成される。代表的には３つの色が画像の作成に利用される。格子上の各格子点には、これら各々の色の輝度が指定されており、従ってその格子ポイントには、画像の輝度及び色の両方が指定される。
【０００３】
従来のカラー写真記録では、スペクトルの異なる感度領域（通常は赤、緑、青）を有する色感度層が３つ重なり合うことにより、画像データが記録されている。それとは対照的に通常デジタルカメラでは、１つの単層のセンサアレイが用いられる。
【０００４】
カラー画像を検出するセンサアレイが１つだけの場合、特定のセンサ位置で検出されるのは一色のみである。結果として、これらのセンサによって作られるのは、これまでの通念のカラー画像ではなく、むしろ個々のセンサに割り当てられたカラーフィルタによる個々の色サンプルの集合である。この割り当てはカラーフィルタ配列（ＣＦＡ）、即ちカラーモザイク配列と呼ばれる。この配列の各位置において検出されるのはもともと一色のみであるので、各サンプル位置において色サンプルの完全なセット（通常は赤、緑、青）を持つ真のカラー画像を作成するために、失われた情報を推定するための多大な量の計算が必要となる。この処理を「デモザイク」処理と呼ぶことにする。
【０００５】
失われた情報を生成するために、画像センサ内の隣接する画素の情報を使わなければならない。推定処理により発生する人工的な結果を最低限に抑えつつ失われた情報を提供しようと、多くのアルゴリズムが提案されている。最も簡単なアルゴリズムにおいては、失われた情報を提供するために類似色のカラーセンサからのデータを補間する。これらのアルゴリズムでは、例えば赤センサを緑センサから独立したものとして扱う。所定の位置に赤色の値を与えるために、その位置の領域内にある赤センサにより測定された値が補間される。この手法においては、画像を低域フィルタでフィルタリングしなければならない。このようなフィルタリングをすると、画像の解像度がその基となるセンサアレイの画素解像度よりも低くなってしまう。しかし、この失われた解像度を回復することは出来ない。
【０００６】
この解像度の低下を避けるにために、高級なカメラでは、よりマイルドな光学低域フィルタを利用しているものがある。しかしながら、そのようなシステムにおいては、カラーセンサを独立したものとして取り扱うことが出来なくなる。例えば、Ｗｏｂｅｒ等による米国特許第５、４７５、７６９号では、失われた色情報を計算しようとする画素に隣接した画素値の加重平均を計算することにより、失われた色情報を生成する方法が記載されている。この方法では、復元しようとする色だけではなく全てのカラーセンサによって、値に重み付けがされる。しかしながらこの方法でさえも、全ての画像に対して一組の重み付けしか用いないために、改善の要望が多い。
【０００７】
【発明が解決しようとする課題】
一つの画素アレイを、各平面が同じ色のセンサを有する複数の別々の画素平面から構成されているものと見ることが出来る。画素は重なり合わない為、様々な平面にあるセンサは異なる位置にある。１以上の平面にわたって加重平均を取るシステムでは、これらサンプル位置間の統計的依存性が利用される。要するに、カメラの光学系がぼけることによって１つの色平面のセンサに正確に入る画像のエッジを、他の色平面にもあるかのように見せることが出来るということで、これは画像がそのセンサ上でぼけて他の色平面に広がるためである。異なる色平面間における統計的依存性は、カメラの光学系のぼけ量によって影響を受けるために、最適なアルゴリズムとするには物理的なカメラ設定に関しての配慮が必要となる。従って、一組の重み付け関数では失われた情報の最適な推定が出来ない。
【０００８】
また、統計的依存性は、照明源にも依存する。異なる照明源は異なるスペクトルを持つ。画素フィルタは赤、緑及び青の波長が中心の通過帯域幅を有する。画像のぼけがない場合、いずれの画素の反応もそのカラーフィルタ、撮影される像の対応する位置の反射率、そして照明源からそのポイントに入射する光スペクトルによって決定される。カメラの光学系によるぼけは画素間の光を混ぜ合わせる。従って一般的に、統計的依存性は照明源及びカメラの光学系の両方に依存している。従来技術による方法では、画素アレイデータを完全にサンプリングされたカラーデジタル画像へと変換するにあたり、照明源についての配慮がなされていなかった。
【０００９】
本発明はこのような状況に鑑みてなされたもので、広義的に言えば、本発明の目的は、重なり合わないセンサを持つ画素アレイからのデータを完全にサンプリングされたデジタル画像へ変換するための改善された画像変換方法を提供するところにある。
【００１０】
本発明の更なる目的は、カメラの光学系に関する修正を行う画像変換方法を提供するところにある。
【００１１】
本発明のまた更なる目的は、照明源に関する修正を行う画像変換方法を提供するところにある。
【００１２】
本発明のこれら及びその他の目的は、以下の本発明に関する詳細な説明及び添付の図とにより当業者に明らかとなるものである。
【課題を解決するための手段】
【００１３】
本発明は、データ処理システムを操作して第一の画像から第二の画像を生成するものである。第一の画像は、２次元アレイの画素値を含み、各画素値は第一の画像中の一箇所における複数のスペクトル帯域の内の１つの輝度に対応する。画像変換方法は、少なくとも１つの出力画素面を含むベクトルを得る為に、入力画素面からのベクトルへ線形変換を行う。入力画素面は、第一の画像の画素を複数の入力画像平面へと分割することにより定められる。各入力画像平面は他の入力画像平面と同数あり、正規化された水平及び垂直方向のサンプリング間隔の画素でである。ある特定の画像平面中にある画素は全て、その入力画像平面内の他の画素と同じスペクトル帯域に対応する。各入力画素面は大きさＰ（Ｐは入力画像平面数）のベクトルであり、そのベクトルの各成分は対応する入力画像平面からの入力画素である。同様に、１組の出力画像平面が画定されるが、ある特定の出力画像平面中の各画素は、第二の画像中の対応するポイントにおける複数スペクトル帯域の内の１つで、第二の画像の輝度を表わしている。各出力画素面は大きさＱ（Ｑは出力画像平面数）のベクトルであり、そのベクトルの各成分は対応する出力画像平面からの画素である。本発明の実施形態においては、線形変換は第一の画像を生成するために、利用された光学系及び照明源の特性に依存する。また、線形変換は第一の画像に取り込んだ像の内容及び第二の画像の所望の出力フォーマットを考慮するように変えることも出来る。
【００１４】
この画像変換方法によれば、入力画素面から得たベクトルに線形変換を用いて、出力画素面のベクトルを得るようにしているので、この線形変換によってベクトルを目的にそって変換することができる。
【００１５】
【発明の実施の形態】
本発明の画像変換方法は、センサアレイからサンプルを得ることのできるカラーサンプリング装置に適用でき、該センサアレイは下記の２つの条件を満たす複数の画像平面へと分解可能である。
第一の条件は、正規化された水平及び垂直のサンプリング間隔において、各画像平面がそれぞれ同数のサンプルを有していることである。また、異なる画像平面は互いに任意にずらされていても良い。
第二の条件は、ある特定の画像平面全てのサンプルが、同一の色特性でなければならないことである。また、複数の画像平面が同じ色特性であっても良い。
【００１６】
検出素子ユニットが反復してなるセンサ配列である画像センサであればいずれもこれらの条件を満たしている。例えば、ある一般的な画像センサアレイは、２つの緑センサ、１つの赤センサ及び１つの青センサを持つ２×２のセンサアレイユニットが反復してなるベイヤ配列に基づいたものである。
【００１７】
図１において、このベイヤ配列は１０であり、ユニットは１２に示されている。このような画像センサは１４〜１７に示している様に、２つの緑平面１４及び１７、１つの赤平面１６、そして１つの青平面１５の４つの平面として見ることができる。
サンプリングの間隔は、そのユニットがもともと占めている領域である。各平面は他の平面に対してずれている。見て明らかなとおり、規則正しいサンプリング格子は、いずれも上記条件を満たす１組の画像平面へと分解することが出来る。
【００１８】
各画像平面において測定された輝度値を、ｘp［ｎ1、ｎ2］で示す。ここでｎ1及びｎ2は、ｐ番目の画像平面における画素位置を示す記号であり、ｘpはその画素の輝度値である。量［ｎ1、ｎ2］は、ｎａで表わされるベクトルの２次元の整数値である。画像平面の組全体としては、ベクトルの組合せｘａ［ｎａ］で表わされ、これを下記（１）式に示す。
【００１９】
【数１】
0004328424.tif 000002
【００２０】
出力画像も同様に異なる画像平面の組に定義されたベクトルの組合せとして表わすことが出来る。通常、デモザイク処理アルゴリズムの目的は、３色の平面（赤（Ｒ）、緑（Ｇ）、青（Ｂ））の規則正しい間隔である画素の組合せを生成することである。
また、ｉ番目の色の平面における輝度はｙi［ｎ1、ｎ2］で示すと、出力画素もベクトルの組合せにより表わすことが出来る。
【００２１】
【数２】
0004328424.tif 000003
【００２２】
デモザイク処理の場合、通常３であるが上記Ｑには、異なるＱの値を用いることもできる。例えば、４色の染料を用いたカラープリンタで印刷する画像はＱ＝４として、作成することができる。
【００２３】
一般的に出力画像は入力画像とは異なる空間解像度を有する。入力画像は、“画素面”の組合せであるｘａ［ｎａ］から成るように見える。同様に、出力画像は画素面の組合せであるｙａ［ｍａ］から成る。各入力画素に対応する出力画素の縦及び横方向の数は、それぞれλ1及びλ2で示される。上述のベイヤ配列の場合、デモザイク処理においてはλ1＝λ2＝２とされる。即ち、入力アレイの各センサについて、１つが１つの出力画素（ＲＧＢ）を作るのである。
【００２４】
本実施形態において、出力画素は、ｘａ［ｎａ］及びｙａ［ｍａ］から得たベクトルに作用する線形演算によって、入力画素と関連付けられる。これらの中間ベクトルは解像度の違いや、各出力画素が１つ以上の画素面への依存について考慮される。ｙａ［ｍａ］に対応する中間ベクトルは、下記（３）式において、ζ［ｎａ］で表わされ、ｘａ［ｎａ］と同じサンプリング密度を有する。
【００２５】
【数３】
0004328424.tif 000004
【００２６】
ここで行列Λは、下記（４）式に表される。
【００２７】
【数４】
0004328424.tif 000005
【００２８】
ベイヤ配列の場合、δ1＝［０、０］、δ1＝［１／２、０］、δ1＝［０、１／２］、そしてδ1＝［１／２、１／２］である。以下の説明において、ベクトルζ［ｎａ］を多相出力ベクトルと呼ぶ。
【００２９】
本発明の方法においては、各多相出力ベクトルは入力画素面の有限な数に依存する。一般的に、特定の多相出力ベクトルζ［ｎａ］に対する入力画素面は画素位置［ｎａ］の近傍に位置する。
以下により詳細を説明するが、その正確な画素はカメラ及び撮像光学系の特性により左右される。画素位置ｎａにおける多相出力ベクトルに対する入力画素面は、変位ベクトルｋ1、ｋ2、・・・、ｋKの組み合わせに関係している。即ち、多相出力ベクトルζ［ｎａ］は、ｘａ［ｎａ＋ｋ1］、ｘａ［ｎａ＋ｋ2］、・・・、ｘａ［ｎａ＋ｋK］に依存するのである。
実施形態においては、多相出力ベクトルζ［ｎａ］は、入力画素面に線形的に依存する。また変位ベクトルｋ1、ｋ2、・・・、ｋKの組み合わせは、ｎａに対して独立しており、スカラ量としてのｋ1×ｋ2の長方形格子に配列されている。
【００３０】
出力多相ベクトルζ［ｎａ］に依存する画素面の全てを含むベクトルξ［ｎａ］に基づくと、下記（５）式に示すように線形関係を容易に定義することが出来る。
【００３１】
【数５】
0004328424.tif 000006
【００３２】
また、このベクトルに置き換えると、ζ［ｎａ］とξ［ｎａ］との関係を行列の掛け算とすることができる。
【００３３】
ζ［ｎａ］＝Ｔξ［ｎａ］  …（６）
【００３４】
ここで、Ｔは（Ｑλ1λ2）×（ＰＫ1Ｋ2）行列である。
【００３５】
図２及び図３を参照して、出力画素Ｙj［Ｎ、Ｍ］と入力画素ｘi［Ｎ、Ｍ］及び、上記のベイヤ配列センサにおける２つの出力多相ベクトルとの関係を説明する。図２は、センサアレイの一部分と、そのセンサアレイ中のξ［Ｎ、Ｍ］のための入力画素を描いたものである。図３が示すのは出力ＲＧＢ画像の一部及びその出力ＲＧＢ画像のζ［Ｎ、Ｍ］に対応する画素であり、これらは図２に示される画素から（６）式の行列乗算により計算されたものである。
【００３６】
行列Ｔは複数の因子に依存する。これらのいくつかは特定の撮像装置に固有であり、またいくつかは撮像装置の特定の利用方法に依存する。例えば、画素のスペクトル感光度やモザイクパターン及び画素数などのような、センサアレイの物理的特性は、通常、画像毎に変化することはない。
対照的に、カメラのレンズ設定（ｆナンバー及びズーム）といった撮像装置の光学的特性は画像毎に変化する。更に、照明源のスペクトル特性も画像により変化する（日光、フラッシュ、白熱灯等）。
【００３７】
更に、取り込まれる画像の統計値は行列Ｔを通じて得られる。例えば、高い容量の縦及び横エッジ画像を有する画像又は画像の一部を、そのような特徴の無い画像とは異なる行列で処理することができ、従って出力画像の画質が向上する。
【００３８】
可変出力フォーマットのカメラにおいては、最終画像の解像度を異なる行列Ｔを用いて設定することができる。かわりに、単一の行列Ｔを全ての解像度に対して用い、そして固定解像度の画像を再サンプリングすることにより所望の出力画像を決定しても良い。
同様に、異なる行列Ｔを使用することにより、又は単一色フォーマットを再サンプリングすることにより、出力画像色平面を他の色表現に変えることができる。一般的に低コスト撮像装置においては、行列Ｔの大きさを変える特性は、出来れば固定行列Ｔを用いて最終画像を再サンプリングすることが好ましい。
【００３９】
異なる行列Ｔの数が比較的小さい場合、システムを既知の画像に向けることにより、行列Ｔの係数を決定することができる。可能な行列Ｔ各々について、撮像装置によって複数の既知の画像が撮影される。するとセンサ入力から計算された画像と、既知の画像との間の差異が最小となるように、行列Ｔの係数が計算される。このような最適化計算は当業者には良く知られたものであるので、ここではその詳細には触れない。
【００４０】
ｆナンバー等、幾つかのパラメータにおける変化が比較的なめらかである場合、行列Ｔは独立したパラメータの値についてのみ計算するだけで良い。その後、計算されなかった可変パラメータ値に対する正確な行列Ｔは、計算された行列Ｔの補間によって計算することが出来る。
【００４１】
（１）モデルベースの行列Ｔの計算
上述したように、状況によって対象となる画像から、適切な行列Ｔを計算することができる場合がある。残念ながらこの手法は、必要とされる異なる撮像条件の数、すなわち異なる行列Ｔの数が比較的小さいアプリケーションのみに限られる。
【００４２】
ここに示した構成の目的は、基本画像における特定の統計的モデルの対象である任意の撮像装置（例えば任意の色感度、センサ位置及び光学特性）と任意の照明により、特に良好な再構成画質が得られる行列Ｔを直接的に計算する方法を説明することである。後に明らかとなるように、この統計的画像モデルはわずかな数のパラメータだけで制御される。
より高度なアプリケーションにおいては、種々の方法により推測可能であるエッジの方向等、画像の統計的特性が整合するように、これらのパラメータは局所的に或は全体的に調整される。
【００４３】
（２）画像形成モデル
ここでは原画像を原画像の画像平面ｘａ[ｎａ]へとマッピングする画像形成プロセスにおけるパラメータを説明する。少なくとも理論上においては、画像形成モデルは測定可能な確定量に依存する。これらの確定量を以下に示す。
【００４４】
・像の光源のスペクトル電力密度：ｌ（λ）
・各入力画像平面ｐにおける色スペクトル応答関数：ｒp（λ）
・入力画像平面ｐの光学的伝達関数及びセンサ積分挙動を組合せた効果に関する点広がり関数：ｈp（λ、ｓ）
【００４５】
ここでｓ＝［ｓ1、ｓ2］は、点広がり関数（ＰＳＦ）の、各波長λにおける空間的に連続した引数である。留意すべきは、ＰＳＦが必然的に異なる入力画像平面間の相対的変位の作用を含んでいるという点である。以下においてはＰＳＦについて、空間周波数ベクトルω＝［ω1、ω2］が、入力画素面のナイキスト周波数においてω1＝ω2＝πとなるように、正規化されるフーリエ変換ｈｐ（λω）を通して引用する。よって、元のセンサアレイのナイキスト周波数はω＝［λ1π、λ2π］に対応する。
【００４６】
直接的に所望の出力画像画素面に関して、画像形成プロセスをモデリングするよりも、表面スペクトル反射率において中間表現にした方が良く、これはそれが統計学的観点から、像の放射輝度よりも良好であることがよく知られている。従って、次に述べる統計的モデリングになじみ易いのである。
【００４７】
具体的には、原画像のスペクトル反射率が、所定数の固定基本関数ｂ1（λ）、ｂ2（λ）、・・・、ｂS（λ）の一次結合として完全に表現可能であると仮定すると良く、ここで通常、Ｓに３又は４が選択されるが、それより大きくても良い。以下に示すように、実際の出力画像平面ベクトルｙａ［ｍａ］は、スペクトル反射率中間ベクトルｚ［ｍａ］で表わすことができる。
【００４８】
【数６】
0004328424.tif 000007
【００４９】
ここでｄq（λ）はｑ番目の表示スペクトル反応関数のスペクトル反応である。例えば、目的がＸＹＺ表色画像を復元することである場合、Ｑを３に設定し、ｄ1（λ）からｄ3（λ）まではＣＩＥ（国際照明委員会）の標準１９３１の三刺激関数に設定する。
【００５０】
他の例としては、センサアレイ上の異なるカラーフィルタと同じ色特性を持つ画像を復元する場合、Ｑは一意の入力反応関数ｒp（λ）の数に設定し、これら一意のｒp（λ）及びｄq（λ）を一対一で対応させる。この基本構成における主要目的は、入力画像平面ξ［ｎａ］の周辺を対応するスペクトル反射率画素面へとマッピングする（Ｓλ1λ2）×（ＰＫ1Ｋ2）の再構成行列Ｔrefを計算することである。
【００５１】
【数７】
0004328424.tif 000008
【００５２】
すると、最終（Ｑλ1λ2）×（ＰＫ1Ｋ2）の再構成行列が簡単な行列乗算により求められる。
【００５３】
【数８】
0004328424.tif 000009
【００５４】
こうして線形画像形成モデルを、下記（１０）式のように短く表わすことが出来る。
【００５５】
【数９】
0004328424.tif 000010
【００５６】
ここで
・ｘｂ（ω）は入力画像ｘａ［ｎａ］の離散空間フーリエ変換である。
・νｂ（ω）はサンプリングノイズベクトルシーケンスの離散空間フーリエ変換である。
【００５７】
・ｚｂ（ω）はスペクトル反射率ベクトルｚ［ｍａ］の離散空間フーリエ変換である。
・Ωa（ω）は、それぞれのω∈［−π、π］2に対する、格子［ｍａ］上の高解像度出力画像の入力画素面格子［ｎａ］へのサンプリングに関連する全てのλ1λ2エイリアシング周波数を含むセットである。
・Ｈ（ω）は、下記（１１）式に示されるＰ×Ｓ画像形成行列である。
【００５８】
【数１０】
0004328424.tif 000011
【００５９】
（３）統計的モデル
画像の再構成に関して適切な解を計算するには、サンプリングノイズνｂ（ω）及びスペクトル反射率ｚｂ（ω）に統計的モデルを導入する必要がある。ここでは以下の共分散行列により広義的固定ガウスモデルを仮定する。
【００６０】
【数１１】
0004328424.tif 000012
【００６１】
通常、ノイズ共分散行列は、ホワイトノイズに対応する全てのωに対する定数Ｃν（ω）＝σ2Ｉであるが、他のモデルを利用しても良い。
【００６２】
以下のパラメータモデルは反射率共分散行列に用いられる。
【００６３】
【数１２】
0004328424.tif 000013
【００６４】
ここでＣZ0は定Ｓ×Ｓ共分散行列であり、ρは通常は２０から３０ｄＢ（１０進）の範囲から選択される周波数ロールオフパラメータであり、そしてГは２×２「正行列」である。上記の式中の、定共分散行列ＣZ0の後ろの項は、周波数領域においてその輪郭が楕円であるスカラ包絡線関数を説明するものである。これら楕円輪郭の向き及びアスペクト比はГ行列によって明確に制御することが出来る。円形断面には恒等行列Г＝Ｉを用いることが出来る。
【００６５】
ＣZにより表わされる統計的モデルは、最終的に再構成される画像の画質の決定に重要な役割を果たす。前記パラメータモデルは以下の理由から正しい。モデルはスケール的に不変であり、これは像の統計値を平均すると、カメラと像との距離にはよらないことを意味する。実際の撮像アプリケーションにおいては光景中の対象物の絶対距離が得られることは希であるため、このスケール的不変性は重要である。更に、周波数ロールオフ関数ρが約２０ｄＢ（１０進）の場合、像におけるこのスケール的不変性が重要である。
【００６６】
（４）行列Ｔの効率的計算方法
前記のように重要な目的は、（Ｓλ1λ2）×（ＰＫ1Ｋ2）行列Ｔrefを計算することであり、これにより、（１４）式をもってＴを容易に回復することができる。下記に続く説明は、前記に説明した２つのモデルの対象となる最適線形最小平均自乗誤差（ＬＭＭＳＥ）推定量の導関数Ｔrefに関するものである。このような推定量の公式は周知であるが、具体的には下記に示す。
【００６７】
Ｔref＝Z・X-1      …（１４）
【００６８】
ここで、Ｚは（Ｓλ1λ2）×（ＰＫ1Ｋ2）交差共分散行列である。
【００６９】
Ｚ＝Ｅ[ζ’[ｎａ]・ξ[ｎａ]t] …（１５）
【００７０】
そして、Ｘが（ＰＫ1Ｋ2）×（ＰＫ1Ｋ2）次元自動共分散行列である。
【００７１】
Ｘ＝Ｅ[ξ[ｎａ]・ξ[ｎａ]t] …（１６）
【００７２】
実際、Ｘは以下のＴｏｅｐｌｉｔｚブロック−Ｔｏｅｐｌｉｔｚ構造を有する。
【００７３】
【数１３】
0004328424.tif 000014
【００７４】
各ブロックＸａ［ｌ2］は、Ｔｏｅｐｌｉｔｚのフォームを有する。
【００７５】
【数１４】
0004328424.tif 000015
【００７６】
そして各サブブロックＸｂ［ｌ1、ｌ2］が以下により得られるＰ×Ｐの原画像面共分散行列である。
【００７７】
Ｘｂ［Ｌ］＝Ｅ[ｘａ[ｎａ]・ｘａ[ｎａ+Ｌ]t]     …（１９）
【００７８】
（Ｓλ1λ2）×（ＰＫ1Ｋ2）行列Ｚもまた二重にネスティングされたブロック構造を持っている。
【００７９】
【数１５】
0004328424.tif 000016
【００８０】
であり、ここでＺａ[ｌ2]は、
【００８１】
【数１６】
0004328424.tif 000017
【００８２】
であり、そして（Ｓλ1λ2）×Ｐサブブロック行列Ｚｂ［Ｌ］は以下により得られる。
【００８３】
Ｚｂ［Ｌ］＝Ｅ［ζ’［ｎａ］・ξ［ｎａ＋Ｌ］t］  …（２２）
【００８４】
Ｔrefを計算する為には、行列Ｘｂ［Ｌ］を−Ｋi＜ｌi＜Ｋiの範囲において［Ｌ］＝［ｌ1、ｌ2］とし、Ｚｂ［Ｌ］を−［Ｋi／２］＜ｌi＜［（Ｋi−ｌ）／２］の範囲において［Ｌ］＝［ｌ1、ｌ2］として計算すればよく、その後Ｘ及びＺが求められ、式（１４）によって計算される。Ｔrefの効率的計算において重要なのは、行列Ｘｂ［Ｌ］及びＺｂ［Ｌ］の効率的な計算である。
【００８５】
これらの行列はパーセヴアルの関係式を利用することにより、効率的に計算できる。具体的には以下に示す。
【００８６】
【数１７】
0004328424.tif 000018
【００８７】
であり、周波数自動及び交差共分散行列ＣX（ω）及びＣζ'X（ω）は以下から得ることが出来る。
【００８８】
【数１８】
0004328424.tif 000019
【００８９】
ここでФ（ω）は（Ｓλ1λ2）×Ｓの移相の行列であり、
【００９０】
【数１９】
0004328424.tif 000020
【００９１】
出力多相成分の各々の相対的変位に対応するものである。
【００９２】
行列Ｘｂ［Ｌ］及びＺｂ［Ｌ］を計算する為に、ＣX（ω）及びＣζ'X（ω）は周波数ω∈［−π、π］2の有限数で求められ、その後式（２３）の逆フーリエ変換（ＩＦＴ）整数が概算される。行列Ｘｂ［Ｌ］及びＺｂ［Ｌ］を求めるために最適な周波数ポイントを決定する手法や、数値積分処理の最中にこれらの周波数ポイント間を補間する手法は様々あるが、それらはここでは説明を省略する。
【００９３】
以上の説明及び添付の図から、当業者にとっては本発明への様々な変更が可能となる。従って、本発明は唯一請求項の範囲によってのみ、限定されるものである。
【００９４】
以下に、本発明の実施の形態を要約する。
１．第一の画像から第二の画像を生成する為のデータ処理システムを操作する方法であって、前記第一の画像は２次元アレイの画素値からなり、各々の前記画素値は、前記第一の画像中における複数スペクトル帯域の内の１つのスペクトル帯域の輝度に対応しており、
前記第一の画像の画素を複数の入力画像平面へ分けるステップであって、各入力画像平面は正規化された水平及び垂直方向のサンプリング間隔で、他の入力画像平面と同数の画素を持ち、前記入力画像平面の全ての画素は該入力画像平面において、同じスペクトル帯域を持つステップと、
前記第一の画像を入力画素面の組合せとして表わすステップであって、前記入力画素面の各々が大きさＰのベクトルであり、ここでＰは前記入力画像平面の数であり、そのベクトルの各成分は対応する入力画像平面からの入力画素とするステップと、
出力画像平面の組合せを設定するステップであって、複数のスペクトル帯域の内の１つにおいて、所定の出力画像平面中の各画素は、前記第二の画像中の点に対応している前記第二の画像の輝度を表わすステップと、
前記第二の画像を出力画素面の組合せとして表わすステップであって、前記出力画素面の各々が大きさＱのベクトルであり、ここでＱは前記出力画像平面の数であり、そのベクトルの各成分は対応する出力画像平面からの画素とするステップと、
前記入力画素面から得たベクトルに線形変換を用いて、前記出力画素面の少なくとも１つを含むベクトルを得るステップとを含むことを特徴とする画像変換方法。
【００９５】
２．前記第一の画像が、感光性検出素子アレイに結像するためのレンズ系を有する光学装置により生成され、前記線形変換が前記レンズ系の特性に依存することを特徴とする上記１に記載の画像変換方法。
【００９６】
３．前記特性が、前記レンズ系の焦点距離であることを特徴とする上記２に記載の画像変換方法。
【００９７】
４．前記特性が、前記レンズ系のｆナンバーであることを特徴とする上記２に記載の画像変換方法。
【００９８】
５．前記線形変換が、前記第一の画像を生成する為に用いられた照明源に依存することを特徴とする上記１に記載の画像変換方法。
【００９９】
６．前記線形変換が前記第一の画像として取り込まれた像の種類に依存することを特徴とする上記１に記載の画像変換方法。
【０１００】
７．前記線形変換が前記第二の画像の出力フォーマットに依存することを特徴とする上記１に記載の画像変換方法。
【０１０１】
【発明の効果】
第一の画像データに対応する入力画素面のベクトルを、線形変換を用いて第二の画像データに対応する出力画素面のベクトルに変換しているので、第二の画像データの完全にサンプリングされた出力画素の復元を行うことができる。
【０１０２】
【図面の簡単な説明】
【図１】反復する２×２のパターンを持つ画像センサの画像平面への分離を示す平面図である。
【図２】センサアレイの一部分及びそのセンサアレイ中の、特定の中間入力ベクトルに対する入力画素を示す平面図である。
【図３】ＲＧＢ（赤緑青）出力画像の一部分及びそのＲＧＢ出力画像中の、図２に示す中間出力ベクトルに対応する画素を示す平面図である。
【図１】
0004328424.tif 000021
【図２】
0004328424.tif 000022
【図３】
0004328424.tif 000023