(57)【要約】ホワイト補正された輝度復元を基本とし且つスマートグリーンパラメータと称されるフィルタ重みを使用する復元方法が提案されている。サンプル周波数の倍数であっても、また、光ローパスフィルタが無いカメラの場合でも、エイリアシングが無い輝度信号が得られる。また、このホワイト補正された輝度信号は、信号歪みが無い。提案された方法によれば、適切なローパスフィルタを加え或いは組み合わせることができ、また、提案された方法は、エイリアシングが無い様々なカラーフィルタおよび輪郭フィルタを実施するのに特に良く適している。ＲＧＢカラー信号は、センサマトリクスの重さおよびカメラの光学的伝達に応じて選択できるフィルタ重みを使用して復元される。復元されたＲＧＢ信号は、ナイキストの法則にしたがって、カラーエイリアシングに関して更に改善されても良い。偽カラーフィルタは、カラー復元フィルタ内で実施されるとともに、偽カラーを排除し且つカラーエイリアシングの量を減らすために適用される。また、低コスト用途のための開発が提案されている。
2005532003.tif 000002
【特許請求の範囲】
【請求項１】
イメージセンサのセンサ信号が入力として供給され、この入力がフィルタ内で復元されることにより、更なる処理のための出力が形成され、前記フィルタが、輝度復元フィルタ、レッド−グリーン−ブルーカラー復元フィルタ、輪郭復元フィルタから成るグループから選択される少なくとも１つの復元フィルタを備え、
前記入力が複数のピクセルを含み、１つのピクセルが、レッド、グリーン、または、ブルーのカラーのうちの少なくとも１つに対して割り当てられるカラー値を与える信号処理方法であって、
多数のピクセルを含み且つ所定のアレーサイズを有するピクセルアレーに対して前記輝度復元フィルタを適用し、少なくとも１つのピクセルが、レッドのカラーに対して割り当てられたレッドピクセルによって形成され、少なくとも１つのピクセルが、ブルーのカラーに対して割り当てられたブルーピクセルによって形成され、少なくとも１つのピクセルが、グリーンのカラーに対して割り当てられたグリーンピクセルによって形成され、
前記輝度復元フィルタの後に、前記入力から偽カラーを排除するために偽カラーフィルタを含む前記カラー復元フィルタを適用する、
信号処理方法。
【請求項２】
前記レッドおよび／またはブルーピクセルをグリーンパラメータによって重み付ける、請求項１に記載の方法。
【請求項３】
前記アレーの複数のピクセルを１つの出力ピクセルにまとめるとともに、前記出力ピクセルを前記アレー内で中心付け、特に、第１のフィルタの後の第２のフィルタの中心出力ピクセルを、前記出力ピクセルと同じ位相で位置決めし、特に、前記中心出力ピクセルを前記出力ピクセルと同じアレーの中心位置に中心付ける、請求項１に記載の方法。
【請求項４】
所定のサイズを有する複数のグリーンピクセルから成る１つのアレーに対して前記偽カラーフィルタを適用し、特に、少なくとも２つのグリーンピクセルと１つのレッドピクセルと１つのブルーピクセルとを含む４ピクセルサイズを有する所定の小さなグリーンピクセルアレーに対して前記偽カラーフィルタを適用する、請求項１に記載の方法。
【請求項５】
前記偽カラーフィルタは、
１または複数の更なるグリーンパラメータによってそれぞれ、所定の小さなグリーンピクセルアレー内のレッドおよび／またはブルーピクセルを重み付けるステップと、
前記アレー内の１または複数のグリーンピクセルに対して平均フィルタを適用するステップと、
重み付けられたレッドおよびブルーピクセルと、前記アレー内の１または複数のグリーンピクセルの平均とを、メジアンフィルタによってまとめるステップと、
メジアンフィルタ処理されたピクセルと、前記所定の小さなグリーンピクセルアレーの低周波フィルタ処理されたピクセルとを比較することにより、前記入力から偽カラーを排除するステップと、
を含んでいる、請求項１または４に記載の方法。
【請求項６】
前記所定の小さなグリーンピクセルアレーが３×３のアレーサイズを有している、請求項４または５に記載の方法。
【請求項７】
適用されたカラー復元フィルタは、３×３または５×５のアレーサイズを有しており、センサマトリクスが重い場合には、特に５×５のアレーサイズを有している、請求項１から６のいずれか一項に記載の方法。
【請求項８】
偽カラーフィルタの後にポストフィルタを適用することにより、適用された前の輝度復元フィルタに対して位相を維持する、請求項１から７のいずれか一項に記載の方法。
【請求項９】
偽カラーフィルタの後に、２×２アレーサイズのポストフィルタを適用することにより、所定のグルーンピクセルアレーの中心出力ピクセルを、輝度復元フィルタが適用されたアレーと同じアレーに対して出力ピクセルとして中心付けられるホワイトピクセルと同じ位相で位置決めする、請求項８に記載の方法。
【請求項１０】
マトリクスに対して縦列方向処理または横列方向処理のいずれかを行なう、請求項１から９のいずれか一項に記載の方法。
【請求項１１】
特に請求項１から１０のいずれか一項に記載の方法を実行するようになっている信号処理装置であって、センサ信号を入力として供給するイメージセンサと、前記入力を復元して更なる処理のための出力を形成するフィルタとを備え、前記フィルタは、輝度復元フィルタ、レッド−グリーン−ブルーカラー復元フィルタ、輪郭復元フィルタから成るグループから選択される少なくとも１つの復元フィルタを備え、
前記入力が複数のピクセルを含み、１つのピクセルが、レッド、グリーン、または、ブルーのカラーのうちの少なくとも１つに対して割り当てられるカラー値を与える信号処理装置において、
前記輝度復元フィルタは、多数のピクセルを含み且つ所定のアレーサイズを有するピクセルアレーに対して適用され、少なくとも１つのピクセルは、レッドのカラーに対して割り当てられたレッドピクセルによって形成され、少なくとも１つのピクセルは、ブルーのカラーに対して割り当てられたブルーピクセルによって形成され、少なくとも１つのピクセルは、グリーンのカラーに対して割り当てられたグリーンピクセルによって形成され、
前記カラー復元フィルタは、前記輝度復元フィルタの後に適用され、前記カラー復元フィルタは前記入力から偽カラーを排除するために偽カラーフィルタを含む、
信号処理装置。
【請求項１２】
−  グリーンパラメータを有するアレーによってレッドピクセルおよび／またはブルーピクセルを重み付けるための手段、および／または、
−  アレーの複数のピクセルを１つの出力ピクセルにまとめるための手段、および／または、
−  出力ピクセルをアレー内で中心付けるための手段と、
を更に備える、請求項１１に記載の信号処理装置。
【請求項１３】
計算システム、特にカメラの計算システムによって読み取り可能な媒体上に記憶することができるコンピュータプログラムであって、前記計算システム上で実行される際、特に、前記カメラの計算システム上で実行される際に、請求項１から１１のいずれか一項に記載の方法を前記計算機システムに実行させるソフトウェアコードセクションを含む、コンピュータプログラム。
【請求項１４】
請求項１３に記載のコンピュータプログラムを実行しおよび／または記憶する計算システムおよび／または半導体デバイス、特にカメラの計算システム。
【請求項１５】
光学系と、イメージセンサと、請求項１１または１２に記載の装置または請求項１４に記載の計算システムとを備える、カメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イメージセンサのセンサ信号が入力として供給され、この入力がフィルタ内で復元されることにより、更なる処理のための出力が形成され、前記フィルタが、輝度復元フィルタ、レッド−グリーン−ブルーカラー復元フィルタ、輪郭復元フィルタから成るグループから選択される少なくとも１つの復元フィルタを備え、前記入力が複数のピクセルを含み、１つのピクセルが、レッド、グリーン、または、ブルーのカラーのうちの少なくとも１つに対して割り当てられるカラー値を与える信号処理方法に関する。また、本発明は、特に前記方法を実行するようになっている信号処理装置であって、センサ信号を入力として供給するイメージセンサと、前記入力を復元して更なる処理のための出力を形成するフィルタとを備え、前記フィルタは、輝度復元フィルタ、レッド−グリーン−ブルーカラー復元フィルタ、輪郭復元フィルタから成るグループから選択される少なくとも１つの復元フィルタを備え、前記入力が複数のピクセルを含み、１つのピクセルが、レッド、グリーン、または、ブルーのカラーのうちの少なくとも１つに対して割り当てられるカラー値を与える信号処理装置に関する。更に、本発明は、信号を処理するようになっているコンピュータプログラムプロダクト、コンピュータシステム、カメラに関する。
【背景技術】
【０００２】
基本的に例えばデジタル画像および静止画像のデジタル信号画像を検出するデジタルカメラには、１つのレッド−グリーン−ブルー（ＲＧＢ）バイエルカラーフィルタアレーを備える１つのイメージセンサが有利に設けられている場合がある。そのようなＲＧＢバイエルカラーフィルタアレーにおいて、各ピクセルは、レッド、グリーン、ブルーの原色を所定のパターンで検出する。このパターンは、グリーン／レッド縦列とグリーン／ブルー縦列とが交互に形成されて成る。そのようなセンサは、各原色毎に別個のイメージセンサを使用するカメラと比較して、解像度が制限される場合がある。しかしながら、３つのイメージセンサを有するカメラでは、解像度に寄与するピクセルの数が、１つのＲＧＢバイエルセンサの３倍もある。殆どの用途においては、３つのセンサを使用すると、用途のサイズ要件およびコストに起因して、不利となる。一方、１つのイメージセンサを使用して、１つのアレー内、好ましくはＲＧＢバイエルカラーフィルタアレー内の３つの全ての原色レッド、グリーン、ブルーを検出する場合には、特定のカラーの欠けているピクセルを復元して、一貫した全体画像を処理する必要がある。ＲＧＢバイエル構造に起因して、グリーン、レッド、ブルーの各カラーに関する異なるナイキスト領域により、解像度や、場合よってはエイリアシングパターンが、カラーに依存する結果となる。それにもかかわらず、ＲＧＢバイエル構造は、最もうまく実行できる信号カラーアレーのうちの１つである。
【０００３】
信号の質を高めるために、幾つかの内挿方式が与えられても良い。国際公開第９９／３９５０４号には、ある程度一般的な用語で、従来の内挿方法が記載されている。この内挿方法では、所定のカラーの信号が存在せず且つ所定のカラーの平均が形成される位置に中間カラー信号が挿入される。
【０００４】
更に別の信号処理方法は、国際公開第９９／０４５５５号および未公開の欧州特許出願（出願番号欧州特許第  ０１  ２００  ４２２．２号）に記載されるように、更に有利な内挿方式を使用する。しかしながら、そのような方法は、依然として、例えば自由な輝度信号のエイリアシングまたは更なる信号歪みを受ける。そのような信号歪みにより、特に、画像中に偽カラーが誤って形成されてしまう。
【０００５】
国際公開第９９／０４５５５号には、グリーンカラー復元のみに関するＲＧＢバイエルイメージセンサのためのグリーン復元方法が記載されている。従来の方法において、レッドおよびブルーのカラーは、復元されたままである。欠けているグリーンピクセルだけが復元される。欠けているグリーンピクセルの復元は、３つの特定の変数をソートするメジアンフィルタによって行なわれる。前記変数のうちの２つは、グリーンカラーから得られ、残りの１つは、レッドまたはブルーのカラーから得られる。この方法の欠点は、郵便切手の縁のように見える飽和度が高いカラーエッジアーチファクトが導入されるという点である。国際公開第９９／０４５５５号に開示されたアルゴリズムは、スマートグリーン１アルゴリズムと称される。このアルゴリズムは、解像度損失がホワイトシーン部分の近傍および僅かではあるがカラー部分の近傍において高周波で最も良く観察されるという考え方に基づいている。この考え方に留意して、欠けているグリーンピクセルの復元値の決定を助けるために、レッドピクセルおよびブルーピクセルの寄与度が使用される。スマートグリーン１復元の目的は、グリーンカラーの解像度を最大にすることである。このため、メジアンフィルタアルゴリズムが以下のように適用される。すなわち、必然的に、レッド（Ｒ）またはブルー（Ｂ）ピクセルによって占められる場所が、欠けているグリーンピクセルの場所となる。スマートグリーン１復元アルゴリズムにおいて、メジアン値とも称される３×３ピクセルアレーの中心値は、欠けているグリーンピクセルの復元のために利用される。その結果、グリーン用の簡単なメジアンフィルタが、グリーン復元の従来の内挿法的な考え方に取って代わる。これに対し、従来のレッドおよびブルーの復元方法は、簡単な内挿法のままである。また、輝度フィルタリング、カラーフィルタリング、輪郭フィルタリングも、グリーン用のフィルタリングに制限される。また、偽カラー検出は、単に、グリーン復元の従来の内挿法的な考え方に基づいており、また、従来のレッドおよびブルーの復元は、簡単な内挿法のままである。
【０００６】
そのようなスマートグリーン１復元方法は、レッドおよび／またはブルーピクセルの情報の助けを借りて、グリーンピクセルの解像度を水平および垂直方向で高める。この従来の方法は、単に同じ場所からの異なるカラーのサンプルおよび同じカラーのサンプルといった隣り合うカラーサンプルに基づいて内挿されるカラーサンプルを挿入することに依存している。その結果、復元された信号は、レッドおよび／またはブルーのカラーエイリアシングによって損なわれる。垂直および水平なカラーエッジは、グリーン輝度変調を各方向で受け、それにより、郵便切手の縁に類似するようになる。
【０００７】
ここではスマートグリーン２複合アルゴリズムと称される欧州特許第０１２００４２２．２号に概説されるような更なる改良によれば、解像度を十分に高めることができたが、信号歪みおよび信号エイリアシングの前述した欠点を除去することができなかった。特に、エッジおよび高周波では、特定の信号歪み、例えば隣接するピクセルを有する交互のカラーが依然として見られる。アーチファクトのブラックドットおよびホワイトドットも誤って形成される。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
このような問題は、本発明が扱う問題であり、その目的は、信号の質が向上されるように、信号処理方法および信号処理装置の仕様を定めることであり、また、信号処理のためのコンピュータプログラムプロダクト、計算システム、および、信号処理に適合するカメラの仕様を定めることである。特に、信号歪みおよびエイリアシングに関して信号が向上されなければならないが、また、信号は、十分な解像度を与えなければならない。
【課題を解決するための手段】
【０００９】
方法に関して、前記目的は、序文に記載された方法によって達成される。本発明において、方法は、
−  多数のピクセルを備え且つ所定のアレーサイズを有するピクセルアレーに対して前記輝度復元フィルタを適用するステップであって、少なくとも１つのピクセルが、レッドのカラーに対して割り当てられたレッドピクセルによって形成され、少なくとも１つのピクセルが、ブルーのカラーに対して割り当てられたブルーピクセルによって形成され、少なくとも１つのピクセルが、グリーンのカラーに対して割り当てられたグリーンピクセルによって形成されるステップと、
−  輝度復元フィルタの後に、入力から偽カラーを排除するために偽カラーフィルタを備えるカラー復元フィルタを適用するステップと、
を含んでいる。
【００１０】
好ましい構成においては、アレーのレッドおよび／またはブルーピクセルをグリーンパラメータによって重み付ける更なるステップが含まれている。
【００１１】
好ましい構成においては、アレーの複数のピクセルを１つの出力ピクセルにまとめ、および／または、出力ピクセルをアレー内で中心付ける更なるステップが含まれている。
【００１２】
装置に関して、前記目的は、序文に記載された装置によって達成される。本発明においては、
−  前記輝度復元フィルタは、多数のピクセルを備え且つ所定のアレーサイズを有するピクセルアレーに対して適用されるようになっており、少なくとも１つのピクセルは、レッドのカラーに対して割り当てられたレッドピクセルによって形成され、
−  少なくとも１つのピクセルは、ブルーのカラーに対して割り当てられたブルーピクセルによって形成され、少なくとも１つのピクセルは、グリーンのカラーに対して割り当てられたグリーンピクセルによって形成され、
−  前記カラー復元フィルタは、前記輝度復元フィルタの後に適用され、前記カラー復元フィルタは前記入力から偽カラーを排除するために偽カラーフィルタを備える、ことが提案される。
【００１３】
また、好ましい構成は、グリーンパラメータを用いてレッドピクセルおよび／またはブルーピクセルを重み付けるための手段を備えている。
【００１４】
更に好ましい構成は、アレーの複数のピクセルを１つの出力ピクセルにまとめるための手段、および／または、出力ピクセルをアレー内で中心付けるための手段を備えている。
【００１５】
ここで使用される用語ピクセルとは、特に、信号中のカラーサンプルの値のことである。
【００１６】
本発明は、画像の復元を自由度をもって設計するというコンセプトを与えるための発想から生じている。主な考え方は、カラー復元フィルタ内で実施される偽カラーフィルタを適用することである。この発想は、基本的に、輝度フィルタの後にカラー復元フィルタを適用することによって実現される。この場合、入力から偽カラーを除去するために、カラー復元フィルタ内には、偽カラーフィルタが組み込まれている。
【００１７】
光学的伝達およびマトリクスに応じて、復元されたＲＧＢ信号は、ナイキストの法則に基づき、依然として、カラーエイリアシングを伴う場合がある。残存するエイリアシングを更に減らすため、輝度復元フィルタの後に、カラー復元フィルタが適用される。本発明において、カラー復元フィルタは、入力から偽カラーを排除するために、偽カラーフィルタを備えている。基本的に、偽カラーフィルタは、国際公開第９９／０４５５５号により既知であるが、この既知の従来型の偽カラーフィルタは、個別に適用され、その結果、カラー復元フィルタ内で実施されていない。偽カラーフィルタを備えるカラー復元フィルタを提供するための本発明の考え方は、幾つかの主な利点を有している。特に、提案された本発明の概念は、グリーンパラメータにより好ましい方法で全てのピクセルを重み付けることができる。
【００１８】
偽カラーフィルタは、グリーンピクセルから成る最も小さいアレーに対して適用されることが好ましい。具体的には、偽カラーフィルタは複数のステップを備え、これらのステップにおいて、グリーンピクセルから成る最も小さいアレーにおけるレッドおよびブルーピクセルは、グリーンパラメータによって重み付けられるとともに、重み付けられたレッドおよびブルーピクセルは、アレー内の１または複数のグリーンピクセルの平均とメジアンフィルタとによってまとめられる。アレー内の１または複数のグリーンピクセルの平均は、平均フィルタを適用することによって得られても良い。特に、垂直方向のグリーンピクセルの平均および水平方向のグリーンピクセルの平均が得られても良い。メジアンフィルタ処理されたピクセルは、グリーンピクセルから成る最も小さいアレーの低周波フィルタ処理されたピクセルと比較され、これにより、入力から偽カラーが排除される。
【００１９】
そのような手法によれば、偽カラーフィルタを調整可能にすることができ、有益であり、特にカラー復元フィルタおよび／または偽カラーフィルタは、好ましくは２×２あるいは最も好ましくは３×３のアレーサイズを有する最小のグリーピクセルアレーに対して適用される。更に、必要に応じて、そのような所定の小さいアレーは、５×５サイズまたはそれ以上のサイズを有していても良い。そのような調整は、光ローパスフィルタとは無関係である。しかしながら、そのようなアレーは、２つのグリーピクセルと１つのレッドピクセルと１つのブルーピクセルとを含む少なくとも４つのピクセルを備えていなければならない。
【００２０】
適用されるカラー復元フィルタは、３×３または５×５のアレーサイズを有していることが好ましい。特に、センサマトリクスが重い場合には、５×５のアレーサイズが好ましい。対応するフィルタ関数の係数は、光学的伝達およびマトリクスに応じて選択されても良く、特に、この出願と同じ日に提出された、国内のファイル番号がＩＤ６０６６３８−Ｉである特許出願の詳細な説明の特に第４章において説明されている。なお、この特許出願の内容は、これを参照することにより本願に組み込まれる。そのような方法は、平均的なシーンにおいては最も重要なアイ・キャッチャのように見えるホワイトに近いカラーにおいて解像度を最大にする。特に、信号の歪みの大きさを最小限に抑えつつ、十分な解像度が与えられる。詳細な説明の特に第３．３章における好ましい実施形態では、３×３および５×５のＲＧＢカラー復元フィルタの係数を規定するための規則が説明されている。偽カラーフィルタの更なる利点は、詳細な説明の第３．１章に記載されている。
【００２１】
また、グリーン、レッド、ブルーのカラー復元、すなわち、ＲＧＢ復元が３×３グリーン偽カラーアレーと無関係であるという点は、提案された方法およびその概説した発展的な構造における特有の利点である。ＲＧＢ復元フィルタは、３×３または５×５のサイズを有していても良い。偽カラー機能が復元機能と完全に無関係であるという点は、提案された方法の特有の利点である。
【００２２】
具体的には、偽カラーフィルタ内でのみカラー復元フィルタにおいて１個、２個、あるいは、それ以上の数のグリーンパラメータが使用されても良い。
【００２３】
更なる好ましい構成においては、その出力を前回適用された復元フィルタの出力に合った位相に維持するために、ポストフィルタが適用される。ポストフィルタは、偽カラーフィルタの後に適用されることが有益である。すなわち、ポストフィルタは、ＲＧＢ復元フィルタの後、偽カラーフィルタの出力に対して適用される。また、復元フィルタは輝度フィルタであっても良い。具体的には、偽カラーフィルタの後に、最小のグリーンピクセルアレーの中心出力ピクセルをホワイトピクセルと同じ位相に位置決めする２×２のアレーサイズのポストフィルタを適用することにより、位相が固定される。ホワイトピクセル自体は、輝度復元フィルタが適用されたアレーと同じアレーに対して中心付けられる。特に、信号は、３×３または５×５アレーサイズに基づいてＲＧＢ復元されても良く、また、２×２ポストフィルタに起因して、ホワイト補正された輝度信号と同じ位相をとる。この構成において、偽カラーフィルタが位相に影響を与えないという点は、特有の利点である。また、ポストフィルタは、イメージセンサのグリーンの不均一性を有利に除去する。レッドピクセルおよびブルーピクセルは、グリーンピクセルと同じ位相を有している。これについては、好ましい実施形態に関する詳細な説明において、図面の図５および第３．４，３．５章を参照して具体的に説明する。
【００２４】
また、別の方法として、スマートグリーン４復元方法と称される更に好ましい実施形態においては、３×３または５×５ＲＧＢカラー復元フィルタの使用に関し、ポストフィルタが省かれても良い。これにより、処理を簡単且つ効率的に行なうことができ、したがって、低コストの用途において有利である。
【００２５】
提案された考え方の更なる発想として、信号復元は、ホワイト補正された輝度復元に基づいている。最も好ましい構成は、グリーンパラメータを用いてレッドおよび／またはブルーピクセルを重み付けることによって実現される。これに対し、従来の考え方は、単に、欠けているグリーンピクセルの復元に依存している。提案された復元フィルタは、所定のアレーサイズのピクセルアレーに適用されるように設計される。その結果、このアレー上において有利な方法でフィルタリングが行なわれる。これに対し、従来の方法は、単に、隣接するサンプルまたは同じ場所のサンプルに基づいた簡単な内挿法に依存しており、提案された考え方は、アレーの全てのピクセルを考慮に入れる明確に適応された復元フィルタを提供する。提案されたホワイト補正という考え方により、サンプル周波数の倍数であっても、また、光ローパスフィルタが無いカメラの場合でも、エイリアシングが無い輝度信号が有利に得られる。更に、このホワイト補正された輝度信号は、信号歪みが無い。提案された基本的な方法および装置は、幅のある自由度を有する広がりを与えるようになっている。例えば光学系の光学的伝達および／またはイメージセンサのセンサマトリクスに応じて選択され且つ調整されても良い様々な幾つかの復元フィルタを提供することができる。提案された方法および装置は、光ローパスフィルタの独立性をかなり維持することができる。これは、見込み客のカメラ設計が異なる場合がある時に特に有利である。以下に概説するように、提案された方法および装置は、調整可能な偽カラーフィルタを様々な方法で且つ簡単な方法で実施することができる。特に、グリーンパラメータを用いてレッドおよび／またはブルーピクセルを重み付けることは、偽カラーフィルタによって処理されるピクセルにとって有利である。特定の実施形態においては、偽カラーフィルタにおいてのみ、グリーンパラメータが使用されても良い。
【００２６】
更に発展した方法の構成は、方法の従属請求項に記載されている。提案された装置は、方法を実行するための各手段によって改良されても良い。
【００２７】
特に、第１のフィルタの後の第２のフィルタの中心出力ピクセルが、出力ピクセルと同じ位相で位置決めされ、特に、前記中心出力ピクセルが前記出力ピクセルと同じアレーの中心位置に中心付けられることが好ましい。これは、更に別のポストフィルタ、特に後述するポストフィルタによって行なわれることが最も有益である。
【００２８】
好ましい構成においては、復元フィルタが輝度復元フィルタによって形成され、アレーの複数のピクセルは、１つのホワイトピクセル内で互いに加えられて出力ピクセルとなる。イメージセンサのセンサマトリクスに基づいてグリーンパラメータまたは多くのグリーンパラメータが選択されることが最も好ましい。２つのグリーンパラメータが与えられることが最も好ましい。また、グリーンパラメータまたは多くのグリーンパラメータは、画像信号をイメージセンサに対して供給する光学系の光学的伝達に基づいて選択されても良い。これにより、ＲＧＢカラー信号は、カメラの光学的伝達とセンサマトリクスの重みとの組み合わせに応じて選択できるフィルタ重みを用いて有利に復元される。したがって、用途および画像固有の質の向上が得られる。
【００２９】
１または複数の好ましい構成に関して前述した輝度復元の基本的な考え方は、以下においては、ＲＧＢバイエルイメージセンサのための「ホワイト補正された輝度復元」と称され、または、単に「ＲＧＢ復元」と称される。また、グリーンパラメータは、「スマートグリーンパラメータ」とも称される。提案された方法およびその更に発展した構成によって規定されるようにレッドピクセルおよび／またはブルーピクセルと共にスマートグリーンパラメータを使用することは、「スマートグリーン３」復元方法と称される。また、グリーンパラメータを決定する特定の方法は、国際公開第９９／０４５５５号および欧州特許第０１２００４２２．２号に記載されており、また、スマートグリーン３においても同様に適用されて使用されても良い。
【００３０】
提案された方法の特定の種類のフィルタ配置およびフィルタサイズにより、エイリアシングが無い信号が得られ、特に、グリーン同士の間の差が無くなる。この詳細については、好ましい実施形態に関する詳細な説明の第２章において図面を参照しつつ概説する。
【００３１】
具体的には、輝度復元フィルタは、２×２または４×４または６×６または好ましい場合にはこれよりも更に大きいアレーサイズを有するアレーのピクセルに適用される。特定の好ましい構成において、輝度復元フィルタは、２×２または４×４のアレーサイズに適用される。フィルタサイズは、光学的伝達に応じて選択されても良い。また、各フィルタの重みは、別々に選択されても良い。また、ローパス輝度信号は、４×４または６×６の各アレーサイズに適用されるローパスフィルタによって有利に形成されても良い。有利な構成においては、４×４または６×６のローパスフィルタが２×２または４×４の輝度復元フィルタとそれぞれ組み合わされて、１つのフィルタが形成される。その結果として得られる信号は、いずれも、センサによって生じるグリーン不均一性アーチファクトを伴わない。
【００３２】
また、電気器具のために様々なカラー復元フィルタが提供される。特に、２×２輝度復元フィルタの場合には３×３カラー復元フィルタが適用され、あるいは、４×４輝度復元フィルタの場合には５×５カラー復元フィルタが適用される。
【００３３】
前述した一連の処理全体、すなわち、ＲＧＢ復元は、特に、
−  位相マッチングのためのポストフィルタの導入
−  輝度信号処理
−  偽カラーフィルタおよび特に更なるポストフィルタの導入を含むカラー復元信号処理
−  輪郭信号処理
を含んでいる。
【００３４】
信号歪みの大きさは、極めて低いレベルに制限される。
【００３５】
また、これは、最終的なＪＰＥＧ変換に有効である。好ましい構成においては、提案された方法にしたがってスマートグリーン３復元アルゴリズムを実行するために、縦列と同様に横列方向処理も行なわれる。これについては、詳細な説明の第３．２章の好ましい実施形態において説明する。そのような処理は、内部メモリの量および外部メモリとの間でのデータスワッピングの量を有利に減少させる。これは、処理効率および処理速度をサポートする。また、そのような手法は、全てのデータ伝達が９０°だけ回転される場合に有効である。
【００３６】
提案された方法は、先に提案した装置、特に計算システムおよび／または半導体デバイス上で有利に実行される。そのようなシステムは、イメージセンサと処理チップとの間に配置される中間メモリインタフェースを備えていることが有益である。これにより、フィルタ処理されるピクセルアレーの横列の長さおよび数がもはや制限されなくなり、有利であるとともに、無論、外部メモリとの間でのデータスワップの量によって処理時間が大きく遅れることはない。その結果、中間インタフェースとしてメモリが全く無くても、更にリアルタイムな処理が可能になる。計算システムは、任意の種類のプロセッサユニットであっても良く、あるいは、システムまたはコンピュータであっても良い。
【００３７】
また、リアルタイムな処理は、中間インタフェースとしてのメモリを全く要することなく行なわれることが好ましい。しかしながら、この場合、コスト的な理由により、利用可能な横列遅延の合計が特に２に制限されても良い。これにより、ＲＧＢ復元および輪郭信号における実現のために利用できる垂直タップは３つだけとなる。
【００３８】
また、本発明は、計算システムによって読み取り可能な媒体上に記憶することができるコンピュータプログラムであって、計算システム上で実行される際、特にカメラの計算システム上で実行される際に、上記提案された方法を計算システムに実行させるソフトウェアコードセクションを含むコンピュータプログラムに関する。
【発明を実施するための最良の形態】
【００３９】
添付図面を参照しつつ、本発明について説明する。詳細な説明は、本発明の好ましい実施形態と見なされるものについて明示して説明している。無論、本発明の思想から逸脱しない範囲で、形態または詳細な内容における様々な改良および変更を簡単に行なうことができることは言うまでもない。したがって、本発明は、ここで図示して説明した正にその形態や詳細な内容に限定されるものではなく、また、ここに開示され且つ以下の請求項において請求される本発明の全体よりも狭く解釈されるべきではない。更に、発明を開示する明細書本文、図面、請求項に記載された特徴は、単独または組み合わせと見なされる本発明にとって不可欠である。
【００４０】
図面に沿った詳細な説明は、以下の章においてなされる。
１．ホワイト補正された輝度の復元方法の処理フロー
２．ホワイト補正された輝度信号
３．ＲＧＢカラー復元
３．１．３×３および５×５のＲＧＢカラー復元のための偽カラーキラー
３．２．縦列パッケージを用いた処理
３．３．ＲＧＢカラー復元のための開始点
３．４．３×３カラー復元フィルタ
３．５．５×５カラー復元フィルタ
４．結論
付録１：ＯＬＰＦの伝達に対するセンサマトリクスの影響
付録２：内部横列メモリが無い２×２ポストフィルタ
付録３：従来の復元の伝達特性
付録４：４×４および６×６カラー復元
４．１  ４×４ＲＧＢカラー復元
４．２  ６×６ＲＧＢカラー復元
４．３  ４×４および６×６位相復元フィルタの評価
【００４１】
図面における図は、本発明の好ましい実施形態を示している。
【００４２】
１．ホワイト補正された輝度の復元方法の処理フロー
図１には、中央バスおよび外部メモリインタフェースを有する集積回路の一般的な構造（アーキテクチャ）の一部が示されている。外部メモリには、中央バスを介して、センサ信号が与えられる。ＲＧＢカラー復元および平行輪郭復元を実現するため、センサデータは、外部メモリから、中央バスを介して、前記復元に向けて回収される。復元後、データは、処理ブロックへと直接に送られ、あるいは、外部メモリへと送り戻される。
【００４３】
処理ブロックは、多かれ少なかれ、マトリクス、ホワイトバランス、ニー、ガンマとして、規格化されたカメラ機能を有している。静止画像またはビデオデータに関して速い実行時間を得るためには、メモリとの間での時間のかかるデータスワップの量を制限しなければならないため、復元されたデータを処理ブロックへと直接に送ることは、重要な問題である。
【００４４】
図２には、提案された方法の好ましい実施形態の更に詳細なブロック図が示されている。以下、この方法を、「スマートグリーン３」信号復元と称する。センサデータは、中央バスを介して、小さいパケットで外部メモリから、復元ブロック内の小さい内部メモリアレーへと送られる。一例として１つの信号（１６ビット）と６４個の水平ピクセル×６個の垂直ピクセル（７６８バイト）とを含む図２におけるこの［１Ｓ×６４Ｈ×６Ｖ］アレーから、未加工のセンサデータを無作為に回収して、復元を行なうことができる。特に、（６４−２×ｈｏ）ピクセルの倍数単位で横列のセンサデータを処理することができる。ここで、ｈｏは、フィルタアレーの水平オフセットである。ｎ×ｍ復元アレー（「ｎ」は水平ピクセルであり、「ｍ」は垂直ピクセルである）において、オフセットは、ｈｏ＝ｎ  ｄｉｖ  ２である。「ｄｉｖ」は、最も近い整数へと０に向かって切り捨てることを意味している。したがって、ｎ＝３の場合には、ｈｏ＝１であり、ｎ＝４またはｎ＝５の場合には、ｈｏ＝２であり、ｎ＝６の場合には、ｈｏ＝３である。復元できる最初のピクセルは、位置（１＋ｈｏ）にあり、最後のピクセルは、位置（Ｎ−ｈｏ）にある。ここで、Ｎは、センサ横列内のピクセルの総数である。センサ横列の全てを復元するには、Ｎ／（６４−２×ｈｏ）個のパッケージを復元ブロックへと送る必要がある。図２の下側の部分においては、未加工のセンサデータを用いてＲＧＢカラー信号が復元される。（低）周波数伝達は、フィルタの重みの選択により、カメラの光学的伝達によって決まる。また、偽カラーキラーおよび２×２ポストフィルタが使用されるか否かも、光学的伝達によって決まる。図２の上側部分においては、ＲピクセルおよびＢピクセルがスマートグリーンパラメータを用いて乗じられる。スマートグリーンパラメータは、例えば、国際公開第９９／０４５５５号または欧州特許第  ０１  ２００  ４２２．２号に開示された方法にしたがって回収されても良い。この特定の信号を用いて、エイリアシングが無い３つの輝度信号、すなわち、輪郭信号、ホワイト補正された輝度信号Ｙｎ、低周波輝度信号Ｙｌｆが復元される。後者は、復元されたＲＧＢ信号とほぼ同じ伝達特性を有している。ホワイト補正された輝度信号Ｙｎから低周波信号Ｙｌｆを差し引くことにより、高周波輝度成分、すなわち、（Ｙｎ−Ｙｌｆ）が形成される。好ましい実施形態においては、高周波で望ましくない偽カラーを防止するため、（Ｙｎ−Ｙｌｆ）信号が、できれば、各色信号に対して早期に加えられるべきではなく、処理ブロックでのマトリクス機能およびホワイトバランス機能の後に加えられるべきであるという事実を認識することが重要である。全く同じことが輪郭信号においても言える。前述した望ましくない偽カラーを防止することが、復元ブロックの総出力が４つまたは３つの信号から成る理由である。これは、最も早い想定される実行時間に加え、全ての信号を処理ブロックに対して直接に送ることが好ましい第２の理由である。第３の理由としては、２つの［４Ｓ×６４Ｈ×１Ｖ］内部メモリ（１つは、復元ブロックにおいて４つの信号を外部メモリに送るためのものであり、もう１つは、処理ブロックにおいてこ��らの信号を再び回収するためのものである）を不必要にすることを挙げることができる。［４Ｓ×６４Ｈ×１Ｖ］内部メモリは、１つの垂直な横列の（６４−２×ｈｏ）個の水平ピクセルから成る４つ（１６ビット）の信号の記憶の略語であり、６４個のピクセルに対して概算する場合には、全部で６４０バイトを収容できる。
【００４５】
例えば、ＣＰＵを介した特定のソフトウェアによる時間のかかる復元および／または処理において、設計の自由度を最大にする必要がある場合には、２つの［４Ｓ×６４Ｈ×１Ｖ］内部メモリ（１つは、復元用であり、もう１つは、処理用である）が適用されなければならない。
【００４６】
図２の一番上では、低周波でのオーバーシュートおよびアンダーシュートを防止するオーバーシュート制御プロセッサにより、エイリアシングが無い輪郭が実現される。二次元ステップ一時信号を使用した二次元鮮明度の向上は、オーバーシュートを制御するのに適した二次元検出信号を実現することによって得られる。いわゆる、このステップ一時信号は、幾つかのオーバーシュート（およびアンダーシュート）制御方法において使用することができ、それにより、誇張された不自然に見えるオーバーシュートが無い、非常に魅力的な鮮明度の向上が得られる。内部［４Ｓ×６４Ｈ×１Ｖ］メモリに送られる１つの信号に対して、輪郭および（Ｙｎ−Ｙｌｆ）信号を加えることができる。
【００４７】
以下の章は、要約すると、以下のようになる。
【００４８】
第２章では、２×２および４×４のフィルタアレーを用いたエイリアシングが無い歪がゼロの輝度信号Ｙｎの実現について説明する。第３章では、偽カラーキラーを用いた低周波ＲＧＢ復元の実現について説明する。４×４および６×６のローパスフィルタアレーを用いた低周波輝度信号が適用されても良い。その詳細は、この出願と同じ日に提出された、国内のファイル番号がＩＤ６０６６３８−Ｉである特許出願の詳細な説明の特に第３章において説明されている。なお、この特許出願の内容は、これを参照することにより本願に組み込まれる。４×４および６×６のエイリアシングが無い輪郭信号が、５×５のエイリアシングが無い輪郭−復元−フィルタの代わりに或いは当該フィルタに加えて実現されても良い。輪郭−復元−フィルタの詳細は、この出願と同じ日に提出された、国内のファイル番号がＩＤ６０６６３８−IIIである特許出願に開示されている。なお、この特許出願の内容は、これを参照することにより本願に組み込まれる。提案された考え方は、センサマトリクスおよび光学的伝達の機能として、柔軟な方法で適合されても良い。その詳細は、この出願と同じ日に提出された、国内のファイル番号がＩＤ６０６６３８−Ｉである特許出願の詳細な説明の特に第４章において説明されている。なお、この特許出願の内容は、これを参照することにより本願に組み込まれる。
【００４９】
２．ホワイト補正された輝度信号
ホワイト補正された輝度信号は、スマートグリーンパラメータの計算に基づいている。その例が国際公開第９９／０４５５５号および欧州特許第  ０１  ２００  ４２２．２号に示されている。ＳｍａｒｔＧｃｎｔｒｌＲおよびＳｍａｒｔＧｃｎｔｒｌＢパラメータはそれぞれ、ｗｂｒおよびｗｂｂと称される。図３は、レッドピクセルおよびブルーピクセルがスマートグリーンパラメータを用いて乗算される状態を示している。次に、４つのピクセルが一緒に加えられることにより、ホワイト補正された輝度ピクセルＹｎが得られる。ピクセルＹｎの中心は、Ｒピクセルが最初のピクセルであると見なすと、右側および下側にピクセルの半分だけシフトされている。その結果、復元されるべき他の全ての信号、すなわち、レッド−グリーン−ブルー−輪郭は、このＹｎ信号と同じ中心位置をとるようになる。
【００５０】
ホワイト補正された輝度信号Ｙｎの利点は、５×５のエイリアシングが無い輪郭信号の場合と全く同じである。ＲＧＢバイエルイメージセンサにおけるエイリアシングが無い輪郭は、光ローパスフィルタを必要とすることなく第１のＲＧＢサンプル周波数でスループットがゼロになる固有の５×５平行輪郭フィルタに基づいている。その信号の歪みは、ほぼゼロであり、その結果、目に見えるアーチファクトが無い輪郭信号が得られる。なお、従来から既知の輪郭フィルタは、センサのナイキスト領域の外側で、バックフォールドされた（ｂａｃｋ  ｆｏｌｄｅｄ）望ましくない周波数を増幅する。これにより、歪が生じ、その結果、画像中における望ましくないエイリアシング成分の視認性が良くなる。この固有の５×５輪郭フィルタは、これらのエイリアシングアーチファクトを防止するとともに、イメージセンサのグリーンチャンネルで生じるグリーン−グリーン間の差を排除する。特定の利点は以下の通りである。
【００５１】
１．ＯＬＰＦ（光ローパスフィルタ）を必要とすることなく、Ｙｎ信号は、第１のＲＧＢサンプル周波数でスループットがゼロになる。そのため、それらの点でエイリアシングが生じなくなる。第２の更に高いサンプル周波数の倍数では、スループットが低いが、レンズのローパスおよびセンサの変調伝達関数（ＭＴＦ）が有効となる。
【００５２】
２．信号歪みがほぼゼロであり、その結果、目に見えるアーチファクトが無い輝度信号Ｙｎが得られる。
【００５３】
以下では、２×２のホワイト補正された輝度フィルタが特に有利である理由について説明する。
【００５４】
１．イメージセンサの一連のＲＧＢバイエルカラー信号中の変調されたカラー情報を排除し、また、イメージセンサによって生じるグリーンの不均一性を排除するためには、２×２の単位行列（単位マトリクス）が必要とされる。イメージセンサによって生じるグリーン−グリーン間の差を排除する二次元平行輪郭フィルタを開発するための方法により、ＲＧＢバイエルイメージセンサの平行輪郭信号中のグリーンの不均一性を防止することができる。バイエルイメージセンサにおける平行輪郭処理により、イメージセンサからのグリーン信号を使用して、ＲＧＢカラー復元と並行して二次元輪郭信号を形成することができる。
【００５５】
利点は、シリアル輪郭処理と同様に、余計な横列の遅延が必要ないという点である。なお、どのようなＯＬＰＦ型が使用されたとしても、それが、大きな飽和したカラー領域内でこのカラー変調に影響を及ぼすことはなく、また、グリーンの不均一性に影響を及ぼすこともない。
【００５６】
２．スマートグリーンパラメータによる乗算は、マトリクスの効果を元に戻すために必要である。この場合、マトリクスの係数の合計は、前記単位行列（ｕｎｉｔｙ）に等しくなく、および／または、周囲のカラー温度の結果である。
【００５７】
これらは、スマートグリーンパラメータが計算される２つの理由である。これらのパラメータが単位行列でない場合、カラーセンサは、ブラック・ホワイトセンサとしての機能を果たさない。
【００５８】
２×２のホワイト補正された輝度信号Ｙｎの僅かな欠点は、光ローパスフィルタ（ＯＬＰＦ）が適用される際に解像度が減少するという点かもしれない。しかしながら、これは、Ｙｎを復元するための４×４フィルタを適用することにより補償することができる。ＯＬＰＦのローパス伝達の量に応じて、重みが大きいＹｎフィルタを選択することができる。図４の左側には、既に述べた２×２のＹｎフィルタが示されている。中央および右側には、２つの４×４Ｙｎフィルタが示されている。右側のフィルタが「最も重い」フィルタである。これらのフィルタは、ＯＬＰＦの伝達損失を補償する以外に、レンズの伝達損失を補償するために適用することもできる。
【００５９】
３．ＲＧＢカラー復元
この好ましい実施形態において説明される復元方法は、任意の光ローパスフィルタ（ＯＬＰＦ）を有する或いはＯＬＰＦを全く有さないカメラに適している。適切なＯＬＰＦを選択することは、簡単なことではない。殆どの場合、それは、鮮明度の損失を伴ったり、一定の量のエイリアシングを許容しなければならない。無論、エイリアシングが全く無いことが好ましい。関連するパラメータは、以下の通りである。
１．レンズの光学的伝達；
２．感光パラメータを決定するピクセルマイクロレンズを含むセンサの変調伝達関数（ＭＴＦ）；
３．センサのカラーアレーによって決定されるセンサマトリクス。付録１で説明するように、マトリクスの重みによって生じる余分な量のエイリアシングは、ＯＬＰＦ伝達の仕様に影響を与える；
４．所定の復元アルゴリズム。無論、これにより、特定の伝達特性が得られ、ＯＬＰＦによってエイリアシングを多かれ少なかれ減少させる必要性が生じる。
【００６０】
カメラにおけるこれら４つのパラメータのうちの１つが変更されると、ＯＬＰＦの適合を考えなければならなくなる。ここで、１つの問題が生じる。すなわち、通常、前述した４つの全てのパラメータを考慮することなく、ＯＬＰＦが定められるという問題である。したがって、好ましい実施形態においては、既存の或いは好ましいカメラ設計に関して、すなわち、光学素子（ｐｔ.１）およびセンサ（ｐｔ.２および３）に関して、ある程度の自由度（ｐｆ．４）を与える復元方法を予想することを試みる。復元フィルタの伝達は、特定のフィルタ重みを選択することにより変えることができるが、最も重要なことは、偽カラーキラーを適用できることである。
【００６１】
この章においては、複数のＲＧＢカラー復元フィルタについて説明する。その１つは３×３アレーを使用するものであり、もう１つは５×５アレーを用いるものである。両方とも、偽カラーキラーを用いて適用することができる。先ず最初に、重要な偽カラーキラーがどのようにして実現されるかについて説明するとともに、それが、国際公開第９９／０４５５５号および欧州特許第  ０１  ２００  ４２２．２号において説明されているスマートグリーン１／２と共に適用されるものと比べて、目に見えるアーチファクト（ブラックドットおよびホワイトドット）を殆ど生じさせない或いは全く生じさせない理由について説明する。
【００６２】
３．１  ３×３および５×５のＲＧＢカラー復元のための偽カラーキラー
弱い光ローパスフィルタが適用され、あるいは、光ローパスフィルタが適用されない場合には、偽カラーキラーを使用することができなければならない。この実施形態における偽カラーキラーの検出器の避けられない要件は、最も小さいグリーン復元アレーに基づいて、最も高いグリーン復元を得なければならないという点である。今までに見出された最良のアレーは、特にスマートグリーン１／２方法に係る３×３メジアンフィルタである。しかしながら、この３×３アレーをスマートグリーン３の６×６アレーと組み合わせて使用すると、スマートグリーン１の復元されたグリーン中心ピクセルとスマートグリーン３のホワイト補正された輝度ピクセルとの間に位相差が生じてしまう。
【００６３】
図５は、この位相差を示している。すなわち、スマートグリーン１の中心グリーンは、右側および下側へ、すなわち南東へ、ピクセルの半分だけシフトされている。無論、同様に、他の３つの方向も考えられるが、南東が意図的に選択された理由は、後に明らかになる。
【００６４】
スマートグリーン１またはスマートグリーン２信号およびその偽カラーキラーの位相を維持するためは、３×３または５×５カラー復元フィルタを適用しなければならない。そのような場合、結果として生じるＲＧＢ信号は、スマートグリーン３のホワイト補正された輝度信号Ｙｎとの位相差が、スマートグリーン１／２信号と同じになる。この位相差の問題は、図６に示されるように、復元されたカラー信号およびその偽カラーキラーの後に２×２ポストフィルタを適用することにより解決できる。これにより、低周波出力カラー信号Ｒ０，Ｇ０，Ｂ０は、ホワイト補正された輝度信号Ｙｎと一致するようになる。
【００６５】
図６の上側には、偽カラー検出器の経路が示されている。ここでは、２つのタイプの偽カラー検出器を選択することができる。第１の偽カラー検出器は方法１を使用し、第２の偽カラー検出器は方法２を使用している。これらの方法はそれぞれ、グリーンが存在するものおよびグリーンが存在しないものである。ここでは、方法２を使用する幾分良好な第２の検出器タイプだけが選択された。この検出器タイプは、図７に示されるように、隣り合う３つの横列を同時に必要とする。各横列内には、スマートグリーン信号がある。図７の横列２〜６内のレッドピクセルおよびブルーピクセルは、最初に、スマートグリーンパラメータを用いて乗じられる。その後、スマートグリーン１／２信号は、横列２〜４のデータを用いて、メジアンフィルタにより、横列３内で復元されるとともに、横列３〜５のデータを用いて横列４内で復元され、最後に、横列４〜６のデータを用いて横列５内で復元される。３つのスマートグリーン１／２信号およびＦＣシグマＧ信号が偽カラー検出器に対して与えられる。ＦＣシグマＧは、中心グリーンピクセルを取り囲む４つのグリーンピクセルの４で割った値の合計である。
【００６６】
例：水平ピクセル遅延
スマートグリーン１／２信号を水平方向で復元するためには、４つの水平ピクセル遅延が必要である。２ピクセルの遅延を有する中心ピクセルを基準として用いると、復元されたＲＧＢ信号も同様に２ピクセルの遅延を有する。また、図２に示される３つの輝度信号Ｙｎ，Ｙｌｆ，輪郭も、適切な位相の維持を伴って、２ピクセルの遅延状態となる。これは、例えば、２ピクセル遅延を用いてこれらの復元を開始することにより行なうことができる。水平遅延態様に細かく注意を払う必要はない。なぜなら、これらは、ピクセル遅延を適正な位置で開始することにより解決できるからである。
【００６７】
図６の下側には、ＲＧＢカラー復元が示されている。その詳細については、次の章で説明する。３つの低周波カラー信号Ｒｌｆ，Ｇｌｆ，Ｂｌｆが偽カラーキラーに対して与えられる。３つの横列メモリを用いて、３つのカラー信号が２×２ポストフィルタによりフィルタ処理され、その後、ホワイト補正された輝度信号との位相関係が回復される。図５において横列４および縦列４で生じる中心のスマートグリーン１／２ピクセル（すなわち、Ｒｌｆ，Ｇｌｆ，Ｂｌｆピクセル）が意図的に選択された理由が図８に示されている。ここでは、１つの横列および１つのピクセル遅延により、先に形成されたカラー信号を加えて２×２ポストフィルタ処理することができる。
【００６８】
ＲＧＢカラー復元の詳細についてはこれ以上説明しないが、スマートグリーン３の偽カラーキラー  −今まで偽カラーフィルタと称してきた−  がスマートグリーン１／２のうちの１つよりも優れている理由についてここで述べる。
【００６９】
１．低周波復元されたＲＧＢ信号に関して好んで偽カラーキリングが行なわれ、これにより、アーチファクトが少なくなる。
【００７０】
２．万が一、偽カラーキラーのアーチファクトが生じる場合でも、これらのアーチファクトが２×２ポストフィルタによって減少される。また、例えば図９に示されるようなポストフィルタによってグリーンの不均一性が排除される。
【００７１】
３．ホワイト補正された輝度信号が高周波に寄与することにより、偽カラーキラーアーチファクトが覆い隠される。
【００７２】
４．図７に示される方法２に類似する周囲のスマートグリーンピクセルを使用する偽カラー検出器は、方法１のそれよりも性能が幾分良好である。
【００７３】
従来のＲＧＢカラー復元が適用される場合、項目１は、もはや通用しない。しかしながら、これは、スマートグリーン３の適用によって除外されないことが有益である。実際のローパスカラー信号を用いない場合であっても、スマートグリーン１または２に基づく偽カラー検出器との間で差があまり生じないという点は、スマートグリーン３の利点と見なすことができる。最後のスマートグリーン３復元後において、従来の復元フィルタを用いた結果は、アーチファクトを殆ど伴っていないため、十分に受け入れられる。
【００７４】
なお、偽カラー検出器は、偽カラーがキリング処理される特定のレベルを使用する。例えば光ローパス伝達に起因する小さな振幅で前記特定のレベルを下回る偽カラーは、キリング処理されない。スマートグリーン３の場合、偽カラー検出器の調整は、スマートグリーン１／２の場合ほど重要ではない。
【００７５】
カラーおよび輝度アーチファクトに関するスマートグリーン３の主な利点は、従来の方法における郵便切手のような縁が消失するという点である。その理由は、カラー信号および輝度信号内にスマートグリーン１／２信号が全く加えられないからである。スマートグリーン１／２信号をエイリアスする代わりに、歪みの無いホワイト補正された輝度信号Ｙｎが加えられる。
【００７６】
図９の左側は、従来の復元方法を使用するグリーンの不均一性を示している。右側には、２×２ポストフィルタによってグリーンの不均一性が排除された状態が示されている。
【００７７】
３．２  縦列パッケージを用いた処理
ＲＧＢカラー信号の位相をホワイト補正された輝度信号と一致させるためには２×２ポストフィルタが必要であることを説明してきたが、ハードウェアにおいて横列メモリを実施しなくて済むことは、非常にはっきりしている。これを実現するための３つの解決策について説明する。そのうちの２つは、付録２で説明する。ここでは、最も興味深い解決策について説明する。
【００７８】
これまでは、センサデータの６４個のピクセルワイドパケットが外部メモリから復元ブロックへと横列方向で伝達されることを前提としてきた。図１０の左側には、この横列方向のパッケージ伝達が示されている。最初の横列の最後に到達すると、横列２の最初から伝達が始まり、その後も同様にして伝達が行なわれていく。しかしながら、この水平伝達では、２×２ポストフィルタのために全ての横列メモリを利用できるようにする必要がある。
【００７９】
しかしながら、全ての画像のセンサデータが外部メモリ内に記憶されていたと仮定すると、縦列方向でのパッケージ伝達を適用することもできる。図１０の右側には、この縦列方向のパッケージ伝達が示されている。１番目の横列の１番目のパッケージを送信した後、２番目の横列の１番目のパッケージが送信される。この手順は、最後の横列まで続けられる。その後、１番目の横列の２番目のパッケージが送信され、（６４−２×ｈｏ）個のピクセルが右にシフトされて、再び前記手順で処理が開始される。そして、この処理は、最後の横列の全ての水平ピクセルが最終的に復元されるまで続けられる。
【００８０】
横列方向パッケージ伝達および縦列方向パッケージ伝達の両方において、信号復元は、各パッケージ内において水平方向で実行される。パッケージの幅を有する内部メモリ内にＲＧＢカラー信号を記憶した後、次の横列へ移動することにより、そのデータを２×２ポストフィルタのために使用することができる。縦列方向パッケージ伝達の利点は、全ての横列メモリを必要としないという点である。パッケージの幅を有する内部メモリは、センサの水平ピクセルの数とは無関係になる十分な幅を有している。
【００８１】
図１１には、縦列方向パッケージ伝達の基本的なブロック図が示されている。このブロック図には、２×２ポストフィルタにおいて必要な、たった６４ピクセル幅を有する内部メモリが含まれている。なお、図１１は、中央バスおよび外部メモリに対する［３Ｓ×６４Ｈ×１Ｖ］ポストフィルタメモリの相互接続が必要ない点を除き、図３２、付録２とほぼ同じである。付録２で説明するように、これにより、外部メモリへのデータスワッピングの６６％が有利に防止される。
【００８２】
図１２は、内部ポストフィルタメモリが、たった６４ピクセル幅のＦＩＦＯ（先入れ先出し）メモリであることを示している。前回の横列のピクセルがポストフィルタに送信された場合には、その記憶場所の空間を利用できるようになる。その結果、その最初の空き領域に、現在の復元されたＲＧＢデータを記憶することができる。したがって、好ましい実施形態において、そのような目的のためには、［３Ｓ×６４Ｈ×１Ｖ］内部メモリで十分である。１６ビットＲＧＢデータ記憶のためのバイト総数は、合計で３８４バイトになる。
【００８３】
３．２．１  外部メモリからのセンサデータ伝達量の軽減
図１３に示されるように、センサデータの内部［３Ｓ×６４Ｈ×１Ｖ］入力メモリが垂直方向の下側にシフトできる場合、外部メモリからのパッケージは、横列１つ分の高さおよび６４ピクセルの幅、すなわち、［１Ｓ×６４Ｈ×１Ｖ］を有するだけで済む。次の横列のデータを復元する必要が生じる度に、内部メモリ内のデータが横列１つ分だけ下側にシフトされる。その後、上側の横列だけが、外部メモリからのデータで満たされる。
【００８４】
内部メモリ内で垂直伝達の選択肢を要求することなく縦列方向パッケージ伝達を使用する処理をその直後に伴う復元は、以下の単位数を必要とする。
・外部メモリから内部メモリへの
センサデータ：［１Ｓ×６４Ｈ×６Ｖ］すなわち：          ６伝達単位
・処理ブロックから外部メモリへの
ＲＧＢデータ：［３Ｓ×６４Ｈ×１Ｖ］：               ３伝達単位
全体で：                                           ９伝達単位
・垂直伝達の選択肢を含めると、
これは、［１Ｓ×６４Ｈ×１Ｖ］となる。すなわち：        １伝達単位
・外部メモリへのＲＧＢデータ
の３つの単位は依然として：                             ３伝達単位
全体で：                                           ４伝達単位
【００８５】
その結果、復元および処理のためのデータスワッピングの量は、５６％を超えて減少した。
【００８６】
伝達単位は、合計で１Ｓ×６４Ｈ×１Ｖ、すなわち、６４個の水平ピクセルから成る１つの信号になると考えられる。
【００８７】
３．３  ＲＧＢカラー復元のための開始点
一般に、好ましい実施形態においては、スマートグリーン３のＲＧＢカラー復元のために、３つの特定の開始点を考慮しなければならない。
【００８８】
１．従来のＲＧＢ復元のように帯域幅が大きいフィルタを用いると、単一カラーの伝達特性間の差により、更に高いブラック・ホワイトシーン周波数で、カラー干渉が生じる。これは、様々な伝達特性をそのサンプル周波数の各倍数でバックフォールドすることにより引き起こされる。バイエルセンサには、レッドピクセルまたはブルーピクセルの２倍の量のグリーンピクセルが存在するため、グリーン伝達の良好なマッチングが最優先事項である。言うまでも無く、アーチファクトに起因して、マッチンググリーン特性が最も良くても、エッジにおいて、性能が最も良くはならない。この現象に関する実際の説明はこれ以上しない。次の章で述べる係数は、一連の試行やミスの中で見出されたものであり、実験において立証された。
【００８９】
２．５×５フィルタのようにナイキスト周波数を下回る帯域幅を有するフィルタを使用すると、サンプル周波数の倍数の周囲にエイリアシングが存在することは言うまでもない。適切なＯＬＰＦだけがそのようなエイリアシングを防止することができる。これらの低周波ＲＧＢフィルタが十分に一致しない場合には、ブラック・ホワイト低シーン周波数のカラー複製が生じる。言うまでも無く、ここでは、マトリクス係数の重みが非常に重要な役割を果たす。
【００９０】
３．ＲＧＢバイエルイメージセンサによって生じるグリーンの不均一性の問題を回避するグリーン係数を選択しなければならない。図９は、３×３または５×５ＲＧＢフィルタの場合において、２×２ポストフィルタがグリーンの不均一性を既に排除している状態を示している。それにもかかわらず、３×３または５×５フィルタがグリーン同士の間の差を排除できれば役に立つ。
【００９１】
３．４  ３×３カラー復元フィルタ
付録３には、従来のＲＧＢカラー復元フィルタの伝達特性が示されている。図１４および図１５には、３×３グリーン復元フィルタのための良好なマッチング特性が示されている。左上角部には、フィルタの重みが表示されている。
【００９２】
２×２ポストフィルタもグリーン同士の間の差を排除するが、図１４および図１５のグリーン復元フィルタは既にそれを行なっている。イメージセンサによって生じるグリーン同士の間の差を排除する二次元平行輪郭フィルタを開発するための方法を適用することもできる。
【００９３】
一般に、以下のことが言える。すなわち、「隣の対角線のフィルタ係数を差し引きすることにより、寄与度がゼロになる。これにより、グリーンピクセルのグリーン同士の間の差が平均化され、その結果、当該差が無くなる」。
【００９４】
この法則は、第２章におけるオワイト補正された輝度信号の説明で述べた輝度復元フィルタにも当てはまる。しかしながら、フィルタがグリーンの不均一性を解決できない場合には、それが明示的に言及される。
【００９５】
図１６には、２×２ポストフィルタ後のグリーン伝達が示されている。左側には、「グリーンが存在する」場合の伝達が示されており、右側には、「グリーンが存在しない」場合の伝達が示されている。なお、低周波エイリアシングの量は、最初のフィルタ、すなわち復元フィルタによって決定される。ポストフィルタだけが高周波成分を減少させる。マッチングが良好なグリーンフィルタの利点は、以下の通りである。
・マッチングが良好なグリーンフィルタは、図１７から明らかなように、更に高いダイアゴナル周波数において緑がかった干渉が殆ど生じない。
・図１８から明らかなように、偽カラーキラーが殆ど生じない。
・図１８から明らかなように、エッジにアーチファクトが無い。
【００９６】
図１７において、ローパスフィルタ処理されたゾーンプレート（輪帯回折板）シーンが単位センサマトリクスを用いて適用されている。すなわち、スマートグリーン３処理が適用されておらず、偽カラーキラーおよび２×２ポストフィルタが適用されていない。図１７は、３×３復元フィルタ後のカラー信号を示している。右側で緑がかった対角線干渉が減少している以外に、解像度のある程度の損失も見られる。この処理においては、この後、Ｙｎ信号を適切に選択することにより、この損失も補償できる。
【００９７】
図１８には、４倍に拡大された長方形のマクベスカラーチェッカチャートにおける偽カラーキラーアーチファクトが示されている。図示しないが、長方形は、イエローカラーである。従来の３×３復元（上側）およびスマートグリーン３復元（下側）のカラー信号が示されている。後者においては、スマートグリーン３高周波処理も２×２ポストフィルタも適用されていない。両方における偽カラー検出器は、検出方法２にしたがって、従来のスマートグリーン１信号しか使用しない。
【００９８】
なお、スマートグリーン１／２復元方法との違いは、スマートグリーン３がスマートグリーン信号をカラー信号として用いない点である。スマートグリーン信号は、偽カラー検出器のためだけに使用される。下側部分におけるアーチファクトの欠如は、主に、グリーン伝達特性によって引き起こされる。これらは、従来の復元のものよりもマッチングが良好であるが、依然として異なっている。それにもかかわらず、これらは、驚くべきことに、カラーエッジおよびブラック・ホワイトエッジにおいて完全な復元を行なう。これにより、図１４および図１５のグリーンフィルタの組み合わせが非常に独特で好ましくなる。
【００９９】
また、この種のフィルタは、スマートグリーン４と称される復元概念に適用されても良い。その詳細は、この出願と同じ日に提出された、国内のファイル番号がＩＤ６０６６３８−IIIである特許出願の詳細な説明の特に第５章に記載されている。なお、この特許出願の内容は、これを参照することにより本願に組み込まれる。
【０１００】
３．５  ５×５カラー復元フィルタ
図１９および図２０には、５×５グリーン復元フィルタの伝達特性が示されている。左上角部には、フィルタ重みが示されている。なお、図１９のフィルタだけがグリーン同士の間の差を排除していない。図２１，２２，２３，２４には、５×５レッドおよびブルーフィルタの伝達特性が示されている。
【０１０１】
ラプラシアンフィルタリングを可能にするためには、全てのグリーンフィルタにおいて、両方のフィルタの全重みが等しくなるような整数の因数で各フィルタの重みを乗じる必要がある。グリーンが存在する場合の重みは、３の因数によって乗じられ、グリーンが存在しない場合の重みは、図２５の左側に見られる５の因数によって乗じられる。全てのレッド／ブルーフィルタの場合、図２５の右側に見られるように、重みは、図２２においては６の因数によって、図２３および図２４においては２の因数によって既に乗じられていた。
【０１０２】
第３．３章のポイント２、すなわち、低周波におけるＲＧＢ伝達マッチングを果たすために、重みを非常に注意深く選択しなければならない。図２７には、前述したフィルタ重みを使用したゾーンプレートの結果が右側に示されており、また、図２６の下側に示される修正されたレッド／ブルー重みを用いたゾーンプレートの結果が左側に示されている。低周波カラーが緑がかっている理由は、グリーンとレッド／ブルーとの伝達が一致していないためであり、また、ＦＴ１９（３０００×２０００ピクセル）型のセンサが有しているような幾分重いマトリクスを使用しているためである。これは、付録１に詳細に示されている。なお、特定の光学的伝達をシミュレートし且つ重いマトリクスに起因してエイリアシングが多大な量になることを防止するために、当初のゾーンプレートシーンは、ＦＴ１９センサ信号に伝達される前に、ローパスフィルタ処理された。当初のゾーンプレートは、周波数とは無関係に、１００％の振幅を用いて実現された。「グリーンが存在する場合」と「グリーンが存在しない場合」との間の良好なマッチング伝達特性は可能であるが、図１９および図２０のフィルタは、カラーエッジおよびブラック・ホワイトエッジにおいてアーチファクトを殆ど伴わない。その上、良好なマッチングが得られる。前述した３×３グリーンフィルタとの類似性もある。すなわち、それは、理想的なマッチング伝達特性でないが、エッジにおいてアーチファクトを殆ど伴わない。この５×５グリーンフィルタにおけるアーチファクトおよびグリーンの不均一性は僅かであるにもかかわらず、２×２ポストフィルタは、それを低減し且つ排除する。
【０１０３】
違いを最も良く理解できるように、図２７の左側を最初に覆った後、図２７の右側を覆っても良い。
【０１０４】
付録４には、４×４または６×６アレーにおけるＲＧＢカラー復元が記載されている。
【０１０５】
・２つの興味深い復元フィルタ、すなわち、３×３アレーを用いた復元フィルタと、５×５アレーを用いた復元フィルタとを説明してきた。ホワイト補正された輝度信号との適切な位相関係のために必要な２×２ポストフィルタは、縦列方向処理が適用される際には、大問題ではない。また、これらのフィルタは、基本的には、偽カラーキラーを用いて或いは用いないで適用することができる。
【０１０６】
・４×４および６×６フィルタは、偽カラー検出器を用いて適用するのにはあまり適していない。これは、これらのフィルタと偽カラー検出器の間の位相関係があまり適切ではないからである。但し、適用は可能である。
【０１０７】
４．結論
スマートグリーン３復元方法を用いると、スマートグリーン１方法およびスマートグリーン２方法と比べて、以下の特定の利点が得られる。
【０１０８】
・設計に自由度がある。センサマトリクスの重さに応じて、２つのカラー復元フィルタ間で選択を行なうことができる。その結果、（ローパス）輝度フィルタは、所定のアプリケーション仕様となり得る。カメラの光学的伝達に応じて、幾つかの高周波輝度フィルタを選択して調整することができる。
【０１０９】
・選択されたカラー復元に応じた偽カラーキラーにより、信号は、目に見えるアーチファクト（ホワイトおよびブラックの点）によって殆ど損なわれず、あるいは、全く損なわれない。その理由は、スマートグリーン１またはスマートグリーン２よりも強いローパスフィルタ処理されたカラー復元が使用されるからである。
【０１１０】
・スマートグリーン復元により、アーチファクトが全く存在しない。それは簡単な理由である。すなわち、スマートグリーン概念が、偽カラー検出のためだけに使用され、カラー信号として使用されないからである。解像度の損失を補償するため、高周波輝度信号が形成される。
【０１１１】
・選択されたカラー復元に応じて、バックフォールディングカラーエイリアシングの帯域幅は、スマートグリーン１およびスマートグリーン２を用いた場合よりも小さい。
【０１１２】
・従来のスマートグリーン１およびスマートグリーン２フィルタの場合と同様に更に高いダイアゴナル周波数で緑がかった干渉が殆ど生じない或いは全く生じないような場合には、レッド、グリーン、ブルー復元フィルタの伝達は一致される。
【０１１３】
・カラー復元フィルタは、カラーエッジおよび輝度エッジに、郵便切手の縁のようなアーチファクトが無い。
【０１１４】
・形成された全ての輝度信号は、いわゆる輝度ホワイト補正とフィルタ重みとの組み合わせにより、エイリアシングおよび歪みが無い。
【０１１５】
・ここで与えられているスマートグリーン３構造の全てのフィルタは、センサによって生じるグリーンの不均一を排除する。特に、５×５グリーン復元フィルタは、最終的には、２×２ポストフィルタの助けを借りて、それを行なう。
【０１１６】
要約すると、スマートグリーン３は、その自由度のおかげで、また、信号の歪みおよびその随意的な偽カラーキラーが無いことにより、デジタル静止画像の復元および処理、並びに、バイエルカラーフィルタアレーを有するセンサの隣接するビデオピクセルの復元および処理に良く適している。
【０１１７】
付録１：ＯＬＰＦの伝達に対するセンサマトリクスの影響
前述したように、センサマトリクスは、光ローパスフィルタ（ＯＬＰＦ）の伝達特性の仕様において役割を果たす。エイリアシングの量を１つの代表的なパラメータで表わすことに関しては詳細に説明しない。しかし、先に述べたことは、擬似ゾーンプレートの結果を示す図２９および図３０によって明らかになる。
【０１１８】
図２９の左上部分は、（シミュレートされた）ＯＬＰＦが特定の伝達を有しているとすると、鮮明度の損失とエイリアシングの許容量との間の妥協点であると思われる。従来の復元方法および単位センサマトリクスが使用される。
【０１１９】
右下部分は、全く同じＯＬＰＦおよび復元方法を示している。唯一の違いは、フィリップスＦＴ１９センサマトリクスが適用されている点である。ここでは、ＯＬＰＦの伝達を適合させることにより、最も良い場合で、最初に目的とされた妥協点に達することができる。
【０１２０】
図３０の上側部分は、単位マトリクスを使用した場合におけるゾーンプレートシーンの中央の横列のＲＧＢ信号を示している。図２９の場合と同じＯＬＰＦおよび復元方法が使用された。図３０の下側部分は、フィリップスＦＴ１９センサのマトリクスを使用した場合における同じ横列の結果を示している。
【０１２１】
ＯＬＰＦを規定して、鮮明度の損失とエイリアシングの量との間の妥協点を見出すためには、センサマトリクスを考慮することが望ましい。言うまでもなく、全く同じことが復元方法においても言える。
【０１２２】
センサマトリクスの重みを判断するための経験則
マトリクスパラメータが与えられても、それが重いマトリクスであるか否かを判断することは殆どできない。したがって、以下の経験則が生み出された。
【０１２３】
「１または複数のカラーにおいて、初期値（一次的な値）以外の付加的なカラーの一方または両方の逆マトリクス値がその初期値の半分よりも大きい場合、マトリクスは、多くの余計なエイリアシングおよび余計なカラーノイズを生じる（ある程度）重いマトリクスであると見なすことができる。」
シーンのカラー温度（色温度）は、逆マトリクス値に影響を与えるため、センサマトリクスは、ホワイトバランス範囲のほぼ中央のカラー温度で規定されることが好ましい。３０００〜７０００Ｋ（ケルビン）においては、約５０００Ｋのカラー温度が質が高い。
ＦＴ１９マトリクスのパラメータ：
レッド      ２．１６１０  −１．７７２０    ０．６１２０
グリーン  −０．１５８０    ２．０８３０  −０．９２４０
ブルー    −０．０１９０  −０．６９１０    １．７０９０
ＦＴ１９マトリクスの逆パラメータ
レッド      ０．４８５８    ０．４４２０    ０．０８１５
グリーン    ０．０４８６    ０．６２８５    ０．３２２３
ブルー      ０．０２５２    ０．２５９０    ０．７１６２
【０１２４】
逆レッドマトリクス値を見ると、レッドの初期値（０．４８５８）に対して加えられたグリーンの量（０．４４２０）は、経験則のほぼ２倍を超えている。逆グリーンマトリクスにおいても、グリーンの初期値に対して加えられたブルーの量は、経験則を満たしていないが、許容可能であると見なすことができる。逆ブルーマトリクスは、初期ブルー値の半分をかなり下回るレッド値およびグリーン値の付加的な量（０．７１６２）を明確に有する唯一のマトリクスである。特にレッドパラメータにより、ＦＴ１９マトリクスを重いマトリクスと見なすことができる。
【０１２５】
重いマトリクスの場合には、光学的伝達とは無関係に、常に、５×５カラー復元フィルタが適用されなければならない。この付録では、逆マトリクス値を使用する因数２−基準について説明してきた。論理的帰結として、５×５カラーフィルタを適用した後、図２８の６×６Ｙｌｆフィルタを適用することが望ましい。
【０１２６】
付録２：内部横列メモリが無い２×２ポストフィルタ
第３．１章を参照しつつ、この付録においては、２×２カラーポストフィルタにとって望ましくない横列メモリを回避する２つの方法について説明する。
【０１２７】
第１の方法は、中心横列として横列３および横列４の両方を用いる同時カラー処理を使用する。図３１に示されるように、上側部分は、横列１〜５を入力データとして使用することにより、中心横列３においてＲＧＢカラーデータを生成している。下側部分においては、横列２〜６の入力データが使用され、中心横列４においてＲＧＢデータが生成されている。信号Ｒ３−Ｇ３−Ｂ３および信号Ｒ４−Ｇ４−Ｂ４が２×２ポストフィルタに対して与えられており、２×２ポストフィルタは、６個のカラー信号において１つの内部ピクセル遅延を使用することにより、２×２ポストフィルタリングを実行することができる。
【０１２８】
この同時カラー処理のために付加される回路の量は、利用可能な信号をうまく組み合わせることにより、最小に抑えることができる。これを行なうことにより、たった１つの付加的なスマートグリーン１メジアンフィルタ（その結果、全部で３個ではなく、４個となる）と、付加的な１つの偽カラーキラーと、１つの付加的なＲＧＢ復元フィルタとが必要になる。付加的なメジアンフィルタおよび偽カラーキラーのために必要なチップ面積は極めて小さい。３つのカラー復元フィルタは、付加的な面積の大部分を費やす。
【０１２９】
第２の方法は、３つの復元された低周波ＲＧＢカラー信号の横列データを記憶するために外部メモリを使用する。したがって、図３２に示されるように、内部メモリは、復元されたカラー横列データの記憶および検索のため、中央バスへのインタフェースとして使用される。サイズは［３Ｓ×６４×１］である。すなわち、６４個の水平ピクセルから成る３つの信号であり、１６ビット信号において３８４バイトになる。この方法の僅かな欠点は、時間がかかるカラーデータのスワップである。これにより、センサ画像の総実行時間が増大する。
【０１３０】
２×２ポストフィルタリングにおいては、位置（ｘ，ｙ）における現在の復元されたカラーピクセルのデータが、位置（ｘ，ｙ−１）における内部メモリのデータと共に使用される。水平位置がｘであり、横列数がｙである。したがって、ｙ−１は、前の横列である。最初の印象は、内部メモリが、２つの横列のために、２つの６４ピクセルパッケージのＲＧＢカラーデータを含んでいるというものである。この場合、一方のパッケージは、前の横列のためのものであり、他方は、復元されて外部メモリに送られる横列のためのものである。したがって、［６Ｓ×６４Ｈ×１Ｖ］は、図３２に示されるよりも２倍大きい。しかしながら、前の横列のピクセルがポストフィルタに送られた場合には、内部メモリ内のその領域は、空き領域になる。その特定の領域には、現在の復元されたＲＧＢデータを記憶することができる。このことは、［３Ｓ×６４Ｈ×１Ｖ］内部メモリで十分であることを意味している。
【０１３１】
データスワップの量に関しては、異なる法則が適用される。まず最初に、前の横列のカラーデータのパッケージを内部メモリに対して送らなければならない。そのパッケージがポストフィルタによって使用された後、現在の横列のカラーデータを有するパッケージを、外部メモリに対して送らなければならない。そのため、ポストフィルタリングにおいては、データと２つのパッケージとから成る１つのパッケージがスワップされ（やりとりされ）なければならない。復元の出力が処理に直接に関連すると仮定すると、このことは、データスワッピングの量の増大、したがって、実行時間に関して、以下のことを意味する。
・外部メモリから内部メモリへの
センサデータ：［１Ｓ×６４Ｈ×６Ｖ］すなわち：          ６伝達単位
・処理ブロックから外部メモリへの
ＲＧＢデータ：［３Ｓ×６４Ｈ×１Ｖ］：               ３伝達単位
ポストフィルタリングが無い場合の
スワッピングの相対的な総量は：                         ９伝達単位
・ポストフィルタリング２×［３Ｓ×６４Ｈ×１Ｖ］を用いると、
余分なパッケージが必要となる。そのため：               ６伝達単位
その結果、スワッピングの総量は：                 １５伝達単位
【０１３２】
メモリに基づくポストフィルタリングに起因して、スワッピングの量の増大は、
（１５／９）×１００％−１００％＝６６％になる。
【０１３３】
伝達単位は、１Ｓ×６４Ｈ×１Ｖ、すなわち、６４個の水平ピクセルから成る１つの信号と見なされる。
【０１３４】
付録３：従来の復元の伝達特性
図３３は、スマートグリーン１に比べて様々な新たな特徴を有している。特に、従来のＲＧＢカラー復元の各開始位置毎に対応する３Ｄ伝達が付加されている。グリーンの場合には、２つの異なる伝達特性があり、レッドおよびブルーに関しては、４つの伝達特性がある。
【０１３５】
従来のグリーン復元において、グリーン伝達は、中心グリーンが存在する場合には単一（ｕｎｉｔｙ）であり、中心グリーンが存在しない場合には以下の図３４の３Ｄプロットに従う。グリーン復元伝達の相違により、グリーンサンプル周波数の各倍数における異なるグリーン伝達のバックフォールディングに起因して、更に高いダイアゴナル周波数において緑がかった変調が生じる。
【０１３６】
このグリーン復元フィルタの他の僅かな欠点は、ＲＧＢバイエルイメージセンサによって生じるグリーンの不均一性を伴うという点である。しかしながら、２×２ポストフィルタがこの問題を解決する。２×２ポストフィルタは、ラプラシアンまたはスマートグリーンＲＧＢ復元方法を維持し且つ目に見える解像度の損失を伴わないことにより、センサのグリーン信号におけるグリーン同士の間の差を排除することができる。
【０１３７】
図３５に示されるように、グリーン伝達特性は、２×２ポストフィルタリング後に更に等しくなる。左側には、グリーンが存在する場合の伝達が示されており、右側には、グリーンが存在しない場合の伝達が示されている。
【０１３８】
なお、低周波エイリアシングの量は、主に、最初の復元フィルタによって決定される。ポストフィルタだけが、高周波成分を減少させる。しかしながら、更に高いダイアゴナル周波数における緑がかった変調は減少する。
【０１３９】
従来のレッド／ブルー復元においては、以下のように、４つの異なる伝達特性が役割を果たす。
１．中心レッド／ブルーが存在する場合には、伝達が単一（ｕｎｉｔｙ）である。
２．レッド／ブルー中心ピクセルが存在せず且つ中心横列および中心縦列がレッド／ブルーピクセルを含まない場合には、結果的に、図３６の伝達となる。
３．レッド／ブルー中心ピクセルが存在せず且つ中心縦列がレッド／ブルーピクセルを含まない場合には、図３７の伝達となる。
４．レッド／ブルー中心ピクセルが存在せず且つ中心横列がレッド／ブルーピクセルを含まない場合には、図３８の伝達となる。この伝達は、図３７の伝達と等しいが、９０°回転されている。
【０１４０】
図３９には、２×２ポストフィルタリング後における４つの異なるレッド／ブルー伝達が示されている。なお、低周波エイリアシングの量は、主に、最初の復元フィルタによって決定される。ポストフィルタだけが高周波成分を減少させる。
【０１４１】
付録４：４×４および６×６カラー復元
一見したところでは、好ましくは偽カラーキラーが不要な場合、４×４または６×６ＲＧＢカラー復元フィルタを適用することが魅力的のように見える。これは、復元されたピクセルの位相が、図３を用いて説明したホワイト補正された輝度信号の位相と同一だからである。その場合、ポストフィルタは不要である。この付録の次の２つの章では、４×４カラー復元アレーおよび６×６カラー復元アレーに関し、４つの開始点にわたって平均化されたレッドおよびブルーの位相がホワイト補正された輝度信号の位相と一致するが、各開始点毎に位相が異なっていることについて説明する。
【０１４２】
４×４ＲＧＢカラー復元
簡単のため、単位重みを有する４×４レッド（およびブルー）復元フィルタが図４０の左側に示されるようになっていると仮定する。図４０には、復元の関連するレッドピクセルと復元されたレッドピクセルとを伴う様々なレッド開始位置が示されている。何れの開始位置においても、復元されたレッドピクセルは、ホワイト補正された輝度ピクセルの位相と一致していない。４つの位置の平均値だけが、復元されたレッドピクセルの開始位置に応じて、所望の位相一致を成している。復元は、アーチファクトに対して非常に感度がある静止写真画像に関係しているため、平均化された位相は、殆ど意味を持たない。１つのレッドカラーまたはブルーカラーにおける前述した位相不一致の他にも、図４１に示されるように、３つの復元されたＲＧＢピクセル同士の間には、相対的な位相差が存在する。グリーンカラーにおいて、４×４単位フィルタは、復元されたピクセルが、ホワイト補正された輝度信号との適切な位相一致を成している想定される。
【０１４３】
図４２に示されるように、特定のフィルタ係数を使用すると、復元されたレッド（またはブルー）ピクセルの位置は、ホワイト補正された輝度信号の位相と一致した状態を維持することができる。このフィルタは、レッド／ブルー位相補正フィルタと称される。図４２から分かるように、レッド／ブルー復元は、３つの関連するピクセルのみに関係している。
【０１４４】
図４３には、図４２の開始位置１における伝達特性が示されている。
【０１４５】
第３．３章で述べたカラー復元フィルタにおける開始点においては、グリーン係数を注意して規定しなければならない。両方のグリーン伝達特性は特定の一致を成していなければならず、また、これらのグリーン伝達は、レッド／ブルーフィルタ伝達と十分に一致していなければならない。更に、グリーンの不均一性が排除されることが好ましい。
【０１４６】
図４４には、３つの４×４グリーン復元フィルタが示されている。この場合、開始位置とは無関係に、復元されたグリーンピクセルは、ホワイト補正された輝度信号と適切な位相の一致を成している。また、これらのフィルタは、イメージセンサによって生じるグリーンの不均一性を排除する。これらの３つのフィルタのグリーンの均一性の回復の説明は、第２章で説明したので、ここでは省略する。また、二次元平行輪郭フィルタが、イメージセンサによって生じるグリーン同士の差を排除しても良い。
【０１４７】
復元されたグリーンの位置を決定するための幾つかの方法がある。例えば、図４におけるダッシュが付けられたブラック印字されたフィルタ係数が、第１のグリーン開始位置における係数であり、ダッシュが付いていないグリーン印字されたフィルタ係数が、第２のグリーン開始位置における係数である。図４４の左側部分の縦列ａ，ｃにダッシュが付けられたブラック係数を加えると、それらの復元されたピクセルが縦列ｂおよび横列ｐに位置される。縦列ｂ，ｄにダッシュが付けられたブラック係数を加えると、その結果が縦列ｃおよび横列ｑに位置される。位置（ｂ，ｐ）におけるピクセルと位置（ｃ，ｑ）におけるピクセルとを組み合わせると、復元された最後のグリーンピクセルの位置が得られる。ダッシュが付けられていないグリーン印字された係数においても、同様にして、全く同じ復元されたグリーン位置が得られる。
【０１４８】
図４４の第２のグリーンフィルタの復元されたグリーンの位置は、最初、全ての重みが単位重みであるという前提の下で決定される。その後、この位置は、第１のグリーンフィルタの場合と同じになる。２の因数の重みを含むように、位置（ｂ，ｐ）および位置（ｃ，ｑ）におけるダッシュが付けられたブラック重みにおいて、ピクセル値をもう一度加えなければならない。これにより、再び、復元されたグリーンと全く同じ位置を有するピクセルが得られる。同様の方法で、ダッシュが付けられていないグリーンカラー係数の位置を決定することができる。
【０１４９】
第３のグリーンフィルタにおいては、ダッシュが付けられたブラック係数を加えることにより、所望の復元されたグリーン位置が得られる。
【０１５０】
最初に、擬似ゾーンプレートおよびＦＴ１９のセンサマトリクスを使用することにより３つのグリーンフィルタのうちのどれが図４２（および４３）のレッド／ブルー位相補正フィルタと最良の一致を成しているのかについて説明する。この試験のために偽カラーキラーを適用することが狙いではないので、最良のグレー情報を有するフィルタの組み合わせを選択しなければならない。図４５の一番上には、単位グリーンフィルタが適用されている。中央には、第２のグリーンフィルタが適用されている。両方とも、中間周波数に向かうパープルカラーシフトを有している。明らかに、第３のグリーンフィルタを使用する最も下側の写真が最良のものである。付録１で既に説明したように、中央における干渉は、マトリクス係数によって生じる。単位マトリクスを用いると、これらの干渉が完全に消失する。ゾーンプレートの７番目の「ホワイト」リング上でカラーシフトが拾われて図４５の右側部分に矩形状態で拡大して示されている。なお、高周波輝度処理は適用されなかった。結果は、カラー復元のみに起因するものである。
【０１５１】
単位ＲＢフィルタおよび３つのグリーンフィルタを用いた同様の試験を行なうことができるが、全てが、許容できない低周波アーチファクトを有する。また、第３のグリーンフィルタを用いた試験は、強い緑がかったカラーシフトを有する。したがって、４×４レッド／ブルー位相補正フィルタの向上を示すため、ゾーンプレートシーンの代わりに、対角線の垂直なカラーエッジが示される。
【０１５２】
最も難しいエッジは、グリーン−マゼンタの移行部およびレッド−ブルーの移行部である。これらの移行部は、この場合、理想的な階段関数（ステップ機能）から生じたものである。図４６においては、位相補正されたレッドおよびブルーの復元の向上がはっきりと見てとれる。移行部は６倍に拡大されたものであり、更に単位センサマトリクスが適用された。図４６の下側部分においては、位相補正されたレッドおよびブルーの復元の向上がはっきりと見てとれる。
【０１５３】
６×６ＲＧＢカラー復元
６×６ＲＧＢ復元フィルタにおいても、４×４アレーの場合と同様の手段を適用することができる。この場合も、簡単のため、復元フィルタは、単位重みを有している。復元されたレッド（またはブルー）カラーの位置は、レッド（またはブルー）開始位置によって決まる。すなわち、前の章におけるよりも、復元されたレッドピクセルの位置は、ホワイト補正された輝度ピクセルの位置に最も近いレッドピクセルの位置に等しくなるが、その後、図４０においても明らかなホワイト補正された輝度位置を越えて１ピクセルだけ対角的にシフトされる。また、レッドおよびブルーの復元されたピクセルの最終的な位置は、図４１で示したように、互いに反対である。
【０１５４】
図４７に示される特定のフィルタ係数を用いると、復元されたレッド（またはブルー）ピクセルの位置は、ホワイト補正された輝度信号の位相と一致した状態を維持することができる。
【０１５５】
図４８には、図４２の開始位置１における６×６伝達特性が示されている。
【０１５６】
レッド／ブルー帯域幅が低いため、適切なグリーン復元フィルタを見出すことはあまり難しくない。これらのグリーンフィルタのうちの１つのフィルタ重みが図４９に示されている。
【０１５７】
図５０には、対角的な伝達の向上が示されている。この図の左側は、単位フィルタを用いたものであり、図の右側は、位相補正された復元である。
【０１５８】
４×４および６×６位相復元フィルタの評価
この付録の前の章の最良の４×４および６×６位相復元フィルタを、第３．４章および第３．５章のそれぞれにおける最良の３×３および５×５フィルタと比較する。後者のフィルタの後には、単位２×２ポストフィルタが使用される。
【０１５９】
最初に、偽カラーキラーを用いて４×４（６×６）フィルタを適用できるかどうかを検査する。この場合、両者の位相差は無視する。図５１の左側には、４×４カラーフィルタを用いたカラーキリングが示されており、図５１の右側には、３×３カラーフィルタを用いた後に２×２ポストフィルタを用いたカラーキリングが示されている。両方の擬似ゾーンプレートシーンがＦＴ１９マトリクスを用いて処理される。２つの重要な態様を見出すことができる。中央および高周波領域の差を見ると、左側のカラーキリングアーチファクトの方が、右側のそれよりも深刻である。また、両方の方法においては、レッド／ブルーサンプル周波数の近傍の偽カラーにおいてカラーキラーが作用しないことが重要である。これは、偽カラー検出器におけるセンサ信号が非常に小さいためである。その後、この信号は、カラーマトリクスにより大きく増幅される。
【０１６０】
図５２には、ＦＴ１９マトリクスを用いた４つのカラー復元方法の帯域幅が示されている。この場合、擬似ブラック・ホワイト（すなわち無色）ゾーンプレートが使用されている。言うまでもなく、３×３フィルタが最良の解像度を与える。５×５および４×４がある程度等しいように見えるが、５×５フィルタは、中間周波数において、アーチファクトを殆ど示していない。６×６カラーフィルタの帯域幅はかなり低いと見なすことができる。
【０１６１】
図５３には、単位マトリクスを使用する４つの復元方法における６倍に拡大された対角的なグリーン−マゼンタエッジが示されている。注意深い検査により、６×６フィルタ（右下）において非常に高いカラー解像度損失が生じることが分かった。３×３フィルタが最も鮮明なカラーエッジを有しており、その次に、５×５フィルタおよび４×４フィルタのカラーエッジが鮮明である。
【０１６２】
４×４および６×６復元フィルタに関する結論は、以下の通りである。
・非常に特有のフィルタ係数を用いた場合にだけ、復元されたレッドまたはブルーカラーの位置を、ホワイト補正された輝度ピクセルに対して維持することができる。
・６×６フィルタの解像度は非常に低い。４×４フィルタにおいては、解像度を許容できる場合がある。その後に２×２ポストフィルタの使用を伴う５×５フィルタでさえ、４×４フィルタよりも良好な解像度を有している。
・４×４および６×６フィルタは、偽カラー検出器と共に適用するのにあまり適していない。
【０１６３】
付録４における結論において、６×６フィルタのカラー帯域幅は、あまり許容できない。したがって、３×３および５×５復元フィルタを用いる復元ブロックで足りる。これは、４×４フィルタであっても、真の利益を与えないからである。３×３および５×５フィルタのために必要な２×２ポストフィルタは、縦列方向処理が適用される場合には、さしたる問題ではない。また、これらのフィルタは、基本的には、偽カラーキラーを用いて或いは用いないで適用することができる。
【図面の簡単な説明】
【０１６４】
【図１】メモリに基づく構造におけるＲＧＢ復元および輪郭復元の配置。
【図２】スマートグリーン３復元の基本的なブロック図（スマートグリーンパラメータを用いたＲカラーとＢカラーとの乗算に関するブロックへの特定の情報は、国際公開第９９／０４５５５号から得られる）。
【図３】ホワイト補正された輝度ピクセルＹｎの実現。
【図４】幾つかのホワイト補正された輝度復元フィルタ（図３および図４は、グリーン同士の間の差が都合良く存在しない好ましい実施形態のホワイト補正された輝度信号を示している。グリーン同士の差は、ラプラシアン（すなわち、スマートグリーン）ＲＧＢ復元方法のメンテナンスをもって且つ目に見える解像度の損失が無くセンサのグリーン信号のグリーン同士の差を排除できるバイエルイメージのグリーン均一性の回復により除去されても良い。また、グリーン同士の差は、ＲＧＢバイエルイメージセンサの平行な輪郭信号におけるグリーン不均一性を防止することにより除去されても良い。これは、イメージセンサによって生じるグリーン同士の差を排除する二次元平行輪郭フィルタを開発することにより行なわれても良い）。
【図５】スマートグリーン１／２（＋偽カラーキラー）とＹｎとの間の位相差。
【図６】３×３または５×５低周波ＲＧＢ信号における偽カラーキリングおよび２×２ポストフィルタ（偽カラー検出器および偽カラーキラーを有するブロックの特定の情報は、国際公開第９９／０４５５５号から得られる。カラーフィルタおよび２×２ポストフィルタ内に偽カラーフィルタを設けることは、好ましい実施形態である）。
【図７】例えば国際公開第９９／０４５５５号に記載された、３つの垂直な横列でスマートグリーン１信号を使用することによる偽カラー検出。
【図８】２×２ポストフィルタによるカラー信号位相回復の好ましい実施形態。
【図９】２×２ポストフィルタによるグリーンの不均一性の排除（グリーン同士の差は、ラプラシアン（すなわち、スマートグリーン）ＲＧＢ復元方法のメンテナンスをもって且つ目に見える解像度の損失が無くセンサのグリーン信号のグリーン同士の差を排除できるバイエルイメージのグリーン均一性の回復により除去されても良い。また、グリーン同士の差は、ＲＧＢバイエルイメージセンサの平行な輪郭信号におけるグリーン不均一性を防止することにより除去されても良い。これは、イメージセンサによって生じるグリーン同士の差を排除する二次元平行輪郭フィルタを開発することにより行なわれる）。
【図１０】横列（左）および縦列（右）方向でのパッケージデータの伝達を示す図。
【図１１】外部メモリからの縦列方向パッケージ伝達を使用する２×２ポストフィルタリングにおける基本的なブロック図。
【図１２】縦列方向データ伝達を使用する２×２ポストフィルタのための内部メモリ。
【図１３】センサデータを有し且つ垂直伝達のオプションを有する内部パッケージメモリ（図１０〜図１３は好ましい実施形態を示している。縦列方向処理の概念は、全てのデータ伝達が９０°回転される場合にも役立つ。その結果、全く同じ利点をもって横列方向処理が成される）。
【図１４】中心グリーンが存在する場合における３×３グリーン復元の値。
【図１５】中心グリーンが存在しない場合における３×３グリーン復元伝達の値。
【図１６】２×２ポストフィルタ後の３×３グリーン伝達の値。
【図１７】従来の復元（左）およびマッチングが良好なグリーン復元（右）における緑がかった対角的干渉。
【図１８】従来のグリーン復元（上）およびマッチングが良好なグリーン復元（下）を用いた偽カラーキラーアーチファクト（図１４〜図１８は、好ましい実施形態を示している）。
【図１９】グリーンが存在する場合におけるラプラシアン５×５グリーン復元。
【図２０】グリーンが存在しない場合におけるラプラシアン５×５グリーン復元。
【図２１】レッド／ブルーが存在する場合におけるラプラシアン５×５レッド／ブルー復元。
【図２２】レッド／ブルー中心横列および縦列が空いている場合におけるラプラシアン５×５レッド／ブルー復元。
【図２３】レッド／ブルー中心ピクセルが存在せず且つレッド／ブルー中心縦列が空いている場合におけるラプラシアン５×５レッド／ブルー復元。
【図２４】レッド／ブルー中心ピクセルが存在せず且つレッド／ブルー中心横列が空いている場合における回転されたレッド／ブルーフィルタの値。
【図２５】全グリーンフィルタ（左）および全レッド／ブルーフィルタ（右）の重み。
【図２６】全グリーンフィルタ（左）および変調された全レッド／ブルーフィルタ（右）の重み。
【図２７】グリーンとレッド／ブルーとの間の伝達の不一致を左側に示し且つ伝達の一致を右側に示す実施例。（図１９〜図２７は、好ましい実施形態を示している。）
【図２８】３つの６×６輪郭フィルタの伝達特性（図２８は、好ましい実施形態、すなわち、エイリアシングが無い平行輪郭信号を示している。これは、イメージセンサからのグリーン信号を使用してＲＧＢカラー復元と平行に二次元輪郭信号を形成することができるバイエルイメージセンサにおける平行輪郭処理によって得られても良い。利点は、シリアル輪郭処理と同様に、すなわち、ＲＧＢバイエルイメージセンサにおけるエイリアシングが無い輪郭により、余計な横列遅延が不要であるという点である。ＲＧＢバイエルイメージセンサにおけるエイリアシングが無い輪郭は、光ローパスフィルタを必要とすることなく第１のＲＧＢサンプル周波数でスループットがゼロになる固有の５×５平行輪郭フィルタに基づいている。その信号の歪みは、ほぼゼロであり、その結果、目に見えるアーチファクトが無い輪郭信号が得られる。なお、従来から既知の輪郭フィルタは、センサのナイキスト領域の外側で、バックフォールドされた（ｂａｃｋ  ｆｏｌｄｅｄ）望ましくない周波数を増幅する。これにより、歪が生じ、その結果、画像中における望ましくないエイリアシング成分の視認性が良くなる。この固有の５×５輪郭フィルタは、これらのエイリアシングアーチファクトを防止するとともに、イメージセンサのグリーンチャンネルで生じるグリーン−グリーン間の差を排除する）。
【図２９】センサマトリクスに応じたＲＧＢサンプル周波数付近のエイリアシングの量を示す図。
【図３０】単位マトリクスを用い（上）、また、単位マトリクスを用いない（下）ゾーンプレートシーンの中央の横列における水平カラーエイリアシング。
【図３１】２つの横列のデータを同時に処理することにより２×２ポストフィルタ横列メモリを回避するための方式。
【図３２】横列データを外部メモリに対してやりとりする（スワップする）ことにより２×２ポストフィルタ横列メモリを回避するための方式。
【図３３】従来のＲＧＢ復元の基本。
【図３４】従来の３×３グリーン復元フィルタの値。
【図３５】２×２ポストフィルタ後のグリーン伝達の値。
【図３６】レッド／ブルー中心横列および縦列が空いている場合における従来のレッド／ブルー復元の値。
【図３７】中心レッド／ブルー横列データだけが存在しない場合における従来のレッド／ブルー復元の値。
【図３８】中心レッド／ブルー縦列データだけが存在しない場合における従来のレッド／ブルー復元。
【図３９】２×２ポストフィルタ後の４つの異なるレッド／ブルー復元伝達の値。
【図４０】４×４単位アレーにおける開始位置に応じた、復元されたレッドピクセルの位相を示す図。
【図４１】レッドおよびブルーカラーに応じた異なる中心ピクセルを示す図。
【図４２】開始位置に応じた、４×４の復元されたレッド位相の維持を示す図。
【図４３】図４２の開始位置１における４×４レッド伝達特性。
【図４４】３つの４×４グリーン復元フィルタ。
【図４５】図４４の第１のグリーンフィルタ（上）、第２のグリーンフィルタ（中央）、第３のグリーンフィルタ（下）がそれぞれ適用された例。
【図４６】カラー移行（上側：４×４単位ＲＧＢフィルタを用いた場合のグリーン−マゼンタ移行部およびレッド−ブルー移行部、下側：Ｒ／Ｂ位相補正および第３のＧフィルタを用いた場合の同じ移行部）。
【図４７】開始位置に応じた、６×６の復元されたレッド位相の維持を示す図。
【図４８】図４２の開始位置１における６×６レッド伝達特性。
【図４９】適切な６×６グリーンフィルタの重み。
【図５０】６×６位相補正フィルタの対角的移行部の向上を示す例。
【図５１】４×４カラーフィルタ（左）および３×３カラーフィルタ（右）を用いた偽カラーキリングを示す例。
【図５２】擬似ゾーンプレートの帯域幅を示す例（左上：最良の３×３カラーフィルタ、右上：最良の５×５カラーフィルタ（２×２ポストフィルタを含む）、左下：最良の４×４位相補正カラーフィルタ、右下：最良の６×６位相補正カラーフィルタ）。
【図５３】カラー対角エッジの例（左上：最良の３×３フィルタ、右上：最良の５×５フィルタ（２×２ポストフィルタを含む）、左下：最良の４×４位相補正フィルタ、右下：最良の６×６位相補正フィルタ）（図２９〜図５３は、特にポストフィルタリングに関する好ましい実施形態を示している）。
【図１】
2005532003.tif 000003
【図２】
2005532003.tif 000004
【図３】
2005532003.tif 000005
【図４】
2005532003.tif 000006
【図５】
2005532003.tif 000007
【図６】
2005532003.tif 000008
【図７】
2005532003.tif 000009
【図８】
2005532003.tif 000010
【図９】
2005532003.tif 000011
【図１０】
2005532003.tif 000012
【図１１】
2005532003.tif 000013
【図１２】
2005532003.tif 000014
【図１３】
2005532003.tif 000015
【図１４】
2005532003.tif 000016
【図１５】
2005532003.tif 000017
【図１６】
2005532003.tif 000018
【図１７】
2005532003.tif 000019
【図１８】
2005532003.tif 000020
【図１９】
2005532003.tif 000021
【図２０】
2005532003.tif 000022
【図２１】
2005532003.tif 000023
【図２２】
2005532003.tif 000024
【図２３】
2005532003.tif 000025
【図２４】
2005532003.tif 000026
【図２５】
2005532003.tif 000027
【図２６】
2005532003.tif 000028
【図２７】
2005532003.tif 000029
【図２８】
2005532003.tif 000030
【図２９】
2005532003.tif 000031
【図３０】
2005532003.tif 000032
【図３１】
2005532003.tif 000033
【図３２】
2005532003.tif 000034
【図３３】
2005532003.tif 000035
【図３４】
2005532003.tif 000036
【図３５】
2005532003.tif 000037
【図３６】
2005532003.tif 000038
【図３７】
2005532003.tif 000039
【図３８】
2005532003.tif 000040
【図３９】
2005532003.tif 000041
【図４０】
2005532003.tif 000042
【図４１】
2005532003.tif 000043
【図４２】
2005532003.tif 000044
【図４３】
2005532003.tif 000045
【図４４】
2005532003.tif 000046
【図４５】
2005532003.tif 000047
【図４６】
2005532003.tif 000048
【図４７】
2005532003.tif 000049
【図４８】
2005532003.tif 000050
【図４９】
2005532003.tif 000051
【図５０】
2005532003.tif 000052
【図５１】
2005532003.tif 000053
【図５２】
2005532003.tif 000054
【図５３】
2005532003.tif 000055
【国際調査報告】
2005532003.tif 000056
2005532003.tif 000057
2005532003.tif 000058