(57)【要約】ホワイト補正された輝度復元を基本とし且つスマートグリーンパラメータと称されるフィルタ重みを使用する復元方法が提案されている。サンプル周波数の倍数であっても、また、光ローパスフィルタが無いカメラの場合でも、エイリアシングが無い輝度信号が得られる。また、このホワイト補正された輝度信号は、信号歪みが無い。提案された方法によれば、適切なローパスフィルタを加え或いは組み合わせることができ、また、提案された方法は、エイリアシングが無い様々なカラーフィルタおよび輪郭フィルタを実施するのに特に良く適している。ＲＧＢカラー信号は、センサマトリクスの重さおよびカメラの光学的伝達に応じて選択できるフィルタ重みを使用して復元される。カラー復元フィルタと同時に輪郭復元フィルタを適用することが提案されている。
2005532002.tif 000002
【特許請求の範囲】
【請求項１】
イメージセンサのセンサ信号が入力として供給され、この入力がフィルタ内で復元されることにより、更なる処理のための出力が形成され、前記フィルタが、輝度復元フィルタ、レッド−グリーン−ブルーカラー復元フィルタ、輪郭復元フィルタから成るグループから選択される少なくとも１つの復元フィルタを備え、
前記入力が複数のピクセルを含み、１つのピクセルが、レッド、グリーン、または、ブルーのカラーのうちの少なくとも１つに対して割り当てられるカラー値を与える信号処理方法であって、
多数のピクセルを含み且つ所定のアレーサイズを有するピクセルアレーに対して前記輝度復元フィルタを適用し、少なくとも１つのピクセルが、レッドのカラーに対して割り当てられたレッドピクセルによって形成され、少なくとも１つのピクセルが、ブルーのカラーに対して割り当てられたブルーピクセルによって形成され、少なくとも１つのピクセルが、グリーンのカラーに対して割り当てられたグリーンピクセルによって形成され、
前記レッドピクセルおよび／またはブルーピクセルをグリーンパラメータによって重み付け、
前記アレーの複数のピクセルを１つの出力ピクセルにまとめ、
前記出力ピクセルを前記アレーに中心付け、
前記カラー復元フィルタと同時に前記輪郭復元フィルタを適用する、
信号処理方法。
【請求項２】
特に、第２のフィルタの中心出力ピクセルを前記出力ピクセルと同じアレーの中心位置に中心付けることにより、第１のフィルタの後の第２のフィルタの中心出力ピクセルを、前記出力ピクセルと同じ位相で位置決めする、請求項１に記載の方法。
【請求項３】
前記輝度復元フィルタを２×２または４×４または６×６のアレーサイズに適用する、請求項１または２に記載の方法。
【請求項４】
ローパスフィルタを４×４または６×６のアレーサイズに適用する、請求項４に記載の方法。
【請求項５】
前記輝度復元フィルタと前記ローパスフィルタとが１つのフィルタに組み合わされる、請求項４または５に記載の方法。
【請求項６】
前記カラー復元フィルタを３×３または５×５のアレーサイズに適用し、センサマトリクスが重い場合には、特に５×５のアレーサイズに適用する、請求項１から５のいずれか一項に記載の方法。
【請求項７】
偽カラーフィルタの後に、２×２アレーサイズのポストフィルタを適用することにより、所定の小さなグルーンピクセルアレーの中心出力ピクセルを、前記輝度復元フィルタが適用されたアレーと同じアレーに対して中心付けられるホワイトピクセルと同じ位相で位置決めする、請求項１４に記載の方法。
【請求項８】
前記輝度復元フィルタと同時に前記輪郭復元フィルタを適用し、その後、これらの復元された信号同士を足し合わせる、請求項１から７のいずれか一項に記載の方法。
【請求項９】
前記カラー復元フィルタが適用されるアレーのサイズを超えるアレーサイズに対して前記輪郭復元フィルタを適用する、請求項１から８のいずれか一項に記載の方法。
【請求項１０】
５×５のアレーサイズ、特に４×４または６×６のアレーサイズに対して前記輪郭復元フィルタを適用する、請求項１から９のいずれか一項に記載の方法。
【請求項１１】
特に、光ローパスフィルタリングが全く無い場合あるいは僅かしか無い場合に輝度復元フィルタを２×２のアレーサイズに適用することにより、および／または、光ローパスフィルタリングが更に重い場合に対応する輝度復元フィルタを更に大きい４×４または６×６のアレーサイズに適用することにより、電気器具のための様々な輝度復元フィルタを提供する、請求項１から１０のいずれか一項に記載の方法。
【請求項１２】
特に、４×４輝度復元フィルタの場合に３×３カラー復元フィルタを適用することにより、および／または、６×６輝度復元フィルタの場合に５×５カラー復元フィルタを適用することにより、電気器具のための様々なカラー復元フィルタを提供する、請求項１から１１のいずれか一項に記載の方法。
【請求項１３】
特に、３×３カラー復元フィルタの場合に４×４輪郭復元フィルタを適用することにより、または、５×５カラー復元フィルタの場合に６×６輪郭復元フィルタを適用することにより、電気器具のための様々な輪郭復元フィルタを提供する、請求項１から１２のいずれか一項に記載の方法。
【請求項１４】
３×３カラー復元フィルタを５×５輪郭復元フィルタと組み合わせて適用し、特に、その後、更なる処理のために、カラー復元された信号と輪郭復元された信号とを加える、請求項１から１３のいずれか一項に記載の方法。
【請求項１５】
特に請求項１から１６のいずれか一項に記載の方法を実行するようになっている信号処理装置であって、センサ信号を入力として供給するイメージセンサと、前記入力を復元して更なる処理のための出力を形成するフィルタとを備え、前記フィルタは、輝度復元フィルタ、レッド−グリーン−ブルーカラー復元フィルタ、輪郭復元フィルタから成るグループから選択される少なくとも１つの復元フィルタを備え、
前記入力が複数のピクセルを含み、１つのピクセルが、レッド、グリーン、または、ブルーのカラーのうちの少なくとも１つに対して割り当てられるカラー値を与える信号処理装置において、
前記復元フィルタは、多数のピクセルを含み且つ所定のアレーサイズを有するピクセルアレーに対して適用され、少なくとも１つのピクセルは、レッドのカラーに対して割り当てられたレッドピクセルによって形成され、少なくとも１つのピクセルは、ブルーのカラーに対して割り当てられたブルーピクセルによって形成され、少なくとも１つのピクセルは、グリーンのカラーに対して割り当てられたグリーンピクセルによって形成され、
前記レッドピクセルおよび／またはブルーピクセルをグリーンパラメータによって重み付けるための手段と、
前記アレーの複数のピクセルを１つの出力ピクセルにまとめるための手段と、
前記出力ピクセルを前記アレーに中心付けるための手段と、
前記輪郭復元フィルタとカラー復元フィルタとを平行に処理する手段と、
を更に備える、信号処理装置。
【請求項１６】
計算システム、特にカメラの計算システムによって読み取り可能な媒体上に記憶することができるコンピュータプログラムであって、計算システム上で実行される際、特に、カメラの計算システム上で実行される際に、請求項１から１６のいずれか一項に記載の方法を前記計算システムに実行させるソフトウェアコードセクションを含むコンピュータプログラム。
【請求項１７】
請求項１８に記載のコンピュータプログラムを実行しおよび／または記憶するための計算システムおよび／または半導体デバイス、特にカメラの計算システム。
【請求項１８】
光学系と、イメージセンサと、請求項１６に記載の装置または１９に記載の計算システムとを備えるカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イメージセンサのセンサ信号が入力として供給され、この入力がフィルタ内で復元されることにより、更なる処理のための出力が形成され、前記フィルタが、輝度復元フィルタ、レッド−グリーン−ブルーカラー復元フィルタ、輪郭復元フィルタから成るグループから選択される少なくとも１つの復元フィルタを備え、前記入力が複数のピクセルを含み、１つのピクセルが、レッド、グリーン、または、ブルーのカラーのうちの少なくとも１つに対して割り当てられるカラー値を与える信号処理方法に関する。また、本発明は、特に前記方法を実行するようになっている信号処理装置であって、センサ信号を入力として供給するイメージセンサと、前記入力を復元して更なる処理のための出力を形成するフィルタとを備え、前記フィルタは、輝度復元フィルタ、レッド−グリーン−ブルーカラー復元フィルタ、輪郭復元フィルタから成るグループから選択される少なくとも１つの復元フィルタを備え、前記入力が複数のピクセルを含み、１つのピクセルが、レッド、グリーン、または、ブルーのカラーのうちの少なくとも１つに対して割り当てられるカラー値を与える信号処理装置に関する。更に、本発明は、信号を処理するようになっているコンピュータプログラムプロダクト、コンピュータシステム、カメラに関する。
【背景技術】
【０００２】
基本的に例えばデジタル画像および静止画像のデジタル信号画像を検出するデジタルカメラには、１つのレッド−グリーン−ブルー（ＲＧＢ）バイエルカラーフィルタアレーを備える１つのイメージセンサが有利に設けられている場合がある。そのようなＲＧＢバイエルカラーフィルタアレーにおいて、各ピクセルは、レッド、グリーン、ブルーの原色を所定のパターンで検出する。このパターンは、グリーン／レッド縦列とグリーン／ブルー縦列とが交互に形成されて成る。そのようなセンサは、各原色毎に別個のイメージセンサを使用するカメラと比較して、解像度が制限される場合がある。しかしながら、３つのイメージセンサを有するカメラでは、解像度に寄与するピクセルの数が、１つのＲＧＢバイエルセンサの３倍もある。殆どの用途においては、３つのセンサを使用すると、用途のサイズ要件およびコストに起因して、不利となる。一方、１つのイメージセンサを使用して、１つのアレー内、好ましくはＲＧＢバイエルカラーフィルタアレー内の３つの全ての原色レッド、グリーン、ブルーを検出する場合には、特定のカラーの欠けているピクセルを復元して、一貫した全体画像を処理する必要がある。ＲＧＢバイエル構造に起因して、グリーン、レッド、ブルーの各カラーに関する異なるナイキスト領域により、解像度や、場合よってはエイリアシングパターンが、カラーに依存する結果となる。それにもかかわらず、ＲＧＢバイエル構造は、最もうまく実行できる信号カラーアレーのうちの１つである。
【０００３】
信号の質を高めるために、幾つかの内挿方式が与えられても良い。国際公開第９９／３９５０４号には、ある程度一般的な用語で、従来の内挿方法が記載されている。この内挿方法では、所定のカラーの信号が存在せず且つ所定のカラーの平均が形成される位置に中間カラー信号が挿入される。
【０００４】
更に別の信号処理方法は、国際公開第９９／０４５５５号および未公開の欧州特許出願（出願番号欧州特許第  ０１  ２００  ４２２．２号）に記載されるように、更に有利な内挿方式を使用する。しかしながら、そのような方法は、依然として、例えば自由な輝度信号のエイリアシングまたは更なる信号歪みを受ける。そのような信号歪みにより、特に、画像中に偽カラーが誤って形成されてしまう。
【０００５】
国際公開第９９／０４５５５号には、グリーンカラー復元のみに関するＲＧＢバイエルイメージセンサのためのグリーン復元方法が記載されている。従来の方法において、レッドおよびブルーのカラーは、復元されたままである。欠けているグリーンピクセルだけが復元される。欠けているグリーンピクセルの復元は、３つの特定の変数をソートするメジアンフィルタによって行なわれる。前記変数のうちの２つは、グリーンカラーから得られ、残りの１つは、レッドまたはブルーのカラーから得られる。この方法の欠点は、郵便切手の縁のように見える飽和度が高いカラーエッジアーチファクトが導入されるという点である。国際公開第９９／０４５５５号に開示されたアルゴリズムは、スマートグリーン１アルゴリズムと称される。このアルゴリズムは、解像度損失がホワイトシーン部分の近傍および僅かではあるがカラー部分の近傍において高周波で最も良く観察されるという考え方に基づいている。この考え方に留意して、欠けているグリーンピクセルの復元値の決定を助けるために、レッドピクセルおよびブルーピクセルの寄与度が使用される。スマートグリーン１復元の目的は、グリーンカラーの解像度を最大にすることである。このため、メジアンフィルタアルゴリズムが以下のように適用される。すなわち、必然的に、レッド（Ｒ）またはブルー（Ｂ）ピクセルによって占められる場所が、欠けているグリーンピクセルの場所となる。スマートグリーン１復元アルゴリズムにおいて、メジアン値とも称される３×３ピクセルアレーの中心値は、欠けているグリーンピクセルの復元のために利用される。その結果、グリーン用の簡単なメジアンフィルタが、グリーン復元の従来の内挿法的な考え方に取って代わる。これに対し、従来のレッドおよびブルーの復元方法は、簡単な内挿法のままである。また、輝度フィルタリング、カラーフィルタリング、輪郭フィルタリングも、グリーン用のフィルタリングに制限される。また、偽カラー検出は、単に、グリーン復元の従来の内挿法的な考え方に基づいており、また、従来のレッドおよびブルーの復元は、簡単な内挿法のままである。
【０００６】
そのようなスマートグリーン１復元方法は、レッドおよび／またはブルーピクセルの情報の助けを借りて、グリーンピクセルの解像度を水平および垂直方向で高める。この従来の方法は、単に同じ場所からの異なるカラーのサンプルおよび同じカラーのサンプルといった隣り合うカラーサンプルに基づいて内挿されるカラーサンプルを挿入することに依存している。その結果、復元された信号は、レッドおよび／またはブルーのカラーエイリアシングによって損なわれる。垂直および水平なカラーエッジは、グリーン輝度変調を各方向で受け、それにより、郵便切手の縁に類似するようになる。
【０００７】
ここではスマートグリーン２複合アルゴリズムと称される欧州特許第０１２００４２２．２号に概説されるような更なる改良によれば、解像度を十分に高めることができたが、信号歪みおよび信号エイリアシングの前述した欠点を除去することができなかった。特に、エッジおよび高周波では、特定の信号歪み、例えば隣接するピクセルを有する交互のカラーが依然として見られる。アーチファクトのブラックドットおよびホワイトドットも誤って形成される。
【０００８】
カラー復元フィルタおよび輪郭復元フィルタの平行処理は、基本的に、国際公開第９９／０４５５４号によって既知である。しかしながら、この従来の考え方は、前述した欠点と同じ欠点が伴う。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
このような問題は、本発明が扱う問題であり、その目的は、信号の質が向上されるように、信号処理方法および信号処理装置の仕様を定めることであり、また、信号処理のためのコンピュータプログラムプロダクト、計算システム、および、信号処理に適合するカメラの仕様を定めることである。特に、信号歪みおよびエイリアシングに関して信号が向上されなければならないが、また、信号は、十分な解像度を与えなければならない。
【課題を解決するための手段】
【００１０】
方法に関して、前記目的は、序文に記載された方法によって達成される。本発明において、方法は、
−  多数のピクセルを備え且つ所定のアレーサイズを有するピクセルアレーに対して輝度復元フィルタを適用するステップであって、少なくとも１つのピクセルは、レッドのカラーに対して割り当てられたレッドピクセルによって形成され、少なくとも１つのピクセルは、ブルーのカラーに対して割り当てられたブルーピクセルによって形成され、少なくとも１つのピクセルは、グリーンのカラーに対して割り当てられたグリーンピクセルによって形成されるステップと、
−  レッドピクセルおよび／またはブルーピクセルをグリーンパラメータによって重み付けるステップと、
−  アレーの複数のピクセルを１つの出力ピクセルにまとめるステップと、
−  出力ピクセルをアレーに中心付けるステップと、
−  カラー復元フィルタと同時に輪郭復元フィルタを適用するステップと、
を更に含んでいる。
【００１１】
装置に関して、前記目的は、序文に記載された装置によって達成される。本発明において、
−  前記復元フィルタは、多数のピクセルを備え且つ所定のアレーサイズを有するピクセルアレーに対して適用されるようになっており、少なくとも１つのピクセルは、レッドのカラーに対して割り当てられたレッドピクセルによって形成され、少なくとも１つのピクセルは、ブルーのカラーに対して割り当てられたブルーピクセルによって形成され、少なくとも１つのピクセルは、グリーンのカラーに対して割り当てられたグリーンピクセルによって形成され、
前記装置は、
−  レッドピクセルおよび／またはブルーピクセルをグリーンパラメータによって重み付けるための手段と、
−  アレーの複数のピクセルを１つの出力ピクセルにまとめるための手段と、
−  出力ピクセルをアレーに中心付けるための手段と、
−  カラー復元と輪郭復元とを平行に処理する手段と、
を更に備えることが提案される。
【００１２】
ここで使用される用語ピクセルとは、特に、信号中のカラーサンプルの値のことである。
【００１３】
本発明は、画像の復元を自由度をもって設計するというコンセプトを与えるための発想から生じている。主な考え方は、ホワイト補正される輝度復元に基づいて復元の概念を提供することである。この発想は、基本的に、カラー復元と輪郭復元とを平行（同時）に処理することによって実現される。グリーンパラメータを用いてレッドおよび／またはブルーピクセルを重み付けることも主な改善である。これに対し、従来の考え方は、単に、欠けているグリーンピクセルの復元に依存している。提案された復元フィルタは、所定のアレーサイズのピクセルアレーに適用されるように設計される。その結果、このアレー上において有利な方法でフィルタリングが行なわれる。これに対し、従来の方法は、隣接するサンプルまたは同じ場所のサンプルに基づいた簡単な内挿法に依存しており、提案された考え方は、アレーの全てのピクセルを考慮に入れる明確に適応された復元フィルタを提供する。
【００１４】
バイエルイメージセンサにおける平行輪郭処理により、イメージセンサからのグリーン信号を使用して、ＲＧＢカラー復元と同時に二次元輪郭信号を形成することができる。シリアル輪郭処理の場合と同様に、余計な横列の遅延が必要ないため有利である。更なる利点は、詳細な説明の第２章に記載されている。
【００１５】
更なる構成においては、特に輝度復元フィルタと平行（同時）に輪郭復元フィルタが適用され、それらの復元信号同士が加えられることが有益である。輪郭復元フィルタは、５×５のアレーサイズに対して有利に適用され、特に４×４または６×６のアレーサイズに対して適用される。提案された方法により、レッド、グリーン、ブルー復元フィルタの伝達が有利にマッチングされ、これにより、従来のフィルタの場合と同様に、更に高いダイアゴナル周波数で緑がかった干渉が殆ど起きず或いは全く起きない。フィルタは、郵便切手の縁のようなアーチファクトが無く、カラーエッジおよび輝度エッジも無い。また、形成された全ての輝度信号は、フィルタ重みと組み合わされた所謂輝度ホワイト補正により、エイリアシングおよび歪みが無い。
【００１６】
提案された方法は、カメラの光学的伝達に応じて選択されても良い幾つかのエイリアシングが無い輪郭フィルタを適用する可能性を与える。特に、輪郭復元フィルタが適用されるアレーサイズは、カラー復元フィルタが適用されるアレーサイズを超える。輪郭復元フィルタは、４×４または６×６のアレーサイズに対して適用されることが有益である。
【００１７】
更に好ましい構成においては、復元フィルタが輝度復元フィルタであり、アレーの複数のピクセルは、１つのホワイトピクセル内で互いに加えられて出力ピクセルとなる。イメージセンサのセンサマトリクスに基づいてグリーンパラメータまたは多くのグリーンパラメータが選択されることが最も好ましい。また、グリーンパラメータまたは多くのグリーンパラメータは、画像信号をイメージセンサに対して供給する光学系の光学的伝達に基づいて選択されても良い。これにより、ＲＧＢカラー信号は、カメラの光学的伝達とセンサマトリクスの重みとの組み合わせに応じて選択できるフィルタ重みを用いて有利に復元される。２つのグリーンパラメータが与えられることが最も好ましい。
【００１８】
１または複数の好ましい構成に関して前述した輝度復元の基本的な考え方は、以下においては、ＲＧＢバイエルイメージセンサのための「ホワイト補正された輝度復元」と称され、または、単に「ＲＧＢ復元」と称される。また、グリーンパラメータは、「スマートグリーンパラメータ」とも称される。提案された方法およびその更に発展した構成によって規定されるようにレッドピクセルおよび／またはブルーピクセルと共にスマートグリーンパラメータを使用することは、「スマートグリーン３」復元方法と称される。また、グリーンパラメータを決定する特定の方法は、国際公開第９９／０４５５５号および欧州特許第０１２００４２２．２号に記載されており、また、スマートグリーン３においても同様に適用されて使用されても良い。
【００１９】
提案された方法の特定の種類のフィルタ配置およびフィルタサイズにより、エイリアシングが無い信号が得られ、特に、グリーン同士の間の差が無くなる。この詳細については、好ましい実施形態に関する詳細な説明の第２章および第３章において図面を参照しつつ概説する。
【００２０】
提案されたホワイト補正という考え方により、サンプル周波数の倍数であっても、また、光ローパスフィルタが無いカメラの場合でも、エイリアシングが無い輝度信号が有利に得られる。更に、このホワイト補正された輝度信号は、信号歪みが無い。提案された基本的な方法および装置は、幅のある自由度を有する広がりを与えるようになっている。例えば光学系の光学的伝達および／またはイメージセンサのセンサマトリクスに応じて選択され且つ調整されても良い様々な幾つかの復元フィルタを提供することができる。提案された方法および装置は、光ローパスフィルタの独立性をかなり維持することができる。これは、見込み客のカメラ設計が異なる場合がある時に特に有利である。以下に概説するように、提案された方法および装置は、調整可能な偽カラーフィルタを様々な方法で且つ簡単な方法で実施することができる。
【００２１】
更に発展した方法の構成は、方法の従属請求項に記載されている。提案された装置は、方法を実行するための各手段によって改良されても良い。
【００２２】
特に、第１のフィルタの後の第２のフィルタの中心出力ピクセルが、出力ピクセルと同じ位相で位置決めされ、特に、前記中心出力ピクセルが前記出力ピクセルと同じアレーの中心位置に中心付けられることが好ましい。これについては更に後述する
具体的には、輝度復元フィルタは、２×２または４×４または６×６または好ましい場合にはこれよりも更に大きいアレーサイズを有するアレーのピクセルに適用される。特定の好ましい構成において、輝度復元フィルタは、２×２または４×４のアレーサイズに適用される。フィルタサイズは、光学的伝達に応じて選択されても良い。また、各フィルタの重みは、別々に選択されても良い。
【００２３】
また、ローパス輝度信号は、４×４または６×６の各アレーサイズに適用されるローパスフィルタによって有利に形成されても良い。有利な構成においては、４×４または６×６のローパスフィルタが２×２または４×４の輝度復元フィルタとそれぞれ組み合わされて、１つのフィルタが形成される。その結果として得られる信号は、いずれも、センサによって生じるグリーン不均一性アーチファクトを伴わない。輝度復元フィルタの更なる詳細は、詳細な説明およびこの出願と同じ日に提出された、国内のファイル番号がＩＤ６０６６３８−Ｉである特許出願から得られても良い。なお、前記特許出願の内容は、これを参照することにより本願に組み込まれる。
【００２４】
それにもかかわらず、光学的伝達およびマトリクスに応じて、復元されたＲＧＢ信号は、ナイキストの法則に基づき、残存するカラーエイリアシングを伴う。残存するエイリアシングを更に減らすため、輝度復元フィルタに加えて、カラー復元フィルタが適用されても良い。したがって、特に、入力からの偽カラーを排除するために、カラー復元フィルタが偽カラーフィルタを備えている。
【００２５】
本発明によって提案されているように、また、既に述べたように、輪郭復元フィルタは、カラー復元フィルタと同時に適用される。
【００２６】
偽カラーフィルタは、グリーンピクセルから成る最も小さいアレーに対して適用されることが好ましい。具体的には、偽カラーフィルタは複数のステップを備え、これらのステップにおいて、グリーンピクセルから成る最も小さいアレーにおけるレッドおよびブルーピクセルは、グリーンパラメータによって重み付けられるとともに、重み付けられたレッドおよびブルーピクセルは、アレー内の１または複数のグリーンピクセルの平均とメジアンフィルタとによってまとめられる。アレー内の１または複数のグリーンピクセルの平均は、平均フィルタを適用することによって得られても良い。特に、垂直方向のグリーンピクセルの平均および水平方向のグリーンピクセルの平均が得られても良い。メジアンフィルタ処理されたピクセルは、グリーンピクセルから成る最も小さいアレーの低周波フィルタ処理されたピクセルと比較され、これにより、入力から偽カラーが排除される。
【００２７】
そのような手法によれば、偽カラーフィルタを調整可能にすることができ、有益であり、特にカラー復元フィルタおよび／または偽カラーフィルタは、好ましくは３×３のアレーサイズを有する最小のグリーピクセルアレーに対して適用される。更に、必要に応じて、そのような所定の小さいアレーは、５×５サイズまたはそれ以上のサイズを有していても良い。そのような調整は、光ローパスフィルタとは無関係である。しかしながら、そのようなアレーは、２つのグリーピクセルと１つのレッドピクセルと１つのブルーピクセルとを含む少なくとも４つのピクセルを備えていなければならない。
【００２８】
適用されるカラー復元フィルタは、３×３または５×５のアレーサイズを有していることが好ましい。特に、センサマトリクスが重い場合には、５×５のアレーサイズが好ましい。
【００２９】
また、グリーン、レッド、ブルーのカラー復元、すなわち、ＲＧＢ復元は、３×３グリーン偽カラーアレーと無関係である。ＲＧＢ復元フィルタは、３×３または５×５のサイズを有していても良い。偽カラー機能が復元機能と完全に無関係であるという点は、提案された方法の特有の利点である。
【００３０】
具体的には、偽カラーフィルタ内でのみカラー復元フィルタにおいて１個、あるいは、幾つかの数のグリーンパラメータが使用されても良い。
【００３１】
また、カラー復元フィルタは、３×３のアレーサイズに対して適用されても良く、特に、センサマトリクスが重い場合には、５×５のアレーサイズに対して適用されても良い。対応するフィルタ関数の係数は、光学的伝達およびマトリクスに応じて選択されても良い。特に、これは、この出願と同じ日に提出された、国内のファイル番号がＩＤ６０６６３８−Ｉである特許出願の詳細な説明の第４章において説明されている。なお、この特許出願の内容は、これを参照することにより本願に組み込まれる。そのような方法は、平均的なシーンにおいては最も重要なアイ・キャッチャのように見えるホワイトに近いカラーにおいて解像度を最大にする。特に、信号の歪みの大きさを最小限に抑えつつ、十分な解像度が与えられる。
【００３２】
３×３および５×５のＲＧＢカラー復元フィルタの係数を規定するための規則は、この出願と同じ日に提出された、国内のファイル番号がＩＤ５０５５３８−ＩＩである特許出願の特に好ましい実施形態において説明されている。なお、この特許出願の内容は、これを参照することにより本願に組み込まれる。
【００３３】
更なる好ましい構成においては、その出力を前回適用された復元フィルタの出力に合った位相に維持するために、ポストフィルタが適用される。ポストフィルタは、偽カラーフィルタの後に適用されることが有益である。すなわち、ポストフィルタは、ＲＧＢ復元フィルタの後、偽カラーフィルタの出力に対して適用される。また、復元フィルタは輝度フィルタであっても良い。具体的には、偽カラーフィルタの後に、最小のグリーンピクセルアレーの中心出力ピクセルをホワイトピクセルと同じ位相に位置決めする２×２のアレーサイズのポストフィルタを適用することにより、位相が固定される。ホワイトピクセル自体は、輝度復元フィルタが適用されたアレーと同じアレーに対して中心付けられる。特に、信号は、３×３または５×５アレーサイズに基づいてＲＧＢ復元されても良く、また、２×２ポストフィルタに起因して、ホワイト補正された輝度信号と同じ位相をとる。偽カラーフィルタが位相に影響を与えないという点は、この構成の特有の利点である。また、ポストフィルタは、イメージセンサのグリーンの不均一性を有利に除去する。偽カラーフィルタの好ましい実施形態およびポストフィルタリングの特定の方法は、国内のファイル番号がＩＤ６０６６３８−ＩＩである前述した特許出願から得られても良い。
【００３４】
また、別の方法として、詳細な説明の第５章に記載されるスマートグリーン４復元方法と称される更に好ましい実施形態においては、３×３または５×５ＲＧＢカラー復元フィルタの使用に関し、ポストフィルタが省かれても良い。これにより、処理を簡単且つ効率的に行なうことができ、したがって、低コストの用途において有利である。
【００３５】
また、全ＲＧＢ伝達とできる限り等しい伝達特性を有するローパス輝度信号が実現されることが有益である。４×４または６×６ローパス輝度フィルタと３×３または５×５グリーン復元フィルタとのマッチングは、２×２ポストフィルタによって達成されることが好ましい。
【００３６】
更に好ましい構成においては、画像信号をイメージセンサに供給する光学系の光学的伝達に応じて、高周波輝度フィルタが適用される。これにより、高周波エイリアシングが無い輝度成分を低周波復元カラー信号に加えて、カラーアーチファクトを覆い隠すことができる。対応する好ましい実施形態は、図面の図２に関連する詳細な説明に記載されている。
【００３７】
提案された方法は、カメラの光学的伝達が適切なフィルタの用途を制限しないようになっている。すなわち、顧客の用途だけに応じて任意の光ローパスフィルタが有利に適用されても良い。光ローパスフィルタを全く適用しないことも考えられる。特に、これは、特にカメラの光学的伝達またはセンサマトリクスとは無関係に調整可能な提案された偽カラーフィルタの電気器具によって実現される。特に、ピクセル周波数の半分のカメラの光学的伝達に応じて、偽カラーフィルタを調整することができる。
【００３８】
また、電気器具のために様々な輝度復元フィルタが提供される。特に、輝度復元フィルタは、光ローパスフィルタリングが全く無く或いは僅かしか無い場合、２×２のアレーサイズに適用される。更に、各輝度復元フィルタは、光ローパスフィルタリングが更に重い場合、更に大きい４×４または６×６のアレーサイズに適用される。
【００３９】
また、電気器具のために様々なカラー復元フィルタが提供される。特に、２×２輝度復元フィルタの場合には３×３カラー復元フィルタが適用され、あるいは、４×４輝度復元フィルタの場合には５×５カラー復元フィルタが適用される。
【００４０】
また、電気器具のために様々な輪郭復元フィルタが提供される。特に、３×３カラー復元フィルタの場合には４×４輪郭復元フィルタが適用され、また、５×５カラー復元フィルタの場合には６×６輪郭復元フィルタが適用される。提案された方法によれば、光学系、例えばカメラまたはセンサマトリクスの光学的伝達に応じて調整可能な復元フィルタの電気器具が可能となる。したがって、選択されたカラー復元フィルタに応じて、出力は殆どアーチファクトを伴わず或いは全く伴わない。更なる利点は、センサによって生じるグリーンの不均一性が減少するという点である。グリーン同士の間の差を伴うのは、主に５×５グリーン復元フィルタである。特に、２×２ポストフィルタと組み合わされる３×３グリーン復元フィルタを用いることにより、そのようなグリーンの不均一性が除去され或いは減少される。
【００４１】
提案された方法の好ましい派生形は、特に興味深く、低コストの用途において専用のものである。既に前述したように、スマートグリーン４は、３×３カラー復元フィルタの電気器具と５×５輪郭復元フィルタとを組み合わせる。特に、その後、更なる処理のため、カラー復元された信号と輪郭復元された信号とが加えられる。スマートグリーン４は、電力消費量を有利に低減し、ハードウェアを有利に最小にする。また、詳細は、詳細な説明の第５章に記載されている。
【００４２】
特定の好ましい有利な構成として、先に提案されたようなスマートグリーンのホワイト補正輝度復元手法は、固有の５×５のエイリアシングおよび歪みが無い輪郭復元フィルタと組み合わされても良い。輪郭復元フィルタは、カラー復元フィルタと平行で実行されても良い。そのような組み合わせによれば、従来のフィルタ手法に比べてアーチファクトが大幅に減少される。そのような復元手法は、６×６フィルタアレーの使用に基づくことが最も有益である。また、そのような復元手法は、前述した固有の５×５のエイリアシングが無い輪郭復元フィルタと同じ性能を有するアレーに基づいて、エイリアシングおよび歪みが無い幾つかの平行輪郭信号を含んでいても良い。
【００４３】
前述した一連の処理全体、すなわち、ＲＧＢ復元は、特に、
−  位相マッチングのためのポストフィルタの導入
−  輝度信号処理
−  偽カラーフィルタおよび特に更なるポストフィルタの導入を含むカラー復元信号処理、これと平行に行なう、
−  輪郭信号処理
を含んでいる。
【００４４】
信号歪みの大きさは、極めて低いレベルに制限される。
【００４５】
また、これは、最終的なＪＰＥＧ変換に有効である。好ましい構成においては、提案された方法にしたがってスマートグリーン３復元アルゴリズムを実行するために、縦列と同様に横列方向処理も行なわれる。そのような処理は、内部メモリの量および外部メモリとの間でのデータスワッピングの量を有利に減少させる。これは、処理効率および処理速度をサポートする。また、そのような手法は、全てのデータ伝達が９０°だけ回転される場合に有効である。
【００４６】
提案された方法は、先に提案した装置、特に計算システムおよび／または半導体デバイス上で有利に実行される。そのようなシステムは、イメージセンサと処理チップとの間に配置される中間メモリインタフェースを備えていることが有益である。これにより、フィルタ処理されるピクセルアレーの横列の長さおよび数がもはや制限されなくなり、有利であるとともに、無論、外部メモリとの間でのデータスワップの量によって処理時間が大きく遅れることはない。その結果、更にリアルタイムな処理が可能になる。計算システムは、任意の種類のプロセッサユニットであっても良く、あるいは、システムまたはコンピュータであっても良い。
【００４７】
また、リアルタイムな処理は、中間インタフェースとしてのメモリを全く要することなく行なわれることが好ましい。しかしながら、この場合、コスト的な理由により、利用可能な横列遅延の合計が特に２に制限されても良い。これにより、ＲＧＢ復元および輪郭信号における実現のために利用できる垂直タップは３つだけとなる。
【００４８】
また、本発明は、計算システムによって読み取り可能な媒体上に記憶することができるコンピュータプログラムであって、計算システム上で実行される際、特にカメラの計算システム上で実行される際に、上記提案された方法を計算システムに実行させるソフトウェアコードセクションを含むコンピュータプログラムに関する。
【発明を実施するための最良の形態】
【００４９】
添付図面を参照しつつ、本発明について説明する。詳細な説明は、本発明の好ましい実施形態と見なされるものについて明示して説明している。無論、本発明の思想から逸脱しない範囲で、形態または詳細な内容における様々な改良および変更を簡単に行なうことができることは言うまでもない。したがって、本発明は、ここで図示して説明した正にその形態や詳細な内容に限定されるものではなく、また、ここに開示され且つ以下の請求項において請求される本発明の全体よりも狭く解釈されるべきではない。更に、発明を開示する明細書本文、図面、請求項に記載された特徴は、単独または組み合わせと見なされる本発明にとって不可欠である。
【００５０】
図面に伴う詳細な説明は、以下の章においてなされる。
１．ホワイト補正された輝度の復元方法の処理フロー
２．ホワイト補正された輝度信号
３．ＲＧＢカラー復元
４．平行なエイリアシングが無い輪郭フィルタリング
５．スマートグリーン４
６．結論
【００５１】
図面における図は、本発明の好ましい実施形態を示している。
【００５２】
１．ホワイト補正された輝度の復元方法の処理フロー
図１には、中央バスおよび外部メモリインタフェースを有する集積回路の一般的な構造（アーキテクチャ）の一部が示されている。外部メモリには、中央バスを介して、センサ信号が与えられる。ＲＧＢカラー復元および平行輪郭復元を実現するため、センサデータは、外部メモリから、中央バスを介して、前記復元に向けて回収される。復元後、データは、処理ブロックへと直接に送られ、あるいは、外部メモリへと送り戻される。
【００５３】
処理ブロックは、多かれ少なかれ、マトリクス、ホワイトバランス、ニー、ガンマとして、規格化されたカメラ機能を有している。静止画像またはビデオデータに関して速い実行時間を得るためには、メモリとの間での時間のかかるデータスワップの量を制限しなければならないため、復元されたデータを処理ブロックへと直接に送ることは、重要な問題である。
【００５４】
図２には、提案された方法の好ましい実施形態の更に詳細なブロック図が示されている。以下、この方法を、「スマートグリーン３」信号復元と称する。センサデータは、中央バスを介して、小さいパケットで外部メモリから、復元ブロック内の小さい内部メモリアレーへと送られる。一例として１つの信号（１６ビット）と６４個の水平ピクセル×６個の垂直ピクセル（７６８バイト）とを含む図２におけるこの［１Ｓ×６４Ｈ×６Ｖ］アレーから、未加工のセンサデータを無作為に回収して、復元を行なうことができる。特に、（６４−２×ｈｏ）ピクセルの倍数単位で横列のセンサデータを処理することができる。ここで、ｈｏは、フィルタアレーの水平オフセットである。ｎ×ｍ復元アレー（「ｎ」は水平ピクセルであり、「ｍ」は垂直ピクセルである）において、オフセットは、ｈｏ＝ｎ  ｄｉｖ  ２である。「ｄｉｖ」は、最も近い整数へと０に向かって切り捨てることを意味している。したがって、ｎ＝３の場合には、ｈｏ＝１であり、ｎ＝４またはｎ＝５の場合には、ｈｏ＝２であり、ｎ＝６の場合には、ｈｏ＝３である。復元できる最初のピクセルは、位置（１＋ｈｏ）にあり、最後のピクセルは、位置（Ｎ−ｈｏ）にある。ここで、Ｎは、センサ横列内のピクセルの総数である。センサ横列の全てを復元するには、Ｎ／（６４−２×ｈｏ）個のパッケージを復元ブロックへと送る必要がある。図２の下側の部分においては、未加工のセンサデータを用いてＲＧＢカラー信号が復元される。（低）周波数伝達は、フィルタの重みの選択により、カメラの光学的伝達によって決まる。また、偽カラーキラーおよび２×２ポストフィルタが使用されるか否かも、光学的伝達によって決まる。図２の上側部分においては、ＲピクセルおよびＢピクセルがスマートグリーンパラメータを用いて乗じられる。スマートグリーンパラメータは、例えば、国際公開第９９／０４５５５号または欧州特許第  ０１  ２００  ４２２．２号に開示された方法にしたがって回収されても良い。この特定の信号を用いて、エイリアシングが無い３つの輝度信号、すなわち、輪郭信号、ホワイト補正された輝度信号Ｙｎ、低周波輝度信号Ｙｌｆが復元される。後者は、復元されたＲＧＢ信号とほぼ同じ伝達特性を有している。ホワイト補正された輝度信号Ｙｎから低周波信号Ｙｌｆを差し引くことにより、高周波輝度成分、すなわち、（Ｙｎ−Ｙｌｆ）が形成される。好ましい実施形態においては、高周波で望ましくない偽カラーを防止するため、（Ｙｎ−Ｙｌｆ）信号が、できれば、各色信号に対して早期に加えられるべきではなく、処理ブロックでのマトリクス機能およびホワイトバランス機能の後に加えられるべきであるという事実を認識することが重要である。全く同じことが輪郭信号においても言える。前述した望ましくない偽カラーを防止することが、復元ブロックの総出力が４つまたは３つの信号から成る理由である。これは、最も早い想定される実行時間に加え、全ての信号を処理ブロックに対して直接に送ることが好ましい第２の理由である。第３の理由としては、２つの［４Ｓ×６４Ｈ×１Ｖ］内部メモリ（１つは、復元ブロックにおいて４つの信号を外部メモリに送るためのものであり、もう１つは、処理ブロックにおいてこ��らの信号を再び回収するためのものである）を不必要にすることを挙げることができる。［４Ｓ×６４Ｈ×１Ｖ］内部メモリは、１つの垂直な横列の（６４−２×ｈｏ）個の水平ピクセルから成る４つ（１６ビット）の信号の記憶の略語であり、６４個のピクセルに対して概算する場合には、全部で６４０バイトを収容できる。
【００５５】
例えば、ＣＰＵを介した特定のソフトウェアによる時間のかかる復元および／または処理において、設計の自由度を最大にする必要がある場合には、２つの［４Ｓ×６４Ｈ×１Ｖ］内部メモリ（１つは、復元用であり、もう１つは、処理用である）が適用されなければならない。
【００５６】
図２の一番上では、低周波でのオーバーシュートおよびアンダーシュートを防止するオーバーシュート制御プロセッサにより、エイリアシングが無い輪郭が実現される。二次元ステップ一時信号を使用した二次元鮮明度の向上は、オーバーシュートを制御するのに適した二次元検出信号を実現することによって得られる。いわゆる、このステップ一時信号は、幾つかのオーバーシュート（およびアンダーシュート）制御方法において使用することができ、それにより、誇張された不自然に見えるオーバーシュートが無い、非常に魅力的な鮮明度の向上が得られる。内部［４Ｓ×６４Ｈ×１Ｖ］メモリに送られる１つの信号に対して、輪郭および（Ｙｎ−Ｙｌｆ）信号を加えることができる。
【００５７】
以下の章は、要約すると、以下のようになる。
【００５８】
第２章では、２×２および４×４のフィルタアレーを用いたエイリアシングが無い歪がゼロの輝度信号Ｙｎの実現について説明する。輝度復元フィルタの詳細は、この出願と同じ日に提出された、国内のファイル番号がＩＤ６０６６３８−Ｉである特許出願の詳細な説明の特に第２章において説明されている。なお、この特許出願の内容は、これを参照することにより本願に組み込まれる。また、第３章では、４×４および６×６のローパスフィルタアレーを用いた低周波輝度信号について説明する。偽カラーキラーを用いた或いは用いない低周波ＲＧＢ復元の実現についても更に説明する。カラー復元フィルタの詳細は、この出願と同じ日に提出された、国内のファイル番号がＩＤ６０６６３８−IIである特許出願の詳細な説明の特に第３章に開示されている。なお、この特許出願の内容は、これを参照することにより本願に組み込まれる。５×５のエイリアシングが無い輪郭フィルタの実現は第２章に記載されており、４×４および６×６のエイリアシングが無い輪郭信号は以下の第４章に記載されている。
【００５９】
この出願で提案された考え方およびここで説明されるフィルタは、光学的伝達およびセンサマトリクスに応じて、柔軟な方法で適合されても良い。また、これは、前述した国内のファイル番号がＩＤ６０６６３８−Ｉである特許出願の詳細な説明の第４章において説明されている。
【００６０】
２．ホワイト補正された輝度信号
ホワイト補正された輝度信号は、スマートグリーンパラメータの計算に基づいている。その例が国際公開第９９／０４５５５号および欧州特許第  ０１  ２００  ４２２．２号に示されている。ＳｍａｒｔＧｃｎｔｒｌＲおよびＳｍａｒｔＧｃｎｔｒｌＢパラメータはそれぞれ、ｗｂｒおよびｗｂｂと称される。図３は、レッドピクセルおよびブルーピクセルがスマートグリーンパラメータを用いて乗算される状態を示している。次に、４つのピクセルが一緒に加えられることにより、ホワイト補正された輝度ピクセルＹｎが得られる。ピクセルＹｎの中心は、Ｒピクセルが最初のピクセルであると見なすと、右側および下側にピクセルの半分だけシフトされている。その結果、復元されるべき他の全ての信号、すなわち、レッド−グリーン−ブルー−輪郭は、このＹｎ信号と同じ中心位置をとるようになる。
【００６１】
ホワイト補正された輝度信号Ｙｎの利点は、５×５のエイリアシングが無い輪郭信号の場合と全く同じである。ＲＧＢバイエルイメージセンサにおけるエイリアシングが無い輪郭信号は、光ローパスフィルタを必要とすることなく第１のＲＧＢサンプル周波数でスループットがゼロになる固有の５×５平行輪郭フィルタに基づいている。その信号の歪みは、ほぼゼロであり、その結果、目に見えるアーチファクトが無い輪郭信号が得られる。なお、従来から既知の輪郭フィルタは、センサのナイキスト領域の外側で、バックフォールドされた（ｂａｃｋ  ｆｏｌｄｅｄ）望ましくない周波数を増幅する。これにより、歪が生じ、その結果、画像中における望ましくないエイリアシング成分の視認性が良くなる。この固有の５×５輪郭フィルタは、これらのエイリアシングアーチファクトを防止するとともに、イメージセンサのグリーンチャンネルで生じるグリーン−グリーン間の差を排除する。特定の利点は以下の通りである。
【００６２】
１．ＯＬＰＦ（光ローパスフィルタ）を必要とすることなく、Ｙｎ信号は、第１のＲＧＢサンプル周波数でスループットがゼロになる。そのため、それらの点でエイリアシングが生じなくなる。第２の更に高いサンプル周波数の倍数では、スループットが低いが、レンズのローパスおよびセンサの変調伝達関数（ＭＴＦ）が有効となる。
【００６３】
２．信号歪みがほぼゼロであり、その結果、目に見えるアーチファクトが無い輝度信号Ｙｎが得られる。
【００６４】
以下では、２×２のホワイト補正された輝度フィルタが特に有利である理由について説明する。
【００６５】
１．イメージセンサの一連のＲＧＢバイエルカラー信号中の変調されたカラー情報を排除し、また、イメージセンサによって生じるグリーンの不均一性を排除するためには、２×２の単位行列（単位マトリクス）が必要とされる。イメージセンサによって生じるグリーン−グリーン間の差を排除する二次元平行輪郭フィルタを開発するための方法により、ＲＧＢバイエルイメージセンサの平行輪郭信号中のグリーンの不均一性を防止することができる。バイエルイメージセンサにおける平行輪郭処理により、イメージセンサからのグリーン信号を使用して、ＲＧＢカラー復元と並行して二次元輪郭信号を形成することができる。
【００６６】
利点は、シリアル輪郭処理と同様に、余計な横列の遅延が必要ないという点である。なお、どのようなＯＬＰＦ型が使用されたとしても、それが、大きな飽和したカラー領域内でこのカラー変調に影響を及ぼすことはなく、また、グリーンの不均一性に影響を及ぼすこともない。
【００６７】
２．スマートグリーンパラメータによる乗算は、マトリクスの効果を元に戻すために必要である。この場合、マトリクスの係数の合計は、前記単位行列（ｕｎｉｔｙ）に等しくなく、および／または、周囲のカラー温度の結果である。
【００６８】
これらは、スマートグリーンパラメータが計算される２つの理由である。これらのパラメータが単位行列でない場合、カラーセンサは、ブラック・ホワイトセンサとしての機能を果たさない。
【００６９】
２×２のホワイト補正された輝度信号Ｙｎの僅かな欠点は、光ローパスフィルタ（ＯＬＰＦ）が適用される際に解像度が減少するという点かもしれない。しかしながら、これは、Ｙｎを復元するための４×４フィルタを適用することにより補償することができる。ＯＬＰＦのローパス伝達の量に応じて、重みが大きいＹｎフィルタを選択することができる。図６の左側には、既に述べた２×２のＹｎフィルタが示されている。中央および右側には、２つの４×４Ｙｎフィルタが示されている。右側のフィルタが「最も重い」フィルタである。これらのフィルタは、ＯＬＰＦの伝達損失を補償する以外に、レンズの伝達損失を補償するために適用することもできる。
【００７０】
４×４のＹｎフィルタは、グリーンの均一性を回復させるとともに、カラー領域の変調を排除する。ＲＧＢバイエルイメージセンサの平行な輪郭信号中のグリーンの不均一性を防止することにより、グリーンの均一性を回復させることができる。この場合、グリーンの不均一性の防止は、イメージセンサによって生じるグリーン同士の間の差を排除する二次元平行輪郭フィルタを開発することにより行なうことができる。バイエルイメージセンサにおける平行輪郭処理により、イメージセンサからのグリーン信号を使用して、ＲＧＢカラー復元と同時に二次元輪郭信号を形成することができる。利点は、シリアル輪郭処理の場合と同様に、余計な横列の遅延が必要ないという点である。一般に、以下のことが言える。すなわち、隣の対角線のフィルタ係数を差し引きすることにより、寄与度がゼロになる。これにより、隣のグリーンピクセルのグリーン同士の間の差が平均化され、その結果、当該差が無くなる。
【００７１】
マイナスの係数を組み合わせると、常に２つのグリーンピクセルと１つのレッドピクセルと１つのブルーピクセルとを加える結果となり、また、カラー変調において伝達がゼロになるという利点が得られる。なお、光学的伝達全体と任意の４×４Ｙｎフィルタの重みとの組み合わせに応じて、最終的に望ましくないオーバーシュートおよびアンダーシュートが生じ得る。光学的伝達が分かっている場合にだけ、例えばゾーンプレートシーンをシューティングして処理することにより、係数の選択を行なうことができる。
【００７２】
３．ＲＧＢカラー復元
この好ましい実施形態において説明される復元方法は、任意の光ローパスフィルタ（ＯＬＰＦ）を有する或いはＯＬＰＦを全く有さないカメラに適している。適切なＯＬＰＦを選択することは、簡単なことではない。殆どの場合、それは、鮮明度の損失を伴ったり、一定の量のエイリアシングを許容しなければならない。無論、エイリアシングが全く無いことが好ましい。関連するパラメータは、以下の通りである。
１．レンズの光学的伝達；
２．感光パラメータを決定するピクセルマイクロレンズを含むセンサの変調伝達関数（ＭＴＦ）；
３．センサのカラーアレーによって決定されるセンサマトリクス。マトリクスの重みによって生じる余分な量のエイリアシングは、ＯＬＰＦ伝達の仕様に影響を与える；
４．所定の復元アルゴリズム。無論、これにより、特定の伝達特性が得られ、ＯＬＰＦによってエイリアシングを多かれ少なかれ減少させる必要性が生じる。
【００７３】
カメラにおけるこれら４つのパラメータのうちの１つが変更されると、ＯＬＰＦの適合を考えなければならなくなる。ここで、１つの問題が生じる。すなわち、通常、前述した４つの全てのパラメータを考慮することなく、ＯＬＰＦが定められるという問題である。したがって、好ましい実施形態においては、既存の或いは好ましいカメラ設計に関して、すなわち、光学素子（ｐｔ.１）およびセンサ（ｐｔ.２および３）に関して、ある程度の自由度（ｐｆ．４）を与える復元方法を予想することを試みる。特定のフィルタ重み、あるいは、偽カラーキラーを適用する可能性を選択することにより、復元フィルタの伝達を変えることができる。
【００７４】
第５章においては、３×３アレーを使用する特定の好ましいＲＧＢカラー復元フィルタについて説明する。また、この出願と同じ日に提出された、国内のファイル番号がＩＤ６０６６３８−ＩＩである特許出願の詳細な説明の第３．６章において説明されているように、ＲＧＢカラー復元フィルタにおいて５×５アレーが使用されても良い。なお、前記特許出願の内容は、これを参照することにより本願に組み込まれる。両方とも、偽カラーキラーを用いて（あるいは、用いないで）適用することができる。
【００７５】
４．平行なエイリアシングが無い輪郭フィルタリング
前述した固有の５×５のエイリアシングが無い輪郭フィルタと同様に、４×４および６×６のエイリアシングが無い輪郭フィルタは、光ローパス伝達とは無関係に、第１のＲＧＢサンプル周波数においてスループットがゼロになる。また、（Ｙｎ−Ｙｌｆ）信号においは、信号の歪みが殆どゼロである。このことは、イメージセンサのナイキスト領域の外側に望ましくない周波数のバックフォールディングが存在しないため、エイリアシングが無い輪郭信号が目に見えるアーチファクトを有さないことを意味している。これまで、固有の５×５のエイリアシングが無い輪郭フィルタはたった１つしか存在しないが、多くの４×４および６×６のエイリアシングが無い輪郭フィルタが考えられ、これらの全てのフィルタも同様にグリーンの不均一性を排除する。図５には３つの４×４輪郭フィルタが示されており、また、図６には３つの６×６輪郭フィルタが示されている。４×４フィルタは、高い周波数において、左から右に向かってスループットが増大する。図８には、上から下に向かって、図４の４×４フィルタの３つの伝達特性がそれぞれ示されている。図９には、図６の左側の６×６フィルタに対応する一番上の図から始まって、図６の６×６のフィルタの３つの異なる伝達特性がそれぞれ示されている。図６の真中の輪郭フィルタは、図６の左側および右側の輪郭フィルタと比べると、高い周波数において増幅度が小さい。このことは、図９からはっきりと分かる。
【００７６】
図６の６×６フィルタの上側および下側の横列を省くことにより、それぞれ６８，５２，８４のシグマ輪郭を持つ６×４フィルタが得られる。これに言及した理由は、６×４フィルタが４つの横列または６つの横列を用いたスマートグリーン３方法の可能性を与えるからである。意図的に、図５の最初の４×４フィルタは最初の（Ｙｎ−Ｙｌｆ）フィルタと全く同じ重みを有しており、同様に、図４６の最初の６×６フィルタは更なる（Ｙｎ−Ｙｌｆ）フィルタと同じである。この場合も同様に、（Ｙｎ−Ｙｌｆ）フィルタのフィルタ重みと輪郭フィルタのフィルタ重みとを組み合わせる可能性があり、それにより、スマートグリーン３方法の構成が更に簡単になる。そのようにする場合には、図７に示されるように、得られる輪郭信号の全てに関して或いはその一部に関して、コアリングまたは局部ノイズ低減（ＬＮＲ）またはオーバーシュート制御処理（ＯＣＰ）が行なわれても良い。破線の部分は、ＬＮＲおよびＯＣＰを伴わない輪郭信号の一部を（Ｙｎ−Ｙｌｆ）信号として適用できることを示している。性能の観点から、そのようにすることに対し異論はない。実証のため、輪郭信号をＯＦＦに切換えることができ、ＯＮに切換えると、そのパラメータを制御できる。このような可能性は、様々な用途に関して同じ利点を有する。図７のブロック図の唯一の欠点は、他の輪郭フィルタ伝達を試すと、（Ｙｎ−Ｙｌｆ）における場合と同様の結果になる点である。したがって、調整の利便性およびある程度の自由度を優先させるのであれば、代案として、（Ｙｎ−Ｙｌｆ）フィルタと輪郭フィルタとを組み合わせない方が好ましいかもしれない。
【００７７】
前述したように、（Ｙｎ−Ｙｌｆ）フィルタの選択はあまり重要ではない。したがって、（Ｙｎ−Ｙｌｆ）フィルタのフィルタ重みと輪郭フィルタの重みとを組み合わせて１つのフィルタを得る方法について説明することは意味を成さない。
【００７８】
輪郭フィルタのタイプの選択および輪郭の大きさの調整は、幾つかの画像を判断する際の個人的な好みによって決まる。与え得る唯一の指示は、３×３カラー復元が選択された時に４×４輪郭フィルタを適用し、５×５カラー復元の場合に６×６輪郭フィルタを適用することがむしろ論理的だということである。また、輪郭を加える一方で、カラーエッジの脱飽和に対して特定の注意を払わなければならない。
【００７９】
以下では、オーバーシュート制御処理（ＯＣＰ）および局部ノイズ低減（ＬＮＲ）としての２つの非常に高度な輪郭処理機能について説明する。ＯＣＰにおける一般的な手順では、例えばＴＶの用途で利用できるように連続輝度信号が使用されても良い。そのような手順においては、オーバーシュートの制御に適した二次元検出信号の実現により、次元ステップ過渡信号を使用する二次元鮮明度の向上が図られる。この所謂ステップ過渡信号は、幾つかのオーバーシュート制御方法およびアンダーシュート制御方法において使用でき、それにより、誇張された不自然に見えるオーバーシュートを伴うことなく、非常に魅力的な鮮明度の向上が成される。多重化されたＲＧ／ＲＢセンサにおいては、目に見えるアーチファクトを防止するというスマートグリーン３処理の最も重要な目的に対して特に注意を払わなければならない。ＬＮＲに関しては、非常に特有の二次元輪郭フィルタのための方法を適用することができる。そのような方法によれば、デジタル電子カメラにおいては、二次元標準偏差関数により鮮明度およびノイズの大きさを減少できる非常に特有の二次元輪郭フィルタを実現することで、局部ノイズが減少した輪郭が得られる。スマートグリーン３と共に適用され且つ目に見えるアーチファクトを防止する前述した任意の輪郭フィルタも考えられる。
【００８０】
この章では、スマートグリーン４と称されるスマートグリーン３の派生形について説明する。スマートグリーン４は、３×３カラー復元から成り、（Ｙｎ−Ｙｌｆ）信号を使用しないため、２つの考えられる輪郭フィルタ、すなわち、５×５または５×３輪郭フィルタのみを用いて適用されることが好ましい。スマートグリーン４は、低コストの用途において特に適している。
【００８１】
５．スマートグリーン４
一方で、詳細な説明の第３．１章で説明した３×３ＲＧＢ復元と組み合わせることにより、また、他方で、前述した５×５のエイリアシングが無い輪郭フィルタと組み合わせることにより、スマートグリーン１／２よりも優れ、非常に良い結果を伴う、非常に高速な処理方法が与えられる。
【００８２】
前述した固有の５×５平行輪郭フィルタは、光ローパスフィルタを必要とすることなく、第１のＲＧＢサンプル周波数でスループットがゼロになる。その信号歪みはほぼゼロであり、それにより、目に見えるアーチファクトが無い輪郭信号が得られる。これまでに知られた輪郭フィルタは、センサのナイキスト領域の外側でバックフォールドされた望ましくない周波数を増幅する。これにより、歪が生じ、その結果、画像中における望ましくないエイリアシング成分の視認性が良くなる。この固有の５×５輪郭フィルタは、これらのエイリアシングアーチファクトを防止するとともに、イメージセンサのグリーンチャンネルで生じるグリーン−グリーン間の差を排除する。
【００８３】
ＲＧＢカラー復元フィルタの伝達特性は、図１０および図１１に示されており、また、従来のフィルタのような３×３グリーン復元フィルタのための良好なマッチング特性を有している。左上角部には、フィルタの重みが表示されている。
【００８４】
２×２ポストフィルタはグリーン同士の間の差を排除するが、このグリーン復元フィルタも既にそれを行なう。イメージセンサによって生じるグリーン同士の間の差を排除する二次元平行輪郭フィルタを開発するための方法を適用することもできる。
【００８５】
一般に、「隣の対角線のフィルタ係数を差し引きすることにより、寄与度がゼロになる。これにより、グリーンピクセルのグリーン同士の間の差が平均化され、その結果、当該差が無くなる」。この法則の使用については、第２章におけるオワイト補正された輝度信号の説明でも述べた。
【００８６】
マッチングが良好なグリーンフィルタの利点は、以下の通りである。
−  マッチングが良好なグリーンフィルタは、更に高いダイアゴナル周波数において緑がかった干渉が殆ど生じない。
−  偽カラーキラーが殆ど生じない。
−  信号のエッジにアーチファクトが無い。
【００８７】
なお、スマートグリーン１／２復元方法との違いは、スマートグリーン３と同様に、スマートグリーン４がスマートグリーン信号をカラー信号として用いない点である。スマートグリーン信号は、図１３に示されるように、偽カラー検出器のためだけに使用される。下側画像部分におけるアーチファクトの欠如は、主に、グリーン伝達特性によって引き起こされる。ここで説明したフィルタは、従来の復元方法におけるフィルタよりもマッチングが良好である。これは、特に有利な違いであり、驚くべきことに、カラーエッジおよびブラック・ホワイトエッジにおいて完全な復元を行なう。これにより、図１０および図１１のグリーンフィルタの組み合わせが非常に独特になる。以下では、スマートグリーン４復元において３×３復元フィルタが適用される方法について説明する。
【００８８】
この方法は、スマートグリーン４と称され、復元方法およびグリーン同士の差を排除する方法の両方の前述した全ての利点を与える。この方法は、高速であるため、ビデオ信号復元に適用でき、または、用途に応じて静止画像にも適用できる。スマートグリーン３チップ構造においてこの固有の組み合わせの可能性を実施することは、興味深い選択肢である。また、例えばＣＭＯＳセンサの場合のように電力を下げ且つハードウェアを最小にすることが要求される専用の用途においては、この組み合わせが非常に有益な実施形態であると思われる。専用の高容量・低コストＣＭＯＳの用途においても同様に、外部メモリを避けるために所定の横列遅延を適用できる。図１２には、［１Ｓ×横列×４Ｖ］の内部メモリを用いた、すなわち、４つの専用の横列遅延を伴うそのような用途における基本的なブロック図が示されている。図１３には、復元の更に詳細な図が示されている。
【００８９】
偽カラー検出器は、スマートグリーン１信号を用いて作動するとともに、グリーンの存在のためおよびグリーンの不存在のためにそれぞれ適用される。グリーンが存在しない場合、検出器は、５×５アレーを使用してのみ適用されなければならない。したがって、ここでは中心横列だけのためのスマートグリーン１信号を使用する最も簡単な形態において選択された。横列遅延された４つの信号が、５×５のエイリアシングが無い輪郭復元フィルタに対して与えられる。実際のセンサ信号は、横列１のデータを含んでいる。局部ノイズ低減またはオーバーシュート制御は適用されなかったが、適用できることは言うまでもない。簡単なコアリング回路だけでノイズが低減する。
【００９０】
図１４の左上には、前述した処理の結果が示されている。擬似ゾーンプレートの４つの四分円の全てにおいて、同じ光ローパスフィルタおよびフィリップスＦＴ１９センサのマトリクスが適用された。
【００９１】
右上には、ゾーンプレートの５×５のエイリアシングが無い輪郭信号が示されている（０．７のゲインを使用）。図から分かるように、干渉が全く無い。
【００９２】
右下には、図１０および図１１のフィルタを使用した３×３ＲＧＢ復元が、非常に特有の５×３平行輪郭フィルタと組み合わされて示されている。この復元によれば、イメージセンサによって生じたグリーン同士の間の差が有利に排除される。また、更に価格を下げるためには、そのようなフィルタが非常に興味深い。これは、必要な横列遅延が４つではなく２つで済むからである。図示のように、性能はあまり良くない。垂直方向の損失に起因して鮮明度が非対称であり、また、干渉も多い。ＲＧＢサンプル周波数の近辺で更に多くの緑がかったエイリアシングが外側の左下角部に生じている。右下だけに、５×５のエイリアシングが無い輪郭と簡単に比較できる５×３輪郭信号が示されている（ゲイン１．０）。また、最も好ましいことに、マトリクス・ホワイトバランス処理後に輪郭信号がＲＧＢ信号に対して加えられた。
【００９３】
左側の処理結果においては、前述した偽カラーキラーが適用された。
【００９４】
図１４に示される５×５のエイリアシングが無い輪郭に関する上側および特有の５×３輪郭に関する下側の両方の用途は、スマートグリーン４処理方法として判断されるべきである。
【００９５】
６．結論
スマートグリーン３復元方法を用いると、スマートグリーン１方法およびスマートグリーン２方法と比べて、以下の特定の利点が得られる。
【００９６】
・設計に自由度がある。センサマトリクスの重さに応じて、２つのカラー復元フィルタ間で選択を行なうことができる。その結果、（ローパス）輝度フィルタは、所定のアプリケーション仕様となり得る。カメラの光学的伝達に応じて、幾つかの高周波輝度フィルタを選択して調整することができる。
【００９７】
・偽カラーキラーが必要とされる場合、選択されたカラー復元に応じて、偽カラーキラーは目に見えるアーチファクト（ブラックドットおよびホワイトドット）を殆ど伴わず或いは全く伴わない。その理由は、スマートグリーン１またはスマートグリーン２を用いた場合よりも強いローパスフィルタ処理されたカラー復元が使用されるからである。
【００９８】
・スマートグリーン復元により、アーチファクトが全く存在しない。それは簡単な理由である。すなわち、スマートグリーン概念が、偽カラー検出のためだけに使用され、カラー信号として使用されないからである。解像度の損失を補償するため、高周波輝度信号が形成される。
【００９９】
・選択されたカラー復元に応じて、バックフォールディングカラーエイリアシングの帯域幅は、スマートグリーン１およびスマートグリーン２を用いた場合よりも小さい。
【０１００】
・スマートグリーン１およびスマートグリーン２フィルタの場合と同様に更に高いダイアゴナル周波数で緑がかった干渉が殆ど生じない或いは全く生じないような場合には、レッド、グリーン、ブルー復元フィルタの伝達は一致される。
【０１０１】
・カラー復元フィルタは、カラーエッジおよび輝度エッジに、郵便切手の縁のようなアーチファクトが無い。
【０１０２】
・形成された全ての輝度信号は、いわゆる輝度ホワイト補正とフィルタ重みとの組み合わせにより、エイリアシングおよび歪みが無い。
【０１０３】
・スマートグリーン３は、カメラの光学的伝達に応じて選択できる幾つかのエイリアシングが無い輪郭フィルタを与える。
【０１０４】
・ここに示されたスマートグリーン３構造の全てのフィルタは、センサによって生じるグリーンの不均一性を排除する。５×５グリーン復元フィルタは、最終的に、２×２ポストフィルタを用いてそれを行なう。
【０１０５】
要約すると、スマートグリーン３は、その自由度のおかげで、また、信号の歪みおよびその随意的な偽カラーキラーが無いことにより、デジタル静止画像の復元および処理、並びに、バイエルカラーフィルタアレーを有するセンサの隣接するビデオピクセルの復元および処理に良く適している。
【０１０６】
スマートグリーン３の興味深い派生形がスマートグリーン４である。電力消費量を下げ且つハードウェアを最小にすることにより、スマートグリーン４は専用の静止画像用途およびビデオ画像用途に適する。
【図面の簡単な説明】
【０１０７】
【図１】メモリに基づく構造におけるＲＧＢ復元および輪郭復元の配置。
【図２】スマートグリーン３復元の基本的なブロック図（スマートグリーンパラメータを用いたＲカラーとＢカラーとの乗算に関するブロックへの特定の情報は、国際公開第９９／０４５５５号から得られる）。
【図３】ホワイト補正された輝度ピクセルＹｎの実現。
【図４】幾つかのホワイト補正された輝度復元フィルタ（図３および図４は、グリーン同士の間の差が都合良く存在しない好ましい実施形態のホワイト補正された輝度信号を示している。グリーン同士の差は、ラプラシアン（すなわち、スマートグリーン）ＲＧＢ復元方法のメンテナンスをもって且つ目に見える解像度の損失が無くセンサのグリーン信号のグリーン同士の差を排除できるバイエルイメージのグリーン均一性の回復により除去されても良い。また、グリーン同士の差は、ＲＧＢバイエルイメージセンサの平行な輪郭信号におけるグリーン不均一性を防止することにより除去されても良い。これは、イメージセンサによって生じるグリーン同士の差を排除する二次元平行輪郭フィルタを開発することにより行なわれても良い）。
【図５】３つの４×４輪郭フィルタ。
【図６】３つの６×６輪郭フィルタ。
【図７】１つの輪郭フィルタの使用による図２のスマートグリーン３ブロック図の簡略化。
【図８】図５の３つの４×４輪郭フィルタの伝達特性。
【図９】図６の３つの６×６輪郭フィルタの伝達特性（図５〜図９は、エイリアシングが無い平行輪郭信号を供給できる好ましい実施形態を示している。これは、バイエルイメージセンサにおける平行カラー・輪郭処理によって達成されても良い。バイエルイメージセンサにおける平行輪郭処理により、イメージセンサからのグリーン信号を使用して、ＲＧＢカラー復元と同時に二次元輪郭信号を形成することができる。利点は、シリアル輪郭処理の場合と同様に、余計な横列の遅延が必要ないという点である。ＲＧＢバイエルイメージセンサにおけるエイリアシングが無い輪郭処理は、固有の５×５平行輪郭フィルタに基づいており、光ローパスフィルタを必要とすることなく第１のＲＧＢサンプル周波数でスループットがゼロになる。その信号の歪みは、ほぼゼロであり、その結果、目に見えるアーチファクトが無い輪郭信号が得られる。なお、従来から既知の輪郭フィルタは、センサのナイキスト領域の外側で、バックフォールドされた（ｂａｃｋ  ｆｏｌｄｅｄ）望ましくない周波数を増幅する。これにより、歪が生じ、その結果、画像中における望ましくないエイリアシング成分の視認性が良くなる。この固有の５×５輪郭フィルタは、これらのエイリアシングアーチファクトを防止するとともに、イメージセンサのグリーンチャンネルで生じるグリーン−グリーン間の差を排除する。）。
【図１０】中心グリーンが存在する場合における３×３グリーン復元。
【図１１】中心グリーンが存在しない場合における３×３グリーン復元伝達。図１０および図１１は好ましい実施形態を示している。
【図１２】スマートグリーン４復元の基本的なブロック図。
【図１３】５×５のエイリアシングが無い輪郭復元と組み合わされた３×３ＲＧＢ復元を示すスマートグリーン４の詳細。
【図１４】左上：５×５のエイリアシングが無い輪郭フィルタを用いた３×３ＲＧＢ復元、右上：エイリアシングが無い輪郭フィルタのみ、左下：５×３輪郭フィルタを用いた３×３ＲＧＢ復元、右下：５×５輪郭フィルタのみ。図１２〜図１４は、好ましい実施形態、すなわち、図１０および図１１に示されるスマートグリーン３の３×３および５×５フィルタ重みを用いたスマートグリーン４方法を示している。この場合、２×２ポストフィルタは不要である。
【図１】
2005532002.tif 000003
【図２】
2005532002.tif 000004
【図３】
2005532002.tif 000005
【図４】
2005532002.tif 000006
【図５】
2005532002.tif 000007
【図６】
2005532002.tif 000008
【図７】
2005532002.tif 000009
【図８】
2005532002.tif 000010
【図９】
2005532002.tif 000011
【図１０】
2005532002.tif 000012
【図１１】
2005532002.tif 000013
【図１２】
2005532002.tif 000014
【図１３】
2005532002.tif 000015
【図１４】
2005532002.tif 000016
【国際調査報告】
2005532002.tif 000017
2005532002.tif 000018