(57)【要約】離散画像センシング素子の二次元アレイ（特に、いわゆる「Ｂａｙｅｒパターン」アレイ）から受け取られた色画像データを効率的かつ正確にセンシングかつ補間することが可能な電子画像方法および装置を開示する。動作中において、本方法および装置の両方は、二次元アレイデータからの単色イメージデータを抽出し、補間および非線形フィルタリングの組み合わせによって十分に色復元された画像データを生成する。二つの一次元色復元用途を実行し、その結果を実質的に増加的に組み合わせることによって、良好な精度から逸脱することなく効率性が達成される。第１の一次元色復元用途は、その次元における各ロウに対して、そのロウに存在する色の全てに対する値が復元される部分的に色復元された画像を生成する。次いで第２の一次元色復元用途は、第２の次元に沿って動作させることによって、各ピクセルにおける残りの色の全てを生成する。【選択図】図１
2004522351.tif 000002
【特許請求の範囲】
【請求項１】
（ａ）離散画像センシング素子の二次元アレイを提供するステップであって、
各離散素子は、入射照明光に応答して電子情報信号を供給することが可能であり、該電子情報信号は、該入射照明光の強度に対応し、各離散素子は、少なくとも３つの所定の色の内の１つに特別に応答する、ステップと、
（ｂ）各離散素子が該電子情報信号を提供し、該第１の色画像データが該電子情報信号の集合を含むように、該二次元アレイを画像情報関連照射に曝すことによって第１の色画像データを取得するステップと、
（ｃ）（ｉ）第１の補間された色データを提供するために該第１の次元に沿って該第１の色画像データを補間することによって、（ｉｉ）該第１の色画像データと該第１の補間された色データとの間の第１の差分チャンネルを形成することによって、（ｉｉｉ）第１の一次元非線形フィルタを該第１の差分チャンネルに適用することによって、該第１の復元された画像データが該第１の色画像データと該フィルタリングされた第１の差分チャンネルの組み合わせとして取得されることによって、そして（ｉｖ）該第１の色データおよび該第１の復元された色データを含む第２の色データを形成することによって、該第１の次元に沿って欠色情報を復元するステップと、
（ｄ）（ｉ）第２の補間された色データを提供するために第２の次元に沿って第２の色画像データを補間することによって、（ｉｉ）該第２の色画像データと該第２の補間された色データとの間に第２の差分チャンネルを形成することによって、（ｉｉｉ）第２の一次元非線形フィルタを該第２の差分チャンネルに適用することによって、該第２の復元された色データが該第２の色データと該フィルタリングされた第２の差分チャンネルの組み合わせとして取得されることによって、そして（ｉｖ）該第２の色データおよび該第２の復元された色データを含む該最終的に復元された画像データを形成することによって、該第２の次元に沿って欠色情報を復元するステップと
を含む、電子的にキャプチャかつ処理するための方法。
【請求項２】
前記離散素子は、（ａ）前記第１の次元または前記第２の次元に沿って連続的である２つの離散素子が、少なくとも３つの所定の色の内の同じ色に特に応答せず、（ｂ）１よりも多い離散素子が、該少なくとも３つの所定の色の内の同じ色に特に応答する２つの離散素子間で連続的ではないように、パターン状に配置される、請求項１に記載の方法。
【請求項３】
前記第１および第２の一次元非線形フィルタはランクオーダーフィルタである、請求項２に記載の方法。
【請求項４】
各離散素子は、３つの所定の色の内の１つに応答し、該３つの所定の色は、実質的に赤色波長の内部の色、実質的に緑色波長の内部の色、および実質的に青色波長の内部の色である、請求項３に記載の方法。
【請求項５】
各離散素子は、３つの所定の色の内の１つに応答し、該３つの所定の色は、実質的に前記赤色および緑色波長の組み合わせ内部の色、実質的に前記緑色および青色波長の組み合わせ内部の色、および実質的に前記赤色および青色波長の内部の色である、請求項３に記載の方法。
【請求項６】
第１の色画像データを生成するための離散画像センシング素子の二次元アレイであって、各離散素子は、入射照射光に応答して電子情報信号を提供することが可能であり、該電子情報信号は、該入射照射光の強度に対応し、各離散素子は、少なくとも３つの所定の色の内の１つに特別に応答する、二次元アレイと、
該第１の色画像データから第２の色画像データを生成するための第１の色復元モジュールであって、第１の補間された色データを提供するために第１の次元に沿って該第１の色データを補間するための第１の手段を有し、該第１の手段は、第１の復元された色データを提供するために、該第１の次元において、該第１の補間された色データと該第１の色画像データとを非線形フィルタリングかつ組み合わせ、そして、該第１の色データおよび該第１の復元データを含む第２の色データを形成する、第１の色復元モジュールと、
該第２の色画像データから最終的な色復元画像データを生成するための第２の色復元モジュールであって、第２の補間された色データを提供するために第２の次元に沿って該第２の色データを補間するための第２の手段を有し、該第２の手段は、第２の復元された色データを提供するために、該第２の次元において、該第２の補間された色データと該第２の色画像データとを非線形フィルタリングかつ組み合わせ、そして、該第２の色データおよび該第２の復元データを含む最終的な復元された画像を形成する、第２の色復元モジュールと
を含む、電子画像装置。
【請求項７】
前記離散素子は、（ａ）前記第１の次元または前記第２の次元に沿って連続的である２つの離散素子が、前記少なくとも３つの所定の色の内の同じ色に特に応答せず、（ｂ）１よりも多い離散素子が、該少なくとも３つの所定の色の内の同じ色に特に応答する２つの離散素子間で連続的ではないように、パターン状に配置される、請求項６に記載の電子画像装置。
【請求項８】
非線形フィルタリングのための前記第１および第２の手段の両方は、ランクオーダーフィルタである、請求項７に記載の電子画像装置。
【請求項９】
各離散素子は、３つの所定の色の内の１つに応答し、該３つの所定の色は、実質的に赤色波長の内部の色、実質的に緑色波長の内部の色、および実質的に青色波長の内部の色である、請求項８に記載の電子画像装置。
【請求項１０】
各離散素子は、３つの所定の色の内の１つに応答し、該３つの所定の色は、実質的に前記赤色および緑色波長の組み合わせ内部の色、実質的に前記緑色および青色波長の組み合わせ内部の色、および実質的に前記赤色および青色波長の組み合わせの内部の色である、請求項８に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
（分野）
本発明は、画像データをセンシングおよび補間するための方法および装置に関し、より詳細には、電子画像システムにおいてカラー画像データを効率的にかつ正確にセンシングかつ補間するための改良された方法および装置に関する。
【背景技術】
【０００２】
（背景）
静止画像を記録するための電子画像カメラが当該分野において周知である。このような電子画像カメラは、電荷結合デバイス（ＣＣＤ）または相補型金属酸化物半導体（ＣＭＯＳ）デバイス等の二次元電子画像センシングアレイを利用し得る。典型的には、このような２次元画像センシングデバイスは、入射照明光に応答し、この照明光の強度に対応する電子信号を供給する画像センシング素子（ピクセルを参照）の規則的なアレイを含む。画像センシング素子からの電子信号は、まとめて画像データを形成し、この画像データは、アナログまたはデジタルフォームで記録され得る。この信号はまた、陰極線管または液晶ディスプレイ等のビューイングデバイス上に直ぐにまたはその後のいずれかで表示されてもよいし、ハードコピーを提供するために印刷されてもよい。
【０００３】
画像センシング素子は、この素子自体の調和（ａｃｃｏｒｄ）のために、その色ではなく入射光の強度を主に識別する。カラー画像を記録するために、小さい集合のフィルタカラーから選択されたカラーフィルタを用いて各素子を覆うことが一般的である。
【０００４】
典型的なカラーイメージングデバイスは、２つのカラー方式の内の１つを使用する。第１のカラー方式は、赤、緑、および青フィルタを使用する。第２のカラー方式は、シアン、マジェンダ、およびイエローフィルタを使用する。このように、各画像センシング素子は、そのオーバレイフィルタの色を有する光の強度に対して敏感にされる。例えば、赤フィルタによって覆われた素子は、赤色光に応答し、緑フィルタを有する素子は、緑色光に応答する。
【０００５】
センシング素子のアレイの上部上のカラーフィルタの配列は、いくつかの周知のパターンの内の１つであり得る。単一のカラム内部の全てのセンシング素子が、単色光の強度に応答するように、１つのこのような配列は、赤、緑、および青の垂直ストライプの繰り返しパターンである。他の配列は、チェッカーボード（ｃｈｅｃｋｅｒｂｏａｒｄ）アレイを含む。
【０００６】
このようなアレイでは、カラーの繰り返しパターンを使用することが通常の実施である。例えば、フィルタの１つの周知かつ普及したパターンは、Ｂａｙｅｒパターンとして公知である。このＢａｙｅｒパターンでは、画像検知デバイスの偶数ロウは、交互の赤色および緑色フィルタを有する一方で、奇数ロウは、交互の緑色および青色フィルタ（この青色フィルタは、偶数ロウの緑色フィルタを用いて整列される）を有する。
【０００７】
このカラー画像データを収集するための方法は、広範に使用されているが、各画像センシング素子は、単色のみの強度を記録する問題の影響を受ける（すなわち、各画像センシング素子は、単色画像データを生成する）。一方で、一般的には画像印刷およびディスプレイデバイスは、各ピクセルにおいて全ての色の強度に関する情報を必要とする。この問題の解決法は、各ピクセルにおける欠色強度が周囲のピクセルにおけるデータから推定される、「色復元（ｃｏｌｏｒ  ｒｅｃｏｖｅｒｙ）」と呼ばれるプロセスである。
【０００８】
従来では、欠色データは、２次元補間によって満たされる。例えば、Ｂａｙｅｒパターンが使用される場合、各青色センシング素子は、４つの緑色センシング素子によって囲まれ、青色センシング素子における緑色の欠色値は、４つの緑色センシング隣接物からのデータの平均として推定され得る。
【０００９】
従来の色復元方法は、「カラーフリンジ」、近鮮鋭エッジ（ｎｅａｒ  ｓｈａｒｐｅ  ｅｄｇｅ）等の好ましくないアーチファクトを用いて画像を生成し得る。この問題を解決するための通常のアプローチは、アンチエイリアシングとして公知の、ピクチャを不鮮明にするかまたは選択された空間周波数を抑制することによって、画像の鮮鋭度を犠牲にしてカラーフリンジを除去する。いずれかの態様で画像を処理することは、不鮮明な画像を生成する不利を有する。
【００１０】
このアーチファクト問題の解決は、米国特許第４，６６３，６５５号および４，７７４，５６５号におけるＷ．Ｔ．Ｆｒｅｅｍａｎによって説明される。これらの特許両方を本明細書中で援用する。これらの特許は、シャープで、正確な色で、低減された上記アーチファクトの発生率を有する画像を生成するために非線形フィルタリングを使用する色復元方式を説明する。
【００１１】
Ｆｒｅｅｍａｎの特許では、実現のための色復元プロセスおよび装置が開示される。このプロセスは、フラットベッド画像スキャナ等のカラーフィルタを有するセンシング素子の単一線アレイによって生成された１次元データ、またはデジタルカメラ等のカラーフィルタを有するセンシング素子の２次元アレイによって生成された２次元データのいずれかに適用され得る。この方法は、赤、緑、および青センシング素子の繰り返しパターン（すなわちＲＧＢＲＧＢ等）を有する１次元線形アレイの場合において説明されるために最も速い。
【００１２】
第１に、本方法に従って、各カラーピクセルタイプ（例えば、赤）に対して、各第３のセンシング素子におけるその色に対する１つの実際に測定された値であり、その値は、２つのインターリーブしているピクセルにおける欠色の値を有する。従って、第１のステップは、任意の数の周知の補間方法を用いることによって緑（Ｇ）および青（Ｂ）素子において欠色赤（Ｒ）値を満たすことである。
【００１３】
第２に、そして同様に、青および緑値は、同じ補間方法を用いて、明確に測定されてきた全てのピクセルにおいて満たされる。
【００１４】
第３に、この点において、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）値は、各ピクセルに対して存在する。これらの値の内の１つは、明確に測定された値であり、他の２つは、補間によって得られている。この補間された値は、Ｒ’またはＧ’またはＢ’におけるようにダッシュを付けることによって示される。この補間されたデータは以下の形態を有する。
【００１５】
【数１】
2004522351.tif 000003
第４に、各ピクセルにおいて３つの色の異なる値Ｒ−Ｇ、Ｇ−Ｂ、およびＢ−Ｒは、それらの値が各ピクセルにおいて利用可能であるような明確に測定された値または補間された値のいずれかを使用して計算される。
【００１６】
第５に、次いでロウにわたるこのＲ−Ｇ値が、いくつかの所定の長さ（典型的には、範囲５〜１１の奇数）のメディアンフィルタに集められ、このフィルタの影響を受けやすい。各ピクセルにおいて、メディアンフィルタリングされた色差値の完全なセットが存在するように、同じことがＧ−Ｂ値およびＢ−Ｒ値で行われる。これらは、（Ｒ−Ｇ）ｍｆ、（Ｇ−Ｂ）ｍｆ、（Ｂ−Ｒ）ｍｆと表される。
【００１７】
第６に、各ピクセルにおいて、１つの明確に測定された色は、以前に補間された色値に対する改善された推定を生成するその色を含む２つのメディアンフィルタリングされた色差信号と組み合わせられる。上述の例示的なアレイに対して、第１のピクセルは、Ｒに対する例示的に測定された値であるが、Ｇ’およびＢ’に対する補間された値を有する。この場合、Ｒ値は、最終推定を見出すためにメディアンフィルタリングされた色差（Ｒ−Ｇ）ｍｆ、および（Ｂ−Ｒ）ｍｆと組合わせられる。
【００１８】
Ｇ∧＝Ｒ−（Ｒ−Ｇ）ｍｆ
Ｂ∧＝Ｒ＋（Ｂ−Ｒ）ｍｆ
ここで、∧表記は、最終的に復元されたデータ値を表すために使用される。この規定は、Ｆｒｅｅｍａｎの特許で主張された所望の特性を有する最終色推定を生成するために、各ピクセルに対して準拠される。
【００１９】
このＦｒｅｅｍａｎの方法は、実質的に同じ規定を用いて同様に２次元色データに対して実施され得る。この場合、各センシング素子に対して、対照的に配置された素子の隣接物に関して実施される。ステップ１および２では、バイキュービック（ｂｉ−ｃｕｂｉｃ）補間等の標準的な二次元補間方法は、素子における欠色に対する初期推定を生成するために使用される。
【００２０】
次いで、色差の全ては、各素子において見出され、ステップ５では、２次元メディアンフィルタがそのメディアンフィルタリングされた色差の値を見出すように、素子の隣接物に適用される。
【００２１】
最後に、ステップ６では、色に対して改良された推定が、各ピクセルにおいて明確に測定されていない色に対して計算される。これは、測定された１つの色を、その色に含まれるメディアンフィルタリングされた色差の全てに組み合わせることによってなされる。
【００２２】
各場合において、任意の欠色は、測定された色値を単一のメディアンフィルタリングされた色差と組み合わせることによって最終的に決定されることが理解されるべきである。
【００２３】
Ｆｒｅｅｍａｎの特許に説明された特許は所定の用途を生じるが、比較的大きい２次元色データアレイに対して実行された場合、完全な色復元のために必要とされた計算の数は、それに対応して大きくなる。その方法論による速度がその必要とされた計算の数に結び付けられるために、Ｆｒｅｅｍａｎの方法論を介して取得可能なであるり、多くの計算をさらに必要としない結果と比較できるほどの結果を提供する２次元色データアレイにおける欠色データを復元するための方法に対する既存の必然性がある。
【発明の開示】
【課題を解決するための手段】
【００２４】
（要旨）
上述の必要性の点では、本発明は、２次元色アレイにおける欠色データを復元するための方法（および装置）を提供し、この方法（および装置）は、２つの一次元非線形性補間処理の用途を含む。
【００２５】
いわゆるリアルタイム用途を処理する際には、時には、以下の公知の二次元色復元規定において含まれた計算の量が、特殊回路に実装することは不経済であるか、またはコンピュータプログラムとしてあまりにも遅いのでインプリメントできないことが見出される。二次元計算を２つの一次元計算に分割することによって、より少ない演算が必要とされ、さらに良好な色忠実度が保持される。
【００２６】
演算の好適なモードは、演算の中心的なステップは、まず第１に、画像の各ロウ（または他の第１の次元）に対して、そのロウにおいて存在する色の全てを復元するように、一次元色復元規定を適用し、次いで、各カラム（または他の第２の次元）に対して、まだ決定されていない任意の色を各素子において復元する別の一次元色復元規定を適用する。より詳細には、本方法は、（ａ）離散画像センシング素子であって、各離散素子は、入射照明光に応答して電子情報信号を供給することが可能であり、この電子情報信号は、この入射照明光の強度に対応し、各離散素子は、少なくとも３つの所定の色の内の１つに特に応答している、離散画像センシング素子の２次元アレイを提供することによって、（ｂ）各離散素子がこの電子情報信号を供給するように、画像情報関連照射光に二次元アレイを曝すことによる第１の色画像データを獲得することであって、この第１の色画像データは、この電子情報信号の収集を含む、第１の色画像データを獲得することによって、（ｃ）（ｉ）各離散素子のための第１の補間された色データを提供するために第１の次元に沿って第１の色画像データを補間し、（ｉｉ）第１の色画像データと第１の補間された色データとの間に第１の差分チャンネルを形成し、そして（ｉｉｉ）第１の一次元非線形性フィルタを第１の差分チャンネルに適用し、それにより、第２の色画像データが各離散素子に対して獲得されることにより、第１の次元に沿って欠色情報を復元することによって、そして（ｄ）（ｉ）各離散素子のための第２の補間された色データを提供するために第２の次元に沿って第２の色画像データを補間し、（ｉｉ）第２の色画像データと第２の補間された色データとの間の第２の差分チャンネルを形成し、そして（ｉｉｉ）第２の一次元非線形性フィルタを第２の差分チャンネルに提供し、それにより、第３の色画像データが各離散素子に対して獲得されることにより第２の次元に沿って欠色情報を復元することによって、電気的にキャプチャかつ処理する画像情報として規定され得る。
【００２７】
上述の点では、本発明の主目的は、二次元色データアレイにおける色データの欠色を復元するための方法を提供することである。
【００２８】
本発明の別の目的は、二次元色データアレイにおける色データを復元するための方法を提供し、この方法は、その演算が比較的速く、残りの色忠実度に関して良好な精度をさらに提供する。
【００２９】
本発明の別の目的は、二次元色データアレイにおける色画像データを復元するための方法を提供し、この方法は、２つの一次元非直線補間の実施を含む。
【００３０】
本発明の別の目的は、二次元色データアレイにおける画像色データを復元する目的ために、２つの一次元非線形性補間を実施するために十分適応された装置を提供する。
【００３１】
本発明のこれらのおよび他の目的は添付図面と共に考慮し、本発明の本好適な実施形態の以下の詳細な説明から明らかになる。
【発明を実施するための最良の形態】
【００３２】
（詳細な説明）
従来では、画像センシング素子の電子二次元アレイから受信されたサンプリングされた単色すなわち「第１の色」画像データから欠色しているサンプリングされていない画像データの復元は、各センシング素子付近の領域における二次元処理を必要とする。本発明は、従来の二次元プロセスを２つのインクリメンタル一次元プロセスに実質的に「デカップリング」することによって、より少ない計算を用いて同様の結果（特に所定のアレイ構成（例えば、「Ｂａｙｅｒ」型構成）に関して）を達成し得る。第１の一次元色復元プロセスは、サンプリングされた第１の色画像データから中間の第２の色画像データを生成する。この第２の一次元色復元プロセスは、第２の色画像データから最終的かつ所望された第３の色画像データを生成する。
【００３３】
本発明の用途によって想定される種々の電子画像センシングアレイは広範囲である。にもかかわらず、全てのこのアレイは、典型的には離散画像センシング素子の２次元アレイを含み、各離散素子は、任意の入射する照明光の強度に対応する電子情報信号を提供することが可能であり、各離散素子は、少なくとも３つの所定の色の内の１つに特に応答する。
【００３４】
本明細書で使用された場合、「色」は、可視光ばかりでなく赤外および紫外領域も同様に含む電磁スペクトル内部の波長の範囲を意味する。ほとんど共通する所定の色は、赤、緑、および青、あるいは、シアン（緑および青波長の組み合わせ）、マジェンダ（赤および青波長の組み合わせ）、およびイエロー（赤および緑波長の組み合わせ）のいずれかである。画像センシング素子の色感度は、典型的には入力照射光をフィルタリングすることによって達成されることにより、異なる画像センシング素子が色付きの照射光を受け取る。
【００３５】
二次元アレイを画像情報に関連する照射光に曝すことによって、各離散素子から受け取られた各電子情報信号の収集が得られる。この信号の集合は、十分に復元された第３の色画像データが得られ得る生の未処理の単色画像データを形成する。
【００３６】
十分復元された第３の色画像データを得ることに関する第１のステップは、まず第１の次元に沿った（例えばアレイのロウに沿った）欠色情報を復元することである。これは、第１の次元に沿った第１の色画像データを補間することによって達成され、各離散素子に対して第１の補間された色データを提供し、次いで、第１の色画像データと第１の補間された色データとの間に差分チャンネルを形成し、次いで、差分チャンネル上に一次元非線形フィルタを適用し、いわゆる第１の復元された画像データを獲得するために第１の色データと組み合わせる。第２の色画像データは、第１の復元された画像データおよび第１の色画像データの組み合わせを含む。
【００３７】
第２のステップは、第２の次元の沿った（例えば、アレイのカラムに沿った）欠色情報を復元することによって２つの色画像データから十分に復元された第３の色画像データを得る。より詳細には、第２の画像データは、各離散素子に対して第２の補間されたデータを提供するために、第２の次元に沿って補間されることによって得られ、次いで、第２の色画像データと第２の補間データとの間で差分チャンネルを形成し、次いで、差分チャンネル上で一次元の非線形フィルタを適用し、いわゆる第２の復元された画像データを獲得するために第２の色データとを組み合わせる。第３の色画像データは、第２の復元された画像データおよび第２の色画像データの組み合わせを含む。
【００３８】
本明細書中で使用された場合、「差分チャンネル」は、単色差分信号を含むチャンネルに限定されないが、多重色差を含み得る。例えば、単一の差分チャンネルは、（赤−青）および（赤−緑）色差分信号を含み得る。同様に、用語、「第１の補間されたデータ」および「第２の色データ」等の用語は、複数の色信号を含むデータを示すために使用される。
【００３９】
一般的には、本発明の方法論を実現するために有用な装置は、（ａ）離散画像センシング素子の二次元アレイ、（ｂ）第１の色復元モジュール、および（ｃ）第２の色復元モジュールを含む。
【００４０】
二次元アレイは、電荷結合デバイス（ＣＣＤ）、相補型金属酸化物半導体（ＣＭＯＳ）デバイス、および個々のセンシング素子が画像センシング素子上に入射する照明光の強度に応答する出力信号を生成する他の公知の２次元センサアレイを含む。
【００４１】
この離散的な画像センシング素子は、任意の所定のパターンで構成され得る。この個々の素子は、物体から反射され、光学系を介して画像化された光を受け取り、これに応答して、入射照射光の強度に比例する電子信号を提供する。一実施形態では、個々の画像センシング素子は、矩形のグリッドパターンで配置されることにより、これらの素子は、複数のロウおよびカラムを形成する。他の構成が予想される。例えば、図８に示されたように、そして実施例３において説明されたように、六角形のグリッドパターンに従った画像センシング素子を構成することは、ロウおよびカラムが垂直でない複数のロウおよびカラムを生じる（図８における第１次元１０および第２の次元１２を参照のこと）。
【００４２】
離散画像センシング素子に対する最も好適な構成は、当該技術分野において「Ｂａｙｅｒパターン」として公知の３色チェッカーボードパターンを形成する赤−緑および緑−青フィルタの交互のロウの使用を含む。Ｂａｙｅｒパターンの例は図７に示される。ここで示されたように、（ａ）第１の次元１０または第２の次元１２に沿った２つの連続した離散素子２０が同じ色に特に応答せず、（ｂ）１より多くの離散素子が、第１の次元１０および第２の次元１２に沿った同じ色に特に応答する２つの離散素子間で連続的に配置されないことを理解する。
【００４３】
上述で説明されたように、各離散素子は、その素子に入射する任意の照明光の強度に対応する電子情報信号を提供することが可能であり、各離散素子は、少なくとも３つの所定の色の内の１つに特に応答する。アレイが露出される場合、各素子から受け取られた信号の集合がデジタル化され、第１の色の画像データとして供給される。
【００４４】
第１および第２の色復元モジュールは、２つの一次元色復元動作を実行するために第１の色画像データの所定の別個の次元で動作する。例えば、以下により詳細に説明されるように、個々の画像センシング素子がロウおよびカラムで配置される場合、色復元モジュールの内の一方は、データのロウに対応する第１の次元で動作し得、他方の色復元モジュールは、データのカラムに対応する第２の次元で動作し得る。
【００４５】
第１の色復元モジュールは、画像センシングアレイから受け取られた単色画像データを第１の次元で補間するように構成かつ配置された第１の補間器を含む。第１の補間器は、各個々の画像センサ素子に対応する複数の第１の補間された色データを含む出力データを提供する。個々の画像センサ素子に対応する第１の複数の補間された色データの各々は、個々の画像センサ素子によって直接サンプリングされた第１の色データではなく、異なってサンプリングされた色からなる。
【００４６】
複数の第１の色データおよび複数の第１の補間された色データが組み合わせられ、各個々の画像センサ素子に対応する第１の復元された色データを構成するように第１の次元でフィルタリングされる。第１の色復元動作の出力は、第１の色データおよび各個々の画像センサ素子に対応する第１の復元された色データを含む複数の第２の色データである。本明細書中で使用された場合、第１の復元されたデータは、特定の画像センサ素子によって直接サンプリングされた第１の色データではなく異なる色である各個々の画像センサ素子に対応する色データを指す。例えば、個々の画像センサ素子は、その素子に入射する赤色光に対する第１の色データを提供する場合、第１の復元された色データは、直接測定された赤色以外の緑、青、または他の所定の色であり得る。
【００４７】
第２の２つの一次元動作は、第１の色復元モジュールから受け取られた複数の第２の色データを異なる次元に沿って補間するように構成かつ配置される第２の補間器を含む第２の復元モジュールによって達成される。この第２の補間器は、各個々の画像センサ素子に対応する複数の第２の補間されたデータを含む出力データを提供する。
【００４８】
複数の第２の補間された色データおよび複数の第２の色データが組み合わせられ、各個々の画像センサ素子に関連付けられた第２の復元素子を生成するように第２の次元でフィルタリングされる。本明細書で使用される場合、第２の復元されたデータは、個々の画像センサ素子および上述の第１の復元されたデータ素子によって提供された第１の色データとは異なる色である個々の画像センサ素子に対応する色データを指す。第２の色復元動作の出力は、各個々の画像センサ素子に対応する第２の色データおよび第２の復元された色データを含む複数の第３の色データである。
【００４９】
本発明は幅広い改変を可能にするが、より明確にその範囲、特定の実施形態および本発明の方法論の実現のための装置、およびそれらのコンポーネントが図１〜図８に説明される。
【００５０】
図１は、データの３つの色を復元するための色復元装置１００のブロック図である。色復元装置１００は、第１の色復元モジュール１１４として複数の第１の色データ１１２を提供する電子画像システム（図示せず）を含む。第１の色復元モジュール１１４は、第１の次元における第１の色データ１１２に対して動作し、第１の色データおよび第１の復元された色データから構成された複数の第２の色データ１２８の出力を提供する。第２の復元モジュール１２２は、第２の色データ１２８を入力として受け取り、複数の第３の色データ１３２を出力として提供する。
【００５１】
第１の色データ１１２は、複数の第１の色データの概略的な表示である。上述のように、各第１の色データ１１２は、画像センサアレイにおける個々の画像センサ素子の内の１つに対応する。
【００５２】
図１に示された第１の例示的実施形態では、データＲ１０９は、特定の個々の画像センサ素子において測定された赤色にフィルタリングされた光の値を表し、データＧ１１１は、特定の個々の画像センサ素子において測定された緑色にフィルタリングされた光の値を表し、そしてデータＢ１１５は、特定の個々の画像センサ素子において青色にフィルタリングされた光の値を表す。第１の実施形態では、第１の色データ１１２の第１の次元は、複数の個々の画像センサ素子のロウに対応する。同様に、第１の色データ１１２の第２の次元は、複数の個々の画像センサ素子のカラムに対応する。
【００５３】
第１の色復元モジュール１１４は、第１の補間器１１６および第１の色復元フィルタ１１８を含む。第１の補間器１１６は、複数の色データ１１２を受け取り、第１の次元におけるこのデータを補間して、第１の補間された色データ１２０を生成する。（‘）表記は、補間された色値を示す。
【００５４】
第１の補間された色データ１２０および第１の色データ１１２がフィルタリングされ、画像センサアレイにおける各個々の画像センサ素子に対する第２の色データ１２８を十分に復元するように色復元フィルタ１１８によって第１の次元で組み合わせられ、ここで、（∧）表記は、復元された色データを表す。
【００５５】
第２の色データ１２８は、第２の補間された色データ１３０を提供するために、第２の次元における第２の色データ１２８を補間する第２の補間器１２４に提供される。
【００５６】
第２の補間された色データ１３０および第２の色データ１２８がフィルタリングされ、画像センサアレイにおける各個々の画像センサ素子に対する第３の色データ１３２を十分に復元するように第２の色復元フィルタ１２６によって第２の次元で組み合わせられる。
【００５７】
図２は、色復元システムの第１の実施形態の第１の復元システム１１４のより詳細な説明を示す。図２では、Ｇ１は、赤色データを含むデータのロウに含まれた緑色のデータを表し、Ｇ２は、青色データを含むデータのロウに含まれた緑色のデータを表す。補間器の２つの対（ＲおよびＧ１データを含むロウに対する１つの対、ならびに、ＢおよびＧ２データを含むロウに対する１つの対）が使用される。この補換器は、任意の従来の補間器（すなわち、線形、スプライン、同期、または同様の他のタイプ）であり得る。特定のタイプの補間器の個々の選択は、当該分野の技術の範囲内にあると考慮される。
【００５８】
補間器２０２および２１６は、Ｒデータ２１８およびＧ１データ２２０をそれぞれ受け取り、ライン２０５およびライン２１５それぞれを介して補間されたデータを提供する。この実施形態では、ＲおよびＧ１データは変更され、スイッチ２０４は、ライン２０５および２１５上で補間されたデータをライン２０９を介してコンバイナ２１０に結合するように選択かつ結合するために使用される。スイッチ２０６は、Ｒ２１８またはＧ１  ２２０の第１の色データのいずれかをコンバイナ２１０に結合する。スイッチ２０６は、スイッチ２０４の色から他の色を選択する。本実施形態では、コンバイナ２１０は、異なるデータを形成し、同じ個々の画像センサ素子に対応するＲとＧ１データとの間の差は、
（１）Ｒ−Ｇ１’または
（２）Ｒ’−Ｇ１
に従って提供される。
【００５９】
この差が差分チャンネル２１１を介してフィルタ２１２に提供される。
【００６０】
フィルタ２１２は、カラー差分データ内の狭いピークおよび谷を除去するように提供される非線形フィルタである。このタイプの応答を可能にする特定のクラスの非線形フィルタは、ランクオーダーフィルタであり、好適な実施形態では、メディアンランクオーダーフィルタが使用される。適切なメディアンフィルタは、Ｐｏｌａｒｏｉｄ  Ｃｏｒｐｏｒａｔｉｏｎに譲受された米国特許第４，８０２，１０８号に記載され、この特許を本明細書中で参考として援用する。コンバイナ２１４は、スイッチ２０６によって選択された第１の色データをフィルタリングされた差分データ２１３に組み合わせる。コンバイナ２１４は、
（３）Ｒ−Ｆ（Ｒ−Ｇ１）または
（４）Ｇ１＋Ｆ（Ｒ−Ｇ１）
を提供する。
【００６１】
Ｆ（）は、フィルタ２１２の動作を表す。式（３）および（４）から理解され得るように、復元された緑データＧ１∧は、式（３）によって提供され、赤データＲ∧は、式（４）によって提供される。これらの復元された色データは、ライン２１７を介して提供される。
【００６２】
同様に、補間器２２２および２３６は、それぞれＢデータ２３８およびＧ２データ２４０を受け取り、ライン２２５およびライン２３５それぞれを介して補間されたデータを提供する。この例示された実施形態では、ＢおよびＧ２データは変更し、スイッチ２２４は、ライン２２９を介してコンバイナ２３０にライン２２５および２３５上の補間されたデータを接続かつ選択するために使用される。
【００６３】
スイッチ２２６は、Ｂ２３８またはＧ２  ２４０の第１の色データのいずれかをコンバイナ２３０に結合する。スイッチ２２６は、スイッチ２２４の色から他の色を選択する。コンバイナ２３０は異なるデータを形成し、同じ個々の画像センサ素子に対応するＢとＧ２データとの間の差は、
（５）Ｂ−Ｇ２’または
（６）Ｂ’−Ｇ２に従って提供される。
【００６４】
この差が差分チャンネル２３１を介してフィルタ２３２に提供される。
【００６５】
フィルタ２３２は、カラー差分信号内の狭いピークおよび谷を除去するように提供される非線形フィルタであり得る。上述したように、メディアンランクオーダーフィルタが使用される。コンバイナ２３４は、スイッチ２２６によって選択された第１のデータとフィルタリングされた差分データ２３３とを組み合わせる。さらに、コンバイナ２３４は、
（７）Ｂ−Ｆ（Ｂ−Ｇ２）または
（８）Ｇ２＋Ｆ（Ｂ−Ｇ２）
を提供する。
【００６６】
Ｆ（）は、フィルタ２３２の動作を表す。式（７）および（８）から理解され得るように、復元された緑のデータＧ２∧は、式（７）によって提供され、復元された青色データＢ∧は、式（８）によって提供される。これらの復元された色データは、ライン２３７を介して提供される。
【００６７】
モジュール１１４の説明は、３色および４色システムの両方に適用する。３色システムでは、Ｇ１およびＧ２は、同じ物理的な色を表す一方で、４色システムでは別個かつ異なる物理的な色を表す。
【００６８】
図３は、図１の第１の実施形態の第２の色復元モジュール１２２のためにさらなる細部を提供するためのブロック図である。この図は、特に３色システムに対して画像の奇数カラム内部の色の復元に適用する。
【００６９】
補間器３０２は、第１の色データからなるＲデータ３０１を受け取り、そして各個々の画像センサ素子に対応する赤データを提供するために第２の次元内にこのデータを補間する。同様に補間器３１４は、第１の復元された色データからなるＢデータ３０３を受け取り、そして各個々の画像センサ素子に対応する青データを提供するために第２の次元内にこのデータを補間する。上述のように、スイッチ３０６は、入力としてコンバイナ３０８に提供するために補間または第１に復元された青色データを選択し、スイッチ３０４は、入力としてコンバイナ３０８、３１２、および３２２に提供するために補間または第１の赤色データを選択する。本実施形態では、第１のコンバイナ３０８は、
（９）Ｒ−Ｂ’または
（１０）Ｒ’−Ｂ∧
に従って各個々の画像センサ素子に対応する青色データと赤色データとの間の差を形成する。この差が差分チャンネル３０９を介してフィルタ３１０に提供される。
【００７０】
フィルタ３１０は、カラー差分信号３０９内の狭いピークおよび谷を除去するように提供される、以前に識別されたような非線形フィルタであり得る。コンバイナ３１２は、スイッチ３０４によって選択された赤色データをフィルタリングされた差分データ３１１に組み合わせる。この場合、第２のコンバイナ３１２は、
（１１）Ｒ−Ｆ（Ｒ−Ｂ）または
（１２）Ｒ’−Ｆ（Ｒ−Ｂ）
を提供する。
【００７１】
Ｆ（）は、フィルタ３１０の動作を表す。式（１１）および（１２）は、青色データＢ∧が、式（１１）によって提供されることを示す。式（１２）によって提供されたデータは使用されない。これらの復元された色データは、ライン３１７を介してセレクタスイッチ３２８に提供される。
【００７２】
第３のコンバイナ３２２は、スイッチ３０４によって選択された赤色データを緑色データ３２１と組み合わせる。計算が行われる画像センサ素子が、画像センサの第２の次元で偶数素子または奇数素子であるかどうかに依存して、この緑色データは、第１の色データまたは第１に復元された色データのいずれかであり得る。いずれのかの場合において、このデータは単にＧと表される。第３のコンバイナ３２２は、
（１３）Ｒ−Ｇまたは
（１４）Ｒ’−Ｇ
に従って、各個々の画像センサ素子に対応する赤色データと緑色データとの間の差を形成する。この差が差分チャンネル３２３を介してフィルタ３２４に提供される。
【００７３】
フィルタ３２４は、カラー差分信号３２３内の狭いピークおよび谷を除去するように提供され、さらに以前に識別されたピークおよび谷と同様である非線形フィルタであり得る。第４のコンバイナ３２６は、緑色データ３２１とフィルタリングされた差分データ３２５とを組み合わせる。一実施形態では、第４のコンバイナ３２６は、
（１５）Ｇ＋Ｆ（Ｒ−Ｇ）または
（１６）Ｇ＋Ｆ（Ｒ−Ｇ）
を提供する。
【００７４】
この場合、Ｆ（）は、フィルタ３２４の動作を表す。式（１５）および（１６）から理解され得るように、第２の復元された赤色のデータＲ∧は、式（１６）によって提供され、
式（１５）によって提供されたデータは使用されない。これらの復元された色データは、ライン３２７を介して第３のセレクタスイッチ３２８に提供される。
【００７５】
上述のように、画像センサの第２の次元における奇数素子にライン３１７を介して第２の復元された青色データを提供し、画像センサの第２の次元における偶数素子にライン３２７を介して第２の復元された赤色データを提供する。スイッチ３０４および３０６と同期して動作するセレクタスイッチ３２８は、これらの復元された色データをライン３２９に切り替える。
【００７６】
第２の色モジュール１２２は、画像データの第２の次元に沿った奇数カラムの動作に従って上記で説明されてきた。同じ装置が、画像データの第２の次元に沿った偶数カラムの第２の色復元を実行するために使用され得る。この装置の説明は、赤色入力データＲ３０１および青色入力データＢ３０３が交換され、３つの同期スイッチ３０４、３０６、および３２８が図３に示されたスイッチと反対の位置で開始される点においてのみ変更される。この構成では、ライン３１７上の第２の復元された色データは赤色データであり、ライン３２７上の第２の復元された色データは青色データである。
【００７７】
図２および図３に示された第１および第２の色復元モジュールは、通常フィルタリングされた色差を用いて例示的な色値の組み合わせを用いることによって復元された色値を生成する。この規定は、復元された色値に対して最良の制度を生成する。しかし、この強制を緩和し、色忠実度において小さなペナルティを課すことによって、第２の色復元モジュールの計算的な要求を実質的に低減し得る。
【００７８】
「省略された手順」と呼ばれるこの色復元方法のこの形態では、水平ロウ動作における任意の欠色が、この欠色が明確に測定されたかのように、以後のステップで処理される。この変化の結果は、垂直カラム動作において必要とされ、それにより、より少ない計算的な強化フィルタリング動作が必要とされる。
【００７９】
図４は、省略された手順が３つの色システムにおける色復元に対してインプリメントされる第２の色復元モジュール１２２の別のバージョンを示す。補間器４０２は、第１および第１の復元された色データの両方からなるＲデータ４０１を受け取り、各個々の画像センサ素子に対応する第２に補間された赤色データを提供するために第２の次元でこのデータを補間する。同様に、補間器４１４は、第１および第１の復元された色データの両方からなるＢデータ４０３を受け取り、各個々の画像センサ素子に対応する第２に補間された青色データを提供するために第２の次元でこのデータを補間する。スイッチ４０４は、入力としてコンバイナ４０８に提供するように異なる第２の補間された色を選択し、スイッチ４０６は、入力としてコンバイナ４０８およびコンバイナ４１２に提供するために、異なる第１の色データまたは第１の復元された色データを選択する。この場合、コンバイナ４０８は、
（１７）Ｒ−Ｂ’または
（１８）Ｒ’−Ｂ
に従って、各個々の画像センサ素子に対応する青色と赤色との間の差を形成する。
【００８０】
ＲおよびＢの値（ダッシュがない）は、第１または第１の復元された色データのいずれかであり得る。この差が差分チャンネル４０９を介してフィルタ４１０に提供される。
【００８１】
フィルタ４１０は、カラー差分信号４０９内の狭いピークおよび谷を除去するように提供される非線形フィルタであり得、以前に説明されたように、メディアンランクオーダーフィルタであることが好ましい。第２のコンバイナ４１２は、スイッチ４０６によって選択された第２の色データをフィルタリングされた差分データ４１１と組み合わせる。本実施形態におけるコンバイナ４１２は、
（１９）Ｂ＋Ｆ（Ｒ−Ｂ）または
（２０）Ｒ−Ｆ（Ｒ−Ｂ）
を提供する。
ここで、Ｆ（）は、フィルタ４１０の動作を表す。式（１９）および（２０）から理解され得るように、第２の復元された赤色のデータＲ∧は、式（１９）によって提供され、第２の復元された青データＢ∧は、式（２０）によって提供される。これらの復元された色データは、ライン４１５を介して提供される。
【００８２】
この上記装置は、個々の画像センサ素子毎に４つの色を復元するために改変され得る。４つの色復元システムでは、各個々の画像センサ素子に対応する第２のサンプリングされていない色を復元する、図２に示された第１の色復元モジュールが同じであり得る。しかし、第２の色復元モジュールの構造および装置は、各個々の画像センサ素子に対応する残りの２つのサンプリングされていない色を復元するためにより複雑にならなければならない。
【００８３】
Ｇ１およびＧ２として示された色データは、２つの異なる色に対応することが理解される。図示の目的のため、これらの色は、２つの異なる緑のシェードとして説明されるが、これらの色は任意の２つの色であり得、この説明は、本発明の範囲を任意の態様に限定する物として構成されるべきではない。
【００８４】
図５は、４色色復元システムにおける奇数カラムに対して設計された第２の色復元モジュールを示す。図５に示された実施形態では、Ｇ１は、赤色データ（奇数ロウ）を含むデータのロウに含まれた緑色のデータを表し、Ｇ２は、青色データ（偶数ロウ）を含むデータのロウに含まれた緑色のデータを表す。
【００８５】
図５に示された実施形態では、４つの（２つの対）補間器が使用される。各色に対する補間は、第２の次元で実行され、例示的な実施形態では、カラムに沿って垂直である。各色に対して第１の色データまたは第１の復元された色データのいずれかが補間において使用される。
【００８６】
１つの補間器がＢデータを補間する。１つの補間器がＲデータを補間し、１つの補間器がＧ２データを補間し、そして１つの補間器がＧ１データを補間する。従って、ここで個々の画像センサ素子に関連した全てのデータは、第１の色データ、第１の復元された色データ、および２つの第２の補間された色データの４つの色を有する。この補間器は、当該分野で公知の任意の従来の補間器であり得る。
【００８７】
補間器５０２および５１８は、Ｂデータ５１４およびＲデータ５１６をそれぞれ受け取り、ライン５０３および５１９のそれぞれを介して第２の補間されたデータを提供する。
【００８８】
スイッチ５０４および５２０は、データを選択し、データをコンバイナ５０６に接続するために使用される。このスイッチは、第１の赤色データ５１６および第２の補間された復元青色データ５０３、あるいは、データの奇数ロウまたは偶数ロウが組み合わせられるかどうかに基づいて、第１の復元された青色データ５１４および補間された赤色データ５１９を結合させる。
【００８９】
奇数ロウが組み合わせられる場合、Ｒ５１６データおよびＢ∧５０３の補間された値が使用される。偶数ロウが組み合わせられる場合、Ｂ∧５１４データおよびＲ５１９の補間された値が使用される。コンバイナ５０６は、異なるデータを形成し、同じ個々の画像センサ素子に対応するＲデータとＢデータとの間の差は、
（２１）Ｒ−Ｂ∧’、または
（２２）Ｒ’−Ｂ∧
に従って提供される。この差が差分チャンネル５０７を介してフィルタ５０８に提供される。
【００９０】
フィルタ５０８は、以前に開示されたタイプの非線形フィルタである。コンバイナ５１０は、スイッチ５２０によって選択された赤色データをフィルタリングされた差分データと組み合わせる。この場合、コンバイナ５１０は、
（２３）Ｒ−Ｆ（Ｒ−Ｂ）、または
（２４）Ｒ’−Ｆ（Ｒ−Ｂ）
を提供する。
【００９１】
Ｆ（）は、フィルタ５０８の動作を表す。式（２３）および（２４）から理解され得るように、第２の復元された青色のデータは、式（２３）によって提供される。式（２４）によって提供されたデータは使用されない。
【００９２】
同様に、補間器５２４および５４０は、それぞれＧ２データ５３６およびＧ１∧データ５３８を受け取り、ライン５２５および５４１それぞれを介して補間されたデータを提供する。スイッチ５２６および５４２は、データを選択し、このデータをコンバイナ５２８に接続する。このスイッチは、補間されたＧ２データ５３６および第１の復元されたＧ１∧データ５３８、あるいは、他の場合では、データの奇数ロウまたは偶数ロウが組み合わせられるかどうかに基づいて、測定されたＧ２データ５３６および第２の補間された復元されたＧ１∧データ５４１を結合させる。
【００９３】
奇数ロウが組み合わせられる場合、Ｇ２  ５２５の第２の補間された値およびＧ１∧５３８の第１の復元された値が使用される。偶数ロウが組み合わせられる場合、Ｇ２  ５３６の第１の色の値およびＧ１∧５４１の第２の補間された復元された値が使用される。
【００９４】
コンバイナ５２８は、同じ個々の画像センサ素子に対応するＧ２データとＧ１データとの間の差が
（２５）Ｇ２’−Ｇ１∧、または
（２６）Ｇ２−Ｇ１∧’
に従って提供される。この差が差分チャンネル５２９を介してフィルタ５３０に提供される。
【００９５】
上述のように、フィルタ５３０は、色差データ内の狭いピークおよび谷を除去するために提供される非線形フィルタであり得る。コンバイナ５３２は、スイッチ５２６によって選択された色データをフィルタリングされた差分データと組み合わせる。一実施形態では、コンバイナ５３２は、
（２７）Ｇ２’−Ｆ（Ｇ２−Ｇ１）、または
（２８）Ｇ２−Ｆ（Ｇ２−Ｇ１）
を提供する。ここで、Ｆ（）は、フィルタ５３０の動作を表す。式（２７）および（２８）から理解され得るように、第２の復元された緑色のデータＧ∧１は、式（２８）によって提供される。式（２７）によって提供されたデータは使用されない。
【００９６】
第３のコンバイナ５４４は、スイッチ５２０によって選択された赤色データおよびスイッチ５２６によって選択されたＧ２データを受け取る。これらのスイッチは、第１の色Ｒデータ５１６および第２の補間されたＧ２データ５２５、あるいは、他の場合では、奇数ロウまたは偶数ロウのデータが組み合わせられるかどうかに基づいて、第１の色Ｇ２データ５３６および第２の補間されたＲデータ５１９を結合する。
【００９７】
奇数ロウが組み合わせられる場合、Ｒ５１６の測定された値およびＧ２  ５２５の補間された値が使用される。偶数ロウが組み合わせられる場合、Ｒ５１９の補間された値および測定されたＧ２  ５３６の測定された値が使用される。
【００９８】
コンバイナ５４４は、同じ個々の画像センサ素子に対応するＲデータとＧ１データとの間の差が
（２９）Ｒ−Ｇ２’、または
（３０）Ｒ’−Ｇ２
に従って提供される差分データを形成する。この差が差分チャンネル５４５上でフィルタ５４６に提供される。
【００９９】
フィルタ５４６は、色差データ内の狭いピークおよび谷を除去するために提供される非線形フィルタであり得る。フィルタ５４６によって生成されたフィルタリングされた差分データがライン５４７上で提供される。
【０１００】
コンバイナ５４８は、スイッチ５２０によって選択された色データをフィルタリングされた差分データ５４７と組み合わせる。一実施形態において、コンバイナ５４８は、
（３１）Ｒ−Ｆ（Ｒ−Ｇ２）、または
（３２）Ｒ’−Ｆ（Ｒ−Ｇ２）
を提供する。
【０１０１】
この場合、Ｆ（）は、フィルタ５４６の動作を表す。式（３１）および（３２）から理解され得るように、第２の復元された緑色のデータＧ２∧は、式（３１）によって提供される。式（３２）によって提供されたデータは使用されない。
【０１０２】
コンバイナ５５０は、スイッチ５２６によって選択された色データをフィルタリングされた差分データ５４７と組み合わせる。一実施形態において、コンバイナ５５０は、
（３３）Ｇ２’＋Ｆ（Ｒ−Ｇ２）、または
（３４）Ｇ２＋Ｆ（Ｒ−Ｇ２）
を提供する。
【０１０３】
Ｆ（）は、フィルタ５４６の動作をこれらの式で表す。第２の復元された赤色データＲ∧が式（３４）によって提供され、式（３３）によって提供されたデータは使用されない。
【０１０４】
第２の色モジュール１２２は、画像データの第２の次元に沿った奇数カラムの動作に従って上記で説明されてきた。同じ装置が、画像データの第２の次元に沿った偶数カラムの第２の色復元を実行するために使用され得る。この装置の説明は、１）青色入力データ５１４およびＧ２入力データ５３６が交換され、２）赤色入力データ５１６およびＧ１入力データ５３８が交換される点においてのみ変更される。この構成では、ライン５１１上の第２の復元色データはＧ２∧データであり、ライン５３３上の第２の復元色データはＲ∧データであり、ライン５４９上の第２の復元色データはＢ∧データであり、ライン５５１上の第２の復元色データはＧ１∧データである。
【０１０５】
第２の色復元モジュール１２２の別のバージョンは、図６に示されたように動作する。このバージョンは、４色システムにおける第２の色復元のための省略された手順を示す。この図は、奇数および偶数の両方のカラムに適用する。補間器６０２は、第２の色Ｒデータ６１８を受け取り、第２の補間された赤色データを提供するために第２の次元でこのデータを補間する。
【０１０６】
同様に、補間器６１６は、第２の色Ｇ２データ６２０を受け取り、第２の補間されたＧ２データを提供するために第２の次元でこのデータを補間する。
【０１０７】
スイッチ６０４およびスイッチ６０６は、入力としてコンバイナ６１０に提供するように異なる色を選択する。この状況では、コンバイナ６１０は、
（３５）Ｒ−Ｇ２’、または
（３６）Ｒ’−Ｇ２
に従って各個々の画像センサ素子に対応するＲデータとＧ２データとの間の差を形成する。
【０１０８】
この差が差分チャンネル６１１を介してフィルタ６１２に提供される。
【０１０９】
フィルタ６１２は、色差信号６１１内の狭いピークおよび谷を除去するために提供される非線形フィルタであり得る。コンバイナ６１４は、スイッチ６０６によって選択された第２の色データをフィルタリングされた差分データ６１３と組み合わせる。この実施形態では、コンバイナ６１４は、
（３７）Ｒ−Ｆ（Ｒ−Ｇ２）、または
（３８）Ｇ２＋Ｆ（Ｒ−Ｇ２）
を提供する。ここで、Ｆ（）は、フィルタ６１２の動作を表す。式（３７）および（３８）から理解され得るように、第２の復元されたＧ２データＧ２∧は、式（３７）によって提供され、第２の復元された赤色データＲ∧は、式（２０）によって提供される。これらの復元された色データは、ライン６１７を介して提供される。
【０１１０】
補間器６２２は、第２の色Ｂデータ６３８を受け取り、第２の補間されたＢデータを提供するように、第２の次元でこのデータを補間する。
【０１１１】
同様に、補間器６３６は、第２の色Ｇ１データ６４０を受け取り、第２の補間されたＧ１データを提供するように、第２の次元でこのデータを補間する。
【０１１２】
スイッチ６２４およびスイッチ６２６は、入力としてコンバイナ６３０に提供するために異なる色を選択する。コンバイナ６３０は、
（３９）Ｇ１−Ｂ’、または
（４０）Ｇ１’−Ｂ
に従って各個々の画像センサ素子に対応するＢデータとＧ１データとの間の差を形成する。
【０１１３】
この差が差分チャンネル６３１を介してフィルタ６３２に提供される。
【０１１４】
この場合、フィルタ６３２は、色差信号６３１内の狭いピークおよび谷を除去するために提供される非線形フィルタであり得、コンバイナ６３４は、スイッチ６２６によって選択された第２の色データをフィルタリングされた差分データ６３３と組み合わせる。本実施形態では、コンバイナ６３４は、
（４１）Ｇ１−Ｆ（Ｇ１−Ｂ）、または
（４２）Ｂ＋Ｆ（Ｇ１−Ｂ）
を提供し、ここで、Ｆ（）は、フィルタ６３２の動作を表す。式（４１）および（４２）から理解され得るように、第２の復元されたＢデータＢ∧は、式（４１）によって提供され、第２の復元されたＧ１データＧ１∧は、式（４２）によって提供される。これらの復元された色データは、ライン６３７を介して提供される。
【０１１５】
（実施例）
（実施例１）
（３つの色を有するＢａｙｅｒパターン）
本発明は、画像センシング素子の二次元アレイに対して適用可能であり、この素子は、いわゆる「Ｂａｙｅｒパターン」で配置される。このようなパターンの好ましい改変体における色の配置は、以下の図で示される。
【０１１６】
【表１】
2004522351.tif 000004
ステップ１では、各ロウは、米国特許第４，７７４，５６５号（Ｗ．Ｔ．Ｆｒｅｅｍａｎ）において説明された、一次元アレイに対する色復元方法論を適用することによって、そのロウに存在する任意の色を復元するためにデジタルに処理される。奇数ロウに対して、これは、赤色および緑色データが補間され、色差Ｒ−Ｇが形成され、そして色差が１−Ｄメディアンフィルタを用いてロウに沿ってフィルタリングされ、（Ｒ−Ｇ）ｍｆ＿ｒｏｗを生成することを意味する。次いで、改良された推定は、その規定に従って欠色に対して見出される。
【０１１７】
Ｒピクセルにおいて、Ｇ∧＝Ｒ−（Ｒ−Ｇ）ｍｆ＿ｒｏｗ
Ｇピクセルにおいて、Ｒ∧＝Ｇ＋（Ｒ−Ｇ）ｍｆ＿ｒｏｗ
同じ基礎的なステップが数百モジュールのロウにおいても利用されるが、色このステップはＧおよびＢを用いる。奇数および偶数番号の両方の処理の後に、これは以下の情報を生じる。
【０１１８】
【数２】
2004522351.tif 000005
この奇数番号のロウは、各素子における青色強度に対する推定のみを失っており、偶数ロウであっても赤色強度の推定のみを失っている。緑色に対する値は、各素子で測定または推定されるかのいずれかであり、緑色の強度の復元は、この点で終了される。
【０１１９】
ステップ２では、静止欠色はステップ１で説明された色復元方法論を適用することによって復元される。
【０１２０】
復元がカラム次元でのＲおよびＢの一次元補間で開始する。
【０１２１】
奇数番号のカラムに対して、２つの色差（Ｒ−Ｂ）および（Ｒ−Ｇ）が形成される。これらは、１−Ｄメディアンフィルタを用いてカラム次元でフィルタリングされ、欠色は、以下のように復元される。
【０１２２】
ＲＧ∧素子では、Ｂ∧＝Ｒ−（Ｒ−Ｂ）ｍｆ＿ｃｏｌ
Ｂ∧Ｇ素子では、Ｒ∧＝Ｇ＋（Ｒ−Ｇ）ｍｆ＿ｃｏｌ
偶数番号のカラムは、必要とされた色差（Ｒ−Ｂ）および（Ｂ−Ｇ）であることを除いて同様に処理される。
【０１２３】
Ｒ∧Ｇ素子では、Ｂ∧＝Ｇ＋（Ｂ−Ｇ）ｍｆ＿ｃｏｌ
Ｇ∧Ｂ素子では、Ｒ∧＝Ｂ＋（Ｒ−Ｂ）ｍｆ＿ｃｏｌ
この点では、全ての色が復元され、その処理が終了される。なお、全ての復元動作において、各素子における復元された色は１つの明確に測定された色とフィルタリングされた色差との組み合わせとして計算される。
【０１２４】
（実施例２）
（４つの色を用いるＢａｙｅｒ様のパターン）
実施例１に記載された方法は、特定の色の選択または特定の色の配列に限定されない。以下の例は、２つの異なる緑のシェード（Ｇ１およびＧ２）であるＢａｙｅｒ様のパターンへの適用によってこれを示す。これは、設計によって発生し得るが、実際には、単一の意図された緑のシェードのみを用いて設計された場合であっても、実施の際に発生する可能性がある。
【０１２５】
Ｂａｙｅｒパターンの検証は、２つのタイプのＧサイトが存在することを示す。第１のＧサイト（Ｇ１）は、上下に配置されたＲセンサおよび左右に配置されたＢセンサを有する。第２のＧサイト（Ｇ２）は、上下に配置されたＢセンサおよび左右に配置されたＲセンサを有する。製造方法が理想的ではない場合、これらの２つのサイトは、わずかに異なる応答を提示する可能性があり、このような差は、色忠実度の問題を生じ得る。製造の際がない場合であっても、水平および垂直次元におけるセンシング素子の構造における差異は、ピクセル間の電気的または光学的「クロストーク」に起因する応答の差を生じ得る。従って、等価なものとしてこれらのサイトを処理する代わりに、優れた結果が、効果的に異なる緑色のシェードとしてこれらのサイトを処理することによって得られる。次いで、この色レイアウトは、
【０１２６】
【数３】
2004522351.tif 000006
復元のステップ１では、各ロウは、特に、米国特許第４，７７４，５６５号（Ｗ．Ｔ．Ｆｒｅｅｍａｎ）において説明された方法論を一次元アレイに適用することによって、そのロウに存在する任意の色を復元するためにデジタルに処理される。この結果は以下のようである。
【０１２７】
【数４】
2004522351.tif 000007
ステップ２では、素子当たりの２つの欠色値が存在する。奇数カラムにおいて、例えば、Ｒ、Ｇ１∧サイトがＧ２およびＢに対する欠色値である一方で、Ｇ２、Ｂ∧サイトがＲおよびＧ１に対する欠色値である。これを改善するためには、全ての４つの色値がカラム状（ｃｏｌｕｍｎ−ｗｉｓｅ）次元に補間され、必要とされた色差（Ｒ−Ｇ２）、（Ｒ−Ｂ）、および（Ｇ１−Ｇ２）が形成される。次いで、欠色値が、
Ｒ、Ｇ１∧サイトでは、Ｇ２∧＝Ｒ−（Ｒ−Ｇ２）ｍｆ＿ｃｏｌ
Ｂ∧＝Ｒ−（Ｒ−Ｂ）ｍｆ＿ｃｏｌ
Ｇ２、Ｂ∧サイトでは、Ｇ１∧＝Ｇ２＋（Ｇ１−Ｇ２）ｍｆ＿ｃｏｌ
Ｒ∧＝Ｇ２＋（Ｒ−Ｇ２）ｍｆ＿ｃｏｌ
のように推定される。
【０１２８】
色差（Ｇ１−Ｇ２）、（Ｂ−Ｇ１）、および（Ｒ−Ｂ）を用いることを除いて、偶数カラムは、同様なパターンに従う。
【０１２９】
ちょうど説明された手順は、米国特許第４，７７４，５６５（Ｗ．Ｔ．  Ｆｒｅｅｍａｎ）におい手説明された二次元フォームの忠実度に等しいかまたはこれを越える結果を生成し、この計算は、専用ハードウエアにおいて実装するためにかなり高速でより簡単である。
【０１３０】
（実施例３）
上記実施例１および２は、センシング素子の矩形アレイを示すピクセルのロウおよびカラムを指す。しかし、ロウおよびカラムが互いに直交して配置されることが、本発明の要求ではないことが理解される。例えば、本発明は、図８に示されるように、角度６０度だけ離れている「ロウ」１０および「カラム」１２を用いて、ピクセルの六角形アレイで実施され得る。従って、本発明による第１の次元に沿った欠色情報を復元するステップが、例えば六角形アレイの１０の次元に沿って実施され、第２の次元に沿った欠色情報を復元するステップが次元１２に沿って実施される。これら両方の実施が実施例１で識別された実施と実質的に等価である。同様に、この結果は、実質的に等価であるべきである。
【０１３１】
本発明が特定の実施形態を参照して説明されてきたが、本発明は、本明細書中で開示され、および／または図面中で示された特定の構成および方法に限定されないが、特許請求の範囲内の任意の改変または均等物をさらに含むことが理解される。
【図面の簡単な説明】
【０１３２】
【図１】図１は、本発明の実施形態による、色画像データを（電子画像システムにおけるように）センシングかつ補間するための装置の概略的ブロック図である。
【図２】図２は、図１の第１の色復元フィルタ１１４の詳細な概略的ブロック図である。
【図３】図３は、図１に示された第２の色復元フィルタ１２２の改変体（この改変体はいわゆる「３色」電子画像システムである）の詳細な概略的ブロック図である。
【図４】図４は、図１に示された第２の色復元フィルタ１２２の別の改変体（この改変体はいわゆる「３色」電子画像システムである）の詳細な概略的ブロック図である。
【図５】図５は、図１に示された第２の色復元フィルタ１２２の改変体（この改変体はいわゆる「４色」電子画像システムに対して特に構成された）の詳細な概略的ブロック図である。
【図６】図６は、図１に示された第２の色復元フィルタ１２２の別の改変体（この改変体はいわゆる「４色」電子画像システムに対して特に構成された）のより詳細な概略的ブロック図である。
【図７】図７は、本発明の特定の実施形態に従って使用された離散画像センシング素子２０の構成の例である。
【図８】図８は、本発明の特定の実施形態に従って使用された離散画像センシング素子２０の構成の例である。
【図１】
2004522351.tif 000008
【図２】
2004522351.tif 000009
【図３】
2004522351.tif 000010
【図４】
2004522351.tif 000011
【図５】
2004522351.tif 000012
【図６】
2004522351.tif 000013
【国際公開パンフレット】
2004522351.tif 000014
2004522351.tif 000015
2004522351.tif 000016
2004522351.tif 000017
2004522351.tif 000018
2004522351.tif 000019
2004522351.tif 000020
2004522351.tif 000021
2004522351.tif 000022
2004522351.tif 000023
2004522351.tif 000024
2004522351.tif 000025
2004522351.tif 000026
2004522351.tif 000027
2004522351.tif 000028
2004522351.tif 000029
2004522351.tif 000030
2004522351.tif 000031
2004522351.tif 000032
2004522351.tif 000033
2004522351.tif 000034
2004522351.tif 000035
2004522351.tif 000036
2004522351.tif 000037
2004522351.tif 000038
2004522351.tif 000039
2004522351.tif 000040
2004522351.tif 000041
2004522351.tif 000042
2004522351.tif 000043
2004522351.tif 000044
2004522351.tif 000045
2004522351.tif 000046
2004522351.tif 000047
2004522351.tif 000048
2004522351.tif 000049
2004522351.tif 000050
2004522351.tif 000051
2004522351.tif 000052
2004522351.tif 000053
2004522351.tif 000054
2004522351.tif 000055
【国際調査報告】
2004522351.tif 000056
2004522351.tif 000057