(57)【特許請求の範囲】
【請求項１】
カラーフィルタアレイ画像を再構成するための装置であって、
カラーフィルタアレイから出力されるサンプル値の画像を生成するための画像記録モジュールを備え、前記画像中の各画素が複数のカラーチャネルの内の一つのサンプル値が記録される位置を有し、
前記画像中の選択された画素の位置のサンプル値を線形変換して前記画像中の前記選択された画像の位置に前記画像記録モジュールによって記録されなかったカラーチャネルを推定する画像再構成モジュールを備え、該画像再構成モジュールは、前記画像記録モジュールにより前記画像中に記録されていない他のカラーチャネルの値を補間することなしに、前記画像中の画素のサンプル値のカラーチャネルを用いる線形変換の係数を演算する、
カラーフィルタアレイ画像の再構成装置であって、
前記画像再構成モジュールは、カラーチャネルの合計の信頼性測度を決定し、前記カラーチャネルの合計において低い変動を有するウインドウのロー又はコラムを選択し、ウインドウのロー又はコラムのどのカラーチャネルの合計を回帰曲線に当てはめるかの選択を、信頼性測度により決定し、前記画像のウインドウを通るロー又はコラムに沿った少なくとも１セットのカラーチャネルの合計に回帰直線を当てはめることによって前記線形変換の係数を計算する、
カラーフィルタアレイ画像の再構成装置。
【請求項２】
前記画像再構成モジュールは、前記画像のウインドウ内の少なくとも二つのサンプルの前記サンプル値に依存するが位置には依存しない統計量を演算することによって前記線形変換の係数を演算する、請求項１に記載の装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、一般に、電子画像形成の分野に関し、より詳細には、カラーフィルタアレイセンサを使用して生成されたドキュメントの画像を再構成するための方法及び装置に関する。
【０００２】
【従来の技術及び発明が解決しようとする課題】
大部分の電子カラーカメラは、異なるカラーの色素の周期的パターンが重畳される単一のセンサを使用している。このパターンは、カラーフィルタアレイ（ＣＦＡ）として知られている。プリズムプラス複数センサ、（人間の目のような）ランダムカラーアレイ、又は異なる時間における異なるカラーのサンプリングのような多くの他のカラー−サンプリングスキームが可能である。しかしながら、消費者のデジタル写真におけるこれらのスキームの用途は、正確な機械的アラインメントのコスト、製造コスト、処理の複雑性、及びリアルシーンに存在するモーションの度合いによって制限される。
【０００３】
ＣＦＡセンサは、レッド（Ｒ），グリーン（Ｇ）及びブルー（Ｂ）のような三原色平面又はチャネルにおける３セットの画像データを同時に捕獲するために使用される。基本ＣＦＡセンサは、図１に示されるバイヤーパターンプライマリＣＦＡ（Ｂａｙｅｒ  ｐａｔｔｅｒｎ  ｐｒｉｍａｒｙ  ＣＦＡ）のような、レッド、グリーン及びブルーフィルタのパターンによってカバーされるセンサの単一の２次元アレイである。ここでは、各画素での単一のカラーチャネルやセンサ位置のみを記録するＣＦＡセンサの出力は、ＣＦＡ画像として定義される。
【０００４】
画像処理は、３原色平面を組合せて、ＣＦＡ画像からフルカラーを生成するために使用される。本発明は、バイヤーパターンＣＦＡを参照しながら説明されるが、当業者は、他のＣＦＡパターンから得られる画像が、ここで記述される方法と装置を使用して、再構成され得ることを理解するであろう。他のＣＦＡパターンの例は、ヒタチ補色（Ｈｉｔａｃｈｉ  ｃｏｍｐｌｅｍｅｎｔａｒｙ  ｃｏｌｏｒ）（即ち、シアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）、及びグリーン（Ｇ））ＣＦＡであり、これは図２に示されている。
【０００５】
図３に示されているように、メモリ３０６に記憶された近似フルカラーフル解像度画像は、今日では一般に補間装置３０４中のセンサの任意の所与の画素でサンプリングされなかったカラーの値（例えば、レッド、グリーン及びブルー）を補間することによって画像記録モジュール３０２の一部を形成するＣＦＡセンサを使用して得られる。バイヤーパターンでは、二つの形態の補間が必要である。一方は、ブルー又はレッドがサンプリングされたサイト（即ち、輝度再構成）で欠落しているグリーンの情報を合成するためであり、そして他方は、クリーン又はブルー／レッドがサンプリングされたサイト（即ち、色差再構成）で欠落しているレッド／ブルーを合成するためである。
【０００６】
バイヤーパターンのようなＣＦＡセンサは、輝度をサンプリングする頻度よりも少ない頻度で色差をサンプリングするので、色差再構成の間に、エイリアシングアーチファクトを生成するリスクがより高い。この結果、ＣＦＡ信号処理は、色差再構成の間に生成されるこのようなアーチファクトを訂正するために多くの時間に亘って改良されている。ＣＦＡ画像形成及び再構成に関するより多くのバックグラウンドとして、例えば、以下の米国特許第３，９７１，０６５号、第５，３８２，９７６号、第５，５０６，６１９号、及び第５，６２９，７３４号を参照のこと。
【０００７】
また、信号処理技術は、輝度再構成の為に開発されている。輝度再構成のための三つの共通の方法は、４つの取り囲むグリーン画素の平均を取る双一次補間、センサのロー（行）とコラム（列）に対して４５°の角度でサイン関数の有限ウインドウ近似を有するグリーンのたたみ込みを見付けるローパスフィルタ処理、及び二つの中間のランクの取り囲むグリーン画素の平均を取るメジアン補間である。
【０００８】
これらの既知の輝度再構成方法は、それらが適用する平均化の無差別的性質に起因して、エッジの近傍において顕著なアーチファクトを導入するので、局所的に検出されたパターンに基づいて補間装置を選択する決定指向補間方法が発明された。何れが適切な補間装置であるかを決定するために使用された特徴（機能）の例は、局所平均閾値処理画像及び局所グラジエントとラプラス値を含む。色差アーチファクトを減少するための方法に関する更なる背景として、米国特許第４，６４２，６７８号、第４，７１６，４５５号、第４，７２４，３９５号、第４，８０３，５４８号、第５，６２９，７３４号、第５，３７３，３２２号、及び第５，７７８，１０６号を参照のこと。
【０００９】
既存の輝度再構成方法は、グリーンチャネル情報を再構成するために、空間的補間を使用しているので、ドキュメント画像におけるテキストのような、多くのエッジを含むＣＦＡ再構成画像の効果的解像度は、均等にスケーリングされたグレースケールセンサからの画像よりも低くなる事は不可避である。この結果、機械と人間の両方に対してドキュメント画像の読み易さが大きく低下される。従って、このような解像度ロスを回避するために、空間的補間以外を使用して、ＣＦＡ画像における欠落しているグリーンチャネル値を再構成する電子カメラ画像形成システムを提供することが望まれている。
【００１０】
【課題を解決するための手段】
本発明によれば、カラーフィルタアレイ（ＣＦＡ）センサの色差サンプルは、異なるカラーチャネル間の関係について推定することによって、より高い解像度輝度チャネルを再構成するために使用される。再構成されたＣＦＡ画像記録ドキュメント画像は、ドキュメント画像中の文字形状についての高い空間周波数情報が本発明の再構成方法によって保持されているので、可読性が改良される利点がある。
【００１１】
本発明の一態様によれば、ＣＦＡ画像を再構成するための装置と方法が提供される。画像記録モジュールは、カラーフィルタアレイから出力されたサンプル地の画像を発生する。この画像中の各画素は、複数のカラーチャネルの内の一つのサンプル値が記録された位置を有する。画像再構成モジュールは、画像中の選択された画素の位置でのサンプル値を線形変換してその画像中の選択された画素の位置で画像記録モジュールによって記録されないカラーチャネルを推定する。これは、色収差の無いレンズを仮定しており、線形変換は、選択された画素位置での欠落したカラーチャネルを、その位置におけるサンプル値を使用して、推定するために使用される。
【００１２】
本発明の他の態様によれば、線形変換の係数は、第１の実施の形態において、画像のウインドウ内の少なくとも二つカラーチャネルのサンプルを位置ではなくてサンプル値に依存する統計量を演算することによって推定される。この実施の形態によれば、係数は、例えば、そのウインドウのカラーチャネルの各々の平均と分散を等化することによって画像のウインドウに亘って平均値を演算することによって演算される。
【００１３】
本発明の他の実施の形態によれば、線形変換の係数は、第２の実施の形態において、画像のウインドウを通過するラインに沿ってカラーチャネルの少なくとも一セットの合計への回帰を使用するラインを当てはめることによって推定される。例えば、バイヤーパターンのレッドのカラーチャネルの複数セットの合計がレッドのローにおける複数対のレッドとグリーンの合計を使用して回帰を演算することによって決定される。
【００１４】
本発明のこれらの及び他の態様は、添付の図面に関連して以下の記述を読む事によって明瞭になる。
【００１５】
【発明の実施の形態】
１．概説
図面を参照して、図４は、本発明を組み込む電子カメラ画像形成システム４００のブロック図を示す。このシステム４００は、ＣＦＡ画像を画像再構成モジュール４０４へ出力する画像記録モジュール３０２を含む。他の実施の形態において、ＣＦＡ画像が画像再構成モジュール４０４へ出力される前に、追加の処理が実行されてもよいことが理解されるべきである。例えば、ＣＦＡ画像は、圧縮され、送信され、そして画像再構成モジュール４０４に到達する前に圧縮解除されることが出来る。再構成モジュール４０４は、ＣＦＡ画像中でサンプリングされたカラーチャネル値を線形変換することによって欠落したカラーチャネル値を推定する。画像再構成モジュール４０４の出力は、フルカラー又はグレースケールフル解像度再構成画像としてメモリ４０６に記憶される。他の実施の形態では、画像がメモリ４０６に記憶される前に、追加の処理が実行されてもよい事が理解されるべきである。例えば、画像は、メモリ４０６に記憶される前に、圧縮されても或いはサブ領域サンプリングされてもよい。
【００１６】
従来知られているように、画像記録モジュール３０２は、従来の光学系を介して向けられる画像を記録するための画像センサを含む。この画像センサは、図１に示されるバイヤーフィルタのようなＣＦＡによってカバーされる。画像センサが光に露出されると、この画像センサの各画素は、その画素位置に適用されるカラーフィルタに依存して、レッド、グリーン又はブルーカラー値の何れかを記録する。これらのカラー値は、アナログ／デジタル変換器を使用して変換されてＣＦＡ画像を発生し、画像再構成モジュール４０４へ入力される。
【００１７】
オペレーションメモリ（図示せず）を有するプロセッサ（図示せず）は、システム４００の動作を制御する。プロセッサは、ユーザからの入力信号を受信し、画像記録モジュールとの接続によって画像を記録する。ＣＦＡ画像の一部又は全てが生成されると、プロセッサは、画像再構成モジュール４０４と接続する。再構成された画像は、後でディスプレイするため又は他のデバイスへの転送の為にメモリ４０６に記録される。
【００１８】
図５は、再構成された画像をＣＦＡ画像から生成するために画像再構成モジュール４０４によって実行されるステップを記述するフロー図を示す。始めに、ステップ５００において、ＣＦＡ画像が画像記録モジュール３０２から捕獲される。続いて、ステップ５０２において、ＣＦＡ画像は、事前に定義されたサイズ”Ｗ”を有する複数のウインドウへ分割される。一実施の形態において、ウインドウのサイズは、各辺上の隣接するウインドウが１６画素だけオーバーラップする３２ｘ３２個の画素である。ステップ５０４において、線形変換の係数は、ステップ５０２で識別されたＣＦＡ画像のウインドウの各々に対して推定される。
【００１９】
ステップ５０６において、線形変換は、ステップ５０２で定義されたＣＦＡ画像のウインドウの各画素へ適用され、ステップ５０４で推定された係数を使用して原稿ドキュメント画像における欠落カラーチャネルのサンプルを演算する。３２ｘ３２ウインドウサイズを有する上で指定された実施の形態において、各ウインドウは、１６個の画素だけ隣合うウインドウをオーバーラップし、線形変換がステップ５０６で完全にオーバーラップした画素のウインドウの中心の１６個の画素のみに適用される。ステップ５０６において、フルカラー又はグレースケール画像は、観察されたＣＦＡサンプルをステップ５０６で推定されたサンプルと組合せることによって再構成される。
【００２０】
２．線形変換を使用するための直感
図５に示されるステップ５０６で指定される線形変換は、二つのカラーチャネルに対して定義される。ここで、画像形成されるべきオブジェクトの表面上の小さな十分な領域（例えば、テキストを有するドキュメント）内で、唯二つの個別の広がった反射率機能（例えば、白い紙と、カラートナーの組合せ）を有する材料の組合せと一定の光源カラーが存在する。これらの反射率がこの光源と掛け合わされると、二つのカラー、即ち、前景カラーと背景カラーが形成される。更に、画像形成プロセスは、ブラーリング（ぼやかし）とサンプリングプロセスより成り、そこでブラーリングは、線形でありカラーからは独立している。本発明は、ＣＦＡカラーセンサを使用すると共にグレースケールセンサを保持するためにこの局所的２色特性を利用する。空間的な仮定を行ない且つ欠落したＣＦＡサンプルカラー値を補間するのではなくて、ステップ５０６で指定された線形変換は、カラー干渉性を仮定することによってサンプルカラー値を欠落したカラー値に線形変換するために使用される。
【００２１】
前景カラーと背景カラーとの間の線形の関係を定義するための直感論理（ｉｎｔｕｉｔｉｏｎ）が図６乃至図９に示されている。図６は、ここで記述される文字”ｔｅｘｔ”を有するドキュメント画像６００を示しており、この文字は、グリーンとレッドカラーチャネルを使用して画定される。図７は、図６に示されるドキュメント画像６００のセクション６０２を示す。図８は、グリーンカラーチャネル６０４とレッドカラーチャネル６０６が図７に示されるドキュメント画像６００のセクション６０２のコラム軸に沿って変化する場合のグリーンカラーチャネル６０４とレッドカラーチャネル６０６のグラフを示す。図９は、図８に示されるように、グリーンカラーチャネルの値を対応するコラム位置におけるレッドカラーチャネルの値に対してプロットするグラフである。例えば、図８に示されるグラフ上のグリーンカラーチャネル値６０４と対応するレッドカラーチャネル値６０６は、図９に示されるグラフ上のサンプル点６０８を指定する。
【００２２】
図９に示されるように、図６と図７に示されるドキュメント画像６００のセクション又は部分６０２を形成するカラー同士間に線形（一次）関係が存在する。この線形の関係を利用することによって、ＣＦＡ画像におけるサンプリングされた色差の線形変換を使用して、輝度値を推定することが可能となる。
【００２３】
３．線形変換を推定するためのモデル
図５に示されるステップ５０６で述べられた線形変換のための推定値（ｅｓｔｉｍａｔｏｒｓ）を誘導するために、以下のモデルは、Ｒ／Ｇ／Ｂ画素の中心である位置（ｙ，ｘ）でサンプリングされる各カラーチャネルＲ、Ｇ、Ｂの画素値に対して定義される。ここで定義されるように、”ｙ”は、画像のローを示し、”ｘ”は、その画像のコラムを示す。拡散反射のみがありノイズがなく、画素値発生プロセスが線形（即ち、カメラのガンマが１に等しい）であることを前提とする。これらの前提において、良好な近似のために、オブジェクト（例えば、紙とインク又はトナー）、カラーフィルタ透過スペクトル、センサエレメント感度スペクトル、及び光源スペクトルの積の波長に亘って積分されるので、任意のサンプリングされた画素値が指定され得る。
【００２４】
純粋な背景ポイントに対して、この積分は、（スカラー）拡散光源強度Ｄ（ｙ，ｘ）の成分Ｋr、Ｋg、Ｋbを有するカラーベクトルとの積として因数分解される。同様に、純粋な前景ポイントでサンプリングされた画素値は、Ｄ（ｙ，ｘ）の前景カラーベクトル（Ｆr、Ｆg、Ｆb）との積として記述され得る。ブラーの効果は、任意のサンプリングされた値が前景と背景画素値の線形組合せであることを意味する。ブラーが任意の所与のポイントでの各チャネルに対して同じであるならば、この線形の組合せは、全てのチャネルに対して１つのスカラー関数(（ｙ，ｘ）によって記述されることが出来、この関数は、純粋な前景ポイントで値１であり、純粋な背景ポイントでは０である。これらの前提下で、各チャネル毎に観察される画素値は、以下のように記述される。
【００２５】
Ｒ（ｙ，ｘ）＝Ｄ（ｙ，ｘ）（α（ｙ，ｘ）Ｆr+（１−α（ｙ，ｘ）Ｋr）
Ｇ（ｙ，ｘ）＝Ｄ（ｙ，ｘ）（α（ｙ，ｘ）Ｆg+（１−α（ｙ，ｘ）Ｋg）
Ｂ（ｙ，ｘ）＝Ｄ（ｙ，ｘ）（α（ｙ，ｘ）Ｆb+（１−α（ｙ，ｘ）Ｋb）
【００２６】
上記等式を使用して、Ｇ（ｙ，ｘ）は、Ｒ又はＢのみが既知のであるポイントで推定される。上記等式を直接使用するために、６個の定数（即ち、Ｆr、Ｆg、Ｆb、Ｋr、Ｋg、Ｋb）と２個のスカラー関数（即ち、Ｄ（ｙ、ｘ）とα（ｙ，ｘ））を知ることが必要である。ドキュメントのカメラ画像において、照明の変化（即ち、拡散光源強度Ｄ（ｙ，ｘ））は、通常ゆっくりと変化するので、Ｄ（ｙ，ｘ）は比較的に容易に推定される。しかしながら、純粋の前景画素値（即ち、Ｆr、Ｆg、Ｆb）は、ドキュメント画像における文字のストロークの太さに起因して推定が困難であり、関数α（ｙ，ｘ）が急速に変化している。本願は、例えば、上記の等式を同時に解いてＧとＲ及びＧとＢを推定することによって、以下のようにα（ｙ，ｘ）を削除することを提案している。
【００２７】
【数１】
0004130546.tif 000002
【００２８】
一実施の形態（ここでは、以降”実施の形態Ａ”と呼ばれる）において、これらの等式は、より容易な推定のための前景及び背景定数パラメータ”ａc”と”ｂc”（カラーチャネルＣ、即ち、Ｒ、Ｇ、Ｂを有する）、局所サンプルＲ（ｙ，ｘ）、Ｇ（ｙ，ｘ）及びＢ（ｙ，ｘ）、並びに関数Ｄ（ｙ，ｘ）に関連して以下のように書換え可能である。
【００２９】
Ｇ（ｙ，ｘ）＝  ａrＲ（ｙ，ｘ）+  ｂrＤ（ｙ，ｘ）
Ｇ（ｙ，ｘ）＝  ａbＢ（ｙ，ｘ）+  ｂbＤ（ｙ，ｘ）
【００３０】
他の実施の形態（以下、”実施の形態Ｂ”と呼ばれる）において、背景カラーＤ（ｙ，ｘ）がドキュメント画像中で十分にゆっくりと変化しており、それは定義されたウインドウサイズ内で一定であると考えられる場合がしばしばである。実施の形態Ｂにおいて、上記等式は、前景及び背景定数パラメータ”ａc”と”ｂ’c”（カラーチャネルＣ、即ち、Ｒ、Ｇ、Ｂを有する）、及び局所サンプルＲ（ｙ，ｘ）、Ｇ（ｙ，ｘ）及びＢ（ｙ，ｘ）に関して以下のように形式化される。
【００３１】
Ｇ（ｙ，ｘ）＝  ａrＲ（ｙ，ｘ）+ｂr’
Ｇ（ｙ，ｘ）＝  ａbＢ（ｙ，ｘ）+ｂb’
【００３２】
実施の形態Ｂは、図５にし召されるフロー図に対応しており、そこでは、ウインドウベースのアプローチが前景及び背景カラー係数”ａ”と”ｂ”の両方を演算するための使用される。上述の実施の形態Ｂの実施において、各辺で１６個の画素だけオーバーラップする３２ｘ３２画素ウインドウが好ましい。
【００３３】
実施の形態Ａは、図１０に示されるフロー図に対応し、そこでは、図５のステップ５０４がステップ５１０、５１２、５１４、５１６及び５１８で置き換えられている。実施の形態Ａとは異なり、背景カラーは、実施の形態Ｂのステップ５１０で決定される。背景カラーを決定するための方法は、”Ｂａｃｋｇｒｏｕｎｄ  Ｓｕｒｆａｃｅ  Ｔｈｒｅｓｈｏｌｄｉｎｇ（背景表面閾値処理）”と題される米国特許出願番号第０９／４２７，８３３に開示されている。そこで記述されているように、背景カラーは、ここで開示された方法をローパスフィルタ再構成画像の各チャネルへ適用することによって決定される。ステップ５１２において、連結成分（ｃｏｎｎｅｃｔｅｄ  ｃｏｍｐｏｎｅｎｔ）は、例えば、背景表面閾値処理をローパス再構成画像の輝度へ適用することによって検出される。ステップ５１４において、各バイナリ連結成分に対する前景カラー係数は、次のセクション４で以下に記述される方法の内の一つを成分の拡張に対応する生データの領域に適用することによって決定される。ステップ５１６において、クラスタリングプロシージャが使用されて緊密空間近接にあり且つ類似の推定前景カラー係数を有する成分をグループ化する。このクラスタリングステップによって、特に小さな連結成分に対して、前景カラー係数のより正確な推定が可能となる。
【００３４】
一実施の形態において、ステップ５１６で、連結成分のボロノイ（Ｖｏｒｏｎｏｉ）グラフから開始して、領域成長セグメンテーションが適用される。好ましくは、凝集クラスタリングがステップ５１６で使用され、そこで、ｔ−テストが成分の全ての隣接対（又は、事前に併合された成分のセット）のカラー係数に対して実行され、そしてこのテストに対して最良の係数を与える対が併合される。この処理は、対が十分に高い信頼値を持たなくなるまで繰返される。ステップ５１８において、連結成分の各グループに対して、前景カラー係数が再推定される。ＣＦＡ画像中の欠落カラーサンプルの最終着色は、推定された前景係数と推定された局所背景カラーを使用して、ステップ５０６において画素毎の線形変換によって再び決定される。
【００３５】
４．線形変換の係数の推定
このセクションにおいて、セクション３において上で定義された実施の形態ＡとＢの線形変換の係数”ａ”と”ｂ”又は”ｂ’”を推定するための２つの方法が記述される。ここで”分散方法”として定義される第１の方法は、多くの迅速に変化するカラーを含まないドキュメント画像に対する係数を推定するのに使用されるのが好ましい。ここで”プロファイル方法”として定義される第２の方法は、テキストの異なるカラーの範囲を有するドキュメント画像に対する係数を推定するために使用されるのが好ましい。
【００３６】
４．１分散方法
分散方法は、係数を選択して、あるウインドウＷ（例えば、３２ｘ３２個の画素）内でカラーチャネルＣ（例えば、Ｒ、Ｇ、Ｂ）の各々の平均(cと分散(c2を等化する。即ち、分散方法は、テキストの場合に一般的であるように、基底（ｕｎｄｅｒｌｙｉｎｇ）画像が高度に非静的であり且つ非スムーズであるとしても、あるウインドウＷ内の互いに近接する画素のセットは、類似の一次統計値（即ち、サンプリングされた値に依存するがウインドウＷ内の少なくとも２つのカラーチャネルのサンプルの位置には依存しない統計値）を有することを前提とする。この前提により、ウインドウＷ内の２つのカラーチャネルのヒストグラムは、類似の外観を有するべきである。このように、分散方法下において、実施の形態Ｂの線形変換の係数”ａ”と”ｂ’”が図５のステップ５０４において以下のように計算され得る。
【００３７】
【数２】
0004130546.tif 000003
ｂ’r＝μG‐ａrμR
ｂ’b＝μG‐ａbμB
【００３８】
分散方法は、係数”ａ”の大きさを決定するだけで、その符号を決定しないことが当業者によって理解される。カラーフィルタアレイの空間感度と共通の光源とインク／トナー反射率の性質のオーバーラップによってこれらの係数”ａ”が負である可能性が無くされる。
【００３９】
分散方法は、画像の全てＲの画素が正規分布から独立して引出される場合に最適である。しかしながら、これはドキュメント画像にとって貧弱な前提である。分散方法の性能は、ウインドウがあまりに小さく且つ強力な、即ち、高いグレーレベルグラジエント、水平又は垂直エッジを含む時には、低下する。例えば、交互のレッド／グリーン画素のコラムが強い垂直バーの暗い側にあり、且つ交互のグリーン／ブルーの隣接コラムがこのバーの明るい側にあるように画像サンプリンググリッドが位置される場合、係数の推定における大きなエラーが生じる。
【００４０】
また、分散方法は、観察されたカラーを推定された背景カラーによって正規化することによって実施の形態Ａに対する係数”ａ”と”ｂ”を計算するために同様に使用され得る。即ち、
Ｒ’（ｙ，ｘ）＝Ｒ（ｙ，ｘ）／Ｄ（ｙ，ｘ）
Ｇ’（ｙ，ｘ）＝Ｇ（ｙ，ｘ）／Ｄ（ｙ，ｘ）
Ｂ’（ｙ，ｘ）＝Ｂ（ｙ，ｘ）／Ｄ（ｙ，ｘ）
が計算され、且つこのセクションの始めの４つの等式におけるＲ’、Ｇ’、Ｂ’の平均と分散が使用される。
【００４１】
４．２プロファイル方法
プロファイル方法は、レベルセット（即ち、一定画素値の領域）としてある画像ウインドウＷのロー又はコラムをモデル化することによって強いエッジの存在を活用するようにしている。画像のレッド／グリーンコラムに沿ってある水平バーの画像を仮定すると、バーに沿ったレッド画素の画素値の合計は、バーに沿ったグリーン画素の合計（例えば、バーの端部におけるサブ画素シフトに対する何らかの修正のプラス又はマイナス）と等しくあるべきである。画像ウインドウの種々のローやコラムに対する一セットのこのような（例えば、クリーンの合計、レッドの合計）対を仮定すると、ラインはそれらに当てはまり、係数を決定する。
【００４２】
より具体的には、プロファイル方法を使用して、実施の形態Ｂにおける線形変換のレッドチャネルの係数は、図５のステップ５０４のおいて、２つのステップで計算される。第１のステップでは、レッド画素を含むＣＦＡ画像のウインドウＷの各ローとコラムに沿うレッド（Ｒ）とグリーン（Ｇ）画素の合計が決定される。
【００４３】
より具体的には、前記第１のステップにおいて、”ｈ”個のレッドローと”ｗ”個のレッドコラムを有するＣＦＡ画像のウインドウＷが与えられると、これらの合計は、長さｈ+ｗのベクトル（今後、”合計ベクトル”と呼ぶ）として考えられ、全てのローの合計に、すべてのコラムの合計が続く。ここで与えられる合計処理において、所与のウインドウに対する被加数によって指示されるタイプの全ての画素に亘る範囲でインデックスが付される。座標の原点は、レッド画素である、ウインドウＷの左頂部であるように選択される。ローｋに対するレッドの合計とグリーンの合計は、
【数３】
0004130546.tif 000004
で得られる。
【００４４】
同様に、コラムｋに対するレッドの合計とグリーンの合計は、
【数４】
0004130546.tif 000005
から得られる。
【００４５】
第２のステップにおいて、ラインは、最小二乗一次回帰によって合計ベクトルにおいてレッドとグリーンロー合計対とコラム合計対よりなるプロットに当てはまる。一次回帰の結果によって、実施の形態ＡとＢにおいて線形変換の係数に対する推定が行なわれる。
【００４６】
図１１乃至図１４は、プロファイル方法の適用の例を示している。図１１に示されるように、この例は、プロファイル方法をサンプリンググリッド６５０に対して０°のベースラインを有する文字”ａ”の画像へ適用する。レッドとグリーンロー合計対に対する合計とコラム合計対に対する合計が夫々図１２と図１３に示される。図１２と図１３において、クロス（×）（例えばクロス６６０）は、サンプリンググリッド６５０（例えば、コラムライン６５２とローライン６５４）を通過するレッド又はブルーライン上のグリーン合計を表し、円（○）（例えば、円６６２）は、レッドライン上のレッド合計を表し、三角形（△）（例えば、三角形６６４）は、ブルーライン（例えば、コラムライン６５６とローライン６５８）上のブルー合計を表す。この例では、グリーンとレッドの合計対のプロットのライン６８０の回帰によって決定される正規化係数は、図１４に示されるように一貫（ｕｎｉｔｙ）している。
【００４７】
類似のプロシージャが、計算され且つ図１２と図１３に示されるブルーライン上のブルー合計を使用して、ブルーチャネルに対する係数を推定するために使用される。ブルーチャネルに対する係数の推定において、更に、ブルーライン上のグリーン合計が計算されることが続く。これらのグリーンとブルーの合計対が与えられると、ブルーライン上のブルー合計とブルーライン上のグリーン合計のプロットの回帰は、ブルーチャネルの係数を演算するために使用される。
【００４８】
４．３プロファイル方法の他の実施の形態
他の実施の形態において、ライン上のポイントの一つが既知の場合、例えば、背景カラーが純粋なブラック（即ち、レッド、グリーン及びブルーに対してゼロ値）、又は実施の形態Ａのように、別の背景カラー推定フェーズを使用することによって純粋なブラックへ正規化された時に、制約線形最小二乗回帰プロシージャが使用され得る。このような場合に対する適切な背景正規化又は制約最小二乗プロシージャは、当業者にとって明らかである。更に他の実施の形態において、信頼性測度は、各ロー又はコラム合計対に対して演算され、且つ最良の信頼性測度を有する合計の対のみが線形回帰に含まれる。更に他の実施の形態において、信頼性測度ではなくて、分散測度が、各ライン合計対が演算され、重み付け線形回帰が合計の対のあるサブセットを使用して、カラー係数を推定するために適用される。
【００４９】
以下に、これら他の実施の形態の一組合せが示され、そこでは、背景カラーが純粋なブラックであると仮定され、信頼性測度が回帰中に合計のどの対が含まれるべきかを決定するために使用される。ここで、プロファイル方法は、線形回帰から最良に抽出されるレベルセットとしては十分にモデル化されない可能性のあるローやコラムを保証するために適用される。プロファイル方法のこの他の実施の形態は、ロー又はコラムの合計に対し低い全変動を有するこれらのロー又はコラムを選択することによってこれを成就する。この他の実施の形態において、信頼性測度は、ロー又はコラムにおいて、グリーン画素の全変動Ｖに対するグリーン合計の比率を取ることによって各ローとコラム毎に決定される。ローｋに対して、全変動Ｖは、
【数５】
0004130546.tif 000006
として定義される。
【００５０】
信頼性測度Ｑは、長さｈ+ｗのベクトルであると考えられ、画像ロー又はコラムにおける画素数の平方根によって重み付けされる画像(中のノイズの強度を測定するパラメータを以下のように含む。
【数６】
0004130546.tif 000007
【００５１】
ＱのＰ個の最も大きな値を有するローとコラムが選択され、且つ最小二乗線形回帰によってラインに当てはめられる。この他の実施の形態において、ＣＦＡ画像のウインドウＷが文字の境界ボックスに対応する場合、Ｐ＝４である。”ｏｐ”がＱｏｐがＱのｐ番目に大きな値であるようにインデックスを指す場合、ａの係数の推定は、
【数７】
0004130546.tif 000008
で与えられる。
【００５２】
類似のプロシージャがブルーチャネルに対する係数を推定するために使用される。
【００５３】
信頼性プロシージャではなくて重み付け線形回帰プロシージャを使用する他の実施の形態において、一対のカラー合計に対する適切な分散側度が量：
ｎб2+Ｖk2
によって与えられる。
【００５４】
５．推定された係数の適用
実施の形態Ａ又はＢの何れかにおいて係数”ａ”と”ｂ”又は”ａ”と”ｂ’”が決定されると、画像のグリーンチャネルは、上述の線形変換を適用することによって得られる。フルカラー画像が望ましい場合、欠落レッド（ブルー）画素は、同様に、サンプリングされたグリーンやブルー(レッド)画素で決定されてもよい。実施の形態Ａを使用して動作するシステムでは、グリーン及びブルー画素が与えられる欠落レッド画素を決定するために変換は、以下の式の通りである。
Ｒ（ｙ，ｘ）＝（Ｇ（ｙ，ｘ）−ｂrＤ（ｙ，ｘ））／ａr
Ｒ（ｙ，ｘ）＝（ａbＢ（ｙ，ｘ）+  （ｂb−ｂr）Ｄ（ｙ，ｘ））／ａr
【００５５】
実施の形態Ｂを使用して動作するシステムでは、グリーンとブルー画素が与えられる欠落レッド画素を決定する変換は、以下の式の通りである。
Ｒ（ｙ，ｘ）＝（Ｇ（ｙ，ｘ）−ｂr’）／ａr
Ｒ（ｙ，ｘ）＝（ａbＢ（ｙ，ｘ）+（ｂb’−ｂr’）／ａr
【００５６】
６．その他
システムの夫々の部分は、ハードウエアプラットフォーム上で使用され得るポータブルソースコードを提供するソフトウエア開発環境を使用して、ソフトウエアで用意に実施され得る。或いは、開示されたシステムの夫々の部分は、標準の論理回路を使用するハードウエアで部分的或いは全面的に実施され得る。ソフトウエア或いはハードウエアは、このシステムを実施するためにソフトウエアやハードウエアが使用されようと、そのシステムの速度と効率要求、及び利用されるべき特定の機能と特定のソフトウエアやハードウエアシステム及び特定のマイクロプロセッサやマイクロコンピュータシステムによって変化する。しかしながら、このシステムは、コンピュータ技術の一般的知識及びここで提供される機能の記述から過度の実験を行なうことなく、当業者によって容易に開発されることが可能である。
【００５７】
本発明は、特定の実施の形態を参照して記述された。この明細書を図面と共に読み理解することによって本発明の変更や代替が可能となる。これらの実施の形態は、単に例示に過ぎず、特許請求の範囲に含まれる事が意図されるこの教示から当業者によって種々の代替、変更、バリエーションや改良が行われ得る。
【図面の簡単な説明】
【図１】バイヤーパターンに対する主ＣＦＡのパターンの図である。
【図２】ヒタチの相補カラーパターンに対するＣＦＡのパターンの図である。
【図３】従来の技術の画像補間装置を有するＣＦＡ電子カメラ画像形成システムのブロック図である。
【図４】本発明に従う電子カメラ画像形成システムのブロック図である。
【図５】ＣＦＡ画像から再構成された画像を生成するために図４に示される画像再構成モジュールによって実行されるステップを示すフロー図である。
【図６】中に文字”ｔｅｘｔ”を形成するグリーンとレッドのカラーチャネルを使用して定義されるドキュメント画像を示す図である。
【図７】図６に示されるドキュメント画像の部分図である。
【図８】グリーンカラーチャネルとレッドカラーチャネルが図７に示されるドキュメント画像の部分のコラム軸の沿って変化する場合のグリーンカラーチャネルとレッドカラーチャネルのグラフである。
【図９】図８のグラフに示されるように、対応するコラム位置においてレッドカラーチャネルの値に対してグリーンカラーチャネルの値をプロットするグラフである。
【図１０】図５のステップ５０４が図１０のステップ５１０、５１２、５１４、５１６及び５１８で置き換えられる、図５におけるフロー図の他の実施の形態のフロー図である。
【図１１】文字”ａ”の画像を示す図である。
【図１２】図１１に示される画像のローに沿って演算されるカラー合計のプロット図である。
【図１３】図１１に示される画像のコラムに沿って演算されるカラー合計のプロット図である。
【図１４】図１２と図１３に示される合計を使用して、レッドチャネルの係数を推定するラインの回帰を示す図である。
【図１】
0004130546.tif 000009
【図２】
0004130546.tif 000010
【図３】
0004130546.tif 000011
【図４】
0004130546.tif 000012
【図５】
0004130546.tif 000013
【図６】
0004130546.tif 000014
【図７】
0004130546.tif 000015
【図８】
0004130546.tif 000016
【図９】
0004130546.tif 000017
【図１０】
0004130546.tif 000018
【図１１】
0004130546.tif 000019
【図１２】
0004130546.tif 000020
【図１３】
0004130546.tif 000021
【図１４】
0004130546.tif 000022