(57)【要約】【課題】横の色の影響を制御可能なカラー画像形成システムを提供する。【解決手段】空間的に変化する鮮鋭化フィルタ及びカラーレジストレーションモジュールは、補正されにくい光学系における著しい横の色を補正する。１態様では、カラー画像形成システムは、画像形成オプティクス、センサアレイ及び処理モジュールを含む。処理モジュールは、レジストレーションモジュール及び空間的に変化する鮮鋭化フィルタを含む。画像形成オプティクスは、横色収差に苦しむ。センサアレイは、色収差を含む光学画像の色画素を捕捉する。空間的に変化する鮮鋭化フィルタは、画像を鮮鋭化し（たとえば横の色により生じるぼやけを低減し）、カラーレジストレーションモジュールは、画像の異なるカラーチャネルにリアライメントを施す。【選択図】図１
2010028814.tif 000002
【特許請求の範囲】
【請求項１】
対象物の複合カラー画像を生成するカラー画像形成システムであって、
当該カラー画像形成システムは、
前記対象物の色収差を含む光学画像を形成する画像形成光学手段と、
前記色収差を含む光学画像のカラー画素を捕捉するために設けられるセンサアレイであって、前記カラー画素の有効画素ピッチを有するセンサアレイと、前記カラー画素は前記色収差を含む光学画像における異なる色帯域に対応するネイティブカラーチャネルを含み、前記色帯域のそれぞれはピーク波長を有し、スペクトルに関して隣接する色帯域は、それらのピーク波長で、前記センサアレイのエッジで接線方向に沿って少なくとも２の有効画素ピッチだけずれており、
前記センサアレイに通信可能に結合され、前記ネイティブカラーチャネルから複合カラー画像を生成する処理モジュールであって、前記画像の異なるカラーチャネル間のずれをなくすカラーレジストレーションモジュールと、前記画像の少なくとも１つのコンポーネントチャネルを鮮鋭化する空間的に変化するフィルタとを含む処理モジュールと、
を有することを特徴とするカラー画像形成システム。
【請求項２】
前記少なくとも１つのコンポーネントチャネルは、前記異なるカラーチャネルがレジストレーションが施される前に鮮鋭化される、
請求項１記載のカラー画像形成システム。
【請求項３】
前記異なるカラーチャネルは、前記少なくとも１つのコンポーネントチャネルが鮮鋭化される前にレジストレーションが施される、
請求項１記載のカラー画像形成システム。
【請求項４】
前記画像は、複数のタイルに分割され、前記空間的に変化する鮮鋭化フィルタは、それぞれのタイルで空間不変であり、タイルからタイルにわたり空間的に変化する、
請求項１記載のカラー画像形成システム。
【請求項５】
前記複数のタイルは極のセクタである、
請求項４記載のカラー画像形成システム。
【請求項６】
前記空間的に変化する鮮鋭化フィルタは、空間的に変化するウィーナーフィルタである、
請求項１記載のカラー画像形成システム。
【請求項７】
前記画像のエッジで、前記空間的に変化する鮮鋭化フィルタは、前記接線方向に沿って前記画像を鮮鋭化する、
請求項１記載のカラー画像形成システム。
【請求項８】
前記有効画素ピッチの０．５倍のナイキストレートに等しい接線方向の空間周波数の前記空間的に変化する鮮鋭化フィルタの正規化されたゲインは、軸上に比較して前記センサアレイのエッジで少なくとも２倍大きい、
請求項１記載のカラー画像形成システム。
【請求項９】
前記画像は、複数のコンポーネントチャネルを含み、
前記空間的に変化する鮮鋭化フィルタは、全てのコンポーネントチャネルよりも少ないコンポーネントチャネルを鮮鋭化する、
請求項１記載のカラー画像形成システム。
【請求項１０】
前記空間的に変化する鮮鋭化フィルタは、前記ネイティブカラーチャネルの少なくとも１つを鮮鋭化する、
請求項１記載のカラー画像形成システム。
【請求項１１】
前記センサアレイは、前記ネイティブカラーチャネルを含む複数のネイティブコンポーネントチャネルを捕捉し、
前記空間的に変化する鮮鋭化フィルタは、ネイティブコンポーネントチャネルではない少なくとも１つのコンポーネントチャネルを鮮鋭化する、
請求項１記載のカラー画像形成システム。
【請求項１２】
前記空間的に変化する鮮鋭化フィルタは、全てのカラーチャネルに同じ鮮鋭化処理を適用する、
請求項１記載のカラー画像形成システム。
【請求項１３】
前記空間的に変化する鮮鋭化フィルタは、異なるカラーチャネルに異なる鮮鋭化処理を適用する、
請求項１記載のカラー画像形成システム。
【請求項１４】
前記カラーレジストレーションモジュールは、異なるカラーチャネル間のずれをなくすために前記異なるカラーチャネルをスケーリングする、
請求項１記載のカラー画像形成システム。
【請求項１５】
前記処理モジュールは、前記画像における歪みを補正する歪み補正モジュールを更に有する、
請求項１記載のカラー画像形成システム。
【請求項１６】
前記処理モジュールは、前記画像にデモザイク処理を施すデモザイキングモジュールを更に有する、
請求項１記載のカラー画像形成システム。
【請求項１７】
前記処理モジュールは、前記画像におけるエッジを強調する非線形フィルタリングモジュールを更に有する、
請求項１記載のカラー画像形成システム。
【請求項１８】
前記画像形成光学手段は、屈折レンズから構成される、
請求項１記載のカラー画像形成システム。
【請求項１９】
前記画像形成光学手段は、少なくとも１つの回折光学素子を含む、
請求項１記載のカラー画像形成システム。
【請求項２０】
前記有効画素ピッチは、約３μｍと３０μｍとの間である、
請求項１記載のカラー画像形成システム。
【請求項２１】
当該カラー画像形成システムは、少なくとも１２０°の全視野を有する、
請求項１記載のカラー画像形成システム。
【請求項２２】
当該カラー画像形成システムは、３５未満のアッベ数をもつ光学素子を含む、
請求項１記載のカラー画像形成システム。
【請求項２３】
前記センサアレイは、ＶＧＡセンサアレイである、
請求項１記載のカラー画像形成システム。
【請求項２４】
前記ネイティブカラーチャネルは、Ｒ，Ｇ及びＢカラーチャネルである、
請求項１記載のカラー画像形成システム。
【請求項２５】
前記センサアレイは、Ｒ，Ｇ及びＢカラーチャネル及び白色のノンカラーチャネルを含む複数のネイティブコンポーネントチャネルを捕捉する、
請求項１記載のカラー画像形成システム。
【請求項２６】
ある色帯域の少なくとも１つのピーク波長は、９００ｎｍよりも長い、
請求項１記載のカラー画像形成システム。
【請求項２７】
前記センサアレイは、マルチスペクトルセンサアレイである、
請求項１記載のカラー画像形成システム。
【請求項２８】
対象物の複合カラー画像を生成する方法であって、
当該方法は、
前記対象物の色収差を含む光学画像を形成するステップと、
前記色収差を含む光学画像のカラー画素を捕捉するステップと、前記カラー画素は有効画素ピッチにより特徴付けされ、前記カラー画素は前記色収差を含む光学画像における異なる色帯域に対応するネイティブカラーチャネルを含み、前記色帯域のそれぞれはピーク波長を有し、スペクトルに関して隣接する色帯域は、それらのピーク波長で、前記色収差を含む光学画像のエッジで接線方向に沿って少なくとも２の有効画素ピッチだけずれており、
前記ネイティブカラーチャネルから複合カラー画像を生成するステップとを含み、
前記生成するステップは、前記画像の異なるカラーチャネル間のずれをなくすステップと、空間的に変化する鮮鋭化フィルタを適用して、前記画像の少なくとも１つのコンポーネントチャネルを鮮鋭化するステップとを含む、
ことを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえば広角システム及び本質的に分散システムについて、強い横色収差をもつカラー画像形成システムに関する。
【背景技術】
【０００２】
横の色（lateral color）は、あるタイプの波長に固有の収差又は色収差である。横の色は、光学系における分散により光学系の波長に依存する焦点距離を特徴付ける。光学系における歪みにより、光線は波長に依存するやり方で光学面で屈折する。この波長に依存する変動は、特定の表面での入射角が増加するときに更に深刻になる。結果として、横の色は、極端な入射角で第一のレンズ表面に光線が入射する広角システムにおいて更に問題である。また、横の色は、回折光学素子（DOE：Diffractive Optical Elements）の固有の分散的性質のために、ＤＯＥを含む光学系において問題となる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
典型的に、光学系は、光学ガラスのコスト、レンズ系のサイズ、及びレンズ素子の数の観点で多額の費用となることがある、横色収差（lateral chromatic aberration）を最小にするために設計される。おそらく、超広角画像形成システムにおいて補正すべき最も困難な光学収差は、横の色の収差である。１つの従来の方法は、オプティカルトレインにおいて後で負のアクロマートレンズと結合されるレンズシステムの前で大型の湾曲レンズ素子を使用することを含む。しかし、この方法は、レンズシステムのコスト及び複雑度を増加させる。
【０００４】
したがって、高価、大型又は複雑なレンズシステムを必要とすることなしに、横の色の影響を制御することができるカラー画像形成システムが必要とされている。
【課題を解決するための手段】
【０００５】
本発明は、補正されにくい画像形成オプティクスにおいて重要な横の色を補正するため、空間的に変化する鮮鋭化フィルタ及びカラーレジストレーションモジュールを使用することで、従来技術の欠点を克服するものである。
【０００６】
１つの態様では、カラー画像形成システムは、画像形成オプティクス、センサアレイ及び処理モジュールを含む。処理モジュールは、カラーレジストレーションモジュール及び空間的に変化する鮮鋭化フィルタを含む。画像形成オプティクスは、横色収差に苦しむ。たとえば、光学画像のエッジで、それぞれのカラーチャネルは、少なくとも３、４又は更には５つの有効な画素ピッチだけスペクトル的に隣接したカラーチャネルに関してずれている（ミスレジストレーション）場合がある。センサアレイは、色収差された光学画像のカラー画素を捕捉する。空間的に変動する鮮鋭化フィルタは、画像を鮮鋭化し（たとえば横の色により引き起こされたぼやけを低減し）、カラーレジストレーションモジュールは、画像の異なるカラーチャネルにリアライメントを施す。
【０００７】
処理モジュールについて異なるアーキテクチャが可能である。たとえば、画像の鮮鋭化は、カラーチャネル間のずれをなくすこと（レジストレーション）の前又は後ろで生じる場合がある。また、これらの動作は、画像を構成するコンポーネントチャネルの一部、全部、或いはそれ以下で実行される場合がある。コンポーネントチャネルは、全てのカラーチャネルであるか（たとえばＲ，Ｇ，Ｂカラーチャネルのみから構成される画像）又はノンカラーチャネル（たとえばホワイトチャネル又はルミナンスチャネル）を含む場合がある。また、動作は、（ネイティブコンポーネントチャネルと呼ばれる）センサアレイにより捕捉されるコンポーネントチャネルに実行されるか、ネイティブチャネルが異なるフォーマットに変換された場合に他のコンポーネントチャネルに実行される場合がある。
【０００８】
空間的に変動する鮮鋭化フィルタは、異なる形態をとることができる。たとえば、鮮鋭化フィルタは、１つのコンポーネントチャネルをフィルタリングするか又は多数のコンポーネントチャネルをフィルタリングすることができる。多数のチャネルがフィルタリングされる場合、同じフィルタカーネルがそれぞれのチャネルに適用されるか、異なるフィルタカーネルがそれぞれのチャネルについて使用される。１つのアプローチでは、画像は、複数のタイルに分割され、空間的に変動する鮮鋭化フィルタは、それぞれのタイルで空間的に不変であるが、タイルからタイルにわたり空間的に変動する場合がある。回転対称なシステムについて、極座標におけるタイル張りが有効である。１つの特定のタイプの空間的に変動する鮮鋭化フィルタは、空間的に変化するウィーナーフィルタである。
【０００９】
空間的に変動する鮮鋭化フィルタは、好ましくは、低いコントラストの空間周波数を改善する。これらのシステムにとって、回折限界に比較して比較的低い空間周波数は、著しく劣化することがあり、したがって空間的に変動する鮮鋭化フィルタは、好ましくは、これらの周波数で高いゲインを有する。さらに、（サジタル方向とは反対の）接線方向に沿って指向される空間周波数は、横の色のために劣化される。したがって、空間的に変化する鮮鋭化フィルタは、好ましくは、これらの周波数で高いゲインを有する。さらに、横の色による、これらの接線方向に指向される空間周波数のぼやけは、光軸から更に離れたポイントで増加し、したがって空間的に変化する鮮鋭化フィルタのゲインもこれに応じて増加する。
【００１０】
上述されたように、横の色は、広角システム（たとえば少なくとも１２０°の全視野をもつシステム）にとって、及び本質的に分散的なシステム（負のアッベ数を有する回折システムを含めて、３５以下の有効なアッベ数をもつ少なくとも１つの素子を含むシステム）にとって、重要な問題である。したがって、上述されたアプローチは、これらのシステムに適用することができる。
【００１１】
本発明の他の態様は、上述された技術についてのアプリケーション及びコンポーネント、及び全ての上述した内容に対応する方法を含む。
【図面の簡単な説明】
【００１２】
特許又は出願ファイルは、カラーで実施される少なくとも１つの図面を含む。カラー図面をもつこの特許又は特許公開公報のコピーは、要求及び必要な料金の支払いに応じて特許庁により提供される。
【００１３】
本発明は、添付図面と共に読まれたとき、以下の発明の詳細な説明及び添付図面から更に容易に明らかとなるであろう。
【図１】本発明に係るカラー画像形成システムのブロック図である。
【図２】Ｒ，Ｇ及びＢカラーバンドのスペクトル応答を示すグラフである。
【図３】図３Ａから図３Ｃは、横の色収差の影響を例示するカラー画像である。
【図４】図４Ａ及び図４Ｂは、５０ｌｐ／ｍｍの赤チャネルの有効サンプリングレートとなる、赤チャネルの軸上及び８９°の視野でのそれぞれの多色の点拡がり関数（ＰＳＦ）である。
【図５】極座標での空間的に変化する鮮鋭化フィルタのタイル張りを示す図である。
【図６】図６Ａから図６Ｄは、本発明に係る例示的な処理モジュールのブロック図である。
【図７】例示的なカラー画像形成システムの画像形成オプティクスの図である。
【図８】図７のカラー画像形成システムについて、横の色のＭＴＦ及び多色のＭＴＦのそれぞれのプロットである。
【図９】別の例示的なカラー画像形成システムの画像形成オプティクスの図である。
【図１０】図９のカラー画像形成システムの横の色のプロットである。
【図１１】図１１Ａから図１１Ｄは、図９のカラー画像形成システムの機能を例示するカラー画像である。  図面は、説明のために本発明の実施の形態を示すものである。当業者であれば、本明細書で例示される構成及び方法の代替的な実施の形態は本明細書で記載される本発明の原理から逸脱することなしに利用される場合があることを以下の記載から容易に理解されるであろう。
【発明を実施するための最良の形態】
【００１４】
図１は、本発明に係るカラー画像形成システムのブロック図である。本システムは、画像形成オプティクス１１０（たとえばレンズアセンブリ）、センサアレイ１２０（たとえばＣＣＤ検出器アレイ）及び処理モジュール１３０（たとえば専用チップ及び／又はソフトウェアで典型的に実現される）を含む。処理モジュール１３０は、カラーレジストレーションモジュール１３２及び空間的に変化する鮮鋭化フィルタ１３４を含む。カラー画像形成システムは、対象物１５０の複合カラー画像１８０を生成する。画像１８０は、画像を形成するために異なる「チャネル」（おそらく、カラーチャネル及びノンカラーチャネルの両者を含む）が結合されるという意味で複合的である。
【００１５】
センサアレイ１２０は、異なる色帯域に対して感度が高い個々のセンサを含む。たとえば、ＶＧＡセンサアレイは、典型的に、Ｒ，Ｇ又はＢの色帯域に対して感度が高い個々のセンサを含む。図２は、Ｂ，Ｇ及びＢの色帯域についてスペクトル応答２１０Ｒ、２１０Ｇ及び２１０Ｂを示すグラフである。色帯域２１０Ｒ，２１０Ｇ及び２１０Ｂのそれぞれは、ピーク波長２２０Ｒ，２２０Ｇ又は２２０Ｂをそれぞれ有する。センサアレイ１２０は、それぞれの色帯域について異なるデータストリームを生成する。これらのデータストリームは、カラーチャネルと呼ばれる。センサアレイ１２０により生成されるカラーチャネルは、（たとえばネイティブカラーチャネルを異なるフォーマットに変換することで生成される他のカラーチャネルとは対照的に）ネイティブカラーチャネルと呼ばれる。
【００１６】
また、非カラーのチャネルが存在する。たとえば、センサアレイ１２０が色に特化していない（たとえば「ホワイト」画素）個々のセンサを含む場合、結果として得られるデータストリームは、ネイティブのノンカラーチャネルである。用語「コンポーネントチャネル」は、カラーチャネルとノンカラーチャネルの両者を示すために使用される。「ネイティブコンポーネントチャネル」は、センサアレイ１２０により生成されるコンポーネントチャネルを示すために使用される。
【００１７】
センサアレイ１２０における個々のセンサは、幾何学的なパターンで配列される。ベイヤーパターンは、画像のそれぞれのカラー画素について２つの緑のセンサ素子、１つの赤センサ素子及び１つの青センサ素子を含むセンサ素子の２×２パターンである。別の４つの素子のパターンは、それぞれのカラー画素について１つの緑、１つの赤、１つの青及び１つの白のセンサ素子を含む。特定の構成に係らず、センサアレイ１２０は、そのうちの幾つかがカラーチャネルである異なるコンポーネントチャネルから構成されるカラー画素を捕捉する。
【００１８】
センサアレイ１２０におけるセンサ素子の構成は、カラー画素の有効なピッチを決定し、このピッチは、有効カラー画素ピッチ又は有効画素ピッチと呼ばれる。有効画素ピッチは、以下のように決定される。有効画素領域は、カラー画素の全体の数（又はカラー画素が良好に定義されていないセンサの等価なカラー画素の数）により除算される（アクティブなセンサ領域間のデッドスペースを含む）全てのセンサによりカバーされる全体の領域である。有効画素ピッチは、有効な画素領域の平方根である。有効画素ピッチは、センサアレイの物理的な寸法に対応するか、対応しない場合があり、これは、たとえば１．７μｍ〜１５μｍ幅の個々のセンサの範囲に及ぶ。
【００１９】
たとえば、ベイヤカラーパターンを使用した４μｍピッチである個々のスクウェアセンサをもつＶＧＡセンサを考える。６４０×４８０×４×４＝４，９１５，２００μｍ2の全体のセンサ領域について、６４０×４８０センサが存在する。１つのカラー画素を形成するために４つのセンサが使用され、したがって３２０×２４０＝７６，８００μｍ2のカラー画素が存在する。これにより、４，９１５，２００μｍ2／７６，８００＝６４μｍ2の有効画素領域及び８μｍの有効画素ピッチが得られる。
【００２０】
それぞれのコンポーネントチャネルについて同様の量を計算することができる。これらは、有効な色に固有な画素領域及び有効な色に固有な画素ピッチと呼ばれ、又はたとえば赤チャネルについて、有効な赤の画素領域及び有効な赤の画素ピッチと呼ばれる。ＶＧＡの例では、有効な赤の画素ピッチと有効な青の画素ピッチは、両者共に８μｍである。これは、カラー画素当たり１つの赤センサと１つの青センサのみが存在するからである。しかし、有効な緑の画素ピッチは５．７μｍである。これは、カラー画素当たり２つの緑のセンサが存在するからである。これらの量は、それぞれのチャネルについて、全体としてセンサについて有効なサンプリングレートを決定するために使用することができる。
【００２１】
従来のシステムでは、画像形成オプティクスは、横の色を補正するために設計される。しかし、図１では、画像形成オプティクス１１０は、良好に補正されず、著しい横色収差に苦しむ。したがって、オプティクス１１０により形成される光学画像は、横の色のアーチファクトを示す。
【００２２】
図３Ａから図３Ｃは、横色収差の影響を例示するカラー画像である。図３Ａは、横の色のない、ホワイトスポットのアレイの理想的な画像を示す。図３Ｂは、図３Ａの左上のエッジをズームしたものである。異なる色は互いに良好にレジストレーションが施されており、したがってスポットは全て白に見える。図３Ｃは、横の色をもつ画像を示す。
【００２３】
横の色は、多数のカラーチャネルを含む画像における２つの主要なタイプのアーチファクトを生成する。第一に、波長に依存する拡大係数は、問題となる色縁を生成するカラーチャネル間で異なるスケーリングを生じさせる。図３Ｃでは、波長に依存する拡大により、ホワイトスポットの赤、緑及び青チャネルは、互いにずれが生じている。波長に依存する拡大は、画像のエッジで最も顕著にされる。
【００２４】
第二のアーチファクトは、それぞれのカラーチャネルに関連するスペクトルの重み付けによる横のぼやけのアーチファクトである。横の色は、画像の周辺での（サジタルと反対の）接線方向でスペクトル情報を拡散する。したがって、単一のカラーチャネルが図３Ｃに示される全体の不鮮明さと同じ横の範囲を有さない一方で、それぞれのカラーチャネルは、対応する色帯域のスペクトルの重み付けに従って幾らかの不鮮明さ（すなわちぼやけ）を受ける。
【００２５】
これらの影響を観察する別のやり方は、オプティクス１１０の多色の点拡がり関数（ＰＳＦ）又は変調伝達関数（ＭＴＦ）を考慮することである。図４Ａ及び図４Ｂは、著しい横の色をもつオプティクスの多色のＰＳＦである。これら多色のＰＳＦは、ＩＲ遮断フィルタによる赤チャネルについて図２で示されるのと同様に、スペクトルの重み付けで重み付けされたＲ色帯域について約６２０ｎｍのピーク波長の前後の１２の異なる波長についてＰＳＦを計算することで決定される。図４Ａは、軸上のＰＳＦを示す。横の色は、軸上に存在しないので、赤の多色ＰＳＦは、非常に鮮鋭である。しかし、図４Ｂは、８９°の視野で軸上のＰＳＦを示す。接線（極半径）方向における拡がりは明らかである。更なる補正のないブロードバンドなオブジェクトは、解像度における著しい接線方向の損失に苦しむ。
【００２６】
先に述べたように、図１における画像形成オプティクス１１０は、著しい横の色に苦しむ。従来のシステムでは、横の色は、異なるカラー画像が互いに良好にレジストレーションが施されるように補正される。しかし、図１では、横の色により、異なるカラー画像にずれがある。
【００２７】
１つの定量的な測度として、異なる色帯域のピーク波長でのずれの量を考える。ピーク波長２１０Ｒでの画像は、ピーク波長２１０Ｇでの画像に関して幾らかの量だけずれており、ピーク波長２１０Ｇでの画像は、ピーク波長２１０Ｂでの画像に関して幾らかの量だけずれている。幾つかのシステムでは、スペクトル的に隣接する色帯域の画像は、センサアレイのエッジで接線方向に沿って少なくとも２の有効画素ピッチだけそれらのピーク波長でずれる。
【００２８】
言い換えれば、全視野で、ピーク波長２１０Ｒでのスポットの中心は、接線方向に沿って測定されたとき、ピーク波長２１０Ｇでのスポットの中心から離れて少なくとも２の有効画素ピッチであり、ピーク波長２１０Ｇでのスポットは、ピーク波長２１０Ｂでのスポットから離れて少なくとも２の有効な画素ピッチである。他のシステムは、たとえば、少なくとも２．５，３，３．５又は更には４或いは５の有効画素ピッチといった異なる閾値を有する。相対的に、従来のシステムは、最大のずれが典型的に有効画素ピッチの一部であるように横の色を補正する。
【００２９】
横の色に関する緩和された要件は、画像形成オプティクス１１０を簡略化及び／又は安価にすることができるので有効である。しかし、横の色のアーチファクトは、画像処理を使用して対処することができる。図１では、カラーレジストレーションモジュール１３２は、カラーチャネルのずれを補正し、空間的に変化する鮮鋭化フィルタ１３２は、ぼやけを補正する。
【００３０】
カラーレジストレーションモジュール１３２に関して、深刻な横色収差により、光学的な拡大係数は、異なるカラーチャネル間で大幅に変動する。カラーレジストレーションは、画像のリサンプリング又は補間を使用して、異なるカラーチャネルにアライメントを施すプロセスである。このプロセスは、公知であり、従来のアプローチは、典型的に十分である。１つのアプローチでは、カラーレジストレーションモジュール１３２は、異なるカラーチャネルにレジストレーションを施すため、異なる量で異なるカラーチャネルをスケーリングする。これらの技術の典型的なアプリケーションは、１未満の有効な画素ピッチの横の色を補正するために使用される。
【００３１】
空間的に変化する鮮鋭化フィルタ１３４に関して、深刻な横色収差は、接線方向におけるぼやけを生じさせる。空間的に変化する鮮鋭化フィルタは、劣化したコントラストを改善する。
【００３２】
１つのアプローチは、空間的に変化するウィーナーフィルタを使用して画像のコントラストを回復する。ウィーナーフィルタは、コントラストと信号対雑音比（ＳＮＲ）との間の釣り合いのとれたトレードオフを提供する。特定のフィールドロケーションで、ウィーナーフィルタは、以下のようにフーリエ領域で書くことができる。
【数１】
2010028814.tif 000003
この場合、ＧCはウィーナーフィルタの周波数応答である。ＨCは、多色の光学伝達関数（ＯＴＦ）であり、Ｓuuは、画像信号のパワースペクトル密度（ＰＳＤ）であり、Ｓnnは、原画像に加わる雑音のＰＳＤであり、（ω1,ω2）は空間周波数の座標である。多色のＯＴＦは、以下に従って異なる波長のＯＴＦの組み合わせである。
【数２】
2010028814.tif 000004
この場合、ｗC（λ）は、Ｃ番目のカラーチャネルのスペクトル感度である。これらの量は、様々なやり方で推定、近似又は測定することができる。
【００３３】
それぞれの画素について鮮鋭化フィルタを変えることは極めて費用がかかる可能性がある。１つのアプローチは、画像を複数のタイルに分割することであり、この場合、空間的に変化する鮮鋭化フィルタは、それぞれのタイルで空間不変である。システムが回転対称である場合、極のセクタは、タイルの形状について自然な選択である。極の選択は、最小の半径と最大の半径との間の領域及び最小の角度と最大の角度との間の領域として定義される。図５は、極座標における空間的に変化する鮮鋭化フィルタのタイル張りを示す図である。係るタイル張りは、連続的に変動する鮮鋭化フィルタを近似するために使用することができる。それぞれのタイルでのデジタルフィルタは、空間不変である。
【００３４】
別の実現は、デジタルフィルタの係数をタイル内の異なるθの値に従って回転させる場合がある。たとえば、フィルタカーネルが主に接線方向に沿って（すなわち極の半径の座標ρに沿って）鮮鋭化するものとする。次いで、θ＝４５°を持つ画素に適用されるフィルタカーネルは、好ましくは、θ＝４７°をもつ近傍の画素にシンプルにｘ−ｙ変換されない。むしろ、フィルタカーネルは、好ましくは、θ＝４５°の代わりにθ＝４７°に沿って主要な鮮鋭化が調整されるように、２°だけ回転される。このタイプのフィルタは、極の半径の座標ρに関して空間的に不変である。
【００３５】
空間的に変化するフィルタのゲインは、好ましくは、極座標ρと共に増加する。たとえば、有効画素ピッチの０．５倍のナイキストレートに対応する接線方向の空間周波数のスペクトルゲインは、光学的な中心（ρ＝０）から光場のエッジ（ρ最大）まで２×のファクタにより増加する場合がある。他のシステムは、横色収差の量と感色性のスペクトル幅とに依存して１．５×から８×と同じ程度のファクタにより接線方法のスペクトルゲインを増加する場合がある。
【００３６】
図１に戻り、図６Ａから図６Ｄは、処理モジュール１３０の異なる実現のブロック図である。はじめに、カラーレジストレーション及び鮮鋭化フィルタは、何れかの順序で行われる。図６Ａから図６Ｂでは、鮮鋭化は、カラーレジストレーションの前に行われる。図６Ｃから図６Ｄでは、カラーレジストレーションは、鮮鋭化の前に行われる。鮮鋭化フィルタは、典型的に、少なくとも画像のエッジで、主として接線方向に沿って画像を鮮鋭化する。
【００３７】
さらに、同じ鮮鋭化は、全てのチャネルに対して適用されるか、鮮鋭化は、異なるチャネルについて異なることができる。図６Ａでは、同じ鮮鋭化（６３４）は、３つのネイティブカラーチャネル６２２Ｒ，Ｇ，Ｂのそれぞれに適用される。画像が複数のタイルに分割される場合、これは、それぞれのタイル内で、同じフィルタカーネルが３つのカラーチャネルのそれぞれに適用されることを意味する。鮮鋭化されたカラーチャネル６２４Ｒ，Ｇ，Ｂは、互いにレジストレーションが施される（６３２）。図６Ｂでは、異なるフィルタカーネル６３４Ｒ，Ｇ，Ｂは、ネイティブカラーチャネル６２２Ｒ，Ｇ，Ｂを鮮鋭化するために使用される。すなわち、ある画素のＲコンポーネントに適用されるフィルタカーネルは、同じ画素のＧコンポーネントに適用されるフィルタカーネルとは異なる。次いで、鮮鋭化されたカラーチャネル６２４Ｒ，Ｇ，Ｂは、互いにレジストレーションが施される（６３２）。
【００３８】
図６Ｃは、鮮鋭化及びレジストレーションの順序が逆転される点を除いて、図６Ａと同じである。ここで、ネイティブカラーチャネル６２２Ｒ，Ｇ，Ｂは、はじめに、互いにレジストレーションが施される（６３２）。次いで、レジストレーションが施されたチャネル６２４Ｒ，Ｇ，Ｂは、それぞれのカラーチャネルについて同じフィルタカーネルを使用して鮮鋭化される（６３４）。別の変形例では、色に固有のフィルタカーネルは、図６Ｂと同様に使用される。
【００３９】
図６Ｄは、ネイティブなＲ，Ｇ，Ｂカラーチャネルが異なる色空間（Ｙ,Ｃr,Ｃb）に変換され、次いでフィルタリングされる例を示す。この例では、ネイティブなカラーチャネル６２２Ｒ，Ｇ，Ｂは、はじめに、互いにレジストレーションが施される（６３２）。記録されたチャネル６２４Ｒ，Ｇ，Ｂは、ノンネイティブなＹ，Ｃr，Ｃbコンポーネントチャネル６２６に変換される（６４２）。なお、輝度Ｙチャネルは、ノンカラーチャネルであるが、ＣrとＣb色チャネルは、カラーチャネルである。この例では、空間的に変化する鮮鋭化フィルタ６３４は、輝度チャネルにのみ適用される。鮮鋭化された輝度チャネル６２８Ｙは、２つの色チャネルで出力される。代替的に、全ての３つのチャネルは、図６Ｄに示されるように、Ｒ，Ｇ，Ｂに変換される（６４４）。
【００４０】
図７から図１２及び図１３から図１５は、２つの具体的な例を示す。図７から図１２は、超広角アプリケーションの例を示す。この例は、個々のセンサについて約４μｍのピッチをもつＶＧＡ
ＣＭＯＳセンサアレイを使用して１９０°の全視野を有する。カラー画素は、個々のセンサの２×２のベイヤーパターンとして配列され、約８μｍの有効画素ピッチを得ている。この特定の例は、１．２ｍｍの焦点距離をもつＦ／２．８である。システムは、図２に示される曲線に類似したスペクトルの重みをもつ３色のベイヤーフィルタシステムである。
【００４１】
図７は、４つのみのレンズ素子とガラス製カバー板とを使用したレンズシステムの図である。負レンズ素子が存在し、これらに２つの正レンズ素子が後続する。このレンズシステムは、横の色を犠牲にすることで１ｃｍの非常に短い全体のトラック長を達成する。この設計により、横の色を低減するために典型的に使用される負のアクロマートレンズを除き、全体のトラック長を最小にするためにフロントレンズの曲率を低減する。表１は、このレンズシステムの光学的な規定を示す。
【表１】
2010028814.tif 000005
【００４２】
図８Ａは、３つの波長での横の色とフィールドの高さとの関係のプロットを示す。曲線８１０Ｒ，Ｇ，Ｂは、.６２０，.５４０，.４５０μｍの波長に対応する。プロットは、曲線８１０Ｇと相対的なものである。プロットは、ＧカラーチャネルとＲカラーチャネルとの間の視野（約９０°の全視野）のエッジでのグロスセパレーションが約３５μｍ又は近似的に３−４有効画素ピッチに対応することを示す。また、図８Ａは、比較のためにＡｉｒｙディスクのサイズを示す。
【００４３】
図８Ｂは、５４０ｎｍの中心の緑の波長の周辺の９つの波長の重み付けされた組み合わせを使用したサジタル多色ＭＴＦ及びタンジェンシャル多色ＭＴＦを比較している。ＭＴＦ８２０，８２１及び８２２は、０，２５及び４５°のそれぞれでの半視野角についてである。添字“Ｓ”はサジタルを示し、“Ｔ”はタンジェンシャルを示す。サジタルコントラスト８２０Ｓ，８２１Ｓ，８２２Ｓは、全ての３つの視野角でほぼ等しい。しかし、タンジェンシャルコントラスト８２０Ｔ，８２１Ｔ，８２２Ｔは、システムの横の色のために視野角が増加するにつれて、著しく劣化する。
【００４４】
カラーレジストレーションモジュール及び空間的に変化する鮮鋭化フィルタにより横の色の影響は補正される。この例は、図６Ｄに示されるアーキテクチャを使用する。さらに、Ｙ輝度チャネルのみを鮮鋭化するために式（１）のウィーナーフィルタが使用される。このシミュレーションのため、付加的なノイズパワースペクトル密度（ＰＳＤ）は、画像全体にわたりパワーσn2をもつフラットであると想定される。信号ＰＳＤモデルについて、以下のシンプルなモデルを想定する。
【数３】
2010028814.tif 000006
この場合、ｃ1及びｃ2は、画像相関係数であり、σs2は、シグナルパワーを制御するパラメータである。
【００４５】
画像は、全体で１６０のタイルについて１０の半径方向のセグメントと１６の角度方向のセグメントとを使用して、極のセクタにタイル張りされる。それぞれのタイル内の点拡がり関数（ＰＳＦ）は、以下により近似される。
【数４】
2010028814.tif 000007
この場合、ｈi,j(x,y)は、中心（ρi,θj）をもつタイルのＰＳＦ関数であり、ｋは正規化ファクタであり、λは回転対称のぼやけのサイズを制御し、γは接線方向におけるぼやけの量を制御する。フィルタは、それぞれのタイル内で空間的に不変である。タイル張りは、連続して変化する空間変換を近似する。この形態では、ＰＳＦは、接線方向において楕円となり、半径方向の座標ρの観点で線形に増加する。このＰＳＦモデルは、線形の波長に依存する拡大の変化に対するシンプルな近似を提供する。これらの量は、式（１）に適用され、それぞれのタイルについてウィーナーフィルタが導出される。更に洗練されたフィルタは、システムの光学特性に依存し、光学的な規定から計算されるか、又は多色のＯＴＦの物理パラメータから計算することができる。
【００４６】
図９から図１１は、回折光学素子を使用した別の例を示す。この例は、４０°の全視野システムであり、また、約４μｍピッチの個々のセンサをもつＶＧＡ
ＣＭＯＳセンサを使用している。このシステムは、５．５ｍｍの焦点距離を有しており、Ｆ／２．６５である。光学系は、表２に示される光学的な規定により、図９に示される。表面４は、回折光学素子である。
【表２】
2010028814.tif 000008
【００４７】
これは、単一の球面プラスティックレンズ素子であり、フィールド湾曲を補正するために回折光学素子（ＤＯＥ）が後続する。ＤＯＥは、非常に短い全体のトラック長を可能にし、センサのカバーガラス上に直接に製造される。このやり方でＤＯＥを使用することで、著しい横の色のアーチファクトが導入される。これは、固有の分散性により著しい横の色が生じている例であり、前の例は、広い視野角により著しい横の色が生じているケースである。空間的に変化する鮮鋭化フィルタは、図６Ｂのアーキテクチャを使用して実現される。
【００４８】
図１０は、２６°の半視野として示される、３つのカラーチャネル間の横の色のプロットである。曲線１０１０Ｒ，Ｇ，Ｂは、.６２０，.５４０，及び.４５０μｍの波長に対応する。プラス又はマイナス２０°の機能している視野となる横の色の大きさは、広角画像形成システムのそれと同じ横の色を近似的に示す。
【００４９】
図１１Ａから図１１Ｄは、このシステムの性能を例示するカラー画像である。白色光源のグリッドから構成されるシンプルなテストオブジェクトは、このシミュレーションのために使用される。図１１における画像は、テスト画像の左上部分のみを示し、ここで、横の色のアーチファクトは最も深刻である。図１１Ａは、理想的な画像を示す。図１１Ｂは、センサアレイにより捕捉される画像を示す。補足される画像は、３つのカラーチャネル間の全体のミスレジストレーションと同様にノイズアーチファクトを示す。図１１Ｃは、空間的に変化するウィーナーフィルタをカラーチャネルに適用した後の画像を示す。ポイントはかなり鮮鋭化されているが、レジストレーションが施されていないままである。図１１Ｄは、カラーレジストレーション、この場合デモザイキング処理が後続された後の最終的な画像を示す。
【００５０】
詳細な説明は多数の詳細を含んでいるが、これらは本発明の範囲を制限するものとして解釈されるべきではなく、異なる例及び本発明の態様を例示するものとして解釈されるべきである。本発明の範囲は詳細に説明されていない他の実施の形態を含むことが理解されるべきである。たとえば、空間的に変化する鮮鋭化フィルタ及びカラーレジストレーションに加えた処理を適用することもできる。デモザイキング及び残差歪み補正は２つの例である。また、本発明は、可視波長レンジ、ＲＧＢセンサアレイ又はＲＧＢカラーチャネルに限定されない。赤外線（赤外線及び結合された可視／赤外線）及びマルチスペクトル画像は、２つの例である。
【００５１】
さらに、用語「モジュール」は、特定の物理的な形態に限定されることを意味しない。特定の用途に依存して、モジュールは、ハードウェア、ファームウェア、ソフトウェア及び／又はこれらの組み合わせとして実現される。たとえば、モジュールは、典型的にデジタルシグナルプロセッサ又は更に汎用プロセッサで実行されるソフトウェアとして実現される。様々な組み合わせを使用することもできる。たとえば、ＦＦＴ、逆ＦＦＴ及びフィルタカーネルのアプリケーションのような所定の動作は、標準的なコンポーネント、ソフトウェア、回路設計として利用可能であることに関して十分に一般的である。これらは、モジュールの残りのカスタマイズされた実現で結合される場合がある。さらに、異なるモジュールは、共通のコンポーネントを共有するか、同じコンポーネントにより実現される場合がある。異なるモジュール間には明らかな境界が存在する場合があるか、また、存在しない場合がある。
【００５２】
モジュールの形態に依存して、モジュール間の「結合“coupling”」は、異なる形態をとる場合がある。専用の回路は、たとえば、配線により互いに結合されるか、共通のレジスタ又はメモリロケーションにアクセスすることで互いに接続される。ソフトウェア「結合」は、ソフトウェアコンポーネント間（又はそれである限り、ソフトウェアとハードウェアとの間）で情報を通過させる多数のやり方により行われる。用語「結合」は、これら全てを含むことを意味しており、２つのコンポーネント間の配線された永続的な接続に限定されることを意味しない。さらに、介在要素が存在する場合がある。たとえば、２つのエレメントが互いに結合されるとして記載されたとき、これは、エレメントが互いに直接に結合されることを意味するのではなく、２つのエレメント間の他のエレメントの使用を排除するものではない。
【００５３】
当業者にとって明らかな様々な他の変更、変化及び変形は、特許請求の範囲で定義される本発明の精神及び範囲から逸脱することなしに、本明細書で開示された本発明の方法及び装置の構成、動作及び詳細においてなされる場合がある。したがって、本発明の範囲は、特許請求の範囲及びそれらの適法に等価な概念により決定される。
【符号の説明】
【００５４】
１５０：対象物
１１０：オプティクス
１２０：センサアレイ
１３０：処理モジュール
１３２，６３２：カラーレジストレーション
１３４，６３４：フィルタ
１８０：複合カラー画像
６４４：変換
【図１】
2010028814.tif 000009
【図２】
2010028814.tif 000010
【図５】
2010028814.tif 000011
【図６】
2010028814.tif 000012
【図７】
2010028814.tif 000013
【図８】
2010028814.tif 000014
【図９】
2010028814.tif 000015
【図１０】
2010028814.tif 000016
【図３】
2010028814.tif 000017
【図４】
2010028814.tif 000018
【図１１】
2010028814.tif 000019