(57)【特許請求の範囲】
【請求項１】
カラーアーチファクトが低減されたフルカラー画像を形成するために、画素の二次元的なマトリクスを備えた単一の画像検出器を有する画像捕捉装置によって捉えられた画像を処理する方法であって、ここで、前記画素は複数のカラー面のいずれかに割り当てられて該カラー面のカラー値を生成し、該複数のカラー面は、ある色を検出するための第１のカラー面と、その色とは異なる別の色を検出するための少なくとも１つの第２のカラー面とを備えており、
前記第１のカラー面について前記画像をサンプリングして、第１のカラー値を生成するステップと、
前記少なくとも１つの第２のカラー面について前記画像をサンプリングして、少なくとも１つの第２のカラー値を生成するステップと、
前記第１のカラー値と前記少なくとも１つの第２のカラー値との間の色差信号を表す差信号を生成するステップと、
前記第１のカラー値と前記少なくとも１つの第２のカラー値と前記差信号とを組み合わせることによって、前記各カラー面において検出されていないカラー値を生成して、シーンのカラー画像を構成するステップと
を含んでなる方法。
【請求項２】
前記少なくとも１つの第２のカラー値を生成するステップが、線形補間、またはたたみ込み補間によって実行されるものである請求項１に記載の方法。
【請求項３】
前記差信号を生成するステップが、メジアンフィルタにより前記差信号をフィルタリングすることをさらに含むものである請求項１に記載の方法。
【発明の詳細な説明】
発明の背景
本発明は、一般に、画像データをサンプリングおよび補間する装置および方法に関し、特に、カラーサブサンプリングされた画像データを感知し、その後、画像データの総量の選択を可能にしながら、無色サブサンプリングされた画像データを補間する、２つの直交するサンプリング方向のそれぞれにおいて、カラーフリンジ（color fringing）を効果的に減少させ、詳細を保持し、シャープネスのバランスを実質的に維持する装置および方法に関する。
スチール画素を記録する電子撮像カメラは、当該技術分野で周知である。このようなカメラは、アナログまたはディジタルフォーマットで、単一の磁気ディスクまたはテープに複数のスチール画像を記録し得る。次いで、これらのスチール画像は、陰極線管（ＣＲＴ）などの出力装置上で再生される。このようなカメラは、さらにプリンターと共に周知の様式で用いられ、記録された画像のハードコピーを提供する。
このような電子画像スチールカメラでは、電荷結合装置（ＣＣＤ）などの二次元画像感知アレイが頻繁に用いられる。ＣＣＤは、入射シーン光を所定時間にわたって統合し、画像感知アレイに入射したシーン光強度に対応する電子情報信号を提供する。このようなアレイは、通常、所定数の分離した画像感知素子または画素を有する。各画像感知素子は、入射照明に応答し、入射照明の強度に対応する電子情報信号を提供する。
カラー画像を記録するためには、入射照明はフィルタリングされ、異なる画像感知素子は、異なる着色照明を受け取る。フィルタは、画像感知アレイの面にわたって、赤、緑および青（ＲＧＢ）ストライプの繰り返しパターンなどの周知のパターンで配置されている。あるいは、個々の画像感知素子または画素は、当該技術分野で周知のように、２×２チェッカー盤における赤、緑、青および緑フィルタの繰り返しパターンでフィルタリングされ得る。
ＲＧＢストライプカラーフィルタアレイセンサにおいて、１つの赤画素から次の赤画素までの距離は、ストライプの方向に直交する方向に３つの画素であり、１つの赤画素から次の赤画素までの距離は、ストライプの方向に沿った方向に１つの画素である。従って、赤におけるサンプリング周波数は、ストライプの方向に直交する方向にカラーフィルタアレイを有さない同じセンサの単色サンプリング周波数の３分の１であり、ストライプの方向に沿った方向における単色サンプリング周波数と等しい。これはまた、緑および青信号にも当てはまる。
連続した空間信号は、すべての色において同等にアンチエイリアシングのためにプレフィルタリングされなければならず、ストライプに直交する方向においては、同じセンサを用いる単色システムに対して必要とされるよりもさらにプレフィルタリングされなければならないが、ストライプの方向に沿った方向では、単色の場合の制約に従った様式でプレフィルタリングされ得る。
異方性に光学信号をプレフィルタリングするために、いくつかの方向のそれぞれにおいて異なるぼやけ特性の性質を有する光学素子が光学路に挿入され得ることは当該技術分野において周知である。水晶プレートなどの複屈折材料は、当該技術分野では、この目的でうまく使用されている。なぜなら、これらの材料は、プレートの厚さに関連するスポット間の距離および偏光の正常な方向と異常な方向との間の屈折率の差によって、１つの方向に最小のぼやけおよび直交する方向に２スポットぼやけを示すからである。２スポットぼやけの性質を用いて、連続した空間光信号は分割され、半分は、予想可能な距離だけ１方向にシフトされ、元の光信号の他の半分と重ねられる。このように、１シーンにおける単一のスポットの画像は、既知の距離だけ分離した２つのスポットを含む。
３色ストライプフィルタアレイの場合、水晶の厚さは、重畳画像のシフトの距離が、カラートライアド（triad）の距離の半分になるように設定される。このように、画像は複製され、１．５画素だけシフトされ、トライアド周波数における連続した光学信号においては、すべての周波数成分（frequency content）を効果的に相殺し、トライアド周波数付近の光学信号においては、周波数成分を減衰し、トライアド周波数から離れた信号においては、周波数成分を実質的に送信する。これによって、特に不快なカラーサブサンプリングアーチファクトの確率および大きさ、即ち、カラーサブサンプリングによってエイリアシングされるトライアド周波数付近の周波数におけるシーンの画像における周期的な明るさ変動が、低周波数色変調として減少する。上記の１次元光学アンチエイリアシングプレフィルタリングは、カラーストリップの方向に直交する方向に電子スチールカメラの周波数応答を必然的に減少させ、その結果、システムのシャープネスは、その方向に減少する。
従来のＣＣＤの画素は正方形状である。正方形画素を有するＣＣＤの３色ストライプカラーフィルタアレイおよび２スポット光学アンチエイリアシングフィルタの場合、ストライプ方向および直交方向における周波数応答は、バランスがとれていない。さらに、各画像感知素子は、１つの照明色しか検出することができないため、その画素感知素子によって検出されない他の色に関する色情報は、挿入（fill in）されなければならない。欠けている色情報の挿入は、一般に、各色に対して検出された画像データを補間し、各画像感知素子についてすべての色のカラー値を決定することによって成し遂げられる。
ストライプカラーフィルタによる２スポットアンチエイリアシングは、周期的な明るさ変動からのカラーエイリアシングを最小限にするが、鮮明なエッジなどのシーンにおける周期的な明るさ構造からのカラーフリンジアーチファクトを最小限にはしない。従来のタイプの補間は、鮮明なエッジ付近に不快なカラーフリンジアーチファクトを有する画像を提供し得る。この問題を解決する従来の解決法は、単色および周期的なカラーエイリアシングを緩和するために必要な量を越えてサンプリングする前に画像をぼやけさせることによって、画像のシャープネスを犠牲にしてカラーフリンジを防止することである。さらに、欠けた色を補間する従来の方法では、各画素におけるシーンの詳細は、各画素位置における各色のなんらかの重みづけ、即ち、単一の元のカラーサンプルおよび２つの補間されたカラーサンプルから再構築される。補間のプロセスは、隣接プロセスであるので、補間されたカラー値は、補間元の画素からの空間情報を有する。これは、実質的には、再構築された画像の詳細に写される（carried into）ぼやけ作用である。
本明細書でそれぞれ参考のために援用した、１９８７年５月５日付けで発行され、同一譲受人に譲渡された特許第４、６６３、６５５号、１９８８年９月２７日付けで発行され、同一譲受人に譲渡された特許第４、７７４、５６５号、および１９８８年２月８日付けで発行され、同一譲受人に譲渡された特許第４、７２４、３９５号（すべてのＷｉｌｌｉａｍ  Ｔ．Ｆｒｅｅｍａｎの特許）には、シーンにおける鮮明なエッジの遷移に起因するカラーフリンジアーチファクトをさらなる光学アンチエイリアシングプレフィルタリングを必要とせずに除去する改良された技術が記載されている。欠けた色を補間するためのこの改良された技術の効果は、サンプリング画素の色に関係なく、各画素位置における元のカラー画素からそのままシーンを再生する際の画像詳細を提供することである。欠けた色を補間することによって、さらにぼやけがでることはない。
欠けた色を補間するための改良された技術では、電子スチールカメラの周波数応答は、サンプリング画素の色に関係なく、システムの素子の配列によって示され得る。電子スチールカメラの周波数応答を光学素子の配列によって示す能力およびカラーサブサンプリングアーチファクトを防止および抑制する能力で、ＣＣＤを製造し、カラーアーチファクトが減少し、ストライプ方向および直交方向においてバランスのとれた改良されたシャープネスを有する画像を再生する電子スチールカメラをそのＣＣＤから製造することが所望される。
要旨
画像センサ、電子スチールカメラ、およびカラーアーチファクトが減少し、３色の複数の画像信号によって示される処理画像を形成するための、画像センサおよび電子スチールカメラに関連した画像処理方法を提供する方法が開示される。この方法は、電子スチールカメラにおいて有用であり、カラーサブサンプリング様式でシーンの画像をサンプリングする工程と、カラーサブサンプリングされた画素値を処理することによってシーンの改良されたフルカラー画像を構築する工程とを包含する。本発明は、ストライプカラーフィルタアレイおよび二重解像度再構築に関連して、２つの直交サンプリング方向のそれぞれにおいてバランスのとれたシャープネスを得るために画素の配列を最適化することを含む。
例えば、従来のＣＣＤは、色をフィルタリングするためにＣＣＤ上に重ねられたカラーストライプで構成され、それによって、個々の画素を１つの色のみに関連させていた。これらの個々の画素はカラー面に分割されるので、カラーＲＧＢストライプがＣＣＤで用いられる場合、各個別の色に関連する画素は、赤色面、緑色面、および青色面に分割され得る。
これらの色が分離されると、前の色が以前にあった場所に空間ができる。即ち、赤色面では、以前は緑および青が存在していなければならなかった画素位置に空間が残される。従って、次の工程は、分離工程によって空間が残された画像信号位置に対応するカラー面のそれぞれに補間画像信号を挿入することである。これで、画像の各カラー位置にトリプレット（triplet）が形成される。以前、単一の画素位置は、１つの色（例えば、赤）に関する情報しが含んでいないが、現在、補間データでは、各画素位置は、関連するＲＧＢ情報を有する。
次に、各画素位置において、ＲＧＢトリプレット内の１つのチャネルと第２のチャネル、および第１のチャネルと第３のチャネルとの差を示す２つの差信号が形成される。ＲＧＢを用いる上記の例において、これらの差信号は、赤、緑、または青の任意の組合せであり得る。但し、これらの３色から、２つの異なる差信号が形成されなければならない。好ましい実施態様において、Ｒ−ＧおよびＢ−Ｇが用いられる。次に、差信号は、カラーアーチファクトを実質的に減少または除去するメジアンフィルタを用いてフィルタリングされる。
次に、画像は、元の画像信号およびフィルタリングされた差信号から再構築され、詳細を実質的に保存し、カラーアーチファクトを減少した処理画像を形成する。このように線形補間されたＲＧＢトリプレットから形成される改良されたＲＧＢトリプレットは、元の信号カラー画素と同一の画素配列を有する。長方形の画素配列の場合、正方形のラスタ上に画像を形成する表示装置と共に用いるには、正方形の画素を製造するなんらかの方法が用いられなければならない。
アスペクト比が２（すなわち、高さが幅の２倍）の長方形画素の場合には、本発明は、表示用正方形画素の製造が容易であるデュアル解像度モードを提供する。一つの解像度モードでは、本来の単一カラー長方形画素の半分の数の正方形画素ＲＧＢトリプレットが形成されるように、隣接する画素対は、各カラー面内の長方形画素の長軸に対して垂直の方向に平均化される。一方、第２の解像度モードでは、本来の単一カラー長方形画素の２倍の数の正方形画素ＲＧＢトリプレットが形成されるように、新しいＲＧＢトリプレットが、長方形画素の長軸に平行な方向に補間によって挿入される。高さが幅の２倍以外のアスペクト比の長方形画素の場合には、多重解像度モードは、もっと複雑なダウンサンプリングおよびアップサンプリング方法によりサポートされ得る。
改良されたカラー再構成法は、カラーに関係なく本来の画素によって感知される急激な明るさの転移を、再構成された欠カラー画素値に注入することによって、画像の詳細を保存する。この特性により、カラーサブサンプリングに関連するぼやけが、電子静止カメラの光素子のジオメトリに関連するぼやけ、および長方形画素から正方形画素を形成することに関連するぼやけへと縮小する。本発明では、画素ジオメトリは、他の光素子の関連するぼやけ関数が与えられる場合には各サンプリング方向のシャープネスの均衡化、ならびにシステムの周波数応答の分析および人間の視覚系の周波数応答特性を考慮に入れるメリット値によるシャープネスの数量化による画像処理に対して最適化される。
別の局面では、本発明は、上述の装置による方法を提供する。本発明の上述のおよび他の局面は、図面においておよび以下の記述において明らかである。
【図面の簡単な説明】
本発明の様々な特徴は、添付の図面と共に読むことによって以下の記述によりさらに十分に理解され得る。図面において、
図１Ａおよび図１Ｂはそれぞれ、ＣＣＤに見られる画素位置および１つの代表的な例を示す。
図２Ａおよび図２Ｂはそれぞれ、線形補間が行われた後の図１Ａの画素位置および図１Ｂを示す。
図３は、メジアンフィルタリング中の図１Ｂおよび図２Ｂの代表的な例を示す。
図４は、図３の例にメジアンフィルタリングを行った結果を示す。
図５は、図４の画素の再構成を示す。
図６Ａ、図６Ｂ、および図６Ｃはそれぞれ、カラー差信号のメジアンフィルタリング後に再構成された画素値、長方形画素の長軸に対して垂直の方向に平均化された後の画素値、および長方形画素の長軸に沿った補間後の画素値を示す。
図７は、人間の視覚系の周波数応答の特性を示す。
図８は、電子静止カメラの光素子の周波数応答の特性を示す。
図９は、長方形画素から正方形画素を形成することに関連する画像処理の周波数応答の特性を示す。
図１０は、シャープネスメリット値と画素ジオメトリとの関係の代表的な例を示す。
詳細な説明
本発明は、例えばビデオカメラなどの広範囲の撮像装置内で有用であり、いくつかの異なる形態で具現化され得るが、電子静止カメラに関連して用いられると有利である。これが本好適な実施形態を構成し、このように記述されるが、本実施形態は例示的なものであり、本発明を制約するものではないと見なされるべきである。
前述のように、従来の電子撮像カメラは、二次元配列に配置された所定数の個別の画像感知素子すなわち画素を含む画像感知配列を用いることによってカラー画像を記録するものであり、画像感知素子は入射照明に応答して、入射照明の強度に対応する電子情報信号を提供する。このような画像感知配列は、フレーム転送タイプのＣＣＤを含み得る。画像感知配列にわたって既知のパターンで配置された様々な異なる画像感知素子群が着色照射に対してそれぞれ異なる波長を受け取るように画像感知配列に入射する照明をフィルタリングすることによって、単一の二次元ＣＣＤ配列を用いてカラー画像を感知することはよく知られている。従って、照明の各カラーは、各画像感知素子群によってサンプリングされ、その後補間されて他の画像感知素子群に対応するカラー値を提供する。従って、フルカラー画像は、様々な異なる画像感知素子すなわち画素群間で概算または補間され、これにより各画像感知素子すなわち画素に対してすべてのカラーが充填される。従来のタイプの補間では、画像に、鋭角エッジ近くのカラーフリンジなどの好ましくないエイリアシング人工産物が生じる。従来の補間方法を用いて対象物の画像を再構成するとき記録されるサンプルの鋭角エッジがどのようにカラーフリンジを生成するかについての例を以下により詳細に述べる。
前述のように、典型的なＣＣＤ配置は上部にカラーフィルタストライプを含み、個々の画素ストライプが単一のカラーに対する光強度を測定する。図１Ａは、カラーストライプを用いる典型的なＣＣＤ配置を示し、個々の画素は赤色、緑色、および青色を表すＲ、Ｇ、またはＢによって示される。各色に関連する数字表示、すなわちＲ1、Ｇ1、およびＢ1をまとめて１つのトリプレットと呼ぶ。
本発明を例示するために、各ステップに対して１つの例を示す。この例は、先鋭な白−黒転移などの先鋭なコントラストを有する画像である。この例は図１Ｂから始まる。図１Ｂでは、画像の白−黒転移に対して光強度レベルが図式的に示される。図１Ｂにおいて、実線は、サンプリング前のシーンの本来の連続画像でのエッジ転移を表し、丸印は本来の赤サンプルを、三角印は本来の緑サンプルを、そして四角印は本来の青サンプルを表す。同図から、本来の連続画像では転移中の降下は実質的に垂直であることが分かり得る。これは先鋭な転移を示す。降下における傾斜は、もっと緩慢でシャープネスの低い転移を示し得る。
図２Ａは再び図１Ａの画素の画素レイアウトを示すが、ここでは画素は補間ステップを経ている。本好適な実施形態では、これは線形補間である。これについては後により詳しく述べる。ここでは、大文字は本来の生データを表し、小文字は補間データを表す。従って、Ｒ1とＲ2との間に補間されたカラーは、ｒ1’およびｒ1”として表される。線形補間を用いると、ｒ1’はＲ1の強度の２／３を含み、Ｒ2の強度の１／３を含む。同様に、ｒ1”はＲ1の強度の１／３を含み、Ｒ2の強度の２／３を含む。赤、緑、および青に対して全体にわたって値を線形補間することによって、カラーは３つのカラー面に分割され得、この結果、以前は各位置に対して１つのカラーの生データしか存在していなかった個々の画素位置に対してトリプレットが存在する。
この例について続けると、図２Ｂは、図１Ｂに示した白−黒転移に線形補間を行うステップを示す。図１Ｂに示したように、線は線形補間の経路を示し、丸印、三角印、および四角印はそれぞれ本来の赤、緑、および青サンプルを表し、×は補間された値を表す。図２Ｂは、補間によって以前に画像内に見られた先鋭な転移が補間によって如何にぼやける傾向にあるかを示す。ここで、鎖線は赤、点線は緑、および実線は青を表す。線の傾斜はシャープネスがより低い転移、従って画像がぼやけることを示す。図２Ｂはまた、補間が如何にカラーフリンジ人工産物を生成する傾向にあるかを示す。本来の白−黒転移では、赤、緑、および青の強度は同じ空間位置で転移したが、図２Ｂから分かり得るように、補間後の赤信号は、緑の前に転移を開始し、緑は青の前に転移を開始する。図２Ｂで表されるデータから再構成される画像は、顕著な白−シアン−紫−青−黒のカラーフリンジを示し得る。
次のステップは、各位置で２つの異なる信号を生成することである。シーン内の白−黒転移でのカラーフリンジ人工産物、これに続くカラー面内の補間は、カラー差信号の突然の立ち上がり、これに続く対応する突然の立ち下がりとして、または突然の立ち下がり、これに続く突然の立ち上がりとして現れ得る。１つのカラーから異なるカラーへの変化を表すのは、好ましくないカラーフリンジを特徴付けるカラー間の差のこの急激な増加および減少であり、単にカラー間の差の突然の上昇のみではない。従って、実際のシーンにこのようなカラースパイク（color spike）が生成されることはありそうもなく、選択された補間法の結果としてこのようなカラースパイクが生成されることは望ましくない。
図３は上記のカラースパイクを示す。本好適な実施形態では、赤の強度から緑の強度を差し引き、また青の強度から緑の強度を差し引くことによって、すなわち、Ｒ−ＧおよびＢ−Ｇによって差信号が得られる。差信号を決定するカラーの実際の選択は幾分かは任意であることは当業者であれば理解され得る。選択後に一貫性を維持することが最も重要である。従って、本発明を損なうことなく他のカラー差信号が選択され得る。図３（ｉ）は、図２Ｂに示す信号に対してＲ−Ｇの差信号の結果を図式的に示す。図３（ｉｉｉ）はＢ−Ｇを図式的に示す。
現在では様々な方法を用いてカラー収差を除去することができる。本好適な実施形態では、前述し本明細書において参考として援用されているメジアンフィルタのようなメジアンフィルタが用いられる。簡潔に述べれば、メジアンフィルタは、図３（ｉｉ）に示すような一連の画素をとり、フィルタ領域の中心の画素値をその領域内のすべての画素の中間値に置き換える。様々な画素数が用いられ得るが、本好適な実施形態では、メジアンフィルタは９個の画素を用い、これら９個の画素の中間値を返す。従って、フィルタが信号にわたって水平方向に働くとき、スパイクがフィルタ長の半分より長くなければ、信号内のスパイクは実質的に除去されることが分かり得る。
図４に、メジアンフィルタを差分信号に対して通過させた結果を示す。図４（i）は図３（i）に示すＲ−Ｇ差分信号に対応し、図４（ii）は図３（iii）に示すＢ−Ｇ差分信号に対応する。これらの信号をここではそれぞれ（Ｒ−Ｇ）’および（Ｂ−Ｇ）’と呼びことができる。差分は平坦になっており、色遷移前、色遷移中、および色遷移後において、再構築された色はお互いに対して実質的に一定に維持されている。この例として再度図１Ｂを参照する。
図５に次のステップを示す。このステップにおいて、元の原ＲＧＢデータおよびフィタリングされた（Ｒ−Ｇ）’および（Ｂ−Ｇ）’から画素が再構築される。以下の関係式を用いて色を復元する：
R@R=R
R@G=G+（R-G）’
R@B=B-（B-G）’+（R-G）’
G@R=R-（R-G）’
G@G=G
G@B=B-（B-G）’
B@R=R-（R-G）’+（B-G）’
B@G=G+（B-G）’
B@B=B
これらの関係式は、元のサンプル値を保存し、かつ全画素においてその元の色に関わらず細部を抽出する特性を示している。細部抽出特性は、色差分信号における急なスパイクを除去し（局所的な同色状態を実質的に起こす）、元のサンプル画素値がエッジ遷移に応じて変化するような鋭いエッジ遷移の領域においては、再構築される失われた色の値は元の値に従うようになる。この特性により、細部情報は３つ全てのチャネルに注入される。
図５は再構築を示しており、色間の遷移を示す対角線（シャープネスの逸失およびカラーフリンジ（color fringing）を表す）のかわりに、遷移ポイントにおいて赤を示す丸印と、緑を示す三角印と、青を示す四角印とが実質的に同じ位置に位置しており、シャープネスが保持されカラーフリンジが回避されている。大部分の市販ＣＲＴおよび大部分の市販プリンタ上において得られた画像を表示するために、正方画素を次に得なければならない。多くのＣＣＤそして特に好適な実施態様のＣＣＤは、アスペクト比２：１の矩形の画素を有するため、この問題を解決する１つの方法は、２つの隣接する画素、例えばＲ１およびｒ１’を平均することにより、１個の正方画素をその位置に形成することである。図６Ａに、元のサンプル色値およびメジアンフィルタリングされた色差分信号からの再構築後の、アスペクト比２：１の矩形の画素を有するＲＧＢストライプ状センサから得られた画素値を示す。
図６Ｂは、隣接する値を平均した後の正方グリッド上の画素値を示す。これは例えば100万個の画素を有する画像解像度を必要とし50万個の３色画素を有するユーザであれば表示することが可能な画像を、作成する。好適な実施態様において、正方画素を作成する別法をオプションとして用いる。すなわち、水平方向に平均するかわりに、図６Ｃに示すように画素を垂直に補間する。
図６Ｃ（i）において、ＲＧＢデータの元のラインを示し、図６Ｃ（iii）においてＲＧＢデータの第２のラインを示す。この２つが、ＲＧＢデータの補間されたラインを表す図６Ｃ（ii）によって分離されている。これらのライン間の補間は最隣接補間（nearest neighbor interpolation）のような単純なものであってもよい。これは要するに、前のラインを複製することによって新しいラインを作成するものである。好適な方法としては、線形補間、または複立方たたみ込み補間（bi-cubic convolution interpolation）に従う補間が含まれる。
図６Ｃ（ii）に示す補間されたラインは、追加的に表示に供し得る画素を作成する。従って、上記の100万個の画素の例においては、200万個数の３色画素が利用可能になる。すなわち、色再構築された画像が1600×600×３であれば（「３」は３色平面を表す）、補間により1600×1200×３個の画素が利用可能になる。
従来技術の正方画素から始まり正方画素に終わる方法とは対照的に、本発明の方法は、それ自体正方画素が得られるものではない。画素寸法は実際には変更されていない。本方法が成立するのは、出力装置は装置に入力されてくる画素の寸法を実際には知らず、電子信号に従って表示を行っているだけだからである。従って、矩形画素は、矩形画素間の遷移部分となる色情報を有する補間ラインによって隔てられた状態、あるいは平均によって実効的に正方形に形成された状態で表示される。これにより、本来発生したであろう歪みが除去され、正方画素寸法を有する状態をシミュレートする。
図７は、通常の印刷物観察距離における、人間の視覚系の相対周波数応答の特性を示している。この特性は、視覚弦（visual subtense）の１度毎における、様々な周波数のサイクルの周期的な明格子（periodic lightness gratings）に対する被験者の応答の心理視覚的（psychovisual）研究から得られたものである。電子スチールカメラにおけるセンサの画素寸法の最適化のための使用のために、通常の12インチの印刷物観察距離を考慮し、周波数をサイクル／ミリメートルとして表している。人間の視覚系の相対周波数応答の、サイクル／視覚弦（visual subtense）の１度単位で表した特性は、以下の式で与えられる：
0004563514.tif 000002
観察距離Ｄ（インチ）が与えられたときのサイクル／視覚弦の１度単位とサイクル／ミリメートルの関係は、以下の式で与えられる：
cy/°=π×（cy/mm）×D×25.4/180
一般に、電子スチールカメラでキャプチャされた光景の画像の空間的再生には、拡大が含まれるということが言える。センサは概して、ＣＲＴディスプレイや電子スチールカメラでキャプチャされた画像の印届物（print renderings）に比較してずっと小さい。実効シャープネス値（sharpness figure of merit）の計算のためのそのようなシステム（人間の視覚系の応答を含む）の要素の周波数応答の特性は、名目的な拡大係数を必然的に包含する。
図８は、代表的な拡大係数として「１０」を想定した場合の、代表的なレンズ、画素、およびアンチエイリアシングフィルタの、印刷参照（print referred）サイクル／ミリメートル単位による周波数応答を示している。代表的な周波数応答は以下の式で与えられる：
0004563514.tif 000003
上式においてＬ（f）は、拡大Ｍおよび固有ぼけ距離（characterstic blur distance）ｂのときの、センサ平面におけるサイクル／ミリメートル単位でのレンズ周波数応答ｆである。Ｐ（f）は、Ｍおよびセンサ画素幅ｐのときの画素応答である。ＡＡ（f）はＭかつセンサ平面における２点分離距離ａａのときの、アンチエイリアシング応答である。図８における代表例において、Ｍ＝１０、ｂ＝0.01ｍｍ、ｐ＝0.006ｍｍ、ａａ＝0.009ｍｍである。
好適な実施態様においてセンサは、アスペクト比２：１（高さ：幅）の矩形画素および、画素の主軸に沿って方向付けられたストライプ状のカラーフィルタを有するように製造される。色アーチファクトを減少させる一方で最大かつバランスのとれたシャープネスのために最適化されたこの設計により、便利なデュアル解像度モードが可能になる。前述のように、正方形のラスタを有する装置における表示に適した画素値を形成するためのプロセスは、矩形画素の主軸に垂直な方向（以下水平方向と呼ぶ）において画素値の数を２分の１に減少させることか、または、矩形画素の主軸方向（以下垂直方向と呼ぶ）に沿った方向において画素値の数を２倍に増やすことを包含する。当業者であればたたみ込み系の方法および周波数系の方法を含む多くの再サンプリング方法が存在することを理解するであろう。しかし説明のために、ペア水平隣接平均、およびペア垂直線形補間を例として挙げる。また当業者であれば、本発明の趣旨から逸脱することなく２：１以外のアスペクト比、および２または１／２以外の対応する再サンプリング係数を用い得ることを理解するであろう。
図９は、水平平均および垂直補間における周波数応答を示しており、代表的な寸法として、水平平均についてはＭ＝１０およびｐ＝0.006ｍｍを想定し、垂直補間についてはｐ＝0.012ｍｍを想定している。代表的な周波数応答は以下の式によって与えられる：
Av（f）=cos（π×f×M×p）
I（f）=0.5+cos（π×f×M×p）/2
上式において、水平平均周波数応答Ａｖ（f）は、0.5面積にスケール化した、センサ平面において１画素離れた２つのデルタ関数のフーリエ変換である。これは、ペア平均プロセスの周波数応答のモデルとなっている。固定アップサンプリング係数＝２についての線形補間のモデルは、原点を中心とする単位デルタ関数の変換値の半分（データのラインは１ラインおきに未変更であるため）プラス、センサ平面において１画素離れた一対のスケール化デルタ関数の変換値の半分（各補間されたラインは隣接ラインの等しい部分から形成されるため）によって与えられる。Ｉ（f）はこの代表的な補間における対応する周波数応答である。
電子スチールカメラの構成要素の周波数応答を分析することにより、要素の応答を周波数単位でカスケードすることによる、システムの特性の便利な性質を得ることが可能になる。すなわち、単一の周波数における最終的なシステム応答は、要素の応答を同じ周波数における他の要素の応答と各々積算することによって与えられる。このプロセスを問題とする各周波数について繰り返す。
シャープネスを評価するために、人間の視覚系の特性を考察する。画像ングシステムの周波数応答におけるシャープネス実効値は、当該分野において周知である。例えばＣＭＴ尖鋭度（acutance）、ＡＭＴ尖鋭度、およびＳＱＦに関して広範な文献が発表されている。図１０の代表例において用いられる実効シャープネス値を以下に示す：
0004563514.tif 000004
Ｒ（f）は最終的なシステム応答であり、ｆの単位はサイクル／ミリメートルである。実効値の積分の限界は、図７に示す最大視覚感度の範囲にわたる。
図１０は、両解像度の場合における水平および垂直方向におけるシャープネスＳと画素寸法との関係を示す。図１０において、２点アンチエイリアシングを有するＲＧＢストライプ状のカラーフィルタ、メジアンフィルタ色復元およびデュアル解像度能力を備えた好適な実施態様において、水平方向および垂直方向のシャープネスが最も矩形画素に近くバランスしていることがわかる。さらに、２：１よりもわずかに大きなアスペクト比における水平平均の場合、および２：１よりもわずかに小さいアスペクト比における垂直補間の場合においてバランスが取れていることがわかる。好適な実施態様において、センサ画素のアスペクト比は２：１であることにより、各解像度モードにおいてバランスが実質的に達成されるようにする。
本発明は、その趣旨あるいは本質的特徴から逸脱することなく、他の特定の形態において実施することが可能である。上記実施態様は従って、あらゆる意味において例示的なものであって限定的なものではないと考えられるべきであり、発明の範囲は上記説明ではなく付属の請求項によって示されているのであり、請求項の意味および等価範囲に存する全ての変更は従ってその範疇に包含されることが意図されている。
【図１Ａ】
0004563514.tif 000005
【図１Ｂ】
0004563514.tif 000006
【図２Ａ】
0004563514.tif 000007
【図２Ｂ】
0004563514.tif 000008
【図３】
0004563514.tif 000009
【図４】
0004563514.tif 000010
【図５】
0004563514.tif 000011
【図６Ａ】
0004563514.tif 000012
【図６Ｂ】
0004563514.tif 000013
【図６Ｃ】
0004563514.tif 000014
【図７】
0004563514.tif 000015
【図８】
0004563514.tif 000016
【図９】
0004563514.tif 000017
【図１０】
0004563514.tif 000018