(57)【要約】  複数の最小繰り返し部を有する２次元画素アレイを有し、繰り返し部はそれぞれ、４つのパンクロ画素と、同一のカラー応答を有する２つの画素と、互いに相違し、かつ同一のカラー応答を有する先の画素と異なるカラー応答を有する２つの画素とを有する８つの画素からなり、最小繰り返し部をタイル状に配置して、画像センサのそれぞれの行、又はそれぞれの列が単一色のカラー画素を有するようにするカラー画像捕捉用画素アレイである。【選択図】図５Ａ
2010537555.tif 000002
【特許請求の範囲】
【請求項１】
複数の最小繰り返し部を有する２次元画素アレイを有し、繰り返し部はそれぞれ、４つのパンクロ画素と、同一のカラー応答を有する２つの画素と、互いに相違し、かつ前記同一のカラー応答を有する前記画素と異なるカラー応答を有する２つの画素とを有する８つの画素からなり、前記最小繰り返し部をタイル状に配置して、画素アレイのそれぞれの行、又はそれぞれの列が単一色のカラー画素を有するようにすることを特徴とするカラー画像捕捉用画像センサ。
【請求項２】
前記パンクロ画素は、市松模様のパターンである請求項１に記載の方法。
【請求項３】
【表１】
2010537555.tif 000004
の最小繰り返し部を有し、Ｐはパンクロ画素を表し、Ａ、Ｂ、及びＣは、異なるカラー応答を有する画素を表す請求項１に記載の方法。
【請求項４】
Ａ、Ｂ、及びＣは、赤、緑、又は青のカラー応答からそれぞれ選択するカラー応答を有する画素を表す請求項３に記載の方法。
【請求項５】
Ａは赤のカラー応答を有する画素を表し、Ｂは緑のカラー応答を有する画素を表し、Ｃは青のカラー応答を有する画素を表す請求項３に記載の方法。
【請求項６】
Ａ、Ｂ、及びＣは、シアン、マゼンダ、又はイエローの応答からそれぞれ選択するカラー応答を有する画素を表す請求項３に記載の方法。
【請求項７】
Ａはシアンカラー応答を有する画素を表し、Ｂはイエローカラー応答を有する画素を表し、Ｃはマゼンダカラー応答を有する画素を表す請求項３に記載の方法。
【請求項８】
複数の最小繰り返し部を有する２次元画素アレイを有し、繰り返し部はそれぞれ、４つのパンクロ画素と、同一のカラー応答を有する２つの画素と、互いに相違し、かつ前記同一のカラー応答を有する前記画素と異なるカラー応答を有する２つの画素とを有する８つの画素からなり、前記最小繰り返し部をタイル状に配置して、画素アレイのそれぞれの行、又はそれぞれの列が２つの色のみのカラー画素を有するようにすることを特徴とするカラー画像捕捉用画像センサ。
【請求項９】
前記パンクロ画素は、市松模様のパターンである請求項８に記載の方法。
【請求項１０】
【表２】
2010537555.tif 000005
の最小繰り返し部を有し、Ｐはパンクロ画素を表し、Ａ、Ｂ、及びＣは、異なるカラー応答を有する画素を表す請求項８に記載の方法。
【請求項１１】
Ａ、Ｂ、及びＣは、赤、緑、又は青のカラー応答からそれぞれ選択するカラー応答を有する画素を表す請求項１０に記載の方法。
【請求項１２】
Ａは赤のカラー応答を有する画素を表し、Ｂは緑のカラー応答を有する画素を表し、Ｃは青のカラー応答を有する画素を表す請求項１０に記載の方法。
【請求項１３】
Ａ、Ｂ、及びＣは、シアン、マゼンダ、又はイエローの応答からそれぞれ選択するカラー応答を有する画素を表す請求項１０に記載の方法。
【請求項１４】
Ａはシアンカラー応答を有する画素を表し、Ｂはイエローカラー応答を有する画素を表し、Ｃはマゼンダカラー応答を有する画素を表す請求項１０に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光感度を改良したパンクロ画素を有する２次元カラー画像センサに関する。
【背景技術】
【０００２】
電子画像形成システムは、観視画像の電子表示を創出する電子画像センサに依存する。この電子画像センサの例には、電荷結合素子（ＣＣＤ）画像センサとアクティブピクセルセンサ（ＡＰＳ）デバイスとを含む（ＡＰＳデバイスは、相補型金属酸化膜半導体のプロセスで製造できるために、しばしばＣＭＯＳセンサと称される）。通常、これらの画像センサは、いくつの光感度の画素を含み、多くの場合、画素は、行と列とに均一に配置される。カラー画像を捕捉するために、フィルタパターンが画素パターン上に組み立てられる。種々のフィルタ材料を使用して、可視光スペクトルの一部のみにそれぞれのフィルタの光感度を有するようにする。必然的にカラーフィルタによって、それぞれの画素に到達する光量が減少するために、それぞれの画素の光感度が低下する。低光量レベルで画像を捕捉できるために、又は光のレベルが高いところで短い露光時間で画像を捕捉できるために、電子的なカラー画像センサの光感度、又は写真感度の向上へのニーズが存在し続ける。
【０００３】
画像センサは、リニア、又は２次元のいずれかである。一般に、このセンサには、異なる２つの種類の用途がある。２次元センサは、デジタルカメラ、携帯電話、及び他の用途の画像捕捉装置などに概して適当である。リニアセンサは大抵、資料の走査に使用する。いずれの場合で、カラーフィルタが採用されるときは、画像フィルタの感度が低下している。
【０００４】
イーストマンコダック社が製造するリニア画像センサＫＬＩ−４１０４は、幅広い４つのリニア単一画素アレイを有し、それぞれ赤、緑、又は青をそれぞれのアレイに全体として感度を有する３つのアレイに取り付けるカラーフィルタを有し、第４のアレイにはカラーフィルタは取り付けられない。さらに３つのカラーアレイは、画素を比較的大きくして、カラーフィルタのために低下する光感度を補間し、第４のアレイは、画素を比較的小さくして、解像度が高い輝度画像を捕捉する。この画像センサを使用して画像を捕捉するとき、画像は、高解像度、高感度輝度画像として表されるとともに、ほぼ同一の感度を有し、かつ画像からの赤光、緑光、又は青光にそれぞれ対応する比較的解像度が低い３つの画像を有する。このため、電子画像の各点には、輝度値、赤値、緑値、及び青値が含まれる。しかしながら、このセンサはリニア画像センサであるので、画素の４つのリニアアレイに亘って画像を操作するために、画像センサと画像との間に関連する機械動作が必要になる。このため、画像を操作する速度が制限され、コンパクトカメラにこのセンサを使用できず、また移動物体を含む場面（scene）の捕捉にこのセンサを使用できない。
【０００５】
また、それぞれが画素の２次元アレイを有する２つのセンサを有し、一方のセンサはカラーフィルタを有さず、他方のセンサは、画素に含まれるカラーフィルタのパターンと、それぞれの画像センサに画像を提供するビームスプリッタとを有する電子的画像形成システムは、Akira  Muramatsuによる米国特許第４８２３１８６号に記載され、本技術分野で公知である。カラーセンサには、１つのカラーフィルタのパターンが取り付けられるので、カラーセンサのそれぞれの画素は、単一色のみを提供する。このシステムで画像を捕捉するとき、電子画像の各点は、輝度値と１つの色値とを有し、カラー画像は、隣接する色から補間したそれぞれの画素位置における欠落した色を有しなければならない。このシステムは、従来の単一画像センサによる光感度を改良するが、ビームスプリッタと２つのセンサとが必要になるために、システムの複雑さ、大きさ、及び価格が全体的に増加する。さらにまた、ビームスプリッタは、画像からそれぞれのセンサに半分の光のみを導くので、写真感度の向上が抑制される。
【０００６】
上述のリニア画像センサに加えて、カラーフィルタを取り付けない画素を含む画素の２次元アレイを有する画像センサは、本技術分野で公知である。Satoらによる米国特許第４３９０８９５号、Yamagamiらによる米国特許第５３２３２３３号、Gindelらによる米国特許第６４７６８６５号、及びFrameによる米国特許出願第２００３／０２１０３３２号などを参照すると、それぞれの引用特許において、輝度画素、すなわちフィルタを有しない画素に対するカラー画素のサンプリング配置は、カラー画像よりも輝度画像を優遇するか、又その逆であるか、または何かほかの方法で、カラー画素及び輝度画素の次善の配置を提供する。
【０００７】
このように、２次元画素アレイを有する単一のセンサを採用する電子的捕捉装置の光感度を向上することへのニーズがある。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、カラー画素及びパンクロ画素の２次元アレイを有する画像センサであって、高い感度を提供し、かつフルカラー画像を作り出すのに有効な画像センサを提供することを目的とする。
【課題を解決するための手段】
【０００９】
簡潔にまとめると、本発明の１つの態様に従うと、本発明は、複数の最小繰り返し部を有する２次元画素アレイを有し、繰り返し部はそれぞれ、４つのパンクロ画素と、同一のカラー応答を有する２つの画素と、互いに相違し、かつ同一のカラー応答を有する先の画素と異なるカラー応答を有する２つの画素とを有する８つの画素からなり、最小繰り返し部をタイル状に配置して、画素アレイのそれぞれの行、又はそれぞれの列が単一色のカラー画素を有するようにするカラー画像捕捉用画像センサを提供する。
【００１０】
本発明の他の態様では、複数の最小繰り返し部を有する２次元画素アレイを有し、繰り返し部はそれぞれ、４つのパンクロ画素と、同一のカラー応答を有する２つの画素と、互いに相違し、かつ同一のカラー応答を有する先の画素と異なるカラー応答を有する２つの画素とを有する８つの画素からなり、最小繰り返し部をタイル状に配置して、画素アレイのそれぞれの行、又はそれぞれの列が２つの色のみのカラー画素を有するようにする、カラー画像捕捉用画像センサである。
【００１１】
本発明に係る画像センサは、低光量レベル状態に特に適当である。低光量レベル状態は、場面の光か暗い、露光時間が短い、絞りが狭い、又はセンサに到達する光による他の制限により生ずる。本発明に係る画像センサは、広範な応用を有し、多種の画像捕捉装置は、本発明に係る画像センサを効果的に使用することができる。さらに、本発明に係る画像センサは、フルカラーにレンダリングされた最終的な画像を作り出す捕捉画像の処理を容易にする。
【００１２】
本発明に係るこれらの態様、目的、特徴、及び有利な点、又は他の態様、目的、特徴、及び有利な点は、好適な実施形態の以下の詳細な説明と、特許請求の範囲を精査し、添付図面を参照することによって、より明確に理解し、評価することになるであろう。
【図面の簡単な説明】
【００１３】
【図１】従来のセンサ及び処理方法、並びに本発明に係るセンサ及び処理方法に採用できる従来のデジタルスチルカメラのシステムのブロックを概略的に示す図である。
【図２】最小繰り返し部と、最小でない繰り返し部とを表す従来のベイヤー・カラーフィルタアレイパターンである先行技術を示す図である。
【図３】赤外線カットフィルタの伝達特性を乗じた赤画素、緑画素、及び青画素の典型的なスペクトル量子効率曲線と、パンクロの広帯域なスペクトル量子効率曲線とを提供する図である。
【図４】パンクロ画素とカラー画素の双方を有するカラーフィルタアレイパターンの最小繰り返し部である先行技術を示す図である。
【図５Ａ】本発明に係るカラーフィルタアレイパターンの最小繰り返し部の変形を示す図である。
【図５Ｂ】本発明に係るカラーフィルタアレイパターンの最小繰り返し部の変形を示す図である。
【図６Ａ】図５Ａの最小繰り返し部をタイル状に配置する第１の方法を示す図である。
【図６Ｂ】図５Ａの最小繰り返し部をタイル状に配置する第２の方法を示す図である。
【図７Ａ】２つの感度を有するパンクロ画素を有する、本発明に係る最小繰り返し部を示す図である。
【図７Ｂ】２つの感度を有するパンクロ画素を有する、本発明に係る最小繰り返し部を示す図である。
【図８Ａ】図５の最小繰り返し部を４５度回転させた図である。
【図８Ｂ】図６Ａの最小繰り返し部を４５度回転させた図である。
【図８Ｃ】図６Ｂの最小繰り返し部を４５度回転させた図である。
【図９Ａ】赤画素、緑画素、及び青画素の他の配置を示す図である。
【図９Ｂ】赤画素、緑画素、及び青画素の他の配置を示す図である。
【図９Ｃ】赤画素、緑画素、及び青画素の他の配置を示す図である。
【発明を実施するための形態】
【００１４】
画像形成装置と、信号捕捉、信号補正、及び露光制御に関係する回路とを採用するデジタルカメラは周知であるので、本明細書では、本発明に係る方法及び装置の一部を形成する要素、又は本発明に係る方法及び装置により直接的に協働する要素に特に向けられることになる。本明細書において特に図示され、又は説明されない要素は、当技術分野で公知の技術から選択される。説明される実施形態の特定の態様は、ソフトウェアで提供される。本発明に従って図示され、又は説明されるシステムが以下の記載で与えられるが、本明細書で特に図示され、説明され、又は提案されないが本発明を実施するために有用なソフトウェアは、標準的なものであり、当技術分野で公知の技術の範囲内である。
【００１５】
ここで図１を参照すると、本発明を具体化するデジタルカメラとして表される画像捕捉装置のブロックが概略的に示される。ここではデジタルカメラが説明されることになるが、本発明は、他の種類の画像捕捉装置に適用できることは明らかである。被写体の場面からの光１０は、光はレンズ１２によって収束されて、半導体の画像センサ２０に画像を形成する画像形成段（imaging  stage）１１に入力される。画像センサ２０は、それぞれの画像素子（画素）において、入射光を電気信号に変換する。好適な実施形態では、画像センサ２０は、電荷結合素子（ＣＣＤ）型、又はアクティブピクセルセンサ（ＡＰＳ）型である。（ＡＰＳデバイスは、相補型金属酸化膜半導体のプロセスで製造できるために、しばしばＣＭＯＳセンサと称される。）本発明に係るパターンが採用される場合、画素の２次元アレイを有する他の種類の画像センサが採用される。また、図１の説明の後に本明細書で明確になるように、本発明は、カラー画素及びパンクロ画素の２次元アレイを有する画像センサ２０を使用する。本発明の範囲内で他のパターンが使用されるが、画像センサ２０とともに使用される本発明に係るカラー画素及びパンクロ画素のパターンの実施例は、図５Ａ−５Ｂ、図６Ａ−６Ｂ、図７Ａ−７Ｂ、及び図８Ａ−８Ｃに示される。
【００１６】
センサ２０に到達する光量は、開口部を変化させるアイリス（iris）ブロック１４と、光路に干渉する１つ又は２つ以上の減光（ＮＤ）フィルタを有するＮＤフィルタブロック１３によって調整される。また、全体的な光のレベルは、シャッタブロック１８が開く時間で調整される。また、センサ２０に到達する光量も、シャッタブロック１８が開く時間で調整される。露光制御ブロック４０は、場面で利用可能な光量に応答し、この調整機能の３つの全てを制御する。場面で利用可能な光量は、明るさセンサ（brightness  sensor）ブロック１６によって測定される。
【００１７】
特定のカメラの構造のこの説明は、当業者には良く知られているであろう。そして、多くの変形及び追加的な特徴があることは、明らかであろう。例えば、オートフォーカスシステムを追加し、又はレンズが、取り外し可能であり、且つ互換性を有する。本発明は、類似する機能が他の構成要素によって提供されるいずれの種類のデジタルカメラに適用されることが理解されるであろう。デジタルカメラは、より複雑な焦点面配置の代わりにシャッタ１８が比較的単純な動作が可能なブレードシャッタである比較的単純なオートフォーカスカメラなどである。また、本発明は、携帯電話、及び自動車車両などのようなカメラでない装置に含まれる画像形成素子においても実施可能である。
【００１８】
画像センサ２０からのアナログ信号は、アナログ信号プロセッサ２２で処理され、アナログデジタル（Ａ／Ｄ）コンバータ２４に印加される。タイミング生成器２６は、行と画素とを選択するために様々なクロック信号を作り出し、アナログ信号プロセッサ２２及びＡ／Ｄコンバータ２４の操作を同期化する。画像センサ段２８は、画像センサ２０と、アナログ信号プロセッサ２２と、Ａ／Ｄコンバータ２４と、タイミング生成器２６とを有する。画像センサ段２８の機能素子は、別々に組み立てられた集積回路で組み立てられ、又は一般にＣＭＯＳ画像センサで行われるように単一の集積回路として組み立てられる。Ａ／Ｄコンバータ２４から生じるデジタル画素値のストリームは、デジタル信号プロセッサ（ＤＳＰ）３６に関連付けられるメモリ３２に記憶される。
【００１９】
デジタル信号プロセッサ３６は、システム制御器５０と露光制御器４０とを加えた本実施形態の３つのプロセッサ又は制御器の１つである。複数の制御器にカメラの機能制御を割り振ることは標準的であるが、本発明に係るカメラの機能的な操作、及び応用に影響を及ぼすことなしに様々な方法で組み合わされる。この制御器又はプロセッサは、１つ又は２つ以上のデジタル信号プロセッサ装置、マイクロコントローラ、プログラム可能な論理装置、又は他のデジタル論理回路を有することができる。このような制御器又はプロセッサの組み合わせを説明してきたが、必要な機能の全てを実行するために１つの制御器又はプロセッサが指定されることは明らかである。この変形は、全て同一の機能を実行でき、本発明の範囲に含むことができる。そして用語「処理段（processing  stage）」は、図１における処理段３８のように必要に応じて、１つの語句の中にこの機能の全てを包含して使用されることになる。
【００２０】
説明される実施形態において、プログラムメモリ５４に常時記憶され、画像捕捉の間に実行するためにメモリ３２にコピーされるソフトウェアプログラムに従って、ＤＳＰ３６は、メモリ３２内のデジタル画像データを操作する。ＤＳＰ３６は、図１８に示す画像処理を実行するために必要なソフトウェアを実行する。メモリ３２は、ＳＤＲＡＭなどのいずれの種類のランダムアクセスメモリを含む。アドレス信号用の経路及びデータ信号用の経路を有するバス３０は、関係するメモリ３２と、Ａ／Ｄコンバータ２４と、他の関連する装置とをＤＳＰ３６に接続する。
【００２１】
システム制御器５０は、プログラムメモリ５４に記憶されるソフトウェアプログラムに基づいてカメラの全体的な操作を制御する。プログラムメモリ５４は、フラッシュＥＥＰＲＯＭ（登録商標）、又は他の不揮発性メモリを含むことができる。また、このメモリを使用して、画像センサ較正データと、ユーザ設定選択と、カメラがオフのときに維持しなければならない他のデータとを記憶することができる。システム制御器５０は、露光制御器４０を指示することによって画像捕捉のシーケンスを制御して、レンズ１２と、ＮＤフィルタ１３と、アイリス１４と、シャッタ１８とを上述のように操作し、タイミング生成器２６を指示することによって、画像センサ２０と、関連する素子とを操作し、ＤＳＰ３６を指示することによって、捕捉した画像データを処理する。画像を捕捉し、処理した後に、メモリ３２に記憶される最終的な画像ファイルは、インタフェース５７を介してホストコンピュータに転送され、リムーバルメモリカード６４、又は他の記憶装置に記憶され、画像表示装置８８上にユーザのために表示される。
【００２２】
バス５２は、アドレス信号、データ信号、及び制御信号のための経路を含み、ＤＳＰ３６と、プログラムメモリ５４と、システムメモリ５６と、ホストインタフェース５７と、メモリカードインタフェース６０と、関係する他の装置とをシステム制御器５０に接続する。ホストインタフェース５７は、表示、記憶、操作、及び印刷用に画像データを転送するためにパーソナルコンピュータ（ＰＣ）又は他のホストコンピュータへの高速接続を提供する。このインタフェースは、ＩＥＥＥ１３９４又はＵＳＢ２．０のシリアルインタフェース、若しくは他の適当なデジタルインタフェースである。メモリカード６４は、一般的にはソケット６２に挿入されるコンパクトフラッシュ（登録商標、ＣＦ）カードであり、メモリカードインタフェース６０を介してシステム制御器５０と接続される。使用する他の種類の記憶装置は、ＰＣカード、マルチメディアカード、又はソースデジタル（ＳＤ）カードを含むが、これに限定されない。
【００２３】
処理画像は、システムメモリ５６の表示バッファにコピーされ、ビデオエンコーダ８０を介して連続的に読み出されて、ビデオ信号を作り出す。この信号は、外部モニタに表示するためにカメラから直接出力されるか、又は表示制御器８２によって処理され、画像表示装置８８上に提示される。この表示装置は、一般的にはアクティブマトリクスカラー液晶ディスプレイ（ＬＣＤ）であるが、他の種類の表示装置も同様に使用される。
【００２４】
ユーザインタフェース６８は、ファインダ表示装置７０と、露光表示装置７２と、状態表示装置（status  display）７６と、画像表示装置８８と、ユーザ入力７４との全て又は一部の組み合わせを含み、露光制御器４０とシステム制御器５０とで実行されるソフトウェアプログラムの組み合わせによって制御される。一般的には、ユーザ入力７４は、ボタン、ロッカスイッチ（rocker  switches）、ジョイスティック、回転ダイアル（rotary  dials）、又はタッチスクリーンのいくつかの組み合わせを含む。露光制御器４０は、光測定と、露光モードと、オートフォーカスと、他の露光機能とを操作する。システム制御器５０は、画像表示装置８８などの１つ又は２つ以上の表示装置上に提示されるグラフィカルユーザインタフェース（ＧＵＩ）を扱う。一般的には、ＧＵＩは、様々なオプション選択を形成するメニューと、捕捉した画像を分析するレビューモードとを含む。
【００２５】
露光制御器４０は、露光モードと、レンズの絞りと、露光時間（シャッタスピード）と、露光指数、すなわちＩＳＯ感度（ISO  speed  rating）とを選択するユーザ入力を受け、次の捕捉のためにレンズとシャッタとを適宜指示する。明るさセンサ１６を使用して、場面の明るさを測定し、ＩＳＯ感度と、絞りと、シャッタ速度とを手動で設定するときに参照するために、ユーザに露光計機能を提供する。この場合、ユーザが１つ又は２つ以上の設定を変更すると、ファインダ表示装置７０上に提示される露光計の指示器は、画像が露光オーバし、又は露光アンダすると思われる程度をユーザに知らせる。自動露光モードでは、ユーザは、１つの設定を変更し、露光制御器４０は、他の設定を自動的に変更して、的確な露光を維持する。例えば、所与のＩＳＯ感度に対してレンズの絞りをユーザが小さくするときに、露光制御器４０は、自動的に露光時間を増やして、全体的に同一の露光を維持する。
【００２６】
ＩＳＯ感度は、デジタルスチルカメラの重要な特性である。露光時間と、レンズの絞りと、レンズの透過率と、場面の照明のレベル及びスペクトル分布と、場面の反射率とは、デジタルスチルカメラの露光レベルを決定する。不十分な露光を使用してデジタルスチルカメラからの画像を取得するときは、電子的な利得又はデジタル的な利得を増加することによって、適当な中間調再現（tone  reproduction）を維持できるが、画像は、許容できない量のノイズを包含することになるであろう。露光が増加すると、利得は減少する。したがって通常、画像のノイズは、許容できるレベルまで減少することができる。過度に露光が増加する場合は、画像の明るい領域に生じる信号は、画像センサ又はカメラの信号処理の最大信号レベル量を超える可能性がある。これによって、画像のハイライトが切り取られて不均一な明るさの領域を形成することになるか、又は画像の周りの領域がブルーミング（bloom）する。適当な露光設定にユーザを導くことは重要である。ＩＳＯ感度は、指針などとしての役割を果たすことを目的とする。写真撮影者の理解を容易にするために、デジタルスチルカメラ用のＩＳＯ感度は、写真フィルムカメラ用のＩＳＯ感度と直接的に関係するべきである。例えば、ＩＳＯ２００のＩＳＯ感度をデジタルスチルカメラが有する場合は、同一の露光時間及び絞りは、ＩＳＯ２００と見なされたフィルム／処理システムに適合するべきである。
【００２７】
ＩＳＯ感度は、フィルムＩＳＯ感度と調和することを目的とする。しかしながら、電子的な画像形成システムと、フィルムに基づく画像形成システムとの間に厳密な等価性を妨げる相違点がある。デジタルスチルカメラは、可変性の利得を含むことができ、画像データが捕捉された後にカメラの露光範囲に亘り中間調再現を成すことができるデジタル処理を提供できる。このため、デジタルスチルカメラは、様々な範囲の感度を有することができる。この範囲は、ＩＳＯ感度ラチチュード（ISO  speed  latitude）として規定される。混乱を防ぐために、速度範囲を示すＩＳＯ感度ラチチュードの上限及び下限を有する固有のＩＳＯ感度として単一の値が指定される。すなわち、この範囲は、固有のＩＳＯ感度とは異なる効果的な感度を含む。この点を考慮すると、固有のＩＳＯ感度は、特定のカメラ出力信号特性を作り出すためにデジタルスチルカメラの焦点面に提供される露光から計算される数値である。固有の速度は通常、標準的な場面用の所与のカメラシステムのために最大の画質を作り出す露光指数値（exposure  index  value）である。ここで、露光指数は、画像センサに提供される露光に反比例する数値である。
【００２８】
デジタルカメラの先の説明は、当業者には良く知られているであろう。カメラのコストを削減し、特徴を追加し、又は性能を改良するために選択できるこの実施形態の多くの変形があることは明らかであろう。以下の説明において、本発明に従って画像を捕捉するこのカメラの操作が詳細に開示されることになるであろう。この説明は、デジタルカメラを参照するが、本発明は、カラー画素とパンクロ画素と有する画像センサを有する任意の種類の画像捕捉装置の使用に適用されることが理解されるであろう。
【００２９】
図１に示す画像センサ２０は、光感度を有する画素のシリコン基板上に組み立てられる２次元のアレイを含む。光感度を有する画素は、測定する電気信号にそれぞれの画素への入射光を変換する方法を提供する。センサ２０を光に露光すると、自由電子が生成され、それぞれの画素の電子的な構造内に捕捉される。いくらかの期間これら自由電子を捕捉して、次いで捕捉した電子の数を測定し、又は自由電子が生成される割合を測定することによって、それぞれの画素における光のレベルが測定される。前者の場合、蓄積する電荷は、画素のアレイから電荷結合素子（ＣＣＤ）内などの電荷電圧測定回路にシフトし、又はアクティブ画素センサ（ＡＰＳ又はＣＭＯＳセンサ）内などの電荷電圧測定回路の素子に包含されるそれぞれの画素に近接する領域にシフトする。
【００３０】
以下の説明において一般的な参照が画像センサについてなされるときはいつでも、図１の画像センサ２０を示すことが理解される。さらに、本明細書で開示する本発明に係る画像センサ構造及び画素パターンの全ての実施例、及びその均等物は、画像センサ２０で使用されることが理解される。
【００３１】
画像センサの関係で、画素（「画像素子」の縮約）は、分離された光感度領域と、電荷シフト（charge  shifting）回路、すなわち光感度領域に関連付けられる電荷測定回路とを称する。デジタルカラー画像の関係で、画素という用語は、関連する色値（color  values）を有する画像の特定の位置を一般に称する。
【００３２】
カラー画素を形成するために、画像センサ内の画素のアレイは、アレイを覆うカラーフィルタのパターンを有する。図２において、一般に使用される、赤（Ｒ）カラーフィルタ、緑（Ｇ）カラーフィルタ、及び青（Ｂ）カラーフィルタのパターンを示す。この特定のパターンは、発明者Bryce  Bayerが米国特許第３９７１０６５号において開示した後は、ベイヤー・カラーフィルタアレイ（ＣＦＡ）として一般に知られる。このパターンは、カラー画素の２次元アレイを有する画像センサにおいて効果的に使用される。その結果として、それぞれの画素は、特定のカラー光応答を有し、この場合は、特定のカラー光応答は、赤光、緑光、又は青光に対して顕著な感度を有する。有用な様々な他のカラー光応答には、マゼンタ光、イエロー光、又はシアン光に対して顕著な感度を有する。それぞれの場合において、特定のカラー光応答は、可視スペクトルのある部分に対して高い感度を有するが、同時に可視スペクトルの他の部分に対しては感度が低い。用語カラー画素は、カラー光応答を有する画素をいう。
【００３３】
センサに使用するように選択されるカラー光応答の組は、ベイヤーＣＦＡに示されるように、普通は３つの色を有する。しかしまた、４色以上を含むことができる。本明細書で使用されるように、パンクロ光応答は、カラー光応答の選択される組に示す分光感度よりも広範な分光感度を有する光応答をいう。パンクロ光応答は、可視スペクトル全体に亘って高い感度を有することができる。用語パンクロ画素は、パンクロ光応答を有する画素をいうことになる。パンクロ画素は概して、カラー光応答の組よりも広範な分光感度を有するが、パンクロ画素はそれぞれ、関連するフィルタを有することができる。このフィルタは、減光フィルタ、又はカラーフィルタの何れかである。
【００３４】
カラー画素及びパンクロ画素のパターンが、画像センサの表面にあるとき、このパターンはそれぞれ、連続するサブアレイである繰り返し部を有する。繰り返し部は、基本構築ブロックとして働く。繰り返し部の複数の複製に並置することによって、全体的なセンサパターンは、作り出される。繰り返し部の複数の複製は、水平方向及び垂直方向に並置されるのと同様に、斜め方向に並置される。
【００３５】
最小繰り返し部は、他の繰り返し部より少ない画素を有する繰り返し部である。例えば、図２のＣＦＡは、図２において画素ブロック１００として表される２画素×２画素の最小繰り返し部を含む。この最小繰り返し部の複数のコピーは、画像センサ内の全てのアレイをタイル状に覆う。最小繰り返し部は、上部右角に緑画素を有して示されるが、太線で囲まれた領域を１画素右に移動し、１画素下に移動し、又は対角線上に１画素右下に移動することによって、３つの別の最小繰り返し部を簡単に理解することができる。画素ブロック１００は繰り返し部であり、ブロック１０２よりも少ない画素をブロック１００が有するので、画素ブロック１０２は、繰り返し部であるが最小繰り返し部ではない。
【００３６】
図２のＣＦＡを含む２次元アレイを有する画像センサを使用して捕捉した画像は、それぞれの画素に１つの色値のみを有する。それぞれの画素において欠落した色を推測し、又は補間して、フルカラー画像を作成する技術がいくつかある。このＣＦＡ補間技術は、周知の技術であり、米国特許第５５０６６１９号、米国特許５６２９７３４号、及び米国特許第５６５２６２１号で参照される。
【００３７】
図３のグラフを参照すると、標準的なカメラの用途における赤カラーフィルタ、緑カラーフィルタ、及び青カラーフィルタを有する画素の相対的な分光感度が示される。図３のＸ軸は、光の波長をナノメートルで表し、Ｙ軸は、効率を示す。図３において、曲線１１０は、画像センサに到達する光から赤外線と紫外線とを遮断するために使用する標準的なフィルタのスペクトル透過特性を示す。画像センサに標準的に使用されるカラーフィルタが赤外線を遮断しないために、画素は、関連するカラーフィルタの通過帯域内の光と、赤外線光とを区別できない可能性があるので、帯域幅フィルタが必要となる。曲線１１０で示される赤外線遮断特性によって、赤外線が可視光信号に悪影響を与えないようになる。赤フィルタ、緑フィルタ、及び青フィルタが付された標準的なシリコンセンサのスペクトルの量子効率、すなわち、捕捉され、測定可能な電気信号に変換される入射光子の割合は、曲線１１０で示される赤外線遮断フィルタのスペクトル透過特性が乗じられて、赤は曲線１１４で表され、緑は曲線１１６で表され、青は曲線１１８で表される結合システムの量子効率を作り出す。カラー光応答は、可視スペクトルの一部のみに感度があることがこの曲線から理解できる。一方、（赤外線遮断フィルタ特性を含むが）カラーフィルタが付されない同一のシリコンセンサの光応答が曲線１１２で示される。これは、パンクロ光応答の一例である。カラー光応答曲線１１４、１１６、及び１１８とパンクロ光応答曲線１１２とを比較すると、パンクロ光応答は、いずれのカラー光応答の３倍から４倍の広さのスペクトル光感度する可能性があることは、明らかである。異なる種類の他のセンサは、図３に示す光応答と異なる光応答を有することができるが、広範なパンクロ光応答は、いずれのカラー光応答よりも常に感度が良好であろうことは明らかである。
【００３８】
カラーフィルタを有する画素と、カラーフィルタを有しない画素とが混在することによって、図３において示される広範なパンクロ感度により画像センサの全体的な感度を改良できる。しかしながら、カラーフィルタ画素は、パンクロ画素よりも感度がかなり低くなるだろう。この状況では、パンクロ画素が適当な光に露光された結果、場面からの光強度の範囲がパンクロ画素の全ての測定範囲に亘る場合は、カラー画素は、ほとんど露光されないことになるであろう。したがって、カラーフィルタ画素がパンクロ画素とほぼ同一の感度を有するようにカラーフィルタ画素を調整することは、有利である。カラー画素の感度は、パンクロ画素と比較してカラー画素の大きさを大きくすることなどによって、空間画素（spatial  pixels）の減少を伴い、増加する。
【００３９】
パンクロ画素とカラー画素とを有する画像捕捉装置において、画素アレイのパンクロ画素及びカラー画素の配置は、画像捕捉装置の空間サンプリング特性に影響を与える。パンクロ画素にカラー画素が代わることで、カラーサンプリング周波数が減少する。例えば、Gindeleによる米国特許第６４７６８６５号のように図２の最小繰り返し部１００の緑画素の１つがパンクロ画像に置換される場合、緑画素は、図２に示す元のパターンの半数であるので、緑のサンプリング周波数は、減少する。この特定の場合では、パンクロ画素のサンプリング周波数と、カラー画素のそれぞれのサンプリング周波数とは、同一である。
【００４０】
一般にパンクロ画素は、カラー画素よりも感度が良いので、カラー画素のいずれの周波数よりもパンクロ画素のサンプル周波数が高いことによって、それぞれの画素において、続く画像処理のための基準と、欠落した色の補間のための基準とを提供する感度が高いパンクロ画像の表示と、ロバスト性とを提供することが望ましい。例えば、Yamagami他による米国特許５３２３２３３号は、５０％のパンクロ画素と、２５％の緑画素と、それぞれ１２．５％の赤画素と、青画素とを有するパターンを示す。図４に、このパターンの最小繰り返し部を示す。赤又は青のどちらのカラー画素の２倍の緑画素を有することは、一般に使用されるベイヤーパターンと一致するが、Yamagamiに示されるロバスト性のパンクロサンプリング配置と組み合わせるときは、必ずしも有利な効果を提供しない。他の色と同程度に緑の配置頻度を減らすことは、完全に処理された画像に重大な悪影響を与えることはないであろう。
【００４１】
図５Ａに、最小繰り返し部に亘り均一に配列された４つのパンクロ画素と、１つの赤画素（Ｒ）と、２つの緑画素（Ｇ）と、１つの青画素とを有する本発明に係る最小繰り返し部を示す。
【００４２】
図５Ｂに、本発明に係る最小繰り返し部を示す。図５Ｂは、赤画素、緑画素、及び青画素がそれぞれシアン画素、イエロー画素、及びマゼンダ画素に置換されていること以外は図５Ａと同様である。これは、本発明は、異なる４つの分光感度のいずれかの組とともに使用できることを明示する。
【００４３】
図５Ａの最小繰り返し部は、タイル状に配置されて、欠落画素がない大きな画素のアレイをいくつかの方法で提供する。図６Ａは、図５Ａの最小繰り返し部が行と列とにタイル状に均一に配置されるタイル状配置を示す。図６Ｂは、上の行に対して２画素ずつ右に最小繰り返し部がシフトするタイル状配置を示す。すなわち、図５Ｂの最小繰り返し部は、行方向に均一に配置され、それぞれ行が、上に近接する行に対して最小繰り返し部の半分ずつ右にシフトする。
【００４４】
図６Ａに示す図５Ａのタイル状配置は、パンクロ画素と、単一色のカラー画素とをそれぞれの列が有する画素アレイを提供する。図６Ａの配置を９０度回転することにより、本発明の代替的な画素アレイを提供する。この回転した場合において、画素アレイのそれぞれの行は、パンクロ画素と、単一色のカラー画素とを有する。
【００４５】
図６Ｂにおいて示される図６Ａのタイル状配置は、行と列とがそれぞれ、パンクロ画素と２色のカラー画素とを有する画素アレイを提供する。図６Ｂの配置を９０度回転することにより、本発明の代替的な画素アレイを提供する。この回転した場合において、画素アレイの行と列とはそれぞれ、パンクロ画素と、２色のカラー画素とを有する。
【００４６】
図６Ａと図６Ｂのタイル状配置は、本発明の２つの実施形態である。なお、双方のタイル状配置は、それぞれのパンクロ画素が４つの他のパンクロ画素と斜めに近接する、パンクロ画素の市松模様を提供する。さらにカラー画素の２つの配置は、異なるカラーサンプリング特性を提供することに留意する。例えば、図６Ａのカラーサンプリングは、水平の周波数よりも高い周波数を垂直に有する。また、図６Ｂのカラーサンプリングは、水平の周波数と垂直の周波数とが等しい。図６Ａに示す異なるカラー周波数は、画素が長方形であるとき、及び縦方向に長く、幅が狭いときに有益である。図６Ｂに示す等しいカラーサンプリング周波数は、画素が正方形であるときに有益である。
【００４７】
一般化すると、本発明に従う画像センサは、以下の最小繰り返し部を有することができる。
【表１】
2010537555.tif 000003
【００４８】
ここで、Ｐはパンクロ画素を表し、Ａ、Ｂ、及びＣは、異なるカラー応答を有する画素を表す。１つの配置では、Ａ、Ｂ、及びＣは、赤、緑、又は青のカラー応答からそれぞれ選択する光応答を有する画素を表す。特定の配置では、Ａは赤のカラー応答を有する画素を表し、Ｂは緑のカラー応答を有する画素を表し、Ｃは青のカラー応答を有する画素を表す。また、Ａ、Ｂ、及びＣは、シアン、マゼンダ、又はイエローの応答からそれぞれ選択するカラー応答を有する画素を表す。特定の配置では、Ａはシアンカラー応答を有する画素を表し、Ｂはイエローカラー応答を有する画素を表し、Ｃはマゼンダカラー応答を有する画素を表す。
【００４９】
本発明のパターにおけるパンクロ画素は、感度が同一である必要はない。例えば、図７Ａは、図５と類似する最小繰り返し部であるが、パンクロ画素の２つが元のパンクロ画素と写真感度が異なるパンクロ画像に置換された最小繰り返し部を示す。写真感度が異なるパンクロ画素を使用して、広範なレベルの光を捕捉する。図７Ｂは、異なる２つの写真感度を有するパンクロ画素の他の配置を有する他の最小繰り返し部を示す。
【００５０】
なお、図５Ａ、図７Ａ、図７Ｂのいずれかのアレイの回転、又は本発明の上述の実施形態のいずれかの回転は、完全に本発明の範囲内である。例えば、図８Ａは、４５度反時計回りに回転した図５Ａの最小繰り返し部に相当する八角形画素の配置の最小繰り返し部を示す。図８Ｂは，タイル状に配置されて、４５度反時計回りに回転した図６Ａに相当するパターンを形成する。図８Ｃは，タイル状に配置されて、４５度反時計回りに回転した図６Ｂに相当するパターンを形成する。回転したこれらの配置の場合、及び最小繰り返し部の回転と、タイル状配置の回転とに合致する方法では、画素の行と列とが回転したと考えられる。
【００５１】
ビデオ捕捉用により高いフレームレートを提供するため、又は表示画面に能動的なプレビュー画像を提供するなどのいくつかの目的のためには、解像度が低い画像をセンサから作り出すことは有利である。図１において、ＤＳＰ３６は、センサと、画像サブシステムとにより提供されるロー画像（raw  image）から処理画像を作り出す。ビデオのフレームレートで一連の処理画像を提供するために、多くの場合ＤＳＰ３６は、（プログラム可能な画像処理パスと対照的な）配線接続された画像処理パスを提供する。配線接続された画像処理パスは、図２のベイヤーフィルタパターンにセンサデータが適合することを必要とすることが多い。したがって、本発明に係るセンサから、解像度を落としたベイヤー画像を簡便に読み出す能力を提供することは、有利である。
【００５２】
図９Ａを参照すると、本発明に係るカラー画素とパンクロ画素との配置が示される。図９Ａは、図６Ｂに類似するが、本発明に係る画像センサから解像度を落としたベイヤー画像の生成を実施するためのそれぞれの画素に指数が付加される。図９Ａにおいて、最小繰り返し部１２１０は、図５Ａに示すものと同一のものとして示される。図９Ｂは、図９Ａからカラー画素のみを含む画素の配置を示す。これは、画素の偶数行と奇数行とが水平にオフセットすることを除き、ベイヤー配置に近い。解像度を落とした図９のベイヤー配置は、図９Ｂのカラー画素から次のように作り出す。図９Ｂの青画素（Ｂ14、Ｂ16、Ｂ34、Ｂ36、Ｂ54、Ｂ58、Ｂ74、Ｂ78）と、上述の青画素と同一の行にある図９Ｂの緑画素（Ｇ14、Ｇ16、Ｇ32、Ｇ36、Ｇ54、Ｇ58、Ｇ74、Ｇ78）とは、変更されることなく図９Ｃにおいて使用される。図９の他の緑画素（Ｇ´24、Ｇ´26、Ｇ´42、Ｇ´46、Ｇ´64、Ｇ´68、Ｇ´84、Ｇ´88）と赤画素（Ｒ´24、Ｒ´26、Ｒ´42、Ｒ´46、Ｒ´64、Ｒ´68、Ｒ´84、Ｒ´88）とは、図９Ｂの対応する行の緑画素と赤画素とから補間する。Ｒ´22の補間の一例は、Ｒ´22＝（３＊Ｒ´21＋１＊Ｒ´25）／４で与えられる。双三補間、及び適応補間などの当業者に周知な他の補間形式を使用できる。図９Ｃのベイヤー画像は、図９Ａの元の画像の１／２の水平解像度と、完全な垂直解像度とを有する。結果として生じるこの画像は、さらにＶＧＡ出力（６４０行×４８０列）、又は他の大きさの形式の出力に縮小できる。
【００５３】
図９Ｂに示す画素を補間して、図９Ｃの画素を得ることは、サンプリング電圧を平均化し、又は画素信号のデジタル表示を組み合わせることによって画素の電荷を組み合わせることなどによって可能である。
【符号の説明】
【００５４】
１０    光
１１    画像段
１２    レンズ
１３    フィルタブロック
１４    アイリス
１６    センサブロック
１８    シャッタブロック
２０    センサ
２２    アナログ信号プロセッサ
２４    Ａ／Ｄ変換器
２６    タイミング生成器
２８    センサ段
３０    バス
３２    ＤＳＰメモリ
３６    デジタル信号プロセッサ
３８    処理段
４０    露光制御器
５０    システム制御器
５２    バス
５４    プログラムメモリ
５６    システムメモリ
５７    ホストインタフェース
６０    メモリカードインタフェース
６２    ソケット
６４    メモリカード
６８    ユーザインタフェース
７０    ファインダ表示装置
７２    露光表示装置
７４    ユーザ入力
７６    状態表示装置
８０    ビデオエンコーダ
８２    表示制御器
８８    画像表示装置
１００    ベイヤーパターンの最小繰り返し部
１０２    ベイヤーパターンの最小でない繰り返し部
１１０    赤外線阻止フィルタのスペクトル透過曲線
１１２    センサのフィルタを有しないスペクトル光応答曲線
１１４    センサの赤光応答曲線
１１６    センサの緑光応答曲線
１１８    センサの青光応答曲線
１２０    本発明の最小繰り返し部
【図１】
2010537555.tif 000006
【図２】
2010537555.tif 000007
【図３】
2010537555.tif 000008
【図４】
2010537555.tif 000009
【図５Ａ】
2010537555.tif 000010
【図５Ｂ】
2010537555.tif 000011
【図６Ａ】
2010537555.tif 000012
【図６Ｂ】
2010537555.tif 000013
【図７Ａ】
2010537555.tif 000014
【図７Ｂ】
2010537555.tif 000015
【図８Ａ】
2010537555.tif 000016
【図８Ｂ】
2010537555.tif 000017
【図８Ｃ】
2010537555.tif 000018
【図９Ａ】
2010537555.tif 000019
【図９Ｂ】
2010537555.tif 000020
【図９Ｃ】
2010537555.tif 000021
【国際調査報告】
2010537555.tif 000022
2010537555.tif 000023