(57)【要約】カラー画像を取り込むイメージ・センサーであって、複数の最小反復単位をもつピクセルの二次元アレイを含み、各反復ユニットが、四つの全色性ピクセル、異なる色応答をもつ三つのピクセルおよび一つの代替ピクセルをもつ八個のピクセルから構成される、イメージ・センサーが開示される。
2013511909.tif 000002
【特許請求の範囲】
【請求項１】
カラー画像を取り込むイメージ・センサーであって、複数の最小反復単位をもつピクセルの二次元アレイを有しており、各反復ユニットが、四つの全色性ピクセル、異なる色応答をもつ三つのピクセルおよび一つの代替ピクセルをもつ八個のピクセルから構成される、イメージ・センサー。
【請求項２】
最小反復単位：
P  B  P  X
A  P  C  P
をもち、ここで、Pは全色性ピクセルを表し、A、BおよびCは異なる色応答をもつピクセルを表し、Xは代替ピクセルを表す、
請求項１記載のイメージ・センサー。
【請求項３】
A、BおよびCが、個々に赤、緑または青の応答から選択される色応答をもつピクセルを表す、請求項２記載のイメージ・センサー。
【請求項４】
A、BおよびCが、それぞれ赤、緑および青の応答である色応答をもつピクセルを表す、請求項２記載のイメージ・センサー。
【請求項５】
A、BおよびCが、個々にシアン、マゼンタおよびイエローの応答から選択される色応答をもつピクセルを表す、請求項２記載のイメージ・センサー。
【請求項６】
A、BおよびCが、それぞれシアン、イエローおよびマゼンタの応答である色応答をもつピクセルを表す、請求項２記載のイメージ・センサー。
【請求項７】
ピクセルの前記アレイが、前記最小反復単位を各行に均等に敷き詰め、各行が隣接する行に対して最小反復単位の幅の半分だけシフトしているようにすることによって形成される、請求項２記載のイメージ・センサー。
【請求項８】
前記全色性ピクセルが少なくとも二つの異なる写真スピードのピクセルを含む、請求項１記載のイメージ・センサー。
【請求項９】
最小反復単位：
P1  B  P1  X
A  P2  C  P2
をもち、ここで、P1は第一の写真スピードをもつ全色性ピクセルを表し、P2は第二の写真スピードをもつ全色性ピクセルを表し、A、BおよびCは異なる色応答をもつピクセルを表し、Xは代替ピクセルを表す、
請求項８記載のイメージ・センサー。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、改善された光感度および散在するピクセル代替物をもつ二次元イメージ・センサーに関する。
【背景技術】
【０００２】
電子イメージング・システムは、視覚的な像の電子表現を生成するために電子的なイメージ・センサーに依存する。そのような電子的なイメージ・センサーの例は、電荷結合素子（CCD:  charge  coupled  device）イメージ・センサーおよびアクティブ・ピクセル・センサー（APS:  active  pixel  sensor）デバイス（APSデバイスは、相補的金属酸化物半導体（Complementary  Metal  Oxide  Semiconductor）プロセスで製作できるためしばしばCMOSセンサーと称される）を含む。典型的には、これらのイメージ・センサーは多数の光感応性のピクセルを含み、それらのピクセルはしばしば行および列の規則的なパターンをなして配列される。カラー画像を取り込むためには、個々のピクセルが可視光スペクトルの一部だけに感度をもつように異なる複数のフィルタ材料を使って、ピクセルのパターン上にフィルタのパターンが典型的には製作される。カラー・フィルタは必然的に、各ピクセルに到達する光の量を減らし、よって各ピクセルの光感度を低下させる。より低い光レベルにおいて画像を取り込めるようにするため、あるいはより高い光レベルにおいてより短い露出時間で画像を取り込めるようにするために、電子的カラー・イメージ・センサーの光感度（light  sensitivity）、すなわち写真スピード（photographic  speed）を改善する必要がある。
【０００３】
イメージ・センサーは線形または二次元である。一般に、そうしたセンサーは二つの異なる種類の応用がある。二次元センサーは典型的には、デジタル・カメラ、携帯電話およびその他の用途といった画像取り込み装置に好適である。線形センサーはしばしば文書のスキャンに使われる。いずれの場合でも、カラー・フィルタを用いると、イメージ・センサーの感度は低下する。
【０００４】
イーストマン・コダック社によって製造される線形イメージ・センサーKLI-4104は、四つの線形の、一ピクセル幅のピクセル・アレイを含み、それらのアレイの三つには、各アレイがその全体において赤、緑または青に感度をもつようにするためカラー・フィルタが適用されており、四番目のアレイにはカラー・フィルタ・アレイは適用されていない。さらに、三つのカラー・アレイは、カラー・フィルタに起因する光感度の低下を補償するため、より大きなピクセルをもち、四番目のアレイは高分解能の輝度画像を取り込むためにより小さいピクセルをもつ。このイメージ・センサーを使って画像を取り込むとき、画像は高分解能、高写真感度の輝度画像と、ほぼ同じ写真感度をもつ三つのより低い分解能の画像を合わせたものとして表現され、三つの画像のそれぞれは画像からの赤、緑または青の光に対応する。よって、電子画像における各点は、輝度値、赤の値、緑の値および青の値を含む。しかしながら、これは線形イメージ・センサーなので、四つの線形のピクセル・アレイを横断して画像を走査するために、イメージ・センサーと画像との間の相対的な機械的動きを必要とする。これは、画像が走査されるスピードを制限し、このセンサーをハンドヘルド・カメラや動いている対象を含むシーンを撮影することにおいて使うことを妨げる。
【０００５】
当技術分野では、アキラ・ムラマツによる米国特許第4,823,186において記載される、二つのセンサーを含む電子撮像システムも知られている。それらのセンサーのそれぞれは二次元のピクセル・アレイを含むが、一つのセンサーはカラー・フィルタをもたず、他方のセンサーは、ピクセルとともに含まれるカラー・フィルタのパターンを、各イメージ・センサーに画像を与えるための光ビーム・スプリッターとともに含む。カラー・センサーは適用されるカラー・フィルタのパターンをもつので、カラー・センサー内の各ピクセルは単一色のみを提供する。このシステムにおいて画像が取り込まれるとき、電子画像中の各点は輝度値および一つの色値を含み、カラー画像は、各ピクセル位置における欠けている色を、近隣の色から補間させなければならない。このシステムは単一の従来のイメージ・センサーに対して光感度を改善するが、システムの全体的な複雑さ、大きさおよびコストは、二つのセンサーおよびビーム・スプリッターを必要とするために、より大きくなる。さらに、ビーム・スプリッターは画像からの光の半分しか各センサーに向けないので、写真スピードの改善は限定される。
【０００６】
上述した線形イメージ・センサーに加えて、当技術分野では、カラー・フィルタが適用されないピクセルを含む、二次元ピクセル・アレイをもつイメージ・センサーが知られている。たとえば、米国特許第4,390,895号（Sato  et  al.）、米国特許第5,323,233号（Yamagami  et  al.）、米国特許6,476,865号（Gindele  et  al.）および米国特許出願公開第2003/0210332号（Frame）を参照されたい。引用された特許のそれぞれにおいて、輝度またはフィルタリングされないピクセルに対する、カラー・ピクセルのサンプリング配置は、色画像に対して輝度画像を優遇し、あるいはその逆に輝度画像に対して色画像を優遇し、あるいは他の何らかの仕方で色および輝度ピクセルの最適でない配置を提供する。
【０００７】
本願と同じ被譲渡者に譲渡された米国特許出願公開2008/0130073では、カラー・フィルタをもついくつかのピクセルおよびカラー・フィルタをもたないいくつかのピクセルを含むピクセルの特定の二次元配置が開示されている。この特定のピクセル配置は、カラー・ピクセルをもつピクセルとカラー・フィルタをもたないピクセルの間の好ましい比率を提供し、カラー・フィルタをもつピクセルを互いに対してかつカラー・フィルタをもたないピクセルに対して好ましい仕方で分配することによって、先に引用した構成の欠点を克服する。
【０００８】
いくつかの事例では、二次元ピクセル・アレイが、いくつかのピクセルを代替的な機能で置き換える回路を含む。たとえば、本願と同じ被譲渡者に譲渡された米国特許第7,304,673号において、Erhardtらはイメージ・センサーのアクティブなイメージング・ピクセルの間に散在させられる代替ピクセル・サイトを開示している。該代替ピクセル・サイトがアクティブなイメージング・ピクセルとは異なるデータ、情報または機能を提供する。これらの代替ピクセルはたとえば、増幅器、接地または電源コンタクト、あるいはイメージ・センサーのアクティブなイメージング・ピクセルのイメージング特性とは異なる代替的なイメージング機能のために使われる。障害のあるピクセルのために失われた画像信号を補間するためのよく知られた技法が、そのような代替ピクセルのために欠けている画像信号を補間するために用いられる。
【０００９】
したがって、散在する代替ピクセルを含むピクセルの二次元アレイをもつ単一のセンサーを用いる電子取り込み装置のための光感度を改善することが必要とされている。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、カラー・ピクセルおよび全色性（panchromatic）ピクセルの二次元アレイをもつイメージ・センサーであって、高い感度を提供し、フルカラー画像を生成するのに効果的なものを提供することに向けられる。
【課題を解決するための手段】
【００１１】
手短にまとめると、本発明のある側面によれば、本発明は、カラー画像を取り込むためのイメージ・センサーであって、複数の最小反復単位をもつピクセルの二次元アレイを有しており、各反復ユニットが、四つの全色性ピクセル、異なる色応答をもつ三つのピクセルおよび一つの代替ピクセル（substitute  pixel）をもつ八個のピクセルから構成される、イメージング・センサーを提供する。
【００１２】
本発明に基づくイメージ・センサーは、低レベルの照明条件について特に好適である。そのような低レベルの照明条件は低い場面照明、短い露光時間、小さな開口またはセンサーに達する光に対する他の制約の結果である。そのようなイメージ・センサーには幅広い応用があり、多数の型の画像取り込み装置が効果的に該センサーを使用できる。さらに、本発明に基づくイメージ・センサーは、取り込まれた画像を処理して最終的なフルカラーでレンダリングされた画像を生成することを容易にする。
【００１３】
本発明のこれらおよびその他の側面、目的、特徴および利点は、好ましい実施形態の以下の詳細な説明および付属の請求項を吟味することから、また付属の図面を参照することによって、より明確に理解され、認識されるであろう。
【図面の簡単な説明】
【００１４】
【図１】従来のセンサーおよび処理方法または本発明のセンサーおよび処理方法を用いることができる通常のデジタル・スチール・カメラ・システムのブロック図である。
【図２】最小反復単位と非最小反復単位を示す通常のベイヤー・カラー・フィルタ・アレイ・パターン（従来技術）を示す図である。
【図３】赤、緑および青のピクセルについての代表的なスペクトル量子効率曲線およびより幅広いスペクトル全色性量子効率を与える図である。いずれも赤外カット・フィルタの透過特性を乗算してある。
【図４】Ａ〜Ｂは、全色性ピクセルおよびカラー・ピクセルの両方をもつ二つのカラー・フィルタ・アレイ・パターン（従来技術）を示す図である。
【図５】Ａ〜Ｃは、本発明のカラー・フィルタ・アレイ・パターンについてのいくつかの最小反復単位を示す図である。
【図６】Ａ〜Ｄは、図５のＡの最小反復単位をタイリングするいくつかの仕方を示す図である。
【図７】種々の写真感度の全色性ピクセルを用いる本発明の代替的な実施形態のカラー・フィルタ・アレイ・パターンについての最小反復単位を示す図である。
【図８】Ａ〜Ｂは、図６のＤと同様のタイリングにつながる、図５Ａ〜Ｂのカラー・フィルタ・アレイについての代替的な最小反復単位を与える図である。
【図９】図８のＡの最小反復単位についてのタイリング配置を示す図である。
【図１０】ピクセルが八角形パターンで配置される本発明のカラー・フィルタ・アレイについての最小反復単位と、タイリング配置を示す図である。
【図１１】Ａは、図６のＤのタイリング配置からのカラー・サンプルの空間分布を示し、Ｂは図６のＤのタイリング配置からの代替ピクセルの空間分布を示す。
【図１２Ａ】本発明のイメージ・センサーからの低解像度ベイヤー画像の生成を示す図の一枚である。
【図１２Ｂ】本発明のイメージ・センサーからの低解像度ベイヤー画像の生成を示す図の一枚である。
【図１２Ｃ】本発明のイメージ・センサーからの低解像度ベイヤー画像の生成を示す図の一枚である。
【図１２Ｄ】本発明のイメージ・センサーからの低解像度ベイヤー画像の生成を示す図の一枚である。
【図１２Ｅ】本発明のイメージ・センサーからの低解像度ベイヤー画像の生成を示す図の一枚である。
【図１３】本発明のセンサーからのカラー・ピクセルおよび全色性ピクセルのデータを処理する方法を示す、本発明のプロセス図である。
【図１４】本発明のカラー・ピクセルおよび全色性ピクセルの配置を示す図である。添え字は補間アプローチの説明を支援する。
【発明を実施するための形態】
【００１５】
イメージング・デバイスを用いるデジタル・カメラならびに信号捕捉や補正および露光制御のための関係した回路はよく知られているので、本記述は、本発明に基づく方法および装置の一部をなす要素、あるいはより直接的に協働する要素に特に向けられる。本稿に具体的に示されないまたは記述されない要素は当技術分野で知られているものから選択される。記載される実施形態のある種の側面はソフトウェアで提供される。以下の素材において本発明に基づいて示され、記述されるシステムを与えられれば、本発明の実装のために有用な、本稿で具体的に示されたり、記述されたり、示唆されたりしていないソフトウェアは通常のものであり、当業者の技量の範囲内である。
【００１６】
ここで図１に目を転じると、本発明を具現するデジタル・カメラとして示されるイメージ捕捉装置のブロック図が示されている。ここではデジタル・カメラについて説明するが、本発明が他の型のイメージ取り込み装置に適用可能であることは明らかである。開示されるカメラにおいて、主題場面からの光１０がイメージング段１１に入力され、ここで光がレンズ１２によって合焦され、半導体イメージ・センサー２０上に像を形成する。イメージ・センサー２０は入射光を各画素（ピクセル）のための電気的信号に変換する。好ましい実施形態のイメージ・センサー２０は電荷結合素子（CCD）型またはアクティブ・ピクセル・センサー（APS）型である（APSデバイスは、相補的金属酸化物半導体プロセスで製作できるためしばしばCMOSセンサーと称される）。本発明のパターンを用いる限り、二次元ピクセル・アレイをもつ他の型のイメージ・センサーも使用される。本発明はまた、カラー・ピクセルおよび全色性ピクセルの二次元アレイをもつイメージ・センサー２０をも利用する。これについては、本明細書で図１が説明されたあとに明確になるであろう。イメージ・センサー２０とともに使用される本発明のカラー・ピクセルおよび全色性ピクセルのパターンの例は、図５のＡ〜Ｃ、図７、図８のＡ〜Ｂおよび図１０のＡ〜Ｂに見られる。ただし、本発明の精神の範囲内で他のパターンも使用される。
【００１７】
センサー２０に到達する光の量は、開口を変える絞りブロック１４および光路に介在する一つまたは複数のNDフィルタを含む中性濃度（ND:  neutral  density）フィルタ・ブロック１３によって制御される。全体的な光レベルを制御するものとして、シャッター・ブロック１８が開いている時間もある。露出コントローラ・ブロック４０は、明るさセンサー・ブロック１６によって測定されるシーンにおいて利用可能な光の量に応答して、これら調節機能の三つすべてを制御する。
【００１８】
特定のカメラ構成についてのこの記述は、当業者にはおなじみであろう。多くの変形および追加的な特徴が存在することは明白であろう。たとえば、オートフォーカス・システムが追加されたり、あるいはレンズが取り外し可能および交換可能であったりする。本発明は、同様の機能が代替的なコンポーネントによって提供されるいかなる型のデジタル・カメラにも適用されることは理解されるであろう。たとえば、デジタル・カメラは、比較的単純な、被写体に向けてシャッターを押すだけのデジタル・カメラである。この場合、シャッター１８は、より込み入った焦点面構成ではなく、比較的単純な可動ブレード・シャッターである。本発明はまた、携帯電話および自動車のような非カメラ装置に含まれる撮像コンポーネント上で実装されることもできる。
【００１９】
イメージ・センサー２０からのアナログ信号は、アナログ信号プロセッサ２２によって処理され、アナログ‐デジタル（AD:  analog  to  digital）変換器２４に加えられる。タイミング発生器２６は、行およびピクセルを選択するためにさまざまなクロック信号を生成し、アナログ信号プロセッサ２２およびA/D変換器２４の動作を同期させる。イメージ・センサー段２８はイメージ・センサー２０、アナログ信号プロセッサ２２、A/D変換器２４およびタイミング発生器２６を含む。イメージ・センサー段２８のコンポーネントは別個に製造される集積回路であるか、あるいはCMOSイメージ・センサーで普通に行われているように、単一の集積回路として製造される。A/D変換器２４からの結果として得られるデジタル・ピクセル値のストリームは、デジタル信号プロセッサ（DSP:  digital  signal  processor）３６に付随するメモリ３２に記憶される。
【００２０】
デジタル信号プロセッサ３６は、本実施形態では、システム・コントローラ５０および露光コントローラ４０に加えての、三つのプロセッサまたはコントローラの一つである。カメラ機能制御の複数のコントローラおよびプロセッサへのこの分配は典型的なものであるが、これらのコントローラまたはプロセッサは、カメラの機能動作および本発明の適用に影響することなくさまざまな仕方で組み合わせられる。これらのコントローラおよびプロセッサは、一つまたは複数のデジタル信号プロセッサ・デバイス、マイクロコントローラ、プログラム可能型論理デバイスまたは他のデジタル論理回路を有することができる。そのようなコントローラまたはプロセッサの組み合わせが記述されたが、一つのコントローラまたはプロセッサが必要な機能のすべてを実行するために指定されうることは明白なはずである。これらの変形のすべては、同じ機能を実行することができ、本発明の範囲内にはいる。用語「処理段」は、必要に応じて、たとえば図１における処理段３８のように、あるフェーズ内の機能のすべてを包含するために使われる。
【００２１】
図示した実施形態では、DSP  ３６は、プログラム・メモリ５４に恒久的に記憶され、画像取り込みの際に実行のためにメモリ３２にコピーされるソフトウェア・プログラムに従って、メモリ３２中のデジタル画像データを扱う。DSP  ３６は、図１３に示される画像処理を実施するために必要なソフトウェアを実行する。メモリ３２は、SDRAMのようないかなる型のランダム・アクセス・メモリをも含む。アドレスおよびデータ信号のための経路を含むバス３０は、DSP  ３６を関係するメモリ３２、A/D変換器２４および他の関係する装置に接続する。
【００２２】
システム・コントローラ５０は、プログラム・メモリ５４に記憶されるソフトウェア・プログラムに基づいてカメラの全体的な動作を制御する。プログラム・メモリ５４は、フラッシュEEPROMまたは他の不揮発性メモリを含むことができる。このメモリはまた、イメージ・センサー較正データ、ユーザー設定選択およびカメラをオフにするときに保存されなければならない他のデータを記憶するために使われることもできる。システム・コントローラ５０は、先述したようにレンズ１２、NDフィルタ１３、絞り１４およびシャッター１８を動作させるよう露光コントローラ４０に指令し、イメージ・センサー２０および付随する要素を動作させるようタイミング発生器２６に指令し、取り込まれた画像データを処理するようDSP  ３６に指令することによって、画像取り込みのシーケンスを制御する。画像が取り込まれ、処理されたのち、メモリ３２に記憶された最終的な画像ファイルがインターフェース５７を介してホスト・コンピュータに転送され、リムーバブル・メモリ・カード６４もしくは他の記憶装置上に記憶され、画像ディスプレイ８８上でユーザーのために表示される。
【００２３】
バス５２は、アドレス、データおよび制御信号のための経路を含み、システム・コントローラ５０をDSP  ３６、プログラム・メモリ５４、システム・メモリ５６、ホスト・インターフェース５７、メモリ・カード・インターフェース６０および他の関係した装置に接続する。ホスト・インターフェース５７は、表示、記憶、操作または印刷のための画像データの転送のために、パーソナル・コンピュータ（PC）または他のホスト・コンピュータへの高速接続を提供する。このインターフェースはIEEE1394またはUSB2.0シリアル・インターフェースまたは他の任意の好適なデジタル・インターフェースである。メモリ・カード６４は典型的には、ソケット６２に挿入され、メモリ・カード・インターフェース６０を介してシステム・コントローラ５０に接続されるコンパクト・フラッシュ（CF）カードである。使用される他の型の記憶は、限定するものではないが、PCカード、マルチメディア・カード（MMC）またはセキュア・デジタル（SD）カードを含む。
【００２４】
処理される画像は、システム・メモリ５６内の表示バッファにコピーされ、ビデオ信号を生成するためにビデオ・エンコーダ８０を介して連続的に読み出される。この信号は、外部モニタ上の表示のためにカメラから直接出力され、ディスプレイ・コントローラ８２によって処理され、画像ディスプレイ８８上に呈示される。このディスプレイは典型的にはアクティブ・マトリクス・カラー液晶ディスプレイ（LCD）であるが、他の型のディスプレイも使用される。
【００２５】
ユーザー制御およびインターフェース状態６８は、ビューファインダー・ディスプレイ７０、露光ディスプレイ７２、状態ディスプレイ７６および画像ディスプレイ８８およびユーザー入力７４の全部または任意の組み合わせを含み、露光コントローラ４０およびシステム・コントローラ５０上で実行されるソフトウェア・プログラムによって制御される。ユーザー入力７４は典型的にはボタン、ロッカー・スイッチ、ジョイスティック、ロータリー・ダイヤルまたはタッチスクリーンの何らかの組み合わせを含む。露光コントローラ４０は光測定（light  metering）、露光モード、オートフォーカスおよび他の露光機能を動作させる。システム・コントローラ５０は、ディスプレイの一つまたは複数上に、たとえば画像ディスプレイ８８上に呈示されるグラフィカル・ユーザー・インターフェース（GUI）を管理する。GUIは典型的にはさまざまなオプション選択をするためのメニューおよび取り込まれた画像を吟味するための閲覧モードを含む。
【００２６】
露光コントローラ４０は、露光モード、レンズ開口、露光時間（シャッター・スピード）および露光指数もしくはISO感度（ISO  speed  rating）を選択するユーザー入力を受け入れ、その後の撮影のためにレンズおよびシャッターにしかるべく指令する。シーンの明るさを測定し、ISO感度、開口およびシャッター速度を手動で設定するときに参照するためにユーザーに露光測定機能を提供するために、明るさセンサー１６が用いられる。この場合、ユーザーは一つまたは複数の設定を変え、ビューファインダー・ディスプレイ７０上に呈示される光メーター・インジケータがユーザーに、画像がどの程度露出過剰または露出不足になるかを伝える。自動露光モードでは、ユーザーがある設定を変えると、正しい露光を維持するために露光コントローラ４０が自動的に他の設定を変更する。たとえば、所与のISO感度について、ユーザーがレンズ開口を小さくする場合、露光コントローラ４０は、全体として同じ露光を維持するために露光時間を自動的に長くする。
【００２７】
ISO感度は、デジタル・スチール・カメラの重要な属性である。露光時間、レンズ開口、レンズ透過率、シーン照明のレベルおよびスペクトル分布およびシーン反射率がデジタル・スチール・カメラの露光レベルを決める。不十分な露光を使ってデジタル・スチール・カメラからの画像が得られる場合、電子的なまたはデジタル利得を上げることによって適正な色調再現が一般には維持できるが、画像は受け入れられない量のノイズを含むことになるだろう。露光が増すにつれて、利得は低下させられ、よって画像ノイズは通常は受け容れ可能なレベルまで低下させられる。露光が過度に増やされると、画像の明るい領域における結果として得られる信号がイメージ・センサーまたはカメラ信号処理の最大信号レベル容量を超えることがある。このため、画像ハイライトがクリップされて、一様に明るい領域を形成したり、あるいは画像の周辺の領域ににじみ出したりすることがありうる。適正な露光を設定するようユーザーを案内することが重要である。ISO感度はそのようなガイドとしてはたらくことが意図されている。写真撮影者によって簡単に理解されるため、デジタル・スチール・カメラのためのISO感度の等級は、写真フィルム・カメラのためのISO感度に直接関係するべきである。たとえば、デジタル・スチール・カメラがISO200のISO感度をもつ場合、同じ露光時間および開口がISO200と等級付けされたフィルム／処理システムについて適切であるべきである。
【００２８】
ISO感度は、フィルムISO感度と調和することが意図されている。しかしながら、電子撮像システムとフィルム・ベースの撮像システムの間には、厳密な等価性を阻む相違がある。デジタル・スチール・カメラは可変利得を含むことができ、画像データが取り込まれたのちにデジタル処理を提供することができる。それにより、ある範囲のカメラ露光にわたって色調再現が達成できる。したがって、デジタル・スチール・カメラはある範囲の複数の感度をもつことが可能である。この範囲はISO感度寛容度（latitude）として定義される。混乱を防ぐため、単一の値が本来的なISO感度の等級として、本来的なISO感度から異なる諸有効感度を含む感度範囲を示すISO感度寛容度の上限および下限とともに指定される。これを念頭に、本来的なISO感度は、指定されたカメラ出力信号特性を生成するために、デジタル・スチール・カメラの焦点面において与えられる露光から計算される数値である。本来的な感度は、通例、所与のカメラ・システムについて通常のシーンに対してピーク画質を生じる露光指数値である。ここで、露光指数は、イメージ・センサーに与えられる露光に反比例する数値である。
【００２９】
デジタル・カメラの上記の説明は当業者にはおなじみであろう。この実施形態に対する可能な多くの変形があり、コストを下げるため、機能を追加するため、またはカメラの性能を改善するために選択されることは明らかであろう。以下の記述は、本発明に従って画像を取り込むためのこのカメラの動作を詳細に開示する。この記述はデジタル・カメラを参照しているものの、本発明は、カラー・ピクセルおよび全色性ピクセルをもつイメージ・センサーを有する、他のいかなる型の画像取り込み装置と一緒に使うためにも適用されることは理解されるであろう。
【００３０】
図１に示されるイメージ・センサー２０は典型的には、各ピクセルにおける入射光を、測定される電気信号に変換するすべを提供する、シリコン基板上に製作された光感応性ピクセルの二次元アレイを含む。センサーが光にさらされると、各ピクセルの電子構造内で、自由電子が生成され、捕捉される。これらの自由電子をある時間期間にわたって捕捉し、次いで捕捉された電子数を測定するまたは自由電子が生成されるレートを測定することが、各ピクセルにおける光レベルを測定する。前者の場合、電荷結合素子（CCD）などのように、蓄積された電荷がピクセルのアレイからシフトして出されて、電荷から電圧への測定回路に送られる。あるいは、アクティブ・ピクセル・センサー（APSまたはCMOSセンサー）などのように、各ピクセルに近い領域が電荷から電圧への測定回路を含む。
【００３１】
以下の記述において一般的にイメージ・センサーに言及するときは常に、図１からのイメージ・センサー２０を表すと理解される。さらに、本明細書において開示される本発明のイメージ・センサー構造およびピクセル・パターンのあらゆる例およびその等価物がイメージ・センサー２０のために使用されることも理解される。
【００３２】
イメージ・センサーのコンテキストでは、ピクセル（「ピクチャー・エレメント〔画素〕」の略）は、離散的な光感知領域および該光感知領域に付随する電荷シフトまたは電荷測定回路を指す。デジタル・カラー画像のコンテキストでは、用語ピクセルは一般に、関連付けられた色値をもつ、画像中の特定の位置を指す。
【００３３】
カラー画像を生成するために、イメージ・センサー中のピクセルのアレイは典型的には、その上にカラー・フィルタのパターンが載せられる。図２は、一般的に使われる赤、緑および青のカラー・フィルタのパターンを示している。この特定のパターンは一般に、US3,971,065で開示される発明者ブライス・ベイヤー（Bryce  Bayer）にちなんで、ベイヤー・カラー・フィルタ・アレイ（CFA）として知られる。このパターンは、カラー・ピクセルの二次元アレイをもつイメージ・センサーにおいて効果的に使われている。結果として、各ピクセルは、この場合、赤、緑または青の光に対する主要な感度である特定のカラー光反応をもつ。カラー光反応のもう一つの有用な変種は、マゼンタ、イエローまたはシアンの光に対する主要な感度である。それぞれの場合において、特定のカラー光反応は可視スペクトルのある種の部分に高い感度をもつ一方、同時に可視スペクトルの他の部分には低い感度をもつ。用語カラー・ピクセルは、カラー色反応をもつピクセルを指す。
【００３４】
センサーにおいて使うために選択されるカラー光反応の組は、通例、ベイヤーCFAにおいて示されるように三つの色をもつが、四つ以上を含むこともできる。本稿での用法では、全色性光反応は、カラー光反応の選択された組において表されるスペクトル感度より幅広いスペクトル感度をもつ光反応を指す。全色性光感度は、可視スペクトル全体を通じて高い感度をもつことができる。用語全色性ピクセルは、全色性光反応をもつピクセルを指す。全色性ピクセルは一般にカラー光反応の組より幅広いスペクトル範囲をもつが、各全色性ピクセルは付随するフィルタをもつことができる。そのようなフィルタは中性濃度フィルタまたはカラー・フィルタである。
【００３５】
カラー・ピクセルおよび全色性ピクセルのパターンがイメージ・センサー面上にあるとき、そのような各パターンは反復単位をもつ。反復単位は、基本的な構成ブロックとしてはたらくピクセルの一続きの部分アレイである。反復単位の複数のコピーを並べることによって、センサー・パターン全体が生成される。反復単位の複数のコピーの並置は、横方向および縦方向のほか対角方向にも行われる。
【００３６】
最小反復単位は、それより少ないピクセルをもつ他の反復単位がないような反復単位である。たとえば、図２におけるCFAは、図２におけるピクセル・ブロック１００によって示される２ピクセルかける２ピクセルの最小反復単位を含んでいる。この最小反復単位の複数のコピーが敷き詰められて、イメージ・センサーにおけるピクセルのアレイ全体をカバーする。最小反復単位は右上のコーナーに緑のピクセルをもつよう示されているが、太枠の領域を１ピクセル右に動かす、１ピクセル下に動かす、あるいは１ピクセル右下に斜めに動かすことによって、三つの代替的な最小反復単位が容易に見きわめられる。ピクセル・ブロック１０２は反復単位であるが、それは最小反復単位ではない。ピクセル・ブロック１００が反復単位であり、ピクセル・ブロック１００はブロック１０２より少数のピクセルを有しているからである。
【００３７】
図２のCFAをもつ二次元アレイをもつイメージ・センサーを使って取り込まれた画像は、各ピクセルにおいて一つの色値しかもたない。フルカラー画像を生成するために、各ピクセルにおける欠けている色を推定または補間するためのいくつかの技法がある。これらのCFA補間技法は当技術分野においてよく知られており、特許US5,506,619、US5,629,734およびUS5,652,621が参照される。
【００３８】
図３は、典型的なカメラ用途における赤、緑および青のカラー・フィルタをもつピクセルの相対的なスペクトル感度を示している。図３の横軸はナノメートル単位での光の波長を表し、縦軸は効率を表す。図３では、曲線１１０は、赤外光および紫外光がイメージ・センサーに到達するのを遮断するために使われる典型的なフィルタのスペクトル透過特性を表している。そのようなフィルタが必要とされるのは、イメージ・センサーに使われるカラー・フィルタは典型的には赤外光を遮断せず、よってピクセルは赤外光と、関連するカラー・フィルタの通過帯域内の光との間の区別ができないからである。曲線１１０によって示される赤外遮断特性は、赤外光が可視光信号を損なうことを防ぐ。赤、緑および青のフィルタが適用されている典型的なシリコン・センサーについてのスペクトル量子効率、すなわち、捕捉され測定可能な電気信号に変換される入射光子の割合に、曲線１１０によって表される赤外遮断フィルタのスペクトル透過特性が乗算されて、赤についての曲線１１４、緑についての曲線１１６および青についての曲線１１８によって表される組み合わされたシステム量子効率が得られる。これらの曲線から、各カラー光反応は可視スペクトルの一部についてのみ感度をもつことが理解される。これに対し、カラー・フィルタが適用されていない（だが赤外遮断フィルタ特性を含む）同じシリコン・センサーの光反応が曲線１１２によって示されている。これは、全色性光反応の例である。カラー光反応曲線１１４、１１６および１１８を全色性光反応曲線１１２と比較することによって、全色性光反応が広いスペクトル光に対して、どのカラー光反応よりも、３ないし４倍、敏感であることが明らかである。
【００３９】
図３に示される、より大きな全色性感度は、カラー・フィルタを含むピクセルを、カラー・フィルタを含まないピクセルと混合することによって、イメージ・センサーの全体的な感度を改善することを許容する。しかしながら、カラー・フィルタ・ピクセルは、全色性ピクセルより有意に感度が低い。この状況にあって、シーンからの光強度の範囲が全色性ピクセルの測定範囲全体をカバーするよう全色性ピクセルが適正に光にさらされれば、カラー・ピクセルは有意に露出不足になる。よって、カラー・フィルタ・ピクセルがほぼ全色性ピクセルと同じ感度をもつようカラー・フィルタ・ピクセルの感度を調節することが有利である。カラー・ピクセルの感度は、たとえば、全色性ピクセルに対するカラー・ピクセルの大きさを増し、付随して空間的ピクセル（spatial  pixel）を縮小することによって高められる。
【００４０】
カラー・ピクセルのほか全色性ピクセルを含む画像取り込み装置では、ピクセル・アレイ内での全色性ピクセルおよびカラー・ピクセルの配置は、画像取り込み装置の空間的サンプリング特性に影響する。全色性ピクセルがカラー・ピクセルの位置を取る程度まで、カラー・サンプリングの周波数が低下する。たとえば、米国特許第6,476,865号（Gindele  et  al.）におけるように図２の最小反復単位１００における緑ピクセルの一つが全色性ピクセルで置き換えられる場合、緑のサンプリング周波数は低下する。図２に示されるもとのパターンに比べ、半分の数の緑ピクセルになるからである。この特定の場合、全色性ピクセルおよび各カラー・ピクセルのサンプリング周波数は同じである。
【００４１】
全色性ピクセルは一般にカラー・ピクセルより敏感なので、どのカラー・ピクセルよりも全色性ピクセルについて、より高いサンプリング周波数をもつことが望ましい。それにより、その後の画像処理および各ピクセルにおける欠けている色の補間のための基礎を提供するよう、画像の堅牢で、より高い感度の全色性表現を提供するのである。たとえば、米国特許第5,323,233号（Yamagami  et  al.）は50%の全色性ピクセル、25%の緑のピクセルおよびそれぞれ12.5%の赤および青のピクセルをもつパターンを示している。このパターンの最小反復単位は図４のＡに示されている。他のカラー・ピクセルの二倍の数の緑ピクセルをもつことは、広く使われているベイヤー・パターンと整合するが、Yamagamiにおいて示されるように堅牢な全色性サンプリング配置と組み合わされるときには必ずしも利点を提供しない。緑のサンプリング配置を他の色と同程度まで減らすことは、完全に処理された画像に対して有意な悪い効果はもたないのである。本願と同じ被譲渡者に譲渡された特許出願公開2008/0130073では、図４のＡにおける緑ピクセルの一つを全色性ピクセルで置き換えることによって、図４のＢの配置が生成されるが、これはカラー・サンプリングにおける有意な劣化なしに全色性サンプリングを増大させる。
【００４２】
図５のＡは本発明の最小反復単位を示している。これは、最小反復単位を通じて一様に配される四つの全色性ピクセル、一つの赤ピクセルR、一つの緑ピクセルG、一つの青ピクセルBおよび一つの代替ピクセル（substitute  pixel）Xをもつ。代替ピクセルXは図５のＡ、Ｂ、Ｃに示されている。代替ピクセルXは、アクティブなイメージング・ピクセルとは異なるデータ、情報または機能を提供する。
【００４３】
代替ピクセルはたとえば、増幅器、接地または電源コンタクト、あるいはイメージ・センサーのアクティブなイメージング・ピクセルのイメージング特性とは異なる代替的なイメージング機能のために使われる。ピクセル・アレイが井戸型構造で作られる場合、代替ピクセルはたとえば、井戸型ポテンシャルにおける局所的な変動を防止するための井戸接点の一様に分布したアレイを提供するために使われる。CMOSイメージ・センサーでは、代替ピクセルはたとえば、近隣ピクセルを読み出すために用いられる共有された回路を提供するために使われる。これらの例は、ピクセル・アレイにおいて代替ピクセルをもつ有用性を実証するが、代替ピクセルがどのように用いられうるかについて限定するものではない。
【００４４】
図５のＢは、本発明のもう一つの最小反復単位を示している。図５のＢは、緑および青のピクセルが交換されたほかは図５のＡと同様である。各色についてのカラー・サンプリング周波数は同じままであるが、四つのカラー・サンプリング配置の間の位相関係は図５のＡとＢの間で異なっている。図５のＣは、本発明のさらにもう一つの最小反復単位を示している。図５のＣは、赤、緑および青のピクセルがそれぞれシアン、イエローおよびマゼンタのピクセルで置き換えられたほかは図５のＡと同様であり、本発明のこの実施形態が三つの相異なるスペクトル感度のどの組とともに使われることもできることを実証している。
【００４５】
図５のＡの最小反復単位は、いくつかの仕方で敷き詰められて、欠けているピクセルのない、より大きなピクセルのアレイを与える。図６のＡは、図５のＡの最小反復単位が行および列において均等にタイリングされるタイリング配置を示している。図６のＢは、図５のＡについての、一つおきの列が１ピクセル下に（あるいは同じことだが上に）シフトされる、タイリング配置を示している。つまり、図５のＡの最小反復単位がいくつかの列において均等にタイリングされ、各列が隣接する列に対して最小反復単位の高さの半分だけ縦にシフトしているのである。図６のＣは、各行が上の行に対して１ピクセル右にシフトされる、タイリング配置を示している。つまり、図５のＡの最小反復単位がいくつかの行において均等にタイリングされ、各行が隣接する上の行に対して最小反復単位の幅の四分の一だけ右にシフトしているのである。図６のＤは、一つおきの行が２ピクセル、すなわち最小反復単位の幅の半分だけ右に（あるいは同じことだが左に）シフトされる、タイリング配置を示している。つまり、図５のＡの最小反復単位がいくつかの行において均等にタイリングされ、各行が隣接する行に対して最小反復単位の幅の半分だけ右にシフトしているのである。
【００４６】
図６のＡなしいＣに示される図５のＡのためのタイリング配置は、ピクセル・アレイに、横方向と縦方向の間で異なる、個々の色についてのサンプリング周波数を与える。図６のＤのタイリング配置は、横方向と縦方向の間で同一であり、左上から右下への対角線（スラッシュ）方向と右上から左下への対角線（バックスラッシュ）方向の間で同一である個々の色についてのサンプリング周波数をもつピクセル・アレイを与える。さらに、サンプリング周波数は、各色の間で同一であり、各色についての最高サンプリング周波数は横方向および縦方向に関連付けられる。最高サンプリング周波数が横方向および縦方向と関連付けられるよう配置することは、エイリアシングの可能性を最低にして縦または横のエッジがサンプリングされることを許容する。よって、上記の議論に基づき、図６のＤは、図５のＡの最小反復単位についての好ましいタイリング配置を提供する。
【００４７】
本発明のパターンにおける全色性ピクセルは感度が同一である必要はない。たとえば、図７は、二つの異なる写真スピードをもつ全色性ピクセルの代替的な配置をもつ最小反復単位を示している。最小反復単位の一方の行があるスピードをもち、他方の行が異なるスピードをもつのである。
【００４８】
この点までの本発明を記述するために使われた最小反復単位はみな、長方形状に配列された行当たり４つのピクセルをもつ２つの行であるが、代替的な等価な最小反復単位もある。たとえば、図８のＡは、図６のＤのように敷き詰められた図５のＡの最小反復単位と等価である。さらに、図８のＢは、図５のＢが図６のＤと同様に敷き詰められれば、図５のＢと等価である。図９は、図８のＡの最小反復単位のタイリングが図６のＤと等価であることを示している。図９はまた、図８のＡの最小反復単位をタイリングする一つの方法しかないことをも示している。
【００４９】
図５のＡ、図７、図８のＡまたは本発明の他のこれまでに記述された実施形態のいずれかのパターンのいずれかを回転させることは、完全に本発明の範囲内であることを注意しておく。たとえば、図１０のＡは、図５のＡの最小反復単位を45度反時計回りに回転させることと等価な八角形ピクセルの配置の最小反復単位を示している。図１０のＢは、図１０のＡの最小反復単位を敷き詰めて、図６のＤの反時計回りの45度回転と等価なパターンを形成したものを示している。
【００５０】
図１１のＡは、図６のＤと同じ一般的なピクセル配置で、カラー・ピクセルのみを特定している。図１１のＡを調べることによって、個々の各色についてのサンプリング・パターンが同一であるが、互いに対してシフトされていることが明確である。代替ピクセルのみを特定している図１１のＢを調べると、代替ピクセルのパターンが個々の各色のサンプリング・パターンと同一であるが、色に対してシフトしていることが示される。
【００５１】
いくつかの目的のためには、たとえば、ビデオ取り込みのためのより高いフレーム・レートを提供するため、あるいはディスプレイ画面上でアクティブなプレビュー画像を提供するために、センサーからより低い解像度の画像を生成することが有利である。図１では、DSP  ３６は、センサーおよびイメージング・サブシステムによって与えられる生画像から、処理された画像を与える。ビデオ・フレーム・レートで一連の処理された画像を提供するために、DSP  ３６は多くの場合、（プログラム可能な画像処理経路ではなく）固定構成の（hardwired）画像処理経路を提供する。そのような固定構成の画像処理経路はしばしば、センサー・データがベイヤー・フィルター・パターン：
G  R
B  G
に合致することを要求する。したがって、本発明のセンサーから、低下した解像度のベイヤー画像を便利に読む能力を提供することが有利である。
【００５２】
図１２Ａを参照するに、本発明のカラー・ピクセルおよび全色性ピクセルの配置が示されている。図１２Ａは図６のＤと同様だが、本発明のイメージ・センサーから低下した解像度のベイヤー画像を生成することを例証するのを助けるために、各ピクセルに指数を加えてある。図１２Ａでは、最小反復単位１２０は、図５のＡに示されるのと同じであるよう示されている。図１２Ａにおけるすべての緑ピクセル（たとえば、G12、G16、G34、G38）が修正なしに使われるとする。図１２Ｂで丸を付けて示されるこれらの緑ピクセルは、ベイヤー・パターンにおいて存在する緑ピクセルの市松模様をなす。ベイヤー・パターンにおける赤および青ピクセルについては、赤および青ピクセルを対で組み合わせて赤および青ピクセルの平均を生成する。たとえば、R21およびR43が組み合わされて、緑ピクセルG12とG52の間の、図１２Ｂで丸を付けた赤のピクセル平均R'32を生成する。赤ピクセルの同様の対角線方向の組み合わせは、低下した解像度のベイヤー画像における、適切に位置された赤ピクセル平均を与える。同様に、B45およびB63は組み合わされて、緑ピクセルG34とG74の間の、図１２Ｂにおいて丸を付けた青ピクセル平均B'54を生じる。青ピクセルの同様の斜め方向の組み合わせが、低下した解像度のベイヤー画像における適切に位置された青ピクセル平均を与える。図１２Ｃは、結果として得られる画像を示している。もとの画像の１／２の水平方向解像度および１／２の垂直方向解像度をもつベイヤー画像である。
【００５３】
図１２Ａ〜図１２Ｃは、もとの画像の１／４のピクセル数をもつベイヤー画像の生成を例証している。図１２Ｄおよび図１２Ｅは、もとの画像の１／１６の数のピクセルをもつベイヤー画像を生成する同様の技法を使って例証するものである。図１２Ｂおよび図１２Ｅに示されるようにピクセルを組み合わせることは、たとえばピクセル内の電荷を組み合わせることによって、サンプリングされた電圧を平均することによって、あるいはピクセル信号のデジタル表現を組み合わせることによって行われる。
【００５４】
ここで図１３に目を転じると、本発明のイメージ・センサーによって生成され、データ・バス３０（図１）によって搬送される捕捉された生画像データを受け取るデジタル信号プロセッサ・ブロック３６（図１）が示されている。生画像データは低解像度部分カラー・ブロック２０２および高解像度全色性ブロック２０４の両方に渡される。本発明のイメージ・センサーについての最小反復ユニットの例は、すでに図５のＡにおいて示されている。
【００５５】
低解像度部分カラー・ブロック２０２（図１３）では、捕捉された生画像データから部分カラー画像が生成される。部分カラー画像（partial  color  image）とは、各ピクセルが少なくとも一つの色値をもち、かつ各ピクセルは少なくとも一つの色値を欠いている画像である。全色性ピクセルに比較して所与のスペクトル応答をもつカラー・ピクセルは比例して少ないので、結果として部分カラー画像は全色性ピクセルによって捕捉された画像と比較して空間分解能がより低い。
【００５６】
低解像度部分カラー・ブロック２０２は部分カラー画像の各ピクセルを同様の仕方で処理して、結果として、各低解像度ピクセルについて一つの色値として、色値のアレイを与える。ここでは示していないが、このステップにおいて低解像度部分カラー画像をノイズ・クリーニングすることがしばしば有利である。
【００５７】
図１４を参照するに、図１２Ａに示されるパターンと等価のフィルタ・パターンが示されている。最小反復単位２２０（図１４）は、最小反復単位１２０（図１２Ａ）に一致することが見て取れる。再び図１４を参照するに、位置（ａ）、（ｂ）、（ｃ）、（ｄ）における間入する全色性値が次式に従って計算される：
a＝(−P30＋9*P21＋9*P12−P03)/16
b＝(−P34＋9*P23＋9*P12−P01)/16
c＝(−P10＋9*P21＋9*P32−P43)/16
d＝(−P14＋9*P23＋9*P32−P41)/16
こうして、緑値G22を含むピクセルは、菱形の形の中の８個の近隣パン（pan）〔全色性〕値、つまりP21、a、P12、b、P23、d、P32およびcをもつ。分類子値（classifier  value）が今や、ピクセルG22において水平（horizontal）方向、垂直（vertical）方向、スラッシュ（slash）方向およびバックスラッシュ（backslash）方向の４つの中心差分勾配（center-difference  gradient）の絶対値を使って計算される：
clashorz＝|P23−P21|
clasvert＝|P12−P32|
classlash＝|b−c|
clasback＝|a−d|
これらの方向についての対応する予測子（predictor）は、次のようになる：
predhorz＝(P23＋P21)/2
predvert＝(P12＋P32)/2
predslash＝(b＋c)/2
predback＝(a＋d)/2
最小の分類子値をもつ方向を選択したのち、選択された方向に対応するパン予測値（pan  predicted  value）が補間されたパン値P22を生成する。
【００５８】
ひとたび緑ピクセルについてパン値が補間されたら、あとは赤、青および代替ピクセルについて同じことをするだけである。再び図１４に示されるCFAを参照するに、緑ピクセルについて使われたのと同じパン補間プロセスが赤、青および代替ピクセル（図１４でそれぞれR、BおよびXとして同定される）についても等しく適用されることが見て取れる。たとえば、パン・ピクセルP12、P21、P23、P32が直接緑ピクセルG22を取り囲むのと同様に、パン・ピクセルP23、P32、P34、P43は直接青ピクセルB33を取り囲む。ピクセルB33についての近隣の間入値は、緑ピクセルG22について上で与えたのと同様の式を使って計算できる。
【００５９】
パン値がすべてのカラー・ピクセルおよび代替ピクセル位置において補間されたのちは、センサー上の各ピクセル位置について、測定されたまたは補間されたいずれかのパン値がある。これらのパン値は、図１３における高解像度全色性画像２０４をなす。低解像度全色性画像２０６は、赤、緑および青ピクセル位置に対応する補間された全色性値をもつピクセルだけを選択することによって生成される。低解像度全色性画像２０６は今や低解像度部分カラー画像２０２と組み合わされて、低解像度色差（low  resolution  color  differences）２０８を生じる。次の処理段階は、高解像度色差２１０を生成することである。このステップは、各代替ピクセルXに対応する緑マイナス・パン、つまりG−Pの値を見出すことによって始まる。ひとたびG−Pの色差の値が生成されたら、それは次いで補間されたパン値に加算され、高解像度最終画像２１２における緑の値を生じる。
【００６０】
図１４を参照するに、そのような補間されたパン値はP24である。というのも、P24が、代替ピクセルX24の位置にあり、パン・ピクセルP14、P23、P25、P34によって取り囲まれるからである。四つの最も近い緑の値はG04、G22、G26、G44である。これら四つの緑のピクセルのそれぞれは、補間されたパン値ももち、よってG−P色差が各位置において計算される。水平方向および垂直方向の分類子および予測子値は、次式に従って計算される。
【００６１】
clashorz＝|(G22−P22)−(G26−P26)|＋|P22−2*P24＋P26|
clasvert＝|(G04−P04)−(G44−P44)|＋|P04−2*P24＋P44|
predhorz＝[  (G22−P22)＋(G26−P26)]/2
predvert＝[(G04−P04)＋(G44−P44)]/2
小さいほうの分類子が、どちらの予測子値を使うかを示す。示された色差は次いで、代替ピクセルX24における補間されたパン値P24に加えられて、補間された緑の値G24を生じる。
【００６２】
ひとたび緑の値が代替ピクセル位置において計算されたら、二つの偶数添え字をもつすべてのピクセルについて緑の値がある。次のステップは、二つの奇数添え字をもつすべてのピクセルにおける緑の値を計算することである。たとえば、青ピクセルB33を考えると、スラッシュおよびバックスラッシュ分類子および予測子の値は、次式に従って計算される。
【００６３】
classlash＝|(G42−P42)−(G24−P24)|＋|P42−2*P33＋P24|
clasback＝|(G22−P22)−(G44−P44)|＋|P22−2*P33＋P44|
predslash＝[(G42−P42)＋(G24−P24)]/2
predback＝[(G22−P22)＋(G44−P44)]/2
小さいほうの分類子が、どちらの予測子値を使うかを示す。示された色差は次いで、ピクセルB33におけるパン値に加えられて、補間された緑の値G33を生じる。赤ピクセル位置における緑の値を決定するために同じアプローチが取られる。ひとたびこれらすべての緑の値が計算されたら、両方とも奇数または両方とも偶数の添え字をもつすべてのピクセル位置について緑の値がある。
【００６４】
緑の補間を完成させるために、ピクセルP32のような一つの奇数および一つの偶数の添え字をもつピクセルを考える。水平方向および垂直方向の分類子および予測子の値は次式に従って計算できる。
【００６５】
clashorz＝|(G31−P31)−(G33−P33)|＋|P31−2*P32＋P33|
clasvert＝|(G22−P22)−(G42−P42)|＋|P22−2*P32＋P42|
predhorz＝[(G31−P31)＋(G33−P33)]/2
predvert＝[(G22−P22)＋(G42−P42)]/2
小さいほうの分類子が、どちらの予測子値を使うかを示す。示された色差は次いで、中央ピクセルP32におけるパン値に加えられて、補間された緑の値G32を生じる。一つの奇数および一つの偶数添え字をもつすべてのピクセル位置おける緑の値を決定するためにこのアプローチが取られる。
【００６６】
これですべてのピクセル位置はパン値および緑の値をもつ。あとは欠けている赤および青の値があればそれを補間することである。同数の赤、緑および青のピクセルがあるので、またそれらの幾何学的なレイアウト・パターンは同じなので、緑を補間するための式の組は、修正されて、赤のピクセルおよび青のピクセルに適用されることができる。一般に、赤の値を計算する方法は、R−G色差値を見出し、それが次いで既存の緑値に加算されて赤の値を生成することに関わる。パン値は相変わらず、分類子値を決定することにおいて使用される。
【００６７】
たとえば、青のピクセルB33における赤の値を計算することを考える。水平方向および垂直方向の分類子および予測子の値は、次式に従ってR−G色差を使って計算できる。
【００６８】
clashorz＝|(R31−G31)−(R35−G35)|＋|P31−2*P33＋P35|
clasvert＝|(R13−G13)−(R15−G15)|＋|P13−2*P33＋P15|
predhorz＝[(R31−G31)＋(R35−G35)]/2
predvert＝[(R13−G13)＋(R35−G35)]/2
小さいほうの分類子が、どちらの予測子値を使うかを示す。示された色差は次いで、青ピクセルB33の位置における前に決定された緑の値G33に加えられて、補間された赤の値R33を生じる。B−G色差を使う同様の式の組が、赤のピクセル位置における青の値を計算するために使われる。すべての青ピクセル位置における赤の値およびすべての赤ピクセル位置における青の値を計算するためにこのアプローチが取られ、その後には、二つの奇数の添え字をもつすべてのピクセル位置についての赤および青の値がある。
【００６９】
次のステップは、二つの偶数添え字をもつピクセルにおける赤および青の値を計算することである。たとえば、緑のピクセルG44における赤の値を計算することを考える。スラッシュおよびバックスラッシュ方向の分類子および予測子の値は、次式に従って計算できる。
【００７０】
classlash＝|(R53−G53)−(R35−G35)|＋|P53−2*P44＋P35|
clasback＝|(R33−G33)−(R55−G55)|＋|P33−2*P44＋P55|
predslash＝[(R53−G53)＋(R35−G35)]/2
predback＝[(R33−G33)＋(R55−G55)]/2
小さいほうの分類子が、どちらの予測子値を使うかを示す。示された色差は次いで、ピクセルG44における緑の値に加えられて、補間された赤の値R44を生じる。青の値について同じアプローチが取られる。ひとたびすべての赤および青の値が計算されたら、両方奇数または両方偶数の添え字をもつすべてのピクセル位置についての赤および青の値がある。
【００７１】
色補間プロセスを完成させるために、ピクセルP32のような一つの奇数および一つの偶数の添え字をもつピクセルを考え、赤の値を計算する。水平方向および垂直方向の分類子および予測子の値は次式に従って計算できる。
【００７２】
clashorz＝|(R31−G31)−(R33−G33)|＋|P31−2*P32＋P33|
clasvert＝|(R22−G22)−(R42−G42)|＋|P22−2*P32＋P42|
predhorz＝[(R31−G31)＋(R33−G33)]/2
predvert＝[(R22−G22)＋(R42−G42)]/2
小さいほうの分類子が、どちらの予測子値を使うかを示す。示された色差は次いで、パン・ピクセル位置P32における緑の値に加えられて、補間された赤の値R32を生じる。青の値B32を計算するために、B−G色差を使って同じアプローチが取られる。このアプローチは、一つの奇数および一つの偶数の添え字をもつ各ピクセル位置における赤および青の値を計算するために使われる。この点で、各ピクセルは三つすべての色値：赤、緑および青をもつので、色補間は終了である。これらのピクセルは、図１３の高解像度の最終画像２１２をなす。
【符号の説明】
【００７３】
１０  主題シーンからの光
１１  イメージング段
１２  レンズ
１３  中性濃度フィルタ
１４  絞り
１６  明るさセンサー
１８  シャッター
２０  イメージ・センサー
２２  アナログ信号プロセッサ
２４  アナログ‐デジタル（A/D）変換器
２６  タイミング発生器
２８  イメージ・センサー段
３０  デジタル信号プロセッサ（DSP）バス
３２  デジタル信号プロセッサ（DSP）メモリ
３６  デジタル信号プロセッサ（DSP）
３８  処理段
４０  露出コントローラ
５０  システム・コントローラ
５２  システム・コントローラ・バス
５４  プログラム・メモリ
５６  システム・メモリ
５７  ホスト・インターフェース
６０  メモリ・カード・インターフェース
６２  メモリ・カード・ソケット
６４  メモリ・カード
６８  ユーザー・コントロールおよび状態インターフェース
７０  ビューファインダー・ディスプレイ
７２  露出ディスプレイ
７４  ユーザー入力
７６  状態ディスプレイ
８０  ビデオ・エンコーダ
８２  ディスプレイ・コントローラ
８８  イメージ・ディスプレイ
１００  ベイヤー・パターン用の最小反復単位
１０２  ベイヤー・パターン用の最小でない反復単位
１１０  赤外ブロック・フィルタのスペクトル透過曲線
１１２  センサーのフィルタなしのスペクトル光反応曲線
１１４  センサーの赤の光反応曲線
１１６  センサーの緑の光反応曲線
１１８  センサーの青の光反応曲線
１２０  本発明の最小反復単位
２０２  低解像度部分カラー・ブロック
２０４  高解像度全色性ブロック
２０６  低解像度全色性ブロック
２０８  低解像度の色差ブロック
２１０  高解像度の色差ブロック
２１２  高解像度の最終画像ブロック
２２０  本発明の最小反復単位
【図１】
2013511909.tif 000003
【図２】
2013511909.tif 000004
【図３】
2013511909.tif 000005
【図４Ａ】
2013511909.tif 000006
【図４Ｂ】
2013511909.tif 000007
【図５Ａ】
2013511909.tif 000008
【図５Ｂ】
2013511909.tif 000009
【図５Ｃ】
2013511909.tif 000010
【図６Ａ】
2013511909.tif 000011
【図６Ｂ】
2013511909.tif 000012
【図６Ｃ】
2013511909.tif 000013
【図６Ｄ】
2013511909.tif 000014
【図７】
2013511909.tif 000015
【図８Ａ】
2013511909.tif 000016
【図８Ｂ】
2013511909.tif 000017
【図９】
2013511909.tif 000018
【図１０Ａ】
2013511909.tif 000019
【図１０Ｂ】
2013511909.tif 000020
【図１１Ａ】
2013511909.tif 000021
【図１１Ｂ】
2013511909.tif 000022
【図１２Ａ】
2013511909.tif 000023
【図１２Ｂ】
2013511909.tif 000024
【図１２Ｃ】
2013511909.tif 000025
【図１２Ｄ】
2013511909.tif 000026
【図１２Ｅ】
2013511909.tif 000027
【図１３】
2013511909.tif 000028
【図１４】
2013511909.tif 000029
【国際調査報告】
2013511909.tif 000030
2013511909.tif 000031