(57)【要約】  ピクセル毎の基準でカラー成分比率を保存することによる、デジタル露出制御下の色相保存のための方法及び装置。
2009500946.tif 000002
【特許請求の範囲】
【請求項１】
光電子デバイスでピクセルから複数のカラー成分信号を取得するステップであって、前記複数のカラー成分信号間の比率が照明されたイメージの色相に対応している、前記取得するステップと、
ピクセル毎の基準で、前記色相を歪める可能性のある過剰照明を検出するステップと、
ピクセル毎の基準で前記過剰照明を補正しながら、前記カラー成分信号間の前記比率を保存するステップとを含む方法。
【請求項２】
過剰照明を検出するステップが、
各々がカラー・ピクセル上の光入射のカラー成分に比例した大きさを有する、複数の利得調整されたカラー成分信号を得るために、前記複数のカラー成分信号に利得を適用するステップと、
前記複数の利得調整されたカラー成分信号のうちの１つ又は複数が、閾値を超えるかどうかを判定するステップとを含む請求項１に記載の方法。
【請求項３】
前記利得がピクセル毎の基準で、単位利得のうちの１つであり、単位利得よりも小さく、また単位利得よりも大きい請求項２に記載の方法。
【請求項４】
各々のカラー成分信号がゼロと、クリッピング・レベルに対応する最大値との間の範囲に限定される請求項２に記載の方法。
【請求項５】
前記複数のカラー成分信号のうちの１つ又は複数が、閾値を超えるかどうかを判定するステップが、各々の利得調整されたカラー成分信号を前記最大値と比較することを含む請求項２に記載の方法。
【請求項６】
前記カラー成分信号間の前記比率を保存するステップが、
複数の正規化されたカラー成分信号を得るために、各々の利得調整されたカラー成分信号を、前記複数の利得調整されたカラー成分信号のうちの最大のものに正規化するステップと、
前記複数の正規化されたカラー成分信号をスケーリングするステップとを含む請求項２に記載の方法。
【請求項７】
各々の利得調整されたカラー成分信号を、前記複数の利得調整されたカラー成分信号のうちの最大のものに正規化するステップが、前記複数の利得調整されたカラー成分信号のうちの前記最大のものによって、各々の利得調整されたカラー成分信号を除算するステップを含む請求項６に記載の方法。
【請求項８】
前記複数の正規化されたカラー成分信号をスケーリングするステップが、前記最大値によって各々の正規化されたカラー成分を乗算するステップを含む請求項６に記載の方法。
【請求項９】
前記複数のカラー成分信号のうちの１つ又は複数が、閾値を超えるかどうかを判定するステップが、各々の利得調整されたカラー成分信号を前記閾値と比較することを含む請求項２に記載の方法。
【請求項１０】
前記過剰照明を補正しながら、前記カラー成分信号間の比率を保存するステップが、
前記複数の利得調整されたカラー成分信号のうちの最大のものから導き出されたインデックスを用いてルックアップ・テーブルにアクセスするステップと、
前記ルックアップ・テーブルからスケーリングパラメータを補間するステップと、
前記スケーリングパラメータを用いて、前記複数の利得調整されたカラー成分信号を乗算するステップとを含む請求項２に記載の方法。
【請求項１１】
各カラー成分信号が、複数の原色のうちの１つに対応している請求項１に記載の方法。
【請求項１２】
各カラー成分信号が、複数の補足カラーのうちの１つに対応している請求項１に記載の方法。
【請求項１３】
機械によってアクセスされる場合に、請求項１の方法を含むオペレーションを前記機械に実行させるデータを含む、機械によるアクセスが可能な媒体を備えた製品。
【請求項１４】
光電子デバイスから複数の電気信号を受信するためのアナログ−デジタル・コンバータ（ＡＤＣ）であって、各々が前記光電子デバイス上の光入射のカラー成分に比例した値を有する、対応する複数のデジタル信号を生成するためのＡＤＣと、
前記複数のデジタル信号を受信するため、利得を前記複数のデジタル信号に適用するため、輝度を調整されたデジタル信号を得るため、前記輝度を調整されたデジタル信号のうちの１つ又は複数が出力限度を超えるかどうかを判定するため、前記輝度を調整されたデジタル信号を減少させて、前記複数のデジタル信号の値の比率を保存するために、前記ＡＤＣに結合された信号プロセッサとを備えた装置。
【請求項１５】
各デジタル信号が、ゼロと、デジタル・クリッピング・レベルに対応する最大値との間の範囲に限定される請求項１４に記載の装置。
【請求項１６】
前記信号プロセッサが、前記複数の輝度を調整されたデジタル信号を生成するため、及び各々の輝度を調整されたデジタル信号を前記最大値と比較するために、プログラム可能な因子によって各デジタル信号をさらに乗算する請求項１５に記載の装置。
【請求項１７】
前記信号プロセッサが、複数の正規化されたデジタル信号を得るため、及び各々の正規化されたデジタル信号を前記最大値によって乗算するために、前記複数の輝度調整されたデジタル信号のうちの最大のものによって、各々の輝度を調整されたデジタル信号をさらに除算する請求項１６に記載の装置。
【請求項１８】
機械によってアクセスされる場合に、方法を含むオペレーションを前記機械に実行させるデータを含む、機械によるアクセスが可能な媒体を備えた製品であって、前記方法が、
デジタル・イメージのピクセルから、各々がゼロから最大値までの範囲を有するカラー成分を取得するステップと、
複数の増幅されたカラー成分を得るために、共通因子によって各カラー成分を乗算するステップと、
前記増幅されたカラー成分のうちの１つ又は複数が、前記最大値よりも大きいということを判定するステップと、
各々の増幅されたカラー成分を補正されたカラー成分と置き換えるステップとを含む製品。
【請求項１９】
各々の増幅されたカラー成分を補正されたカラー成分と置き換えるステップが、
前記カラー構成素子のうちの最大のものによって各カラー成分を除算するステップと、
前記最大値によって各カラー成分を乗算するステップとを含む請求項１８に記載の製品。
【請求項２０】
各々の増幅されたカラー成分を補正されたカラー成分と置き換えるステップが、
前記複数の増幅されたカラー成分信号のうちの最大のものから導き出されるインデックスを用いてルックアップ・テーブルにアクセスするステップと、
前記ルックアップ・テーブルからスケーリングパラメータを補間するステップと、
前記スケーリングパラメータを用いて、前記複数の増幅されたカラー成分信号を乗算するステップとを含む請求項１８に記載の製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般にイメージ・センサに関し、より詳細にはイメージ・センサの中での色相の保存に関する。
【背景技術】
【０００２】
ソリッドステートのイメージ・センサは、カメラ・システムの中で幅広い用途を見出している。一部のカメラ・システムの中のソリッドステートのイメージ・センサは、増幅素子とスイッチング素子を備える一連の感光性素子のマトリクスから構成されている。感光性素子は例えば、フォトダイオード、フォトトランジスタ、電荷結合デバイス（ＣＣＤ）、又はその他のものである。典型的には、レンズを用いて感光素子のアレイにイメージの焦点を合わせ、アレイ中の各感光素子が焦点を合わせたイメージの部分から光（光子）を受け取る。各感光性素子（画素又はピクセル）は、吸収する光の部分を電子・正孔の対に変換し、受け取った光の輝度と比例した電荷又は電流を生成する。集積された増幅素子を有するピクセルは、アクティブ・ピクセルと呼ばれる。特にＣＭＯＳ（相補型金属酸化膜半導体）の組み立てプロセスなど、一部のイメージ・センサ技術では、ピクセルのアレイは、単一の集積回路チップの中に集積された増幅デバイスやスイッチング・デバイスとともに組み立てられる。集積された電子回路を有するピクセルは、アクティブ・ピクセルとして知られている。一方、パッシブ・ピクセルは、電荷のバッファリングと増幅を行うために外部の電子回路を必要とする。いずれの場合でも、アレイの中の各ピクセルは、ピクセルのある場所でイメージの光度を表す電気信号を生成する。
【０００３】
光写真のために使用されるイメージ・センサのピクセルは本質的に全色性である。それらは、赤外帯域や紫外帯域の部分とともに、可視スペクトルの全体を含む電磁波長の幅広い帯域に反応する。さらに、可視スペクトルの反応曲線の形状は、人間の目の反応とは異なっている。カラー・イメージを生成するために、光源とピクセルアレイとの間にカラー・フィルタアレイ（ＣＦＡ）が配置される。ＣＦＡは赤（Ｒ）、緑（Ｇ）、青（Ｂ）のアレイであり、１つのフィルタが特定のパターンのピクセルアレイの中の各ピクセルをカバーしている。
【０００４】
ＣＦＡのためのもっとも一般的なパターンは、ベイヤー・パターンと呼ばれるモザイク・パターンである。ベイヤー・パターンはＧフィルタとＲフィルタとが交互になった行（列）から構成されており、ＢフィルタとＧフィルタとが交互になった行（列）と交互になっている。ベイヤー・パターンは、２つの緑ピクセルと１つの赤ピクセルと１つの青ピクセルとからなる４つの隣接するピクセルのグループを作り、このグループはまとめて赤、緑、青のカラー信号素子を有する「カラー・セル」として扱われる。赤、緑、青は、すべての一般的な色を再現するために異なる割合で組み合わせられる原色である。各ピクセルからのネイティブの信号は、単一のカラー・チャネルに対応している。「デモザイキング(demosaicing)」として知られている次のオペレーションでは、各ピクセルで失われた色の推定値を与えるために、隣接するピクセルからのカラー信号が補間される。したがって各ピクセルは、（例えば３つのカラー・システムの場合では）、１つのネイティブのカラー信号と、２つの推定された（起因する）カラー信号とに関連している。各ピクセルに関連したＲＧＢ出力信号が対象物のＲＧＢ値に合致することを確実にするために、さらなる処理が必要とされる。一般に、このカラー調整オペレーションは、ホワイト・バランスの調整及びカラー飽和度の補正も含む。典型的にオペレーションは、「マトリクス化」と呼ばれるマトリクス処理技術を使用して、（以下で説明されるアナログ−デジタル変換に続いて）ディジタル・ドメインの中で実行される。
【０００５】
ＣＦＡのパターンは、補色フィルタ（例えばシアン、マゼンタ、イエローなど）を用いて作られることも可能であり、その他のモザイク・パターン、及び水平、垂直又は対角線の縞のパターン（例えば単一のカラー・フィルタの交互になっている行、列若しくは対角線など）を含む様々な構成とすることが可能である。
【０００６】
固定パターン・ノイズ（ＦＰＮ）の削除を含む何らかのアナログ信号処理の後で、各ピクセルの生の信号はアナログ−デジタル・コンバータ（ＡＤＣ）に送信される。ＡＤＣの出力は、ピクセル信号の大きさに対応している値を有するデータ・ワードである。ヘッドルーム(headroom)を処理するために、ＡＤＣと任意の二次的なデジタル処理ハードウェアのダイナミック・レンジは、通常各ピクセルからのダイナミック・レンジよりも大きい。多くのカメラ・システムでは、明るさはＲ、Ｇ、Ｂチャネルでデジタル化されたデータにデジタル利得又は減衰を適用することによって、自動露出／利得制御ループの一部として、又はユーザから手動で制御される。利得又は減衰は、デジタル乗算又は除算によって達成される。例えばバイナリ・データは、デジタル化されたデータを、乗算のためにデータ・レジスタの中の最上位ビットに移すことによるか、又は除算のために最下位ビットに移すことによる２のべき数によって乗算又は除算される。当技術分野では、浮動小数点オペレーションを含めて、デジタル乗算とディジタル除算のその他の方法が知られている。デジタル利得が適用された後、データは、最終的なデジタル・イメージのために必要とされるビット解像度に対応するビット数に切捨てられる（「クリッピングされる」）。
【０００７】
デジタル・イメージの一部が明るく照らされている場合、ピクセルからのカラー信号のうちの１つ又は複数は、その飽和レベルにあるか、又は飽和レベルに近くなっている（あるいは上回っている）場合があり、その信号はデジタル利得が適用された後、飽和値を超える場合がある。その結果、信号はデジタル切捨てプロセスによってクリッピングされることがあり、カラー信号（Ｒ，Ｇ，Ｂ）の間の適切な比率が失われる。色相はカラー信号間の比率によって決まるため、データから導き出されたイメージの色相が歪められる。図１Ａから１Ｃは、色相の歪み問題を示している。図１Ａでは、赤、緑、青のピクセル・データが１２ビットのレジスタに記憶されており、この場合、生データは本来１０ビットを有するものと仮定されている。示されている例では、Ｒ::Ｇ::Ｂの比率は１６.５::４.１::１.０である。図１Ｂは、４（例えば２ビットの移動）による乗算の後のデータ値を示しており、ここで比率は、１０ビット・データに対して１２ビット・レジスタのヘッドルームによって保存されている。図１Ｃは、デジタル利得が適用された後で１０ビットに戻す切捨て（クリッピング）の効果を示しており、ここで比率Ｒ::Ｇ::Ｂは、８.３::４.１::１.０に変更されている。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
図２は、従来のデジタル利得と切捨てがデータ・ロスを引き起こす場合のクリッピングの効果を示すために使用される、カラー・イメージのグレー・スケール再現である。図２では、イメージの下にある棒グラフは、同心円のセットによって示されているオリジナル・イメージのうちの明るすぎる領域（例えばモデルの頬、顎、肩）のＲ、Ｇ、Ｂのカラーレベルを表しており、ここで赤と緑の要素は、３つすべての要素にデジタル利得と切捨てを適用した結果としてクリッピングされている。中程度のクリッピング・レベルでは、青信号と緑信号との比率が赤信号に対して増加されていることから、大きな直径の円と中くらいの直径の円との間の環状の領域の中では、モデルの肌トーンは中程度に歪められている。赤と緑との両方が飽和度に達しているクリッピング・レベルでは、イエローを作るために同じ比率で赤と緑とが結合することから、中くらいの直径の円と小さい直径の円との間の環状の領域では、肌トーンはイエローが強く見えることになる。図２のグレー・スケール再現では、効果は、イメージのうちの影響を受けた領域の退色として現れることがある。限度内で、デジタル利得がさらに増加されると、カラー・ピクセルからのカラー成分信号は最大レベルでクリッピングされることになる。これが、図２の小さい直径の円のエリアの中などで生じると、同レベルの赤、緑、青が白を生成することから、ピクセルは純白に見えることになる（原色方式又は補色方式のどちらが使用されるのかには関係なく、同じ効果が生じる）。この結果は、露出過剰のデジタル写真でよく知られているブルーミング効果である。
【０００９】
本発明は、添付の図面の図の中で、制限としてではなく、例として説明される。
【発明を実施するための最良の形態】
【００１０】
以下の説明では、本発明の実施形態の完全な理解を可能にするために、特定のコマンド、指定された部品、接続、データ構造その他の例など、数多くの特定の細部が言及されている。しかしながら当業者であれば、本発明の実施形態が、これらの特定の細部を伴わずに実行されてもよいということが明らかであろう。別の例では、よく知られている部品又は方法は、本発明を不必要に曖昧にすることを避ける目的で、ブロック図の中で詳細に説明されていない。したがって、言及される特定の細部は単なる例に過ぎない。特定の細部は本発明の精神及び範囲内で様々なものであってもよく、さらに考察されてもよい。
【００１１】
本発明の実施形態は、以下で説明されるオペレーションを実行する回路を含む。代替として本発明のオペレーションは、オペレーションを実行するための命令でプログラムされた汎用又は特殊目的プロセッサを生じさせるために使用される機械実行可能命令の中で具体化されてもよい。代替として、オペレーションはハードウェアとソフトウェアとの組み合わせによって実行されてもよい。
【００１２】
本発明の実施形態は、本発明によるプロセスを実行するようにコンピュータ・システム（又はその他の電子デバイス）をプログラムするために使用される、記憶された命令を有する機械可読媒体を含むコンピュータ・プログラム製品又はソフトウェアとして提供される。機械可読媒体は、機械（例えばコンピュータ）による読み取りが可能な形式の情報（例えばソフトウェア、処理アプリケーション）を記憶また伝送するための任意のメカニズムを含む。機械可読媒体は以下のものに限定される訳ではないが、磁気記憶媒体（例えばフロッピー・ディスケット）、光記憶媒体（例えばＣＤ−ＲＯＭ）、光磁気記憶媒体、読み込み専用メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ）、消去及びプログラム可能メモリ（例えばＥＰＲＯＭやＥＥＰＲＯＭなど）、フラッシュ・メモリ、電気、光、音波若しくはその他の形式の伝播信号（例えば搬送波、赤外線信号、デジタル信号など）、又は電子的命令を記憶するのに適したその他の種類の媒体を含んでもよい。
【００１３】
以下の説明の一部は、メモリ内に記憶されてもよく、プロセッサによって操作されてもよいデータ・ビット上のオペレーションのアルゴリズム及びシンボル表現に関して示されている。これらのアルゴリズム記述及び表現は、当業者によって彼らの仕事を効果的に伝達するために使用される手段である。アルゴリズムは一般に、所望の結果につながる首尾一貫した一連の行為であると考えられている。その行為は、数量の操作を必要とするものである。必ずしもという訳ではないが、通常、これらの数量は記憶、転送、結合、比較、それ以外に操作されることが可能な電気又は磁気信号の形態をとる。主に一般的な用途上の理由から、これらの信号を時にはビット、値、素子、シンボル、文字、用語、数字、パラメータ又はその他と呼ぶのが便利であることは明らかである。
【００１４】
本明細書で使用される「結合されている」という語は、直接結合されているか、又は１つ又は複数の介在要素を通じて間接的に結合されていることを意味してもよい。本明細書で説明される様々なバスを介して提供される信号のうちの任意のものは、その他の信号と時間多重化されてもよく、１つ又は複数の共通バスを介して提供されてもよい。さらに、回路素子又はブロックの間の相互接続は、バスか、又は単一の信号線として示されてもよい。バスの各々は代替として１つ又は複数の単一信号線であってよく、単一信号線の各々は代替としてバスであってもよい。
【００１５】
イメージ・センサでの色相保存のための方法と装置が説明される。１つの実施形態では、図３に示されているように、色相保存のための方法３００は、光電子デバイスでピクセルからカラー成分信号を取得するステップであって、カラー成分信号間の比率が照明されたイメージの色相に対応しているステップと、ピクセル毎の基準で、色相を歪める可能性のある過剰照明を検出するステップと、ピクセル毎の基準で過剰照明を補正しながら、カラー成分信号間の比率を保存するステップとを含む。
【００１６】
１つの実施形態で、色相保存のための装置は、光電子デバイスから電気信号を受信して、各々が光電子デバイス上の光入射のカラー成分に比例した値を有するデジタル信号を生成するためのアナログ−デジタル・コンバータ（ＡＤＣ）を含む。この装置はさらに、デジタル信号を受信し、デジタル信号に利得を適用して輝度補正されたデジタル信号を取得するため、輝度補正されたデジタル信号のうちの任意のものが出力限度を超えているかどうかを判定するため、及び輝度補正されたデジタル信号を減少させて、デジタル信号間の値の比率を保存するためにＡＤＣに結合された信号プロセッサを含む。
【００１７】
図４は、色相保存を含むイメージ・センサの１つの実施形態を示す。イメージ・センサ１０００はピクセルアレイ１０２０と、イメージ形成コア１０１０（イメージ形成電子回路）のオペレーションに関連した電子部品とを含む。１つの実施形態で、イメージ形成コア１０１０は、カラー・セル（例えばカラー・セル１０２４）に分類されるカラー・ピクセル（例えばピクセル１０２１）のアレイを有するピクセル・マトリクス１０２０と、ピクセル・マトリクス１０２０のための対応する駆動及び検知回路とを含む。駆動及び検知回路は、シフト・レジスタ又はアドレシング・レジスタの形態をとる、１つ又は複数の行スキャニング・レジスタ１０３０及び１つ又は複数の列スキャニング・レジスタ１０３５と、固定パターン・ノイズ（ＦＰＮ）削除及び二重サンプリング回路を含む列アンプ１０４０と、出力バス１０４６に結合されたアナログ・マルチプレクサ（ｍｕｘ）１０４５とを含む。
【００１８】
ピクセル・マトリクス１０２０は、Ｎ≧１及びＭ≧１で、（横の寸法を有する）Ｍ行のピクセルに（縦の寸法を有する）Ｎ列のピクセルで配置されている。各ピクセル（例えばピクセル１０２１）は、少なくともカラー・フィルタ（例えば赤、緑又は青）と、感光性素子と、読み出しスイッチ（不図示）とから構成されている。ピクセル・マトリクス１０２０の中のピクセルは、以下で説明されるように、色相を保存するためにまとめてカラー・セル（例えばカラー・セル１０２４）として処理されるカラー成分信号（例えばＲＧＢ信号）を生成するために、カラー・パターンに分類される。ピクセル・マトリクス１０２０のピクセルは、線形応答ピクセル（すなわち線形又は区分的に線形のスロープを有するピクセル）であってもよい。１つの実施形態で、ピクセル・マトリクス１０２０に対して、米国特許第６，２２５，６７０号の中で説明されているピクセルが使用されてもよい。代替として、ピクセル・マトリクス１０２０のためにその他の種類のピクセルが使用されてもよい。ピクセル・マトリクスは当技術分野で知られているので、さらに詳細な説明は示されない。
【００１９】
行スキャニング・レジスタ１０３０は読み出されるべきピクセル・マトリクス１０２０の行（例えば行１０２２）のすべてのピクセルにアドレスする。それによって、選択された行のピクセルのすべての選択されたスイッチング素子は同時に閉じられる。したがって、選択されたピクセルの各々は縦の出力線（例えば線１０２３）上に信号を配置し、信号は列アンプ１０４０の中で増幅される。列アンプ１０４０は例えば、電荷を電圧に変換するためのトランスインピーダンス・アンプであってもよい。１つの実施形態で、列スキャニング・レジスタ１０３５は、列の直列シーケンスの中で列アンプ１０４０の出力信号を出力バス１０４６に配置するために、制御信号をアナログ・マルチプレクサ１０４５に与える。代替として、列スキャニング・レジスタ１０３５は、列の並列シーケンスの中で列アンプ１０４０の２つ以上の出力信号を出力バス１０４６に配置するために、制御信号をアナログ・マルチプレクサ１０４５に与えてもよい。出力バス１０４６は、イメージ形成コア１０１０からのアナログ出力１０４９を与える出力バッファ１０４８に結合されてもよい。バッファ１０４８はまた、イメージ形成コア１０１０からの増幅された出力信号が求められる場合、アンプの代理をしてもよい。
【００２０】
イメージ形成コア１０１０からの出力１０４９は、アナログ−デジタル・コンバータ（ＡＤＣ）１０５０に結合され、アナログのイメージ形成コア出力１０４９がディジタル・ドメインに変換される。ＡＤＣ１０５０は、ＡＤＣ１０５０から受信されたデジタル・データを処理するためのデジタル処理デバイス１０６０に結合されている。以下でより詳細に説明されるように、デジタル処理デバイス１０６０はデジタル利得モジュール１０６２と、色相保存モジュール１０６４と、自動露出及び利得制御モジュール１０６６とを含んでいる。デジタル処理デバイス１０６０は、マイクロプロセッサ若しくは中央処理ユニット、コントローラ又はその他などの１つ又は複数の汎用処理デバイスであってもよい。代替として、デジタル処理デバイス１０６０はデジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、又はその他などの１つ又は複数の特殊目的処理デバイスを含んでもよい。また、デジタル処理デバイス１０６０は汎用処理デバイスと特殊目的処理デバイスとの任意の組み合わせを含む。
【００２１】
デジタル処理デバイス１０６０は、イメージ・センサ１０００の外にある素子との情報の入力／出力交換を処理し、プロトコル、ハンドシェーキング、電圧変換等のその他のタスクに対処すル・インタフェース・モジュール１０７０に結合されている。インタフェース１０７０は、シーケンサ１０８０に結合される。シーケンサ１０８０は、イメージ形成コア１０１０、デジタル処理デバイス１０６０、ＡＤＣ１０５０などの、イメージ・センサ１０００の中の１つ又は複数の素子に結合される。シーケンサ１０８０は、外部で生成されるクロックと制御信号をインタフェース・モジュール１０７０から受信し、イメージ形成センサの回路（例えばイメージ形成コア１０１０、ＡＤＣ１０５０等）を動かすために内部パルスを生成するデジタル回路であってもよい。
【００２２】
イメージ・センサ１０００は、コモン・キャリアでパッケージ化されるであろう１つ又は複数の一般的な集積回路のダイに形成される。１つの実施形態で、１つ又は複数のデジタル処理デバイス１０６０は、イメージ・センサ１０００の１つ又は複数の集積回路ダイのイメージ形成エリア（すなわちピクセル・マトリクス１０２０）の外にある集積回路上に配置されてもよい。
【００２３】
図５Ａ、５Ｂは、色相保存のために、関連したカラー・ピクセルからデータを収集するために、ピクセル・マトリクス１０２０からのデータがどのように処理されるかを示す。図５Ａでは、ピクセル・マトリクス１０２０の一部が、例えば対角線ストライプＣＦＡパターンで示されており、ここでマトリクスの行と列が０、１、２等とラベルが付けられている。各々個別のピクセルから失われたカラー成分の補間される推定値を得るために、各ピクセルはそのマトリクスの座標によって識別され、隣接するピクセルに関連付けられてもよい。このプロセスの１つの例は、図５Ｂでシンボルによって示されている。ここでピクセルＲ11のために補間されるＧ11要素は隣接するピクセルＧ01、Ｇ12、Ｇ20から、（例えば値を平均することによって）導き出される。同様に、ピクセルＲ11のために補間されるＢ11要素は隣接するピクセルＢ02、Ｂ10、Ｂ21から導き出される。次いで３つの要素は、その後のプロセスと色相保存に関して、ピクセルＲ11の効果的な色相を決める。また、ピクセル・マトリクス１０２０の各ピクセルのためのカラー成分信号を導き出すために、当技術分野で知られているような、その他のカラー推定方法や補間方法が使用されてもよい。
【００２４】
図６は、色相保存を含む、デジタル処理デバイス１０６０の１つの実施形態を示す。デジタル処理デバイス１０６０は、便宜のため、及び説明が明快であるために、ＲＧＢカラー成分システムのコンテキストで以下で説明される。デジタル処理デバイス１０６０はまた、ＲＧＢカラー成分システムではないところで、また４つ以上の色を有するシステムの中で実施形態を有してもよいということを理解されたい。この実施形態で、ＡＥＣモジュール１０６８は、ＡＤＣ１０５０からのすべての着信ピクセル・データで乗算される利得因子を判定する露出制御アルゴリズムを実施する。
【００２５】
デジタル利得が必要とされない場合、その後デジタル利得因子は１にデフォルト設定し、カラー成分値は、出力線ＡＥＣ＿ＯＵＴ＿Ｒ、ＡＥＣ＿ＯＵＴ＿Ｇ、ＡＥＣ＿ＯＵＴ＿Ｂ（総称してＡＥＣ＿ＯＵＴ＿＊）で、直接ＡＥＣ１０６８からインタフェース・モジュール１０７０に渡される。
【００２６】
デジタル利得が必要とされる場合、ＡＥＣモジュール１０６８は使用可能なデジタル利得コマンド（ＥＮ＿ＤＧ）を、デジタル利得因子（Ｄ＿ＧＡＩＮ）とともにデジタル利得モジュール１０６２に送信する。デジタル利得が使用可能にされると、その後ＡＤＣ１０５０からのカラー成分、すなわちデジタル利得モジュール１０６２への入力ＩＮ＿Ｒ、ＩＮ＿Ｇ、ＩＮ＿Ｂ（総称してＩＮ＿＊）が、デジタル利得因子によって乗算される。上述のように、デジタル処理デバイス１０６０のデジタル・チャネルは、レジスタのオーバーフローを伴わずにデジタル利得に対処するために、最大の（例えば飽和度に達した）ピクセル出力のために必要とされる深度よりも深いビット深度を有していてもよい。例えば、最大ピクセル出力値（ＭＡＸ）がｎビットにコード化されることが可能な場合（すなわちＭＡＸ＝２n）、デジタル処理デバイスがＭＡＸよりも２m倍大きなデータ値を処理するように、デジタル処理デバイス１０６０の内部ビット深度はｎ＋ｍとなるであろう。
【００２７】
上述のように、ＡＤＣ１０５０の出力に適用される利得因子は、１よりも小さくてよい（すなわち減衰）。例えばこれは、ＡＤＣから来るビットの数が、イメージ処理の後で必要とされる出力の中の有効ビットの数を超える場合が当てはまるであろう。例えば最終的なイメージが８ビットでコード化される一方で（ＭＡＸ＝２５５）、ＡＤＣ１０５０は１０ビットを生ずる（ＬＡＲＧＥＳＴ＿ＤＧ＝１０２３）。そのような場合、最上位ビットは、１よりも大きい利得について説明されたものと同じように、切捨てられても（クリッピングされても）よい。
【００２８】
デジタル利得が使用可能とされる場合、ＡＥＣモジュール１０６８は、出力ＤＧ＿＊のうちの任意のものが、上述のようにデジタル乗算の前のピクセルの飽和値であるか、又は代替として、デジタル処理デバイス１０６０がインタフェース・モジュール１０７０に供給するように設計されている最大値である特定の最大値（ＭＡＸ）よりも大きいかどうかを判定するために、乗算された出力ＤＧ＿＊の各々を読み取る。
【００２９】
乗算された出力ＤＧ＿＊のうちの任意のものが最大値を超える場合、ＡＥＣモジュール１０６８は、使用可能な色相保存コマンド（ＥＮ＿ＨＰ）を色相保存モジュール１０６４に送信することによって、現在のカラー・セルのための色相保存を使用可能にする。
【００３０】
色相保存が利用可能な場合、色相保存モジュール１０６４は、どのＤＧ＿＊が最大値（ＬＡＲＧＥＳＴ＿ＤＧ＿＊）であるのかを判定し、以下のように正規化された値ｄｇ＿＊を取得するために各ＤＧ＿＊値を最大値で除算することによって、すべてのＤＧ＿値を最大値に正規化する。
ｄｇ＿＊＝（ＤＧ＿＊）／（ＬＡＲＧＥＳＴ＿ＤＧ＿＊）      [式１]
【００３１】
例えば、ＤＧ＿Ｒが最大値である場合、色相保存モジュールは以下のように計算する。
ｄｇ＿ｒ＝（ＤＧ＿Ｒ）／（ＤＧ＿Ｒ）      [式２]
ｄｇ＿ｇ＝（ＤＧ＿Ｇ）／（ＤＧ＿Ｒ）      [式３]
ｄｇ＿ｂ＝（ＤＧ＿Ｂ）／（ＤＧ＿Ｒ）      [式４]
【００３２】
次いで色相保存モジュール１０６４は、特定された最大値ＭＡＸにより各ｄｇ＿＊値を乗算することによって、正規化された値ｄｇ＿＊の各々を中間的に色相保存された値ＨＰ＿＊（不図示）にスケーリングするので、最大の信号はＭＡＸにスケーリングされ、その他の信号はＭＡＸよりも小さい値にスケーリングされる。上から続いて例は以下のようになる。
ＨＰ＿Ｒ＝（ｄｇ＿ｒ）×（ＭＡＸ）
ＨＰ＿Ｇ＝（ｄｇ＿ｇ）×（ＭＡＸ）
ＨＰ＿Ｂ＝（ｄｇ＿ｂ）×（ＭＡＸ）
【００３３】
上述のオペレーションの順序は変更されてもよいということが理解されるであろう。例えば、信号値は最初にスケーリングされて、その後正規化されてもよい。代替として、スケーリングと正規化因子（例えばＭＡＸ／ＬＡＲＧＥＳＴ＿ＤＧ）が計算され、その後ＤＧ＿＊値に適用されてもよい。
【００３４】
任意のＨＰ＿＊信号の最大値がＭＡＸの値に限定される（以下で説明される、起こりうる丸め誤差は除く）。したがって、正規化され、スケーリングされた値ＨＰ＿＊は、値ＭＡＸに対応する切捨てられたワード長を備えた出力値ＯＵＴ＿＊として、インタフェース・モジュール１０７０に出力されてもよい。
【００３５】
上記の説明に関して、ＬＡＲＧＥＳＴ＿ＤＧの値は、ＡＤＣ１０５０へのアナログ入力の値によって判定される任意のデジタル値であってよいということが理解されるであろう。特に、ＬＡＲＧＥＳＴ＿ＤＧの値は、２のべき数ではないかもしれず、したがって、因子（ＭＡＸ）／（ＬＡＲＧＥＳＴ＿ＤＧ）によって各ＤＧ＿＊を乗算することは、コンピュータ処理上、デジタル処理デバイス１０６０などのデジタル・システムの中で厄介なものである。したがって１つの実施形態で、図６に示されているように、色相保存モジュール１０６４はルックアップ・テーブル（ＬＵＴ）１０６５を含んでいる。ＬＵＴ１０６５は例えば、デジタル処理デバイス１０６０中のメモリに記憶されたデータである。以下の表１は、ルックアップ・テーブルの例を示す。表１の例示的な実施形態では、１０２３は飽和度に達したピクセル出力値ＭＡＸであり、１０ビットの出力信号ＯＵＴ＿＊に対応している。デジタル処理デバイス１０６０のデジタル処理チャネルは、０から４０９５.７５の値であるデータ値を登録することができる［１２.２］ビット・チャネル（１２ビットの文字、２ビットの仮数部）であってもよい。表１では、ＬＵＴの値は［０.１０］値（１０ビットの仮数）としてコード化される。ルックアップ・テーブルは、１０２４から２０４８までのＬＡＲＧＥＳＴ＿ＤＧの９つの異なる値のための因子ＭＡＸ／ＬＡＲＧＥＳＴ＿ＤＧを含む。同表は、異なるビットについてのインデックスを計算し、ＬＵＴの中の値を２で除算することによって（１ビットの移動）、２０４８から４０９５までのＬＡＲＧＥＳＴ＿ＤＧの値のために使用される。ＬＡＲＧＥＳＴ＿ＤＧが、線形補間が使用される間隔を判定するために、ＬＵＴの中の数と比較される。補間は、例えば１２８のステップを使用して行われてもよい。線形補間法は当技術分野で知られており、したがって詳細に説明されることはない。
【００３６】
【表１】
2009500946.tif 000003
【００３７】
したがって図７に示されているように、色相の保存方法の１つの例示的な実施形態では、方法７００は、デジタルで増幅された信号ＤＧ＿＊を得るために、ＡＥＣモジュール１０６８がデジタル利得モジュール１０６２のデジタル利得を使用可能にするときに開始する。（ステップ７０１）。次に、ＡＥＣモジュール１０６８は、すべての信号ＤＧ＿＊が１０２４よりも小さいのかどうかを判定する（ステップ７０２）。すべての信号ＤＧ＿＊が１０２４よりも小さい場合、次いでＡＥＣモジュール１０６８は、任意の信号ＤＧ＿＊が１０２３.５か、又は１０２３.７５のいずれかであるかどうかをチェックする（ステップ７０３）。１０２３.５又は１０２３.７３のいずれかである任意の信号ＤＧ＿＊は、［１０.０］形式の１０２３に切捨てられ、ＯＵＴ＿＊信号としてインタフェース・モジュール１０７０に出力される（ステップ７０４）。１０２４よりも小さく、１０２３.５又は１０２３.７５に等しくない任意のＤＧ＿＊信号のために、ＡＥＣモジュール１０６８は、仮数の第１ビットの値をチェックする。（ステップ７０５）。仮数の第１ビットが１（すなわち１０進法の０.５）である場合、値は次の整数値に切り上げられ（１が文字に付加される）（ステップ７０６）、値は［１０.０］ビット形式に切捨てられて、ＯＵＴ＿＊信号としてインタフェース・モジュール１０７０に出力される（ステップ７０７）。ステップ６０５で仮数の第１ビットが０である場合、値は［１０.０］ビット形式に切捨てられて（すなわち切り下げ）、ＯＵＴ＿＊信号としてインタフェース・モジュール１０７０に出力される（ステップ７０７）。
【００３８】
ステップ７０２で、ＤＧ＿＊信号のすべてが１０２４よりも小さくない場合、次いでＤＧ＿＊の最大値がＬＡＲＧＥＳＴ＿ＤＧに割り当てられる（ステップ７０８）。次に、ＬＡＲＧＥＳＴ＿ＤＧが２０４８よりも大きいか、又は等しいのかどうかが判定される（ステップ７０９）。ＬＡＲＧＥＳＴ＿ＤＧが２０４８よりも小さい場合、スケーリングされていないルックアップＬＵＴを使用して、ルックアップ・テーブル・インデックスと補間因子が計算される（ステップ７１０）。ＬＡＲＧＥＳＴ＿ＤＧが２０４８よりも大きいか、又は等しい場合、スケーリングされたルックアップ・テーブルＬＵＴ／２を使用して、ルックアップ・テーブル・インデックス及び補間因子が計算される（ステップ７１１）。次に、［１２.２］ビット形式の色相保存された信号ＨＰ＿＊を得るために、各ＤＧ＿＊信号は補間された因子（ＭＡＸ）／（ＬＡＲＧＥＳＴ＿ＤＧ）によって乗算される（ステップ７１２）。次に、各ＨＰ＿＊値の仮数の第１ビットが検査される（ステップ７１３）。仮数の第１ビットが１である場合、各ＨＰ＿＊値は［１２.０］ビット形式に切り上げられる（ステップ７１４）。仮数の第１ビットが０である場合、ＨＰ＿＊値は［１２.０］ビット形式に切り下げられる（ステップ７１５）。最後に、各ＨＰ＿＊値は［１０.０］ビット形式に切捨てられ、ＯＵＴ＿＊信号としてインタフェース・モジュール１０７０に渡される（ステップ７１６）。
【００３９】
図８Ａ〜８Ｃは、対応するカラー・イメージの典型的なグレー・スケール再現の中での色相保存の効果を示す。図８Ａは、デジタル利得が適用される前の明るすぎる領域のあるオリジナル・イメージを示す。図８Ｂは、色相保存を伴わない従来のイメージ処理を用いて作り出されたイメージを表しており、図８Ｃは、本発明の実施形態による色相保存を用いて処理されたイメージを表している。
【００４０】
本明細書で論じられているイメージ・センサ１０００は、様々な用途の中で使用されている。１つの実施形態で、本明細書で論じられているイメージ・センサ１０００は、例えば汎用の写真（例えばカメラ付き携帯電話、スチール・カメラ、ビデオ・カメラ）又は特殊目的の写真のために、デジタル・カメラ・システムの中で使用されてもよい。代替として、本明細書で論じられているイメージ・センサ１０００は、例えば機械ビジョン、文書のスキャニング、顕微鏡検査、セキュリティ、生物測定等の別の種類の用途の中で使用されてもよい。
【００４１】
本発明の特定の実施形態がいくつか示されてきたが、本発明はこれらの実施形態に限定される訳ではない。本発明は、本明細書で説明されている特定の実施形態によって限定されるのではなく、添付の特許請求の範囲のみによって限定されるものとして理解されるべきである。
【図面の簡単な説明】
【００４２】
【図１】従来のデジタル・イメージ処理を示す図である。
【図２】従来のイメージ形成システムでの色相の歪みを示す図である。
【図３】色相の保存方法の１つの実施形態を示す図である。
【図４】色相保存の１つの実施形態におけるイメージ・センサを示す図である。
【図５】色相保存の１つの実施形態におけるカラー補間を示す図である。
【図６】色相保存の１つの実施形態を示す図である。
【図７】色相の保存方法の１つの実施形態を示す図である。
【図８】デジタル・イメージにおける色相保存を示す図である。
【図１Ａ】
2009500946.tif 000004
【図１Ｂ】
2009500946.tif 000005
【図１Ｃ】
2009500946.tif 000006
【図２】
2009500946.tif 000007
【図３】
2009500946.tif 000008
【図４】
2009500946.tif 000009
【図５Ａ】
2009500946.tif 000010
【図５Ｂ】
2009500946.tif 000011
【図６】
2009500946.tif 000012
【図７】
2009500946.tif 000013
【図８Ａ】
2009500946.tif 000014
【図８Ｂ】
2009500946.tif 000015
【図８Ｃ】
2009500946.tif 000016
【国際調査報告】
2009500946.tif 000017