(57)【要約】画素群のうちから、どの複数の画素が光源の色温度を反映する出力を有するのかを判定するための、方法および装置を提供する。光源を表すとして判定された画素を使って、ホワイトバランス処理を行うことができる。本発明にかかる方法および装置では、こうした画素に対し、所定の基準を満たす画素の色成分（R、G、Bなど）間の関係について評価する。基準を満たした画素群を使って、ホワイトバランス処理を行う。【選択図】図３
2009522871.tif 000002
【特許請求の範囲】
【請求項１】
ホワイトバランスの制御方法であって、
撮影した画像の選択された画素の色画素出力のセットが、最大閾値と最小閾値との範囲内に収まる関係を有するかどうかを判定するステップと、
前記色画素出力が前記範囲内に収まる関係を有する場合に、前記色画素出力のセットを、ホワイトバランス計算に用いるステップと
を含むことを特徴とする、方法。
【請求項２】
前記色画素出力のセットが、赤（R）出力、緑（G）出力、および青（B）出力であり、
前記関係が、 CT= RB/G2 である
ことを特徴とする、請求項１記載の方法。
【請求項３】
関係 CTを、乗算処理もしくは除算処理を行うこと無く決定することを特徴とする、請求項２記載の方法。
【請求項４】
計算される値を、加算処理、レジスタシフト処理、およびlookup処理のみを用いて決定することを特徴とする、請求項２記載の方法。
【請求項５】
複数の画素のうちのどの画素が、所定の色温度を有する光源に応じて生成される色出力のセットと関連しているのかを判定するための装置であって、
各画素に関して前記色出力のセットのうちでの関係を算出するように構成される、計算要素と、
各画素に関連して算出された前記関係が、最小閾値と最大閾値とに制限される範囲内にあるかどうかを判定し、前記関係が前記範囲内にあった場合には、前記画素の色出力のセットを、ホワイトバランス計算に含めるための、比較要素と
を含むことを特徴とする、装置。
【請求項６】
前記色出力のセットが、赤（R）色出力、緑（G）色出力、および青（B）色出力を含み、
前記関係が、 CT= RB/G2 である
ことを特徴とする、請求項５記載の装置。
【請求項７】
計算される値が、乗算処理もしくは除算処理を用いずに決定されることを特徴とする、請求項６記載の装置。
【請求項８】
計算される値を、加算処理、レジスタシフト処理、およびlookup処理のみを用いて決定することを特徴とする、請求項６記載の装置。
【請求項９】
lookup table
をさらに含み、
前記lookup tableは、2n個よりも少ないエントリーを有し、
前記赤色出力、前記緑色出力、および前記青色出力のそれぞれが、n個のデータbitを有するデータ入力である
ことを特徴とする、請求項６記載の装置。
【請求項１０】
前記lookup tableが、2k個のエントリーのみを有し、ここで k は n よりも小さいことを特徴とする、請求項９記載の装置。
【請求項１１】
前記lookup tableが、n-k上位データbitがゼロであるデータ入力に対して直接使用され
るように構成されていることを特徴とする、請求項１０記載の装置。
【請求項１２】
前記lookup tableが、n-k-q上位データbitがゼロであるデータ入力に対して使用されるにあたり、q回右シフトしたデータ入力に対して前記lookup tableを直接使用してから、前記lookup tableの結果にqを加算するように構成されていることを特徴とする、請求項１０記載の装置。
【請求項１３】
前記lookup tableが、対数lookup tableであることを特徴とする、請求項９記載の装置。
【請求項１４】
前記比較要素が、前記色出力のセットが利得処理にかけられる場合に、前記最小閾値および前記最大閾値を再計算するよう構成されていることを特徴とする、請求項５記載の装置。
【請求項１５】
前記比較要素が、対数lookup tableを参照して、再計算の際に前記最小閾値および前記最大閾値に加算される利得定数の対数を得ることを特徴とする、請求項１４記載の装置。
【請求項１６】
画素の色出力のセットのうちでの関係を決定するための装置であって、
前記色出力のセットのうちでの前記関係を計算するよう構成された計算要素であって、ここで、前記色出力のセットが、赤（R）色出力、緑（G）色出力、および青（B）色出力を含み、また、前記関係が、 CT = RB/G2 である、という計算要素と、
2n個よりも少ないエントリーを有し、前記赤色出力、前記緑色出力、および前記青色出力のそれぞれが、n個のデータbitを有するデータ入力である、lookup tableと
を含むことを特徴とする、装置。
【請求項１７】
前記lookup tableが、2k個のエントリーのみを有し、ここで k は n よりも小さいことを特徴とする、請求項１６記載の装置。
【請求項１８】
前記lookup tableが、n-k上位データbitがゼロであるデータ入力に対して直接使用されるように構成されていることを特徴とする、請求項１７記載の装置。
【請求項１９】
前記lookup tableが、n-k-q上位データbitがゼロであるデータ入力に対して使用されるにあたり、q回右シフトしたデータ入力に対して前記lookup tableを直接使用してから、前記lookup tableの結果にqを加算するように構成されていることを特徴とする、請求項１７記載の装置。
【請求項２０】
前記lookup tableが、対数lookup tableであることを特徴とする、請求項１６記載の装置。
【請求項２１】
各画素が色出力のセットと関連づけられた、画素アレイと、
各画素についての前記色出力のセットのうちでの関係を計算するよう構成された、計算要素と、
各画素と関連づけられている計算された前記関係が、所定の基準を満たすかどうかを判定し、前記関係が前記基準を満たしていた場合には、画素の前記色出力のセットをホワイトバランス計算に含めるための、比較要素と
を含むことを特徴とする、撮像子。
【請求項２２】
前記所定の基準が、計算された前記関係が最小閾値と最大閾値とに制限された範囲内に在るというものであることを特徴とする、請求項２１記載の撮像子。
【請求項２３】
前記色出力のセットが、赤（R）色出力、緑（G）色出力、および青（B）色出力を含み、また、前記関係が、 CT = RB/G2 であることを特徴とする、請求項２２記載の撮像子。
【請求項２４】
前記関係が、乗算処理もしくは除算処理を用いずに決定されることを特徴とする、請求項２３記載の撮像子。
【請求項２５】
前記関係を、加算処理、レジスタシフト処理、およびlookup処理のみを用いて決定することを特徴とする、請求項２３記載の撮像子。
【請求項２６】
lookup table
をさらに含み、
前記lookup tableは、2n個よりも少ないエントリーを有し、
前記赤色出力、前記緑色出力、および前記青色出力のそれぞれが、n個のデータbitを有するデータ入力である
ことを特徴とする、請求項２３記載の撮像子。
【請求項２７】
前記lookup tableが、2k個のエントリーのみを有し、ここで k は n よりも小さいことを特徴とする、請求項２６記載の撮像子。
【請求項２８】
前記lookup tableが、対数lookup tableであることを特徴とする、請求項２６記載の撮像子。
【請求項２９】
プロセッサと、
前記プロセッサに関連した撮像子と
を含む撮像システムであって、
前記撮像子が、
各画素が色出力のセットと関連づけられた、画素アレイと、
各画素についての前記色出力のセットのうちでの関係を計算するよう構成された、計算要素と、
各画素と関連づけられている計算された前記関係が、最小閾値と最大閾値とに制限された範囲内に在るかどうかを判定し、前記関係が前記範囲内に在った場合には、画素の前記色出力のセットをホワイトバランス計算に含めるための、比較要素と
を含む
ことを特徴とする、撮像システム。
【請求項３０】
前記色出力のセットが、赤（R）色出力、緑（G）色出力、および青（B）色出力を含み、また、前記関係が、 CT = RB/G2 であることを特徴とする、請求項２９記載の撮像システム。
【請求項３１】
前記関係が、乗算処理もしくは除算処理を用いずに決定されることを特徴とする、請求項２９記載の撮像システム。
【請求項３２】
前記関係を、加算処理、レジスタシフト処理、およびlookup処理のみを用いて決定することを特徴とする、請求項２９記載の撮像システム。
【請求項３３】
lookup table
をさらに含み、
前記lookup tableは、2n個よりも少ないエントリーを有し、
前記赤色出力、前記緑色出力、および前記青色出力のそれぞれが、n個のデータbitを有するデータ入力である
ことを特徴とする、請求項２９記載の撮像システム。
【請求項３４】
前記lookup tableが、2k個のエントリーのみを有し、ここで k は n よりも小さいことを特徴とする、請求項３３記載の撮像システム。
【請求項３５】
前記lookup tableが、n-k上位データbitがゼロであるデータ入力に対して直接使用されるように構成されていることを特徴とする、請求項３４記載の撮像システム。
【請求項３６】
前記lookup tableが、n-k-q上位データbitがゼロであるデータ入力に対して使用されるにあたり、q回右シフトしたデータ入力に対して前記lookup tableを直接使用してから、前記lookup tableの結果にqを加算するように構成されていることを特徴とする、請求項３４記載の撮像システム。
【請求項３７】
プログラムを担持する媒体であって、前記プログラムは、プロセッサにより実行された際に、前記プロセッサに、
撮影された画像のうちの選択された画素についての画素出力のセットが、最大閾値と最小閾値との範囲内に収まる関係を有するかどうかを判定することと、
前記画素出力のセットが、前記範囲内に収まる関係を有していた場合に、前記画素出力のセットを、ホワイトバランス計算に使うことと
を行わせる
ことを特徴とする、媒体。
【請求項３８】
前記画素出力のセットが、赤（R）色出力、緑（G）色出力、および青（B）色出力を含み、また、前記関係が、 CT = RB/G2 であることを特徴とする、請求項３７記載の媒体。
【請求項３９】
前記関係が、乗算処理もしくは除算処理を用いずに決定されることを特徴とする、請求項３８記載の媒体。
【請求項４０】
前記関係を、加算処理、レジスタシフト処理、およびlookup処理のみを用いて決定することを特徴とする、請求項３８記載の媒体。
【請求項４１】
lookup tableを作成すること
をさらに含み、
前記lookup tableは、2n個よりも少ないエントリーを有し、
前記赤色出力、前記緑色出力、および前記青色出力のそれぞれが、n個のデータbitを有するデータ入力である
ことを特徴とする、請求項３８記載の媒体。
【請求項４２】
前記lookup tableが、2k個のエントリーのみを有し、ここで k は n よりも小さいことを特徴とする、請求項４１記載の媒体。
【請求項４３】
前記lookup tableを、n-k上位データbitがゼロであるデータ入力に対して直接使用すること
をさらに含むことを特徴とする、請求項４２記載の媒体。
【請求項４４】
前記lookup tableを、n-k-q上位データbitがゼロであるデータ入力に対して使用するにあたり、q回右シフトしたデータ入力に対して前記lookup tableを直接使用してから、前記lookup tableの結果にqを加算すること
をさらに含むことを特徴とする、請求項４２記載の媒体。
【請求項４５】
前記判定することが、
前記関係が、最小閾値と最大閾値に制限された範囲内に在るかどうかを判定することを含むことを特徴とする、請求項３７記載の媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は概して半導体撮像装置に関する。より具体的には本発明は、半導体撮像装置が作成する画像についてのホワイトバランスの設定法に関する。
【背景技術】
【０００２】
半導体撮像装置は、さまざまなデジタル画像キャプチャー（撮影）システム（スキャナー、コピー機、およびデジタルカメラといった製品を含む）で使われている。半導体撮像装置には、画素アレイ、入射光に電気的に応答する感光性画素セルのアレイが含まれる。画素セルアレイ内の各セルには、入射光子を電荷へと変換する光センサーが含まれる。各セルに集められた電荷は、画素信号電圧として出力される。集めた画素信号電圧を処理して、撮影した画像のデジタル版を作成する。
【０００３】
図１は、画素アレイ 140 を有する例示的な半導体CMOS撮像装置 100 のブロック図である。画素アレイ140 には、所定の数の列および行に配された複数の画素セルが含まれる。各画素セルは、入射光子を受けて電気信号へと変換するよう構成されている。画素アレイ
140 には、異なる三種以上の画素セルを含めることが多い。画素セルには、特定の波長帯にのみ感受性を持つ光センサーを含めることができる。例えば、或る光センサーは赤色光にのみ感受性を有し、他のものは緑色光にのみ感受性を有し、さらに他のものは青色光にのみ感受性を有する。別の手法として、アレイを色フィルタアレイで蔽うことで、各画素が特定の色（赤、緑、もしくは青など）に関連する光だけを受けるようにもできる。すると、画素セルを、赤色画素セル（即ち、赤色光を検知する光センサーを具えた画素セル）、緑色画素セル、および青色画素セルとして特性づけることができる。
【０００４】
画素アレイ 140 内の画素セルの配置は変更可能である。赤セルと緑セルと青セルのみを有する画素アレイでは、Bayer色フィルタアレイ（Color Filter Array; CFA）パターンを用いることがある。Bayerパターンでは、赤色光フィルタ、緑色光フィルタ、および青色光フィルタを画素セルに被せて、赤色画素セル、緑色画素セル、および青色画素セルを形成して市松縞様のパターンとなるように配置する。このように配置することで、いろいろな種類の画素セルを均一に分布させられる。しかしながらこうした場合、各画素セルでは、セルの色に応じた波長帯を表す電圧だけが出力されることになる。例えば赤色画素セルは、画素セルが受けた赤色光に応じた量の光子を表す電圧のみを出力する。理想的にはこの画素セルは、この画素セルに入射した緑色光と青色光にそれぞれ応じた量の光子を表す電圧も出力するはずである。だが、赤色画素セルの場合、緑色出力値と青色出力値には、隣接する緑色画素セルの出力と青色画素セルの出力からの内挿をすることがある。こうした内挿工程では、複数の隣接する画素セルからの複数の画素出力の算定を要するので、この工程のことをモザイク解除（デモザイク; demosaic）処理と呼ぶ。モザイク解除処理では、各画素セルについて、代表的な赤色出力値、緑色出力値、および青色出力値を定めることができる。
【０００５】
図１の画素アレイ 140 は、Bayerパターンを使って配置されている。つまり、画素のひとつおきの行には、緑画素と赤画素が交互に並ぶ。もう一方の画素行には、青画素と緑画素が交互に並ぶ。画素アレイ 140 中の画素セルは、行アドレスデコーダ 155 に応じて行駆動子 145 により活性化されるにつれ、一行ずつ出力してゆく。また、列駆動子 160 および列アドレスデコーダ 170 を使って、個々の画素列を選択的に活性化する。タイミング・制御回路 150 は、アドレスデコーダー 155, 170 を制御して、画素読み出しに際し適切な行と列を選択する。制御回路 150 はまた、行駆動回路 145 と列駆動回路 160 を制御して、駆動電圧を印加させることもできる。各画素セルは一般に、画素リセット信号
Vrefと画素画像信号Vsigの双方を出力して、サンプル・ホールド回路 161 に読ませる。Vrefは画素セルのリセット状態を表す。Vsigは、積算時間中に受けた光に応じて画素セル中の光センサーが生成する電荷の量を表す。VsigとVrefとの差は、共通モードノイズを除いた実際の画素セル出力を示す。差動信号 (Vref - Vsig) が、各読み出し画素セルごとに、差分増幅器 162 によって生成される。その後、差動信号を、アナログ→デジタル変換器 175 を用いてデジタル化する。アナログ→デジタル変換器 175 は、デジタル化した画素信号を画像処理器 180 へと与える。画像処理器 180 は、デジタル画像を形成して出力する。
【０００６】
結果として得られるデジタル画像を形成するだけにはとどまらず、画像処理器 180 は、アレイ画像にさまざまな修正を施して、結果として得られるデジタル画像が実際の画像にできるだけ近くなるようにすることもできる。一定のパターンを持つノイズ源および他のノイズ源からの影響については、画像処理器 180 を用いて除去もしくは修正が可能である。適正なホワイトバランス（白色補正）のための計算などの他の作用についても、画像処理器 180 を用いて適用できる。
【０００７】
ホワイトバランスという概念は、光源色温度との関係からあらわれてくるものである。あらゆる光源は、特定の光源色温度を有する。白熱灯光源は、低温側の色温度に応じた、赤みを帯びた色かぶり（color cast）を持つ。他の光源は、高温側の色温度に応じた、青みを帯びた色かぶりを持つ。純白色光を発する光源は、青色光と赤色光の中間に関連する色温度を持つ。つまり光源色温度は、撮影した画像の見た目に影響を及ぼすのである。デジタル撮像装置の場合、画素セル中の光センサーが、画像中のすべての光源からの入射光を検出して、光源の色温度に関連した事実上の色かぶりを有するデジタル画像を得る。例えば、白熱灯光源もしくはタングステン球光源によって照らされた情景 のデジタル画像では、赤みがかった色シフトが起こる。これは白熱灯光源が、赤みを帯びた色かぶりに対応する低い色温度を有するがゆえである。他の光源に照らされた情景のデジタル画像では、青みを帯びた色かぶりに対応する高い色温度を有する光源の場合に、青みがかった色シフトが起こりえる。
【０００８】
たいがいの場合では、撮影して得られる画像中には、色シフトが起こってほしくはないものである。あるいは逆に、撮影した画像中のいろいろな光源から自然に生じる色シフトとはかけ離れているような、制御された色シフトが望まれる場合というのもある。色シフトを除去したい場合には、非白色光源から得られる色シフトに応じてホワイトバランスを適切に設定してやることもできる。デジタル撮像装置では、異なる画素色についての画素アレイのデジタル出力を適切に得るか、もしくは増幅するようにすることで、ホワイトバランスを設定できる。例えば、Bayerパターンに使われるような赤・緑・青のアレイでは、青みがかったかぶりのある画像、もしくは高い色温度を有する光源を用いて撮影した画像に対し、赤色、緑色、および青色のデジタル出力を改変して全体的な色バランスをシフトさせることにより、青みを減らすことが可能である。もちろん難しいのは、赤色、緑色、および青色のデジタル出力をどれくらい改変したらいいのかについてである。
【０００９】
デジタル出力を改変すべき程度を決定するための解決策のひとつとしては、ユーザーが画像中に在る光源の種類を指定できるようにして、所定の光源に関する事前の（工場出荷時の）設定に応じてホワイトバランスを調整し適用する、というものがある。しかしこの解決策には、選択できる所定の光設定の数が限られているということ、または、利用可能な所定の設定から適切な設定を択びだすユーザーの意志であるとか能力であるとかを制限してしまう、という限界がある。
【００１０】
別の解決策としては、画像の光源を自動検出して、その検出した光源に応じたホワイトバランス設定を適用する、というものがある。この解決策では、画像プロセッサが、解析
すべき画素の領域を選択することで、その領域内の画素が、光源についての画素出力と関連しているのかどうかを判定する。解析した画素領域から、光源を決定できた場合には、画像プロセッサが、その決定された光源に応じて、ホワイトバランス設定を画像全体に適用する。
【００１１】
こうした自動検出法は、光源が決定できて、且つその光源の決定が正確である場合にはうまくいく。なおここでいう正確というのはつまり、実際の光源と、決定された光源とが、等しいかもしくはほぼ等しい、という意味である。しかしながら、このように決定された光源が、実際の光源とはかけ離れているときもある。こうした不一致は、選択した画素領域内の画素を誤解析したことに因る場合もある。例えば、選択した画素領域内の画素のいくつかが、灰色光源からの投光（light cast）を正確に反映しており、そして、選択した領域内の他の画素は反映をせず、代わりに他の光源からの投光を反映している、という場合を想定できる。灰色光源を表す画素と、他の光源を表す画素との両方を、ホワイトバランス計算に含めることになるので、これらの画素を使って得られるホワイトバランス計算からは、誤ったホワイトバランス決定がなされてしまう可能性がある。この問題は、選択した画素領域をもっと効果的に解析して、灰色光源を表す画素だけを、何の光源が存在するのかについての判定に含めるようにすることで、解消できると考えられる。
【００１２】
したがって、ホワイトバランス法および他の画像処理法を改善するために、デジタル画像のうちのどの画素が、光源を表す画素出力に関連しているのかどうかを効果的に決定してから、そうした画素をホワイトバランス処理に用いることができるような方法および装置が渇望されている。
【発明の開示】
【００１３】
画素群のうちのどの画素が、光源の色温度を反映する出力を有するのかを判定するための方法および装置を提供する。灰色光源を代表（representive）するものであると判定された画素を、ホワイトバランス処理に使用できる。
【００１４】
本発明にかかる方法および装置では、画素を評価して、画素の色成分（R、G、Bなど）同士の関係が、所定の基準を満たしているかどうかを確かめる。基準に合致していた画素を、ホワイトバランス処理に使う。
【発明を実施するための最良の形態】
【００１５】
フォトセンサー出力は、任意の入射光源の色温度に部分的に依存する。しかし、任意の所与の色温度を持つ光源について云えば、画素の赤色画素出力・緑色画素出力・青色画素出力の比はそれなりに一定している（後述する式1を参照のこと）。ほとんどの光源と、当該産業にて典型的である色素（dye）と全般的なピクセルの分光特性（スペクトル応答）を有する原色フィルタアレイとに関して、算出される比 C(T) は、 Cminから Cmax の範囲（式2参照）ではだいたい一定となる。
式1
C(T) = {R(T)*B(T)}/G(T)2≒ const.
式2
Cmin ≦ C(T) ≦ Cmax
【００１６】
図２は、式1で定義されたように計算される比 C(T) の値の例を、光源の色温度の関数として示したものである。示した値の例に関して、示したすべてのC(T) の値の在る区域をはさんで、上限閾値と下限閾値を定められるということに留意されたい。したがって、
撮影したデジタル画像で、赤色画素出力、緑色画素出力、および青色画素出力を、式1を使って算定し、計算する比C(T) が式2にて定まる範囲内にあるかどうかを判定できる。計算する比 C(T) が定義された範囲内にあるならば、評価された画素出力は、おそらく光源の色温度を表していると云える。画素について計算した比 C(T) が定義された範囲内にあるならば、画素の出力を、画像の適切なホワイトバランス設定の決定に含めることになる。一方、画素の計算された比 C(T) が式2で指定される範囲内に無いならば、評価された画素出力は、おそらくは光源の色温度を表さず、画素の出力を、画像のホワイトバランス設定の決定に含めることはない、と云える。出力が式2を満たすような画素だけを択ぶことで、適切なホワイトバランスの決定に用いた画素がより正確に画像光源の色温度を反映するので、より適切なホワイトバランスを設定できる。
【００１７】
閾値 Cminおよび Cmax の決定にあたっては、まず所与の種類のセンサーに関する比 C(T) を参照してから、その比 C(T) を含む範囲についての可能な下限閾値および上限閾値を決めることで行うことができる。比 C(T) を、図２に示したように任意の所与の種類のセンサーについて実験的に求めてもよいし、あるいは、所与の種類の光センサーについて知られている分光特性（spectral response） を用いて、比 C(T) を算出してもよい。
【００１８】
画素セルの出力を、ホワイトバランス統計計算に含めるべきかどうかを評価するためには、比 C(T) を各画素セルについて計算せねばならない（つまり、 Cij を計算するわけであり、なおここで、 i は画素アレイのi番目の行を指し、 j は画素アレイのj番目の列を指す）。式1を見ると、すべての Cij の計算には、二回の乗算処理と、一回の除算処理とが含まれることになるのがわかる。不運にも、画素セル全体に亙ってこうした計算処理をすると、計算時間と回路の複雑さの面で高価についてしまう可能性がある（小さな領域に亙るものであっても同様である）。だが、乗算処理と除算処理を、単純な加算処理とlookup処理に変換できれば、全体的な計算時間と回路の複雑さを軽減できると考えられる。これを実現するには、式1と式2の条件を、以下に示す式3とそれを展開した式4のかたちとして評価すればよい。
式3
Log2(Cmin) ≦ Log2(RijBij/Gij2) ≦ Log2(Cmax)
式4
Log2(Cmin) ≦ Log2(Rij) + Log2(Bij) - 2*Log2(Gij) ≦ Log2(Cmax)
【００１９】
式4は、式2と同様の関係を示すものではあるが、式4を評価するにあたっては、乗算も除算も必要ない。その代わりに加算と対数関数だけを使う。必要な処理をさらに簡略化するには、対数関数を、ハードウェア的もしくはソフトウェア的なlookup tableを用いて計算すればよい。こうしたlookup tableは、後述するようにlookupエントリーの数を減らすような限定的手法を用いて構築できる。また、 Cminおよび Cmax を前もって決定するので、何らかの画像処理を始めるのに先立って、 Log2(Cmin) の値および Log2(Cmax) の値を、予め計算して記憶領域（比較器のレジスタなど）に格納しておける。
【００２０】
対数を算定するための軽量化したlookup tableを、以下の指針に従って構築可能である。まず、入力データ（今回の場合は Rij 、 Gij 、および Bij ）を、n-bit幅として決定する。通常、 完全版lookup tableは、2n個のエントリーを有することになる。しかし、入力データについて構築できるsub-table Lk(x) は、k個の入力ビットだけを持つ（ k < n である）。sub-tableは2k個のエントリーを持つことになるので、sub-tableの所望のサイズに応じて k のサイズを選択する。
【００２１】
sub-table Lk(x) 中のエントリーは限られた数であるにもかかわらず、sub-table Lk(x) を使って、2n個のlookup値を決めることは依然可能なのである。 n-k上位ビットが0である入力値については、sub-tableを直接使用して、式5に従い入力値を F(x) として算定する。
式5
F(x) = Lk(x)
n-k-1上位ビットが0である入力値は、式6を代わりに使って算定する。式7にて後述する同一性がゆえに、式6は有効である。
式6
F(x) = Lk(x/2) + 1
式7
Log2(2x) = Log22 + Log2x = 1 + Log2x
項 x/2 は、バイナリ入力値 x を単純に右シフトさせるだけで得られる。
【００２２】
式7の同一性を再適用することにより、n-k-2上位ビットが0である（か、もしくはn-k-q上位ビットもが0である）ような入力値に関して、lookup値を算出できる。一般例では、n-k-q上位ビットが0である場合に、式8を適用する。
式8
F(x) = Lk(x/2q) + q （ただし n-k-q ≧ 0）
このようにして、小さいlookup sub-tableを、多数の入力値での動作用に拡張可能である。こうしたやりかたでは、式4を解くために必要な計算は、加算処理、右シフト処理、および、（lookup tableを使った）対数関数のみである。
【００２３】
式4の説明に戻ると、 Log2(Cmin) および Log2(Cmax) の計算を、計算した項を比較器にpreloadすることで単純化できる。しかしながら、アナログ利得もしくはデジタル利得を画素読み出し値に適用するときには常に、loadした値を確実に更新するよう注意を払う必要がある。以下の式9および式10を適用することで、更新した閾値 Log2(C'min) および
Log2(C'max) を、加算処理、右シフト処理、および、対数lookup tableのみを使って算出できる。
式9
Log2(C'ij) = Log2(kRRij) + Log2(kBBij) - 2Log2(kGGij)
式10
Log2(C'min) = Log2(kR) + Log2(kB) - 2Log2(kG) + Log2(Cmin)
Log2(C'max) = Log2(kR) + Log2(kB) - 2Log2(kG) + Log2(Cmax)
利得定数 kR、 kB 、および kG の対数は前もって計算し、lookup tableに格納しておける。
【００２４】
lookup tableは、マイクロコントローラー内に収めることもでき、あるいは、マイクロプロセッサのリードオンリーメモリ（ROM）上に置くことも可能である。別の手法として、lookup tableを、ハードウェア的パイプラインとして実装することもできる。
【００２５】
本発明の例示的な実施形態においては、図３に示したように、マイクロコントローラー副システム 490 が制御する画像処理パイプライン480 を使う。画像処理パイプライン 480 は、画像プロセッサ 180 （図１）内に実装されるものと同様の画像処理システムの一例である。図３では、差分増幅器 462 により画素アレイから受信された画素出力を、利得処理（gain operation）にかけることができる。増幅された画素出力信号を、アナログ→デジタル変換器 475 でデジタル化する。各画素について、赤色デジタル画素出力、緑色デジタル画素出力、および青色デジタル画素出力を測定する。Bayerパターンを画素アレイ内に使っていた場合には、各画素についての赤色画素出力と緑色画素出力と青色画素出力との関連づけに際し、モザイク解除処理 410 が必要となるであろう。
【００２６】
各画素での関連づけられた赤（R）色画素出力・緑（G）色画素出力・青（B）色画素出力を、算定器（評価器） 420 が算定する。算定器 420 は、各画素についての赤色画素出力と緑色画素出力と青色画素出力とを入力され、各画素についての Log2(Cij) を表す Log2(C) の値を（式1-4にて説明したように）算出する。そうして算出した値 Log2(C) を、今度は比較器 430 で閾値 Log2(Cmin) および Log2(Cmax) と比較する。利得処理を増幅器 462 で行っていた場合には、まず、改変された閾値 Log2 (C'max) および Log2(C'min) を、（式10に示したように）利得係数 kR 、 kG 、および kB を参照して算出する。計算した値 Log2(C) が、最大閾値と最小閾値とにはさまれて いた場合には、信号 Sig が、ホワイトバランス統計計算ユニット 440 へと送られ、評価された画素は光源の色温度を表わしている旨をユニット 440 に伝える。
【００２７】
ホワイトバランス統計計算ユニット 440 は、光源の色温度を表わしていると比較器 430 が判断した画素のみから、画素出力値を収集する。信号 Sig がホワイトバランス統計計算ユニット 440 へと比較器 430 から送られていた場合には、ホワイトバランス統計計算ユニット 440 が、 画像に対しての適切なホワイトバランス設定の決定をするにあたって、評価された画素出力を含める。信号 Sig がホワイトバランス統計計算ユニット 440 に送られていなかった場合には、評価された画素を、画像に対しての適切なホワイトバランス設定の決定から除外する。ホワイトバランス統計計算ユニット 440 が、選択した領域の画素群に亙って、光源を表わしていると考えられる画素からの画素出力を収集し了えた後には、適切なホワイトバランスを決定し、赤色画素出力、緑色画素出力、および青色画素出力にそれぞれ関連するシフト Ravg 、 Gavg 、および Bavg を利得値として計算してホワイトバランス設定ユニット 450 へと送信し、赤色画素出力、緑色画素出力、および青色画素出力へと適用させる。
【００２８】
本発明の上述した実施形態は、画像に対するホワイトバランス設定に使用するための適切な画素セル出力を決定することを指向したものである。ここまで本発明を、画像処理パイプラインを参照しつつ述べてきた。すると当業者は、光源を表わす画素セルの決定を、画像プロセッサと統合されたソフトウェアとしてか、もしくは、媒体（コンピュータが読取可能な記憶媒体、コンパクトディスク、サーバーコンピュータの記憶ドライブ、など）に格納されコンピュータシステムにインストールされたスタンドアロンなソフトウェア製品として、実施できるということを認識すると云える。加えて当業者は、ハードウェア製品も実装可能であることを認識する。
【００２９】
加えて当業者は、本発明の実施形態をさまざまな種類のデジタル画像システムにて使用できることを認識すると云え、例えばそうしたシステムとしては、相補型金属酸化膜半導体（CMOS）システムおよび電荷結合阻止システム、ならびに他の撮像システム、が含まれるが、これらに限定はされない。さらに云えば、ここまで述べてきた実施形態群は、赤・緑・青（RGB）色系を指向するものではあったが、式1-10を変換して、他の色系（色相・彩度・明度（HSV）系、または色相・彩度・輝度（HSL）系、など）に適用してもよい。
【００３０】
図４には、本発明にかかる撮像装置（撮像子） 1030 を含んだ典型的なプロセッサシステム 1000 を示した。プロセッサシステムは、デジタル回路（撮像装置を含めてよい）を有するシステムの一例である。限定を企図するものではないが、こうしたシステムとしては、コンピュータシステム、カメラシステム、スキャナー、マシンビジョンシステム、車両ナビゲーションシステム、テレビ電話、監視システム、オートフォーカスシステム、天文追跡システム、動き検出システム、または、その他の画像取得システム、が含まれる。
【００３１】
カメラシステムなどのプロセッサシステムは、例えば一般に、中央処理装置（CPU） 1010 （マイクロプロセッサなど）を含む。CPU 1010 は、バス 1090 を介して入出力（I/O）装置 1020 と通信する。また、撮像子 1030  も、バス 1090 を介してシステムと通信する。コンピュータシステム 1000 はまた、ランダムアクセスメモリ（RAM） 1040 も含み、撮像システムである場合には、CPU 1010 とバス 1090 を介して通信する周辺機器（取り外し自在なメモリ 1050 など）も含む。撮像子 1030 は好ましくは、光センサー（光ゲートもしくは光ダイオードなど）を有する画素を含んだ集積回路として構築する。撮像子 1030 は、プロセッサ（CPU、デジタル信号プロセッサ、もしくはマイクロプロセッサ、など）と組み合わせることができ、単独の集積回路としてのメモリストレージを具えても具えてなくともよい。あるいは撮像子 1030 を、プロセッサ以外のチップ上に置いてもよい。
【００３２】
本発明の多様な実施形態群について述べてきたが、それらは単なる例示として提示したに過ぎず、限定をするものでは無い、ということを理解されたい。関連技術分野（群）の当業者は、本発明の本質と範囲から逸脱することなく、それらの実施形態群に対し形態と詳細に関してさまざまな変更を施せる、ということを正しく理解できる。ゆえに本発明は、上述した例示的実施形態群のいずれによっても限定されるべきものではない。
【図面の簡単な説明】
【００３３】
【図１】例示的な半導体撮像装置のブロック図である。
【図２】本発明の例示的実施形態にかかる、計算比と色温度との関係を示す。
【図３】本発明の例示的実施形態にかかる、画像処理パイプラインのブロック図である。
【図４】本発明の例示的実施形態にかかる、画像処理システムのブロック図である。
【図１】
2009522871.tif 000003
【図２】
2009522871.tif 000004
【図３】
2009522871.tif 000005
【図４】
2009522871.tif 000006
【手続補正書】
【提出日】平成20年8月22日(2008.8.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ホワイトバランスの制御方法であって、
撮影した画像の選択された画素の色画素出力のセットが、最大閾値と最小閾値との範囲内に収まる関係を有するかどうかを判定するステップと、
前記色画素出力が前記範囲内に収まる関係を有する場合に、前記色画素出力のセットを、ホワイトバランス計算に用いるステップと
を含むことを特徴とする、方法。
【請求項２】
前記色画素出力のセットが、赤（R）出力、緑（G）出力、および青（B）出力であり、
前記関係が、 CT = RB/G2 である
ことを特徴とする、請求項１記載の方法。
【請求項３】
関係 CT を、乗算処理もしくは除算処理を行うこと無く決定することを特徴とする、請求項２記載の方法。
【請求項４】
計算される値を、加算処理、レジスタシフト処理、およびlookup処理のみを用いて決定することを特徴とする、請求項２記載の方法。
【請求項５】
複数の画素のうちのどの画素が、所定の色温度を有する光源に応じて生成される色出力のセットと関連しているのかを判定するための装置であって、
各画素に関して前記色出力のセットのうちでの関係を算出するように構成される、計算要素と、
各画素に関連して算出された前記関係が、最小閾値と最大閾値とに制限される範囲内にあるかどうかを判定し、前記関係が前記範囲内にあった場合には、前記画素の色出力の
セットを、ホワイトバランス計算に含めるための、比較要素と
を含むことを特徴とする、装置。
【請求項６】
前記比較要素が、前記色出力のセットが利得処理にかけられる場合に、前記最小閾値および前記最大閾値を再計算するよう構成されていることを特徴とする、請求項５記載の装置。
【請求項７】
前記比較要素が、対数lookup tableを参照して、再計算の際に前記最小閾値および前記最大閾値に加算される利得定数の対数を得ることを特徴とする、請求項６記載の装置。
【請求項８】
画素の色出力のセットのうちでの関係を決定するための装置であって、
前記色出力のセットのうちでの前記関係を計算するよう構成された計算要素であって、ここで、前記色出力のセットが、赤（R）色出力、緑（G）色出力、および青（B）色出力を含み、また、前記関係が、 CT = RB/G2 である、という計算要素と、
2n個よりも少ないエントリーを有し、前記赤色出力、前記緑色出力、および前記青色出力のそれぞれが、n個のデータbitを有するデータ入力である、lookup tableと
を含むことを特徴とする、装置。
【請求項９】
各画素が色出力のセットと関連づけられた、画素アレイと、
各画素についての前記色出力のセットのうちでの関係を計算するよう構成された、計算要素と、
各画素と関連づけられている計算された前記関係が、所定の基準を満たすかどうかを判定し、前記関係が前記基準を満たしていた場合には、画素の前記色出力のセットをホワイトバランス計算に含めるための、比較要素と
を含むことを特徴とする、撮像子。
【請求項１０】
前記所定の基準が、計算された前記関係が最小閾値と最大閾値とに制限された範囲内に在るというものであることを特徴とする、請求項９記載の撮像子。
【請求項１１】
前記色出力のセットが、赤（R）色出力、緑（G）色出力、および青（B）色出力を含み、また、前記関係が、 CT = RB/G2 であることを特徴とする、請求項５記載の装置もしくは請求項１０記載の撮像子。
【請求項１２】
前記関係が、乗算処理もしくは除算処理を用いずに決定されることを特徴とする、請求項１１記載の装置もしくは撮像子。
【請求項１３】
前記関係を、加算処理、レジスタシフト処理、およびlookup処理のみを用いて決定することを特徴とする、請求項１１記載の装置もしくは撮像子。
【請求項１４】
lookup table
をさらに含み、
前記lookup tableは、2n個よりも少ないエントリーを有し、
前記赤色出力、前記緑色出力、および前記青色出力のそれぞれが、n個のデータbitを有するデータ入力である
ことを特徴とする、請求項１１記載の装置もしくは撮像子。
【請求項１５】
前記lookup tableが、2k個のエントリーのみを有し、ここで k は n よりも小さいことを特徴とする、請求項１１記載の装置もしくは撮像子または請求項８記載の装置。
【請求項１６】
前記lookup tableが、n-k上位データbitがゼロであるデータ入力に対して直接使用され
るように構成されていることを特徴とする、請求項１５記載の装置。
【請求項１７】
前記lookup tableが、n-k-q上位データbitがゼロであるデータ入力に対して使用されるにあたり、q回右シフトしたデータ入力に対して前記lookup tableを直接使用してから、前記lookup tableの結果にqを加算するように構成されていることを特徴とする、請求項１５記載の装置。
【請求項１８】
前記lookup tableが、対数lookup tableであることを特徴とする、請求項１４記載の装置もしくは撮像子。
【請求項１９】
プロセッサと、
前記プロセッサに関連した、請求項１０から１５のいずれか一項に記載の撮像子と
を含む撮像システム。
【請求項２０】
前記lookup tableが、n-k上位データbitがゼロであるデータ入力に対して直接使用されるように構成されていることを特徴とする、請求項１５に従属する請求項１９に記載の撮像システム。
【請求項２１】
前記lookup tableが、n-k-q上位データbitがゼロであるデータ入力に対して使用されるにあたり、q回右シフトしたデータ入力に対して前記lookup tableを直接使用してから、前記lookup tableの結果にqを加算するように構成されていることを特徴とする、請求項１５に従属する請求項１９に記載の撮像システム。
【請求項２２】
プログラムを担持する媒体であって、前記プログラムは、プロセッサにより実行された際に、前記プロセッサに、請求項１から４のいずれか一項に記載の方法を行わせることを特徴とする、媒体。
【請求項２３】
lookup tableを作成すること
をさらに前記プロセッサに行わせ、
前記lookup tableは、2n個よりも少ないエントリーを有し、
前記赤色出力、前記緑色出力、および前記青色出力のそれぞれが、n個のデータbitを有するデータ入力である
ことを特徴とする、請求項２に従属する請求項２２に記載の媒体。
【請求項２４】
前記lookup tableが、2k個のエントリーのみを有し、ここで k は n よりも小さいことを特徴とする、請求項２３記載の媒体。
【請求項２５】
前記lookup tableを、n-k上位データbitがゼロであるデータ入力に対して直接使用すること
をさらに前記プロセッサに行わせることを特徴とする、請求項２４記載の媒体。
【請求項２６】
前記lookup tableを、n-k-q上位データbitがゼロであるデータ入力に対して使用するにあたり、q回右シフトしたデータ入力に対して前記lookup tableを直接使用してから、前記lookup tableの結果にqを加算すること
をさらに前記プロセッサに行わせることを特徴とする、請求項２４記載の媒体。
【国際調査報告】
2009522871.tif 000007
2009522871.tif 000008
2009522871.tif 000009