(57)【要約】カメラセンサの補正に関するシステムおよび方法が開示される。一つの例示の実施形態において、該方法はセンサ上の相異なる空間的位置における複数の色チャネルに関するスペクトル応答の抽出を含んでよい。該方法はまた、センサによって捕捉された画像内の相異なる空間的位置における４ｘ４の色補正マトリクスの適用を含んでよい。該方法はまた、画像上の任意の１つの位置におけるセンサのスペクトル応答に一致するように各空間的位置におけるスペクトル応答を変換することを含んでもよい。【選択図】図１a
2011521591.tif 000002
【特許請求の範囲】
【請求項１】
光クロストークおよびスペクトルクロストークに関してセンサを補正するための方法であって、
センサ上の相異なる空間的位置における複数の色チャネルに関してスペクトル応答を抽出し、
前記センサによって捕捉された画像内の相異なる空間的位置において４ｘ４色補正マトリクスを適用し、
前記画像上の任意の１つの位置のセンサの前記スペクトル応答と一致するように各空間的位置における前記スペクトル応答を変換することを特徴とする、方法。
【請求項２】
前記画像上の複数の窓に関してスペクトル応答が特定されることを特徴とする、請求項１に記載の方法。
【請求項３】
前記画像上の各画素に関してスペクトル応答が特定されることを特徴とする、請求項１に記載の方法。
【請求項４】
前記スペクトル応答が空間的位置によって変動するかどうかを最初に特定することをさらに含むことを特徴とする、請求項１に記載の方法。
【請求項５】
所与の空間的位置における色チャネルの前記スペクトル応答が線形に拡大縮小不能であるかどうかを最初に特定することをさらに含むことを特徴とする、請求項１に記載の方法。
【請求項６】
色チャネルの前記スペクトル応答が空間的位置によって重なるかどうかを特定することをさらに含むことを特徴とする、請求項１に記載の方法。
【請求項７】
色チャネルの前記スペクトル応答を正規化することをさらに含むことを特徴とする、請求項１に記載の方法。
【請求項８】
抽出されない他の空間的位置に関して補間することをさらに含むことを特徴とする、請求項１に記載の方法。
【請求項９】
付加的な較正画像を必要とせずに前記センサに関するスペクトル応答を見つけることをさらに含むことを特徴とする、請求項１に記載の方法。
【請求項１０】
光クロストークおよびスペクトルクロストークに関してセンサを補正するためのシステムであって、
撮影されるシーンに対応する画素値を出力するように構成されたセンサと、
前記センサ上の相異なる空間的位置における複数の色チャネルに関してスペクトル応答を特定し、前記センサによって捕捉された画像内の相異なる空間的位置において色補正マトリクスを適用し、前記画像上の任意の１つの位置における前記スペクトル応答に一致するように各空間的位置における前記スペクトル応答を変換するために実行する信号処理論理とを備えることを特徴とする、システム。
【請求項１１】
前記色補正マトリクスが４ｘ４マトリクスであることを特徴とする、請求項１０に記載のシステム。
【請求項１２】
前記色補正マトリクスが下式のように規定されることを特徴とする、請求項１０に記載のシステム。
【数１】
2011521591.tif 000006
（ただし、Ｒ、Ｇｒ、ＧｂおよびＢが赤、赤行の上の緑、青行の上の緑および青の色チャネルをそれぞれ表し、Ｋ００からＫ３３が補正係数を表す。）
【請求項１３】
前記信号処理論理がさらに前記画像上の複数の窓に関して前記スペクトル応答を特定することを特徴とする、請求項１０に記載のシステム。
【請求項１４】
前記信号処理論理がさらに前記画像上の各画素に関して前記スペクトル応答を特定することを特徴とする、請求項１０に記載のシステム。
【請求項１５】
前記信号処理論理がさらに、前記スペクトル応答が空間的位置によって変動するかどうかを特定することを特徴とする、請求項１０に記載のシステム。
【請求項１６】
前記信号処理論理がさらに色チャネルの前記スペクトル応答を正規化することを特徴とする、請求項１０に記載のシステム。
【請求項１７】
前記信号処理論理がさらに、所与の空間的位置における色チャネルの前記スペクトル応答が線形に拡大縮小不能であるかどうかを特定することを特徴とする、請求項１６に記載のシステム。
【請求項１８】
前記信号処理論理がさらに、色チャネルの前記スペクトル応答が空間的位置によって重なるかどうかを特定することを特徴とする、請求項１６に記載のシステム。
【請求項１９】
カメラセンサの補正のためのシステムであって、
センサ上の相異なる空間的位置における複数の色チャネルに関してスペクトル応答を抽出する手段と、
前記カメラセンサを光クロストークおよびスペクトルクロストークに関して補正する目的で、前記画像の中心にある前記センサの前記スペクトル応答に一致するように各空間的位置における前記スペクトル応答を変換する手段と、を備えることを特徴とする、システム。
【請求項２０】
前記センサによって捕捉された画像内の前記相異なる空間的位置において４ｘ４色補正マトリクスを適用するための手段をさらに備えることを特徴とする、請求項１９に記載のシステム。
【請求項２１】
色依存のケラレを補正する方法であって、
未補正の色チャネルデータをマトリクスに入力し、
前記マトリクスによって前記未補正の色チャネルデータが操作され、
色むらが補正されたデータセットを出力することを特徴とする、方法。
【請求項２２】
前記未補正の色チャネルデータを、デモザイク処理の前にｍｘｎ補正マトリクスによって操作して色チャネルの補正されたベクトルを返すことを特徴とする、請求項２１に記載の方法。
【請求項２３】
前記未補正のデータがデモザイク処理され、該デモザイク処理後の該データがが補正マトリクスによって操作されてデモザイク処理後の補正されたベクトルを返すことを特徴とする、請求項２１に記載の方法。
【請求項２４】
前記未補正の色チャネルデータがデモザイク処理され、デモザイク処理の一部として空間的に変動する色依存のケラレに関して補正されることを特徴とする、請求項２１に記載の方法。
【請求項２５】
１つの色空間から別の色空間への変換をさらに含むことを特徴とする、請求項２４に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラセンサの補正に関する。
【背景技術】
【０００２】
デジタルカメラは、例えば電荷結合素子（ＣＣＤ）または相補型ＭＯＳ（ＣＭＯＳ）センサなどの少なくとも１つのカメラセンサを有する。デジタルカメラは、それぞれが露光に応答して電荷を集積または蓄積する複数の感光セルを有する。任意の所与の画素に関して蓄積される電荷は、露光の強度および持続時間に比例しデジタル写真を生成するのに使用される。
【０００３】
小型高解像度のカメラを設計するのに最も難しい局面の１つは、カメラの全体の体積に対する制限である。典型的な目標の高さが６ｍｍ未満の極めて小型センサを使用する必要がある。これらのセンサは感度の低下、ノイズの増加、色クロストークの増大および色の不均一性の増大を呈する縮小型の画素設計を必要とする。このような小型の設計は、かなり傾斜した角度でぶつかるカメラセンサの縁部に当たる光線に対して、カメラレンズのすぐ裏側であり得るカメラセンサの中央に当たる光線の入射角が変動することに起因して過度なケラレを呈することが多い。
【０００４】
色に依存しないケラレの他に、デジタルカメラは色依存のケラレを呈する場合もある。例えば均一に照明された無彩色の面（例えば白壁）の像が捕らえられたとき、結果として生じるデジタル画像はピンク、緑または青の色調の望ましくない色が薄く付く場合がある。これらの領域の正確な色と形状は、発光体のタイプおよび撮影される景色によって変化する。光学系、センサ、電子機器およびそれらの相互作用によって、こういった観察される色相シフトの原因は多数ある。
【図面の簡単な説明】
【０００５】
【図１ａ】撮像センサに沿った相異なる位置における色むらの位置依存性を示す図である。
【図１ｂ】例示のカメラセンサの構成要素の図である。
【図２】例示のカメラセンサの上位の図である。
【図３】例示のセンサ上の相異なる空間的位置におけるセンサとレンズのスペクトル応答の例示のグラフである。
【図４】正規化し一緒にグラフ化した後の図３の例示のセンサに関するセンサとレンズのスペクトル応答の例示のグラフである。
【図５】別の例示のセンサ上でのセンサ上の相異なる空間的位置におけるセンサとレンズのスペクトル応答のグラフである。
【図６】正規化し一緒にグラフ化した後の図５の例示のセンサに関するセンサとレンズのスペクトル応答の例示のグラフである。
【図７】カメラセンサの補正のために実装され得る例示の操作を示すフローチャートである。
【発明を実施するための形態】
【０００６】
デジタルカメラセンサの色依存のケラレと色に依存しないケラレを補正するためのシステムおよび方法が本明細書に開示されている。これらの現象はセンサの領域にわたって空間的に変動するため、画像処理アルゴリズムを使用してこれらの望ましくない現象を補正することができる。このようなアルゴリズムは補正マスク（多項式、楕円、円形などの補正マスク）を適合させるために数学的モデルを使用することができる、またはメモリの制約に起因してより小さな解像度で実際の補正マスクを記憶する場合もある。
【０００７】
カメラセンサの補正に対するいくつかの手法では、既知の基準色温度でのフラットフィールド像から単一の補正係数を得ることができると仮定することができる。この手法は恐らく、色クロストークを呈さないセンサとレンズの組み合わせ、またはその光クロストークが相異なるタイプの表面から反射される光の波長によって変動しないセンサを補正するには十分であるが、これらの仮定は（例えば携帯型撮像装置で使用されるような）超小型装置に関して十分に機能しない場合がある。これは、１つの線形の乗算定数が、本明細書に記載されるような重なり合うスペクトル応答にならない場合があると言える。
【０００８】
デジタル撮像装置で使用される小型レンズシステムは典型的には、３つから４つのレンズ要素と、レンズを通過した光の光学帯域通過を制限するのに使用される赤外線遮断フィルタとで構築される。このようなレンズの光線角度は、画像上に２つの望ましくない現象、すなわち光クロストークとスペクトルクロストークを引き起こすような極めて急なものである。
【０００９】
多くの撮像装置において使用されるエリアセンサは一般に、ベイヤー（Ｂａｙｅｒ）パターンで配置された色フィルタのモザイクを有する。ベイヤーパターンは、赤と緑の画素（ＲおよびＧｒ）を交互に含むセンサの１つの行と、青と緑の画素（ＢおよびＧｂ）を交互に含むセンサの第２の行とで構成される。したがって赤、緑または青の画素に向けられた光が隣接する相異なる色の画素によって集光される際光クロストークが生じる。光クロストークによって引き起こされる色相シフトの大きさは、撮像センサの水平軸と垂直軸において変化する。光クロストークには各画素によって収集される光の量を減少させるだけでなく、画像を処理するのに使用される色情報に乱調をきたす作用がある。したがって本発明の例示の実施形態では、以下に詳細に説明するように、赤の行の緑チャネルと青の行の緑チャネルのスペクトル応答に差があるとき、４色の空間的な変動を補正するスキームが実行される。
【００１０】
またＩＲカットフィルタによって光クロストークに影響を及ぼすこともできるが、これにより画像センサによって捕捉される光の波長が制限されてしまう。フィルタに対する光入射がセンサのコーティング面に垂直でないとき、遮断波長の空間的に変動するスペクトル伝送のより短波長側への偏移が起こる。この空間的に変動するスペクトル伝送によって、センサにわたって空間的に変動する色相シフトが生じる。色フィルタの不均一な色の分離はスペクトルクロストークと呼ばれることもある。
【００１１】
図１ａは、撮像センサに沿った相異なる位置での色むらの位置依存性を示す略図１０である。図１ａは撮像レンズ１２を有し、センサアレイは軸外マイクロレンズ１４および１６と、軸上画素１８と、軸上マイクロレンズ２０と、入射光線角２２とを備える。光が小さな値の角度２２（θ≒０）で軸上マイクロレンズ２０に入射する際、撮像レンズ１２からのほぼ全ての光が軸上画素１８によって集光される。対照的に光が傾斜した角度（θ≫０）で例えば軸外マイクロレンズ１４に入射する際、入射光の有意な部分が下にある画素に捕捉されず光が失われてしまう。したがって光の角度２２（θ）が大きくなり軸上マイクロレンズ２０の右または左に移動すると、より多くの入射光が失われることになる。その結果画素に捕捉される光の量は、撮像アレイの中心に対するその位置によって決まり、位置依存性の色むらが生じる。
【００１２】
図１ｂは例示のカメラシステム１００の構成要素の図である。特定のデジタルスチール写真カメラシステム１００が参照されているが、本明細書に記載されるシステムおよび方法は、現在知られているまたは今後開発される可能性のある多様な用途（例えばカメラ付き携帯電話、デジタルカメラ、ビデオカメラ、スキャナ、医療用撮像装置および他の電子撮像装置）の広範なセンサのいずれにも実装することができることに留意されたい。
【００１３】
例示のカメラシステム１００で使用され得る多くの相異なるタイプの画像センサが存在する。画像センサを分類する１つの方法はその色分離機構によるものである。デジタル撮像システムにおける典型的な画像センサは、加法混色の原色である赤、緑および青を含むフィルタ配列がその上に形成されるモザイクタイプのセンサで構成される。センサの各画素は、繰り返される２つのラインのパターンで配置された対応する赤、緑または青のフィルタ領域を含む。第１のラインは交互になる赤と緑の画素を含み、第２のラインは交互になる青と緑の画素を含む。各画素によって形成される画像の分離されている色の配列はその後、好適に処理された後フルカラー画像を形成するために組み合わされる。
【００１４】
他のモザイク状のカラーフィルタパターンを使用することも可能である。本発明の実施形態は、シアン、マゼンダ、イエローおよびキー（ＣＭＹＫ）または赤、緑、青、ティールブルー（ＲＧＢＴ）；赤、白、青、緑（ＲＷＢＧ）等のカラーフィルタを含むことができる。モザイクセンサの１つの変形形態では、この配列にわたって縞模様に配置された色フィルタを含むセンサが使用される場合もある。別のタイプのセンサは、様々な波長の光が相異なる深さまでシリコンを貫通する事象によるものである。このタイプのセンサは、各アレイが二次元グリッドに編成された垂直に積み重ねられた３つのフォトダイオードで構成された光の位置の配列を使用することができる。このような実施形態では、３つの積層されたフォトダイオードはそれぞれ相異なる色の光に応答する。１つの像を形成するために３つのフォトダイオードからの信号が処理される。しかしながら本明細書に記載される実施形態の全ては、上記に記載されるいかなるセンサとも機能するであろう。
【００１５】
次に図１ｂに戻ると、例示のカメラシステム１００は、カメラセンサ１５０上にシーン１４５内の１つまたは複数の被写体１４０から反射された光１３０を集中させるためにカメラシステム１００の中に配置されたレンズ１２を含んでよい。例示のレンズ１２は、シーン１４５から反射された光１３０をカメラセンサ１５０上に集中させる任意の好適なレンズであってよい。
【００１６】
カメラシステム１００はまたアナログデジタル変換器（Ａ／Ｄ）１６０を有してよい。デジタルカメラでは、アナログデジタル変換器１６０はカメラセンサ１５０からのアナログ信号をデジタル化し、画像処理パイプライン１７０と露光／フォーカス／ＷＢ分析モジュール１６４に接続された空間的に変動する色の補正モジュール１６２に、出力する。Ａ／Ｄ１６０は、シーン１４５に対して露光する間に捕捉された光１３０を表す画像データ信号を生成する。センサコントローラ１５５は、ほんのわずかだが例を挙げると自動フォーカス、自動露光、プレフラッシュ計算、画像の安定化および／またはホワイトバランス検出を目的としてカメラに実装された信号を画像センサに対して供給する。
【００１７】
カメラシステム１００は、センサコントローラ１５５および任意選択でカメラ設定１８０に作動可能に結合された画像処理パイプラインまたはモジュール１７０を備えてよい。画像処理モジュール１７０は、空間的に変動する色の補正モジュール１６２からの画像データ信号を入力として受信することができる。画像処理モジュール１７０は、例えばディスプレイ１９０への出力するため、画像データ信号についての多様な計算または処理を行なうために実装されてよい。
【００１８】
例示の一実施形態において、空間的に変動する色の補正モジュール１６２は、光クロストーク、スペクトルクロストークまたはセンサスペクトル感度の変化によって生じるデジタル画像の欠陥を補正するために実装されてよい。空間的に変動する色の補正モジュール１６２は、カメラセンサ１５０上の画素または画素のグループの位置に基づいて各画素（または画素のグループ）に対して補正係数を割り当てることができる。
【００１９】
カメラセンサ１５０による出力は、様々な種類の要因（例えばテスト状況、光の波長、高度、温度、背景ノイズ、センサ損傷、ズーム、フォーカス、絞りなど）のいずれかに起因する多様な状況下で相異なる可能性があることに留意されたい。撮像システムの光学的挙動を変えるものはどれも色むらに影響を与える可能性がある。したがって例示の実施形態においてセンサは、研究開発チームまたは製造者によるカメラセンサ１５０の初期較正を基礎とする補正の代わりに、各デジタル画像について「その場で」または種々の時（例えばそれぞれの季節、幾何学的位置またはカメラセットによるまたはユーザの選択による）に補正されてよい。図２に示される例示のカメラセンサおよび図３から図６に示される図を参照することで、カメラセンサの補正に関する例示の実施形態をよりよく理解することができる。
【００２０】
図２は、例えば図１ｂに示されるカメラシステム１００に関して上記に記載されたカメラセンサなど例示のカメラセンサ１５０の上位の略図である。この例証の目的としてカメラセンサ１５０はインターラインＣＣＤとして実装されている。しかしながらカメラセンサ１５０はインターラインＣＣＤに限定されるものではない。例えばカメラセンサ１５０は、フレーム転送ＣＣＤ、インターレースＣＣＤ、ＣＭＯＳセンサあるいは現在知られているまたは今後開発される広範な範囲の他のカメラセンサとして実装されてよい。例えば本明細書における考察はカメラでの色依存のむらの補正を対象としているが、未処理の（「生」の）画像に対してコンピュータ上でこれらの操作を行なうこともできる。
【００２１】
インターラインＣＣＤでは、シリコンセンサ基板の列は一つ置きにマスクされ、アクティブフォトセル（または画素）２００と、各アクティブフォトセル２００に隣接しシフトレジスタとして使える非アクティブ領域を形成するようにされる。ｎ個の列とｉ個の行のフォトセルが示されているが、カメラセンサ１５０はいかなる数のフォトセル２００（および対応するシフトレジスタ）も有することができることに留意されたい。フォトセル２００（およびシフトレジスタ）の数は恐らく、例えば画像サイズ、画像の質、作動速度、コストなどいくつかの考慮すべき要件によって決まる。
【００２２】
作動中、アクティブフォトセル２００は、シーンから反射された光に対して露光する間に帯電した状態になる。この電荷の蓄積（または「画素データ」）はその後所望の露光時間の後シフトレジスタに転送され、シフトレジスタから読み取ることができる。
【００２３】
例示の実施形態において、カメラセンサは、フォトセル窓２１０ａ−２１０ｉによって例示されるように抽出することができる。例示する目的で、カメラセンサの角、縁部および中央に概ね対応して９つの窓２１０ａ−２１０ｉが示されている。
【００２４】
画像を幅ＤｉｍＸと画像高さＤｉｍＹを有するものとして記載することができる。次いで、以下の座標を使用して各窓（左から右および頂部から底部）の中央にある空間的位置が記載される。
【００２５】
【表１】
2011521591.tif 000003
【００２６】
上左隅の座標は座標（０、０）で示される。各窓２１０ａ−２１０ｉはこの例ではおよそ１００ｘ１００画素である。しかしながらカメラセンサに関する画素データを得るために任意の好適な大きさの窓が実装されてよく、それは少なくともある程度設計上の考慮すべき問題（例えば処理能力、計算能力、完了するのに所望される時間など）に左右されることを理解されたい。例えば初期較正処理ではより小さな窓（例えば１画素窓）が使用されてよく、実行中のデータ補正のためにより大きな窓が使用される場合もある。いずれにしてもこの画素データを使用して、図３から図６を参照してより詳細に説明するように個々の画素または画素のグループに関する光クロストークおよびスペクトルクロストークを特定することができる。
【００２７】
図３は、例えば標準デジタルカメラに実装することができる例示のセンサ上の相異なる空間的位置におけるセンサとレンズのスペクトル応答の例示のグラフ３００および３１０を示す。標準デジタルカメラではレンズはよりテレセントリックであり（擬似テレセントリック）、これは光がセンサに当たるとき光がセンサに対してほぼ垂直に当たるように、光の角度が光軸にほぼ平行（例えば数度未満）であることを意味している。作動中、カメラセンサは撮影されるシーンから反射された光に対して露出される。この例では多様な波長で画素出力を生成するのにモノクロメータが使用された。当然のことながらこの応答はモノクロメータによって生成されるものに限定されない。この応答を生成する他の方法は、これに限定するものではないが、既知のスペクトル特性を持つ一組の光、または、既知の値でスペクトル的に変化する光を出力できる他のタイプの装置を利用するものを含む。
【００２８】
所望の露光時間の後、画素データがアクティブフォトセルからシフトレジスタ（図示せず）に転送され読み取られてよく、グラフ３００、３１０に示されるように画素データが分析される。単純に対比するために、画素データは、センサの上左隅（例えば図２の窓２１０ａ）に関してグラフにした３００およびセンサの中央（例えば図２の窓２１０ｅ）に関してグラフにした３１０で示される。赤、青および緑に関してグラフにした別個の応答が示される。示される応答は、色むらが生じる色クロストークを示すものである。正規化されたスペクトル応答曲線を形成するために、図４に示されるように各窓（例えば１００ｘ１００）からの画素データが平均化される。
【００２９】
図４は、正規化し併せてグラフ化した後の図３の例示のセンサに関する、より高性能のデジタルカメラに典型的なセンサとレンズのスペクトル応答の例示のグラフ４００、４１０、４２０である。これらのグラフは全ての窓を含み、図３に示されるものだけではないことに留意されたい。スペクトル応答は空間的位置によらず重なることを見ることができる。この場合、正規化されたグラフは、所与の空間的位置における所与の色チャネルのスペクトル応答が線形に拡大縮小可能であることを示している。したがってゲインマスクは、空間的位置によって相異なる乗算定数を使用してそれぞれの色プレーンの線形の組み合わせによって表される。このような線形補正は大量の色クロストーク、画素ケラレ、スペクトル感度の変動を含まないセンサとレンズの組み合わせ、または多くのデジタルスチールカメラに当てはまるように、その光クロストークが相異なるタイプの表面から反射された光の波長によって変化しないセンサに関して良好に作用する。
【００３０】
図５は、例えば小型デジタルカメラ（例えば携帯電話カメラ）で実施することができる別の例示のセンサでのセンサ上の相異なる空間的位置におけるセンサとレンズのスペクトル応答の例示のグラフを示す。小型デジタルカメラではレンズはさほどテレセントリックではない。これは光線が、センサの中央に当たる光線に対して急な入射角度でセンサの隅に当たることを意味する。この例でもやはり多様な波長で画素出力を生成するのにモノクロメータが使用されたが、モノクロメータによって生成されるものに限定されない。この応答を生成する他の方法は、これに限定するものではないが、既知のスペクトル特性を持つ一組の光、または、既知の値でスペクトル的に変化する光を出力できる他のタイプの装置を利用するものを含む。
【００３１】
所望の露光時間の後、画素データはアクティブフォトセルからシフトレジスタ（図示せず）に転送され読み取られてよく、グラフ５００、５１０に示されるように画素データが分析される。単純に対比するために、画素データは同様に、センサの上左隅（例えば図２の窓２１０ａ）に関してグラフにした５００およびセンサの中央（例えば図２の窓２１０ｅ）に関してグラフにした５１０で示される。この応答もまた、より小さなセンサ用途に関して色むらが生じる色クロストークを示すものである。図６に示されるように、ここでも正規化されたスペクトル応答曲線を形成するために各窓（例えば１００ｘ１００）からの画素データが平均化される。
【００３２】
図６は、正規化し併せてグラフ化した後の図５の例示のセンサに関するセンサとレンズのスペクトル応答の例示のグラフ６００、６１０および６２０を示す。スペクトル応答は空間的位置によって変動することを見ることができる。この場合、正規化されたグラフは、所与の空間的位置における所与の色チャネルのスペクトル応答が線形に拡大縮小できないことを示している。
【００３３】
代わりに画像内の画素のグループ（または計算能力とメモリが十分であると仮定して、それぞれの画素）に対して、ＭｘＮ（例えば４ｘ４または色の数によってより多くの）の色補正マトリクスを実施することができる。例示のマトリクスは、以下のように示される。
【００３４】
【数１】
2011521591.tif 000004
【００３５】
上記の例におけるＲsensor、Ｇｒsensor、Ｇｂsensor、ＢsensorおよびＲcorr、Ｇｒcorr、Ｇｂcorr、Ｂcorrは独自のものではなく、１つの色画素値に限定されないことに留意されたい。当業者は、例えば局所的に平均化された画素値のグループなどいかなる色プレーンの表示も使用することができることを理解するであろう。
【００３６】
空間的に変動する色むら補正の前後の画素値は、未補正の色チャネルデータがマトリクスに入力され、そのマトリクスによって操作され、色むらが補正されたデータセットとして出力される１つの処理として考えることができる。色依存のケラレを補正することができる複数の可能なケースがある。１つのケースでは、デモザイク処理の前に未補正のセンサデータをＭｘＮ補正マトリクスが操作して、補正されたベクトルの色チャネルを返すものである。別のケースの例では、未補正のデータがデモザイク処理され、次いで補正マトリクスによって操作され、デモザイク処理後のセンサ値の色むらが補正されたベクトルを返すものである。最後のシナリオは未補正のセンサ値がデモザイク処理され、デモザイク処理の一部として空間的に変動する色依存のケラレに関して補正されるものである。この処理はまた、センサＲＧＢからｓＲＧＢ、ＹＵＶまたはＹＣＣなどに変換するなど１つの色空間から別の色空間への変換の一部として完了させることもできる。他の色空間の変換を含むケースでは、以下に示される例示のマトリクスを使用することができる。
【００３７】
【数２】
2011521591.tif 000005
【００３８】
例示の実施形態において、４つの色Ｒ、Ｇｒ、ＧｂおよびＢは、赤、赤の行の緑、青の行の緑および青の色チャネルをそれぞれ表す。Ｋ００からＫ３３は補正係数を表す。色補正マトリクスの数は実際の画像解像度と等しく、４ｘ４マトリクスは、所与の空間的位置におけるそれぞれの色プレーンのスペクトル応答を画像の中央のセンサのスペクトル応答と一致するように変換させる。
【００３９】
付加的な較正画像を必要とせずにモジュールスペクトル応答を見つけるためにこの手法を手順に組み込むことができる。これは、色補正マトリクスおよびスペクトル応答が較正画像の相異なる空間的位置から要求されるという事実によるものではあるが、しかしながら、現在の発明における補正および較正処理は画像の数の増加を必要としない。したがって計算時間は増加するが、必要とされる較正画像の数は増加しない。従来の色むらおよびケラレ補正ならびに演色はもはや必要なくなるが、その理由は今やこのような作業は提案される空間的に変動するｍｘｎの色補正の一部であるためである。例示の実施形態では、この空間的に変動する色補正をセンサＲＧＢからｓＲＧＢ、センサＲＧＢからＹＵＶまたはセンサＲＧＢからＹＣＣなど他の色空間への変換と組み合わせることも可能である。しかしながら多様な変更および補正も同様に行なうことができることは当業者には明白であろう。
【００４０】
提案される発明を単純化するために、より低い解像度で空間的に変動するスペクトル応答を測定することを選択することができる。例えば４ｘ４マトリクスの９つの等しく離間した窓を実装することができる。９つの窓の中の他の画素に関して、他の空間的な標本位置に関するマトリクスを見つけるために補間法を使用することができる。空間的位置の数の選択は、色の精度と計算およびメモリ性能との兼ね合いである。
【００４１】
上記に言及したセンサの色データいずれかをフルカラー画像に変換するためにある種の画素処理アルゴリズムが必要とされる。モザイクセンサではデモザイクアルゴリズムが使用される。当業者は、デモザイクアルゴリズムの一部として空間的に変動する色補正を適用することが可能であることに留意されたい。デモザイクアルゴリズムを必要としないセンサの場合、このステップをより広範な撮像作業の一部として適用することが可能である。
【００４２】
図３から図６を参照して上記に記載される例証は単なる例であり限定することは意図していない。本明細書の教示に精通するようになってから当業者が容易に理解するであろう他の特徴および／または補正形態を実行することもできる。
【００４３】
図７は、カメラセンサを補正するために実施され得る例示の操作を示すフローチャートである。操作７００は、１つまたは複数のコンピュータ読取り可能媒体上の論理命令として具現化することができる。プロセッサ上で実行される際、汎用コンピュータデバイスがこの論理命令によって記載される操作を実装する特殊用途の装置としてプログラムされる。例示の実装例では図面中に描写される構成要素および接続が使用されてよい。
【００４４】
操作７１０で、センサ上の相異なる空間的位置における複数の色チャネルに関してスペクトル応答が抽出される。操作７２０で、センサによって捕捉された画像内の相異なる空間的位置において色補正マトリクスが適用される。操作７３０で、各空間的位置におけるスペクトル応答が、画像上の任意の１つの位置（例えば中央、またはほぼ中央、または他の位置）におけるセンサのスペクトル応答と一致するように変換される。
【００４５】
本明細書に示されかつ記載される操作は、カメラセンサの補正に関する例示の実装を例証するために提供される。操作は示される順番に限定されない。加えて、本明細書の教示に精通するようになってから当業者に容易に明らかになるようにさらに他の操作を実施することもできる。
【００４６】
本明細書に示されかつ記載される例示の実施形態は、例証する目的のために提供されるものであり限定することは意図していない。カメラセンサの補正に関してさらに他の実施形態も同様に企図される。
【図１ａ】
2011521591.tif 000007
【図１ｂ】
2011521591.tif 000008
【図２】
2011521591.tif 000009
【図３】
2011521591.tif 000010
【図４】
2011521591.tif 000011
【図５】
2011521591.tif 000012
【図６】
2011521591.tif 000013
【図７】
2011521591.tif 000014
【国際調査報告】
2011521591.tif 000015
2011521591.tif 000016