(57)【要約】【課題】色彩恒常が改善されたイメージ処理システムを提供すること。【解決手段】センサ、プロセッサ、及びメモリを有するイメージ処理システム。該センサは実際の光源によって照明されたシーンを表すデータを捕捉するよう構成され、プロセッサは該捕捉されたデータを受け取って処理するよう構成される。前記メモリは、複数の信憑性のある光源に関する色度データを記憶するよう構成される。前記プロセッサは、前記捕捉されたデータを複数のゾーンに分割する。該プロセッサはまた、各ゾーン毎に平均色度を計算し、該各ゾーン毎に計算した色度を前記信憑性のある光源の色度データと比較する。プロセッサは、この比較に基づいて前記信憑性のある光源のうちの１つを選択する。【選択図】図３
2007097175.tif 000002
【特許請求の範囲】
【請求項１】
実際の光源により照明されたシーンを表すデータを捕捉するよう構成されたセンサと、
前記捕捉されたデータを受容し処理するよう構成されたプロセッサと、
複数の信憑性のある光源に関連する色度データを記憶するよう構成されたメモリと
を備えており、
前記プロセッサが、前記捕捉されたデータを複数のゾーンへと分割し、その各ゾーン毎に色度を計算し、その各ゾーン毎の前記色度を前記信憑性のある光源の前記色度データと比較し、前記比較に基づいて前記実際の光源を表すものとして前記信憑性のある光源のうちの１つを選択する、
イメージ処理システム。
【請求項２】
前記捕捉されたデータの色が、前記選択された信憑性のある光源に関連する前記色度データに基づいて調整される、請求項１に記載のイメージ処理システム
【請求項３】
前記プロセッサが、許容範囲を設定し、該許容範囲内の色度を有する各ゾーン毎の前記色度を平均し、前記平均色度に最も近い色度を有する前記信憑性のある光源を選択する、請求項１に記載のイメージ処理システム。
【請求項４】
シーンを表す前記捕捉されたデータが、赤成分、緑成分、及び青成分を有する画素情報を含み、各ゾーン毎の色度が、各ゾーンにおける平均赤成分、平均緑成分、及び平均青成分を計算することによって計算される、請求項３に記載のイメージ処理システム。
【請求項５】
複数の信憑性のある光源に関連する前記色度データが、該信憑性のある光源の各々毎に予め計算されたホワイトポイントを含み、各ゾーン毎の前記色度の計算が、各ゾーン毎のホワイトポイントの計算を含む、請求項４に記載のイメージ処理システム。
【請求項６】
前記許容範囲外にある各ゾーンの各ホワイトポイントを除去し、前記許容範囲内にある各ゾーンの各ホワイトポイントを用いて平均ホワイトポイントを求め、該平均ホワイトポイントに最も近いホワイトポイントを有する信憑性のある光源を選択する、請求項５に記載のイメージ処理システム。
【請求項７】
前記ホワイトポイントが、平均緑成分で除算した平均赤成分と平均緑成分で除算した平均青成分とを有する座標を計算することにより計算される、請求項５に記載のイメージ処理システム。
【請求項８】
前記許容範囲が、前記ホワイトポイントについて計算された前記座標の各々の10％以内である、請求項７に記載のイメージ処理システム。
【請求項９】
前記捕捉されたイメージデータが少なくとも64個のゾーンに分割される、請求項１に記載のイメージ処理システム。
【請求項１０】
実際の光源によって照明されたシーンを表すデータを捕捉し、
該捕捉したデータを複数のゾーンに分割し、
各ゾーン毎に色度を計算し、
各ゾーンの前記計算した色度を複数の信憑性のある光源の各々の色度と比較し、
該比較に基づいて前記実際の光源を表すものとして前記信憑性のある光源のうちの１つを選択する、
という各ステップを含む、イメージデータを処理する方法。
【請求項１１】
前記選択した信憑性のある光源に関連する前記色度データに基づいて前記捕捉されたデータを色調整するステップを更に含む、請求項１０に記載の方法。
【請求項１２】
所定の許容範囲内の色度を有する各ゾーン毎の色度を平均するステップを更に含み、該計算した平均色度に最も近い色度を有する前記信憑性のある光源を選択するステップを更に含む、請求項１０に記載の方法。
【請求項１３】
各ゾーン毎の色度を計算する前記ステップが、前記捕捉されたデータの各ゾーンの平均赤成分、平均緑成分、及び平均青成分を計算するステップを含む、請求項１２に記載の方法。
【請求項１４】
各ゾーン毎の色度を計算する前記ステップが、各ゾーン毎のホワイトポイントを計算するステップを含み、複数の信憑性のある光源に関連する色度データを計算する前記ステップが、前記信憑性のある光源の各々毎にホワイトポイントを計算するステップを含む、請求項１３に記載の方法。
【請求項１５】
ホワイトポイントを計算する前記ステップが、平均緑成分で除算した平均赤成分と平均緑成分で除算した平均青成分とを有する座標を計算するステップを含む、請求項１４に記載の方法。
【請求項１６】
実際の光源により照明されたシーンを表すデータを捕捉し処理する手段と、
複数の信憑性のある光源に関連する色度データを記憶する手段と、
前記シーンを表すデータの少なくとも１つのゾーンについて色度を計算する手段と、
該少なくとも１つのゾーンについての該色度を前記信憑性のある光源の前記色度データと比較する手段と、
前記比較に基づいて前記実際の光源を表すものとして前記信憑性のある光源の１つを選択する手段とを
有する、イメージ処理システム。
【請求項１７】
前記シーンを表すデータの複数のゾーンの色度を計算する手段と、該ゾーンの各々の色度を前記信憑性のある光源の前記色度データと比較する手段と、その各比較に基づいて前記実際の光源を表すものとして前記信憑性のある光源のうちの１つを選択する手段とを更に有する、請求項１６に記載のイメージ処理システム。
【請求項１８】
前記シーンを表すデータの64のゾーンについて色度を計算する、請求項１６に記載のイメージ処理システム。
【請求項１９】
前記プロセッサが、許容範囲を設定し、前記許容範囲内の色度を有する各ゾーンの前記色度を平均し、前記平均色度に最も近い色度を有する信憑性のある光源を選択する、請求項１８に記載のイメージ処理システム。
【請求項２０】
ホワイトポイントを計算することによって色度を計算する、請求項１９に記載のイメージ処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ホワイトバランス機構に関するものである。
【背景技術】
【０００２】
種々様々なシーン光源の下で、人間の観察者は同じ範囲の色を見ており、白い紙は、それを見る光の色と関係なくあくまでも白いままである。これと対照的に、カラーイメージングシステム（例えば、ディジタルカメラ）は、シーン光源の色を不正に推測することが多いためあまり色が一定ではない。その結果として、かかるイメージングシステムで色を正確に再現するために、一般にイメージ処理を行う際にこの影響の調整又は適応が行われ又は使用される。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
イメージ処理によっては、色がより一定のイメージを作成するために、シーン照明の色を別に測定する。しかし、多くのイメージングシステムでは、照明センサを配設してその測定された基準に較正することをユーザに期待することは非現実的である。他のイメージ処理システムでは、シーン照明の色がイメージデータから推定される。多くの場合、これは「グレーワールドの想定（gray world assumption）」を使用して行われる。しかし、かかる推定方法の幾つかでは、イメージによって色の整合性がまだ許容できないものがある。
【０００４】
上述その他の理由により、本発明が必要とされている。
【課題解決するための手段】
【０００５】
本発明の一態様は、センサ、プロセッサ、及びメモリを有するイメージ処理システムを提供する。該センサは、実際の光源によって照明されたシーンを表すデータを捕捉するよう構成され、プロセッサは、該捕捉されたデータを受け取って処理するよう構成される。前記メモリは、複数の信憑性のある光源（plausible illurninant）に関連する色度データを記憶するように構成される。前記プロセッサは、前記捕捉されたデータを複数のゾーンに分割する。該プロセッサはまた、各ゾーン毎に平均色度を計算し、該各ゾーン毎に計算した色度を前記信憑性のある光源の色度データと比較する。プロセッサは、この比較に基づいて前記信憑性のある光源のうちの１つを選択する。
【０００６】
図面は、本発明を更によく理解するために提供するものであり、本明細書に組み込まれその一部を構成する。図面は、本発明の実施形態を示し、説明と共に本発明の原理を説明する役割を果たす。本発明の他の実施形態及び本発明の意図する多くの利点は、以下の詳細な説明を参照してよりよく理解されるときに容易に理解されるであろう。図面の要素は互いに同じ縮尺であるとは限らない。類似する符号は対応する類似する部分を指す。
【発明を実施するための最良の形態】
【０００７】
以下の詳細な説明では、該説明の一部を構成しまた本発明を実施することができる例示的な特定の実施形態によって示した図面を参照する。これに関連し、「上」、「下」、「前側」、「後側」、「前方」、「後方」などの方向を表す語は、説明している図の向きに対して使用される。本発明の実施形態の構成要素は、幾つかの異なる向きで配置することができるので、向きを示す語は、限定ではなく例示のために使用される。本発明の範囲から逸脱することなく他の実施形態を利用することができ、また構造的又は論理的変更を行うことができることを理解されたい。したがって、以下の詳細な説明は、限定の意味で解釈されるべきでなく、本発明の範囲は、特許請求の範囲によって定義される。
【０００８】
図１は、本発明の一実施形態によるイメージ処理システム10を示すブロック図である。イメージ処理システム10は、センサ12、マイクロコントローラ14、及びメモリ16を含む。その動作時には、センサ12は、イメージ又はシーン20を表すデータを捕捉するよう構成される。捕捉したイメージ又はシーンデータは、典型的にはディジタル形式であり、メモリ16に関連してマイクロコントローラ14によって処理される。
【０００９】
一実施形態では、シーン20は光源22によって照明される。該光源22は、本発明と調和する様々な光源とすることが可能である。例えば、光源22は、日光、蛍光灯、タングステン光、又は多数の光源のうちの任意のものとすることが可能である。典型的には、所与の捕捉されたシーン20に関連する特定のタイプの光源22は、イメージ処理システム10にとって未知のものである。しかし、一実施形態では、イメージ処理システム10は、複数の既知の「信憑性のある光源」に関連付けされたデータを用いて構成される。例えば、シーン20の光源22として限られた量の日光条件が使用される可能性があり、シーン20の光源22として限られた量のタングステンランプが使用される可能性があり、シーン20の光源22として限られた量の蛍光灯が使用される可能性などがある。これらの信憑性のある光源と、それに関連する後述する特定のスケーリングデータが、メモリ16に記憶され、本発明の実施形態に従ってイメージ処理システム10により使用される。
【００１０】
一実施形態では、シーン20の光源22として使用される可能性の高い光源の種類に基づき15の異なる信憑性のある光源がイメージ処理システム10のために選択される。明らかに、これは、使用される可能性のある全ての光源というわけではないが、多くの場合、これらは、殆どの可能性の高い光源をとらえたものである。別の実施形態では、これよりも多い又は少ない数の光源が使用される。
【００１１】
各信憑性のある光源毎に「グレーワールドの想定」を行い、各信憑性のある光源毎に平均カラーポイントを計算してメモリ16に記憶させる。次いで、任意の特定の捕捉されたシーンについての平均カラーポイントを計算して、各信憑性のある光源毎の平均カラーポイントと比較することができる。このようにして、信憑性のある光源のうちの何れが特定の捕捉されたシーンについて計算した平均カラーポイントに最も近い平均カラーポイントを有するかに基づいて、該信憑性のある光源のうちの１つをシーン20の光源22として選択することができる。
【００１２】
イメージ又はシーンを表す捕捉されたデータについて、設定された個数の画素が存在する。カラーイメージの場合には、イメージの各画素は、特定の量の赤（R）、緑（G）、及び青（B）を有することになる。グレーワールドの想定は、イメージが十分な量の色のばらつきを有する場合には該イメージのＲ成分、Ｇ成分、及びＢ成分の平均値が共通のグレー値にならなければならないことを規定するものである。この想定は妥当であることが多い。これは、あらゆる所与の実世界のシーンでは多数の異なる色のばらつきが存在する場合が多いからである。色のばらつきがランダムで互いに無関係であるため、平均カラーポイントは、特定の平均値（灰色）に収束する傾向がある。
【００１３】
このため、カラーバランスアルゴリズムは、Ｒ成分、Ｇ成分、及びＢ成分についての一様な平均グレー値をイメージに強制的に持たせることにより、この想定を使用する。例えば、黄色の光で照明されたイメージを捕捉した場合、該捕捉した出力イメージは、そのイメージ全体に黄みを帯びたものとなる。この黄みを帯びる影響は、元のイメージのグレーワールドの想定を妨げるものとなる。捕捉したイメージにグレーワールドの想定を強制的に適用することにより、黄みを除去して元のシーンの色を再び得ることができる。イメージの全体的なグレー値を計算した後、該グレー値からの各色成分の偏差の量に従って該色成分をスケーリングする。信憑性のある光源の各々毎にスケーリングしたデータをメモリ16に記憶させることができる。
【００１４】
一実施形態では、取得したイメージについて信憑性のある光源の何れを使用すべきかを決定するステップは、信憑性のある光源の各々毎に「ホワイトポイント」を予め計算するステップを含む。１つの事例では、これは、イメージの各画素毎にＲ成分、Ｇ成分、及びＢ成分の量を最初に決定することにより行われる。次いで、全てのＲ成分の和、全てのＧ成分の和、及び全てのＢ成分の和を計算し、それぞれの和を画素数で除算して、各色毎の平均を求める。次いで、G平均値に対するB平均値の比と同様に、G平均値に対するR平均値の比を計算する。これらの２つの値は、２次元色度空間におけるＧ成分に対するＲ成分についてのポイントを画定するものである。このポイントがホワイトポイントである。
【００１５】
図２は、15の異なる信憑性のある光源についてのホワイトポイントの計算を示している。同図において、イメージのＢ成分の合計をイメージのＧ成分の合計で除算してＹ座標が画定される。イメージのＲ成分の合計をＧ成分の合計で除算してＸ座標が画定される。その結果が、図中でそれぞれ「×」で表した信憑性のある光源の各々のホワイトポイントである。各信憑性のある光源は、ディジタルイメージにおける色彩恒常の変化を生じさせるものであるため、計算されたホワイトポイントは信憑性のある光源によって異なるものとなる。信憑性のある光源の各々毎に計算されたホワイトポイントはメモリ16に記憶される。
【００１６】
このようにして、イメージ又はシーンを表す捕捉されたデータのホワイトポイントを計算した後、該計算されたホワイトポイントを、メモリ16に記憶されている各信憑性のある光源のホワイトポイントと比較する。次いで、捕捉されたイメージに関して計算されたホワイトポイントに最も近いホワイトポイントを有する信憑性のある光源を光源22として選択する。信憑性のある光源を選択した後、そのホワイトポイントと捕捉されたイメージの計算されたホワイトポイントとの差を使用して、該捕捉されたイメージに適したホワイトバランスと色補正とを適用することができる。
【００１７】
しかし、イメージ全体について単一のホワイトポイントを計算すると、特定の状況で不均一な結果を招く可能性がある。例えば、シーン20が大量の単一色を有する場合、グレーワールドの想定は必ずしも正確な想定ではなくなる。このため、イメージの殆どが明るい青緑色の大きな海の場合には、シーンの平均が灰色になる可能性は殆どない。このように、本発明の一実施形態は、取得されたイメージのホワイトポイントの計算を該イメージに従って調整する。
【００１８】
一実施形態では、取得されたイメージを複数のゾーンへと分割する。次いで、各ゾーンの平均Ｒ成分、Ｇ成分、及びＢ成分を計算する。各ゾーン毎に、ホワイトポイントを計算することができる（一事例では、Ｒ／Ｇ座標及びＢ／Ｇ座標を使用する）。このため、捕捉されたイメージ内の何れかの特定のゾーンにおける色の優位性は、そのゾーンの色度を信憑性のある光源のどのホワイトポイントからも遠ざけるものとなる。このように、そのようなゾーンは、捕捉されたイメージの全体的なホワイトポイントを計算するときに無視される。信憑性のある光源のホワイトポイントに近い色度になるゾーンだけを使用して、全体的なイメージのホワイトポイントを推定する。次いで、この全体的なイメージのホワイトポイントを使用して、信憑性のある光源から光源22を選択し、それに応じて取得されたイメージの色調整を行う。
【００１９】
図３は、本発明の一実施形態によるイメージ処理システムのプロセス50を示すフローチャートである。最初のステップ52で、イメージ処理システム内のセンサが、イメージ又はシーンを表すデータを捕捉するよう構成される。次いで、ステップ54で、捕捉されたイメージ又はシーンのデータが複数のゾーンへと分割される。一実施形態では、捕捉されたイメージは、例えば1024×1280画素といった百万を超える画素を有する。イメージ中の各画素はＲ成分、Ｇ成分、及びＢ成分を有する。一事例では、次いでその捕捉されたイメージが、各ゾーンが128×160画素を有する8×8格子構造のゾーンになるように64の個別のゾーンに分割される。
【００２０】
ステップ56で、各ゾーン毎にホワイトポイントを計算する。一事例では、このホワイトポイントは、各ゾーン毎にＲ／Ｇ座標及びＢ／Ｇ座標を計算することにより求められる。取得されたイメージの各ゾーン毎にホワイトポイントを計算した後、かかる計算された各ホワイトポイントを、様々な信憑性のある光源に関して記憶されたホワイトポイントと比較する。ゾーンからの計算されたホワイトポイントのうち、様々な信憑性のある光源のホワイトポイントの許容範囲内にないホワイトポイントを破棄する（破棄されたホワイトポイント）。
【００２１】
次に、ステップ58で、ゾーンからの計算されたホワイトポイントのうち、様々な信憑性のある光源のホワイトポイントの許容範囲内にあるホワイトポイントを収集する（収集されたホワイトポイント）。このように、該収集されたホワイトポイントは、様々な信憑性のある光源のホワイトポイントを最も近く近似するものである。ステップ60で、該収集されたホワイトポイントの平均を計算する。
【００２２】
ステップ62で、その収集されたホワイトポイントに基づく平均ホワイトポイントを取得して、様々な信憑性のある光源毎に記憶されている各ホワイトポイントと比較する。次いで、該平均ホワイトポイントが最も近いホワイトポイントをシステムの信憑性のある光源として選択する。このように、選択される信憑性のある光源に関する記憶済データを使用し、ホワイトポイント間の偏差の量に従って、捕捉されたイメージの各色成分をスケーリングする。
【００２３】
図４は、15の異なる信憑性のある光源と、捕捉されたイメージの64個のゾーンの各々とについてのホワイトポイントの計算値を示している。信憑性のある光源のホワイトポイントは「×」で示され、捕捉されたイメージの64個のゾーンの各々のホワイトポイントは、「○」と「□」で示されている。
【００２４】
一実施形態では、全体的な平均の計算に含めるために、捕捉されたイメージのゾーンのホワイトポイントが収まるべき許容範囲を設定する。一実施形態では、該許容範囲は、ホワイトポイントの各座標の10％以内となる。他の実施形態では、許容範囲はそれよりも小さく、他ではそれよりも大きい。図において、信憑性のある光源のホワイトポイントの許容範囲外にある64個のゾーンについてのホワイトポイントは全て「○」（破棄されたホワイトポイント）で示されている。信憑性のある光源のホワイトポイントの許容範囲内にある64個のゾーンのホワイトポイントは全て「□」（収集されたホワイトポイント）として示されている。
【００２５】
64個のゾーンの全てについてのホワイトポイント（図中で「○」及び「□」で示したもの）の平均が図４に「●」32で表されている。しかし、本発明の一実施形態では、64個のゾーンについての破棄されたホワイトポイント（すなわち、信憑性のある光源のホワイトポイントの許容範囲外にあり図４に「○」で示したホワイトポイント）の全ては平均ホワイトポイントの計算には使用されない。すなわち、64個のゾーンについての収集されたホワイトポイント（すなわち、信憑性のある光源のホワイトポイントの許容範囲内にあり図４に「□」で示したホワイトポイント）だけが維持され平均化される。この全ての収集されたホワイトポイントの平均が図４に「●」30で表されている。このように、許容範囲外にある64個のゾーンについてのホワイトポイントを除去することにより、平均ホワイトポイント30が、全体的な平均ホワイトポイント32よりも信憑性のある光源のホワイトポイントに近くなる。これにより、信憑性のある光源のより正確な検出が可能になる。
【００２６】
図において、64個のゾーンについて計算されたホワイトポイントの1／3未満が、信憑性のある光源のホワイトポイントの許容範囲内にある。これは、例えば、大部分が明るい青緑色の水からなるシーン又は暗い色が比較的少ししかなく大部分が青の空からなるシーンといった、優位な色を有する大きな部分を有するイメージの事例である。そのような捕捉されたイメージは、図４に示すように、64個のゾーンについて計算されたホワイトポイントの大部分において、信憑性のある光源についてのホワイトポイントの許容範囲外になる。
【００２７】
図４の説明において、64個のゾーンに関して計算されたホワイトポイントの幾つか（許容範囲外のもの）を除去すると、平均ホワイトポイントがホワイトポイント32からホワイトポイント30へと変化する。調整を行わない場合には、ホワイトポイント32を使用すると、符号34で示すホワイトポイントにより表される信憑性のある光源が選択されることになる（ホワイトポイント34が、計算された平均ホワイトポイント32に最も近い信憑性のある光源のホワイトポイントであるため）。しかし、調整を行う場合には、ホワイトポイント30を使用すると、符号36で示すホワイトポイントにより表される信憑性のある光源が選択される（ホワイトポイント36が、計算された平均ホワイトポイント30に最も近い信憑性のある光源のホワイトポイントであるので）。このようにして、イメージのホワイトポイントの改善された推定値を使用して信憑性のある光源を選択することによって、選択された信憑性のある光源が捕捉されたシーンの実際の光源である可能性が高くなる。したがって、選択された信憑性のある光源に関連するデータを使用してシーンの色がスケーリングされる場合には、実際のシーン色の適切な表現が達成される。
【００２８】
本書において特定の実施形態を示し説明したが、本発明の範囲を逸脱することなく示し説明した特定の実施形態の代わりに様々な代替及び／又は等価な実施態様を使用することができることを当業者は理解するであろう。本出願は、本明細書で述べた特定の実施形態の任意の適応又は変形を含むものである。したがって、本発明は、特許請求の範囲とその等価物によってのみ限定される。
【図面の簡単な説明】
【００２９】
【図１】本発明の一実施形態によるイメージ処理システムを示す説明図である。
【図２】様々な信憑性のある光源についての色度を示すグラフである。
【図３】本発明の一実施形態によるイメージ処理システムのプロセスを示すフローチャートである。
【図４】本発明の一実施形態による様々な信憑性のある光源と様々なイメージゾーンについての色度を示すグラフである。
【符号の説明】
【００３０】
10  イメージ処理システム
12  センサ
14  マイクロコントローラ
16  メモリ
20  シーン
22  光源
【図１】
2007097175.tif 000003
【図２】
2007097175.tif 000004
【図３】
2007097175.tif 000005
【図４】
2007097175.tif 000006