(57)【要約】  ディジタル画像化装置によって生成されたディジタル画像の品質を向上させる方法は、ディジタル画像化装置を用いて同じ情景に関する少なくとも2つのオリジナルのディジタル画像をそれぞれ異なる照明条件下で取得し、それぞれのディジタル画像について複数の画素を生成させるステップと；異なる照明条件下で取得された上記ディジタル画像のうちの少なくとも2つのディジタル画像の画素値を用いて両者の差の値を生成させるステップと；オリジナルのディジタル画像の画素値を、対応する差の値に合わせて変更するステップを含んでいる。
2008527852.tif 000002
【特許請求の範囲】
【請求項１】
ディジタル画像化装置によって生成されたディジタル画像の品質を向上させる方法であって、
（a）ディジタル画像化装置を用いて同じ情景に関する少なくとも2つのオリジナルのディジタル画像をそれぞれ異なる照明条件下で取得し、それぞれのディジタル画像について複数の画素を生成させるステップと；
（b）異なる照明条件下で取得された上記ディジタル画像のうちの少なくとも2つのディジタル画像の画素値を用いて両者の差の値を生成させるステップと；
（c）上記ディジタル画像のうちの1つのディジタル画像の画素値を、対応する差の値に合わせて変更するステップを含む方法。
【請求項２】
上記ディジタル画像の使用された画素値が、元になる情景から受け取った光の強度に対応する対数関係を有する、請求項1に記載の方法。
【請求項３】
上記ディジタル画像の画素値が、赤成分と緑成分と青成分を持ち、上記変更ステップに、画素値の色を変化させる操作が含まれる、請求項1に記載の方法。
【請求項４】
（a）第1のディジタル画像と第2のディジタル画像に関し、赤成分、緑成分、青成分のそれぞれからの輝度チャネルの画素値を計算するステップと；
（b）上記差の値を、対応する輝度チャネルの画素値間の差として計算するステップをさらに含む、請求項3に記載の方法。
【請求項５】
上記変更ステップに、輝度チャネルの差に対して閾値ステップを実施し、明るさに基づいて異なる照明条件を分離する操作が含まれる、請求項1〜4のいずれか1項に記載の方法。
【請求項６】
上記照明条件が、フラッシュあり情景露光とフラッシュなし情景露光であり、ステップ（c）に、ディジタル画像のフラッシュ部分に対して補正因子計算ステップを実施する操作が含まれる、請求項1に記載の方法。
【請求項７】
上記照明条件が、フラッシュあり情景露光とフラッシュなし情景露光であり、ステップ（c）に、ディジタル画像の非フラッシュ部分に対して補正因子計算ステップを実施する操作が含まれる、請求項1に記載の方法。
【請求項８】
上記照明条件が、フラッシュあり情景露光とフラッシュなし情景露光であり、ステップ（c）に、ディジタル画像のフラッシュ部分の補正値と、ディジタル画像の非フラッシュ部分の補正値とに基づいてホワイト・バランス補正を実施する操作が含まれる、請求項1に記載の方法。
【請求項９】
ホワイト・バランス補正のための上記補正値を上記輝度チャネルの差の値に適用する、請求項8に記載の方法。
【請求項１０】
ディジタル画像化装置によって生成されたディジタル画像の品質を向上させる方法であって、
（a）ディジタル画像化装置を用いて同じ情景に関する少なくとも2つのオリジナルのディジタル画像を、少なくとも1つのディジタル画像はフラッシュを用いて、少なくとも1つのディジタル画像はフラッシュなしで取得し、それぞれのディジタル画像について複数の画素を生成させるステップと；
（b）上記ディジタル画像のうちの少なくとも1つのディジタル画像の画素値を、取得した2つ以上のディジタル画像に合わせて変更するステップを含む方法。
【請求項１１】
ディジタル画像化装置によって生成されたディジタル画像の品質を向上させる方法であって、
（a）ディジタル画像化装置を用いて同じ情景に関する少なくとも2つのオリジナルのディジタル画像を、少なくとも1つのディジタル画像は第1の照明条件下で、少なくとも1つの他のディジタル画像は第2の照明条件下で取得し、それぞれのディジタル画像に複数の画素を持たせるステップと；
（b）1つのディジタル画像の画素値をセグメント化するが、そのとき、取得した上記2つ以上のディジタル画像の対応する画素値に基づき、そのうちの1つのディジタル画像を異なる領域にセグメント化するステップと；
（c）上記ディジタル画像のうちの少なくとも1つのディジタル画像の画素値を、セグメント化した画素値に合わせて変更するステップを含む方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、全体として、ディジタル画像処理の分野に関するものであり、特に電子式スチール・カメラやビデオ・カメラなどで利用するためのホワイト・バランス補正に関する。
【背景技術】
【０００２】
ビデオ・カメラと電子式スチール・カメラでは、白い対象を白く見えるように再現することを目的として自動ホワイト・バランス調節が利用されてきた。この分野における自動化された従来技術の例は多数ある。
【０００３】
アメリカ合衆国特許第5,801,773号（Ikeda）には、色差空間内の広がった色温度軸領域に入るとともに、ユーザー・モード設定に対応する画像（例えば景色、ポートレートなど）の空間領域に限定された画素群（パクセル）の平均値を用いてホワイト・バランス操作を実行することが記載されている。色温度軸領域の形状は、ユーザー・モード設定によっても変えられる（通常は小さくする）。
【０００４】
アメリカ合衆国特許第6,243,133号（Spaulding他）には、情景をバランスさせる画像のパクセル化バージョンを生成させ、そのパクセル化された画像をCIE XYZ空間の色域保持バージョンに変換し、同等な情景バランス補正トリプレットを計算し、そのトリプレットを元のカメラRGB空間に逆変換することで、そのトリプレットをフル解像度元画像に適用することができるため、情景がバランスされていてその後の出力レンダリングに適した画像が色域保持CIE XYZ空間に生成されることが記載されている。
【０００５】
アメリカ合衆国特許第6,791,606号（Miyano）には、パクセル化された画像を生成させ、それを色差空間に変換することが記載されている。次に、色差空間内の各パクセルと所定の光源領域を隔てる距離を計算し、その距離を信頼値として取り扱う。（パクセルが所定の光源から遠いほど、パクセル化された領域がその光源によって照らされるという結論の信頼性が低下する。）各光源に関するホワイト・バランス補正を信頼値を用いて混合し、全体ホワイト・バランス補正を生成させる。
【０００６】
アメリカ合衆国特許出願公開第2002/0122120号（Hsieh）には、画像をセグメント化して多数の領域にし、各領域の色差座標の平均値を計算することが記載されている。輝度が中程度の値である領域に関して色差の平均値を色差空間にプロットし、そのグラフのそれぞれの象限を調べる。プロットされた点の大半が含まれる象限に入る点だけが、全体ホワイト・バランス補正を計算するのに用いられる。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
既存のホワイト・バランス補正法の大きな1つの問題は、2つの異なる照明（例えばフラッシュとタングステン）で露出した情景が正確にバランスされないことである。
【課題を解決するための手段】
【０００８】
ディジタル画像化装置を用いて同じ情景に関する少なくとも2つのオリジナルのディジタル画像をそれぞれ異なる照明条件下で取得し、それぞれのディジタル画像について複数の画素を生成させ；異なる照明条件下で取得された上記ディジタル画像のうちの少なくとも2つのディジタル画像の画素値を用いて両者の差の値を生成させ；オリジナルのディジタル画像の画素値を、対応する差の値に合わせて変更することにより、ディジタル・カメラからの画像のホワイト・バランスをより効果的に補正できることが見いだされた。
【発明の効果】
【０００９】
本発明の1つの特徴は、2つ以上の光源で露光してディジタル・カメラで取得された画像のホワイト・バランスを補正するための、計算効率のよい改善された自動化法が提供されることである。
【発明を実施するための最良の形態】
【００１０】
以下の説明では、通常はソフトウエア・プログラムとして実現されるであろう本発明の好ましい一実施態様について説明する。当業者であれば、このようなソフトウエアの等価物をハードウエアの中に構成できることも容易に理解できよう。画像を処理するアルゴリズムとシステムはよく知られているため、ここでは、特に、本発明のシステムと方法の一部を構成するアルゴリズムとシステム、または本発明のシステムと方法とより直接的に協働するアルゴリズムとシステムを説明することにする。このようなアルゴリズムとシステムの別の側面と、それに関係する画像信号の生成または処理のためのハードウエアおよび／またはソフトウエアは、この明細書に特に提示も説明もしていないが、従来技術で知られているシステム、アルゴリズム、部品、素子の中から選択することができる。以下に説明する本発明のシステムが与えられた場合に本発明の実現に役立つソフトウエアは、この明細書に特に提示も、示唆も、説明もしていないが、従来からある一般的なものであり、当業者の知識の範囲内である。
【００１１】
さらに、この明細書では、コンピュータ・プログラムは、コンピュータ可読記憶媒体の中に記憶させることができる。コンピュータ可読記憶媒体としては、例えば、磁気ディスク（ハード・ドライブやフロッピー（登録商標）・ディスクなど）や磁気テープなどの磁気記憶媒体；光学的記憶媒体（例えば光ディスク、光テープ、機械で読むことのできるバー・コード）；固体電子記憶装置（例えばランダム・アクセス・メモリ（RAM）、読み出し専用メモリ（ROM））；コンピュータ・プログラムの記憶に用いられる他の任意の物理的な装置または媒体などがある。
【００１２】
本発明を説明する前に、好ましいことによく知られた任意のコンピュータ・システム（例えばパーソナル・コンピュータ）で本発明を利用できることに注目すると、本発明の理解が容易になることに注意されたい。したがってこの明細書では、コンピュータ・システムについては詳細に説明しない。画像は（例えばディジタル・カメラによって）コンピュータ・システムに直接入力されるか、（例えばハロゲン化銀フィルムなどのオリジナルを走査することによって）ディジタル化した後にコンピュータ・システムに入力されることに注目することも有益である。
【００１３】
図1を参照すると、本発明を実現するためのコンピュータ・システム110が示してある。コンピュータ・システム110は好ましい一実施態様を説明するために示してあるが、本発明が図示したコンピュータ・システム110に限定されることはなく、ホーム・コンピュータ、キオスク、小売や卸の写真仕上げ店などに見られる電子式処理システムや、ディジタル画像を処理するための他の任意のシステムで使用できる。コンピュータ・システム110は、ソフトウエア・プログラムを収容していて、そのソフトウエア・プログラムによる処理を行なうとともに、他の処理機能も実行するマイクロプロセッサをベースとしたユニット112を備えている。ディスプレイ114がマイクロプロセッサをベースとしたユニット112に電気的に接続されていて、例えばグラフィカル・ユーザー・インターフェイスによってそのソフトウエアに関係したユーザー関連情報を表示する。キーボード116もマイクロプロセッサをベースとしたユニット112に接続されていて、ユーザーがソフトウエアに情報を入力することができる。従来技術でよく知られているように、入力にキーボード116を使用する代わりにマウス118を用いてディスプレイ114上のセレクタ120を移動させ、そのセレクタ120を重ね合わせたアイテムを選択することもできる。
【００１４】
コンパクト・ディスク-読み出し専用メモリ（CD-ROM）124（一般にその中にソフトウエア・プログラムが収容されている）をマイクロプロセッサをベースとしたユニット112に挿入し、そのソフトウエア・プログラムを入力する手段とそれ以外の情報とをマイクロプロセッサをベースとしたユニット112に供給する。さらに、フロッピー（登録商標）・ディスク126にソフトウエア・プログラムを収容することもでき、その場合にはフロッピー（登録商標）・ディスクをマイクロプロセッサをベースとしたユニット112に挿入してソフトウエア・プログラムを入力する。CD-ROM124またはフロッピー（登録商標）・ディスク126は、マイクロプロセッサをベースとしたユニット112に接続された外付けディスク・ドライブ・ユニット122に挿入することもできる。さらに、従来技術でよく知られているようにマイクロプロセッサをベースとしたユニット112にプログラムして内部にソフトウエア・プログラムを記憶させることもできる。マイクロプロセッサをベースとしたユニット112は、外部ネットワーク（例えばローカル・エリア・ネットワークやインターネット）へのネットワーク接続線127（例えば電話線）も備えることができる。プリンタ128をマイクロプロセッサをベースとしたユニット112に接続してコンピュータ・システム110からの出力のハードコピーをプリントすることもできる。
【００１５】
画像は、電子的な形態のディジタル化画像を収容しているパーソナル・コンピュータ・カード（PCカード）130（例えば以前から知られている（パーソナル・コンピュータ・メモリ・カード国際協会の仕様に基づく）PCMCIAカード）を通じてディスプレイ114に表示することもできる。PCカード130は最終的にマイクロプロセッサをベースとしたユニット112に挿入され、ディスプレイ114上に画像を表示することができる。あるいはPCカード130は、マイクロプロセッサをベースとしたユニット112に接続された外付けPCカード読み取り機132に挿入することもできる。画像は、CD-ROM124、またはフロッピー（登録商標）・ディスク126、またはネットワーク接続線127を通じて入力することもできる。PCカード130、フロッピー（登録商標）・ディスク126、CD-ROM124のいずれかに記憶されたあらゆる画像、またはネットワーク接続線127を通じて入力されるあらゆる画像は、さまざまな供給源（例えばディジタル・カメラ（図示せず）やスキャナー（図示せず））から取得しておくことができる。画像は、マイクロプロセッサをベースとしたユニット112に接続されたカメラ・ドッキング・ポート136を通じてディジタル・カメラ134から直接入力すること、または接続ケーブル138を通じてディジタル・カメラ134からマイクロプロセッサをベースとしたユニット112に直接入力すること、または無線接続140を通じてマイクロプロセッサをベースとしたユニット112に入力することもできる。
【００１６】
本発明によれば、アルゴリズムは、これまでに挙げた任意の記憶装置に記憶させて画像に適用し、画像のホワイト・バランスを補正することができる。
【００１７】
図2では、ディジタル・カメラ134が、情景300からオリジナルのフラッシュあり画像202とフラッシュなし画像200を原色空間に生成させる重要な機能を担っている。典型的な原色空間は、赤-緑-青（RGB）空間とシアン-マゼンタ-イエロー（CMY）空間である。
【００１８】
図3は、本発明の好ましい実施態様の高レベル・ダイヤグラムである。フラッシュあり画像202とフラッシュなし画像200が、差に基づく処理ステップ204を通じて処理される。その結果は新しい画像500である。
【００１９】
図4を参照すると、差に基づく処理ステップ204は、差計算ステップ230と、差マップ250と、ホワイト・バランス・ステップ400に分割されていることがわかる。
【００２０】
図5を参照すると、差計算ステップ230は、輝度計算ステップ210Aおよび210Bと、輝度引き算ステップ220に分割されていることがわかる。図6Aと図6Bは、輝度計算ステップ210Aと輝度計算ステップ210Bの利用法（または応用法）に関する詳細なダイヤグラムである。好ましい実施態様における輝度の計算式は、RGBフラッシュあり画像202とRGBフラッシュなし画像200に基づき、
L = 1000 log10(G + 1)
となる。ただしGは緑チャネルであり、Lは輝度チャネルである。当業者には、他の輝度計算法も利用できることが明らかであろう。
【００２１】
図7を参照すると、輝度計算ステップからの出力、すなわちフラッシュなし画像からの輝度チャネル214と、フラッシュあり画像からの輝度チャネル216とが、輝度引き算ステップ220に送られることがわかる。好ましい実施態様の計算式は、
L250 = L216 - L214
となる。ただし、L250は差マップ250の画素値であり、L214はフラッシュなし画像からの輝度チャネル214の画素値であり、L216はフラッシュあり画像からの輝度チャネル216の画素値である。輝度引き算ステップ220の結果は差マップ250である。
【００２２】
図8に、ホワイト・バランス・ステップ400を詳細に示してある。ホワイト・バランス・ステップ400は、差閾値ステップ260と、フラッシュ部分262と、補正因子計算ステップ270Aおよび270Bと、非フラッシュ部分264と、ホワイト・バランス補正適用ステップ280に分割されている。差閾値ステップ260は、差マップ250をフラッシュ部分262と非フラッシュ部分264に分ける。
【００２３】
図9Aと図9Bには、補正因子計算ステップ270Aと270Bの利用法の詳細が示してある。フラッシュあり画像202のフラッシュ部分262は補正因子計算ステップ270Aを通じて処理され、フラッシュ補正値272になる。フラッシュあり画像202の非フラッシュ部分264は補正因子計算ステップ270Bを通じて処理され、非フラッシュ補正値274になる。補正因子計算ステップ270Aと270Bの詳細は、以前にアメリカ合衆国特許第6,243,133号の中に記載されているのと同様のものが可能である。ここでは既存の他のホワイト・バランス・アルゴリズムも利用することができる。
【００２４】
好ましい実施態様に戻ると、図10に、ホワイト・バランス補正ステップ280の適用に関する詳細が示してある。フラッシュ補正値272と、非フラッシュ補正値274と、フラッシュあり画像202と、差マップ250が、ホワイト・バランス補正ステップ280を通じて処理される。その結果は、新しい画像500である。ホワイト・バランス補正ステップ280の詳細は、以前にアメリカ合衆国特許第6,243,133号の中に記載されているのと同様のものが可能である。ここでは既存の他のホワイト・バランス・アルゴリズムも利用することができる。
【００２５】
本発明の第2の実施態様は、あとで利用するメタデータとしてフラッシュあり画像202またはフラッシュなし画像200とともに記憶させる差マップ250の値に関する。
【００２６】
本発明の好ましい実施態様に開示したホワイト・バランス補正アルゴリズムは、ユーザーのさまざまな文脈と環境で利用することができる。文脈と環境の例として、卸ディジタル写真仕上げ操作（フィルム導入、ディジタル処理、プリント出力といった処理ステップまたは処理段階が含まれる）、小売ディジタル写真仕上げ操作（フィルム導入、ディジタル処理、プリント出力）、自宅でのプリント操作（自宅で走査したフィルムまたはディジタル画像、ディジタル処理、プリント出力）、デスクトップ・ソフトウエア（アルゴリズムをディジタル印刷に適用してそのディジタル印刷をよりよくしたり、変更しさえするソフトウエア）、ディジタル処理（媒体またはウェブ上のディジタル画像の取り込み、ディジタル処理、媒体またはウェブへのディジタル形態での画像出力、またはハード-コピー印刷）、キオスク（ディジタル入力または走査したものの入力、ディジタル処理、ディジタル出力または走査したものの出力）、携帯装置（例えば、処理ユニット、ディスプレイ・ユニット、処理の指示を与えるユニットとして使用できるPDAや携帯電話）、ワールド・ワイド・ウェブを通じて提供されるサービスなどがある。
【００２７】
それぞれの場合に、ホワイト・バランス・アルゴリズムは、単独で使用すること、またはより大きなシステム・ソリューションの要素にすることができる。さらに、アルゴリズムとのいろいろなインターフェイス（例えば走査または入力、ディジタル処理、ユーザーに対する表示（必要な場合）、ユーザーの要求または処理命令の入力（必要な場合）、出力）は、それぞれ、同じ装置および物理的位置にあっても、異なった装置および物理的位置にあってもよく、装置間および位置間の通信は、公的または私的なネットワーク接続線を通じて、またはメディアをベースとした通信を通じて行なうことができる。本発明に関する上記の開示内容と整合性が取れているのであれば、アルゴリズムそのものを完全に自動化すること、またはアルゴリズムそのものにユーザーが（完全に手作業で、または一部手作業で）入力すること、またはユーザーまたはオペレータが見て結果を受け入れる／拒絶すること、またはアルゴリズムそのものがメタデータからのアシストを受けること（メタデータは、ユーザーが供給すること、または（例えばカメラの中にある）測定装置が供給すること、または別のアルゴリズムによって決定することができる）ができる。さらに、アルゴリズムは、多彩なワークフロー・ユーザー・インターフェイス・スキームとのインターフェイスになることが可能である。
【００２８】
この明細書に開示した本発明によるホワイト・バランス・アルゴリズムは、さまざまなデータ検出法とデータ削減法（例えば顔検出、目検出、皮膚検出、フラッシュ検出）を利用した内部コンポーネントを備えることができる。
【００２９】
コンピュータ・プログラム製品は、1つ以上の記憶媒体を備えることができる。記憶媒体としては、例えば、磁気記憶媒体（磁気ディスク（フロッピー（登録商標）・ディスクなど）、磁気テープなど）；光学的記憶媒体（光ディスク、光テープ、機械で読むことのできるバー・コードなど）；固体電子記憶装置（ランダム・アクセス・メモリ（RAM）、読み出し専用メモリ（ROM）など）；本発明の方法を実施する1つ以上のコンピュータを制御するための命令を含むコンピュータ・プログラムの記憶に用いられる他の任意の物理的な装置または媒体などがある。
【図面の簡単な説明】
【００３０】
【図１】本発明を実現するための、ディジタル・カメラを備えたコンピュータ・システムの斜視図である。
【図２】ディジタル・カメラによって撮影されたフラッシュあり画像とフラッシュなし画像を示すブロック・ダイヤグラムである。
【図３】差に基づく処理に関するブロック・ダイヤグラムである。
【図４】図3のブロック204のより詳細なブロック・ダイヤグラムである。
【図５】差を計算するためのより詳細なブロック・ダイヤグラムである。
【図６Ａ】輝度チャネルを計算するためのブロック・ダイヤグラムである。
【図６Ｂ】輝度チャネルを計算するためのブロック・ダイヤグラムである。
【図７】輝度引き算プロセスのブロック・ダイヤグラムである。
【図８】フラッシュあり画像に対するホワイト・バランス処理に関するブロック・ダイヤグラムである。
【図９Ａ】補正因子の計算に関するブロック・ダイヤグラムである。
【図９Ｂ】補正因子の計算に関するブロック・ダイヤグラムである。
【図１０】ホワイト・バランス補正の適用に関するブロック・ダイヤグラムである。
【符号の説明】
【００３１】
110    コンピュータ・システム
112    マイクロプロセッサをベースとしたユニット
114    ディスプレイ
116    キーボード
118    マウス
120    ディスプレイ上のセレクタ
122    ディスク・ドライブ・ユニット
124    コンパクト・ディスク-読み出し専用メモリ（CD-ROM）
126    フロッピー（登録商標）・ディスク
127    ネットワーク接続線
128    プリンタ
130    パーソナル・コンピュータ・カード（PCカード）
132    PCカード読み取り機
134    ディジタル・カメラ
136    カメラ・ドッキング・ポート
138    接続ケーブル
140    ワイヤレス接続
200    フラッシュなし画像
202    フラッシュあり画像
204    差に基づく処理ステップ
210A    輝度計算ステップ
210B    輝度計算ステップ
214    フラッシュなし画像からの輝度チャネル
216    フラッシュあり画像からの輝度チャネル
220    輝度引き算ステップ
230    差計算ステップ
250    差マップ
260    差閾値ステップ
262    フラッシュ部分
264    非フラッシュ部分
270A    補正因子計算ステップ
270B    補正因子計算ステップ
272    フラッシュ補正値
274    非フラッシュ補正値
280    ホワイト・バランス補正適用ステップ
300    情景
400    ホワイト・バランス・ステップ
500    新しい画像
【図１】
2008527852.tif 000003
【図２】
2008527852.tif 000004
【図３】
2008527852.tif 000005
【図４】
2008527852.tif 000006
【図５】
2008527852.tif 000007
【図６Ａ】
2008527852.tif 000008
【図６Ｂ】
2008527852.tif 000009
【図７】
2008527852.tif 000010
【図８】
2008527852.tif 000011
【図９Ａ】
2008527852.tif 000012
【図９Ｂ】
2008527852.tif 000013
【図１０】
2008527852.tif 000014
【国際調査報告】
2008527852.tif 000015
2008527852.tif 000016