(57)【要約】【課題】  デジタルフラッシュ写真を改良するシステムおよび方法を提供する。【解決手段】  本発明は、目障りな見た目を生成することなく、フラッシュ写真のあらゆる利点をエンドユーザに与えることにより、低照明での撮像を大幅に改良する技術である。本発明は、フラッシュありで撮られた画像とフラッシュなしで撮られた画像の対を使用して、環境照明画像からノイズを除去し、フラッシュありの画像のディテールを使用して環境照明画像を鮮明にし、色を補正し、赤目を除去する。【選択図】  図１
2006067561.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像の生成を容易にするシステムであって、
被写体の複数のデジタル画像を受け取るコンポーネントであって、前記デジタル画像の少なくとも２つは、異なる照明成分を有するコンポーネントと、
前記受け取られた画像のサブセットを併合して前記被写体の新しい画像を生成する画像生成コンポーネントと
を備えることを特徴とするシステム。
【請求項２】
前記少なくとも２つのデジタル画像の１つは、フラッシュ照明で撮られることを特徴とする請求項１に記載のシステム。
【請求項３】
前記少なくとも２つのデジタル画像の１つは、別の画像のフラッシュ照明より強度が高いフラッシュ照明で撮られることを特徴とする請求項１に記載のシステム。
【請求項４】
前記複数の画像のサブセットは、所定の時間枠内に連続して撮られることを特徴とする請求項１に記載のシステム。
【請求項５】
請求項１に記載のシステムを備えることを特徴とするデジタルカメラ。
【請求項６】
前記デジタル画像の前記少なくとも２つを分析することにより、画像のアーチファクトを識別する比較コンポーネントをさらに備えることを特徴とする請求項１に記載のシステム。
【請求項７】
前記画像のアーチファクトは、赤目、影、およびノイズの少なくとも１つであることを特徴とする請求項６に記載のシステム。
【請求項８】
前記画像生成コンポーネントは、前記新しい画像を生成する際に１つの画像の高周波成分を別の画像の低周波成分と併合することを特徴とする請求項１に記載のシステム。
【請求項９】
前記周波数成分にコスト関数を適用して、異なる周波数成分を組み合わせることを緩和するコストコンポーネントをさらに備えることを特徴とする請求項８に記載のシステム。
【請求項１０】
双方向フィルタおよびジョイント双方向フィルタの少なくとも１つが用いられることを特徴とする請求項８に記載のシステム。
【請求項１１】
前記デジタル画像の少なくとも２つは、高速に連続して撮られるフラッシュありの画像とフラッシュなしの画像の対を備えることを特徴とする請求項１に記載のシステム。
【請求項１２】
前記デジタル画像の少なくとも１つの画像の色が連続的に補正されることを特徴とする請求項１に記載のシステム。
【請求項１３】
前記画像生成コンポーネントは、別の画像からのディテールを加えることにより１つの画像の質を高めることを特徴とする請求項１に記載のシステム。
【請求項１４】
請求項１に記載のシステムを備えることを特徴とする携帯型無線通信デバイス。
【請求項１５】
請求項１に記載のシステムを実施するコンピュータ実行可能命令が記憶されたことを特徴とするコンピュータ可読媒体。
【請求項１６】
デジタル画像の生成を容易にするシステムであって、
被写体の複数のデジタル画像を受け取るコンポーネントであって、前記複数のデジタル画像の少なくとも２つは、異なる空間周波成分を有するコンポーネントと、
前記受け取られた複数のデジタル画像のサブセットを併合して前記被写体の新しい画像を生成する画像生成コンポーネントと
を備えることを特徴とするシステム。
【請求項１７】
前記複数のデジタル画像の少なくとも２つは、高周波空間成分を含むフラッシュありの画像と、低周波空間成分を含むフラッシュなしの画像を含むことを特徴とする請求項１６に記載のシステム。
【請求項１８】
請求項１６に記載のシステムを用いることを特徴とするハンドヘルドコンピューティングデバイス。
【請求項１９】
デジタル画像の生成を容易にする方法を行うコンピュータ実行可能命令を有するコンピュータ可読媒体であって、前記方法は、
被写体のフラッシュありの画像とフラッシュなしの画像を受け取ることと、
前記フラッシュありの画像を使用して前記フラッシュなしの画像のノイズを除去することと、
前記フラッシュありの画像のディテールを前記フラッシュなしの画像に移動することと、
前記フラッシュありの画像と前記フラッシュなしの画像に基づく前記被写体の新しい画像を出力することと
を含むことを特徴とするコンピュータ可読媒体。
【請求項２０】
前記フラッシュあり画像のフラッシュの色を使用して前記フラッシュなしの画像のホワイトバランスを調整することにより、ホワイトバランス調整を行うことをさらに含むことを特徴とする請求項１９に記載のコンピュータ可読媒体。
【請求項２１】
前記フラッシュありの画像と前記フラッシュなしの画像の間で網膜の色を処理することにより、赤目の補正を行うことをさらに含むことを特徴とする請求項１９に記載のコンピュータ可読媒体。
【請求項２２】
フラッシュによる影と鏡面反射の領域を検出することをさらに含むことを特徴とする請求項１９に記載のコンピュータ可読媒体。
【請求項２３】
前記ノイズ除去の動作は、前記フラッシュありの画像を使用して高周波情報を推定する動作をさらに含むことを特徴とする請求項１９に記載のコンピュータ可読媒体。
【請求項２４】
前記移動の動作はさらに、
影の領域と鏡面反射の領域の少なくとも１つを検出する動作と、
前記領域を識別するマスクを生成する動作と
を含むことを特徴とする請求項１９に記載のコンピュータ可読媒体。
【請求項２５】
前記影に関連する閾値を対話式に調整することをさらに含むことを特徴とする請求項２４に記載のコンピュータ可読媒体。
【請求項２６】
デジタル画像の生成を容易にする方法であって、
被写体のフラッシュありの画像とフラッシュなしの画像を受け取ることと、
前記フラッシュありの画像を使用して前記フラッシュなしの画像のノイズを除去することと、
前記フラッシュありの画像と前記フラッシュなしの画像に基づく新しい画像を出力することと
を含むことを特徴とする方法。
【請求項２７】
前記フラッシュありの画像の高周波成分を前記フラッシュなしの画像の低周波成分と併合することをさらに含むことを特徴とする請求項２６に記載の方法。
【請求項２８】
異なる周波数成分を組み合わせることを阻止するコスト関数を適用することをさらに含むことを特徴とする請求項２６に記載の方法。
【請求項２９】
前記ノイズ除去の動作はさらに、
空間的に近くにあるピクセルと、同じような強度値を有するピクセルの少なくとも１つであるピクセルを平均する双方向フィルタを使用して前記フラッシュなしの画像にフィルタをかける動作と、
ジョイント双方向フィルタを使用して前記フラッシュありの画像の高周波成分を推定する動作と
を含むことを特徴とする請求項２６に記載の方法。
【請求項３０】
環境色照明を推定することによりホワイトバランス調整を行うことをさらに含むことを特徴とする請求項２６に記載の方法。
【請求項３１】
前記フラッシュなしの画像の複数のピクセルにおける前記推定される色照明を分析することをさらに含むことを特徴とする請求項３０に記載の方法。
【請求項３２】
比に従って前記フラッシュありの画像からディテール層を計算する動作と、
前記フラッシュありの画像の中の影と鏡面反射を検出する動作と
の少なくとも１つをさらに含むことを特徴とする請求項２６に記載の方法。
【請求項３３】
デジタル画像の生成を容易にする方法であって、
被写体のフラッシュありの画像とフラッシュなしの画像を受け取ることと、
前記フラッシュありの画像のディテールを前記フラッシュなしの画像に移動することと、
フラッシュありの画像と前記フラッシュなしの画像に基づく前記被写体の新しい画像を出力することと
を含むことを特徴とする方法。
【請求項３４】
前記受け取る動作は、前記フラッシュありの画像と前記フラッシュなしの画像を３０分の１秒内に連続して取得する動作を含むことを特徴とする請求項３３に記載の方法。
【請求項３５】
比に従って前記フラッシュありの画像のディテール層を計算することをさらに含み、比は、少なくとも１つのＲＧＢチャネルについて計算されることを特徴とする請求項３３に記載の方法。
【請求項３６】
前記比は、信号の大きさおよび信号の反射率に依存しないことを特徴とする請求項３５に記載の方法。
【請求項３７】
影の領域と鏡面反射の領域の少なくとも１つを識別するマスクを推定することをさらに含むことを特徴とする請求項３３に記載の方法。
【請求項３８】
前記影の領域のマスクと前記鏡面反射の領域のマスクを併合することにより、前記マスクを生成することをさらに含むことを特徴とする請求項３７に記載の方法。
【請求項３９】
移動されるディテールの量を、フィルタを使用して調整することをさらに含むことを特徴とする請求項３３に記載の方法。
【請求項４０】
デジタル画像の生成を容易にするシステムであって、
被写体のフラッシュありの画像とフラッシュなしの画像を受け取る手段と、
前記フラッシュなしの画像のノイズを除去する手段と、
前記フラッシュありの画像のディテールを前記フラッシュなしの画像に移動する手段と、
前記フラッシュありの画像を使用して前記フラッシュなしの画像のホワイトバランスを調整する手段と、
前記被写体が取り込まれた後にフラッシュの強度を調整する手段と、
アーチファクトを補正する手段と、
前記フラッシュありの画像と前記フラッシュなしの画像に基づく新しい画像を出力する手段と
を備えることを特徴とするシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル写真技術に関し、より具体的には、デジタルフラッシュ写真の品質を改良する機構に関する。
【背景技術】
【０００２】
写真技術の重要な目標の１つは、実際の環境の視覚的な豊かさを捉え、再現することである。照明は、この視覚的な豊かさに不可欠な側面であり、多くの場合写真の雰囲気を決める。低照明の状況では、しばしば、ごく微妙なニュアンスが見られる。例えば、ろうそくで照らされた飲食店の薄暗いオレンジ色の色合いは、親しみやすい雰囲気を引き起こすのに対し、月の光の淡い青色は、冷やかさのある神秘的な雰囲気を引き起こすことができる。
【０００３】
そのような低照明環境で自然の環境照明(ambient illumination)を捉える時、カメラマンは、ジレンマに直面する。選択肢の１つは、カメラが目に見える像を生成するのに十分な光を集めることができるように、長い露出時間を設定するものである。しかし、そのような長い露出の間にカメラが揺れる、あるいは場面(scene)が動くと、動きによるブレが生じる。別の選択肢は、より多くの光を取り込むために絞りを開けることである。しかし、この方法では、被写界深度が短くなり、レンズのサイズによる制約がある。３番目の選択肢は、ＩＳＯの設定でコントロールされるカメラのゲインを上げるものである。しかし、露出時間が短いと、カメラは、各ピクセルの色を正確に推測するのに十分な光を取り込むことができず、そのため、可視像のノイズが著しく増す。
【０００４】
フラッシュ写真は、このような問題を回避するために考案された。フラッシュ機能を備えるカメラは、場面中の手前にある被写体に人工的な光を加えることにより、より短い露出時間、小さい絞り、より少ないセンサゲインを使用することができ、それでも、比較的鮮明で、ノイズのない像を生成するのに十分な光を取り込むことができる。より明るい画像は、より高い信号対雑音比を有し、したがって、環境照明で獲得される画像ではノイズに隠れてしまうディテールを分解することができる。さらに、フラッシュは、鋭い点光源で表面に光を当てることにより、表面のディテールを強化することができる。そして、ホワイトバランスが調整された画像を望む場合は、既知のフラッシュの色により、ホワイトバランス調整の作業が大幅に平易になる。
【０００５】
【特許文献１】米国特許第６，０１８，３４９号
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、カメラマンには理解されるように、フラッシュの使用は、環境の照明特性に対してマイナスの影響も有する場合がある。カメラに近い被写体が不釣合いに明るくなり、環境照明によって生じる雰囲気が失われる可能性がある。加えて、フラッシュは、赤目、強い影、鏡面反射(specularity)などの望ましくないアーチファクト(artifact)を招く可能性があり、これらはいずれも自然の場面の一部ではない。こうした欠点にも関わらず、多くのアマチュアカメラマンは、低照明環境でフラッシュを使用し、その結果そうしたスナップ写真は、その場面の実際の環境照明を再現することはめったにない。
【課題を解決するための手段】
【０００７】
以下に、本発明の一部の態様の基本的な理解を提供するために、本発明の簡略化した要約を提供する。この要約は、本発明の広範にわたる概要ではない。この要約は、本発明の主要／不可欠な要素を特定するものでも、本発明の範囲を詳細に述べるものでもない。その唯一の目的は、後に述べるより詳細な説明への前置きとして、簡略化した形態で本発明のいくつかの概念を述べることである。
【０００８】
ここに開示され、特許請求される本発明は、その一態様で、デジタルフラッシュ写真を改良するシステムおよび方法を備える。フラッシュ写真は、一般に見た目がよくない。本発明は、目障りな見た目を生成することなく、フラッシュ写真のあらゆる利点をエンドユーザに与えることにより低照明の撮像(imaging)を大幅に改良する技術を提供することにより、従来技術の不利点と欠点の多くを克服する。実際の動作で、本発明は、フラッシュありで撮られた画像と、フラッシュなしで撮られた環境照明画像(ambient image)の対を使用して、環境照明画像からノイズを取り除き、フラッシュ画像のディテールを使用して環境照明画像を鮮明にし、色を補正し、赤目を除去する。
【０００９】
本発明の一態様で、本発明は、フラッシュありの画像(flash image)の良好な信号特性を使用して、環境照明画像のノイズ除去を推進する。
【００１０】
本発明の別の態様で、本発明は、フラッシュで露出された色は、フラッシュなしの画像(non-flash image)の環境照明をより正確に推定することが分かっている事実を使用して、より自然に見える環境照明画像を作成する。
【００１１】
さらに別の態様では、そのようなフラッシュあり／フラッシュなしの画像の対の長所を分析し、組み合わせる各種のアプリケーションが提供される。これらのアプリケーションには、ノイズ除去およびディテールの移動(detail transfer)（フラッシュなしの画像の環境的な特性をフラッシュありの高周波のディテールと併合する）、ホワイトバランスの調整（環境照明画像の色調を変える）、連続的なフラッシュ（フラッシュの強度を対話式に調整する）、および、赤目の除去（フラッシュありの画像のアーチファクトを修復する）が含まれる。
【００１２】
本発明のさらに別の態様では、現在の一般消費者向けデジタルカメラで比較的容易な、フラッシュあり／フラッシュなしの画像の対の手動での取得が提供される。
【００１３】
前述の目的およびそれに関連する目的を達成するために、本発明の特定の例示的態様は、以下の説明と添付図面との関連で説明する。しかし、これらの態様は、本発明の原理を用いることができる各種の方式のいくつかにすぎず、本発明は、そのような態様とその均等物すべてを包含するものとする。本発明の他の利点と新規の特徴は、図面と併せて以下の本発明の詳細な説明を検討することから明らかになろう。
【発明を実施するための最良の形態】
【００１４】
次いで、図面を参照して本発明を説明するが、すべての図面を通じて同様の要素は同様の参照符号を使用して参照する。以下の説明では、説明の目的で、本発明の完全な理解を提供するために多数の具体的な詳細を述べる。しかし、本発明は、それらの具体的な詳細なしで実施できることは明らかであろう。他の事例では、本発明の説明を助けるために、よく知られる構造およびデバイスは、ブロック図の形態で示す。
【００１５】
本願で使用される場合、用語「コンポーネント」および「システム」は、ハードウェア、ハードウェアとソフトウェアの組み合わせ、ソフトウェア、または実行中のソフトウェアを問わず、コンピュータに関連するエンティティを指すものとする。例えば、コンポーネントは、これらに限定しないが、プロセッサで実行されるプロセス、プロセッサ、オブジェクト、実行ファイル、実行のスレッド、プログラム、および／またはコンピュータである。例示として、サーバで実行されるアプリケーションとサーバの両方がコンポーネントとなることができる。プロセスおよび／または実行のスレッドには１つまたは複数のコンポーネントが存在することができ、コンポーネントは、１つのコンピュータに局所化しても、かつ／または２つ以上のコンピュータに分散してもよい。
【００１６】
本発明は、目障りな見た目を生じることなく、フラッシュ写真のあらゆる利点をエンドユーザに与えることにより低照明での撮像を大幅に改良する技術を提供することにより、従来技術の不利点および欠点の多くを克服する。実施の際、本発明は、フラッシュを用いて撮影した画像と、フラッシュなしで撮影した画像（「環境照明」画像）の画像の対を使用して、環境照明画像からノイズを取り除き、フラッシュありの画像のディテールを使用して環境照明画像を鮮明にし、色を補正し、赤目を取り除く。一実施形態では、本発明は、フラッシュありの画像のより良好な信号対雑音特性を使用して、環境照明（すなわちフラッシュなし）画像のノイズ除去を推進する。第２の実施形態で、本発明は、フラッシュで露出された色は、フラッシュなしの画像の環境照明をより正確に推定することが分かっている事実を利用して、より自然に見える環境照明画像を作成する。
【００１７】
次いで図１を参照すると、本発明による、フラッシュあり／フラッシュなしの画像の対を使用してデジタル画像の生成を容易にするシステム１００が示される。システム１００は、生成された被写体１０６の複数のデジタル画像１０４（入力画像1、入力画像2、．．．，入力画像Nと表す）を受け取る入力コンポーネント１０２を含む。デジタル画像１０４の少なくとも２つは、異なる照明成分を有する。画像生成コンポーネント１０８は、入力画像１０４のサブセットを併合して被写体１０６の新しい画像１１０を生成する。画像生成コンポーネント１０８は、新しい画像１１０を生成する際に１つの入力画像の高周波成分を別の入力画像の低周波成分と併合し、それにより別の画像のディテールを加えることにより１つの画像の画質を向上させる。
【００１８】
新しい画像１１０は、入力画像１０４の少なくとも２つを使用して生成され、１つの画像はフラッシュ照明を用いて撮られ、第２の画像はフラッシュ照明なしで撮られる。そのような画像は、システム１００を用いるデジタルカメラまたはビデオカメラ（カムコーダとも称される）を使用して撮影することができる。
【００１９】
システム１００は、入力画像１０４の少なくとも２つを分析することによって画像のアーチファクトを識別する比較コンポーネント１１２も用いる。そのようなアーチファクトには、赤目の発色、影、およびノイズが含まれる。コストコンポーネント１１４は、コスト関数を周波数成分に適用して、異なる周波数成分を組み合わせることを緩和する。コストコンポーネント１１４は、初めにフラッシュあり／フラッシュなしの画像をそれぞれの低域成分と高域成分に分けるアルゴリズムの一部である。最終的に、画像は、ブレンディングマスクとして表されるコスト関数を使用して組み合わせられる。
【００２０】
次いで図２を参照すると、本発明による新しい画像を生成する一方法論のフローチャートが示される。説明を簡略にするために、ここで例えばフローチャートの形で示す１つまたは複数の方法論は、連続した動作として図示し、説明するが、一部の動作は、本発明により、ここに図示し、説明する順序と異なる順序で、かつ／または他の動作と並行して行ってよいので、本発明は、動作の順序によって限定されないことを理解されたい。例えば、当業者は、方法論は、これに代えて、状態図などのように相互に関連する状態またはイベントの連続として表してもよいことを理解されよう。さらに、本発明による方法論を実施するために図示されるすべての動作が必須とは限らない。
【００２１】
現在では、デジタル写真技術により、ディテールを捉えるフラッシュありの画像（「フラッシュあり」）と、環境照明を捉えるフラッシュなしの画像（「フラッシュなし」）の、低照明環境の画像の対を高速、容易に、そして経済的に撮ることができる。２００で、被写体または場面のフラッシュあり／フラッシュなしの画像が撮られる。２０２で、環境照明画像のノイズ除去が行われる。比較的ノイズの少ないフラッシュありの画像を使用して、フラッシュなしの画像のノイズを低減する。環境照明画像の自然照明を維持することにより、実際の場面により近い、新しい（出力）画像が作成される。２０４、フラッシュありの画像から環境照明画像にディテールが移される。高周波のディテールは元の環境照明画像に存在しない可能性があるので、高周波のディテールが、フラッシュありの像から、ノイズが除去された環境照明画像に移される。２０６で、ホワイトバランスの調整が行われる。ユーザは、環境照明画像の「雰囲気」を保ちながら、より白い光源をシミュレートすることを望む可能性がある。従来の単一画像のヒューリスティックに依拠するのではなく、既知のフラッシュの色を利用して環境照明画像のホワイトバランスを調整する。２０８で、任意で、連続的なフラッシュ強度の調整が提供されることができる。画像の対の間に連続的な補間制御が提供されて、ユーザはフラッシュの強度を対話式に調整することができる。ユーザは、元の環境照明画像とフラッシュありの画像を超えて外挿することさえできる。２１０で、赤目の補正が行われる。赤目の検出は、環境照明画像とフラッシュありの画像とで瞳孔の色がどのように変化するかを考慮することによって行われる。次いでプロセスは終了ブロックに達する。このように、本発明は、フラッシュあり／フラッシュなしの画像の対の情報を利用して従来の技術を改良する。
【００２２】
本発明の特徴の１つは、フラッシュあり／フラッシュなしの像を手作業で取得することであるが、これは現在の消費者向けデジタルカメラで比較的容易に行うことができる。その取得を支援するために、そのような対を捉える能力をカメラのファームウェアに入れることができ、それにより取得のプロセスをさらに容易かつ高速にすることができる。
【００２３】
（カメラノイズについての背景知識）
ここに開示されるいくつかのアルゴリズムの背後にある洞察は、フラッシュからの照明は場面の外観を変化させうるが、同時に、フラッシュありの画像の信号対雑音比（ＳＮＲ）を向上させ、高周波ディテールのより正確な推定を提供するというものである。デジタルセンサは、フラッシュありの画像と環境照明画像にほぼ同じ対数パワースペクトル(log power spectrum)を生成する。ある従来のＣＣＤ（電荷結合素子）カメラの能力によると、より明るい画像の信号は、より暗い信号よりも多くのノイズを含む。しかし、信号電力の絶対利得は、ノイズの増大よりも不釣合いに大きい。したがって、より明るい画像のＳＮＲの方が良好になる。フラッシュは場面を均等に照明しないが、場面の明るさ（特にカメラの近くにある被写体の明るさ）を著しく増し、したがってフラッシュありの画像は、環境照明画像より良好なＳＮＲを示す。デジタルセンサに関して、ノイズは、ＩＳＯ（国際標準化機構のフィルム感度基準）が低いフラッシュありの画像と比べて、ＩＳＯが高い環境照明画像でより低い周波数の信号に影響を与える。
【００２４】
フラッシュありの画像のＳＮＲの向上は、特により高い周波数で顕著である。適正に露出された画像の対は、撮像システム（例えば絞り、シャッター／フラッシュの継続時間、カメラのゲインなどを含むことができる）を通過した後に似たような強度を有する。したがって、対数パワースペクトルは、ほぼ同じになる。しかし、ゲインがノイズを増幅するので、高ＩＳＯの環境照明画像のノイズは、低ＩＳＯのフラッシュありの画像より多くなる。大半の自然像のパワースペクトルは、高周波で低下し、一方、カメラノイズのパワースペクトルは一定のままなので（白色雑音を想定すると）、ノイズは、フラッシュありの画像より環境照明画像ではるかに低い周波数の信号に影響を与える。
【００２５】
（取得）
次いで図３を参照すると、本発明による取得の一方法論のフローチャートが示される。ここに開示されるアルゴリズムは、一般消費者向けのデジタルカメラを使用して取得される画像で機能するように設計される。取得手順の目標の１つは、フラッシュあり／フラッシュなしの画像の対が、場面中の正確に同じ点を捉えるようにすることである。カメラの焦点と被写体深度が一定に保たれるように、２つの像で焦点距離と絞りが固定される。取得手順の一実施例は、以下の通りである。３００で被写体に焦点が合わせられる。３０２で、焦点距離と絞りが固定される。３０４で、良好な露出になるように露出時間ｔとＩＳＯが設定される。３０６で、環境照明画像Ａが取り込まれる。３０８で、フラッシュがオンにされる。３１０で、露出時間ｔとＩＳＯが、画像をなお良好に露出する最小の設定に調整される。３１２で、フラッシュありの画像Ｆが撮られる。そしてプロセスは終了ブロックに達する。
【００２６】
手持ちカメラ操作のための一実施例では、１つの画像の露出時間は、動きによるブレを防止するために３０ｍｍレンズで３０分の１秒以下に設定される。別の実施例では、両方の画像の露出時間は、６０分の１秒またはそれ以下に設定され、理想的な状況では、手持ちカメラを操作する場合の３０分の１秒の限界内に両方の画像を続けて撮影できるようにする。フラッシュモードとフラッシュなしモードをすばやく切り替えることは、現在、一般消費者向けのカメラでは可能でないが、この機能はいずれはカメラファームウェアに含められるものと認識され、本発明の一部として企図される。
【００２７】
画像はすべて、ＲＡＷデジタルフォーマットで取得することができる。そして、画像は、可逆の１６ビットのＴＩＦＦ画像、または不可逆のＪＰＥＧ画像に変換されることができる。デフォルトで、従来のカメラの一部は、ホワイトバランス調整、ガンマ補正、および他の非線形のトーンマッピング操作を行って全体的なコントラストが良好な知覚的に好ましい画像を生成する変換ソフトウェアを含んでいる。ここに開示されるアルゴリズムの１つまたは複数は、最終的な出力画像に高品質のトーンマッピング特性を保持するために、そうした非線形画像に適用される。
【００２８】
画像の位置合わせ(registration)は、三脚などの従来の機械的手段を使用して実現できることは理解されよう。カメラ設定を変える（フラッシュをオンにする、ＩＳＯを変えるなど）と、しばしばカメラが動いてしまうので、位置合わせは、手持ちカメラで撮られる画像に重要である。三脚なしで撮影された写真も本発明から利益を得ることができる。手持ちカメラで撮られる画像の位置合わせは、アルゴリズムで行うことができる。そのようなアルゴリズムは、２０００年１月２５日に発行された、R. SzeliskiおよびH. Shumによる米国特許「Patch-Based Alignment Method and Apparatus for Construction of Image Mosaics」で得ることができる（特許文献１参照）。
【００２９】
ここに開示されるアルゴリズムの一部は、画像の差分Ｆ−Ａを分析して、場面照明へのフラッシュの寄与を推測する。この計算を有意にするには、画像が同じ線形空間になければならない。したがって、変換ソフトウェアは、ＲＡＷデータから線形のＴＩＦＦ画像を生成するように設定することができる。さらに、ＩＳＯの設定と露出時間ｔに起因する２つの画像の露出の違いの補償を行うことができる。ＡLinおよびＦLinをコンバータユーティリティによって出力される線形画像として定義すると、それらは、次を計算することにより、同じ空間に置かれることができる。
【００３０】
【数１】
2006067561.tif 000003
【００３１】
上付き文字Ｌｉｎが含まれない場合、ＦおよびＡは、非線形バージョンの画像を指すことに留意されたい。
【００３２】
（ノイズ除去およびディテールの移動）
ノイズの除去とディテールの移動のアルゴリズムは、フラッシュありの画像からの情報を使用して環境照明画像の質を高めるように設計される。両方のアルゴリズムは、フラッシュありの画像が、環境照明画像の高周波内容を局所的に正確に推定することを前提とする。しかし、この前提は、フラッシュで生じた影と鏡面反射の領域には当てはまらず、アーチファクトにつながる可能性がある。アーチファクトの処理について以下でより詳細に説明する。
【００３３】
写真画像のノイズを減らすことは、画像処理とコンピュータビジョンにおける長年にわたる問題である。従来の解決法には、異方性拡散や双方向フィルタリング(bilateral filtering)など、輪郭を維持する平滑フィルタを画像に適用するものがある。双方向フィルタは、高速で非反復的な手法であり、トーンマッピング、質感からの照明の分離、およびメッシュ平滑化を含む、画像のノイズ除去以外の様々な問題に適用されてきた。
【００３４】
ここに開示される環境照明画像のノイズ除去手法も双方向フィルタ(bilateral filter)に基づく。
【００３５】
次いで図４を参照すると、本発明によるノイズ除去の一方法論のフローチャートが示される。４００で、双方向フィルタを用いて、フラッシュなし画像Ａの各ピクセルｐの値を計算することにより、同じような強度値を有する、空間的に近いピクセルを平均する。双方向フィルタは、従来のローパスフィルタを、ピクセル間の強度の差が大きい場合にフィルタカーネルの重みを減じるｅｄｇｅ  ｓｔｏｐｐｉｎｇ関数と組み合わせる。背景技術で触れたように、双方向フィルタは、次のように環境照明画像Ａのピクセルｐの値を計算する。
【００３６】
【数２】
2006067561.tif 000004
【００３７】
ｋ（ｐ）は、正規化の項である。
【００３８】
【数３】
2006067561.tif 000005
【００３９】
関数ｇdは、ピクセル間の距離に基づいて空間領域の重みを設定し、一方、ｅｄｇｅ  ｓｔｏｐｐｉｎｇ関数ｇrは、強度の差に基づいて値域に対する重みを設定する。通例、両方の関数は、それぞれ標準偏差パラメータδdとδrによってコントロールされる幅を持つガウス関数である。
【００４０】
４０２で、３つのチャネルすべてに同じ標準偏差パラメータで、ＲＧＢ色チャネルそれぞれに双方向フィルタが別個に適用される。課題は、ノイズが平均されて除去されてもディテールが保たれるように、δdとδrを設定することである。実際には、６メガピクセルの画像の場合、δdは、２４ピクセルから４８ピクセルのピクセル近傍を包含するように設定され、そして、ノイズを平滑化するために必要な閾値の少し上になるようにδrを実験的に調整する。ピクセル値が［０．０，１．０］に正規化された画像については、δrは、０．０５〜０．１、すなわち全範囲の５％〜１０％になるように設定される。しかし、下の図７ｂに示すように、パラメータを入念に調整した後でも、基本双方向フィルタは、画像の一部の領域を過度にぼかす（ディテールが失われる）、またはぼかしが不十分（ノイズ除去できない）になる傾向がある。
【００４１】
上記で、フラッシュありの画像は、環境照明画像よりも、真の高周波情報のはるかに正確な推定を含むと述べた。この知見に基づき、Ａの代わりにフラッシュありの画像Ｆを使用してｅｄｇｅ  ｓｔｏｐｐｉｎｇ関数ｇrを計算するように基本双方向フィルタに変更を加える。この技術をジョイント双方向フィルタ(joint bilateral filter)と称する。４０４で、ジョイント双方向フィルタを用いて、次のようにフラッシュあり画像Ｆの各ピクセルｐの値を計算することにより、同じような強度値を持つ、空間的に近くにあるピクセルを平均する。
【００４２】
【数４】
2006067561.tif 000006
【００４３】
ｋ（ｐ）も同じように変更される。ＡNRは、Ａのノイズを減らしたバージョンである。δdは、上記で述べた基本双方向フィルタと同様に設定される。Ｆにほとんどノイズがないという前提で、δrは非常に小さく設定することができ、それでもなお、ｅｄｇｅ  ｓｔｏｐｐｉｎｇ関数ｇr（Ｆp−Ｆp'）が、近くにあるピクセルに適正な重みを選択し、環境照明画像を過度にぼかす、またはぼかしが不十分にならないことを保証することができる。実際には、δrは、色値の全範囲の０．１％に設定することができる。基本双方向フィルタリングと異なり、δrは、すべての画像について固定される。
【００４４】
ジョイント双方向フィルタは、環境照明画像を推定するものとして、フラッシュありの画像に依拠する。そのため、フラッシュによって生じる影と鏡面反射はフラッシュありの画像にのみ現れるので、ジョイント双方向フィルタは、フラッシュによる影と鏡面反射には機能しない。そのような領域の境界では、ジョイント双方向フィルタは、フィルタがそうした境界をまたいでいるピクセルの重みを減らす（ｄｏｗｎ−ｗｅｉｇｈｔ）ので、環境照明画像のぼかしが不十分になる可能性がある。同様に、そうした領域の内側では、ジョイント双方向フィルタは、環境照明画像を過度にぼかす可能性がある。４０６でまずフラッシュによる影と鏡面反射のある領域を検出し、４０８に示すように、それらの領域の中では基本双方向フィルタリングに戻ることにより、この問題が解決される。そしてプロセスは終了ブロックに達する。
【００４５】
本発明の検出アルゴリズムで生成されるマスクＭを仮定すると、本発明の改良されたノイズ除去アルゴリズムは次のようになる。
【００４６】
ＡNR'＝（１−Ｍ）ＡNR＋ＭＡBASE
ジョイント双方向フィルタでノイズを除去(denoise)した結果を図７ｃに示す。図７ｄの基本双方向フィルタとの差分画像は、ジョイント双方向フィルタの方が、ノイズを減らしながらディテールを保てることを示している。双方向フィルタリングとジョイント双方向フィルタリングはともに非線形なので、単純な実施例では、空間領域での畳み込みを行うことが必要となる。これは、δdが大きい場合には非常に時間がかかる場合がある。ノイズ除去アルゴリズムを速める従来の実施例の１つは、フーリエ技術を使用する。この技術は、ジョイント双方向フィルタにも適用することができ、ここに開示されるノイズ除去アルゴリズムを大幅に高速化することができる。
【００４７】
次いで図５を参照すると、本発明によるディテール移動の一方法論のフローチャートが示される。ジョイント双方向フィルタは、ノイズを減らすことはできるが、フラッシュありの画像に存在する可能性のあるディテールを加えることができない。しかし、上記のように、フラッシュあり画像のＳＮＲが高いと、環境照明画像のノイズに消されてしまうニュアンスをフラッシュありの画像に保つことができる。さらに、フラッシュは通例、より均一な環境照明では目に見えない追加的な表面のディテールを明らかにすることができる、強い方向性の照明を提供する。フラッシュは、環境照明画像では影の領域にあるディテールを照明する場合もある。このディテールを移すために、５００で、次の比としてフラッシュありの画像からディテール層が計算される。
【００４８】
【数５】
2006067561.tif 000007
【００４９】
ＦBaseは、Ｆに基本双方向フィルタを使用して計算される。この比は、５０２に示すように、各ＲＧＢチャネルで別個に計算され、信号の大きさと表面の反射率に依存しない。この比は、Ｆの局所的なディテールのむらを捉え、通例、コンピュータビジョンでは商画像または比画像と呼ばれる。従来のローパスガウスフィルタでなく双方向フィルタを使用してＦBaseを計算することの利点は、ハロー（ｈａｌｏｉｎｇ）を軽減することである。ガウスローパスフィルタは、すべての輪郭にまたがってぼかし、したがってディテール画像に強い山と谷を作り出してそれがハローを生じさせる。双方向フィルタは、強い輪郭を平滑化せず、それによりハローを低減し、同時にディテールを捉える。
【００５０】
低い信号値では、フラッシュありの画像は、偽のディテールを生成する可能性のあるノイズを含む。５０４で、アルゴリズムは、比の分子と分母の両方に値εを加えて低い信号値を拒絶することによって低い信号値を補償し、それによりそのようなアーチファクトを軽減する（またゼロによる除算を回避する）。実際には、すべての結果にε＝０．０２が使用される。ディテールを移すためにノイズを減らした環境照明画像ＡNRに比ＦDetailが乗算される。図７ｅおよび図７ｆに、ディテール層とディテールの移動の例を示す。
【００５１】
ジョイント双方向フィルタリングと同様に、移動のアルゴリズムは、フラッシュによって生じた影と鏡面反射の領域では、不正確なディテールの推定を生成する可能性がある。したがって、５０６で、検出アルゴリズムを適用して、それらの領域を識別するマスクＭを推定し、最終的な画像を次のように計算する。 
ＡFinal＝（ｌ−Ｍ）ＡNRＦDetail＋ＭＡBase
【００５２】
このディテール移動方式では、ＦBaseを作成するために使用される双方向フィルタのパラメータδdおよびδrに適切な設定を選択することにより、移されるディテールの量を調整することができる。フィルタの幅が増すに従って、次第により平滑なＦBaseバージョンが生成されるようになり、その結果、ＦDetailにより多くのディテールを取り込む。しかし、過度に平滑化すると、双方向フィルタは基本的にガウスフィルタになり、最終的な画像にハローのアーチファクトを生じさせる。
【００５３】
場面に応じて、極大レベルのノイズには、ジョイント双方向フィルタの領域カーネルと値域カーネルの両方に比較的広いガウスを使用することが必要となる場合がある。したがって、フラッシュありの画像から真のディテールを戻す時には、ディテール層を計算する際に比較的広いガウスが使用された。その結果、図９ｂに示す瓶の輪郭の周囲に小さなハローを見てとることができる。それでも、ここに開示されるアーキテクチャは、ディテールを保ちながらノイズを平滑化してなくすことができる。
【００５４】
大半の事例では、ディテール移動のアルゴリズムは、環境照明画像の外観を改善する。しかし、フラッシュありの画像は、環境照明画像に移した時に不自然に見えるディテールを含んでいる場合があることに注意することが重要である。例えば、フラッシュの光が浅い角度で表面に当たる場合、フラッシュありの画像は、表面の質感（木目や化粧しっくいなど）をディテールとして拾う可能性がある。その質感が元の環境照明画像に見えない場合には、環境照明画像が奇妙に見える可能性がある。同様に、フラッシュありの画像がディテールをかき消している場合は、環境照明画像が過度にぼける可能性がある。ここに開示されるアルゴリズムは、ユーザが、画像全体でどれだけのディテールが移されるかを調整できるようにする。別の実施例では、移される局所的なディテールの量が自動的に調整される。
【００５５】
次いで図６を参照すると、本発明による、フラッシュなし画像６０６とフラッシュありの画像６０８に働くノイズ除去アルゴリズム６００、ディテール移動アルゴリズム６０２、フラッシュアーチファクト検出アルゴリズム６０４の概要が示される。環境照明（フラッシュなし）画像６０６は、第１の双方向フィルタ６１０とジョイント双方向フィルタ６１２の両方を使用して処理され、各フィルタの出力は、ＡBASEとＡNRである。ジョイント双方向フィルタ６１２への別の入力は、フラッシュありの画像６０８である。ジョイント双方向フィルタ６１２は、これらの入力を受け取り、積プロセス６１４にＡＮＲ値を出力する。
【００５６】
ディテール移動アルゴリズム６０２は、第２の双方向フィルタ６１６への入力としてフラッシュあり画像６０８を使用し、第２の双方向フィルタの出力はＦBASEである。除算プロセス６１８は、入力としてＦBASE値とフラッシュありの画像６０８を受け取り、積プロセス６１４にＡDETAIL値を出力する。
【００５７】
フラッシュありの画像６０８がフラッシュなしの画像６０６とインタフェースをとるので、アーチファクト検出アルゴリズム６０４は、フラッシュありの画像６０８から入力としてＦLINとＡLINを受け取る影および鏡面反射検出アルゴリズム６２０を含む。影および鏡面反射検出アルゴリズムの出力は、マスクＭである。
【００５８】
マスクＭ、ＡBASE、およびＡNRとＡDETAILの積が組み合わさって最終的な画像ＡFINALを形成する。
【００５９】
次いで図７ａ〜ｆを参照すると、本発明によるフラッシュあり／フラッシュなしの画像から生成されるプロセスショットを示す。図７ａは、ベルギー製タペストリーのフラッシュありの画像７００とフラッシュなしの画像７０２のクローズアップである。フラッシュなしの画像７０２は、特に暗い領域にノイズがあり、フラッシュありの画像７００のように糸を示さない。図７ｂは、強い輪郭を維持するように基本双方向フィルタリングを介してノイズを除去した画像を示すが、ほとんどの糸がぼけて消えている。図７ｃは、ジョイント双方向フィルタリングを使用してノイズを除去した画像を示す。ジョイント双方向フィルタリングは、ノイズを平滑化し、同時に基本双方向フィルタより多くの糸のディテールを保つ。図７ｄは、基本双方向フィルタリングした画像とジョイント双方向フィルタリングした画像の差分画像を示す。図７ｅは、生成されたディテール層を示す。環境照明画像は、フラッシュありの画像からディテールを移すことによってさらに質が高められる。ディテール層は、初めフラッシュありの画像から計算され、そして、図７ｆに示すように、ジョイント双方向フィルタを介してノイズ除去された画像と組み合わされて、ディテールが移された画像を生成する。図７ｄの基本双方向フィルタとの差分画像は、ジョイント双方向フィルタの方がノイズを減らしながらディテールを維持できることを示している。
【００６０】
次いで図８ａ〜ｅを参照すると、本発明による、ディテールの移動とノイズ除去を用いて元の温かみのある外観を維持する別の例のショットが示される。図８ａに、干草で作られた古いヨーロッパ製ランプのフラッシュありの画像とフラッシュなしの画像が提供される。フラッシュありの画像は、ディテールを捉えているが、灰色で平坦である。フラッシュなしの画像は、ランプの温かみのある照明を捉えているが、ノイズがあり、干草の細かいディテールが欠けている。図８ｂに、最終的な結果を調べる画像の小さな部分を示す。図８ｃは、その部分のフラッシュありのバージョンを示す。図８ｄは、その部分のフラッシュなしのバージョンを示す。図８ｅは、温かみのある外観と鮮明なディテールを保っている、ノイズの除去と併せたディテールの移動を示す。
【００６１】
次いで図９ａ〜ｃを参照すると、図８のディテールの移動とノイズ除去に対する長露出の参考のショットが示される。図９ａは、フラッシュなしの画像を示す。図９ｂは、ノイズの除去とディテールの移動を示す。図９ｃは、図９ｂのノイズの除去と併せたディテールの移動の結果と比較するためにとらえた、ワインの貯蔵室の場面の長露出画像（ＩＳＯ１００で３．２秒）を示す。目で比較すると、ディテール移動の結果は参考画像の忠実度を達成していないが、元のフラッシュなしの画像に比べて大幅にノイズが少ないことが分かる。
【００６２】
（フラッシュによる影と鏡面反射の検出）
フラッシュからの光は、フラッシュを用いた画像に影と鏡面反射を生じさせる可能性がある。フラッシュによる影の中では、画像は、環境照明画像と同じくらい暗くなり、したがってノイズが生じる可能性がある。同様に、鏡面反射の中では、フラッシュありの画像は、飽和し、ディテールを失う場合がある。さらに、これらの両領域の境界線は、環境照明画像には存在しない高周波の輪郭を形成する場合がある。これらの領域でフラッシュありの画像からの情報を使用することを避けるために、初めにフラッシュによる影と鏡面反射が検出される。
【００６３】
次いで図１０を参照すると、本発明による、フラッシュによる影と鏡面反射を検出する一方法論のフローチャートが示される。フラッシュで生じる影の中の点はフラッシュが当たらないので、環境照明画像と全く同じに見えるはずである。理論上は、ＡとＦは、上記のように線形にすることができ、差分画像ＦLin−ＡLinの輝度がゼロのピクセルが検出される。実際には、この手法は、次の４つの問題によって混乱が生じる。１）光を全く反射しない表面（アルベドがゼロ）が影として検出される。２）フラッシュが届かない遠くの表面が影として検出される。３）ノイズが、影の中で非ゼロの値を生じさせる。４）フラッシュの光の相互反射が、影の中で非ゼロの値を生じさせる。
【００６４】
１０００で、アルベドがゼロの表面と影が対処される。最初の２つの問題は、環境照明画像とフラッシュありの画像の両方で結果が同じになるため問題につながらず、したがって選択される画像はいずれも同じ結果になる。１００２で、次の条件に従って、線形化されたフラッシュありの画像と環境照明画像との差分が小さいピクセルを探すことにより、影のマスクを計算する際に閾値を加えることによって、ノイズと相互反射が対処される。
【００６５】
【数６】
2006067561.tif 000008
【００６６】
ここに開示されるアルゴリズムの１つは、１００４に示すように、ユーザに、閾値τShadを対話形式で調整させ、フラッシュによる影の領域が正しく捉えられていることを視覚的に確認させる。
【００６７】
ノイズは、小さな斑点、穴、ぎざぎざの輪郭で影のマスクを損なう可能性がある。影のマスクは、１００６に示すように、画像形態学的操作を使用して斑点を除去し、穴を埋めることによって美化される。１００８で、影の領域を完全に覆う低目の推定値を生成するために、マスクが拡張される。
【００６８】
１０１０で、物理的に動機付けられる単純なヒューリスティックを使用して、フラッシュによって生じた鏡面反射領域が検出される。鏡面反射領域は、Ｌｉｎ  Ｆで明るく、したがって画像センサを飽和させるはずである。したがって、センサ出力値の９５％より大きいフラッシュ画像の輝度値が探される。１０１２で、上記の影のマスクと同様に、美化、穴埋め、および鏡面反射マスクの拡張が行われる。１０１４で、影のマスクと鏡面反射マスクの和集合をとることにより最終的なマスクＭが形成される。１０１６で、マスクを使用して異なる画像からの領域を組み合わせる際に、視覚的な継ぎ目が生じないようにマスクをぼかしてその輪郭を柔らかにする（ｆｅａｔｈｅｒ）。
【００６９】
次いで図１１を参照すると、本発明によるアーチファクト処理の画像ショットが示される。図１１ａは、フラッシュありの画像とフラッシュなしの画像を示す。図１１ｂは、図１１ａのフラッシュなし画像にディテールを移動した画像を示す。図１１ｃは、フラッシュありの画像の部分にマスクをかけないディテールの移動を示し、影の輪郭を矢印で示す。図１１ｄは、シャドーと鏡面反射のマスクを示す。図１１ｅは、図１１ｃと同じ画像のマスクを使用したディテールの移動を示す。図１１ｆは、図１１ａのフラッシュなしの画像に示される小さな部分のフラッシュありの画像を示す。図１１ｇは、図１１ｆと同じ小部分のフラッシュなしのバージョンを示す。図１１ｈは、図１１ｆと図１１ｇの画像のノイズ除去と併せたディテールの移動を示す。
【００７０】
フラッシュありの画像は、影と鏡面反射の領域に真のディテール情報を含まない。ノイズ除去とディテール移動のアルゴリズムを単純に適用すると、影と鏡面反射の領域は、白い矢印で示すようにアーチファクトを生成する。そうしたアーチファクトを防止するために、これらの領域では基本双方向フィルタリングが用いられる。図１１ａのフラッシュなしの画像の左にある濃い茶色のポットは、極めてノイズが多い。図１１ａの右にある緑色のポットもノイズがあるが、図１１ａのフラッシュありの画像に示すように真の質感のディテールを示す。ディテール移動の技術は、図１１ｅに示すように、質感を維持しながらノイズを平滑化する。フラッシュによって生じる影／鏡面反射検出のアルゴリズムは、図１１ｄの茶色のポットにある広い鏡面反射ハイライトを適正にマスクしてなくし、このディテールを図１１ｅの最終的な画像に移動しないことに留意されたい。
【００７１】
（ホワイトバランス）
元の環境照明を保つことが望ましいことは多いが、時に、より「白い」光源の下で場面がどのように見えるかを見ることが望ましい場合もあり、これは、ホワイトバランス調整と呼ばれるプロセスで行われる。
【００７２】
環境照明画像が１つしか取得されない場合、環境照明は、ヒューリスティックまたはユーザ入力に基づいて推定されなければならない。デジタルカメラは、通例、日の当たる屋外や蛍光灯照明など様々な環境に対応するいくつかのホワイトバランスモードを提供する。大抵の場合、写真は「自動」モードで撮影され、自動モードでは、カメラが画像を分析し、画像全体の平均を計算して環境照明の色を推測する。すなわち、言うまでもなく、１つのみのヒューリスティックと何人かの研究者が、色合いを決定する意味解析を考えている。
【００７３】
フラッシュありの画像／フラッシュなしの画像の対により、ホワイトバランス調整のより良好な手法が可能になる。ここに開示されるアーキテクチャは、従来の光源の別個のセットによって制限されない連続最適化問題としてホワイトバランス調整を構築するため、従来のプロセスよりも必要とする機構が少ない。
【００７４】
次いで図１２を参照すると、本発明によるホワイトバランス調整の一方法論のフローチャートが示される。１２００でフラッシュなしの画像が生成される。１２０２で、カメラのホワイトバランスモードがフラッシュに設定される。フラッシュは、既知の色の点光源を場面に加えるものと考えることができる。カメラのホワイトバランスモードを「フラッシュ」に設定することにより（そして較正されたカメラを想定することにより）、このフラッシュの色は、取得される画像で基準になる白として現れることになる。１２０４で、フラッシュありの画像が生成される。
【００７５】
１２０６で、差分画像が計算される。差分画像Δ＝ＦLin−ＡLinは、フラッシュのみに起因する照明に対応し、その照明は、各ピクセルｐの表面のアルベドに比例する。表面の距離と方向が分からないので、アルベドの推定Δは未知のスケールを有することに留意されたい。表面が拡散性であるか、その鏡面反射色がその拡散色と一致することが想定される。反例として、これは、プラスチックには当てはまらない。同様に、半透明の表面は、誤ったアルベドの推定を与える。
【００７６】
１２０８で、各色チャネルの環境照明が推定される。各ピクセルｐにある表面は、環境照明画像の色Ａpと、スケーリングされたアルベドΔpを有するので、その表面の環境照明は次の比で推定することができる。
【００７７】
【数７】
2006067561.tif 000009
【００７８】
これは、色チャネルごとに計算される。この場合も、この推定された色Ｃpは未知のスケールを有し、そのため、各ピクセルｐで正規化される。目標は、すべての画像ピクセルのＣpを分析して環境照明の色ｃを推測することである。この推測をより堅固にするために、推定の信頼性が低いピクセルは破棄される。これは、何百万ものピクセルから１つの色のみを得る必要があるために行うことができる。具体的には、そうした小さな値は比の信頼度を下げるため、任意のチャネルで｜Ａp｜＜τ1またはΔp＜τ2の輝度についてはピクセルが無視される。τ1とτ2の両方が、色値の範囲の約２％に設定される。
【００７９】
最終的には、１２１０で、場面の環境照明の色の推定ｃが、破棄されなかったピクセルのＣｐの平均値として計算される。これに代わる方法は、最大の固有値を有するＣTＣの固有ベクトルとして得られるＣの主成分としてｃを選択するものであり、これでも同様の答えが得られる。場面の環境照明の色ｃを推測すると、１２１２で、色チャネルを次のようにスケーリングすることにより、画像のホワイトバランスが調整される。
【００８０】
【数８】
2006067561.tif 000010
【００８１】
この場合も色チャネルごとに計算が行われる。
【００８２】
次いで図１３ａ〜ｃを参照すると、本発明による環境照明画像のホワイトバランス調整に関連する画像ショットが示される。図１３ａは、ノイズを除去し、ディテールを移した後の元のフラッシュなしの画像を示すが、この画像はなお色合いを示す。図１３ｂは、推定される環境照明の色と推定される場面全体の雰囲気を示す。図１３ｃは、ホワイトバランス調整アルゴリズムが、色をずらし、特定の発色（オレンジ）を除去することを示している。
【００８３】
ホワイトバランスの調整は、画像の全体的な色合いを大幅に変えており、白色光の場合に見えるように木製のテーブルの色を黄色がかったグレーに設定している。環境照明の色ｃを推測する際には、外れ値を除き、画像Ｃの中の空間的関係を探すこともできる。また、場面は、環境照明の色が異なる複数の領域を有する可能性があり、それらは、区分し、個別に処理してもよい。「白」の知覚は部分的には見る者の適応状態によって決まるので、ホワイトバランス調整は難しい問題である。さらに、ホワイトバランスがいつ望ましいかは明確には分からない。しかし、フラッシュからの既知の情報を用いるここに開示される推定手法は、１つの画像のヒューリスティックに基づく手法よりも正確である可能性がある。
【００８４】
（連続的なフラッシュの調整）
フラッシュありの画像をとる際、フラッシュの強度は、時に明るすぎて近くにある被写体を飽和させるか、暗すぎて中距離にある被写体の露出が不十分になることがある。本発明は、フラッシュありの画像とフラッシュなしの画像の対を用いて、ユーザが、写真を撮った後にフラッシュの強度を調整できるようにする。
【００８５】
次いで図１４を参照すると、本発明による連続的なフラッシュ調整の一方法論のフローチャートが示される。１４００で、フラッシュありの画像とフラッシュなしの画像が生成される。１４０２で、フラッシュありの画像とフラッシュなしの画像が補間される。環境照明画像とフラッシュありの画像を補完する方式の１つは、元のフラッシュあり／フラッシュなしの画像の対をＹＣｂＣｒ空間に変換し、次の式を使用して、線形に補間するものである。 
ＦAdjusted＝（１−α）Ａ＋（α）Ｆ
【００８６】
より多くのユーザコントロールを提供するために、パラメータαが通常の［０，１］の範囲外になっていいようにすることにより、外挿を可能にする。しかし、色合いの過度の歪みを防止するために、Ｙチャネルのみが外挿され、ＣｂおよびＣｒチャネルの補間は、２つの元の画像の各自の極値に制約される。図１５に一例を示す。
【００８７】
図１５ａ〜ｆは、フラッシュありの画像とフラッシュなしの画像との外挿による連続的なフラッシュ調整の例を示す。図１５ａは、−０．５の設定で、範囲外の下端にある極値を示す。図１５ｂは、０．０のフラッシュなしの画像を示す。図１５ｃは、０．３３の設定で外挿された画像を示す。図１５ｄは、０．６６の設定で外挿された画像を示す。図１５ｅは、１．０の設定のフラッシュありの画像を示す。図１５ｆは、１．５の場合に範囲外の上端の極値で外挿された画像を示す。
【００８８】
（赤目の補正）
赤目は、フラッシュ写真でよく生じる問題であり、光が血管の多い網膜に反射されることによって生じる。完全に自動化された赤目除去の技術は、従来、１つの画像を入力として想定し、各種のヒューリスティックと機械学習技術に依拠して赤目の場所を特定する。瞳孔のマスクが検出されると、そうした技術は、マスク内のピクセルを暗くして、画像がより自然に見えるようにする。
【００８９】
次いで図１６を参照すると、本発明による赤目除去技術が示される。本発明の赤目除去アルゴリズムは、環境照明画像（通常は瞳孔の色が非常に暗い）とフラッシュありの画像（赤くなる場合がある）での瞳孔の色の変化を考慮する。１６００で、画像の対がＹＣｂＣｒ空間に変換されて、クロミナンスと輝度の相関関係を解く。１６０２で、相対的な赤さの尺度が次のように計算される。 
Ｒ＝Ｆｃｒ−Ａｃｒ
１６０４で、画像がまず領域に区分され、この際
Ｒ＞τEye
となる。
【００９０】
結果得られる区分が、フラッシュありの画像が環境照明画像よりも赤く、したがって潜在的な赤目を形成する可能性がある領域を定義するように、パラメータτEyeは、通例０．０５に設定される。区分された領域は、フラッシュありの画像のＣｒチャネルで非常に飽和しているが、環境照明画像のＹチャネルでは比較的暗い領域をいくつか含む傾向がある。したがって、μRとσRが赤さＲの平均値と標準偏差を表す場合、１６０６に示すように、シードピクセル(seed pixel)が探され、ここで
Ｒ＞ｍａｘ［０．６，μR＋３σR］かつＡｒ＜τDarkであり、ｒDarkは通例０．６に設定される。
【００９１】
１６０８で、そのようなシードピクセルが存在しない場合は、画像が赤目を含んでいないと考えることができ、流れは終了ブロックに進む。そうでない場合、流れは１６１０に進み、シードピクセルを使用して、区分中の対応する領域を見つける。１６１２で、幾何学的な制約を適用して、領域がほぼ同じ大きさで、楕円形になるようにする。詳細には、各領域の面積が計算され、大きな外れ値が破棄される。１６１４で、領域の離心率を調べて、離心率が０．７５以上であるようにし、それらの領域が赤目の瞳孔のマスクを形成する。１６１６に示すように、まず上述したフラッシュの鏡面反射検出アルゴリズムを使用して瞳孔マスクのハイライトあるいは「輝き」を除去することによって赤目の領域が除去される。１６１８で、マスクの各ピクセルの色が、その輝度値の８０％に相当するグレー値に設定される。この手法は、瞳孔を適正に暗くし、同時に、補正後の出力で現実感を維持するために重要な鏡面反射ハイライトを維持する。プロセスは次いで終了ブロックに達する。
【００９２】
別の実施例では、赤外線フラッシュを用いることができる。赤外線照明では得られる色情報が不完全であるが、高周波のディテールを提供し、その際、可視のフラッシュよりも影響の少ない方式でディテールを提供する。
【００９３】
次いで図１７を参照すると、本発明の画像処理アーキテクチャを含む、スモールフォームファクタの携帯型デバイス１７００のブロック図が示される。デバイス１７００は、すべての搭載動作とプロセスを制御するプロセッサ１７０２を含む。メモリ１７０４は、プロセッサ１７０２とのインタフェースをとり、データ、およびプロセッサ１７０２によって実行される本発明による画像処理のための１つまたは複数のデバイスアプリケーション１７０６を一時的に記憶する。
【００９４】
通信コンポーネント１７０８は、プロセッサ１７０２とのインタフェースを取って、適切な外部システムとの有線／無線通信を容易にする。これは、ＩＥＥＥ８０２．１１を利用した無線通信と、携帯電話信号のための従来のエアプログラミングに基づく電気通信信号が含まれる。
【００９５】
デバイス１７００は、少なくとも本発明により取り込まれた画像内容を提示するディスプレイ１７１０を含むことができる。ディスプレイ１７１０は、デバイス機能を使用するためのテキストおよび／またはグラフィックの形態での、デバイス１７００を操作するためのセットアップおよび構成情報の提示も容易にすることができる。ハードワイア接続を介してシリアル通信（ＵＳＢおよび／またはＩＥＥＥ１３９４など）を容易にするために、プロセッサ１７０２と通信する状態のシリアルＩ／Ｏインタフェース１７１２が提供される。これは、例えば更新とトラブルへの対応、および、デバイス１７００との間の画像データのアップロード／ダウンロードをサポートする。オーディオＩ／Ｏコンポーネント１７１４とともにオーディオ機能が提供され、これは、例えば録音されたデータおよび電話音声データに関連するオーディオ信号を出力するスピーカと、録音する音声信号および／または電話の会話を入力するマイクロフォンを含むことができる。
【００９６】
デバイス１７００は、起動命令および動作命令の不揮発性の記憶と、プロセッサ１７０２へのアクセスを提供するファームウェア１７１６を含むことができる。
【００９７】
デバイス１７００は、例えばＣＣＤ（電荷結合素子）やＣＭＯＳ（相補型金属酸化膜半導体）イメージャなどの画像キャプチャサブシステムを含む画像キャプチャサブシステム１７１８も含むことができる。画像キャプチャサブシステム１７１８は、本発明によるフラッシュありの撮像とフラッシュなしの撮像両方のための物体および／または場面の高速で連続した撮像と処理をサポートする適切なメモリおよびバッファ機能を含む。一実施例では、サブシステム１７１８は、物体または場面をインタリーブしてスキャンすることにより、フラッシュありの画像とフラッシュなしの画像を提供する機能を含むことができる。すなわち、フラッシュありの画像は、奇数のピクセル行によって取り込まれ、フラッシュなしの画像は、イメージャの偶数のピクセル行に従って取り込まれる。別の実施例では、撮像サブシステムは、ツインキャプチャサブシステムを備え、フラッシュありの画像が第１のサブシステムによって取り込まれ、フラッシュなしの画像が第２のサブシステムによって取り込まれる。いずれの場合も、フラッシュあり／フラッシュなしの画像は、連続して高速に取り込まれる。さらに別の実施例では、１つのバッファが提供され、このバッファは、環境照明画像を撮影し、次いで適切な時間間隔でフラッシュありの画像を撮影する（またはその逆）撮像サブシステムによって高速に連続して撮られた連続画像を取り込んで、所望のフラッシュあり／フラッシュなしの画像を提供する。
【００９８】
ディスプレイ１７１０は、ピクセルを利用するディスプレイ（ＬＣＤなど）とすることができ、撮像サブシステム１７１８は、本発明により複数の画像を処理する、倍のピクセルがバッファリングされるＣＣＤ／ＣＭＯＳ設計をサポートする。
【００９９】
デバイス１７００が通信コンポーネント１７０８を含むと想定すると、ユーザは、デジタル写真を撮り、その写真をリモートの場所に送信するか、またはローカルに記憶することができる。デバイス１７００は、バッテリの形態の電源１７２０も含むことができ、この電源１７２０は、電力Ｉ／Ｏコンポーネント１７２２を介して外部の電力システムまたは充電機器とのインタフェースをとることもできる。
【０１００】
デバイスソフトウェア１７０６は、ローカルのデータおよび設定を設定および操作するオペレーティングシステム、ウェブサイトと対話するためのブラウザ、音楽プレーヤ、ビデオプレーヤソフトウェア、およびデバイス１０００で動作するのに適切な他のソフトウェアなどの１つまたは複数のプログラムも含むことができる。
【０１０１】
デバイス１７００は、デジタルカメラ、画像取り込み機能を有するＭＰ３プレーヤ、内蔵デジタルカメラを有する携帯電話、ＰＤＡ（携帯情報端末）、または、本発明による複数画像処理に対応するように適切に設計された同様の携帯デバイスとすることができる。
【０１０２】
次いで図１８を参照すると、ここに開示されるアーキテクチャを実行するように動作することが可能なコンピュータのブロック図が示される。本発明の各種態様についての追加的なコンテクストを提供するために、図１８と以下の説明は、本発明の各種態様を実施することができる適切なコンピューティング環境１８００の簡単で概略的な説明を提供する。上記では本発明について、１つまたは複数のコンピュータで実行することができるコンピュータ実行可能命令の一般的な文脈で説明したが、当業者は、本発明は、他のプログラムモジュールと組み合わせて、かつ／またはハードウェアとソフトウェアの組み合わせとしても実施できることを認識されよう。
【０１０３】
一般に、プログラムモジュールには、特定のタスクを行うか、特定の抽象データ型を実装するルーチン、プログラム、コンポーネント、データ構造などが含まれる。さらに、当業者は、本発明の方法は、シングルプロセッサまたはマルチプロセッサのコンピュータシステム、ミニコンピュータ、メインフレームコンピュータ、パーソナルコンピュータ、ハンドヘルドコンピューティングデバイス、マイクロプロセッサを利用した、または設定可能な家庭電化製品などを含む他のコンピュータシステム構成で実施でき、それらのデバイスはそれぞれ、１つまたは複数の関連付けられたデバイスに動作可能に結合できることを認識されよう。
【０１０４】
ここに例示される本発明の態様は、通信ネットワークを通じて結ばれた遠隔の処理デバイスによって特定のタスクが行われる分散コンピューティング環境で実施してもよい。分散コンピューティング環境では、プログラムモジュールは、ローカルおよびリモート両方のメモリ記憶装置に置くことができる。
【０１０５】
コンピュータは、通例各種のコンピュータ可読媒体を含む。コンピュータ可読媒体は、コンピュータによるアクセスが可能な利用可能媒体でよく、揮発性および不揮発性の媒体、取り外し式および固定式の媒体を含む。限定ではなく例として、コンピュータ可読媒体は、コンピュータ記憶媒体と通信媒体を含むことができる。コンピュータ記憶媒体には、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報を記憶するための方式または技術として実施された、揮発性および不揮発性、取り外し式および固定式の媒体が含まれる。コンピュータ記憶媒体には、これらに限定されないが、ＲＡＭ、ＲＯＭ、ＥＥＲＰＯＭ、フラッシュメモリ、または他のメモリ技術、ＣＤ−ＲＯＭ、デジタルビデオディスク（ＤＶＤ）、または他の光ディスク記憶、磁気カセット、磁気テープ、磁気ディスク記憶、または他の磁気記憶装置、あるいは、所望の情報を記憶するために使用することができ、コンピュータによるアクセスが可能な他の媒体が含まれる。
【０１０６】
通信媒体は通例、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータを、搬送波や他のトランスポート機構などの変調データ信号として実施し、任意の情報伝達媒体を含む。用語「変調データ信号」とは、信号中に情報を符号化するような方式で特性の１つまたは複数を設定または変化させた信号を意味する。限定ではなく例として、通信媒体には、有線ネットワークや直接配線接続などの有線媒体と、音波、ＲＦ、赤外線、他の無線媒体などの無線媒体が含まれる。上記の媒体の組み合わせもコンピュータ可読媒体の範囲に含まれる。
【０１０７】
図１８を参照すると、コンピュータ１８０２を含む、本発明の各種態様を実施する例示的環境１８００が示され、コンピュータ１８０２は、処理装置１８０４、システムメモリ１８０６、およびシステムバス１８０８を含む。システムバス１８０８は、これに限定しないがシステムメモリ１８０６を含むシステムコンポーネントを処理装置１８０４に結合する。処理装置１８０４は、各種の市販されるプロセッサでよい。デュアルマイクロプロセッサおよび他のマルチプロセッサアーキテクチャも処理装置１８０４として用いてよい。
【０１０８】
システムバス１８０８は、各種の市販のバスアーキテクチャを使用して、メモリバス（メモリコントローラを備える場合も備えない場合もある）、ペリフェラルバス、およびローカルバスにさらに相互接続することができる数種のバス構造のいずれでもよい。システムメモリ１８０６は、読み取り専用メモリ（ＲＯＭ）１８１０とランダムアクセスメモリ（ＲＡＭ）１８１２を含む。基本入出力システム（ＢＩＯＳ）は、ＲＯＭ、ＥＲＯＭ、ＥＥＰＲＯＭなどの不揮発性メモリ１８１０に記憶され、ＢＩＯＳは、起動時などにコンピュータ１８０２内の要素間の情報転送を助ける基本ルーチンを含む。ＲＡＭ１８１２は、データをキャッシュするスタティックＲＡＭなどの高速ＲＡＭも含むことができる。
【０１０９】
コンピュータ１８０２はさらに、適切なシャーシ（図示せず）に入れて外部で使用するように構成することもできる内部ハードディスクドライブ（ＨＤＤ）１８１４（ＥＩＤＥ、ＳＡＴＡなど）と、磁気フロッピー（登録商標）フロッピー（登録商標）ディスクドライブ（ＦＤＤ）１８１６（取り外し式ディスケット１８１８の読み書きを行う）と、光ディスクドライブ１８２０（ＣＤ−ＲＯＭディスク１８２２の読み出し、またはＤＶＤなどの他の高容量光学媒体の読み書きを行う）を含む。ハードディスクドライブ１８１４、磁気ディスクドライブ１８１６、光ディスクドライブ１８２０は、それぞれハードディスクドライブインタフェース１８２４、磁気ディスクドライブインタフェース１８２６、光ドライブインタフェース１８２８によってシステムバス１８０８に接続されることができる。外部ドライブ実施のためのインタフェース１８２４は、ユニバーサルシリアルバス（ＵＳＢ）とＩＥＥＥ１３９４インタフェース技術の少なくとも１つを含む。
【０１１０】
これらのドライブとそれに関連するコンピュータ可読媒体は、データ、データ構造、コンピュータ可読命令などの不揮発性の記憶を提供する。コンピュータ１８０２のために、これらのドライブと媒体は、適切なデジタルフォーマットでのデータの記憶に対応する。上記のコンピュータ可読媒体の説明ではＨＤＤ、取り外し式磁気ディスケット、およびＣＤやＤＶＤなどの取り外し式光学媒体を参照したが、当業者には、ｚｉｐドライブ、磁気カセット、フラッシュメモリカード、カートリッジなどの他のタイプのコンピュータ可読媒体も例示的動作環境で使用することができ、さらに、そのような媒体は、本発明の方法を行うコンピュータ実行可能命令を保持することができることが理解されよう。
【０１１１】
ドライブとＲＡＭ１８１２には、オペレーティングシステム１８３０、１つまたは複数のアプリケーションプログラム１８３２、他のプログラムモジュール１８３４、プログラムデータ１８３６を含む、複数のプログラムモジュールを記憶することができる。オペレーティングシステム、アプリケーション、モジュール、および／またはデータのすべてまたは一部は、ＲＡＭ１８１２にキャッシュすることもできる。
【０１１２】
本発明は、各種の市販のオペレーティングシステムまたはオペレーティングシステムの組み合わせを用いて実施できることは理解されよう。
【０１１３】
ユーザは、例えばキーボード１８３８、およびマウス１８４０などのポインティングデバイスなどの１つまたは複数の有線／無線入力装置を通じてコンピュータ１８０２にコマンドと情報を入力することができる。他の入力装置（図示せず）としては、マイクロフォン、ＩＲリモートコントロール、ジョイスティック、ゲームパッド、スタイラスペン、タッチスクリーンなどが可能である。上記および他の入力装置は、多くの場合、システムバス１８０８に結合された入力装置インタフェース１８４２を通じて処理装置１８０４に接続されるが、パラレルポート、ＩＥＥＥ１３９４シリアルポート、ゲームポート、ＵＳＢポート、ＩＲインタフェースなどの他のインタフェースで接続することができる。
【０１１４】
モニタ１８４４または他のタイプの表示装置も、ビデオアダプタ１８４６などのインタフェースを介してシステムバス１８０８に接続される。モニタ１８４４に加えて、コンピュータは通例、スピーカやプリンタなどの他の周辺出力装置（図示せず）を含む。
【０１１５】
コンピュータ１８０２は、リモートコンピュータ１８４８などの１つまたは複数のリモートコンピュータとの有線および／または無線通信を介する論理接続を使用するネットワーク環境で動作することができる。リモートコンピュータ１８４８は、ワークステーション、サーバコンピュータ、ルータ、パーソナルコンピュータ、携帯型コンピュータ、マイクロプロセッサを利用した娯楽機器、ピアデバイス、または他の一般的なネットワークノードであり、図を簡潔にするためにメモリ記憶装置１８５０のみを図示するが、通例は、コンピュータ１８０２に関して上述した要素の多くまたはすべてを含む。図に示す論理接続には、ローカルエリアネットワーク（ＬＡＮ）１８５２、および／または例えばワイドエリアネットワーク（ＷＡＮ）１８５４などのより大規模なネットワークへの有線／無線接続が含まれる。このようなＬＡＮおよびＷＡＮのネットワーキング環境は、オフィス、企業などで一般的であり、イントラネットなどの企業規模のコンピュータネットワークを容易にし、イントラネットはすべてインターネットなどの世界規模の通信ネットワークに接続することができる。
【０１１６】
ＬＡＮネットワーキング環境で使用される場合、コンピュータ１８０２は、有線および／または無線通信ネットワークインタフェースあるいはアダプタ１８５６を通じてローカルネットワーク１８５２に接続される。アダプタ１８５６は、ＬＡＮ１８５２との有線または無線通信を容易にすることができ、ＬＡＮ１８５２は、無線アダプタ１８５６と通信するために配置された無線アクセスポイントも含むことができる。ＷＡＮネットワーキング環境で使用される場合、コンピュータ１８０２は、モデム１８５８を含むことができ、またはＬＡＮの通信サーバに接続されるか、インターネットなどを介してＷＡＮ１８５４を通じて通信を確立する他の手段を有する。モデム１８５８は、内蔵型でも外付け型でも、有線デバイスでも無線デバイスでもよく、シリアルポートインタフェース１８４２を介してシステムバス１８０８に接続される。ネットワーク環境では、コンピュータ１８０２との関連で図示するプログラムモジュールまたはその一部は、遠隔のメモリ／記憶装置１８５０に記憶することができる。ここに示すネットワーク接続は例示的なものであり、コンピュータ間に通信リンクを確立する他の手段を使用できることは理解されよう。
【０１１７】
コンピュータ１８０２は、プリンタ、スキャナ、デスクトップおよび／または携帯型コンピュータ、携帯情報端末、通信衛星、無線検出可能タグに関連付けられた機器あるいは場所（キオスク、売店、トイレなど）、電話機など、無線通信に動作可能に配置された無線デバイスまたはエンティティと通信するように動作することができる。これには、少なくともＷｉ−ＦｉおよびＢｌｕｅｔｏｏｔｈ（商標）の無線技術が含まれる。したがって、通信は、従来のネットワークのようにあらかじめ定義された構造であっても、単に少なくとも２つのデバイス間のその場限りの通信であってもよい。
【０１１８】
Ｗｉ−ＦｉあるいはＷｉｒｅｌｅｓｓ  Ｆｉｄｅｌｉｔｙは、自宅のソファ、ホテル客室のベッド、あるいは職場の会議室から、配線なしでインターネットに接続することを可能にする。Ｗｉ−Ｆｉは、例えばコンピュータなどのデバイスが、基地局の範囲内の屋内および屋外でデータを送受信することを可能にする携帯電話のような無線技術である。Ｗｉ−Ｆｉネットワークは、ＩＥＥＥ８０２．１１（ａ、ｂ、ｇなど）と呼ばれる無線技術を使用して、安全で信頼性のある高速の無線接続を提供する。Ｗｉ−Ｆｉネットワークを使用して、コンピュータをコンピュータに、インターネットに、および有線ネットワーク（ＩＥＥＥ８０２３またはＥｔｈｅｒｎｅｔ（登録商標）Ｅｔｈｅｒｎｅｔ（登録商標）を使用する）に接続することができる。Ｗｉ−Ｆｉネットワークは、免許不要の２．４および５ＧＨｚの無線帯域で動作し、１１Ｍｂｐｓ（８０２．１１ｂ）または５４Ｍｂｐｓ（８０２．１１ａ）のデータレートで、または両方の帯域（デュアルバンド）を含む製品とともに動作し、このネットワークは、多くのオフィスで使用される１０ＢａｓｅＴ有線イーサネット（登録商標）イーサネット（登録商標）ネットワークと同じような実際の性能を提供することができる。
【０１１９】
次いで図１９を参照すると、本発明による例示的動作環境１９００の概略ブロック図が示される。システム１９００は、１つまたは複数のクライアント１９０２を含む。クライアント１９０２は、ハードウェアおよび／またはソフトウェア（スレッド、プロセス、コンピューティングデバイス等）である。クライアント１９０２は、本発明を用いることにより、例えばクッキーおよび／または関連付けられたコンテクスト情報を収容することができる。システム１９００は、１つまたは複数のサーバ１９０４も含む。サーバ１９０４もハードウェアおよび／またはソフトウェア（スレッド、プロセス、コンピューティングデバイス等）である。サーバ１９０４は、本発明を用いることにより、例えば変換を行うスレッドを収容することができる。クライアント１９０２とサーバ１９０４間の可能な通信の１つは、２つ以上のコンピュータプロセス間で送信されるように適合されたデータパケットの形態である。データパケットは、例えばクッキーおよび／または関連付けられたコンテクスト情報を含むことができる。システム１９００は、クライアント１９０２とサーバ１９０４間の通信を容易にするために用いることができる通信フレームワーク１９０６（インターネットなどの世界規模の通信ネットワーク）を含む。
【０１２０】
通信は、有線技術（光ファイバーを含む）および／または無線技術を介して容易にすることができる。クライアント１９０２は、クライアント１９０２にとってローカルな情報を記憶するために用いることができる１つまたは複数のデータストア１９０８に動作可能に接続される（クッキーおよび／または関連付けられたコンテクスト情報など）。同様に、サーバ１９０４は、サーバ１９０４にとってローカルな情報を記憶するために用いることができる１つまたは複数のサーバデータストア１９１０に動作可能に接続される。
【０１２１】
上記の説明は、本発明の例を含む。無論、本発明を説明する目的で構成要素または方法論の着想可能なあらゆる組み合わせを記載することは不可能であり、当業者は、本発明の多数のさらなる組み合わせおよび置き換えが可能であることを認識できよう。したがって、本発明は、頭記の特許請求の範囲の主旨と範囲に該当するそのような改変、変更、および変種をすべて包含するものとする。さらに、用語「〜を含む」が詳細な説明あるいは特許請求の範囲で用いられる限りでは、この語は、特許請求の範囲で「〜を備える」が接続語として用いられる際の解釈と同様に包含的な意味とする。
【図面の簡単な説明】
【０１２２】
【図１】本発明によるフラッシュありの画像／フラッシュなしの画像の対を使用してデジタル画像の生成を容易にするシステムの図である。
【図２】本発明による新しい画像を生成する一方法論のフローチャートである。
【図３】本発明による取得の一方法論のフローチャートである。
【図４】本発明によるノイズ除去の一方法論のフローチャートである。
【図５】本発明によるディテールの移動の一方法論のフローチャートである。
【図６】本発明による、フラッシュなしの画像とフラッシュありの画像に作用する、ノイズ除去アルゴリズム、ディテール移動アルゴリズム、およびフラッシュアーチファクト検出アルゴリズムの概要を表す図である。
【図７ａ】ベルギー製タペストリーのフラッシュありの画像とフラッシュなしの画像の接写の図である。
【図７ｂ】強い輪郭を維持するように基本双方向フィルタリングを介してノイズを除去したが、糸の大半がぼけてなくなった画像の図である。
【図７ｃ】ジョイント双方向フィルタリングを使用してノイズを除去した画像の図である。
【図７ｄ】基本双方向フィルタリングをかけた画像とジョイント  双方向フィルタリングをかけた画像の差分画像の図である。
【図７ｅ】ディテール層の一例を示す図である。
【図７ｆ】ディテール移動の一例を示す図である。
【図８ａ】干草でできた古いヨーロッパのランプのフラッシュありの画像とフラッシュなしの画像の図である。
【図８ｂ】最終的な結果が調べられる、画像の小さな部分の図である。
【図８ｃ】図８ｂの部分のフラッシュありのバージョンの図である。
【図８ｄ】図８ｂの部分のフラッシュなしのバージョンの図である。
【図８ｅ】温かみのある外観と鮮明なディテールを保持している、ノイズ除去と併せたディテール移動を示す図である。
【図９ａ】フラッシュなしの画像を示す図である。
【図９ｂ】図９ａのノイズ除去とディテールの移動を示す図である。
【図９ｃ】図９ｂのノイズ除去と併せたディテールの移動と比較するためにとらえた、ワイン貯蔵庫の場面の長露出画像（ＩＳＯ１００で３．２秒）の図である。
【図１０】本発明によるフラッシュによる影と鏡面反射の検出の一方法論のフローチャートである。
【図１１ａ】フラッシュありの画像とフラッシュなしの画像を示す図である。
【図１１ｂ】図１１ａのフラッシュなしの画像のディテールを移動した画像を示す図である。
【図１１ｃ】フラッシュありの画像の部分のマスクなしでのディテール移動を示す図であり、影の輪郭が矢印で示される図である。
【図１１ｄ】影と鏡面反射のマスクを示す図である。
【図１１ｅ】図１１ｃの同じ画像のマスクを使用したディテールの移動を示す図である。
【図１１ｆ】図１１ａのフラッシュなしの画像に示される小さな部分のフラッシュありの画像を示す図である。
【図１１ｇ】図１１ｆの同じ小部分のフラッシュなしのバージョンを示す図である。
【図１１ｈ】図１１ｆと図１１ｇの画像のノイズを除去したディテールの移動を示す図である。
【図１２】本発明によるホワイトバランス調整の一方法論のフローチャートである。
【図１３ａ】ノイズを除去し、ディテールを移動したが、なお色合いを示す元のフラッシュなしの画像の図である。
【図１３ｂ】推定される環境照明と推定される場面全体の雰囲気を示す図である。
【図１３ｃ】ホワイトバランス調整アルゴリズムが色をずらし、特定の発色を除去することを示す図である。
【図１４】本発明による連続的なフラッシュの調整の一方法論のフローチャートである。
【図１５ａ】−０．５の設定での範囲外の下端の極値を示す図である。
【図１５ｂ】０．０でのフラッシュなし画像の図である。
【図１５ｃ】０．３３の設定で外挿された画像を示す図である。
【図１５ｄ】０．６６の設定で外挿された画像を示す図である。
【図１５ｅ】１．０の設定のフラッシュありの画像の図である。
【図１５ｆ】１．５での範囲外の上端の極値で外挿された画像の図である。
【図１６】本発明による赤目除去の方法論を説明する図である。
【図１７】本発明の画像処理アーキテクチャを含むスモールフォームファクタの携帯型デバイスのブロック図である。
【図１８】ここに開示されるアーキテクチャを実行するように動作することが可能なコンピュータのブロック図である。
【図１９】本発明による例示的な動作環境の概略的なブロック図である。
【符号の説明】
【０１２３】
１０６  被写体
１０４  入力画像1（〜N）
１０２  入力コンポーネント
１１２  比較コンポーネント
１１４  コストコンポーネント
１０８  画像生成コンポーネント
１１０  新しい画像
６０６  Ａ  フラッシュなしの画像
６０８  Ｆ  フラッシュありの画像
６１０  双方向フィルタ
６１２  ジョイント双方向フィルタ
６１６  双方向フィルタ
６２０  影および鏡面反射の検出
１７００  撮像機能を備える携帯型デバイス
１７１０  ディスプレイ
１７１８  カメラ
１７１２  シリアルＩ／Ｏインタフェース
１７０６  撮像アプリケーション
１７０２  プロセッサ
１７０４  メモリ
１７１４  オーディオＩ／Ｏ
１７１６  ファームウェア
１７０８  通信コンポーネント
１７２０  電源
１７２２  電力Ｉ／Ｏ
１８０４  処理装置
１８０８  バス
１８０６  システムメモリ
１８２４、１８２６、１８２８  インタフェース
１８４６  ビデオアダプタ
１８４２  入力装置インタフェース
１８５６  ネットワークアダプタ
１８１４  内部ＨＤＤ
１８１８  ディスク
１８２０  ＣＤドライブ
１８２２  ディスク
１８５８  モデム
１８３０  オペレーティングシステム
１８３２  アプリケーション
１８３４  モジュール
１８３６  データ
１８１４  外部ＨＤＤ
１８４４  モニタ
１８３８  キーボード
１８４０  マウス
１８４８  リモートコンピュータ
１８５０  メモリ／記憶装置
１９０２  クライアント
１９０８  クライアントデータストア
１９０６  通信フレームワーク
１９０４  サーバ
１９１０  サーバデータストア
【図１】
2006067561.tif 000011
【図２】
2006067561.tif 000012
【図３】
2006067561.tif 000013
【図４】
2006067561.tif 000014
【図５】
2006067561.tif 000015
【図６】
2006067561.tif 000016
【図１０】
2006067561.tif 000017
【図１２】
2006067561.tif 000018
【図１４】
2006067561.tif 000019
【図１６】
2006067561.tif 000020
【図１７】
2006067561.tif 000021
【図１８】
2006067561.tif 000022
【図１９】
2006067561.tif 000023
【図７ａ】
2006067561.tif 000024
【図７ｂ】
2006067561.tif 000025
【図７ｃ】
2006067561.tif 000026
【図７ｄ】
2006067561.tif 000027
【図７ｅ】
2006067561.tif 000028
【図７ｆ】
2006067561.tif 000029
【図８ａ】
2006067561.tif 000030
【図８ｂ】
2006067561.tif 000031
【図８ｃ】
2006067561.tif 000032
【図８ｄ】
2006067561.tif 000033
【図８ｅ】
2006067561.tif 000034
【図９ａ】
2006067561.tif 000035
【図９ｂ】
2006067561.tif 000036
【図９ｃ】
2006067561.tif 000037
【図１１ａ】
2006067561.tif 000038
【図１１ｂ】
2006067561.tif 000039
【図１１ｃ】
2006067561.tif 000040
【図１１ｄ】
2006067561.tif 000041
【図１１ｅ】
2006067561.tif 000042
【図１１ｆ】
2006067561.tif 000043
【図１１ｇ】
2006067561.tif 000044
【図１１ｈ】
2006067561.tif 000045
【図１３ａ】
2006067561.tif 000046
【図１３ｂ】
2006067561.tif 000047
【図１３ｃ】
2006067561.tif 000048
【図１５ａ】
2006067561.tif 000049
【図１５ｂ】
2006067561.tif 000050
【図１５ｃ】
2006067561.tif 000051
【図１５ｄ】
2006067561.tif 000052
【図１５ｅ】
2006067561.tif 000053
【図１５ｆ】
2006067561.tif 000054
【外国語明細書】
2006067561000001.pdf