(57)【特許請求の範囲】
【請求項１】
カメラ設定をシーンに従って適応的に決める方法であって、
複数のセンサ素子を備えるカメラによりシーンの最初の画像を取得するステップであって、前記カメラは、前記最初の画像を取得している間、最初の一組のカメラ設定を有する、ステップと、
前記最初の画像から、一組の所望の特性を有する最初の画像内の画素の数を測定するステップと、
複数の次の組のカメラ設定のそれぞれのために、推定される画像内の各画素のための一組の特性を推定するステップと、
前記一組の所望の特性を有する画素の総数を最大化する次の一組のカメラ設定を選択するステップと、
前記最初の一組のカメラ設定を次の一組のカメラ設定に置き変えるステップと、
を含む、カメラ設定をシーンに従って適応的に決める方法。
【請求項２】
前記次の一組のカメラ設定を有する前記カメラにより前記シーンの次の画像を取得するステップをさらに含む、請求項１に記載の方法。
【請求項３】
前記次の画像から、前記一組の所望の特性を有する前記次の画像内の画素の数を測定するステップと、及び
前記一組の所望の特性を有する画素の累積数を最大化する別の次の一組のカメラ設定を選択するステップと、
をさらに含む、請求項２に記載の方法。
【請求項４】
前記取得するステップ、前記測定するステップ、前記推定するステップ、前記選択するステップ、及び前記置き換えるステップは、前記一組の所望の特性を有する画素の数が閾値を上回るまで繰り返される、請求項１に記載の方法。
【請求項５】
前記一組の所望の特性が閾値を上回る強度を含む、請求項１に記載の方法。
【請求項６】
前記一組の所望の特性が閾値を上回る信号対ノイズ比を含む、請求項１に記載の方法。
【請求項７】
前記各カメラ設定がフラッシュ強度設定およびシャッター露出時間設定を含む、請求項１から６までのいずれか１項に記載の方法。
【請求項８】
カメラ設定をシーンに従って適応的に決めるように構成されるカメラであって、
最初の一組のカメラ設定に従ってシーンの最初の画像を取得するように構成された複数のセンサ素子と、
前記最初の画像から、一組の所望の特性を有する最初の画像内の画素の数を測定する手段と、
複数の次の組のカメラ設定のそれぞれのために、推定される画像内の各画素のための一組の特性を推定する手段と、
前記一組の所望の特性を有する画素の総数を最大化する次の一組のカメラ設定を選択する手段と、
を備える、カメラ設定をシーンに従って適応的に決めるように構成されるカメラ。
【請求項９】
前記各カメラ設定がフラッシュ強度設定およびシャッター露出時間設定を含む、請求項８に記載のカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的にはカメラに関し、特にカメラが最適な画像を取得するためのフラッシュ設定及び露出設定を推定することに関する。
【背景技術】
【０００２】
フラッシュ装置は、微光条件下のシーンの画像を取得するために用いられることが多い。しかし、フラッシュ装置は、様々な望ましくない効果及びアーチファクトを生じる。フラッシュ強度はカメラからの距離の二乗で低下するため、フラッシュ装置の近くにある物体は露出過多となりがちであり、その一方で、遠方にある物体は露出不足となりがちである。
【０００３】
さらに、フラッシュ装置はまた望ましくない反射を生じる。多くの場合、カメラの視野外にあるが、フラッシュ装置により強く照明された物体の反射、又は視野内の鏡面物体による反射が見られる。さらに多くの場合、シーン中の光沢のある物体による反射による強いハイライトが見られる。
【０００４】
深度の浅い屋内シーンについてフラッシュ装置を用いて取得された画像では、周囲照明のみを用いて取得された画像と比べて、細部の画質を大幅に高め、且つノイズを低減させることができる（Eisemann及びDurand著「Flash photography enhancement via intrinsic relighting」（ACM Transactions on Graphics 23, 3 (Aug.), 673-678, 2004）、並びにPetschnigg他著「Digital photography with flash and no-flash image pairs」（ACM Transactions on Graphics 23, 3 (Aug.), 664-672, 2004））。フラッシュによる影を除去し、赤目を低減し、ホワイトバランス調整を行う方法が既知である。ほとんどの従来技術の方法は、深度範囲の浅い屋内シーンについて取得された画像に対して作用する。そのような場合、フラッシュ装置は、シーン中のほとんどの物体を適切に照明する。
【０００５】
深度が大きく異なり、且つ周囲照明が著しく異なる屋内シーン及び屋外シーンの画像の画質を高めることが望ましい。
【０００６】
フラッシュ画像におけるノイズは実際に、遠方にある物体について、周囲画像におけるノイズよりも高くなる可能性がある。周囲画像の画質を高めるために、従来技術の方法は、複合バイラテラルフィルタの変形を用いてきた。
【０００７】
高ダイナミックレンジ（ＨＤＲ）画像、画像勾配、及び他の技法を用いて画像の画質を高めるいくつかの方法が既知である。Mann及びPicard著「Being undigital with digital cameras: Extending dynamic range by combining differently exposed pictures」（Proceedings of IS and T 46th annual conference, 422-428, 1995）、Debevec及びMalik著「Recovering high dynamic range radiance maps from photographs」（Proceedings of the 24th annual conference on Computer graphics and interactive techniques, ACM Press/ Addison-Wesley Publishing Co., 369-378, 1997）、Fattal他著「Gradient Domain High Dynamic Range Compression」（Proceedings of SIGGRAPH 2002, ACM SIGGRAPH, pp. 249-256, 2002）、Perez他著「Poisson image editing」（Proceedings of SIGGRAPH 2003, pp. 313-318, 2003）、Raskar他著「Image Fusion for Context Enhancement and Video Surrealism」（Proceedings of NPAR, 2004）、Agarwala他著「Interactive digital photomontage」（ACM Transactions on Graphics 23, pp. 294-302, August 2004）、Sun他著「Poisson matting」（ACM Trans. Graph. 23, pp. 315-321, 2004））を参照のこと。従来技術では、ＨＤＲ画像は通常、画像毎にシャッターの露出時間を変化させることによって取得されることに留意すべきである。
【０００８】
いくつかの従来技術の方法は、偏光フィルタを用いてフラッシュ画像を拡散成分と鏡面反射成分に分解すること、フォーカスを変化させること、又は視点を変化させることによって、フラッシュ画像から反射を除去する（Nayar他著「Separation of reflection components using color and polarization」（International Journal of Computer Vision 21, pp. 163-186, February 1997）、Schechner他著「Separation of transparent layers using focus」（International Journal of Computer Vision 39, pp. 25-39, August 2000）、Farid及びAdelson著「Separating reflections and lighting using independent components analysis」（1999 Conference on Computer Vision and Pattern Recognition (CVPR 1999), pp. 1262-1267, 1999）、並びにSzeliski他著「Layer extraction from multiple images containing reflections and transparency」（2000 Conference on Computer Vision and Pattern Recognition (CVPR 2000), pp. 2000））。確率伝搬に基づく方法が、１つの画像の無反射分解におけるエッジ数を最小化する（Levin他著「Separating reflections from a single image using local features」（2004 Conference on Computer Vision and Pattern Recognition (CVPR 2004), 2004））。
【０００９】
オンボード検知及び処理により、最新のカメラは、シーンの輝度及び距離の総測定値に基づいてフラッシュ出力及びシャッター露出時間設定を自動的に選択することが可能である。例えば、Ｃａｎｏｎ  Ａ−ＴＴＬカメラは、フラッシュ装置においてプリフラッシュ及びフォトセンサを用いて、そのシーンに必要な照明を決める。Ｎｉｋｏｎ−３Ｄカメラシステムは、カメラから被写体までの距離を用いてレンズを合焦させる。この情報は、フラッシュ出力及び露出を決めるためにも用いることができる。これら全ての場合に、特定の画像について選択されたフラッシュ設定及び露出設定により、シーン中の全ての物体が適切に照明されることが必ずしも保証される訳ではないことに留意することが重要である。さらに、これらの設定は完全に、画像が取得される前にシーン中の幾何学的配置及び周囲照明を検知することに基づき、フラッシュ照明の実際の効果を考慮しない。また、これらの設定は適応的でない。これらの方法は、ＨＤＲシーンの複数の画像を取り込む間に、取り込まれた以前の画像の効果を考慮しない。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明の目的は、或るシーンについて取得されるフラッシュ画像及び周囲画像の画質を高めることである。
【００１１】
本発明の目的は、高ダイナミックレンジのフラッシュ画像を作成することである。
【００１２】
本発明の目的は、カメラ設定を適応的に推定することである。
【課題を解決するための手段】
【００１３】
フラッシュ画像にはいくつかの問題があることが知られている。フラッシュ画像において近くにある物体は露出過多となりがちであり、その一方で、遠方にある物体は露出不足になる。近くにある物体は反射も生じ、強いハイライトを有し得る。
【００１４】
コヒーレンスモデルが、フラッシュ画像の強度勾配を周囲画像の勾配と関連付ける。このモデルは、フラッシュ画像及び周囲画像に存在する変化する照明条件下で不変である。
【００１５】
コヒーレンスモデルに基づいて、勾配射影が、フラッシュ装置を使用した結果としての望ましくない反射及びハイライトに起因する画像勾配の成分を低減させる。輝度比に基づくプロセスが、異なる深度における照明差を補償する。
【００１６】
多くの実際の用途では、フラッシュ画像及び周囲画像の画質は、カメラのダイナミックレンジに関して制限される可能性がある。このような用途では、様々なフラッシュ強度を用いて複数の画像が取得され、十分に照明された（ＨＤＲ）フラッシュ画像が提供される。
【００１７】
十分に照明された画像は分析されることができ、或るシーンについて取得する必要のある画像数を最小化するために適応的にサンプリングされる。画像の画質を高める方法も提供される。
【００１８】
フラッシュ画像と周囲画像の輝度比は深度と表面の向きの複合効果を表す。この比を用いて、深度が深くなるにつれて露出過多効果及び露出不足効果を低減するようにフラッシュ画像を修正することができる。
【発明の効果】
【００１９】
フラッシュ照明及び周囲照明下で取得される画像の画質を高める方法及びシステムが提供される。３つの既知の問題、すなわち、所与のフラッシュ出力における照明過多及び照明不足、反射又はハイライト、並びに深度にわたる照明の減衰に対処する。フラッシュ画像中のアーチファクトは、周囲画像中の情報を使用することによって低減することができる。
【００２０】
フラッシュ画像及び周囲画像における制限されたダイナミックレンジを克服するために、フラッシュ−露出空間が適応的にサンプリングされる。フラッシュ−露出空間を理解することによって、十分に新規な画像合成効果としてより良いカメラを設計することができる。
【発明を実施するための最良の形態】
【００２１】
図１は、本発明の１つの実施の形態による、画像の画質を高める方法及びシステムを示す。フラッシュ画像１０１が或るシーン１００についてカメラにより取得される。この場合、シーンは、第１の照明条件、例えばフラッシュ装置により照明される。フラッシュ画像から勾配フラッシュ画像１１１が求められる１１０。周囲画像１０２がシーンについてカメラにより取得される。この場合、シーンは、第２の照明条件、例えば周囲光により照明される。周囲画像について勾配周囲画像１２１が求められる１２０。
【００２２】
フラッシュ画像を取得する間にシーンが周囲光によっても照明される場合、周囲光の相対量は比較的少ない。したがって、いくらかの周囲光がシーン中に存在する場合、周囲光による寄与は無視することができるか、又は、フラッシュ画像から周囲画像を減算することによって「純粋な」フラッシュ画像を得ることができる。
【００２３】
本発明の実施の形態の例示的な第１の照明条件及び第２の照明条件をフラッシュ照明及び周囲照明として説明する。他の照明条件、例えば、１つ又は複数の点光源からの明るい光、適度な周囲光、自然光、人工光、異なる照明方向、異なる波長（色）、日光、月光、拡散（ぼんやりした）光等を用いることもできることに留意すべきである。
【００２４】
本明細書中に定義するように、勾配画像は通常、画像中の各画素における強度についてｘ勾配及びｙ勾配を有する。画像勾配は当該技術分野においてよく知られている。画像勾配の求め方について多数の方法が既知である。参照により本明細書中に援用されるJ. D. Foley、A. van Dam、S. K. Feiner、及びJ. F. Hughes著「Computer Graphics: Principles and Practice」（second edition, Reading, Mass., Addison-Wesley, 1990）を参照のこと。
【００２５】
勾配フラッシュ画像１１１と勾配周囲画像１２１を比較１２５し、次に合成１３０して合成勾配画像１０３を生成することができる。１つの実施の形態において、比較１２５は、勾配画像中の勾配ベクトルの向きを考慮する。合成勾配画像１０３中の勾配を積分して、シーンのエンハンスド出力画像１０４を構成１４０する。図２を参照のこと。
【００２６】
本発明は以下の原理に基づく。
【００２７】
イメージングモデル
フラッシュ写真撮影を用いてシーン１００から取得される放射輝度は、出力Ｐのフラッシュ照明による放射輝度Φと、周囲照明による放射輝度αとの一次結合である。フラッシュ画像Ｆは、１単位のシャッター露出に対するフラッシュ出力Ｐによってスケーリングされたフラッシュ放射輝度マップΦである。周囲画像Ａは、露出時間Ｅによってスケーリングされた周囲放射輝度マップαである。スケールＰ及びＥは全ての画素について一定である。
【００２８】
所与の波長に対する線形応答カメラの放射照度マップＩは次式によって与えられる。
【００２９】
【数１】
0004675851.tif 000002
【００３０】
本発明では、フラッシュの持続時間、例えば１ミリ秒は、露出時間Ｅ、例えば数十又は数百ミリ秒よりも大幅に短いものと仮定する。カメラ及びフラッシュ装置は位置が固定されているため、シーン中の拡散物体、鏡面物体又は透明物体によるシーンの反射率、幾何学的配置、すなわち近いか遠いか、或いは媒体、例えば、空気、霧、水中又はガラスに関係なく式（１）は有効である。
【００３１】
方向ωｒにおける双方向反射率分布関数Ψを用いた１点における画像放射照度は次式によって与えられる。
【００３２】
【数２】
0004675851.tif 000003
【００３３】
入射放射照度項Ｌｉ（ωｉ）は半球Ω内のフラッシュ項及び周囲項を含み、θｉは面法線と入射放射照度の間の角度である。
【００３４】
具体的には、反射率ρを有する拡散物体の場合、周囲照明による成分は次のように表される。
【００３５】
【数３】
0004675851.tif 000004
【００３６】
ここで、Ｂは集合環境（aggregated ambience）である。したがって、周囲成分αはシーンの反射率及び周囲照明に依存する。フラッシュ画像の成分は次のように表される。
【００３７】
【数４】
0004675851.tif 000005
【００３８】
フラッシュ成分はシーンの反射率、フラッシュ装置からの距離ｄ、及びフラッシュ方向と表面の向きの角度θＦに依存する。
【００３９】
フラッシュ照明はフラッシュ装置からの距離とともに低下するため、遠方にある物体又は暗い物体は低い放射輝度値を有し、近くにある物体及び明るい物体は高い放射輝度値を有するものと予期する。
【００４０】
フラッシュ画像１０１と周囲画像１０２の対を用いて、画像全体について未知のスケールファクタまで成分Φ及びαを推定することができる。しかし実際には、カメラのダイナミックレンジが制限されているためにフラッシュ画像又は周囲画像の画質は非常に低くなる可能性がある。
【００４１】
フラッシュ画像のアーチファクト
本発明では、照明が変化しても変化しないシーンの特性を求め、これらの特性を用いて、反射、ハイライト及びホットスポット等のフラッシュアーチファクトを検出する。対応する画像パッチの類似度を求めるには、相関及び輝度比が一般に用いられる。
【００４２】
本発明は、フラッシュ画像及び周囲画像中の勾配ベクトルの向きに基づくコヒーレンスモデルを提供する。
【００４３】
勾配の向きのコヒーレンス
画像勾配が照明の局所的な変化によるものではなく、反射率及び幾何学的配置の局所的な変化によるものである場合、画像勾配の向きは可変照明下で比較的不変である。
【００４４】
２つの照明条件があるが、フラッシュ照明は、フラッシュ装置がカメラの中心付近にある特殊な場合であり得る。フラッシュで照明したシーンの影は、深度エッジにおける影を除けばごくわずかである。したがって、一般に、フラッシュ画像勾配の向きは、フラッシュアーチファクト及び周囲の影エッジを除けば周囲画像勾配の向きとコヒーレントであると予想される。したがって、勾配ベクトルの向きの比較によりフラッシュアーチファクトを示すことができる。
【００４５】
このコヒーレンスは、強度エッジのみでなく、画像中のほぼ全ての画素において存在する。ごく小さな大きさの勾配の方向は不安定であるため、本発明では、強度値を［０，１］の範囲に規格化した場合に勾配の大きさが０．００５未満の画素を除外する。
【００４６】
【数５】
0004675851.tif 000006
【００４７】
がフラッシュ放射輝度成分Φと周囲放射輝度成分αの間のコヒーレンシマップを示すものとする。したがって、コヒーレンスマップＭ（ｘ，ｙ）は画素（ｘ，ｙ）におけるフラッシュ画像と非フラッシュ画像の勾配ベクトルの角度の類似度を符号化する。
【００４８】
フラッシュ画像及び周囲画像における画素強度は大きく異なるが、勾配の向きのコヒーレンスは、フラッシュ画像及び周囲画像における勾配ベクトルは向きが同じであるが大きさが違うことを示す。したがって、勾配∇は未知のスカラー値ｋによって関連付けられる。したがって、勾配コヒーレンスモデルは次のように表される。
【００４９】
【数６】
0004675851.tif 000007
【００５０】
スカラー値ｋは全ての画素について同じである訳ではない。しかし、スカラー値ｋは反射率に依存しない。したがって、スカラー値ｋは滑らかな表面上で比較的平坦である。スカラー値ｋは反射率勾配において正である。しかし、スカラー値は、深度エッジにおいて負になる可能性があり、勾配の極性が逆になると増加する。いずれにせよ、角度範囲［０，π］内における向きは不変である。後述のように、フラッシュ画像又は周囲画像は、反射、フラッシュの直接反射によるホットスポット、及び鏡面反射等のアーチファクトを示す。
【００５１】
図３Ａ及び図３Ｂに示すように、これらのアーチファクトを未知のノイズとしてモデル化し、次のような新たな勾配∇α’及び∇Φ’を生成することができる。
【００５２】
【数７】
0004675851.tif 000008
【００５３】
図３Ａは、周囲画像とフラッシュ画像の勾配の関係を示す。勾配フラッシュ画像Φはノイズηによって損なわれている。図３Ｂは、本質的に射影である合成１３０によって∇αに直交するノイズηを除去することのできる方法を示す。
【００５４】
１つのフラッシュ画像Φ’を２つの画像Φ及びηＦに分解することは不良設定問題である。２つの式及び４つの未知数がある。勾配のコヒーレンスを分析し、スカラー値ｋを明示的に推定せずにベクトル射影をとることによって、この制約不足問題から歪みのない成分を復元することが可能である。
【００５５】
画像中の１画素における勾配は、反射率、表面の向き、深度又は照明の変化によって生じる。反射率勾配は向きを保存するが、照明勾配は向きを保存しない。幾何学的配置による勾配もまた、大きさの小さな勾配を除いて向きを保存する。
【００５６】
１画素における勾配∇Ｉｘ，ｙ＝（Ｇｘ，Ｇｙ）は向きｔａｎ−１（Ｇｘ／Ｇｙ）を有する。Φ及びαの値を代入することによって、フラッシュ画像１０１と周囲画像１０２の勾配比Ｇｘ／Ｇｙを比較することができる。
【００５７】
滑らかな表面における反射率勾配の場合、面法線及び観察方向は一定であるため、画素（ｘ，ｙ）、（ｘ＋１，ｙ）及び（ｘ，ｙ＋１）におけるｃｏｓφ、ｄ及びＢは同じである。以下の式から、両画像における比は等しい。
【００５８】
【数８】
0004675851.tif 000009
【００５９】
したがって、勾配の向きは不変である。Ｐ及びＥの項は勾配の向きに影響を与えないため、Ｐ及びＥの項のスケーリングを簡略化のために無視することができる。周囲画像では周囲照明により生じるが、フラッシュ画像では生じない滑らかな表面における照明勾配の場合、比は異なる。一般性を失うことなく、照明エッジが画素（ｘ，ｙ）及び（ｘ＋１，ｙ）を通るものとする。これにより、上記の式とは異なる比が生じ、次式により与えられる。
【００６０】
【数９】
0004675851.tif 000010
【００６１】
したがって、照明勾配におけるコヒーレンスは低い。深度エッジでは、背景がフラッシュ画像よりも周囲画像において明るく照明されることがあるため、向きの極性が変化する可能性がある。しかし、高い勾配では、エッジの向きは変わらない。しかし、低い強度勾配では、深度エッジにおける勾配の向きは変化し得る。コヒーレンシマップＭは、フラッシュ画像と非フラッシュ画像の勾配ベクトルの角度の類似度を符号化する。
【００６２】
勾配の合成
信号勾配ベクトルに直交するノイズ勾配ベクトルの成分を除去することによって、ノイズの視覚効果を大幅に低減することができる。先ず、画像の勾配を角度φだけ回転させる効果を分析する。Ｇ＝［Ｇｘ，Ｇｙ］が画像Ｉの勾配場を示すものとする。各画素において、勾配は角度φだけ回転されて、次式によって与えられる新たな勾配場Ｇ’＝［Ｇ’ｘ，Ｇ’ｙ］が生成される。
【００６３】
【数１０】
0004675851.tif 000011
【００６４】
Ｉ’は、ポワソン方程式∇２Ｉ’＝ｄｉｖ（Ｇ’）を解くことによって得られる［Ｇ’ｘ，Ｇ’ｙ］から構成された画像を示すものとする。ここで、ｄｉｖは発散演算子を示す。２Ｄベクトル場Ｇ’の発散はｄｉｖ（Ｇ’）＝（∂Ｇｘ／∂ｘ）＋（∂Ｇｙ／∂ｙ）によって与えられる。Ｇ’ｘ及びＧ’ｙの式を代入することによって、スカラー場の回転は常にゼロであるため、次式が得られる。
【００６５】
【数１１】
0004675851.tif 000012
【００６６】
したがって、画像勾配を角度φだけ回転させることによって、勾配場の発散はｃｏｓ（φ）分の１に減少する。したがって、φ＝π／２の角度において、あらゆる画像について発散はゼロになる。
【００６７】
これは、画像に直交する勾配成分を除去しても、画像からは何も除去されないことを証明する。したがって、合成１３０により、信号に直交するノイズ成分を排除することができる。
【００６８】
本明細書中では、合成１３０が射影である場合、記号→を用いる。したがって、図３Ｂに示すように、周囲画像勾配１１２へのフラッシュ画像勾配１１１の射影１３０は次式により与えられる。
【００６９】
【数１２】
0004675851.tif 000013
【００７０】
ベクトル
【００７１】
【数１３】
0004675851.tif 000014
【００７２】
はベクトル∇Φに沿い、未知のスケールファクタを含む。しかし、除去部分はベクトル∇Φに直交する。
【００７３】
したがって、合成１３０は、ノイズ∇ηが∇Φに直交する反射信号の成分を除去することを可能にする。
【００７４】
反射の除去
勾配の合成に基づくフラッシュアーチファクトの除去のいくつかの応用を説明する。
【００７５】
窓、保護用のニスコーティング又は絵画の前方にあるガラスのような透明レイヤを含むシーンの画像を取得する場合、フラッシュ画像は、意図しない反射又はホットスポットを含むことが多い。場合によっては、フラッシュ装置は、ガラスの背後にあるもの、例えば店内の商品を照明することが意図される。場合によっては、目標は、ガラスの前方にある物体を照明することである。場合によっては、周囲画像でさえ反射を含む。特定の条件下では、図４Ａに示すように、フラッシュ画像１０１を使用することによって反射を低減することができる。
【００７６】
式（４）を再び参照して、フラッシュ画像と周囲画像の対のうち一方の画像のみが所与の領域において損なわれ、３つの未知数及び２つの式があるものと仮定する。
【００７７】
透明レイヤの背後のシーン
この応用では、フラッシュは、ガラスの背後にあるシーンを照明するよう意図される。しかし、ガラスの前方にある物体からの反射がアーチファクトとして現れる可能性がある。したがって、ηＡ＝０であり、ηＦは非ゼロであり、∇Φ及び∇αは、フラッシュ反射ηＦが存在する場所を除くあらゆる場所においてコヒーレントである。目標は、無反射画像１０４を構成することである。
【００７８】
これを達成するために、次式に従ってフラッシュ勾配１１１を周囲勾配１１２に射影１３０することによって新たな勾配場∇Φ＊を得る。
【００７９】
【数１４】
0004675851.tif 000015
【００８０】
合成勾配∇Φ＊１０３を積分することによって、アーチファクトのない画像１０４が構成１４０される。
【００８１】
反射レイヤの前方のシーン
この応用では、物体、例えば人物を、窓又はガラスで覆われた絵画のような反射レイヤの前方に配置する。反射レイヤの背後のシーン部分は、周囲照明によって十分に照明される。しかし、ぼんやりと照明された前景物体を照明するにはフラッシュが必要である。したがって、式（４）に関して、ηＡ＝０であり、ηＦは非ゼロであり、∇Φ及び∇αは、フラッシュ反射ηＦが存在する場所を除くあらゆる場所においてコヒーレントである。目標は、無反射画像１０４を構成することである。
【００８２】
次式に従って、重みｗｓ並びに勾配コヒーレンシマップ及び飽和度マップを用いてフラッシュ画像勾配と周囲画像勾配を一次結合することによって新たな勾配フィールド∇Φ＊を得る。
【００８３】
【数１５】
0004675851.tif 000016
【００８４】
図４Ｂは、飽和画素及び不飽和画素の規格化された画素強度の関数としての重みを示す。次に、合成勾配∇Φ＊１０３を積分することによってアーチファクトのない画像１０４を構成する。
【００８５】
自己反射
フラッシュ画像は、周囲画像における反射を除去するためにも用いることができる。例えば、十分に照明された絵画を撮影する際、周囲画像にしばしば反射が写る。反射を最小限に抑えるために、露出の少ないフラッシュ画像を撮影してもよい。しかし、フラッシュはホットスポットを生じる可能性がある。ここでの目標は、フラッシュ装置により生じるホットスポットのない、無反射画像を復元することである。
【００８６】
したがって、式（４）に関して、ηＡは非ゼロであり、ηＦはホットスポットにおいて非ゼロであり、∇Φ及び∇αは、ホットスポット及び周囲反射の場所を除くあらゆる場所においてコヒーレントである。
【００８７】
合成１３０を用いて、この場合、フラッシュ勾配への周囲勾配の射影をとる。フラッシュ勾配への周囲勾配の射影は、フラッシュ勾配が信頼できない場所、例えばホットスポットではとれないため、その場所には反射がないものと仮定し、それらの画素における元の周囲勾配を用いる。したがって、この場合の新たな勾配場１０３は次のようになる。
【００８８】
【数１６】
0004675851.tif 000017
【００８９】
本発明では、２Ｄ積分を勾配場に適用して、アーチファクトのない画像を構成１４０する。積分は、Elder著「Are Edges Incomplete?」（International Journal of Computer Vision 34, 2/3, pp. 97-122, 1999）、Fettal他著「Gradient Domain High Dynamic Range Compression」（Proceedings of Siggraph, ACM SIGGRAPH, 2002）、及びRasker他によって２００３年３月１９日付で出願された米国特許出願第１０／３９２，４２９号「Enhancing Low Quality Images of Naturally Illuminated Scenes」（これらは全て参照により本明細書中に援用される）に記載されるような直接的な方法を用いることができる。ポアソン方程式∇２Ｉ＝ｄｉｖＧを解くことによって、Ｇ＝∇Ｉであるような勾配Ｇからの画像強度関数Ｉ’の推定値を得ることができ、ここで、∇２はラプラス演算子であり、「ｄｉｖ」は発散演算子である。ポワソン方程式は、フルマルチグリッド法を用いて解くことができる。参照により本明細書中に援用されるPress他著「Numerical Recipes in C: The Art of Scientific Computing」（Pearson Education, 1992）を参照のこと。
【００９０】
残差画像
興味深いことに、フラッシュ画像勾配１１１から合成勾配１０３を減算１５０することによって得られる残差勾配を積分することによって、ノイズ又は反射レイヤ、一般には残差画像１０５を復元することもできる。
【００９１】
自己反射の場合、反射レイヤηＡの勾配は次式により得ることができる。
【００９２】
【数１７】
0004675851.tif 000018
【００９３】
図５は、ガラスで覆われた絵画の前方に立つ撮影者が撮影した画像を示す。撮影者の腕５０１の反射が周囲画像１０２には写るが、フラッシュ画像１０１には写らない。しかし、フラッシュ画像はホットスポット５０２を含む。エンハンスド画像１０４にはどちらも写っていない。残差画像１０５には撮影者及びフラッシュ装置がともに写っている。
【００９４】
夜間における反射レイヤの前方のシーン
図６に示すように、一般的な応用は、ガラスに囲まれた部屋の中にいる人物の画像を夜間に取得することである。このような応用ではカメラの「夜間シーン」モードが一般に使用される。
【００９５】
人物は周囲画像１０２では露出不足になる。しかし、フラッシュ画像１０１は部屋の中の物体の反射６０１を含む。したがって、人物が十分に照明され、ガラスの背後にある背景が写り、フラッシュによる物体の反射がないエンハンスド画像１０４を構成することが望ましい。
【００９６】
明らかに、このようなシーンでは、フラッシュ装置は、窓の外の遠方にある建物を照明しない。したがって、フラッシュ画像と周囲画像を加算して、十分に照明された人物及び背景を得ることができる。
【００９７】
Ｈがフラッシュ画像と周囲画像の加算を示すものとし、加算画像における勾配を∇Ｈとする。しかし、加算Ｈには人物の反射が依然として残っている。反射を除去するために、周囲勾配∇αへの∇Ｈの射影１３０をとることができる。しかし、周囲画像が露出不足である場所、例えば窓の前方にいる人物における射影は信頼できない。
【００９８】
本発明では、露出不足マップを生成し、画素毎に、その強度に応じて、露出不足の画素の重みｗｕｅを求める。このような画素の全てにおいて、元のフラッシュ勾配を保持する。したがって、この場合、合成勾配場１０３は次のようになる。
【００９９】
【数１８】
0004675851.tif 000019
【０１００】
合成勾配∇Φ＊１０３を積分することによって、エンハンスド画像１０４を構成１４０する。
【０１０１】
深度補償
フラッシュ輝度は、カメラからの距離の二乗で低下するため、フラッシュは、輝度が深度とともに急激に低下するトンネル効果を生じる。本発明では、符号化された深度−向き情報を用いて、フラッシュ画像中の遠方にある物体の強度をスケーリングする。
【０１０２】
フラッシュ成分及び周囲成分のリニアスケール項（linear scale term）の比βは次のようになる。
【０１０３】
【数１９】
0004675851.tif 000020
【０１０４】
周囲照明Ｂ（ｘ，ｙ）が一定又は低周波数であると仮定すると、ｄ２／ｃｏｓθ減衰を補償することによって、エンハンスド画像１０４を生成することができる。本発明では、コヒーレンシマップＭを用いて、フラッシュ画像の勾配を、コヒーレンシが高い場所でのみ１／βによりスケーリングする。残りのフラッシュ勾配は次式に従って不変である。
【０１０５】
【数２０】
0004675851.tif 000021
【０１０６】
ガンマ補正、基底画像及び細部画像を用いたコントラストの低減、又は勾配のノンリニアスケーリング等の従来の強度規格化技法は、画像の全体的な外観を変化させる。対照的に、βマップを用いる本発明の方法は局所的なスケーリングのみを適用する。
【０１０７】
図７はこの効果を示し、近くにいる人物が、フラッシュ画像１０１では露出過多になるが周囲画像１０２では露出不足になり、エンハンスド画像１０４では実質的に均等に照明される。
【０１０８】
ＨＤＲ出力画像
図９に示すように、本発明の１つの実施の形態は、カメラ９０４によりシーン９０３について、様々なフラッシュ出力９０１、又は一般に照明条件を用いた複数の画像、並びにオプションで、様々な露出時間９０２を用いた周囲画像を取得する。上述のように画像毎に勾配を求める。勾配画像９０１及び９０２を合成９１０して、エンハンスド出力画像９１４を構成する。出力画像では、できるだけ多くの画素が照明条件を変化させることによって「十分に照明される」。したがって、事実上、この十分に照明された画像は、露出時間を変化させることによって得られる従来技術の高ダイナミックレンジ画像（ＨＤＲ）に知覚的に匹敵する。十分に照明されたという用語は、シーンを最適に照明するためにシーン中の照明量を変化させることから用いられる。
【０１０９】
ダイナミックレンジは、シーン中の輝度レベル範囲を指す。ダイナミックレンジは通常、カメラのｆ値に関して測定され、各ｆ値は隣接するｆ値の輝度を２倍又は半分にする。ほとんどのデジタルカメラシステムは、約６つのｆ値から成る範囲を有する。従来技術では、異なる露出時間で複数の画像を取得し、それらの画像をブレンドして１つの出力ＨＤＲ画像にすることによってダイナミックレンジは大幅に拡張される。
【０１１０】
したがって、従来技術のＨＤＲ画像は露出を変化させることによって得られる。これにより、シーン中の照明量は一定であるにも拘らず、カメラにより取り込まれる照明量は変化する。本発明によるＨＤＲ画像は照明条件を変化させる。したがって、この場合、露出時間は一定であるにも拘らず、カメラによって取り込まれる光量は変化する。
【０１１１】
フラッシュ出力を変化させることは、本発明による、シーン中の照明条件を変化させてＨＤＲ画像を取得する１つの方法に過ぎないことに留意すべきである。上述した様々な照明条件はいずれも、同様に用いることができる。
【０１１２】
図１０は、異なるフラッシュ出力（Ｐ）及び露出時間（Ｅ）で取得した画像を示す。縦軸に沿ったフラッシュ出力の変化による照明の変化は、横軸に沿った露出時間の変化の場合と全く異なることに留意されたい。図１１は、図１０と同じシーンのＨＤＲ画像を示す。
【０１１３】
本明細書において本発明の１つの実施の形態について説明するように、従来の露出時間ＨＤＲは、フラッシュ出力ＨＤＲと、またオプションでフラッシュ−露出ＨＤＲと異なる。所与の（Ｐ，Ｅ）設定に対して同じ強度値を有する２つの画素は、異なる（Ｐ，Ｅ）設定において異なる値を有し得る。
【０１１４】
レンダリング
輝度放射マップΦ及びαをレンダリング９２０するために、本発明では、合成中の画像に二値トーンマッピングを適用する。一方のトーン値はフラッシュ露出を表し、他方の値は露出時間を表す。従来技術のトーンマッピングは、様々な露出時間で取得した画像に適用され、１つのトーン値のみを用いる。対照的に、本発明ではトーンマッピングを、様々なフラッシュ出力及び様々な露出時間で取得した画像に適用する。本発明では、フラッシュ画像のみを取得する場合、単一値トーンマッピングを用いることもできる。
【０１１５】
トーンマッピングは、知覚上重要な特徴は全て保存したまま、高ダイナミックレンジを表示可能な範囲に圧縮する。具体的には、トーンマッピングは通常、他の方法ではカメラのダイナミックレンジにより制限される光学現象を模する。これらの例としては、ほとんどがレンズ及びＣＣＤの特性であるフレア又はブルーミング、並びに微光条件によるブルーシフトがある。トーンマッピングは、画像の全体的な輝度を閲覧に許容し得るものにする。参照により本明細書中に援用されるReinhard他著「Dynamic Range Reduction Inspired by Photoreceptor Physiology」（IEEE Transactions on Visualization and Computer Graphics, vol. 11, no. 1, pp. 13-24, January/February 2005）を参照のこと。これは、露出不足又は露出過多の画像に特に重要である。トーンマッピングはトーン関数を用いることができる。Zhangに対して２００５年５月１７日付で発行された米国特許第６，８９４，７２０号「Method and apparatus for applying tone mapping functions to color images」（参照により本明細書中に援用される）を参照のこと。
【０１１６】
合成された、十分に照明された（ＨＤＲ）画像９１４は、フラッシュ放射輝度マップと露出放射輝度マップを「融合」することによって９１０構成することができる。本発明では、画素毎にフラッシュＨＤＲ画像勾配と露出ＨＤＲ画像勾配の間で勾配の最大値を選択して最大コントラストを保存することによってマップを融合する。本発明では、フラッシュ放射輝度マップΦマップから周囲放射輝度マップαへの勾配の逆転も考慮する。さもなければ、近傍の画素の勾配が逆の向きとなる可能性があり、融合マップの品質に影響する。これを達成するために、本発明では、Φからαの間のコヒーレンシマップＭを利用する。コヒーレンシが十分に高い、例えば、何らかの所定の閾値よりも高い場合にのみ、勾配の最大値をとる。そうでなく、コヒーレンスが閾値よりも低い場合、フラッシュ画像における勾配を保持する。
【０１１７】
Ｔが、フラッシュ勾配∇Φの大きさが周囲∇αの大きさよりも大きい場合に「１」となり、そうでない場合に「０」となるようなマスクを示すものとする。したがって、新たな「融合」勾配場∇Ｒは次のように定義される。
【０１１８】
【数２１】
0004675851.tif 000022
【０１１９】
ＨＤＲフラッシュ画像は、上述のように、単に複数のフラッシュ画像９０１を融合することによって構成することができることに留意すべきである。
【０１２０】
トーンマッピングの後、上述のような勾配の積分を用いて最終的な出力画像をレンダリングすることができる。
【０１２１】
適応的なフラッシュ出力設定及び露出時間設定
多くの従来のカメラは、内部センサ及びプロセッサを用いて適切なカメラ設定を推定する。通常、センサは、シーン中の幾何学的配置及び照明条件を測定する。次に、これらを用いて、本明細書中において全体として「カメラ設定」と呼ばれるフォーカス、露出及びフラッシュ出力を設定することができる。しかし、従来技術の推定は、単一の適切なカメラ設定についてのみであり、これは、画像を取得する前のシーンの総測定値に基づく。これは多くの場合、露出過多又は露出不足につながり得る。
【０１２２】
最適なカメラ設定、例えばフラッシュ出力及び露出時間を事前に決めることは困難である。最適な設定は、近くにある物体又は明るい物体を飽和させることなく、シーン中の遠方にある物体又は暗い物体を照明すべきである。これは、シーンの事前検知からは決めることができない。
【０１２３】
本発明の１つの実施の形態は、デジタルカメラが事実上無数の画像を取得できるという事実を利用することができる。最適な画像のみを記憶又はダウンロードすればよい。したがって、カメラは先ず、１つ又は複数の「テスト」画像を取得して、最適なカメラ設定を決めることができる。
【０１２４】
シーンを検知する代わりに、本発明では、検知素子において所望の特性を測定する。検知素子は、ＣＣＤタイプのカメラセンサの画素であってもよく、又はいくつかの画素及びマイクロレンズ及びフィルタを組み合わせてもよい、より高レベルの検知構造であってもよい。最適化される特性の組は、入射光の強度、波長、偏光、及び位相を含むことができる。
【０１２５】
したがって、本発明では、シーン条件に頼る代わりに、カメラによって取得された実際の画像を測定して最適なカメラ設定を決める。本発明では、複雑で時間のかかる高レベルのシーン分析を行わないことにも留意すべきである。Bolle他に２００１年１０月９日付で発行された米国特許第６，３０１，４４０号「System and method for automatically setting image acquisition controls」を参照のこと。その代わりに、本発明では単純に、センサ素子の出力を調べて、素子毎に検知された特性を測定する。したがって、本発明のカメラは、多数の画像を非常に短時間で取得し、最後の画像のみを保持することができる。ユーザにとって、本発明のカメラの動作及び挙動は従来通りに見える。
【０１２６】
設定は、偏光、観察方向、照明の波長、カラーバランス、フォーカス、ズーム、ｆ値、露出、並びにフラッシュ出力、フラッシュ方向及び空間分布等を含み得る。
【０１２７】
図８Ａに示すように、本発明では、図１０の例示的な画像について２次元のフラッシュ出力（Ｐ）及びシャッター露出時間（Ｅ）を分析することができる。本発明はまた、この２ＤのＰＥ空間を適応的にサンプリングして、単一の高品質なフラッシュ画像と周囲画像の対（Φ，α）を推定する方法を提供する。次に、この画像対を用いて、エンハンスド画像を取得することができる。
【０１２８】
図８Ａにおいて、白丸８０１は、フラッシュ出力の変化による画像のダイナミックレンジを示し、黒丸８０２はシャッター露出の変化によるダイナミックレンジを示す。点模様の丸８０３はフラッシュ出力と露出時間の両方の変化によるダイナミックレンジを示す。
【０１２９】
フラッシュ出力及び露出時間は相補的な情報を提供する。露出時間を増やすことにより、さもなければフラッシュ装置では照明されない深度のより深い物体の周囲画像を取得することができる。これを図８Ｂに示し、実線８１１は１画素における強度の可能な等高線を示し、破線８１２は別の画素の可能な強度等高線を示す。点模様の領域８２１及び８２２は概ね、露出不足及び露出過多をそれぞれ生じる出力（Ｐ）設定及び露出（Ｅ）設定を示す。
【０１３０】
領域８２３は、以下で定義する「十分に露出された」強度値を有する画素を生じる出力設定及び露出設定を示す。
【０１３１】
本発明では、上述のデータを得るために、例えば、ＮＦ個の異なるフラッシュ出力及びＮＡ個の異なる露出時間を用いてＮＦ×ＮＡ個の画像９０１及び９０２を取得する。カメラ応答を線形化した後、露出軸Ｅに沿ったＮＡ個の周囲サンプル、すなわち、様々な露出時間を有するサンプルのみを用いることにより従来のＨＤＲ方法を用いて周囲放射輝度フィールドαを推定することができる。フラッシュ放射輝度フィールドΦは、固定された露出Ｅ＊において様々なフラッシュ出力を有するＰ軸に平行なＮＦ個のサンプルを用いることによりフラッシュＨＤＲ方法を用いて推定することができる。
【０１３２】
しかし、これらのサンプルにおける画素強度の多く８２１及び８２２は露出不足又は露出過多であり、「十分に露出された」画素の使用可能な強度範囲の外にある。
【０１３３】
本明細書中で定義されるように、「十分に露出された」画素は、中間の約２／３の範囲、例えば範囲［０，２５５］における５０〜２２０、又は規格化された範囲［０，１］における０．２〜０．８５の強度を有する。これらの値は、異なるカメラでは変化し得ることに留意すべきである。しかし一般に、十分に露出された画素は露出不足でも露出過多でもない。十分に露出された画素は、ＳＮＲ又は「良さ（goodness）」の測度に従って測定される。十分な露出は、１つの検知素子、例えば画素における望ましい特性の１つに過ぎない。
【０１３４】
本発明では、図１２に示すように、ＰＥ空間を分析し、十分に露出された強度を有する画素毎にフラッシュ−露出の合計値を保持することができる。
【０１３５】
画像１２０２中の各画素ｋについて、フラッシュと露出の各対（Ｐｉ，Ｅｊ）のＮＦ×ＮＡ個の式は次のように表すことができる。
【０１３６】
【数２２】
0004675851.tif 000023
【０１３７】
次に、画素毎に、ＮＦ×ＮＡ個の一次方程式から成る連立方程式を対応する画素の最小二乗系として解き、２つの未知数Φｋ及びαｋを推定１２１０する。また、各一次方程式を信頼度Γ（Ｉｋｉ，ｊ）により重み付けして重み付き最小二乗解を得ることができ、ここで、Γ（．）は特定のカメラＩＳＯ設定における画素強度のＳＮＲ、又は「良さ」の測度である。
【０１３８】
図８Ｃに示すように、ノイズの多い強度値８３２すなわちＩは、各画素のＰＥ格子の上に高さ場を形成する。上述の最小二乗法を用いて適切なΦ値及びα値を求めることは、この表面に平面８３４を当てはめることに対応する。この平面はＰＥ格子の原点８５０を通る。
【０１３９】
平面８３４の当てはめを図８Ｃに示し、軸は画素強度（Ｉ）、シャッター露出（Ｅ）、及びフラッシュ出力（Ｐ）である。黒丸８３１は、ＰＥ格子８３３内の様々なフラッシュ出力（Ｐ）設定及びシャッター露出（Ｅ）設定に対する画素強度（高さ）８３２である。平面８３４は画素強度８３２に当てはめられる。
【０１４０】
ＰＥ空間は豊富な情報を有する。１つの画素における出力値μの等高線８１１はΦＰｉ＋αＥｊ＝μによって与えられる。等高線は当然ながら平行である。これらの線は、フラッシュ画像において照明されない遠くにある物体の場合は垂直、周囲画像において照明されない近くにある物体の場合は水平であり、一般に、両方の画像において照明されている物体の場合は負の傾きで傾斜している。拡散反射の場合、傾きは概してβ＝ｃｏｓ（θ）／Ｂｄ２）であり、テクスチャとは無関係である。
【０１４１】
ＰＥ空間の適応的サンプリング
実際のシナリオにおいて、Ｎｆ×Ｎａ個の画像を全て取り込むことは時間がかかり面倒である。高ダイナミックレンジのシーンを取得するために必要な画像数を最小化し、カメラがエンハンスド画像を取得するのに最適なフラッシュ設定及び露出設定を自動的に決めることが望ましい。目標は、以前に取得された画像においてＳＮＲが高いと測定された画素を除き、十分に露出された強度値を有する画素数を最大化することである。
【０１４２】
本明細書では、ＰＥ空間における「ウォーク」を用いて最小数のサンプルを選択する方法、及び選択したサンプルからカメラの最適なフラッシュ出力Φ及びシャッター露出時間αを推定する方法を説明する。
【０１４３】
目的は、一組の所望の特性を有する画素数を最大化するために、次の画像に対する適切なフラッシュ出力設定及びシャッター露出時間設定、及び他のオプションの設定をカメラに自動的に選択させることである。すなわち、目的は、十分に露出された画素強度帯におけるフラッシュ成分Φ及び露出成分αをサンプリングすることである。
【０１４４】
図１２に示すように、カメラ１２０１は、所定の露出設定及びフラッシュ出力設定を用いてシーン１２０３の最初の画像１２０２を取得する。例えば、設定は手動であっても、カメラ１２０１内の従来のセンサによって決められていてもよい。放射輝度Φ及びα１２１１の推定値１２１０は画像対の画素毎に求められる。後述するように、これらの値は閾値Ｔと比較することができる。
【０１４５】
Ｐ及びＥの次の有益なサンプルについて、一般に、フラッシュ出力等高線に直交するサンプルが最も有用である。例えば、αがΦと比べて非常に小さい場合、フラッシュ出力を変化させるほうが露出時間を変化させるよりも有用である。しかし、シーンが飽和領域を除いて全体的に露出不足である場合、出力を上げてもホットスポットのサイズが大きくなるだけである。この場合、露出を増やすほうが良いであろう。
【０１４６】
ｈ個の画像を撮影した後、ｈ＋１番目の画像に対するフラッシュ出力及び露出時間の対（Ｐｈ＋１，Ｅｈ＋１）の探索は次のように行われる。
【０１４７】
先ず、ｋ番目の画素に対する候補（Ｐ，Ｅ）についての現在の推定値（Φｈｋ，αｈｋ）を用いて、次式を用いて画素の強度を予測する。
【０１４８】
【数２３】
0004675851.tif 000024
【０１４９】
次に、（Ｐ，Ｅ）１２０５、すなわち可能なカメラ設定の可能な別個の値の各々についてｋ番目の画素の強度１２２１を推定１２２０し、十分に露出された画素の総数を最大化する（Ｐ，Ｅ）１２３１を選択１２３０する。
【０１５０】
Γ（．）がＳＮＲ又は「良さ」の測度関数を示すものとする。本発明の目標は、十分に露出された画素のフラッシュ照明成分と周囲照明成分の両方を検知することであるので、特定の画素の十分に露出された強度が成分強度の最小値であり、次のように表される。
【０１５１】
【数２４】
0004675851.tif 000025
【０１５２】
最小値をとることによって、３つの成分すべてを確実に十分に測定する。
【０１５３】
以前の画像において十分に露出された強度を有する既にサンプリングした画素は除外する。そうしないと、フラッシュ出力露出パラメータ推定を現在の（Ｐ，Ｅ）値近くに保ったまま、「十分に露出された」画素が常にこの推定を支配する。
【０１５４】
十分に露出された画素を除外するために、１画素におけるｈ＋１個の強度サンプルにわたって十分に露出された強度の最大値をとる。
【０１５５】
【数２５】
0004675851.tif 000026
【０１５６】
最大値をとることによって、１画素が十分に露出されたものとして測定されると、その画素のＳＮＲ値を変化させないようにすることができる、すなわち、ＳＮＲはその最大値に「制限」され、よって最小化におけるその画素の効果を実質的に排除する。
【０１５７】
全ての画素ｋにわたるＳＮＲの合計を最大化する（Ｐ，Ｅ）設定１２３１を決める。
【０１５８】
上記ステップを以下のように繰り返す１２４０ことが可能である。新たな測定値により、式（１）を用いてｋ番目の画素に対して新たな制約を加えることによって、推定値１２１１  Φｋｈ＋１，αｋｈ＋１を更新する。Φ及びα１２１１の更新が所定の閾値Ｔ未満である場合、全ての有用なサンプルを処理したことになるため、終了する。そうでない場合、プロセスを継続して、次の最良の（Ｐｈ＋２，Ｅｈ＋２）パラメータを求める。
【０１５９】
本発明を、好適な実施の形態の例として説明してきたが、本発明の精神及び範囲内で様々な他の適応及び修正を行ってもよいことが理解される。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入るこのような変形形態及び修正形態をすべて網羅することである。
【図面の簡単な説明】
【０１６０】
【図１】本発明の１つの実施の形態による、画像の画質を高める方法及びシステムのブロック図である。
【図２】本発明の１つの実施の形態による、フラッシュ画像と周囲画像を合成する方法のブロック図である。
【図３Ａ】本発明の１つの実施の形態による勾配ベクトルを示す図である。
【図３Ｂ】本発明の１つの実施の形態による合成勾配ベクトルを示す図である。
【図４Ａ】本発明の１つの実施の形態による、フラッシュ画像と周囲画像を合成する方法のブロック図である。
【図４Ｂ】規格化された強度の関数としての重みのグラフである。
【図５】本発明の１つの実施の形態による、フラッシュ画像と周囲画像を合成する方法のブロック図である。
【図６】本発明の１つの実施の形態による、フラッシュ画像と周囲画像を合成する方法のブロック図である。
【図７】本発明の１つの実施の形態による、フラッシュ画像と周囲画像を合成する方法のブロック図である。
【図８Ａ】本発明の１つの実施の形態による、出力−露出空間のグラフである。
【図８Ｂ】本発明の１つの実施の形態による、強度等高線のグラフである。
【図８Ｃ】本発明の１つの実施の形態による、出力−露出空間に当てはめられる平面のグラフである。
【図９】本発明の１つの実施の形態による、十分に照明された画像を取得する方法のブロック図である。
【図１０】様々なフラッシュ出力設定及び露出時間設定で取得された画像の集まりである。
【図１１】最適な出力設定及び露出設定で取得されたエンハンスド画像である。
【図１２】本発明の１つの実施の形態による、カメラパラメータを適応的に設定するブロック図である。
【図１】
0004675851.tif 000027
【図２】
0004675851.tif 000028
【図３Ａ】
0004675851.tif 000029
【図３Ｂ】
0004675851.tif 000030
【図４Ａ】
0004675851.tif 000031
【図４Ｂ】
0004675851.tif 000032
【図５】
0004675851.tif 000033
【図６】
0004675851.tif 000034
【図７】
0004675851.tif 000035
【図８Ａ】
0004675851.tif 000036
【図８Ｂ】
0004675851.tif 000037
【図８Ｃ】
0004675851.tif 000038
【図９】
0004675851.tif 000039
【図１０】
0004675851.tif 000040
【図１１】
0004675851.tif 000041
【図１２】
0004675851.tif 000042