(57)【要約】【課題】ＨＤＲ画像を作成するために最適なサブセットを選択する方法を提供する。【解決手段】最適なＨＤＲ画像を作成するために、画像数が多い画像群のセットから最適なサブセットを選択する方法である。画像に含まれる各画素に対して、当該画素の輝度値に基づく露光品質値を割り当てることによって、各画像のための露光品質マップが計算される。撮像デバイスの特性を反映した適切な露光品質関数は、この目的で使用される。そして、取り得るサブセットごとに、当該サブセットに含まれる画像群のための露光品質マップが、最大化演算により複合され、そのサブセットのための複合露光品質マップが生成される。それから、複合露光品質マップの平均画素値が計算され、品質スコアとして供される。最高値となる品質スコアが算出されたサブセットは、ＨＤＲ画像を生成するために使用される。【特許請求の範囲】
【請求項１】
異なる露光レベルを持つＮ枚の画像群からなるセットを用いて高ダイナミックレンジ（ＨＤＲ）画像を生成する画像生成方法であって、
（ａ）Ｎ枚の画像群の前記セットごとに、前記画像に含まれる各画素の輝度レベルに基づいて、当該輝度レベルから計算される露光品質値を持つ複数の画素から構成される露光品質マップを生成するステップと、
（ｂ）Ｎ枚の画像群の前記セットのうち、Ｍ枚の画像群からなる複数のサブセットごとに、品質スコアを計算するステップであって、
（ｂ１）前記Ｍ枚の画像に対応する前記露光品質マップから複合露光品質マップを生成するステップと、
（ｂ２）前記複合露光品質マップの露光品質値に基づいて前記品質スコアを計算するステップと、を含むステップと、
（ｃ）ステップ（ｂ２）において計算された前記品質スコアに基づいて、Ｍ枚の画像群の複数のサブセットから一のサブセットを選択するステップと、
（ｄ）ステップ（ｃ）において選択された前記一のサブセットを用いて、ＨＤＲ画像を生成するステップと、を含む画像生成方法。
【請求項２】
前記ステップ（ａ）では、
前記露光品質マップは、前記画像の画素ブロックそれぞれに対して、前記画素ブロックの輝度値および前記露光品質関数に基づく露光品質値を割り当てることにより生成され、
前記露光品質関数は、中心部の輝度範囲内に収まる輝度値を好適な露光品質値に割り当て、中心部の輝度範囲外の輝度値を不適な露光品質値に割り当てる、請求項１に記載の画像生成方法。
【請求項３】
前記好適な露光品質値は第１露光品質値であり、前記不適な露光品質値は、第１露光品質値と第２露光品質値の間の値である、請求項２に記載の画像生成方法。
【請求項４】
ステップ（ｂ１）では、
前記複合露光品質マップの各画素は、Ｍ枚の前記露光品質マップに含まれる画素に対応するＭ個の露光品質値の中で最も好適な一つに等しい露光品質値を有する、請求項２または請求項３に記載の画像生成方法。
【請求項５】
ステップ（ｂ２）では、
前記品質スコアは、前記複合露光品質マップに含まれる全ての画素の露光品質値の平均値として計算される、請求項１〜４のいずれか一項に記載の画像生成方法。
【請求項６】
Ｍ枚の画像群からなる複数の前記サブセットは、Ｎ枚の画像群からなる前記セットのうち、取り得る全てのサブセットを含む、請求項１〜５のいずれか一項に記載の画像生成方法。
【請求項７】
異なる露光レベルを持つＮ枚の画像群からなるセットを用いて高ダイナミックレンジ（ＨＤＲ）画像を生成する画像生成方法であって、
（ａ）Ｎ枚の画像群の前記セットのうち、Ｍ枚の画像群からなる複数のサブセットごとに、品質スコアを計算するステップであって、
（ａ１）Ｍ枚の前記画像群を構成する各画像に含まれる画素ブロックそれぞれに対して、前記画素ブロックの輝度値および前記露光品質関数に基づき露光品質値を割り当て、
前記露光品質関数は、中心部の輝度範囲内に収まる輝度値を好適な露光品質値に割り当て、中心部の輝度範囲外の輝度値を不適な露光品質値に割り当てるステップと、
（ａ２）サブセット内のＭ枚の全ての画像群に含まれる全ての画素ブロックの露光品質値を評価することによって、Ｍ枚の画像群からなる複数のサブセットごとに、前記品質スコアを計算するステップと、を含むステップと、
（ｂ）ステップ（ａ２）において計算された前記品質スコアに基づいて、Ｍ枚の画像群の複数のサブセットから一のサブセットを選択するステップと、
（ｃ）ステップ（ｂ）において選択された前記一のサブセットを用いて、ＨＤＲ画像を生成するステップと、を含む画像生成方法。
【請求項８】
ステップ（ａ１）では、Ｍ枚の画像群ごとに露光品質マップを生成し、前記露光品質マップに含まれる各画素は、前記画像のブロックに対応しており、
ステップ（ａ２）は、Ｍ枚の画像群からなる複数のサブセットごとに、
前記サブセットを構成するＭ枚の画像群のためにＭ枚の露光品質マップを複合して、前記サブセット用の複合露光品質マップを生成し、
前記複合露光品質マップの各画素には、Ｍ枚の前記露光品質マップに含まれる画素に対応するＭ個の露光品質値の中で最も好適な一つに等しい露光品質値が割り当てられるステップと、
前記複合露光品質マップの全ての画素の露光品質値から前記サブセットの前記品質スコアを計算するステップと、を含む、請求項７に記載の画像生成方法。
【請求項９】
ステップ（ａ２）において計算されるサブセットの前記品質スコアは、前記複合露光品質マップに含まれる全ての画素の露光品質値の平均値である、請求項８に記載の画像生成方法。
【請求項１０】
前記好適な露光品質値は第１露光品質値であり、前記不適な露光品質値は、第１露光品質値と第２露光品質値の間の値である、請求項７〜９のいずれか一項に記載の画像生成方法。
【請求項１１】
Ｍ枚の画像群からなる複数の前記サブセットは、Ｎ枚の画像群からなる前記セットのうち、取り得る全てのサブセットを含む、請求項７〜１０のいずれか一項に記載の画像生成方法。
【請求項１２】
各画素ブロックは、前記画像に含まれる単一画素である、請求項７〜１１のいずれか一項に記載の画像生成方法。
【請求項１３】
請求項１〜１２のいずれか一項に記載の画像生成方法を実行するデータ処理部を備えるデジタルカメラであって、
画像を取得する撮像部と、
異なる露光レベルのＮ枚の画像群のセットを取得するために前記撮像部を制御する制御部と、を備えるデジタルカメラ。
【請求項１４】
請求項１〜１２のいずれか一項に記載の画像生成方法をデータ処理装置に実行させるためのコンピュータープログラム。
【請求項１５】
請求項１４に記載のコンピュータープログラムを記録したコンピューター読み取り可能記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高ダイナミックレンジ（ＨＤＲ）合成に関し、特に、ＨＤＲ画像を生成するために異なる露光レベルの画像のセットからサブセットを選択することに関する。
【背景技術】
【０００２】
高いダイナミックレンジ（ＨＤＲ）合成は、非常に広範囲の輝度（光強度）を持つソース画像を扱う画像処理およびデジタル写真撮影において利用される技術である。たとえば、日中の野外シーンには、青い空、および、日に照らされた物体ならびに陰に潜む物体が含まれ得る。夜のシーンには、ネオンライト、および、明るく輝く物体ならびに十分には輝いていない物体が含まれ得る。室内のシーンには、明るい窓ならびに暗いエリアなどが含まれ得る。これらのシーンは、デジタルカメラのような撮像デバイスに対して難題をもたらす。たとえば、現時点において入手可能なデジタルカメラに備えられたイメージセンサーのダイナミックレンジでは、それらのシーンを十分に画像化できない場合がある。露光レベルが、シーンの暗いエリアの細部をキャプチャーするのに適していれば、明るいエリアは細部が失われた露光オーバーとなる場合がある。逆に、露光レベルが、シーンの明るいエリアの細部をキャプチャーするのに適していれば、暗いエリアは細部が失われた露光アンダーとなる場合がある。
【０００３】
ＨＤＲ合成技術は、同一シーンから様々な露光レベルで、複数の画像を撮像し、それから、ＨＤＲ画像内の明るいエリアと暗いエリアの両方の細部が十分に表現されるよう、複数のオリジナル画像から得られる情報を包含したＨＤＲ画像を作成するためにデジタル的に複数の撮像画像を合併することによって、この問題を解決しようとしている。複数の撮像画像からＨＤＲ画像を作成する方法は、一般的に知られている。
【０００４】
ブラケッティングは、露光レベルや他の設定値（フォーカス、被写界深度など）を変更しながら、同一シーンについて複数の画像を撮像する写真撮影技術である。オートブラケッティング、すなわち、自動的に設定を複数回変更して、複数の画像を撮像することが可能なカメラもある。露光ブラケッティングにより生成された複数の画像は、ＨＤＲ画像の生成に用いられる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
時には、露光ブラケッティングによって、露光レベルの異なる比較的数が多いオリジナル画像、たとえば、７枚のオリジナル画像のセット（全体集合）が生成される。画像数が多いセットでは、ＨＤＲ画像を生成するために、より詳細な情報が提供されることが望まれる。しかし、複数のオリジナル画像を合併するための画像処理は計算集約的（たとえば、全ての画像を正しく整列しなければならない処理）であるため、時には、ＨＤＲ画像を作成するために、画像のセット（全体集合）の一部であるサブセット（部分集合）を用いることが望まれる。画像のセット内の複数の画像は冗長な情報を含んでいるため、画像のセットに含まれる画像数が多いときでも、適切にサブセットを選択すれば、大抵は満足する結果を生むことができる。たとえば、シーン内の暗いエリアでは、十分に露光されて２つの高い露光状態の画像が生成され得る。そのため、これらの２つの画像のうちの１つを捨てても満足な結果を生むことができる。
【０００６】
画像ごとに異なる情報（たとえば、異なるエリアに関する詳細）を保持しているため、一般的には、異なるサブセットから生じたＨＤＲ画像には、品質に違いが生じる。それゆえに、サブセットを適切に選択することは重要である。本発明は、ＨＤＲ画像を作成するために最適なサブセットを自動的に選択する方法および関連装置を対象とする。
【０００７】
本発明の目的は、高速であり、かつ、最適な結果をもたらす方法を提供することである。
【０００８】
本発明のさらなる特徴および効果は、後述の明細書に記述され、部分的には、その明細書から自明なものを含み、発明の実施によって理解されるものもある。本発明の目的およびその他の効果は、明細書、特許請求の範囲、および添付の図面において特別に示された構造によって、実現、達成される。
【課題を解決するための手段】
【０００９】
少なくとも上記のいずれかの目的を達成するために、以下のように広い概念によって記述され具現化される。たとえば、本発明は、異なる露光レベルを持つＮ枚の画像群からなるセットを用いて高ダイナミックレンジ（ＨＤＲ）画像を生成する画像生成方法であって、（ａ）Ｎ枚の画像群の前記セットごとに、前記画像に含まれる各画素の輝度レベルに基づいて、当該輝度レベルから計算される露光品質値を持つ複数の画素から構成される露光品質マップを生成するステップと、（ｂ）Ｎ枚の画像群の前記セットのうち、Ｍ枚の画像群からなる複数のサブセットごとに、品質スコアを計算するステップであって、（ｂ１）前記Ｍ枚の画像に対応する前記露光品質マップから複合露光品質マップを生成するステップと、（ｂ２）前記複合露光品質マップの露光品質値に基づいて前記品質スコアを計算するステップと、を含むステップと、（ｃ）ステップ（ｂ２）において計算された前記品質スコアに基づいて、Ｍ枚の画像群の複数のサブセットから一のサブセットを選択するステップと、（ｄ）ステップ（ｃ）において選択された前記一のサブセットを用いて、ＨＤＲ画像を生成するステップと、を含む。
【００１０】
別の態様では、本発明は、異なる露光レベルを持つＮ枚の画像群からなるセットを用いて高ダイナミックレンジ（ＨＤＲ）画像を生成する画像生成方法であって、（ａ）Ｎ枚の画像群の前記セットのうち、Ｍ枚の画像群からなる複数のサブセットごとに、品質スコアを計算するステップであって、（ａ１）Ｍ枚の前記画像群を構成する各画像に含まれる画素ブロックそれぞれに対して、前記画素ブロックの輝度値および前記露光品質関数に基づき露光品質値を割り当て、前記露光品質関数は、中心の輝度範囲内に収まる輝度値を好適な露光品質値に割り当て、中心の輝度範囲外の輝度値を不適な露光品質値に割り当てるステップと、（ａ２）サブセット内のＭ枚の全ての画像群に含まれる全ての画素ブロックの露光品質値を評価することによって、Ｍ枚の画像群からなる複数のサブセットごとに、前記品質スコアを計算するステップと、を含むステップと、（ｂ）ステップ（ａ２）において計算された前記品質スコアに基づいて、Ｍ枚の画像群の複数のサブセットから一のサブセットを選択するステップと、（ｃ）ステップ（ｂ）において選択された前記一のサブセットを用いて、ＨＤＲ画像を生成するステップと、を含む。
【００１１】
別の態様では、本発明は、画像を取得する撮像部と、異なる露光レベルのＮ枚の画像群のセットを取得するために前記撮像部を制御する制御部と、を備えるデジタルカメラを提供する。
【００１２】
別の態様では、本発明は、上記の画像生成方法をデータ処理装置に実行させるためのコンピュータープログラムを提供する。
【００１３】
別の態様では、本発明は、上記のコンピュータープログラムを記録したコンピューター読み取り可能記録媒体を提供する。
【００１４】
前述の一般的な説明と後述の詳細な説明は、典型的かつ説明的であり、クレームされた発明のさらなる説明を提供するように意図されていると理解されるべきである。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態にかかるＨＤＲ画像作成のために、画像数の多いセット（全体集合）から最適なサブセット（部分集合）を選択するサブセット選択方法を概略的に示す図である。
【図２】サブセット選択方法において利用され得る露光品質関数の様々な例を示す図である。
【図３】様々な露光レベルの画像例と、各画像に対応し、サブセット選択方法の一工程により計算される露光品質マップを概略的に示す図である。
【図４】サブセット選択方法の一工程により計算されるいくつかのサブセットに関する複合露光品質マップの例を概略的に示す図である。
【図５Ａ】本実施形態において実装されるデータ処理装置を概略的に示す図である。
【図５Ｂ】本実施形態において実装されるデジタルカメラを概略的に示す図である。
【発明を実施するための形態】
【００１６】
本発明の実施形態では、ＨＤＲ画像作成のために、Ｎ枚の画像群からなるセット（全体集合）から、Ｍ枚の画像群からなる最適なサブセット（部分集合）を、自動的に選択する方法を提供する（Ｍ＜Ｎ）。そのＮ枚の画像群は、正確には調整できないとしても、概ね同じシーンから、異なる露光レベルで取得される。本実施形態の方法では、ＨＤＲ画像の少なくとも一画像に含まれる画素のうち、良好な露光状態の画素、すなわち、露光オーバーまたは露光アンダーではない画素の数が最大となることを保障する画像群のサブセットを見つける。これにより、最高のＨＤＲ作成品質を保証する。本実施形態の方法では、可能な限りのあらゆるＭ枚の画像群からなるサブセットの品質を評価し、最高品質として評価されたサブセットを選択するアルゴリズムを採用する。
【００１７】
本実施形態に係るサブセット選択方法については、図１を参照して詳細に説明される。
【００１８】
同一の空間分解能（すなわち、水平方向および垂直方向において同一の画素数）を有するＮ枚の画像群が、サブセット選択方法に入力される。各画像に含まれるそれぞれの画素は、輝度値を有している。カラー画像に関しては、輝度値は色の構成要素から計算される。輝度の計算には、任意の好適な方法が使用され得る。たとえば、ＲＧＢからグレイへの変換、または、ＨＳＶ色値のＶ値やＹＣＣ色値のＹ値、等が使用され得る。
【００１９】
第１ステップ（ステップＳ１）では、Ｎ枚の画像群からなるセットに含まれる画像（オリジナル画像）ごとに、露光品質マップを算出する処理が繰り返される。露光品質マップは、オリジナル画像に含まれる各画素に対して、その画素の輝度値に基づく露光品質値を割り当てることによって算出される。この目的のために、輝度値を露光品質値へマッピングする露光品質関数が使用される。ある実施形態において、露光品質関数は、平らな領域を持つハット形状を有しており、その例が図２（Ａ）および図２（Ｂ）に示されている。これらの例では、第１輝度値と第２輝度値の間の輝度値、たとえば、カメラのダイナミックレンジの１０％から９０％の間の輝度値、または２０％から８０％の間の輝度値を持つ画素には、第１露光品質値（たとえば、図２（Ａ）および図２（Ｂ）の例では１）が割り当てられる。その第１、第２輝度値の間に定義される輝度範囲は、カメラの応答関数の中心部分に対応し、第１露光品質値は、良好な露光状態を示す。オリジナル画像の画素の輝度値が、第１輝度値よりも低い場合や、第２輝度値よりも高い場合には、当該画素は、それぞれ、露光アンダーまたは露光オーバーであり、第１露光品質値と第２露光品質値の間の露光品質値（たとえば、図２（Ａ）および図２（Ｂ）の例では１と０の間の値）が割り当てられる。第２露光品質値は、不良な露光状態を示す。露光アンダー部分および露光オーバー部分における露光品質関数の形状は、直線（図２（Ａ）の例）であってもよいし、カーブ（図２（Ｂ）の例）であってもよい。
【００２０】
図２（Ａ）および図２（Ｂ）の具体例では、ある閾値より低い輝度値を持つ画素や、もう一方の閾値より高い輝度値を持つ画素は、露光アンダーまたは露光オーバーの画素に対応し、低品質値（たとえば、１より低い）を受ける。たとえば、カメラの最大輝度値（たとえば、２５５）の１０％より低い輝度を持つ画素は、露光アンダーとみなされ、１より低い露光品質値を受ける。同様に、最大輝度値の９０％より高い輝度を持つ画素もまた、１より低い露光品質値を受ける。その間の輝度を持つ全ての画素は、良好な露光状態とみなされ、最高露光品質値である１を受ける。
【００２１】
露光品質関数の形状は、良好な露光状態（露光アンダーでも露光オーバーでもない）の画素が、良好な画素として適切に指定されることを保障するように設計されている。通常、露光品質関数は、撮像装置の特性を反映すべきである。露光アンダーまたは露光オーバーに相当する画素値は、撮像装置に依存して変化する可能性があるからである。たとえば、高品質のカメラは、平均的なカメラよりも、はるかに大きな輝度範囲にわたって（すなわち、ローエンドにおいてより低く、ハイエンドにおいてより高い）信頼性のある（すなわち、ノイズがない）画素値の測定結果を得ることができる。これは、露光品質関数の平坦なハット形状、すなわち、より範囲の広い平坦部分を持つ形状、に反映される。比較的低品質のカメラにとって適切な露光品質関数は、図２（Ｃ）に示される極端な例のように、先のとがった形状を有し得る。
【００２２】
実際には、カメラの輝度範囲の中央部にある輝度値よりも、その輝度範囲の両端にある輝度値（大抵は、不良な露光状態である）に、より低い露光品質値を割り当てる関数でさえあれば、画素値（輝度値）をあるスコアに合理的にマッピングするのに適したどのような関数であっても、露光品質関数として使用され得る。たとえば、露光品質関数は、凸状の弓形状や、多数の上昇ステップおよび下降ステップを有する形状、等であってもよい。一般的に言えば、露光品質関数は、撮像装置のためにより信頼できる輝度範囲内にある輝度値、典型的には全輝度範囲の中域にある輝度値を、好適な露光品質値にマッピングし、その輝度範囲外にある輝度値、典型的には中域よりも高い輝度値および低い輝度値を、不適な露光品質値にマッピングする。たとえば、図２（Ｂ）では、中域は、全輝度領域の１０％から９０％の範囲でよく、好適な露光品質値は、０．８より高い値でよい。好適もしくは不適な露光品質値に相当する実際の数値は重要ではないが、たとえば、最も好適な露光品質値は１、最も不適な露光品質値は０でよく、反対にしてもよい。
【００２３】
サブセット選択方法がデジタルカメラに実装されたときは、製造業者がそのデジタルカメラ用のデフォルトの露光品質関数を設定してもよいし、ユーザーに他の露光品質関数を選択させてもよい。サブセット選択方法が汎用コンピューターに実装されたときは、露光品質関数は、ユーザーによって選択されてもよいし、アルゴリズムにより自動的に選択されてもよい。
【００２４】
ステップＳ１の結果は、各画像（オリジナル画像）に対応する露光品質マップである。その露光品質マップは、オリジナル画像と同一の空間分解能を有し、露光品質マップの画素値には、両端値を含む第１露光品質値と第２露光品質値の間の露光品質値が割り当てられる。図３には、その例が概略的に示されている。図２（Ａ）や図２（Ｂ）に示されるようなハット形状の露光品質関数は、これらの例を生成するために用いられる。これらの図がかなり概略的であって、単に理解を助けるための例として使用されていることに注意されるべきである。図３では、露光レベルが−２ＥＶ、−１ＥＶ、０ＥＶ、および１ＥＶである４枚の画像が、同一のシーンから取得される。図３の上の列は、４枚の画像を示し、下の列は、対応する４枚の露光品質マップを示している。これらの露光品質マップでは、第１露光品質値（たとえば、良好な露光状態を示す１）に近い露光品質値ほど、より明るい影によって表されている。
【００２５】
議論の便宜上、図３にＡ、Ｂ、およびＣとして示されるように、シーンはおおよそ３つの領域を有すると考えられる。−２ＥＶの図では、領域Ｂは適切に露光されており、領域Ａはかなり露光アンダーであり、領域Ｃはいくらか露光オーバーである。その結果として生じる露光品質マップでは、領域Ｂは第１露光品質値に概ね等しい露光品質値（白色で示される良好な露光状態）を有しており、領域Ａは第２露光品質値に近い露光品質値（黒色で示される不良な露光状態）を有しており、領域Ｃは第１と第２の露光品質値の間の露光品質値（グレイ色で示される）を有している。−１ＥＶの図では、領域Ｃは適切に露光されており、領域Ａはいくらか露光アンダーであり、領域Ｂはいくらか露光オーバーである。その結果として生じる露光品質マップでは、領域Ｃは第１露光品質値に概ね等しい露光品質値を有しているが、領域Ａおよび領域Ｂは第１と第２の露光品質値の間の露光品質値を有している。
【００２６】
時には、処理速度を向上させるために、画像（オリジナル画像）ごとの露光品質マップを計算する前に画像のサイズを小さくすることが望まれる。したがって、ステップＳ１において処理対象となるＮ枚の画像は、サイズが既に小さくされたものであってもよい。代わりに、オリジナル画像よりも小さい空間分解能を持つ露光品質マップを生成するために、サイズの縮小および露光品質値の割り当てを１ステップで行ってもよい。たとえば、ステップＳ１は、２方向にｐ行ｑ列ごと（たとえば、２行２列ごと）の画素間隔で画像をサブサンプリングし、それらの選択された画素の輝度値に基づいて、当該画素に露光品質値を割り当ててもよい。または、ステップＳ１は、ｐ×ｑ画素（たとえば、２×２画素）のブロックの輝度値を平均化し、その平均輝度値に基づいて当該ブロックに露光品質値を割り当てるようにしてもよい。いずれの方法であっても、オリジナル画像と比べてｐ×ｑ倍縮小された露光品質マップになる。より一般的には、ステップＳ１は、ブロック内の少なくとも一つの画素から計算された輝度値に基づいて、画素群（単一画素であってもよい）からなる各ブロックに露光品質値を割り当てる。露光品質マップのそれぞれの画素は、オリジナル画像の１つの画素ブロックに対応する。
【００２７】
次の２つのステップ（ステップＳ２、Ｓ３）は、Ｎ枚の画像群からなるセットのうち、取り得るＭ枚の画像群からなるサブセットごとに実行される。各サブセットの画像数Ｍは、予め決定されており、ユーザーの好みにより設定されたものを含む。Ｎ枚の画像群からなるセットについては、「Ｎ＊（Ｎ−１）＊・・・＊（Ｎ−Ｍ＋１）／Ｍ＊（Ｍ−１）＊・・・＊１」個の取り得るサブセット（Ｍ枚の画像群からなるサブセット）がある。たとえば、Ｎ＝７、Ｍ＝３のとき、３５個の取り得るサブセットがある。
【００２８】
ステップＳ２では、ステップＳ１において計算されたＭ枚の露光品質マップが、最大化演算によって複合され、そのサブセット用の複合露光品質マップが生成される。複合露光品質マップに含まれる各画素に関して、その画素値（露光品質値）は、Ｍ枚の露光品質マップにおける対応画素（すなわち、同一位置の画素）のＭ個の画素値のうち、最大となる値（最大値）を持つ。ここで、良好な露光状態に相当する露光品質値は、不良の露光状態に相当する露光品質値よりも数値的に大きくなると想定される。これは、定義の問題である。一般的に言えば、複合露光品質マップ内の各画素に関し、その画素値（露光品質値）は、Ｍ枚の露光品質マップに含まれるＭ個の画素値のうち、第１露光品質値に値が最も近い画素値に対応するものである。
【００２９】
このステップでは、どの露光品質マップが複合露光品質マップに貢献した最適の画素値を有していたかを追跡する必要はない。ステップＳ２では、サブセットごとに１つの複合露光品質マップが生成される。
【００３０】
図４は、Ｍ枚の露光品質マップを複合するための最大化演算のいくつかの例を示す。第１行には、−２ＥＶ、−１ＥＶ、および０ＥＶの画像（露光品質マップ）からなるサブセットと、対応する複合露光品質マップが示されている。第１行の右に示された複合露光品質マップは、−１ＥＶのマップの貢献によって領域Ｃに第１露光品質値を有しており、−２ＥＶのマップの貢献によって領域Ｂに第１露光品質値を有している。また、その複合露光品質マップは、−１ＥＶのマップの貢献によって領域Ａに第１露光品質にかなり近い露光品質値を有している。ここで、図４に示される例は、全ての取り得るサブセットを含んでいない点に留意すべきである。
【００３１】
次に（ステップＳ３）、複合露光品質マップの平均画素値が、複合露光品質マップ内の全ての画素を用いて計算される。この平均画素値は、ＨＤＲ画像を生成する目的において、サブセットの品質を表しており、品質スコアとして利用され得る。代わりに、複合露光品質マップの全ての画素値から計算される、平均画素値とは別の値が、品質スコアとして利用されてもよい。一例としては、中央画素値がある。その他の例としては、（平均値−ｋ×標準偏差）がある。ただし、ｋは、正定数である。一般的に言えば、品質スコアは、所定の方程式を用いて複合露光品質マップ内の全ての画素から計算された値である。
【００３２】
図４に示される例では、第１行の複合露光品質マップは、示される３つのサブセットのうち最高の品質スコアを与える。
【００３３】
ステップＳ４では、オリジナル画像のセットから取り得る全てのサブセットに関する品質スコアが計算された後に、全てのサブセットのうち最高の品質スコアを有するサブセットが、ＨＤＲ画像を生成するのに最適なサブセットとして選択される。ステップＳ５では、ＨＤＲ画像が、その選択されたサブセットを用いて生成される。複数の画像からＨＤＲ画像を生成するために適したどのような方法（現時点において既知の方法を含む）が、ステップＳ５の処理に用いられてもよい。
【００３４】
ここで記述された最適なサブセットを選択する方法は、図５Ａに示されるようなデータ処理装置により実現され得る。データ処理装置１２０は、汎用コンピューターまたはデジタルカメラデータ処理部でよい。データ処理装置１２０は、プロセッサー１２１、ストレージデバイス（たとえば、ハードディスクドライブ、ＥＰＲＯＭ、等）１２２、および内部メモリー（たとえば、ＲＡＭ）１２３によって構成される。ストレージデバイス１２２は、ＲＡＭ１２３から読み出され、プロセッサー１２１により実行されるコンピュータープログラム（ソフトウェアまたはファームウェア）を記録する。
【００３５】
また、最適なサブセットを選択する方法は、デジタルカメラ内の１つまたはそれ以上のチップのようなハードウェア回路により実現されてもよい。図５Ｂは、プロセッサー１３１、ストレージデバイス１３２、内部メモリー１３３とともに、画像を取得するための撮像部１３４、カメラの各種機能を制御するための制御部１３５を含むデジタルカメラ１３０の概略図である。制御部１３５は、異なる露光レベルのＮ枚の画像群からなるセットを自動的にオートブラケティングしてもよい。オートブラケティングは、良く知られた技術であり、ここでは詳細については省略する。プロセッサー１３１は、上記のアルゴリズムを用いてＮ枚の画像群からなるセットから、Ｍ枚の画像群からなるサブセットを自動的に選択し、ＨＤＲ画像を生成してもよい。
【００３６】
一実施形態では、本発明は、デジタルカメラのデータ処理部になり得るデータ処理装置に具現化される。その他の実施形態では、本発明は、データ処理装置を制御するために内部に組み込まれたコンピューター読み取り可能なプログラムコードを有するコンピューター使用可能な記録媒体に具現化されたコンピュータープログラムプロダクトである。その他の実施形態では、本発明は、データ処理装置により実行される方法である。
【００３７】
本発明に係る、サブセットを選択する方法、ＨＤＲ画像を生成する方法、および関連装置における各種修正および変形が、本発明の精神および範囲から逸脱することない範囲でされ得ることは、当業者によって明らかである。したがって、本発明が、添付のクレームおよびそれらの等価物の範囲内にある修正および変更をカバーするように意図されている。
【図１】
2014179980.tif 000002
【図２】
2014179980.tif 000003
【図３】
2014179980.tif 000004
【図４】
2014179980.tif 000005
【図５Ａ】
2014179980.tif 000006
【図５Ｂ】
2014179980.tif 000007
【外国語明細書】
2014179980000001.pdf
2014179980000002.pdf
2014179980000003.pdf
2014179980000004.pdf