(57)【特許請求の範囲】
【請求項１】
シーンの高ダイナミックレンジ（ＨＤＲ）画像を生成する方法であって、前記シーンを撮像する現在フレームが現在露出の下でキャプチャされており、前記シーンを撮像する先行フレームが前記現在フレームの前にキャプチャされており、当該方法は、
前記現在露出と、前記現在フレームの画素の色の第１の輝度分布及び前記画素の動きによって重み付けられた前記画素の色の第２の輝度分布に基づいて得た閾輝度値の関数として、次フレームに関する露出を設定することであり、前記動きは、前記先行フレームとの比較で前記画素に関して評価される、設定することと、
前記設定された露出の下で前記次フレームをキャプチャすることと、
前記次フレームを、ＨＤＲ画像へと、少なくとも前記現在フレームと融合することと
を有する、ＨＤＲ画像を生成する方法。
【請求項２】
前記次フレームに関する前記露出は、前記現在フレームに関する露出変化の好適方向の関数としても設定される、請求項１に記載のＨＤＲ画像を生成する方法。
【請求項３】
前記次フレームに続くフレームに関する露出変化の好適方向を決定すること、を有する請求項２に記載のＨＤＲ画像を生成する方法。
【請求項４】
前記次フレームに関する露出を設定することは、前記第１の輝度分布に基づくが前記第２の輝度分布には基づかない当初露出の概算と、前記第２の輝度分布に基づく調整された露出の概算と、前記次フレームに関する前記露出の値として前記当初露出と前記調整された露出との間で選択を行うように適応された、前記次フレームに関する前記露出の最終的な見積もりとを有する、請求項１乃至３の何れか一項に記載のＨＤＲ画像を生成する方法。
【請求項５】
高ダイナミックレンジ（ＨＤＲ）画像キャプチャ装置であって、
先行フレーム及び現在露出の下での現在フレームを含む、シーンを撮像する順次のフレームをキャプチャするように構成されたフレームセンサと、
プロセッサであり、
前記現在露出と、前記現在フレームの画素の色の第１の輝度分布及び前記画素の動きによって重み付けられた前記画素の色の第２の輝度分布に基づいて得た閾輝度値の関数として、次フレームに関する露出を設定し、前記動きは、前記先行フレームとの比較で前記画素に関して評価され、
前記フレームセンサにより前記設定された露出の下での前記次フレームのキャプチャを引き起こし、
前記次フレームを、ＨＤＲ画像へと、少なくとも前記現在フレームと融合する
ように構成されたプロセッサと、
を有するＨＤＲ画像キャプチャ装置。
【請求項６】
前記プロセッサはまた、前記次フレームに関する前記露出を、前記現在フレームに関する露出変化の好適方向の関数としても設定するように構成されている、請求項５に記載のＨＤＲ画像キャプチャ装置。
【請求項７】
前記プロセッサはまた、前記次フレームに続くフレームに関する露出変化の好適方向を決定するように構成されている、請求項６に記載のＨＤＲ画像キャプチャ装置。
【請求項８】
前記プロセッサはまた、前記次フレームに関する露出を設定することが、前記第１の輝度分布に基づくが前記第２の輝度分布には基づかない当初露出の概算と、前記第２の輝度分布に基づく調整された露出の概算と、前記次フレームに関する前記露出の値として前記当初露出と前記調整された露出との間で選択を行うように適応された、前記次フレームに関する前記露出の最終的な見積もりとを有するように構成されている、請求項５乃至７の何れか一項に記載のＨＤＲ画像キャプチャ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して高ダイナミックレンジ（ＨＤＲ）デジタル撮像に関し、特に、シーンの高ダイナミックレンジ（ＨＤＲ）画像を生成するために、例えばデジタルカメラなどの撮像装置による画像データの検出用の露出パラメータを決定及び設定することに関する。
【背景技術】
【０００２】
ダイナミックレンジとは、センサ又はアクチュエータが生成することができる最大と最小の取り得る信号間の比である。ここで使用されるとき、用語“ダイナミックレンジ”は、例えばデジタルカメラなどの画像キャプチャ装置のダイナミックレンジに言及するものである。
【０００３】
シーンのＨＤＲ画像をキャプチャするため、一般に、ＨＤＲ画像キャプチャ装置によって様々な露出の下でそのシーンの複数のフレームがキャプチャされる。そのような装置の伝統的な設定においては、一般に、例えばシーン内の照度の完全なる分布をカバーするように、露出同士が間隔を空けられる。このようなプロセスは“露出ブラケット”として知られている。最新のカメラは、１／３Ｆストップから３Ｆストップまで間隔を空けられ得る３段から９段の露出ブラケットのキャプチャを可能にしている。ここで、１Ｆストップは１対数単位である。Ｆストップは、カメラレンズの入射瞳の直径に対する該カメラレンズの焦点長の比である。異なる露出を有するこれらのフレームからＨＤＲ画像を作り出すため、それ自体は既知の手法で、各露出の良好な露出の部分を組み合わせることによって、一連の露出が融合される。一般に、露出はそれらの露出時間に従ってスケーリングされ、各フレームの各画素がその光強度に応じた重み係数を受け取る。ここで、レンジの中央に近い画素ほど、有用な情報を描写する傾向が強いので、高い重みを受け取る（例えば、非特許文献１参照）。
【０００４】
典型的に、ＨＤＲ画像を構築するのに使用される複数の異なるフレームの露出は等間隔にされる。露出を等間隔にするせいで、これらのソリューションは幾つかの欠点を有する。第１に、各々が隣接露出のコンテンツの多くを複製した過度に多くの露出がキャプチャされることがある。第２に、露出同士が更に間隔を空けられる場合に、得られるＨＤＲ画像が、暗い領域で過度に多いノイズに悩まされ得る。
【０００５】
非特許文献２では、ＨＤＲ画像を構築するのに使用される露出の組をキャプチャする前に、或るアルゴリズムが低分解能の露出を用いてシーンのＨＤＲヒストグラムを推定する。このヒストグラムに基づいて、露出のあらゆる組み合わせが試され、そのシーンに関してＨＤＲキャプチャに最適なのが何れであるかが決定される。露出の選択及び配置を案内するため、最終的な選択がノイズを最小化するよう、ノイズ特性も考慮に入れられる。そして、それらの設定を用いて一連の露出がキャプチャされる。この手法は単一のＨＤＲ画像をキャプチャするために設計されているので、以下の欠点を有する：
−  動きが考慮されない；
−  完全なＨＤＲヒストグラムが構築されることを必要とするので、動画（ビデオ）に対して実用的でない。これは、過度に多くの喪失フレームを生じさせることになり、故に、最終結果が低フレームレートとなる。
【０００６】
同じ結論が特許文献１及び特許文献２に当てはまる。
【０００７】
このようなＨＤＲプロセスを動画キャプチャに適用するとき、代わる代わるのフレームが異なる露出設定を用いて順次にキャプチャされるが、このようなプロセスは、“時間的ブラケット”と呼ばれる。しかし、動画の各ＨＤＲ画像を構築するのに使用される順次の露出のキャプチャ中に、シーン内の一部の物体が動くことがある（あるいは、カメラが動くことがある）とともに、これらの異なる露出は異なる時間でシーンをキャプチャするので、これらの露出を融合することは動きアーティファクトを生み出し得る。また、ＨＤＲ画像の周波数は、ビデオ画像キャプチャ装置が可能にするフレーム周波数を割ったものであるので、このＨＤＲ周波数は低すぎてモーションブラーを回避できないものとなり得る。
【０００８】
故に、高いダイナミックレンジと鮮鋭なモーションキャプチャとの間のトレードオフが必要である。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】米国特許第７３８２９３１号明細書
【特許文献２】米国特許第８５８２００１号明細書
【非特許文献】
【００１０】
【非特許文献１】Pradeep  Sen，Nima  Khademi  Kalantari，Maziar  Yaesoubi，Soheil  Darabi，Dan  B．Goldman，及びEli  Shechtman，“Robust  patch-based  HDR  reconstruction  of  dynamic  scenes”，ACM  Transactions  on  Graphics，31(6)：203:1−203:11，2012年
【非特許文献２】Orazio  Gallo等，“Metering  for  exposure  stacks”，2012年，Computer  Graphics  Forum，vol.31，pp.479−488（Wiley  Online  Library）
【発明の概要】
【００１１】
本発明の１つの課題はそのようなトレードオフである。
【００１２】
本発明の一主題は、シーンのＨＤＲ画像を生成する方法であって、シーンを撮像する現在フレームが現在露出の下でキャプチャされており、シーンを撮像する先行フレームが現在フレームの前にキャプチャされており、当該方法は、
現在露出と、現在フレームの画素の色の第１の輝度分布と、これらの画素の動きによって重み付けられたこれらの画素の色の第２の輝度分布との関数として、次フレームに関する露出を設定することであり、動きは、先行フレームとの比較でこれらの画素に関して評価される、設定することと、
設定された露出の下で次フレームをキャプチャすることと、
次フレームを、ＨＤＲ画像へと、少なくとも現在フレームと融合することと
を有する。
【００１３】
これらのフレームの各々、すなわち、先行フレーム、現在フレーム及び次フレームの各々が、異なる瞬間にシーンを撮像する。これら先行フレーム、現在フレーム、及び次フレームは、それらの間に他のフレームを有さずに、連続してキャプチャされるフレームであってもよいし、それらの間に１つ以上のその他のフレームを有して、連続してキャプチャされないフレームであってもよい。
【００１４】
動き領域は、一緒に結合されない現在フレームの複数の異なる部分に関係してもよい。これらの画素に関するこの動きの評価はまた、先行フレームとの比較を補完して、その他のパラメータを考慮に入れてもよい。
【００１５】
シーンのＨＤＲ画像を得るために融合される複数の異なるフレームの最適な露出設定をオンザフライで決定するため、提案する画像／フレームキャプチャ方法は、有利なことに、そのシーンのダイナミックレンジと、そのシーン内の動きとの双方を考慮する。この方法は、従来技術においてのようなシーン内の輝度値の分布の関数としてだけでなく、そのシーン内で検出される動きの関数としても、フレーム間で露出を動的に変化させる。この方法は有利なことに、ローカル及びグローバルな動きデータを照度ヒストグラム情報とともに利用して、動きアーティファクトを生み出すことなく所与のシーンに対してどれだけの露出が可能であるかを決定する。
【００１６】
予め定められたパラメータを用いて、ＨＤＲ画像を生成するのに使用される連続フレームの露出を定めることに代えて、この方法は、現在フレームをキャプチャした直後に次フレームに関する露出を定める。
【００１７】
二次的な利益として、この方法は、シーケンスにて生成されるＨＤＲ画像の数が、これらのＨＤＲ画像の生成に使用されるフレームの数とほぼ同じになるので、フレームレートを低下させない。例えば、非常に異なる輝度レベルを持つ２つの異なる領域をシーンが有する場合、この方法は、露出をそれらのレベルの各々と揃えるが、どのような融合アルゴリズムが後処理に適用されるかにも応じて、さらに露出間の重なりが最小化又は除去されるように露出を配することになる。同様に、陰影のある物体が明るい背景の前で動いている場合（逆もまた然りである）、その動きが適切にキャプチャされるように、移動物体の強度レベル付近に露出が配されることになる。明るい背景領域において（逆もまた然りである）、この方法は、暗い（明るい）領域における動きが強くなくてシーン全体のダイナミックレンジをキャプチャすることが可能な場合に、空間的にいっそう離れたフレームを当てにする。故に、動きのある領域を優先しながら、この方法は有利なことに、隣接するフレームのうちの１つで動きが弱まる場合に、生成されるＬＤＲ画像の各々に関して、完全なシーンレンジを再構成し得る。そうでなくでも、この方法はなおも、単一のＬＤＲ画像と比較してレンジを拡大する。
【００１８】
好ましくは、動きは、現在フレームの少なくとも１つの画素に関してヌルである。これは、このフレームが実際に動きのない領域を有するということを意味する。より一般的には、先行フレーム内の対応する画素と比較した現在フレームの画素に関する動きの評価は、とりわけゼロを含んだ、異なる値の動き、とりわけ、異なる値の動き振幅をもたらすということを意味する。好ましくは、次フレームに関する露出は、現在フレームに関する露出変化の好適方向の関数としても設定される。
【００１９】
好ましくは、この方法は、次フレームに続くフレームに関する露出変化の好適方向を決定することを有する。
【００２０】
好ましくは、次フレームに関する露出を設定することは、第１の輝度分布に基づくが第２の輝度分布には基づかない当初露出の概算と、第２の輝度分布に基づく調整された露出の概算と、次フレームに関する露出の値として当初露出と調整された露出との間で選択を行うように適応された、次フレームに関する露出の最終的な見積もりとを有する。
【００２１】
本発明の一主題はまた、ＨＤＲ画像キャプチャ装置であって、当該装置は、
特に先行フレームをキャプチャし且つ現在露出の下で現在フレームをキャプチャするよう、シーンを撮像する順次のフレームをキャプチャするように構成されたフレームセンサと、
プロセッサであり、
現在露出と、現在フレームの画素の色の第１の輝度分布と、それらの画素の動きによって重み付けられたそれらの画素の色の第２の輝度分布との関数として、次フレームに関する露出を設定し、動きは、先行フレームとの比較でそれらの画素に関して評価され、
フレームセンサにより、設定された露出の下での次フレームのキャプチャを引き起こし、
次フレームを、ＨＤＲ画像へと、少なくとも現在フレームと融合する
ように構成されたプロセッサと
を有する。
【図面の簡単な説明】
【００２２】
非限定的な例によって与えられる以下の説明を読み、且つ以下の図を含む添付図面を参照することで、本発明はより明瞭に理解されることになる。
【図１】本発明の主たる一実施形態に従ったビデオ画像キャプチャ装置の簡略化したブロック図である。
【図２】本発明の主たる一実施形態に従った、図１のビデオ画像キャプチャ装置を用いてシーンのＨＤＲ画像を生成する方法を例示する図である。
【図３】次フレームに関する露出変化の方向が“アップ”であるときに、この次フレームに関する露出の最終見積もりステップと、後続フレームに関する露出変化の方向の決定ステップとを実行するために、この主たる実施形態で使用される決定木である。
【図４】次フレームに関する露出変化の方向が“ダウン”であるときに、この次フレームに関する露出の最終見積もりステップと、後続フレームに関する露出変化の方向の決定ステップとを実行するために、この主たる実施形態で使用される決定木である。
【図５】主たる一実施形態に従った図２に例示した方法の繰り返しの現在フレームｆｉにおける輝度値Ｚのヒストグラムを例示する図である。
【図６】図５と同じ輝度値Ｚのヒストグラムを、点線の累積ヒストグラムとともに示す図である。
【発明を実施するための形態】
【００２３】
当業者によって理解されることになるように、ここに提示されるフローチャートや図などは、本発明を具現化する例示的な回路の概念図を表す。それらは、コンピュータ又はプロセッサが明示的に示されていようとなかろうと、コンピュータ読み取り可能媒体にて実質的に表現されてコンピュータ又はプロセッサによってそのように実行され得る。
【００２４】
本発明の主たる一実施形態によれば、図１は、ビデオ画像キャプチャ装置の、そして、より具体的にはデジタルビデオカメラの、簡略化したブロック図を示している。デジタルビデオカメラ１００はフレームセンサ１１０を含んでいる。フレームセンサ１１０は、シーンの画像又はフレームをキャプチャするように構成された、光学レンズと光検出回路（例えば、ＣＭＯＳ集積回路など）との組み合わせに関係し得る。このフレームセンサ１１０は、それ自体は知られているように、輝度値を取って輝度値を返すものであるカメラ応答関数（“ＣＲＦ”）によって特徴付けられる。このＣＲＦは、逆ガンマとして考えることができる。その役割は、センサの非線形性に対して画像を線形にすることである。
【００２５】
フレームセンサ１１０によって検出された画像データは、キャプチャされたフレームデータとして、バスを介してプロセッサ１２０に提供され得る。キャプチャされたフレームデータは、フレームの複数の異なる画素に関係付けられた色データを含む。
【００２６】
プロセッサ１２０は、一般に、集積回路マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、及びプロセッサのうちの１つを用いて実装され得る。プロセッサ１２０は、受け取ったフレームデータを、例えばプロセッサ実行可能命令の形態でメモリ１３０に格納された特定の画像処理アルゴリズムに基づいて処理するように構成され得る。プロセッサ１２０は更に、バスによってフレームセンサ１１０に露出値を提供して、例えば、そのような露出値の下でフレームセンサ１１０がフレームをキャプチャすることを可能にする。
【００２７】
例えばプロセッサ１２０によって生成されたＨＤＲ画像データなどの、処理されたデータは、メモリ１３０に格納され、且つ／或いは見るためにディスプレイ１４０に提供され得る。理解されるべきことには、メモリ１３０は、例えばハードドライブ、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、又はその他の種類の揮発性及び／又は不揮発性メモリなどの、様々なメモリ記憶装置の如何なる組み合わせにも関係し得る。さらに理解されるべきことには、メモリ１３０は、処理された画像データと、キャプチャされた画像データを処理するためのプロセッサ実行可能命令と、を格納する複数の又は個別のメモリとして実装され得る。また、メモリ１３０は、画像データの記憶用の、例えばフラッシュメモリなどのリムーバブルメモリを含み得る。
【００２８】
ディスプレイ１４０は、キャプチャされた画像データやＨＤＲ画像データの表示のためにデジタルカメラ１００に組み込まれた液晶ディスプレイ（ＬＣＤ）に関係し得る。他の例では、理解されるべきことに、ＨＤＲ画像データの表示及び／又は出力のために、外付けの表示装置がデジタルカメラ１００に結合されてもよい。図１をデジタルカメラに関して上述したが、理解されるべきことに、この装置は一般に、例えば撮像装置などのその他の装置に関係してもよい。
【００２９】
図１のビデオ画像キャプチャ装置をデジタルビデオカメラとして説明したが、これまた理解されるべきことに、この装置は一般に、例えばモバイル通信装置やポータブル通信装置などのその他の装置に関係してもよいし、あるいはそれに含まれてもよい。
【００３０】
次いで、図２を参照するに、図１のビデオ画像キャプチャ装置によって生成される動画シーケンスにてシーンの少なくとも１つのＨＤＲ画像を生成する方法の非限定的な一実施形態が示されている。ここで使用されるとき、“シーン”は、この装置のユーザがキャプチャすることを望む領域に関係し得るとともに、様々なレベルの明るさの下で照らされた１つ以上の物体を含み得る。ここで、これらの物体のうちの１つ以上が、装置による連続したフレームのキャプチャ中に動き得る。更に詳細に後述するように、明るさ範囲とこれらの物体の動きとの決定が、順次のフレームをキャプチャするための１つ以上の露出パラメータを提供し得る。
【００３１】
以下の説明において、用語“オーバー露出画素”は、それらの画素に付随する色データが所定のオーバー露出色データ閾値ｔｈｉｇｈよりも高い値に相当するキャプチャフレームの画素に関係する。このオーバー露出閾値が色データに関する最大値であるとき、その色は飽和していると見なされる。一般に、この最大オーバー露出色データ閾値は、この最大限かよりも低い。このようなオーバー露出閾値は、色を表現するのに使用される色チャネルＲ、Ｇ及びＢごとに定められることができ、そして、Ｒ、Ｇ及びＢが色データと見なされる。他の一例において、このオーバー露出色データ閾値はオーバー露出照度閾値として定められ、照度ＬがＲ、Ｇ及びＢの値の加重和として計算される。より性能に敏感である更なる他の一例（例えば、携帯電話）においては、緑色チャネルを照度の‘代理’として使用し得る。同様に、用語“アンダー露出画素”は、それらの画素に付随する色データが所定のアンダー露出色データ閾値ｔｌｏｗよりも低い値に相当するキャプチャフレームの画素に関係する。一般にこのアンダー露出色データ閾値はゼロよりも高いが、ゼロに等しくてもよい。
【００３２】
この非限定的な実施形態に従った方法を開始するため、フレームセンサ１１０を用いて、第１のフレームｆ０が露出Ｅ０の下でキャプチャされ、第２のフレームｆ１が露出Ｅ１の下でキャプチャされる。露出Ｅ０及びＥ１は、これら２つの最初のフレームの融合からシーンの第１のＨＤＲ画像を生成するように適応される既知の何れかの自動露出アルゴリズムを用いて、相異なる値に設定される。オーバー露出はアンダー露出よりも視覚的に良くないので、第２のフレームに関する露出時間が好ましく変化しようとする方向ｄｉｒｉ＋１＝１は、好ましくは“ダウン（ｄｏｗｎ）”（すなわち、Ｅ１＜Ｅ０）に設定されるが、同様に“アップ（ｕｐ）”（すなわち、Ｅ１＞Ｅ０）に設定されることもできる。この方向が、フレームｆｉ＋１＝１が現在フレームよりも長い（“アップ”）露出でキャプチャされるのか、短い（“ダウン”）露出でキャプチャされるのかを決定する。第３のフレームｆｉ＋２＝２に関する露出時間が好ましく変化しようとする方向ｄｉｒｉ＋２＝２は、とりわけ図３及び４に示す決定木を用いて、第１及び第２のフレームｆ０及びｆ１の特性に基づいて計算される。そして、自身の色データを有するキャプチャされた第１及び第２のフレームｆ０、ｆ１と、それらの露出Ｅ０、Ｅ１の値及び第３のフレームｆ２に関する露出変化の好適方向ｄｉｒｉ＋２の値が、記憶のためにメモリ１３０に伝達されるとともに、後述するような処理のためにプロセッサ１２０に伝達される。
【００３３】
ｉ＝１である、２つのフレームの処理の以下の第１の繰り返し（イテレーション）では、第２のフレームｆｉ＝１が“現在フレーム”と称され、第１のフレームｆｉ−１＝０が“先行フレーム”と称され、第３のフレームｆｉ＋１＝２が“次フレーム”と称され、そして、“次”フレームに続く第４のフレームｆｉ＋２＝３が“後続フレーム”と称される。ステップ１乃至６がプロセッサ１２０によって実行される。そして、ステップ６が、ステップ１乃至６から計算される露出Ｅｉ＋１の下で“次フレーム”ｆｉ＋１をキャプチャするために、センサ１１０によって実行される。
【００３４】
この第１の繰り返しの後、ｉ＝２として第２の繰り返しが始められる。ステップ１乃至６の別の繰り返しで、フレームｆｉ＝２が“現在フレーム”となり、フレームｆｉ−１＝１が“先行フレーム”となり、フレームｆｉ＋１＝３が“次フレーム”となり、そして、フレームｆｉ＋２＝４が“後続フレーム”となって、ステップ１乃至６から再び計算される露出の下での別の“次フレーム”のキャプチャが可能にされる。そして、これが、シーンのＨＤＲ画像を後述のようにして生成することができる一連のフレームのキャプチャの終了まで、ｉの値を増大させて続けられる。
【００３５】
次に、これらの繰り返しの各々の様々なステップを説明する。提示の順序は必ずしも、これらのステップを実行する順序を表すものではない。
【００３６】
ステップ１  ―  動きを考慮に入れない、現在フレームｆｉに関する輝度ヒストグラム計算
現在フレームｆｉすなわちキャプチャされた最後のフレームの全ての画素の色の輝度値から、それ自体は既知の手法で、輝度ヒストグラムＨｆｕｌｌｉが計算される。この計算は画素の動きを考慮に入れない。
【００３７】
ステップ２  ―  現在フレームｆｉに関する動きフィールドＭｉの計算、及び第１のバリエーションに従った、現在フレームｆｉの動き領域ＭＲｉの決定
現在フレームｆｉと先行フレームｆｉ−１との間の動き比較からそれ自体既知の手法で計算される動きフィールドから、現在フレームｆｉと同じサイズを有する動き振幅マップＭｉが提供される。このマップＭｉの各画素が動き振幅値を有する。画素の動き振幅は、先行フレームｆｉ−１から現在フレームｆｉまでにその画素が動いた距離を表す。動き振幅値は好ましくは、０（動きなし）と１（現在フレームでの最大の動き）との間に正規化される。この動きフィールドは、例えば、Fabrice  Urban等による“a  real-time  multi-dsp  motion  estimator  for  mpeg-4  h.  264  avc  high  definition  video  encoding”なるタイトルの論文（2009年，Journal  of  Real-Time  Image  Processing，4(1)，pp.23−31）に開示されている動き推定方法を用いて計算される。
【００３８】
ゼロよりも高い固定の動き振幅閾値を持つ第１のバリエーションにおいて、この閾値よりも高い動き振幅値を有するこの動き振幅マップＭｉの画素の全てが、現在フレームｆｉ内の動き領域ＭＲｉを形成する。動き振幅閾値を有しない第２のバリエーションが、以下のステップ３で提示される。
【００３９】
ステップ３  ―  現在フレームｆｉに関する動きを考慮に入れた輝度ヒストグラム計算
必ずしも必要ではないが好ましくは上述のステップ１と同じ方法を用いて、ステップ２で決定された動き領域ＭＲｉに属する画素の色の、Ｈｍｏｔｉｏｎｉと称する輝度ヒストグラムが計算される。これが意味することは、動き領域ＭＲｉに属する画素のみがこの輝度ヒストグラムＨｍｏｔｉｏｎｉに考慮されるということである。
【００４０】
ステップ２で動き振幅閾値が定められない上述の第２のバリエーションにおいて、現在フレームｆｉの各画素の輝度値が、上述のステップ２で決定された動き振幅マップＭｉから得られるその画素の動き振幅によって重み付けられる。このような輝度値の重み付けの後、この第２のバリエーションでもＨｍｏｔｉｏｎｉと称する加重輝度ヒストグラムの計算が実行される。
【００４１】
上述の双方の型において、この計算によって得られる動き分布Ｈｍｏｔｉｏｎｉは、対応する画素の動きによって重み付けられた色データに基づき、この動きは先行フレームｆｉ−１と比較して評価される。第１のバリエーションにおいて、動き領域に属する画素は１の加重値を与えられ、その他の画素は０の加重値を与えられる。
【００４２】
この段階において、
−  画像の全ての画素に関するＨｆｕｌｌｉ
−  ヌルではない動き加重を持ち動き領域ＭＲｉの部分と見なされる画素のみを考えるＨｍｏｔｉｏｎｉ
という２つの輝度ヒストグラムを有する。これが意味することは、Ｈｍｏｔｉｏｎｉにカウントされる画素は、Ｈｆｕｌｌｉにもカウントされるということである。
【００４３】
この実施形態の更なるバリエーションにおいて、動き領域ＭＲｉの部分ではない画像内の全ての画素の別個のヒストグラムを計算することによって、画素のこの二重カウントを回避することができる。このヒストグラムをＨｇｌｏｂａｌｉと称することにする。
【００４４】
ヒストグラムＨｆｕｌｌｉがＮｆｕｌｌ個の瓶から成り、ヒストグラムＨｍｏｔｉｏｎｉがＮｍｏｔｉｏｎ個の瓶から成り、そして、ヒストグラムＨｇｌｏｂａｌｉがＮｇｌｏｂａｌ個の瓶から成ると仮定する。
【００４５】
上述の３つのヒストグラムＨｆｕｌｌｉ、Ｈｍｏｔｉｏｎｉ、及びＨｇｌｏｂａｌｉの各々から、我々はまた、以下の３つのその他の累積ヒストグラム：
【００４６】
【数１】
0006742732.tif 000002
を計算する。
【００４７】
上述の３つのヒストグラムＨｆｕｌｌｉ、Ｈｍｏｔｉｏｎｉ、及びＨｇｌｏｂａｌｉの各々から、我々はまた、以下の３つの逆累積ヒストグラム：
【００４８】
【数２】
0006742732.tif 000003
を計算する。
【００４９】
これらの累積ヒストグラムは、以下のサブステップ４．２及び４．３で使用されることになる。
【００５０】
ステップ４  ―  次フレームｆｉ＋１に関する露出Ｅｉ＋１の概算
次フレームｆｉ＋１に関するこの露出Ｅｉ＋１を概算するため、とりわけ必要なのは、現在フレームｆｉに関する露出の値と、先行イテレーションによって（あるいは、初期化ステップによって）提供される露出変化の好適方向ｄｉｒｉ＋１の値である。
【００５１】
全体的に、３つの考え得るケースが存在する：
ａ．現在フレームｆｉの露出Ｅｉが既にシーン全体の露出範囲をキャプチャしており、その場合において、Ｅｉ＋１←Ｅｉ及びｄｉｒｉ＋２＝ダウン（何故なら、初期条件に実効的に戻ろうとしているからである）。現在の露出Ｅｉがシーンのダイナミックレンジを十分にキャプチャしているかをテストするため、フル画像ヒストグラムＨｆｕｌｌｉのＮｆｕｌｌ個の瓶のうちの最初の瓶と最後の瓶とが取られる。瓶の総数Ｎｆｕｌｌを有するヒストグラムに関し、瓶の値Ｈｆｕｌｌｉ（０）及びＨｆｕｌｌｉ（Ｎｆｕｌｌ−１）が瓶閾値ｈに対してテストされる。全てのフレームに対して概して共通なものであるこの閾値の値は、典型的に、フレーム内の画素の総数のうちの小さい割合であり、例えば１％であるが、ゼロになるように選択されることも可能である。現在フレームは、以下の条件：
Ｈｆｕｌｌｉ（０）＜ｈ、且つＨｆｕｌｌｉ（Ｎｆｕｌｌ−１）＜ｈ
が満たされる場合に、シーンのダイナミックレンジをキャプチャしていると見なされる。
ｂ．２つの条件：
−  ｆｉ＋１がｆｉと十分な重なりを有する
−  ｆｉ＋１が十分な有用な画素をキャプチャしている
を満たす露出設定Ｅｉ＋１を見出すことができる。
ｃ．そのような露出Ｅｉ＋１が存在せず（例えば、シーンの照度分布が二峰性であり且つ露出Ｅｉがそれらの２つのモードの中間にあるため）、その場合、２つの考え得る露出変化方向のうちの一方で十分な露出重なりを保ちながら、与えられた露出変化方向で可能な最大露出刻みを選択する。
【００５２】
次フレームｆｉ＋１のための露出Ｅｉ＋１の概算につながる図３及び図４に示す決定木の主なブロックは、とりわけ、次フレームｆｉ＋１に関する当初（イニシャル）露出Ｅｉｎｉｔｉ＋１の概算、及び次フレームｆｉ＋１に関する調整された露出Ｅａｄｊｉ＋１の概算という、２つの先立っての概算を含む。これらの概算を以下のサブステップで説明する。
【００５３】
サブステップ４．１  ―  次フレームｆｉ＋１に関する当初露出Ｅｉｎｉｔｉ＋１の概算
ステップ１で提供されたＨｆｕｌｌｉのみを用いて次フレームに関する当初露出設定Ｅｉｎｉｔｉ＋１を計算し、ｄｉｒｉ＋２の計算に関してステップ５で後述するのと同じプロセスに従って先行イテレーション（又は初期化ステップ）から計算された方向ｄｉｒｉ＋１に露出を変化させる。
【００５４】
現在フレームｆｉに関するアンダー露出色データ閾値ｔｌｏｗに対応するデフォルトの低閾輝度値Ｚｌｏｗ，ｉを計算するとともに、オーバー露出色データ閾値ｔｈｉｇｈに対応するデフォルトの高閾輝度値Ｚｈｉｇｈ，ｉを計算する。閾値ｔｌｏｗ及びｔｈｉｇｈは、相対尺度にて、輝度のどの範囲がフレーム内で有用であるか定める。ｔｌｏｗ及びｔｈｉｇｈの値は概して、キャプチャすべきシーケンスの全てのフレームに対して共通である。フレームセンサ１１０が８ビットフレームをキャプチャするように構成される場合、例えば、ｔｌｏｗ＝０．２及びｔｈｉｇｈ＝０．９を有する。故に、この計算では、ｔｌｏｗ＝０．２を有する場合、Ｚｌｏｗ，ｉ＝ｔｌｏｗ×２５５＝５１であり、また、ｔｈｉｇｈ＝０．９を有する場合、Ｚｈｉｇｈ，ｉ＝ｔｈｉｇｈ×２５５＝２３０である。
【００５５】
以下に示すように、Ｅｉｎｉｔｉ＋１を計算するため、ｄｉｒｉ＋１＝アップである場合にはアンダー露出色データ閾値ｔｌｏｗを検討し、ｄｉｒｉ＋１＝ダウンである場合にはオーバー露出色データ閾値ｔｈｉｇｈを検討する。
【００５６】
フレームセンサ１１０のカメラ応答関数ＣＲＦと現在フレームｆｉの露出時間Ｅｉとを知って、次に、このフレームのデフォルトの閾輝度値Ｚｌｏｗ，ｉ又はＺｈｉｇｈ，ｉに対応するこのフレームのシーン照度値を：
【００５７】
【数３】
0006742732.tif 000004
のように計算する。ここで、ＣＲＦ−１は、カメラ応答関数ＣＲＦを反転したものである。
【００５８】
図５は、現在フレームｆｉにおける輝度値Ｚ（すなわち、８ビット符号化において０から２５５）の分布を例示している。この分布はＨｆｕｌｌｉのみに相当する。Ｙ軸は画素カウントに対応し、Ｘ軸は画素値の色データＺに対応している。Ｉ（Ｚ）は、Ｚとしてキャプチャされるシーン照度値を表す。
【００５９】
ｄｉｒｉ＋１＝アップであるときにＥｉｎｉｔｉ＋１を計算するため、図５に示すように次式：
【００６０】
【数４】
0006742732.tif 000005
が好ましく満足されるべきである。
【００６１】
式（３）及び（４）が与えられると、
【００６２】
【数５】
0006742732.tif 000006
となる。
【００６３】
カメラ応答関数ＣＲＦを再び考えるに、次フレームｆｉ＋１に対応する値に基づいて、式（５）を：
【００６４】
【数６】
0006742732.tif 000007
と再公式化することができる。
【００６５】
式（５）と（６）とを結合して、
【００６６】
【数７】
0006742732.tif 000008
が与えられる。
【００６７】
式（７）中の未知数はＥｉｎｉｔｉ＋１のみであり、故に、それを解いて、
【００６８】
【数８】
0006742732.tif 000009
に従った次フレームｆｉ＋１のための当初露出設定を得ることができる。
【００６９】
簡単に言えば、現在フレーム及び次フレームｆｉ、ｆｉ＋１の特定の色値に関して同じシーン照度がキャプチャされるように、次フレームｆｉ＋１の露出Ｅｉｎｉｔｉ＋１の見積もりを計算することができる。このＥｉｎｉｔｉ＋１の選択は、現在フレームｆｉにおける露出範囲と次フレームｆｉ＋１における露出範囲との間に十分な露出重なりが存在することと、現在フレームにおいてアンダー露出又はオーバー露出の何れかであった画素のうちの十分な数を次フレームがキャプチャすることとを確実にする（すなわち、上述のケースｂ）。
【００７０】
同様に、なおも図５に示した輝度値の分布を参照するに、ｄｉｒｉ＋１＝ダウンであるときにＥｉｎｉｔｉ＋１を計算するため、次フレームｆｉ＋１に関する当初露出Ｅｉｎｉｔｉ＋１が次式：
【００７１】
【数９】
0006742732.tif 000010
に従って概算される。
【００７２】
本発明は、上述のＥｉｎｉｔｉ＋１の計算に限定されない。動きを考慮に入れずにＨＤＲ画像を構築するその他の知られた方法が使用されてもよく、とりわけ、上述のように輝度ヒストグラムＨｆｕｌｌｉのみに置かれる閾値Ｚｌｏｗ及びＺｈｉｇｈを使用するだけでなく、このヒストグラムの形状をも使用する方法が用いられてもよい（例えば、上記特許文献１（米国特許第７３８２９３１号明細書）を参照）。
【００７３】
サブステップ４．２  ―  次フレームｆｉ＋１に関する調整された露出Ｅａｄｊｉ＋１の概算
この概算では、好ましくは、現在フレームｆｉのどれだけ多くの画素が、異なる状況においてオーバー露出又はアンダー露出である色を有するかを検討し、それに従って次フレームｆｉ＋１のための露出を調整する。
【００７４】
次フレームｆｉ＋１に関して許容可能なオーバー／アンダー露出画素の個数を決定するため、好ましくは、現在フレームｆｉにおけるローカル（局所的）又はグローバル（全域的）な動きによってどれだけ多くの画素が影響を受けるかを検討し、また、現在フレームｆｉ内でオーバー又はアンダーの露出を測定しているかを検討する。これらのケースの各々が、動き領域ＭＲｉ内のオーバー／アンダー露出画素の割合の閾値ｔｈｒｍｏｔｉｏｎに関して、また、全体フレームｆｉ内のオーバー／アンダー露出画素の割合の閾値ｔｈｒｆｕｌｌ（又は、動き領域ＭＲｉの中にない画素に関するオーバー／アンダー露出画素の割合の閾値ｔｈｒｇｌｏｂａｌ）に関して、異なる値をもたらす。これら２つの閾値ｔｈｒｍｏｔｉｏｎ及びｔｈｒｆｕｌｌ（又はｔｈｒｇｌｏｂａｌ）は、以下にて、次フレームｆｉ＋１が好ましくはどれだけ現在フレームｆｉと輝度的に重なるべきかを決定するために使用されることになる。
【００７５】
続いて、現在フレームｆｉに関する画素ｔｈｒｍｏｔｉｏｎの概算を詳述する。
【００７６】
上述のステップ２で提供される動き振幅マップＭｉから、各画素位置ｘに関し、ローカル動きインデックスＬＭｉを：
【００７７】
【数１０】
0006742732.tif 000011
のように設定する。
【００７８】
そして、現在フレームｆｉに関してローカル動きマップが得られる。
【００７９】
加えて、現在フレームｆｉにおけるローカル動きを有する画素の割合を：
【００８０】
【数１１】
0006742732.tif 000012
のように計算する。
【００８１】
ローカル動きを有する画素の最小の割合の値Ａｍｉｎ、及びローカル動きを有する画素の最大の割合の値Ａｍａｘが実験的に、例えば、Ａｍｉｎ＝０．１％、及びＡｍａｘ＝１％に設定される。これらの値は概して、シーケンスの全てのフレームに対して共通である。動き領域ＭＲｉがＡｍｉｎ及びＡｍａｘにどのように関係しているかを決定するため、動きを有する画素を以下のように単純にカウントする。
【００８２】
以下の表１を参照するに、ローカル動きを有する画素の割合ＡｉがＡｍｉｎよりも小さい場合：
−  オーバー露出に関し、ｄｉｒｉ＋１＝アップであるとき、ｔｈｒｍｏｔｉｏｎ＝ｔｈｒｏｖｅｒ，ｍｉｎと設定し、そして
−  アンダー露出に関し、ｄｉｒｉ＋１＝ダウンであるとき、ｔｈｒｍｏｔｉｏｎ＝ｔｈｒｕｎｄｅｒ，ｍｉｎと設定する。ｔｈｒｏｖｅｒ，ｍｉｎ及びｔｈｒｕｎｄｅｒ，ｍｉｎの値は、表１の最初の行に提案されている。
【００８３】
ローカル動きを有する画素の割合ＡｉがＡｍａｘよりも大きい場合：
−  オーバー露出に関し、ｄｉｒｉ＋１＝アップであるとき、ｔｈｒｍｏｔｉｏｎ＝ｔｈｒｏｖｅｒ，ｍａｘと設定し、そして
−  アンダー露出に関し、ｄｉｒｉ＋１＝ダウンであるとき、ｔｈｒｍｏｔｉｏｎ＝ｔｈｒｕｎｄｅｒ，ｍａｘと設定する。ｔｈｒｏｖｅｒ，ｍａｘ及びｔｈｒｕｎｄｅｒ，ｍａｘの値は、表１の最後の行に提案されている。
【００８４】
Ａｍｉｎ＜Ａｉ＜Ａｍａｘである第３の取り得る状況においては、オーバー／アンダー露出の画素の割合の閾値ｔｈｒｍｏｔｉｏｎを、以下に示すように補間する（表１の真ん中の行を参照）：
【００８５】
【数１２】
0006742732.tif 000013
【００８６】
【表１】
0006742732.tif 000014
続いて、現在フレームｆｉに関する画素ｔｈｒｆｕｌｌ（又は、第２の実施形態によるｔｈｒｇｌｏｂａｌ）の概算を詳述する。
【００８７】
閾値ｔｈｒｆｕｌｌ（又はｔｈｒｇｌｏｂａｌ）を、方向ｄｉｒｉ＋１＝アップである場合、表２に与えられる閾値ｔｈｒｕｎｄｅｒに設定し、あるいは、方向ｄｉｒｉ＋１＝ダウンである場合、表２に与えられる閾値ｔｈｒｏｖｅｒに設定する。
【００８８】
【表２】
0006742732.tif 000015
このプロセスが双方の累積ヒストグラムに対して繰り返される。
【００８９】
動き領域ＭＲｉ内のオーバー／アンダー露出画素の割合に関する閾値ｔｈｒｍｏｔｉｏｎの値は、とりわけ式（１０）に従って計算されることがあるので、フレーム間で可変であり、故に、フレームごとに具体的に評価される。この値は、そのフレーム内のどれほどの動きがあるかに応じて変化することになる。
【００９０】
上述のようにして、現在フレームｆｉの動き領域ＭＲｉに関するオーバー／アンダー露出画素の割合の閾値ｔｈｒｍｏｔｉｏｎと、現在フレームｆｉの全ての画素に関するｔｈｒｆｕｌｌ（又は、動き領域に属さない画素に関するｔｈｒｇｌｏｂａｌ）との値を得た後、後続計算に関して上述したものの中から２つの累積ヒストグラムを選択する。露出時間の増大が次フレームに好ましい場合（すなわち、ｄｉｒｉ＋１＝アップ）、Ｃｆｕｌｌｒｉ及びＣｍｏｔｉｏｎｒｉを好ましく選択する。他の一実施形態において、（上で概説したように）画素を二重にカウントすることを回避するため、Ｃｇｌｏｂａｌｒｉ及びＣｍｏｔｉｏｎｒｉを選択し得る。
【００９１】
露出時間の減少が好ましい場合、すなわち、ｄｉｒｉ＋１＝ダウンの場合、Ｃｆｕｌｌｉ及びＣｍｏｔｉｏｎｉを好ましく選択する。他の一実施形態において、（上で概説したように）画素を二重にカウントすることを回避するため、Ｃｇｌｏｂａｌｉ及びＣｍｏｔｉｏｎｉを選択し得る。
【００９２】
このプロセスは、動き領域に関する１つと、全体画像、又は全体画像から動き領域ＭＲｉを差し引いたものの何れかに関する１つとの、２つの累積ヒストグラムを好ましく選択する。また、２つの対応する閾値の値を上で決定しており、上述の式（９）及び（１０）に従って計算されるｔｈｒｍｏｔｉｏｎが、Ｃｍｏｔｉｏｎｉ（それぞれ、Ｃｍｏｔｉｏｎｒｉ）についての後続計算に関与し、ｄｉｒｉ＋１に応じて表２に従って設定されるｔｈｒｆｕｌｌが、実施形態の選択に依存して、Ｃｆｕｌｌｉ（それぞれ、Ｃｆｕｌｌｒｉ）又はＣｇｌｏｂａｌｉ（それぞれ、Ｃｇｌｏｂａｌｒｉ）の何れかについての後続計算に関与する。
【００９３】
図６は、図５と同じ現在フレームｆｉにおける輝度／強度値Ｚの分布（すなわち、８ビット符号化において０から２５５）の分布を例示している。図６はまた、点線の曲線にて、選択された逆累積分布を例示している。Ｉ（Ｚ）は、Ｚとしてキャプチャされるシーン照度値を表す。この図６を参照して、上述の閾値ｔｈｒｆｕｌｌに対応する調整された閾輝度Ｚｔｈｒ，ｆｕｌｌ，ｉの値を、以下のようにして決定する：点線の累積ヒストグラムＣｆｕｌｌｉ（それぞれ、Ｃｆｕｌｌｒｉ）上で、ｙ軸（すなわち、画素カウント）がｔｈｅｆｕｌｌに等しい点を見つけ、この点のＸ軸上での投影がＺｔｈｒ，ｆｕｌｌ，ｉの値を与える。
【００９４】
このプロセスが累積ヒストグラムＣｆｕｌｌｉ（それぞれ、Ｃｆｕｌｌｒｉ）（又は、Ｃｇｌｏｂａｌｉ（それぞれ、Ｃｇｌｏｂａｌｒｉ））に適用されるとき、Ｚｔｈｒ，ｆｕｌｌ，ｉの値が得られる。このプロセスが累積ヒストグラムＣｍｏｔｉｏｎｉ（それぞれ、Ｃｍｏｔｉｏｎｒｉ）に対して繰り返されて、Ｚｔｈｒ，ｍｏｔｉｏｎ，ｉが得られる。
【００９５】
そして、
Ｃｍｏｔｉｏｎ，ｉ（Ｚｔｈｒ，ｍｏｔｉｏｎ，ｉ）≦ｔｈｒｍｏｔｉｏｎ
Ｃｆｕｌｌ，ｉ（Ｚｔｈｒ，ｍｏｔｉｏｎ，ｉ）≦ｔｈｒｆｕｌｌ
である場合にのみ、最終的な調整された閾輝度値Ｚｔｈｒ，ｉがＺｔｈｒ，ｍｏｔｉｏｎ，ｉに設定される。
【００９６】
あるいは、
Ｃｍｏｔｉｏｎ，ｉ（Ｚｔｈｒ，ｆｕｌｌ，ｉ）≦ｔｈｒｍｏｔｉｏｎ
Ｃｆｕｌｌ，ｉ（Ｚｔｈｒ，ｆｕｌｌ，ｉ）≦ｔｈｒｆｕｌｌ
である場合にのみ、最終的な調整された閾輝度値Ｚｔｈｒ，ｉがＺｔｈｒ，ｆｕｌｌ，ｉに設定される。
【００９７】
この調整された閾輝度値Ｚｔｈｒ，ｉを得た後、Ｚｌｏｗ，ｉをＺｔｈｒ，ｉで置き換え且つＥｉｎｉｔｉ＋１をＥａｄｊｉ＋１で置き換えた式（３）−（７）にて、上記Ｅｉｎｉｔｉ＋１を概算したのと同じ手法で、次フレームｆｉ＋１に関する調整された露出Ｅａｄｊｉ＋１を概算する。
【００９８】
サブステップ４．３  ―  次フレームｆｉ＋１に関する露出Ｅｉ＋１の最終見積もり
ｄｉｒｉ＋１＝アップである場合、図３に示した決定木に従って、次フレームｆｉ＋１のための露出Ｅｉ＋１の最終見積もりを得る。ｄｉｒｉ＋１＝ダウンである場合には、図４に示した決定木に従って、次フレームｆｉ＋１のための露出Ｅｉ＋１の最終見積もりを得る。これらの決定木によれば、結論は、Ｅｉ＋１＝Ｅｉｎｉｔｉ＋１、又はＥｉ＋１＝Ｅａｄｊｉ＋１の何れかである。なお、これらの決定木は現在フレームｆｉの露出Ｅｉを考慮に入れている。
【００９９】
ステップ５  ―  後続フレームｆｉ＋２に関する露出変化の好適方向の決定
この方向ｄｉｒｉ＋２は、“後続”フレームｆｉ＋２が“次”フレームｆｉ＋１の露出Ｅｉ＋１よりも長い（“アップ”）露出時間でキャプチャされるべきか、短い（“ダウン”）露出時間でキャプチャされるべきかを決定する。次の繰り返しで後続フレームｆｉ＋２に関する露出が好ましく変化（アップ又はダウン）されるべき方向ｄｉｒｉ＋２は、サブステップ４．３で使用されたものと同じ決定木に従って決定される。図３及び４を再び参照されたい。
【０１００】
ステップ６  ―  次フレームｆｉ＋１のキャプチャ
センサ１１０が、上述のステップ４でプロセッサ１２０によって調整された露出Ｅｉ＋１に関するデータを受信する。次いで、この露出Ｅｉ＋１の下でセンサが次フレームｆｉ＋１をキャプチャする。そして、このキャプチャされたフレームｆｉ＋１に関する画像データが、メモリ１３０に伝達されて格納される。
【０１０１】
ステップ１乃至６の後続イテレーション
上述のステップ１乃至６の第１の繰り返しの後、キャプチャの終了まで、ステップ１乃至６の、他の後続の繰り返しが同様に実行される。Ｑはシーケンスのフレームの総数であるとして、繰り返しごとに、同じシーンをそれぞれの露出Ｅ０、Ｅ１、Ｅ２、…、Ｅｉ−１、Ｅｉ、Ｅｉ＋１、…、ＥＱ−１の下で撮像する連続したフレームｆ０、ｆ１、ｆ２、…、ｆｉ−１、ｆｉ、ｆｉ＋１、…、ｆＱ−１がメモリ１３０に格納される。
【０１０２】
後処理：シーンの一連のＨＤＲ画像を生成する
上述のようなＱフレームのキャプチャの後、例えばこれらのフレームを異なる露出を有する連続したフレームのシリーズにグループ化するため及び各シリーズのフレームをシーンのＨＤＲ画像へとそれ自体は既知の手法で融合するためなどの後処理ステップが、プロセッサ１２０によって適用される。好ましくは、第１のシリーズの第２のフレームが、第１のシリーズに続く第２のシリーズの第１のフレームであるように、各々のシリーズが２つの連続したフレームを有するとともに、各々のフレームが２つのシリーズに属する。
【０１０３】
シリーズのフレームの融合からの各ＨＤＲ画像の生成は、好ましくは、Nima  Khademi  Kalantari等による“Patch-based  high  dynamic  range  video”なるタイトルの論文（2013年，ACM  Trans.  Graph.，32(6)，p.202）に記載されている方法を用いて実行される。
【０１０４】
そして、シーンのＨＤＲ画像のビデオシーケンスが得られる。
【０１０５】
一バリエーションにて、上述のような連続フレームからのＨＤＲ画像の生成は、これらおフレームに関する画像データがメモリ１３０にて利用可能になると直ちに実行されることができる。
【０１０６】
本発明の利点
本発明に従った方法は以下の利点を有する：
−  生成されるＨＤＲビデオシーケンスのダイナミックレンジが最大化されながら、これらのシーケンスにおける動きアーティファクトが最小化される；
−  当該方法のオンライン部分、すなわち、上述のステップ１乃至６の繰り返しでキャプチャされるほぼ全てのフレームが、後処理の後にＨＤＲフレームをもたらし、ＨＤＲビデオシーケンスを生成するその他の方法においてのような高フレームレートのカメラの必要性を取り除く；
−  所与のＨＤＲ画像に関して最小必要数の露出のキャプチャであり、故に、シーンが多数の露出を必要としない場合、それらはキャプチャされないことになる；
−  当該方法は、特に、限られた処理能力を有するモバイル装置に合わせて設計される。
【０１０７】
理解されるように、本発明は、様々な形態のハードウェア、ソフトウェア、ファームウェア、専用プロセッサ、又はこれらの組み合わせにて実装され得る。本発明は、とりわけ、ハードウェアとソフトウェアとの組み合わせとして実装され得る。また、ソフトウェアは、プログラム記憶ユニットにて有形に具現化されるアプリケーションプログラムとして実装され得る。アプリケーションプログラムは、好適なアーキテクチャを有する機械にアップロードされて、それによって実行され得る。好ましくは、その機械は、例えば１つ以上の中央演算処理ユニット（“ＣＰＵ”）、ランダムアクセスメモリ（“ＲＡＭ”）、及び入力／出力（“Ｉ／Ｏ”）インタフェースなどのハードウェアを有するコンピュータプラットフォーム上に実装される。コンピュータプラットフォームはまた、オペレーティングシステム及びマイクロ命令コードを含み得る。ここに記載された様々なプロセス及び機能は、マイクロ命令コードの部分又はアプリケーションプログラムの部分の何れか、又はこれらの何らかの組み合わせとすることができ、それがＣＰＵによって実行され得る。さらに、コンピュータプラットフォームには、例えば更なるデータ記憶ユニット及び印刷ユニットなどの様々なその他の周辺ユニットが接続され得る。
【０１０８】
特定の例及び好適実施形態に関して本発明を説明したが、理解されるように、本発明はこれらの例及び実施形態に限定されない。特許請求される本発明は、故に、当業者に理解されることになるような、ここに記載された特定の例及び好適実施形態からの変形を含む。複数の具体的な実施形態の一部が別々に記述されて特許請求されていることがあるが、理解されるように、ここに記述されて特許請求される実施形態の様々な特徴が組み合わせて使用されてもよい。請求項中に現れる参照符号は、単に例示によるものであり、請求項の範囲への限定効果を有するものではない。
上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
シーンのＨＤＲ画像を生成する方法であって、前記シーンを撮像する現在フレームが現在露出の下でキャプチャされており、前記シーンを撮像する先行フレームが前記現在フレームの前にキャプチャされており、当該方法は、
前記現在露出と、前記現在フレームの画素の色の第１の輝度分布と、前記画素の動きによって重み付けられた前記画素の色の第２の輝度分布との関数として、次フレームに関する露出を設定することであり、前記動きは、前記先行フレームとの比較で前記画素に関して評価される、設定することと、
前記設定された露出の下で前記次フレームをキャプチャすることと、
前記次フレームを、ＨＤＲ画像へと、少なくとも前記現在フレームと融合することと
を有する、ＨＤＲ画像を生成する方法。
（付記２）
前記次フレームに関する前記露出は、前記現在フレームに関する露出変化の好適方向の関数としても設定される、付記１に記載のＨＤＲ画像を生成する方法。
（付記３）
前記次フレームに続くフレームに関する露出変化の好適方向を決定すること、を有する付記２に記載のＨＤＲ画像を生成する方法。
（付記４）
前記次フレームに関する露出を設定することは、前記第１の輝度分布に基づくが前記第２の輝度分布には基づかない当初露出の概算と、前記第２の輝度分布に基づく調整された露出の概算と、前記次フレームに関する前記露出の値として前記当初露出と前記調整された露出との間で選択を行うように適応された、前記次フレームに関する前記露出の最終的な見積もりとを有する、付記１乃至３の何れか一に記載のＨＤＲ画像を生成する方法。
（付記５）
特に先行フレームをキャプチャし且つ現在露出の下で現在フレームをキャプチャするよう、シーンを撮像する順次のフレームをキャプチャするように構成されたフレームセンサと、
プロセッサであり、
前記現在露出と、前記現在フレームの画素の色の第１の輝度分布と、前記画素の動きによって重み付けられた前記画素の色の第２の輝度分布との関数として、次フレームに関する露出を設定し、前記動きは、前記先行フレームとの比較で前記画素に関して評価され、
前記フレームセンサにより前記設定された露出の下での前記次フレームのキャプチャを引き起こし、
前記次フレームを、ＨＤＲ画像へと、少なくとも前記現在フレームと融合する
ように構成されたプロセッサと、
を有するＨＤＲ画像キャプチャ装置。
（付記６）
前記プロセッサはまた、前記次フレームに関する前記露出を、前記現在フレームに関する露出変化の好適方向の関数としても設定するように構成されている、付記５に記載のＨＤＲ画像キャプチャ装置。
（付記７）
前記プロセッサはまた、前記次フレームに続くフレームに関する露出変化の好適方向を決定するように構成されている、付記６に記載のＨＤＲ画像キャプチャ装置。
（付記８）
前記プロセッサはまた、前記次フレームに関する露出を設定することが、前記第１の輝度分布に基づくが前記第２の輝度分布には基づかない当初露出の概算と、前記第２の輝度分布に基づく調整された露出の概算と、前記次フレームに関する前記露出の値として前記当初露出と前記調整された露出との間で選択を行うように適応された、前記次フレームに関する前記露出の最終的な見積もりとを有するように構成されている、付記５乃至７の何れか一に記載のＨＤＲ画像キャプチャ装置。
【図１】
0006742732.tif 000016
【図２】
0006742732.tif 000017
【図３】
0006742732.tif 000018
【図４】
0006742732.tif 000019
【図５】
0006742732.tif 000020
【図６】
0006742732.tif 000021