(57)【要約】【課題】  シーンまたはカメラの動きが存在しても、連続した段階露出画像から高ダイナミックレンジ（ＨＤＲ）画像を生成するシステムおよび方法を提供する。【解決手段】  これは、まず画像の１つを基準画像に選択することによって達成される。次いで、各非基準画像を、検討対象の画像よりも基準画像の露出時間に近く、かつ、他の画像のうちで検討対象の画像の露出時間に最も近い露出時間を示す基準画像を含む別の画像と重ね合わせてフロー場を生成する。すでに基準画像と重ね合わされていない非基準画像に生成されるフロー場を連結して、各非基準画像を基準画像と重ね合わせる。次いで、関連付けられたフロー場を使用して各非基準画像をワープする（動作２２６）。基準画像とワープした画像を組み合わせて、ＨＤＲ画像を表す放射輝度マップを作成する（動作２２８）。【選択図】  図２Ｂ
2005045804.tif 000002
【特許請求の範囲】
【請求項１】
各画像の露出時間を変化させながら捕捉されたシーンの画像シーケンスから、高ダイナミックレンジ（ＨＤＲ）画像を生成するシステムであって、
汎用コンピューティングデバイスと、
前記コンピューティングデバイスによって実行可能なプログラムモジュールを備えるコンピュータプログラムとを備え、
前記コンピューティングデバイスは、前記コンピュータプログラムの前記プログラムモジュールにより、
有効ピクセル数が最も多い画像を基準画像に指定し、ピクセルは、飽和しておらず、かつ許容できる程度のコントラストを示す場合に有効とし、
基準画像を除く各画像ごとに、検討対象の画像より前記基準画像の露出時間に近く、かつ前記画像の中で検討対象の画像の露出時間に最も近い露出時間を示す、前記基準画像を含む画像と前記検討対象の画像とを重ね合わせて、フロー場を生成し、
まだ前記基準画像と重ね合わされていない非基準画像に生成された前記フロー場を連結して、各前記非基準画像を前記基準画像と重ね合わせ、
各非基準画像に関連付けられた前記フロー場を用いて各非基準画像をワープし、
前記基準画像と前記ワープされた画像を組み合わせて、前記ＨＤＲ画像を表す放射輝度マップを作成する
ように指示される
ことを特徴とするシステム。
【請求項２】
前記放射輝度マップをトーンマッピングして、前記放射輝度マップをレンダリングに適した８ビット表現に変換するプログラムモジュール
をさらに備えたことを特徴とする請求項１に記載のシステム。
【請求項３】
前記放射輝度マップをトーンマッピングするプログラムモジュールは、
前記放射輝度マップをＣＩＥ空間に変換し、色度座標を回復して輝度画像を生成するサブモジュールと、
前記輝度画像のダイナミックレンジを縮小し、クロミナンスを再挿入するサブモジュールと、
前記ＣＩＥ空間画像を変換して最終的な８ビットのＲＧＢ画像を生成するサブモジュールと
を備えたことを特徴とする請求項２に記載のシステム。
【請求項４】
前記画像シーケンス中の画像数と前記画像間の露出の変化は、前記画像が、前記画像中に描写されるシーンの実質的にすべての輝度の変化をまとめて捕捉するようなものである
ことを特徴とする請求項１に記載のシステム。
【請求項５】
ピクセルの強度は、８ビットのＲＧＢ色空間値で測定し、ピクセルは、その各ＲＧＢ値が規定の間隔内である場合に飽和しておらず、許容できる程度のコントラストを示すものとみなされる
ことを特徴とする請求項１に記載のシステム。
【請求項６】
前記規定の間隔は、１７以上２５４以下である
ことを特徴とする請求項５に記載のシステム。
【請求項７】
前記検討対象の画像より前記基準画像の露出時間に近く、かつ前記画像の中で検討対象の画像の露出時間に最も近い露出時間を示す画像と前記検討対象の画像とを重ね合わせて、フロー場を生成するサブモジュールは、
前記検討対象の画像の露出時間が、その画像が重ね合わされるもう一方の入力画像より短い場合は、
前記検討対象の画像の強度をブーストして、前記もう一方の入力画像の強度範囲と実質的に一致させるサブモジュールと、
前記検討対象の画像をもう一方の画像にマッピングするグローバル変換を推定することにより、前記検討対象の画像を前記もう一方の入力画像と大域的に重ね合わせるフロー場を計算するサブモジュールと、
勾配に基づくオプティカルフローを使用して、前記グローバル変換を用いて計算されたフロー場に対する局所的な補正を形成する密な動き場を計算するサブモジュールとを備え、
補正されたフロー場は、（ｉ）前記グローバル変換から得られた大域成分と、（ｉｉ）前記大域成分に対する局所的補正を形成する前記密な動き場から取られた局所成分と、の合計である、前記フロー場の各ピクセル位置の合成ベクトルを備える
ことを特徴とする請求項１に記載のシステム。
【請求項８】
勾配に基づくオプティカルフローを使用して、前記フロー場に対する局所的な補正を形成する密な動き場を計算するサブモジュールは、
ラプラシアンピラミッドのフレームワークで使用されるＬｕｃａｓおよびＫａｎａｄｅの技術の変形を用い、検討対象の画像を前記もう一方の入力画像の方向にワープし、前記ピラミッドの各レベルで剰余のフローベクトルを推定するサブモジュールと、
前記ピラミッドの各レベルに各ピクセルに計算された前記剰余のフローベクトルを蓄積して、前記密な動き場の前記局所成分を確立するサブモジュールとを備えた
ことを特徴とする請求項７に記載のシステム。
【請求項９】
検討対象の画像より前記基準画像の露出時間に近く、かつ前記画像の中で前記検討対象の画像の露出時間に最も近い露出時間を示す画像と前記検討対象の画像とを重ね合わせて、フロー場を生成するサブモジュールは、
前記検討対象の画像の露出時間が、その画像が重ね合わされるもう一方の入力画像よりも長い場合は、
前記もう一方の画像の強度をブーストして、前記検討対象の画像の強度範囲と実質的に一致させるサブモジュールと、
前記検討対象の画像をもう一方の画像にマッピングするグローバル変換を推定することにより、前記検討対象の画像を前記もう一方の入力画像と大域的に重ね合わせるフロー場を計算するサブモジュールと、
勾配に基づくオプティカルフローを使用して、前記グローバル変換を用いて計算されたフロー場に対する局所的補正を形成する密な動き場を計算するサブモジュールとを備え、
補正されたフロー場は、（ｉ）前記グローバル変換から得られた大域成分と、（ｉｉ）前記大域成分に対する局所的補正を形成する前記密な動き場から取られた局所成分と、の合計である、前記フロー場の各ピクセル位置の合成ベクトルを備える
ことを特徴とする請求項１に記載のシステム。
【請求項１０】
勾配に基づくオプティカルフローを使用して、前記グローバル変換に対する局所的な補正を形成する動き場を計算するサブモジュールは、
ラプラシアンピラミッドのフレームワークで使用されるＬｕｃａｓおよびＫａｎａｄｅの技術の変形を用い、前記検討対象の画像を前記もう一方の入力画像の方向にワープし、前記ピラミッドの各レベルで剰余のフローベクトルを推定するサブモジュールと、
前記ピラミッドの各レベルに各ピクセルに計算された前記剰余のフローベクトルを蓄積して、前記密な動き場の前記局所成分を確立するサブモジュールとを備える
ことを特徴とする請求項９に記載のシステム。
【請求項１１】
前記基準画像とワープした画像を組み合わせて前記放射輝度マップを作成するプログラムモジュールは、
前記基準画像と各ワープ画像をそれぞれ放射輝度画像に変換するサブモジュールと、
前記放射輝度マップ中の各ピクセル位置に放射輝度値を割り当てるサブモジュールとを備え、
前記放射輝度マップの放射輝度値は、前記基準画像中のそのピクセル位置のピクセルの強度に基づきどちらの値が信頼できると考えられるかに応じて、前記基準画像に関連付けられた前記放射輝度画像中の同じピクセル位置に割り当てられた放射輝度値か、または、前記基準画像および前記ワープ画像に関連付けられた前記放射輝度画像中の対応するピクセル位置から取られた２つ以上の放射輝度値の重みつきの組合せである
ことを特徴とする請求項１に記載のシステム。
【請求項１２】
コンピュータによって実施される、各画像の露出時間を変化させながら捕捉されたシーンの画像シーケンスから、高ダイナミックレンジ（ＨＤＲ）画像を生成する方法であって、コンピュータを使用して、
前記画像を入力する動作と、
有効ピクセル数が最も多い入力画像を基準画像に指定する動作であって、ピクセルは、飽和しておらず、かつ許容できる程度のコントラストを示す場合に有効とされる動作と、
基準画像を除く各入力画像ごとに、検討対象の入力画像より前記基準画像の露出時間に近く、かつ前記入力画像の中で検討対象の入力画像の露出時間に最も近い露出時間を示す、前記検討対象の画像と前記基準画像を含む別の画像との間で対応するピクセルを識別する動作と、
入力画像の対の間で識別された前記ピクセルの対応関係を使用して、前記基準画像の各ピクセルに対して前記入力画像間で対応するピクセルのセットを確立する動作と、
対応するピクセルの各セットにつき、信頼できるピクセルを表す少なくとも１つのピクセルを前記セット中で識別し、前記１つまたは複数の識別された信頼できるピクセルに関連付けられたピクセルの色情報を用いてそのピクセルセットの放射輝度値を計算して、前記ＨＤＲ画像を表す放射輝度マップを形成する動作と
を行うことを特徴とする方法。
【請求項１３】
前記放射輝度マップをトーンマッピングして、前記放射輝度マップをレンダリングに適した８ビット表現に変換する動作
をさらに備えることを特徴とする請求項１２に記載の方法。
【請求項１４】
前記検討対象の画像と前記別の入力画像との間で対応するピクセルを識別する動作は、その画像を前記別の入力画像と重ね合わせるフロー場を計算する動作を備える
ことを特徴とする請求項１２に記載の方法。
【請求項１５】
入力画像の対の間で識別された前記ピクセルの対応関係を使用して、前記基準画像の各ピクセルに対して前記入力画像間で対応するピクセルのセットを確立する動作は、まだ前記基準画像と重ね合わされていない非基準画像に生成された前記フロー場を連結して、各前記非基準画像を前記基準画像と重ね合わせる動作を備える
ことを特徴とする請求項１４に記載の方法。
【請求項１６】
対応ピクセルの各セットにつき、信頼できるピクセルを表す少なくとも１つのピクセルを前記セット中で識別し、前記１つまたは複数の識別された信頼できるピクセルに関連付けられたピクセルの色情報を用いてそのピクセルセットの放射輝度値を計算して、前記ＨＤＲ画像を表す放射輝度マップを形成する動作は、
前記基準画像と各ワープした画像をそれぞれ放射輝度画像に変換する動作と、
前記基準画像の各ピクセル位置について、
前記ワープした画像中の対応する位置に割り当てられた放射輝度値が、検討対象の前記基準画像のピクセル位置に割り当てられた前記放射輝度値の許容できる最大のノイズ分散の範囲内であるかどうかを判定する動作と、
ワープした画像中の前記対応する位置に割り当てられた前記放射輝度値の少なくとも１つが、検討対象の前記基準画像の当該ピクセル位置に割り当てられた前記放射輝度値の許容できる最大のノイズ分散の範囲内であることが判明した場合、前記検討対象の基準フレームのピクセル位置と、その放射輝度値が前記許容できる最大のノイズ分散の範囲内にある前記ワープした画像中の前記対応するピクセル位置とに割り当てられた放射輝度値の加重平均を計算する動作、および前記加重平均を、前記放射輝度マップ中の前記検討対象のピクセル位置の前記放射輝度値として割り当てる動作と、
前記ワープした画像中の前記対応する位置に割り当てられた前記放射輝度値のいずれも、前記基準画像の当該ピクセル位置に割り当てられた前記放射輝度値の許容できる最大のノイズ分散の範囲内にないことが判明した場合、前記基準画像中の前記検討対象のピクセル位置に割り当てられた放射輝度値を、前記放射輝度マップ中の前記検討対象のピクセル位置の放射輝度値として割り当てる動作と
を備える
ことを特徴とする請求項１４に記載の方法。
【請求項１７】
前記検討対象の基準フレームのピクセル位置と、その放射輝度値が前記許容できる最大のノイズ分散の範囲内にある前記ワープした画像中の前記対応するピクセル位置とに割り当てられた放射輝度値の加重平均を計算する動作は、
【数１】
2005045804.tif 000027
として前記加重平均の放射輝度を計算する動作を備え、
ｐＲ，ＰＳｉおよびｐＬｉは、前記放射輝度画像中の対応するピクセルであり、下付き文字Ｒは、前記基準画像に関連付けられた前記放射輝度画像を表し、下付き文字Ｓｉは、露出時間が前記基準画像より短い各前記ワープ画像に関連付けられた前記放射輝度画像を表し、下付き文字Ｌｉは、露出時間が前記基準画像より長い各前記ワープ画像に関連付けられた前記放射輝度画像を表し、重み関数ｆＷＭ（ｑ，ｐ）＝ｆＭ（｜ｐ−ｑ｜）ｆＷ（ｐ）は、尤もらしさのマップｆＭで調整した、強度に基づく重み関数ｆＷであり、ｆＭ（）は、
【数２】
2005045804.tif 000028
によって定義されるエルミートの三次式であり、δｍａｘは規定のパラメータであり、前記許容できる最大のノイズ分散を超えるワープ画像に関連付けられた放射輝度値の調整された重みは、前記加重平均の放射輝度を計算する際にゼロに設定される
ことを特徴とする請求項１６に記載の方法。
【請求項１８】
段階露出画像のシーケンスから高ダイナミックレンジ（ＨＤＲ）画像を生成するコンピュータ実行可能命令を有するコンピュータ読み取り可能な記録媒体であって、前記コンピュータ実行可能命令は、
（ａ）前記段階露出画像を入力するステップと、
（ｂ）前記入力画像を露出時間の順に並べ替えるステップと、
（ｃ）有効ピクセル数が最も多い入力画像を基準画像に指定するステップであって、ピクセルは、飽和しておらず、かつ規定された程度のコントラストを示す場合に有効とするステップと、
（ｄ）これまでに重ね合わされていない非基準入力画像を選択するステップと、
（ｅ）前記選択された入力画像の露出時間が前記基準画像より短いか、長いかを判定するステップと、
（ｆ）前記選択された入力画像の露出時間が前記基準画像より短い場合は、
露出時間が次に短く、前記選択された入力画像よりは長い入力画像を識別するステップであって、当該入力画像は重ね合わされた画像であってもよいステップと、
前記選択した画像をブーストして前記識別された画像の露出と一致させるステップと、
前記ブーストした選択画像を前記識別された画像と重ね合わせて、前記選択画像のフロー場を生成するステップと、
（ｇ）前記選択された入力画像の露出時間が前記基準画像より長い場合は、
露出時間が次に長く、前記選択された入力画像よりは短い入力画像を識別するステップであって、当該入力画像は重ね合わされた画像であってもよいステップと、
前記識別した画像をブーストして前記選択された画像の露出と一致させるステップと、
前記選択画像を前記ブーストした識別画像と重ね合わせて、前記選択画像のフロー場を生成するステップと、
（ｈ）重ね合わされていない非基準入力画像が残っているかどうかを判定し、残っている場合は、すべての前記非基準画像が重ね合わされるまで命令（ｄ）から（ｈ）を繰り返すステップと、
（ｉ）まだ前記基準画像と重ね合わされていない前記非基準入力画像に生成された前記フロー場を連結して、各前記非基準画像を前記基準画像と重ね合わせるステップと、
（ｊ）各非基準入力画像に関連付けられた前記フロー場、またはある場合には連結されたフロー場を使用して、各非基準入力画像をワープするステップと、
（ｋ）前記基準画像と前記ワープ画像を組み合わせて、前記ＨＤＲ画像を表す放射輝度マップを作成するステップと
を備えることを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項１９】
前記放射輝度マップをトーンマッピングして、前記放射輝度マップをレンダリングに適した８ビット表現に変換する命令
をさらに備えたことを特徴とする請求項１８に記載のコンピュータ読み取り可能な記録媒体。
【請求項２０】
ピクセルの強度は、８ビットのＲＧＢ色空間値で測定し、ピクセルは、その各ＲＢＧ値が１７以上２５４以下である場合に飽和しておらず、許容できる程度のコントラストを示すものとみなされる
ことを特徴とする請求項１８に記載のコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高ダイナミックレンジ画像を生成するシステムおよび方法に関する。より詳細には、一続きの段階露出画像から高ダイナミックレンジ（ＨＤＲ）画像を生成することに関し、画像間にシーンまたはカメラの動きが存在してもそのようなＨＤＲ画像を生成する、動きのあるシーンの複数の露出から高ダイナミックレンジ画像を生成するシステムおよび方法並びに記録媒体に関する。
【背景技術】
【０００２】
現実の世界には、今日の大半のカメラで利用できるセンサによって捉えられる数をはるかに上回る明るさの変化（variation）がある。単一のシーンの放射輝度は、影から完全に光が当たった領域まで４桁の輝度の大きさを含むことができる。一般的なＣＣＤ（charge-coupled device）センサまたはＣＭＯＳ（complementary metal-oxide semiconductor）センサでは、２５６〜１０２４程度の輝度レベルしか捉えることができない。
【０００３】
いくつかの文献に上述のような従来の技術に関連した技術内容が開示されている（例えば、非特許文献１〜１２参照）。
【０００４】
【非特許文献１】J. R. Bergen, P. Anandan, K. J. Hanna, and R. Hingorani. Hierarchical model-based motion estimation. In Second European Conference of Computer Vision (ECCV' 92), pages 237-252, 1992
【非特許文献２】L. Bogoni. Extending dynamic range of monochrome and color images through fusion. Int'I Conf. on Pattern Recognition, vol. 3, pages 7-12, September 2000
【非特許文献３】P. E. Debevec and J. Malik. Recovering high dynamic range radiance maps from photographs. Proc. of SIGGRAPH 97, pages 369-378, August 1997
【非特許文献４】F. Durand and J. Dorsey. Fast bilateral filtering for the display of high dynamic range images. ACM Trans. on Graphics (TOG), 21(3): 257-266, 2002
【非特許文献５】R. Fattal, D. Lischinski, and M. Werman. Gradient domain high dynamic range compression. ACM Trans. on Graphics, 21(3): 249-256, 2002
【非特許文献６】B. D. Lucas and T. Kanade. An iterative image registration technique with an application in stereo vision. In Int'1 Joint Conf. on Artificial Intelligence, pages 674-679, 1981
【非特許文献７】S. Mann and R. W. Picard. On being "undigital" with digital cameras: Extending dynamic range by combining differently exposed pictures. In IS & T's 48th Annual Conference, Society for Imaging Science and Technology, Washington D.C., pages 422-428, 1995
【非特許文献８】S. Mann, C. Manders, and J. Fung. Painting with Looks: Photographic images from video using quantimetric processing. In ACM Multimedia, Dec. 2002
【非特許文献９】T. Mitsunaga and S. K. Nayar. Radiometric self calibration. In IEEE Conf. on Computer Vision and Pattern Recognition, volume 1, pages 374-380, June 1999
【非特許文献１０】T. Mitsunaga and S. K. Nayar. High dynamic range imaging: Spatially varying pixel exposures. In IEEE Conf. on Computer Vision and Pattern Recognition, volume１, pages 472-479, June 2000
【非特許文献１１】E. Reinhard, M. Stark, P. Shirley, and J. Ferwerda. Photographic tone reproduction for digital images. ACM Trans. on Graphics, 21(3): 267-276, 2002
【非特許文献１２】Y. Tsin, V. Ramesh, and T. Kanade. Statistical calibration of CCD imaging process. In Int'1 Conf. on Computer Vision, volumel, pages 480-487, July 2001
【発明の開示】
【発明が解決しようとする課題】
【０００５】
この限られたダイナミックレンジの問題に触発されて近年多くの解決法が考案されている。静的なシーンの完全な放射輝度を捉える方法の１つは、そのシーンの複数の露出を捕捉し、次いでそれらを組み合わせて高ダイナミックレンジ（ＨＤＲ）マップを作成するものである［３、７、８，９、１２］（特許文献３、７、８、９、１２）。これらの技術は複数の入力画像を必要とするので、シーン中の動的な要素または移動するカメラ（例えば手持ち型のカメラ）が原因となって入力間に動きが生じる可能性がある。Ｍｉｔｓｕｎａｇａ他［９］（特許文献９）は、大域的な運動モデルを入力に適合させることにより、限られた程度この問題に対処する。Ｍａｎｎ他［８］（特許文献８）は、より大きなカメラの回転を補償することが可能なホモグラフィーを使用して、露出が異なるフレームを重ね合わせる（register）。Ｂｏｇｏｎｉ［２］（特許文献２）は、アフィン動きの後にピクセル単位のフローを使用して異なる露出を重ね合わせるが、フレーム重ね合わせ（registration）の詳細は与えられない。
【０００６】
異なる時間に取り込まれた画像を融合する必要性は、複数の画像検出器、新規のセンサ、または空間的に変化するピクセル露出を使用して解消する（そして動きの問題を解消する）ことができる［１０］（特許文献１０）。しかし、本発明の主眼は、広く利用できる従来の（すなわち低ダイナミックレンジの）画像センサおよびカメラを使用して実現できる事に向けられる。
【０００７】
ＨＤＲ画像を計算すると、その画像をディスプレイにレンダリングすることができる。一般的なディスプレイでは約２桁の輝度値の大きさしか得られないので、ＨＤＲ画像にコントラストの減少を行わなくてはならない。このいわゆるトーンマッピングの問題は、近年複数の研究者によって研究されている［４、５、１１］（特許文献４、５、１１）。
【０００８】
先行する段落と本明細書の残りの部分では、説明で、角括弧内に示す数字で識別される各種の個々の文献を参照することに留意されたい。例えば、そのような参考文献は、「参考文献［１］（特許文献１）」あるいは単に「［１］（特許文献１）」と記すことによって識別することができる。複数の参考文献は、例えば［２、３］（特許文献２、３）など複数の数字を含む角括弧で識別する。各数字に対応する文献を含む参考文献の一覧は、［発明を実施するための最良の形態］の項の最後でも得ることができる。
【０００９】
本発明は、このような状況に鑑みてなされたもので、その目的とするところは、画像間にシーンまたはカメラの動きがあっても、あるシーンの段階露出画像のシーケンスから高ダイナミックレンジ（ＨＤＲ）画像を生成する、高ダイナミックレンジ画像を生成するシステムおよび方法を提供することにある。
【課題を解決するための手段】
【００１０】
本発明は、画像間にシーンまたはカメラの動きがあっても、あるシーンの段階露出画像のシーケンスから高ダイナミックレンジ（ＨＤＲ）画像を生成するシステムおよび方法を対象とする。このシステムおよび方法は、まずシーケンスのうち最大数の「有効」ピクセルを有する画像を基準画像に指定することを伴う。ピクセルは、飽和しておらず、許容できる程度のコントラストを示す場合に有効とみなす。試験した実施形態では、ピクセル強度を８ビットのＲＧＢ（red-green-blue）色空間値で測定し、ピクセルは、各ＲＧＢ値がある間隔内である場合に、飽和しておらず、許容できる程度のコントラストを示すものとみなした。本発明の試験バージョンでは、この間隔の最小値および最大値はそれぞれ１７と２５４に設定した。
【００１１】
基準画像を選択すると、シーケンス中の各「非基準」画像を基準画像と重ね合わせる。本システムおよび方法の一実施形態では、これは、検討対象の画像よりも基準画像の露出時間に近く、かつその他の画像の中で検討対象の画像の露出時間に最も近い露出を示す段階露出シーケンスの画像（基準画像を含む）と検討対象の画像を重ね合わせることにより、非基準画像ごとに行われる。この重ね合わせ手順では、各非基準画像のフロー場を生成する。本発明の試験バージョンでは、この重ね合わせには、ピクセル単位のオプティカルフロー場を計算することが伴った。
【００１２】
まだ基準画像と重ね合わされていない非基準画像に生成されたフロー場を連結して、各非基準画像を基準画像と重ね合わせる。次いで、連結したフロー場、または元々基準画像と直接重ね合わせた画像の場合は変更が加えられていないフロー場を使用して、各非基準画像をワープ（warp）する。このワープした画像を次いで基準画像と組み合わせて、ＨＤＲ画像を表す放射輝度マップを作成する。８ビットディスプレイを使用してＨＤＲ画像をレンダリングおよび表示する場合は、本システムにより放射輝度マップにトーンマッピング手順を行って、放射輝度マップをディスプレイに適した画像に変換する。
【００１３】
これは必須ではないが、理想的には、段階露出シーケンス中の画像の数と画像間の露出の変化は、それらの画像が、画像中に描写されるシーンの実質的にすべての輝度の変化をまとめて捕捉できるようなものであることに留意されたい。
【００１４】
非基準画像のピクセル単位のオプティカルフロー場の計算については、この計算は、本ＨＤＲ画像生成システムおよび方法の一実施形態により以下のように達成することができる。検討対象の画像が、その画像が重ね合わされるもう一方の入力画像よりも露出時間が短い場合は、検討対象の画像の強度をブースト（boost）してもう一方の画像の強度範囲と実質的に一致させる。これに対し、検討対象の画像が、その画像を重ね合わせるもう一方の画像よりも露出時間が長い場合は、もう一方の画像の強度をブーストして検討対象の画像の強度範囲と実質的に一致させる。いずれの場合も、ブースト手順が完了すると、検討対象の画像をもう一方の画像にマッピングするグローバル変換を推定することにより、検討対象の画像をもう一方の入力画像と大域的に重ね合わせるフロー場を計算する。次いで、勾配に基づくオプティカルフロー手順を用いて密な動き場を計算する。この計算により、グローバル変換を用いて計算されたフロー場に対する局所的な補正が生成される。補正されたフロー場は、グローバル変換から得られる大域成分と、大域成分に対する局所的な補正を形成する密な動き場から取られた局所成分との合計である、各ピクセル位置の複合ベクトルからなる。任意の適切な従来のグローバル変換を用いることができる。本発明の試験バージョンでは、使用したグローバル変換はアフィン変換であった。
【００１５】
グローバル変換に対する局所的な補正を形成する密な動き場を計算する上述の手順は、ＬｕｃａｓおよびＫａｎａｄｅ［６］（特許文献６）の技術の変形をラプラシアンピラミッドのフレームワーク［１］（特許文献１）で使用することを伴う。より詳細には、検討対象の画像は、それを重ね合わせるシーケンス中のもう一方の画像の方向にワープし、ピラミッドの各レベルで剰余のフローベクトルを推定する。この剰余のフローベクトルをピラミッドの各レベルでピクセルごとに蓄積して、密な動き場の最終的な局所成分を確立する。
【００１６】
基準画像とワープした画像を組み合わせて放射輝度マップを作成することについては、これは、本ＨＤＲ画像生成システムおよび方法の一実施形態により次のように達成することができる。初めに、基準画像と各ワープ画像を個々の放射輝度画像に変換する。次いで放射輝度マップの各ピクセル位置に放射輝度値を割り当てる。この放射輝度値は、基準画像のみに関連付けられた放射輝度値か、または、基準画像およびワープ画像に関連付けられた放射輝度画像中の対応するピクセル位置から取られた２つ以上の放射輝度値の重みつきの組合せのいずれかである。一般には、この決定は、ピクセルの強度に基づいてどちらの値が信頼できると考えられるかによって決まる。
【００１７】
より詳細には、基準画像のピクセル位置ごとに、初めに、ワープした画像中の対応する位置に割り当てられた放射輝度値が、検討対象の基準画像のそのピクセル位置に割り当てられた放射輝度値の許容できる最大のノイズ分散の範囲内であるかどうかを判定する。上述したワープ画像中の対応する位置に割り当てられた放射輝度値の少なくとも１つが、許容できる最大のノイズ分散の範囲内であることが判明した場合は、それらの放射輝度値と基準画像の放射輝度値の加重平均を、放射輝度マップにおける検討対象のピクセル位置の放射輝度値として割り当てる。ただし、ワープした画像中の対応する位置に割り当てられた放射輝度値のいずれも上述した許容できる最大のノイズ分散の範囲内にないことが判明した場合は、基準画像のみに関連付けられた放射輝度値を、放射輝度マップの検討対象のピクセル位置の放射輝度値として割り当てる。
【００１８】
上記の利点に加えて、本発明の他の利点は、添付図面と併せて読むことにより以下の詳細な説明から明らかになろう。
【００１９】
本発明の具体的な特徴、態様、および利点は、以下の説明、特許請求の範囲、および添付図面との関連でより正確に理解されよう。
【発明の効果】
【００２０】
本発明によれば、画像間にシーンまたはカメラの動きがあっても、あるシーンの段階露出画像のシーケンスから高ダイナミックレンジ（ＨＤＲ）画像を生成することが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下、図面を参照して本発明を適用できる実施形態を詳細に説明する。以下の本発明の好適実施形態の説明では説明の一部を形成する添付図面を参照し、図面には本発明を実施することが可能な特定の実施形態を例示として示す。本発明の範囲から逸脱することなく、この他の実施形態を利用することができ、構造的な変更を加えられることは理解されよう。
【００２２】
１．０  ＨＤＲ画像生成のコンピューティング環境
本発明の好適実施形態を説明する前に、本発明を実施することが可能な適切なコンピューティング環境の簡潔で概略的な説明を述べる。図１に適切なコンピューティングシステム環境１００の一例を示す。コンピューティングシステム環境１００は適切なコンピューティング環境の一例に過ぎず、本発明の使用または機能性の範囲について何らの制限を示唆するものではない。またココンピューティングシステム環境１００は、例示的動作環境のコンピューティングシステム環境１００に示す構成要素の任意の１つまたは組合せに関連する依存関係または必要性を有するものとも解釈すべきでない。
【００２３】
本発明は、数多くの他の汎用または特殊目的のコンピューティングシステム環境または構成で動作することができる。本発明に使用するのに適している可能性がある周知のコンピューティングシステム、環境、および／または構成の例には、これらに限定しないが、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドまたはラップトップ機器、マルチプロセッサシステム、マイクロプロセッサを利用したシステム、セットトップボックス、プログラム可能な家庭用電化製品、ネットワークＰＣ（personal computer）、ミニコンピュータ、メインフレームコンピュータ、上述のシステムまたはデバイスのいずれを含む分散コンピューティング環境などがある。
【００２４】
本発明は、コンピュータによって実行されるプログラムモジュールなどのコンピュータ実行可能命令に概ね即して説明することができる。一般に、プログラムモジュールには、特定タスクを行うか、特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などが含まれる。本発明は、通信ネットワークを通じてリンクされたリモートの処理機器によってタスクを行う分散コンピューティング環境で実施することもできる。分散コンピューティング環境では、メモリ記憶装置を含むローカルおよびリモート両方のコンピュータ記憶媒体にプログラムモジュールを置くことができる。
【００２５】
図１を参照すると、本発明を実施する例示的システムは、コンピュータ１１０の形態の汎用コンピューティングデバイスを含む。コンピュータ１１０の構成要素には、これらに限定しないが、プロセッサ１２０、システムメモリ１３０、およびシステムメモリを含む各種のシステム構成要素をプロセッサ１２０に結合するシステムバス１２１が含まれる。システムバス１２１は、各種のバスアーキテクチャの任意のものを使用したメモリバスまたはメモリコントローラ、ペリフェラルバス、およびローカルバスを含む数タイプのバス構造のいずれでもよい。これらに限定しないが、例として、このようなアーキテクチャには、ＩＳＡ（Ｉｎｄｕｓｔｒｙ  Ｓｔａｎｄａｒｄ  Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＭＣＡ（Ｍｉｃｒｏ  Ｃｈａｎｎｅｌ  Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＥＩＳＡ（Ｅｎｈａｎｃｅｄ  ＩＳＡ）バス、ＶＥＳＡ（Ｖｉｄｅｏ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｓｔａｎｄａｒｄｓ  Ａｓｓｏｃｉａｔｉｏｎ）ローカルバス、およびメザニンバスとも称されるＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔｓ）バスが含まれる。
【００２６】
コンピュータ１１０は通例各種のコンピュータ可読媒体を含む。コンピュータ可読媒体は、コンピュータ１１０がアクセスすることができる任意の利用可能媒体でよく、揮発性および不揮発性の媒体、リムーバブルおよびノンリムーバブル媒体が含まれる。これに限定しないが、例としてコンピュータ可読媒体は、コンピュータ記憶媒体と通信媒体を含むことができる。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、またはその他のデータなどの情報を記憶するための任意の方法または技術として実装された揮発性および不揮発性の媒体、リムーバブルおよびノンリムーバブル媒体を含む。コンピュータ記憶媒体には、これらに限定しないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（electrically erasable programmable read-only memory）、フラッシュメモリまたは他のメモリ技術、ＣＤ（compact disc）−ＲＯＭ、ＤＶＤ（digital video disc）または他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージまたは他の磁気記憶装置、あるいは、所望の情報の記憶に用いることができ、コンピュータ１１０によるアクセスが可能な任意の他の媒体が含まれる。通信媒体は、通例、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータを、搬送波などの変調データ信号または他の搬送機構として実施し、任意の情報伝達媒体を含む。用語「変調データ信号」とは、信号中に情報を符号化する形でその特性の１つまたは複数を設定または変化させた信号を意味する。例として、通信媒体には、これらに限定しないが、有線ネットワークまたは直接配線接続などの有線媒体と、音響、ＲＦ（radio frequency）、赤外線、および他の無線媒体などの無線媒体が含まれる。上記の媒体のいずれの組合せもコンピュータ可読媒体の範囲に含めるべきである。
【００２７】
システムメモリ１３０は、読み取り専用メモリ（ＲＯＭ）１３１およびランダムアクセスメモリ（ＲＡＭ）１３２など、揮発性および／または不揮発性メモリの形態のコンピュータ記憶媒体を含む。起動時などにコンピュータ１１０内の要素間の情報転送を助ける基本ルーチンを含むＢＩＯＳ（Basic Input/Output System）１３３は、通例ＲＯＭ１３１に記憶される。ＲＡＭ１３２は通例、プロセッサ１２０から即座にアクセス可能な、かつ／または現在プロセッサ１２０によって操作中のデータおよび／またはプログラムモジュールを保持する。これらに限定しないが、例として、図１にはオペレーティングシステム１３４、アプリケーションプログラム１３５、他のプログラムモジュール１３６、およびプログラムデータ１３７を示している。
【００２８】
コンピュータ１１０は、この他のリムーバブル／ノンリムーバブル、揮発性／不揮発性のコンピュータ記憶媒体も含むことができる。単なる例として、図１には、ノンリムーバブル、不揮発性の磁気媒体の読み書きを行うハードディスクドライブ１４１、リムーバブル、不揮発性の磁気ディスク１５２の読み書きを行う磁気ディスクドライブ１５１、およびＣＤ−ＲＯＭや他の光学媒体などのリムーバブル、不揮発性の光ディスク１５６の読み書きを行う光ディスクドライブ１５５を示す。この例示的動作環境で使用できる他のリムーバブル／ノンリムーバブル、揮発性／不揮発性のコンピュータ記憶媒体には、これらに限定しないが、磁気テープカセット、フラッシュメモリカード、ＤＶＤ、デジタルビデオテープ、ソリッドステートＲＡＭ、ソリッドステートＲＯＭなどが含まれる。ハードディスクドライブ１４１は通例、インタフェース１４０などのノンリムーバブルメモリインタフェースを通じてシステムバス１２１に接続され、磁気ディスクドライブ１５１および光ディスクドライブ１５５は通例、インタフェース１５０などリムーバブルメモリインタフェースによってシステムバス１２１に接続される。
【００２９】
上記で説明し、図１に示すドライブとそれに関連付けられたコンピュータ記憶媒体は、コンピュータ１１０のコンピュータ可読命令、データ構造、プログラムモジュール、およびその他のデータの記憶を提供する。例えば図１では、ハードディスクドライブ１４１にオペレーティングシステム１４４、アプリケーションプログラム１４５、他のプログラムモジュール１４６、およびプログラムデータ１４７を記憶している。これらのコンポーネントは、オペレーティングシステム１３４、アプリケーションプログラム１３５、他のプログラムモジュール１３６、およびプログラムデータ１３７と同じものでも、異なるものでもよいことに留意されたい。ここではオペレーティングシステム１４４、アプリケーションプログラム１４５、他のプログラムモジュール１４６、およびプログラムデータ１４７には、それらが少なくとも異なるコピーであることを表すために異なる参照符号を付している。ユーザは、キーボード１６２、および通例はマウス、トラックボール、タッチパッドと称されるポインティングデバイス１６１などの入力装置を通じてコンピュータ１１０にコマンドと情報を入力することができる。他の入力装置（図示せず）には、マイクロフォン、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、スキャナなどがある。これらおよび他の入力装置は、システムバス１２１に結合されたユーザ入力インタフェース１６０を通じてプロセッサ１２０に接続することが多いが、パラレルポート、ゲームポート、あるいはユニバーサルシリアルバス（ＵＳＢ）など他のインタフェースおよびバス構造で接続することも可能である。モニタ１９１または他タイプの表示装置も、ビデオインタフェース１９０などのインタフェースを介してシステムバス１２１に接続される。コンピュータは、モニタに加えて、スピーカ１９７やプリンタ１９６など他の周辺出力装置も含むことができ、それらは出力周辺機器インタフェース１９５を通じて接続することができる。本発明に特に重要なものとして、一続きの画像１９３を捕捉することが可能なカメラ１９２（デジタル／電子静止カメラまたはビデオカメラ、またはフィルム／写真スキャナ）も、パーソナルコンピュータ１１０の入力装置として含めることができる。さらに、図には１つのみのカメラを示すが、複数のカメラをパーソナルコンピュータ１１０の入力装置として含めることもできる。１つまたは複数のカメラからの画像１９３は、適切なカメラインタフェース１９４を介してコンピュータ１１０に入力される。このインタフェース１９４はシステムバス１２１に接続され、それにより画像をＲＡＭ１３２、またはコンピュータ１１０に関連付けられた他のデータ記憶装置の１つに転送し、記憶することができる。ただし、画像データは、カメラ１９２の使用を必要とせずに、前述のコンピュータ可読媒体からコンピュータ１１０に入力することができることに留意されたい。
【００３０】
コンピュータ１１０は、リモートコンピュータ１８０など１つまたは複数のリモートコンピュータとの論理接続を使用するネットワーク環境で動作することができる。リモートコンピュータ１８０はパーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ピアデバイス、あるいはその他の一般的なネットワークノードでよく、図１にはメモリ記憶装置１８１のみを示すが、通例はコンピュータ１１０との関連で上記で挙げた要素の多くまたはすべてを含む。図１に示す論理接続には、ローカルエリアネットワーク（ＬＡＮ）１７１とワイドエリアネットワーク（ＷＡＮ）１７３が含まれるが、他のネットワークを含むことも可能である。このようなネットワーキング環境は、オフィス、企業内のコンピュータネットワーク、イントラネット、およびインターネットに一般的に見られる。
【００３１】
ＬＡＮネットワーキング環境で使用する場合、コンピュータ１１０はネットワークインタフェースまたはアダプタ１７０を通じてＬＡＮ１７１に接続される。ＷＡＮネットワーキング環境で使用する場合、コンピュータ１１０は通例、インターネットなどのＷＡＮ１７３を通じて通信を確立するためのモデム１７２またはその他の手段を含む。モデム１７２は内蔵型でも外付け型でもよく、ユーザ入力インタフェース１６０または他の適切な機構を介してシステムバス１２１に接続することができる。ネットワーク環境では、コンピュータ１１０との関連で図示したプログラムモジュール、またはその一部はリモートのメモリ記憶装置に格納することができる。これに限定しないが、例として図１ではリモートアプリケーションプログラム１８５がメモリ装置１８１に存在する。図のネットワーク接続は例示的なものであり、コンピュータ間に通信リンクを確立する他の手段を使用できることは理解されよう。
【００３２】
２．０  ＨＤＲ画像の生成
例示的動作環境について説明したので、この説明の項の残る部分では、本発明を実施するプログラムモジュールを説明する。概略的に述べると、本発明によるシステムおよび方法は、一続きの段階露出画像の画像がシーンおよびカメラの動きを捕捉する場合でも、そのような画像を使用してＨＤＲ画像を生成するものである。
【００３３】
２．１  入力画像シーケンス
上記で指摘したように、本ＨＤＲ画像生成システムおよび方法は、段階露出を使用してＨＤＲ画像を生成する。段階露出（ｂｒａｃｋｅｔｉｎｇ）は、本来は写真技術で用いられる用語であり、最適な露出レベルの写真を１枚得ることを期待して複数の露出設定で同じシーンの写真を複数枚取ることを意味する。本発明のコンテクストでは、用語「段階露出」画像は、概して、露出レベルを変化させながらカメラによって捕捉された画像のセットを意味する。これを実現する方式の１つは、現在の多くの静止写真カメラに備わる自動段階露出機能を使用することによる。あるシーンを自動的に段階露出する際、カメラは、現在の測光モードを使用して適正露出を決定し、そのレベルで画像を捕捉する。次いで、元の露出の固定された倍数でさらに多くの露出を追加的に捕捉する。例えば、そうしたカメラの多くは、「適正露出」の画像と比較してより短い露出時間（例えば＋１〜２の絞り値）で１つの画像を捕捉し、より長い露出時間（例えば−１〜２の絞り値）で１つの画像を捕捉する。段階露出したシーケンス中の画像の数と画像間の露出時間の変化は、それらの画像が、画像中に描写されるシーンの実質的にすべての輝度の変化をまとめて捕捉するようなものであることが理想的であることに留意されたい。このようにすると、結果得られるＨＤＲ画像は、そのシーンのダイナミックレンジ全体を表す。
【００３４】
段階露出した画像を得る方式に関係なく、本システムに入力されると、画像は露出時間に応じて並べ替えられる。そして「有効」ピクセル数が最も多い画像が基準画像に選択される。ピクセルは、飽和していない場合、または低コントラストでない場合に「有効」とみなす。これを実施する１方式は、各「有効」ピクセルが所定の間隔内のＲＧＢ値を有することを要求するものである。例えば、本発明の試験バージョンでは、この間隔の最小値と最大値をそれぞれ１７と２５４に設定した。
【００３５】
したがって、図２Ａおよび２Ｂを参照すると、ＨＤＲ画像の生成方法は、一続きの段階露出画像を入力することによって開始する（動作２００）。次いでそれらの画像を各自の露出レベルで並べ替える（動作２０２）。例えば、図３（ａ）に、露出によって並べ替え、一列に表示した日の出のシーンの５つの段階露出画像からなるセットを示す。この例では、最も短い露出時間を示す画像３０４が一番左に示され、画像の露出時間は左から右へと増加していく。したがって、図３（ａ）では最も長い露出時間を示す露出３０８が一番右に示される。ＨＤＲ画像の生成方法は、続いて有効ピクセが最も多い入力画像を選択し（動作２０４）、その画像を基準画像に指定する（動作２０６）。図３（ａ）に示す例では、列の中央にある画像３００が有効ピクセルが最も多いことが判明し、この画像を矢印で示す。
【００３６】
２．２  ＨＤＲ画像のステッチ
段階露出した入力画像は様々に異なる露出を示すので、ＨＤＲ画像を生成するには、入力画像からピクセルの色情報を転送することが必要となる。これには、異なる入力画像間のピクセルの対応関係が極めて正確であることが要求される。ピクセルの対応関係を計算し、色情報を転送し、ＨＤＲ画像を抽出するプロセスをＨＤＲ画像のステッチ（stitching）と称する。
【００３７】
このＨＤＲのステッチ操作を実現するために、露出時間順に並べた入力画像の各隣接する対を、選択された基準画像の方向に重ね合わせていく。これを図３（ｂ）に示し、この図には、上述した一続きの日の出の段階露出画像を上記した露出時間順に再度示す。同図に示すように、一番左の露出時間が最も短い画像３０４は、次に露出レベルが短い画像３０２と重ね合わせる。次いで後者の画像３０２を基準画像３００と重ね合わせる。同様に、最も長い露出を示す画像３０８を次に露出レベルが長い画像３０６と重ね合わせ、画像３０６を基準画像３００と重ね合わせる。隣接する対を選択するのは、隣接する画像は視覚的変化がより小さく、その結果重ね合わせがより強固になるためである。この対で行われる入力画像間の一連の重ね合わせは、次に説明するワーププロセスを用いて達成される。
【００３８】
２．２．１  画像のワープ
上述の対で行われる重ね合わせ手順では、一般に、まず検討対象の対のうち露出時間がより短い画像をブーストして、露出時間がより長い隣接画像と一致させることが必要となる。次いで、（選択された基準画像に対して）より中心から離れた露出時間を有する画像をワーププロセスを介して「より近い」画像と重ね合わせ、ワーププロセスは、一実施形態では、大域的な動きの推定を行ってから、局所的なピクセル単位のフロー計算を行うことを伴う。
【００３９】
より詳細には、ＨＤＲのステッチプロセスではワープした画像を生成する。選択された基準画像（Ｒ）よりも露出時間が短い画像（Ｓ）を、基準画像Ｒ自体であってもよい露出時間がより長いすぐ隣の隣接画像と重ね合わせて、重ね合わされたより短い露出の画像（ＳＵ）を生成する。下付き文字「Ｕ」は、それがワープした画像であることを表す。表記の便宜上、露出がより短い画像には下付きの数字ｉを付し、ｉ＝１、２、３．．．であり、この数字は各画像の露出時間の順序を表す。詳細には、下付きの数字ｉが大きいほど基準画像Ｒに対して露出時間が短くなる。結果得られる重ね合わされた画像ＳＵは、それに対応する下付きの数字を有する。
【００４０】
上述の画像ワーププロセスは次のようにして達成する。最初に、検討する現在の入力画像が基準画像より短い露出時間で捕捉された、すなわちＳｉと想定する。ＨＤＲステッチプロセスの最初の段階では、検討対象の露出がより短い画像の強度をブーストして、次に露出時間が短い入力画像の強度範囲と実質的に一致させる。次に露出が短い画像は、基準画像自体であってもよい。露出がより短い画像の強度をブーストしてより露出が長い画像と一致させることにより、重ね合わせプロセスが容易になることに留意されたい。より露出が長いフレームの飽和領域でピクセル強度の不一致が生じないように、露出時間が長い画像の強度を下げるのではなく、露出が短い画像をブーストすることが好ましい。露出時間が短い画像をブーストして、露出時間が長い画像中の飽和領域にあるディテールの欠如と一致させる。ブーストされた画像は下記で説明するようにフロー場の計算のみに使用されることにも留意されたい。ブーストした画像は、ブーストプロセスで生じるノイズと飽和のために、放射輝度マップの計算には使用しない。必要とされる強度のブースト量を見つけるために、カメラの応答関数を使用して露出時間がより短い画像を放射輝度マップに変換し、次いで逆応答を使用して露出時間がより長い仮想画像に変換する。この仮想画像は、それが重ね合わされる、露出時間がより長い画像のピクセル値（モジュロ離散化およびノイズ）と一致しなければならない。
【００４１】
次いで、勾配を利用した技術を用いてフロー場ｆＳｉを計算する。基本的に、この計算には、検討対象の画像の対間の密な動きの一致を計算することが伴い、その一致を使用してピクセル情報をワープする。より詳細には、この手順は２段階からなる。最初に、２つの画像（すなわち検討対象の露出時間が短いブースト後の画像と、それに隣接する「露出時間がより長い」画像）を、１つの画像をもう一方の画像にマッピングするグローバル変換を推定することにより大域的に重ね合わせる。任意の適切な従来のグローバル変換を用いることができる。本発明の試験バージョンでは、使用したグローバル変換はアフィン変換であった。次いで勾配に基づくオプティカルフローを使用して、グローバル変換に対する局所的な補正を形成する密な動き場を計算する。したがって、各ピクセルに、大域成分と局所成分の合計である合成ベクトルが得られる。大域的なワープパラメータから大域成分を取り出し、次に説明するオプティカルフロー手順により局所成分を生成する。
【００４２】
前述の局所的な動きの推定には、ＬｕｃａｓおよびＫａｎａｄｅ［６］（特許文献６）の技術の変形をラプラシアンピラミッドのフレームワーク［１］（特許文献１）で使用する。合計した部分的な導関数の行列の固有値を計算し、それが悪条件であるかどうかを判定することにより、退化したフローの事例に対処する技術も追加することができる。基本的に、反復ごとに隣接画像に向けて漸進的に検討対象の画像をワープし、剰余のフローベクトルを推定し、ピラミッドの下方へと蓄積していく。この技術は、ワープの際に大域的なアフィンフローを含めて、蓄積された剰余が常に大域的フローに対する局所的な補正として表されるようにすることにより補強される。この結果は、上述したフロー場ｆＳｉになる。
【００４３】
同様に、選択された基準画像（Ｒ）よりも露出時間が長い画像（Ｌ）は、基準画像（Ｒ）自体であってよい露出時間が「より長くない」すぐ隣の隣接画像と重ね合わせて、露出時間がより長い重ね合わせ画像（ＬＵ）を生成する。表記の便宜上、露出がより長い画像にも下付きの数字ｉを付し、ｉ＝１，２，３．．．であり、この数字は各自の露出時間の順序を表す。詳細には、下付きの数字ｉが大きいほど、基準画像に対して露出時間が長くなる。結果得られる重ね合わされた画像ＬＵは、それに対応する下付きの数字を有する。
【００４４】
検討中の現在の入力画像が基準画像よりも長い露出で捕捉された場合、すなわちＬｉの場合、前述のフロー場の計算手順は次のように達成される。ステッチ手順の最初の段階で、検討対象の露出時間がより長い画像に対して露出時間が次に「短い」画像（基準画像自体であってもよい）の強度をブーストして、対象画像の強度範囲と実質的に一致させる。次いで、上述の勾配に基づく技術を使用してフロー場ｆＬｉを計算する。この場合、露出がより長い画像間の密な動きの一致を計算し、その一致を使用してピクセル情報をワープする。より詳細には、各ピクセルに、それぞれが大域成分と局所成分の合計である合成ベクトルが得られる。この場合も、大域成分は大域的なワープパラメータから得られ、局所成分は、先に説明したオプティカルフロー手順で生成される。この結果は上述したフロー場ｆＬｉになる。
【００４５】
各「非基準」画像のフロー場（ｆＳｉまたはｆＬｉ）を計算すると、それらを連結して、基準画像に最も近い露出時間を有するより短い露出の画像と長い露出の画像すなわちＳ１およびＬ１を除く各画像を直接基準画像と重ね合わせられるようにする。Ｓ１およびＬ１のフロー場は最初に計算されたものをそのまま用い、その他の非基準画像について計算された連結フローを、以前に計算されたフロー場の代わりとする。より詳細には、フロー場ｆＳｉおよびｆＬｉを与えられて、ｉ＝１、２．．．ｎであり、ｎが状況に応じて露出時間がより短いまたは長い画像の数である場合、Ｓ１以外の露出時間がより短い各画像に対して連結フローｆＳｊがｆＳｊ＝ｆＳｊ＊．．．＊ｆＳ１として計算され、Ｌ１以外の露出がより長い各画像については、連結フローｆＬｊがｆＬｊ＝ｆＬＪ＊．．．＊ｆＬ１として計算され、ｊ＝２，．．．，ｎである。
【００４６】
次いで、状況に応じて各非基準画像に関連付けられたフロー場または連結されたフロー場を使用して各非基準画像をワープして、重ね合わされた、すなわち「固定された」画像Ｓ’ｉおよびＬ’ｉのセットを生成する。前述の手順を図３（ｃ）に図式的に示しており、非基準画像３０２、３０４、３０６、３０８がそれぞれ基準画像３００と直接重ね合わされていることが見て取れる。
【００４７】
したがって、再度図２Ａおよび２Ｂを参照すると、対で行われる重ね合わせ手順は、一般的には、初めに、基準画像を除外して、これまでに重ね合わされていない入力画像を選択することを伴う（動作２０８）。次いで動作２１０で、選択された画像の露出時間が基準画像よりも短いか、または長いかを判定する。選択された画像の露出が基準画像より短い場合は、露出時間が次に短く、選択された画像よりは長い入力画像を識別する（動作２１２）。識別される画像は基準画像自体であってもよいことに留意されたい。次いで、選択した画像をブーストして、識別された画像の露出レベルと一致させる（動作２１４）。ブーストすると、選択した画像を識別した画像と重ね合わせ（動作２１６）、この際には一実施形態では、大域的な動きの推定を行い、次いで局所的なピクセル単位のフロー計算を行うことが伴う。ただし、選択された画像が基準画像より露出が長いことが判明した場合は、露出時間が次に長く、選択された画像よりは短い入力画像を識別する（動作２１８）。ここでも、識別される画像は基準画像自体でもよい。この場合は、識別された画像をブーストして、選択された画像の露出レベルと一致させる（動作２２０）。次いで、選択した画像を識別された画像と重ね合わせる（動作２２２）。次いで、重ね合わされていない非基準画像が残っているかどうかを判定する（動作２２４）。残っている場合は、動作２０８〜２２４を繰り返す。残っていない場合は、基準画像とまだ重ね合わされていない非基準入力画像に対して生成されたフロー場を連結して、各非基準入力画像を基準画像と重ね合わせる（動作２２６）。次いで、重ね合わされた画像および基準画像から放射輝度マップを回復する（動作２２８）。この放射輝度マップを使用して所望のＨＤＲ画像を生成し（動作２３０）、この際にトーンマッピング手順が伴う場合もある。放射輝度マップの回復およびトーンマッピングの手順については次の項で説明する。
【００４８】
２．２．２  放射輝度マップの回復
上記のように、固定された画像と基準画像を使用して放射輝度マップを回復する。基本的には、それらの画像を組み合わせて図３（ｄ）に示すように放射輝度マップを生成する。これを行うにはいくつかの技術が提案されている［３、７、９、１２］（特許文献３、７、９、１２）。これらの各技術では、既知の露出値と計算されたカメラの応答関数を使用して入力画像を放射輝度画像に変換する。次いで、あるピクセルにおける最終的な放射輝度値を、それらの放射輝度画像中の対応するピクセルの加重和として計算する。先に指摘したように、カメラの応答関数Ｆｒｅｓｐｏｎｓｅは、［９］（特許文献９）の技術を使用して計算することが好ましい。この技術から得られる重み関数ｆＷの例を図４（ａ）に大域的な重み対ピクセル強度を示すグラフで示す。ただし、既存の方式では完全に重ね合わされた入力画像を想定することに留意されたい。ＨＤＲステッチプロセスの最初の部分で誤った重ね合わせが行われる可能性があるので、本方法のこの部分では完全な重ね合わせは想定しない。代わりに、基準画像だけでなく固定された画像のピクセルからも得た放射輝度値を使用して、この手順がピクセル重ね合わせにおける誤差に対してより耐性を持つようにする。最終的な放射輝度マップ中のピクセルが、先行する画像中の対応するピクセルから取られた２つ以上の値の１つの放射輝度値から得られたのか、または２つ以上の値の組合せの放射輝度値から得られたのかを判定する論理的プロトコルを用いる。一般には、この判定は、入力画像中のピクセルの強度に基づいて行われる。
【００４９】
より詳細には、図５を参照すると、ＨＤＲステッチで用いる放射輝度マップの回復は次のように行われる。初めに、基準画像Ｒと固定された各画像Ｓ’ｉおよびＬ’ｉを、従来の方法を使用して、応答関数Ｆｒｅｓｐｏｎｓｅとそれら画像の個々の露出値を用いて放射輝度画像に変換する（動作５００）。この場合一般的には、
【００５０】
【数１】
2005045804.tif 000003
【００５１】
となり、Ｒａｄはピクセルの放射輝度であり、ｐはピクセル強度であり、ｅｘｐは露出レベルである。これらの放射輝度画像をそれぞれ
【００５２】
【数２】
2005045804.tif 000004
【００５３】
、
【００５４】
【数３】
2005045804.tif 000005
【００５５】
、および
【００５６】
【数４】
2005045804.tif 000006
【００５７】
と表す。上述の露出を計算するには、段階露出画像が捕捉された際に用いられていた特定のカメラパラメータ設定を知ることが必要となることに留意されたい。例えば、一般には、シャッター速度と口径の設定を知ることが必要である。このために、各画像に関連付けられたデータ中に、標準的なメタデータ情報（例えばＥＸＩＦタグ）として上記およびその他の所望のカメラパラメータを記憶しておくことが可能である。これにより放射輝度マップの計算を自動化することができる。
【００５８】
次いで、基準画像Ｒのこれまでに選択されていないピクセルを選択する（動作５０２）。次いで、
【００５９】
【数５】
2005045804.tif 000007
【００６０】
の画像および
【００６１】
【数６】
2005045804.tif 000008
【００６２】
の画像それぞれの対応する放射輝度値を
【００６３】
【数７】
2005045804.tif 000009
【００６４】
の選択されたピクセルと比較して、
【００６５】
【数８】
2005045804.tif 000010
【００６６】
の放射輝度値と比較していくつの値が許可された規定の最大のノイズ分散を下回るかを判定する（動作５０４）。
【００６７】
【数９】
2005045804.tif 000011
【００６８】
および
【００６９】
【数１０】
2005045804.tif 000012
【００７０】
の画像の放射輝度値すべてが、規定の許可された最大のノイズ分散を下回ることが判明した場合は、それらの値と基準画像における選択された位置の値の加重平均計算し、最終的な放射輝度マップ中のそのピクセル位置の放射輝度値として使用する（動作５０６）。加重平均の放射輝度Ｒｗａｖｇは次のように計算する。
【００７１】
【数１１】
2005045804.tif 000013
【００７２】
ｐＲ、ｐＳｉおよびｐＬｉは、放射輝度画像
【００７３】
【数１２】
2005045804.tif 000014
【００７４】
、および
【００７５】
【数１３】
2005045804.tif 000015
【００７６】
中の対応するピクセルである。重み関数ｆＷＭ（ｑ，ｐ）＝ｆＭ（｜ｐ−ｑ｜）ｆＷ（ｐ）は、尤もらしさのマップｆＭで調整した、強度に基づく重み関数ｆＷ［９］（特許文献９）であり、ｆＭ（）は、
【００７７】
【数１４】
2005045804.tif 000016
【００７８】
によって定義されるエルミートの三次式であり、この式は、対応する基準放射輝度値と過度に異なるワープされた放射輝度値を低く扱う（ｄｏｗｎｐｌａｙ）。δｍａｘは、上述した許容される最大のノイズ分散を表すユーザ指定のパラメータである。この放射輝度マップの回復手順の試験バージョンでは、許容される最大のノイズ分散は、１６段階の強度レベルに設定した。調節関数の一例を図４（ｂ）のグラフに示す。
【００７９】
ただし、
【００８０】
【数１５】
2005045804.tif 000017
【００８１】
および
【００８２】
【数１６】
2005045804.tif 000018
【００８３】
の画像の放射輝度値がこの最大のノイズ分散を超えることが分かった場合は、その値は破棄し、そのピクセル位置の最終的な放射輝度マップで使用される放射輝度値を、
【００８４】
【数１７】
2005045804.tif 000019
【００８５】
の値、および
【００８６】
【数１８】
2005045804.tif 000020
【００８７】
と
【００８８】
【数１９】
2005045804.tif 000021
【００８９】
の画像の残りの値から加重平均として計算する（動作５０８）。許容される最大のノイズ分散を超えることが分かっている
【００９０】
【数２０】
2005045804.tif 000022
【００９１】
および
【００９２】
【数２１】
2005045804.tif 000023
【００９３】
の画像の放射輝度値を含む項はゼロになるので、この加重平均は式（２）の範囲外となる。したがって、式（１）を使用して残りの放射輝度値で加重平均を計算する。
【００９４】
最終的に、
【００９５】
【数２２】
2005045804.tif 000024
【００９６】
と
【００９７】
【数２３】
2005045804.tif 000025
【００９８】
の画像のすべての放射輝度値が許容される最大のノイズ分散を超えることが判明した場合は、それらの値はすべて式（２）にしたがって破棄し、選択されたピクセル位置の最終的な放射輝度マップで使用される放射輝度値を直接
【００９９】
【数２４】
2005045804.tif 000026
【０１００】
から取り出す（動作５１０）。
【０１０１】
次いで、動作５１２で、まだ選択および処理されていない基準画像のピクセルがあるかどうかを判定する。まだピクセルがある場合は動作５０２〜５１２を繰り返す。その他の場合方法は終了する。
【０１０２】
２．３トーンマッピング
トーンマッピングを使用して、浮動小数点の放射輝度マップを、一般的な電子ディスプレイシステムまたは紙面上にレンダリングするのに適した８ビット表現に変換する。ＨＤＲ画像を表示するためにそのようなシステムを使用する場合は、トーンマッピングを使用して各ＨＤＲ画像のダイナミックレンジを縮小し、同時に、高輝度領域と低輝度領域の両方に良好なコントラストレベルを維持しなければならない。
【０１０３】
この目的には任意の既存のトーンマッピング手順を使用することができるが、本ＨＤＲ画像生成システムは、覆い焼き（ｄｏｄｇｉｎｇ）と焼きこみ（ｂｕｒｎｉｎｇ）の写真技術に基づく、［１１］（特許文献１１）によって提供されるトーンマッパを利用する。一般に、このトーンマッピングプロセスは、従来の方法を利用して放射輝度画像をＣＩＥ（Commission Internationale d'Eclairage）空間に変換し、色度座標を回復することによって開始する。次いで輝度画像を処理してダイナミックレンジを縮小する。最後に、クロミナンスを再挿入し、ＣＩＥ空間画像を変換して最終的なバイトレンジのＲＧＢ画像を生成する。このトーンマッピングプロセスの一部として、特定のグローバルパラメータを設定して全体的な輝度バランスを制御しなければならない。基本的には、トーンマッピングする入力画像の統計的分析を行ってそれらのグローバルパラメータをどのように設定するかを決定する。
【０１０４】
２．４  結果
前述のＨＤＲ画像生成システムおよび方法の有効性は、先に説明した一続きの日の出の段階露出画像（図６（ａ）に示す）を使用して示すことができる。この画像の場合は、カメラの動きと、地面に対する雲の動きの両方がある。したがって、これらの画像はシーンの動きを捕捉している。従来の大域的重ね合わせ手順（例えば２次元透視やホモグラフィー）を用いて合成ＨＤＲ画像を生成した場合は、図６（ｂ）および６（ｃ）に示す結果が得られる（図６（ｃ）は図６（ｂ）の右側部分を拡大したバージョン）。これに対し、本ＨＤＲ画像生成方法を用いると、図６（ｄ）および６（ｅ）に示すように大幅に改良された結果が得られる。ここで、図６（ｅ）は、図６（ｄ）の右側を拡大したバージョンである。画像図６（ｄ）および図６（ｅ）中の木の枝がより鮮明に見えることに留意されたい。
【０１０５】
３．０  参考文献
[1] J. R. Bergen, P. Anandan, K. J. Hanna, and R. Hingorani. Hierarchical model-based motion estimation. In Second European Conference of Computer Vision (ECCV' 92), pages 237-252, 1992
[2] L. Bogoni. Extending dynamic range of monochrome and color images through fusion. Int'I Conf. on Pattern Recognition, vol. 3, pages 7-12, September 2000
[3] P. E. Debevec and J. Malik. Recovering high dynamic range radiance maps from photographs. Proc. of SIGGRAPH 97, pages 369-378, August 1997
[4] F. Durand and J. Dorsey. Fast bilateral filtering for the display of high dynamic range images. ACM Trans. on Graphics (TOG), 21(3): 257-266, 2002
[5] R. Fattal, D. Lischinski, and M. Werman. Gradient domain high dynamic range compression. ACM Trans. on Graphics, 21(3): 249-256, 2002
[6] B. D. Lucas and T. Kanade. An iterative image registration technique with an application in stereo vision. In Int'1 Joint Conf. on Artificial Intelligence, pages 674-679, 1981
[7] S. Mann and R. W. Picard. On being "undigital" with digital cameras: Extending dynamic range by combining differently exposed pictures. In IS & T's 48th Annual Conference, Society for Imaging Science and Technology, Washington D.C., pages 422-428, 1995
[8] S. Mann, C. Manders, and J. Fung. Painting with Looks: Photographic images from video using quantimetric processing. In ACM Multimedia, Dec. 2002
[9] T. Mitsunaga and S. K. Nayar. Radiometric self calibration. In IEEE Conf. on Computer Vision and Pattern Recognition, volume 1, pages 374-380, June 1999
[10] T. Mitsunaga and S. K. Nayar. High dynamic range imaging: Spatially varying pixel exposures. In IEEE Conf. on Computer Vision and Pattern Recognition, volume1, pages 472-479, June 2000
[11] E. Reinhard, M. Stark, P. Shirley, and J. Ferwerda. Photographic tone reproduction for digital images. ACM Trans. on Graphics, 21(3): 267-276, 2002
[12] Y. Tsin, V. Ramesh, and T. Kanade. Statistical calibration of CCD imaging process. In Int'1 Conf. on Computer Vision,volumel,pages480-487, July 2001
【図面の簡単な説明】
【０１０６】
【図１】本発明を実施する例示的システムを構成する汎用コンピューティングデバイスの図である。
【図２Ａ】本発明によるＨＤＲ画像を生成する全プロセスを説明する流れ図である。
【図２Ｂ】本発明によるＨＤＲ画像を生成する全プロセスを説明する流れ図である。
【図３（ａ）】図２のＨＤＲ画像生成プロセスの各部分によって画像を操作する方式を示す注釈を付けた日の出のシーンの一続きの５つの段階露出画像の図である。
【図３（ｂ）】図２のＨＤＲ画像生成プロセスの各部分によって画像を操作する方式を示す注釈を付けた日の出のシーンの一続きの５つの段階露出画像の図である。
【図３（ｃ）】図２のＨＤＲ画像生成プロセスの各部分によって画像を操作する方式を示す注釈を付けた日の出のシーンの一続きの５つの段階露出画像の図である。
【図３（ｄ）】図２のＨＤＲ画像生成プロセスの各部分によって画像を操作する方式を示す注釈を付けた日の出のシーンの一続きの５つの段階露出画像の図である。
【図４（ａ）】図２の放射輝度マップの計算手順に関連するグラフであり、大域的な重み対強度を示すグラフの図である。
【図４（ｂ）】図２の放射輝度マップの計算手順に関連するグラフであり、一致させたピクセルの放射輝度の整合性に基づく尤もらしさのマップのグラフの図である。
【図５】図２の放射輝度マップの計算手順の一実施形態を説明する流れ図である。
【図６（ａ）】大域的な重ね合わせ技術を使用した場合と比較した本発明による重ね合わせ手順を使用した結果の図であり、一続きの日の出のシーンの５つの段階露出画像の図である。
【図６（ｂ）】大域的な重ね合わせ技術を使用した場合と比較した本発明による重ね合わせ手順を使用した結果の図であり、図６（ａ）の画像に大域的な重ね合わせのみを行った結果の図である。
【図６（ｃ）】大域的な重ね合わせ技術を使用した場合と比較した本発明による重ね合わせ手順を使用した結果の図であり、図６（ａ）の画像に大域的な重ね合わせのみを行った結果の図であり、図６（ｂ）の右側部分を拡大した図である。
【図６（ｄ）】大域的な重ね合わせ技術を使用した場合と比較した本発明による重ね合わせ手順を使用した結果の図であり、本発明による重ね合わせの結果を示す図である。
【図６（ｅ）】大域的な重ね合わせ技術を使用した場合と比較した本発明による重ね合わせ手順を使用した結果の図であり、本発明による重ね合わせの結果を示し、図６（ｄ）の右側部分を拡大した図である。
【符号の説明】
【０１０７】
１００  コンピューティングシステム環境
１１０  コンピュータ
１２０  プロセッサ
１２１  システムバス
１３０  システムメモリ
１３４  オペレーティングシステム
１４４  オペレーティングシステム
１３５  アプリケーションプログラム
１４５  アプリケーションプログラム
１３６  他のプログラムモジュール
１４６  他のプログラムモジュール
１３７  プログラムデータ
１４７  プログラムデータ
１４０  ノンリムーバブル不揮発性メモリインタフェース
１４１  ハードディスクドライブ
１５０  リムーバブル不揮発性メモリインタフェース
１５１  磁気ディスクドライブ
１５２  磁気ディスク
１５５  光ディスクドライブ
１５６  光ディスク
１６０  ユーザ入力インタフェース
１６１  マウス
１６２  キーボード
１７０  ネットワークインタフェース
１７１  ローカルエリアネットワーク
１７２  モデム
１７３  ワイドエリアネットワーク
１８０  リモートコンピュータ
１８５  リモートアプリケーションプログラム
１９０  ビデオインタフェース
１９１  モニタ
１９２  カメラ
１９３  画像
１９４  カメラインタフェース
１９５  出力周辺機器インタフェース
１９６  プリンタ
１９７  スピーカ
【図１】
2005045804.tif 000029
【図２Ａ】
2005045804.tif 000030
【図２Ｂ】
2005045804.tif 000031
【図４（ａ）】
2005045804.tif 000032
【図４（ｂ）】
2005045804.tif 000033
【図５】
2005045804.tif 000034
【図３（ａ）】
2005045804.tif 000035
【図３（ｂ）】
2005045804.tif 000036
【図３（ｃ）】
2005045804.tif 000037
【図３（ｄ）】
2005045804.tif 000038
【図６（ａ）】
2005045804.tif 000039
【図６（ｂ）】
2005045804.tif 000040
【図６（ｃ）】
2005045804.tif 000041
【図６（ｄ）】
2005045804.tif 000042
【図６（ｅ）】
2005045804.tif 000043