"コンピューターシステムにおいて、高ダイナミックレンジディジタル画像を発生する方法であって、シーンを描写する1組の複数のディジタル画像において、基準画像に対する動き分析を行うステップであって、前記動き分析が、前記1組の中にある1つ以上の非基準画像の各々について、前記基準画像に対する画像差を判定することを含む、ステップと、前記動き分析に少なくとも部分的に基づいて、非基準画像毎に、前記基準画像に対する1つ以上の相対的露出レベルを導き出すステップと、前記1つ以上の相対的露出レベルに少なくとも部分的に基づいて、前記シーンを描写する高ダイナミックレンジディジタル画像を形成するために、前記1組の複数のディジタル画像を統合するステップと、を備えている、方法。請求項1記載の方法であって、更に、前記1つ以上の相対的露出レベルに少なくとも部分的に基づいて、各非基準画像におけるサンプル値を正規化レベルにスケーリングするステップを備えておあり、前記統合が、前記高ダイナミックレンジディジタル画像における各サンプル位置について、前記基準画像における前記サンプル位置に対応するサンプル値の加重平均と、各非基準画像における前記サンプル位置に対応する、スケーリングされたサンプル値とを計算することを含む、方法。請求項1記載の方法であって、更に、1組の候補画像の内どの画像が、容認可能な露出範囲に該当するサンプル値をより多く有するか判定することによって、前記1組の候補画像から前記基準画像を選択するステップを備えている、方法。請求項1記載の方法において、前記動き検出が、前記基準画像に対する画像差を判定するために、正規化相互相関を使用することを含む、方法。請求項1記載の方法において、前記動き検出が、前記基準画像に対する画像差を判定するために、非基準画像におけるサンプル値の部分集合を選択するステップを含み、前記部分集合が、前記サンプル値がある範囲の露出値に該当するか否かに基づいて選択される、方法。請求項1記載の方法において、前記動き検出が、全域的動き検出、およびその後に続く局所的動き検出を含む、方法。請求項1記載の方法において、前記1つ以上の相対的露出レベルが、各々、それぞれの非基準画像に対する平均サンプル比に基づいて導き出される、方法。コンピューターに方法を実行させるコンピューター実行可能命令が格納されている1つ以上のコンピューター読み取り可能媒体であって、前記方法が、高ダイナミックレンジディジタル画像における複数のサンプルの各々を、それよりも低いそれぞれのダイナミックレンジ値にトーンマッピングするステップと、前記トーンマップサンプル値の各々について、局所コントラスト値を計算するステップと、前記トーンマップサンプル値の各々について、残差信号を導き出すステップであって、前記それぞれの局所コントラスト値に少なくとも部分的に基づいて導き出す、ステップと、前記トーンマップサンプル値および前記それぞれの残差信号に少なくとも部分的に基づいて、より低いダイナミックレンジディジタル画像のサンプル値を計算するステップと、を備えている、1つ以上のコンピューター読み取り可能媒体。請求項8記載のコンピューター読み取り可能媒体において、前記トーンマッピングを行うステップが、全域トーンマッピング参照表を発生するステップと、前記高ダイナミックレンジディジタル画像における複数のサンプル値の各々について、それよりも低いダイナミックレンジ値を特定するステップと、を備えており、前記特定するステップが、前記全域トーンマッピング参照表において前記複数のサンプル値の各々を参照することを含む、コンピューター読み取り可能媒体。請求項9記載のコンピューター読み取り可能媒体において、前記全域トーンマッピング参照表が、適応ガンマ関数に基づいて発生される、コンピューター読み取り可能媒体。請求項8記載のコンピューター読み取り可能媒体において、前記トーンマップサンプル値の各々について前記残差信号を導き出すステップが、各トーンマップサンプル値に前記それぞれの局所コントラスト値を乗算するステップを含む、コンピューター読み取り可能媒体。請求項8記載のコンピューター読み取り可能媒体において、前記方法が、更に、前記残差信号の1つ以上にスケーリングを適用するステップを備えており、前記スケーリングが、前記それぞれの残差信号に対応するトーンマップサンプル値の関数であるスケーリング係数を適用することを含む、コンピューター読み取り可能媒体。請求項8記載のコンピューター読み取り可能媒体において、前記より低いダイナミックレンジディジタル画像のサンプル値が、各々、トーンマップサンプル値、残差信号、および高周波ディザリング信号を組み合わせることによって計算される、コンピューター読み取り可能媒体。請求項8記載のコンピューター読み取り可能媒体において、前記方法が、更に、前記高ダイナミックレンジディジタル画像の解像度を落としたプレビューバージョンにおける前記複数のサンプル値の各々に対して、より低いダイナミックレンジ値を特定するステップと、前記低解像度プレビューバージョンにおける前記複数のサンプル値を、前記それぞれの特定された低ダイナミックレンジ値にトーンマッピングするステップと、前記低解像度プレビューバージョンにおける前記トーンマップサンプル値の各々について、局所コントラスト値を計算するステップと、前記低解像度プレビューバージョンにおける前記トーンマップサンプル値の各々について、残差信号を導き出すステップであって、前記それぞれの局所コントラスト値に少なくとも部分的に基づいて導き出すステップと、前記低解像度プレビューバージョンにおける前記トーンマップサンプル値の各々および前記それぞれの残差信号に少なくとも部分的に基づいて、プレビュー画像のサンプル値を計算するステップと、を備えている、コンピューター読み取り可能媒体。1つ以上のプロセッサーおよび1つ以上の記憶媒体を備えている計算機であって、前記1つ以上の記憶媒体が、ユーザー好み情報に基づいて高ダイナミックレンジ画像をレンダリングする方法を、前記計算機に実行させるコンピューター実行可能命令を格納しており、前記方法が、高ダイナミックレンジ画像レンダリングパラメーターを設定するために、1つ以上のユーザー好み制御部を設けるステップと、ユーザーと関連のあるユーザー好み情報を、前記ユーザー好み制御部から受け取るステップであって、前記ユーザー好み情報が、高ダイナミックレンジディジタル画像を収容する高ダイナミックレンジディジタル画像ファイルに対する高ダイナミックレンジレンダリングパラメーターに対応する、ステップと、前記ユーザー好み情報に少なくとも部分的に基づいて、前記高ダイナミックレンジディジタル画像をレンダリングするステップと、を備えており、前記レンダリングするステップが、複数のトーンマップサンプル値の各々について、局所コントラスト値を計算するステップと、前記それぞれのトーンマップサンプル値に対する前記局所コントラスト値に少なくとも部分的に基づいて、より低いダイナミックレンジディジタル画像のサンプル値を計算するステップと、を備えている、計算機。0034記載する技法およびツールは、高ダイナミックレンジHDRディジタル画像を発生およびレンダリングする異なる態様、ならびに関係するユーザーインターフェースの機構を含む。0035本明細書において記載する実施態様には、種々の代替が可能である。例えば、フローチャートを参照して説明する技法は、そのフローチャートにおいて示される段階の順序を変更することによって、ある段階を繰り返すまたは省略する等によって、変更することができる。他の例として、具体的なディジタルメディアフォーマットを参照して説明する実施態様もあるが、他のフォーマットを使用することもできる。0036種々の技法およびツールは、組み合わせてまたは独立して使用することができる。異なる実施形態では、記載する技法およびツールの内1つ以上を実現する。本明細書において記載する技法およびツールの中には、コンピューターシステムにおいてディジタル静止画像を処理するソフトウェアと共に使用することができるものもあり、またはディジタル静止画像の処理に具体的に限定されない他の何らかのシステムにおいて使用することができるものもある。例えば、本明細書において記載する技法およびツールは、ディジタルビデオを処理するために使用することができる。1.計算環境例0037図1Aは、記載する実施形態の内数個を実現することができる、適した計算環境100を一般化した例を示す。計算環境100は、使用範囲や機能についていかなる限定をも示唆することは意図していない。何故なら、本明細書において記載する技法およびツールは、多様な汎用または特殊目的計算環境において実現することができるからである。0038図1Aを参照すると、計算環境100は、少なくとも1つのCPU110および付随するメモリー120、ならびにビデオ高速化のための少なくとも1つのGPUまたは他の共通演算装置115および付随するメモリー125を含む。図1Aでは、この最も基本的な構成130は破線の中に含まれている。演算装置110は、コンピューター実行可能命令を実行し、実在のプロセッサーまたは仮想プロセッサーであってもよい。マルチ処理システムでは、多数の演算装置が、処理パワーを高めるために、コンピューター実行可能命令を実行する。メモリー120、125は、揮発性メモリー例えば、レジスター、キャッシュ、RAM、不揮発性メモリー例えば、ROM、EEPROM、フラッシュメモリー等、またはこれら2つの何らかの組み合わせとすることができる。メモリー120、125は、記載する技法およびツールの内1つ以上をシステムに実現するためのソフトウェア180を格納する。0039計算環境は、追加の特徴を有してもよい。例えば、計算環境100は、ストレージ140、1つ以上の入力デバイス150、1つ以上の出力デバイス160、および1つ以上の通信接続170を含む。バス、コントローラー、またはネットワークというような相互接続メカニズム図示せずが、計算環境100のコンポーネントを相互接続する。通例では、オペレーティングシステムソフトウェア図示せずが、計算環境100において実行するほかのソフトウェアに合った動作環境を提供し、計算環境100のコンポーネントの動作を調整する。0040ストレージ140は、リムーバブルでも非リムーバブルでもよく、磁気ディスク、磁気テープまたはカセット、CD-ROM、DVD、あるいは情報を格納するために用いることができしかも計算環境100内においてアクセスすることができるその他のあらゆる媒体も含む。ストレージ140は、記載する技法およびツールを実現するソフトウェア180の命令を格納する。0041入力デバイス1つまたは複数150は、キーボード、マウス、ペン、またはトラックボールまたはタッチスクリーンのような接触入力デバイス、音声入力デバイス、走査デバイス、ディジタルカメラまたは計算環境100に入力を供給する他のデバイスとすることができる。ビデオについては、入力デバイス150は、ビデオカード、TVチューナーカード、あるいはアナログまたはディジタル形態でビデオ入力を受け入れる同様のデバイス、あるいはビデオサンプルを計算環境100に供給するCD-ROMまたはCD-RWとすることができる。出力デバイス1つまたは複数160は、ディスプレイ、プリンター、スピーカー、CD-ライター、または計算環境100からの出力を供給するその他のデバイスとすることができる。0042通信接続1つまたは複数170は、通信媒体を通じたほかの計算エンティティへの通信を可能にする。通信媒体は、コンピューター実行可能命令、オーディオまたはビデオ入力または出力、あるいは変調データー信号におけるその他のデーターというような情報を伝達する。変調データー信号とは、その信号の中に情報をエンコードするような態様で、その特性の1つ以上を設定または変化させた信号のことである。一例として、そして限定ではなく、通信媒体は、電気、光、RF、赤外線、音響、またはその他の搬送波で実現した有線またはワイヤレス技法を含む。0043本技法およびツールは、コンピューター読み取り可能媒体という一般的なコンテキストで説明することができる。コンピューター読み取り可能媒体は、計算環境内においてアクセスすることができ、入手可能なあらゆる有形媒体である。一例として、そして限定ではなく、計算環境100では、コンピューター読み取り可能媒体は、メモリー120、125およびストレージ140、ならびに以上のあらゆるものの組み合わせも含む。0044本技術およびツールは、目標とする実在のまたは仮想のプロセッサー上にある計算環境において実行するプログラムモジュールに含まれるような、コンピューター実行可能命令という一般的なコンテキストで説明することができる。一般に、プログラムモジュールは、ルーチン、プログラム、ライブラリー、オブジェクト、クラス、コンポーネント、データー構造等を含み、特定のタスクを実行するかまたは特定の抽象データータイプを実現する。プログラムモジュールの機能は、種々の実施形態における所望に応じて、プログラムモジュール間で組み合わせることや分割することができる。プログラムモジュールのコンピューター実行可能命令は、局在的計算環境または分散型計算環境内においても実行することができる。0045紹介のために、以上の詳細な説明では、選択するおよび判定するというような用語を用いて、計算環境におけるコンピューター動作を説明した。これらの用語は、コンピューターが実行する動作についての上位抽象であり、人間が行う行為と混同すべきでない。これらの用語に対応する実際のコンピューターの動作は、実施態様に応じて変化する。II.実施態様の環境例図1Bは、記載する実施形態、技法、および技術を実現することができる、適した実施態様環境190を一般化した例を示す。環境例190では、種々のタイプのサービス例えば、計算サービスがクラウド192によって提供される。例えば、クラウド192は、計算機の集合体を備えることができ、これらの計算機の集合体は、集中して配置することまたは分散することができ、クラウドに基づくサービスを、インターネットのようなネットワークを通じて接続されている種々のタイプのユーザーおよびデバイスに提供する。環境例190では、クラウド192は、種々の画面能力を有する、接続されているデバイス194A~194Nにサービスを提供する。接続されているデバイス194Aは、中間サイズの画面を有するデバイスを表す。例えば、接続されているデバイス194Aは、デスクトップコンピューター、ラップトップ、ノートブック等のような、パーソナルコンピューターとすることができる。接続されているデバイス194Bは、小型画面を有するデバイスを表す。例えば、接続されているデバイス194Bは、移動体電話機、スマートフォン、パーソナルディジタルアシスタント、タブレットコンピューター等とすることができる。接続されているデバイス194Nは、大型画面を有するデバイスを表す。例えば、接続されているデバイス194Nは、テレビジョン例えば、スマートテレビジョン、あるいはテレビジョンまたはプロジェクター画面に接続されている他のデバイス例えば、セットトップボックス、ゲーミングコンソールとすることができる。1つ以上のサービスプロバイダー図示せずを通じて、クラウド192によって種々のサービスを提供することができる。例えば、クラウド192は、HDR画像発生およびレンダリングに関するサービスを、種々の接続されているデバイス194A~194Nの内1つ以上に提供することができる。クラウドサービスは、画面サイズ、表示能力、または個々の接続されているデバイス例えば、接続されているデバイス194A~194Nのその他の機能に合わせてカスタム化することができる。例えば、クラウドサービスは、画面サイズ、入力デバイス、および移動体デバイスに通例伴う通信帯域幅の制限を考慮に入れることによって、移動体デバイスに合わせてカスタム化することができる。III.高ダイナミックレンジ撮像-全体像0046人の視覚系は、非常に広いダイナミックレンジにおいて、特に、明るさに関して詳細を検出することができるが、人間は通常一度でこのダイナミックレンジの全ての幅にわたって詳細を拾い上げることはできない。例えば、非常に明るいエリアおよび非常に暗いエリアにおいて同時に詳細を拾い上げることは、人間にといって難しい。しかしながら、場面における種々の局所エリアに合焦することによって、人の視覚系は、局所エリアにおける明るさに非常に素早く適応し、明るいエリア例えば、空およびそれよりも暗いエリア例えば、影において詳細を見ることができる。0047多くの既存のディジタルカメラ殆どのDSLRディジタル一眼レフカメラを含むは、直接HDR画像取り込み能力を欠いており、標準的なダイナミックレンジにおいて各ショットを1つの視点から給送することができるに過ぎない。したがって、人間が知覚することができる詳細のレベルと、SDR画像において表すことができる詳細のレベルとの間には、大きな格差がある。この問題に対する実現可能な解決策は、高ダイナミックレンジHDR撮像である。HDR画像は、場面における豊富な情報を取り込むことができ、適正にレンダリングされれば、非常に現実的な視覚体験を給送することができる。人の視覚系の非線形性および局所適応性のために、HDR撮像体験の殆どは、通常の印刷出力または既存のディスプレイで行うことができ、HDR画像の市場は潜在的に非常に大きい。したがって、HDR撮像技術は、プロの写真家や愛好家を含むユーザーから近年増々関心を寄せられている。A.トーンマッピング0048HDR画像をSDRディスプレイに合わせてレンダリングするためというような、HDR画像情報をより低いダイナミックレンジに変換する1つの方法は、トーンマッピングをHDR画像情報に適用することである。トーンマッピングとは、画像サンプル値sをサンプル値gsにマッピングする関数gを指す。全域トーンマッピングとは、全域トーンマッピングを所与の画像Iにおけるサンプル値の各々に適用するプロセスである。例えば、全域トーンマッピングを画像に適用して、その画像の明るさおよび/またはコントラストを、ユーザーが望む通りに変更して、トーンマップ画像GIを得ることができる。局所トーンマッピングとは、画像Iをトーンマップ画像LIに変換する関数Lを指す。全域トーンマッピングと同様、局所トーンマッピングは、画像における明るさおよびコントラストを調節するという目的で、画像に適用することができる。しかしながら、局所トーンマッピングは、画像全体にわたって均一に適用しない方がよい局所的な調節に対処することができる。0049トーンマッピングは、異なる目的で画像に適用することができる。例えば、トーンマッピングは、HDR画像におけるサンプル値を、より狭いダイナミックレンジにマッピングすることを伴うことができる。この主のトーンマッピングの適用の1つは、HDR画像の全ダイナミックレンジを表示することができないモニター上での表示のために、HDR画像をレンダリングすることである。この種のトーンマッピングの他の用途は、より低い画像のビット深度表現を必要とするフォーマットでエンコードするために、HDR画像を準備することである。B.画像フォーマット例0050本明細書において記載するディジタル画像は、色、中間諧調、または他のタイプの画像が可能であり、種々のファイルフォーマットで表すことができる例えば、GIF、PNG、BMP、TIFF、TIFFFloat32、JP2、HDR、OpenEXR、JPEG、XR、RadianceRGBE、および/または他のフォーマット。この章では、HDR画像を発生しHDR画像をレンダリングするための記載する技法およびツールと共に使用することができる画像フォーマットの一部についての詳細、ならびに関係のあるユーザーインターフェース機構について示す。例えば、記載する技法およびツールは、JPEGXRフォーマットのHDR画像を扱うことができる。0051JPEGXRは、HDR画像をエンコードするのに有用な、柔軟性があり強力なフォーマットであり、32ビット浮動小数点までサポートする。JPEGXRは、HDR画像符号化をサポートするが、圧縮および伸張双方に整数演算除算なししか必要としない。JPEGXRは、画像データーおよびメタデーターを格納するファイルコンテナと互換性があり、HDフォトメタデーター、XMPメタデーター、およびExifメタデーターを、IFDタグを通じて含むことができる。TIFFFloat、OpenEXR、およびRadianceRGBEのような既存のHDRフォーマットと比較して、JPEGXRフォーマットは、それなりの画質を保存しつつ、遙かに高い圧縮能力に備えている。JPEGXRファイルフォーマットは拡張可能であるので、画像ビットストリームを変化させることなく、追加のメタデーター企業固有のまたは標準的なをJPEGXRファイルに挿入することができる。0052RadianceRGBEは、HDR画像データーを搬送するための他のフォーマットである。RGBE画像では、各画素が32ビットで表され、1つのビット群例えば、1バイトが赤の仮数Rに、1つのビット群例えば、1バイトが緑の仮数Gに、1つのビット群例えば、1バイトが青の仮数Bに、そして残りのビット例えば、1バイトが、R、G、およびBチャネルの各々について仮数によって表される値に適用される共通指数Eに割り当てられる。RGBEでは、有効画素値fR、fG、fBは浮動小数点数であり、fR=R×2E-128、fG=G×2E-128、およびfB=B×2E-128である。RGBE規則は、最大の8ビット仮数を[128、255]の範囲に制限するが、他の2つの8ビット仮数は制限されない即ち、範囲は[0、255]である。したがって、RGBからRGBEへのマッピングは一意となる。RGBEが表現することができるダイナミックレンジは、[2-127、2127]となり、これは約76乗である。RGBE画素から再現されるRGB値は、符号なしであり、全ての非ゼロ値は正である。しかしながら、3つの成分が同じ指数を共有するので、2つの小さい方の成分の精度が犠牲になる。E=0は、特殊な場合であり、対応する画素値が0であることを示す。0053RadianceRGBE9;9;9;5の1つの異体は、9ビットを赤、緑、および青の仮数チャネルの各々に割り当て、5ビットを指数に割り当てる。つまり、各画素を32ビットで、前述の8;8;8;8フォーマットにおけるように表す。また、他のRGBEの表現も可能であり、異なるビット数が仮数および指数に割り当てられる。005432ビット浮動小数点32ビット浮動は、浮動小数点画像データーを表す際に共通して使用される。32ビット浮動小数点画像を定義するコンテナフォーマットは、PortableFloatMapPFM]:移植可能浮動マップおよびTaggedImageFileFormat[TIFF:タグ付き画像ファイルフォーマットを含む。IEEE75432ビット単精度浮動小数点数は、符号sに1ビット、指数eに8ビット、そして仮数mに23ビットを含む。16ビット浮動ハーフとも呼ばれるは、符号に1ビット、指数に5ビット、そして仮数に10ビットを有する。16ビットおよび32ビット浮動小数点表現は、フィールド長の具体的な差以外は、構造的に同一であるので、これらを総称して浮動小数点と呼ぶことができる。0055画像フォーマットの中には、国際標準によって指定されるものがある。例えば、JPEGおよびJPEG200規格は、それぞれ、JPEGおよびJPEG2000フォーマットでエンコードされた画像をデコードするためのデコーダーの要件を記述する。JPEG200に準拠するエンコーダーおよびデコーダーコデックは、高い圧縮効率で、高品質の画像を提供する。JPEGXR規格は、WindowsMediaPhotoおよびHDフォトから発展した。これらは、MicrosoftCorporationによって、WindowsMedia系技術の一部として開発された、企業固有の画像圧縮フォーマットである。JPEGXRについては、国際規格ISO/IEC29199-2:2009に記載されている。IV.高ダイナミックレンジ画像発生およびレンダリングのための技法およびツール0056記載する実施形態は、HDR画像を発生するための技法およびツール例えば、種々の露出レベルがある1組のSDR画像からHDR画像を発生するアルゴリズム、HDR画像をレンダリングするための技法およびツール例えば、HDR画像をSDR画像またはディスプレイにレンダリングするアルゴリズム、およびHDR画像処理に対して制御パラメーターを設定するための技法およびツール例えば、制御パラメーターとして埋め込まれたレンダリングパラメーターによって、HDR画像符号化を容易にするツールを含む。0057図2に示すように、ディジタルHDR撮像ワークフロー200は、HDR画像発生210、およびHDR画像レンダリング220を含む。HDR画像発生210では、HDR画像を発生する。例えば、HDR画像は、多数のSDR画像例えば、少しずつ異なる時点で撮影し、各々、露出設定が異なる、同じ場面の画像からの情報を合成することによって発生することができる。また、多数の画像を組み合わせることなく、HDRビット深度で元の画像を取り込むことができる画像キャプチャーデバイスによって画像を取り込むことによってというようにして、直接HDR画像を発生することも可能である。HDR画像発生210は、望ましくない画像アーチファクト例えば、HDR画像を形成するために使用されるソース画像を圧縮するときに混入するアーチファクトを除去するための前処理例えば、手動または自動動作を含むことができる。0058HDR画像レンダリング220では、HDR画像情報を他の形態に変換する。例えば、HDR画像は、SDR画像例えば、JPEG画像としてレンダリングし、SDRディスプレイ上に表示することができる。画像レンダリングは、トーンマッピングプロセス例えば、自動または半自動トーンマッピングプロセスを伴う可能性がある。レンダリングされた画像は、公開することまたは保管することができる。しかしながら、HDR画像をSDR画像に変換するときに、画像データーが失われるのが通例である。したがって、HDR画像の元のバージョンを保管することは有用であることができる例えば、後の段階において元の画像に更に修正を行うために。また、ディスプレイが、HDR画像の全ダイナミックレンジを、マッピングし直すことなく、レンダリングすることができるというようなときには、標準的なダイナミックレンジにマッピングし直すことなく、HDR画像をレンダリングすることも可能である。0059ワークフロー例200は、HDR画像発生210、およびそれに続くHDR画像レンダリング220を示すが、HDR画像を格納のためまたは更なる処理のために発生するが、表示されないというようなときには、HDR画像処理システムは、これらをレンダリングすることなく、HDR画像を発生することができる。また、HDR画像処理システムが、最初にHDR画像を発生することなく、何らかの他のソースからHDR画像情報を例えば、通信媒体を通じて入手するというようなときには、HDR画像処理システムは、HDR画像を発生することなく、これらをレンダリングすることもできる。0060本明細書において記載する例では、SDR画像は色チャネル当たり8ビットbpcの画像であり、HDR画像は、16bpc以上の画像である。更に一般的には、標準的ダイナミックレンジ、即ち、SDRとは、HDR画像よりもダイナミックレンジが狭いまたは低いディスプレイ、画像、フォーマット等を指すSDR画像を低ダイナミックレンジ画像またはLDR画像と呼ぶこともできる。同様に、高ダイナミックレンジ即ちHDRとは、ダイナミックレンジがSDR画像よりも広いまたは高いディスプレイ、画像、フォーマット等を指す。例えば、記載する実施形態は、32bpcHDR画像を、16bpcSDR画像から発生するために使用することができ、または16bpcモニター上における表示のために32bpcHDR画像をレンダリングするために使用することができる。0061一般に、本明細書において記載するディジタル画像は、ディジタル画像を取り込むことができるデバイス例えば、ディジタル静止画像カメラ、ディジタルビデオカメラ、スキャナー、またはカメラフォンのような画像取り込み能力がある多目的デバイス、またはディジタル画像を格納することができる媒体例えば、揮発性メモリーあるいは光ディスクまたはフラッシュメモリーのような不揮発性メモリーであればいずれによっても取り込んで格納することができる。A.一般化したHDR撮像システム0062図3は、一般化したHDR画像処理システム310を示す図である。図3は、システム310が受け入れることができる異なる種類の画像入力を示す。例えば、図3は、HDR画像320と、HDR画像320よりもダイナミックレンジが低い例えば、露出範囲が狭い、1組330のSDR画像332、334、336、および338を示す。一般に、システム310に入力される画像入力は、1つの画像、1組の画像例えば、HDR画像を組み立てるために使用される、異なるダイナミックレンジを有する1組の画像、または数枚から成る1組のHDR画像、および/または画像に関するメタデーターまたはユーザー好みデーター図示せずというような他の情報とすることができる。メタデーターは、例えば、カメラの設定を示す情報を含むことができる。ユーザー好みデーターは、例えば、画像を見るまたは修正するためのユーザー制御パラメーター設定値を含むことができる。メタデーターおよびユーザー好みデーターは、画像ファイル内に収容することができ、あるいは別個に供給することができる。図3には1つのHDR画像しか示されていないが、システム310は1つよりも多いHDR画像を入力として受け入れることができる。0063図3は、HDR画像を発生するように動作可能なHDR画像発生部340と、表示のためにHDR画像をレンダリングするように動作可能な画像レンダラー350とを示す。システム310はHDR画像発生部340およびHDR画像レンダラー350を示すが、HDR画像が格納または更なる処理のために発生されるが表示されないというようなときには、システム310は、レンダリングせずに、HDR画像の発生を実行することができる。また、HDR画像処理システムが、最初にHDR画像を発生せずに、何らかの他のHDRからHDR画像情報を例えば、通信媒体を通じて入手するときのように、システム310は、HDR画像発生を行わずに、HDR画像のレンダリングを行うこともできる。0064図3に示す例では、HDR画像発生部340は、SDR画像集合330からの情報例えば、少しずつ異なる時点で撮影し、各々、露出設定が異なる、同じ場面の画像を合成する。HDR画像レンダラー350は、次いで、発生されたHDR画像をSDR画像にマッピングし、ディスプレイ360上への出力のために、SDR画像を準備することができる。また、ディスプレイがその最大ダイナミックレンジにおいて、HDR画像をマッピングし直すことなく表示することができるような場合、標準ダイナミックレンジにマッピングし直すことなく、HDR画像をレンダリングすることも可能である。0065システム310内においてモジュール間に示される関係は、当該システムにおける一般的な情報の流れを示す。簡略化のために、他の関係は示されていない。特定の実施形態では、一般化されたシステム310の変形または補足バージョンを使用するのが通例である。実施態様および所望の処理タイプに応じて、システムのモジュールを追加すること、省略すること、多数のモジュールに分割すること、他のモジュールと組み合わせること、および/または同様のモジュールと置き換えることができる。代替実施形態では、異なるモジュールおよび/または他のモジュールの構成としたシステムが、記載する技法の1つ以上を実行する。0066例えば、システム310はプリプロセッサーを含むことができる。プリプロセッサーは、ローパスフィルターまたはその他のフィルターを使用して入力ディジタル画像をスムージングし、高周波成分を選択的に除去する。または、プリプロセッサーはその他の前処理タスクを実行する。また、システム310は、画像データーを圧縮し、圧縮したディジタル画像情報のビットストリームを出力する1つ以上のエンコーダーを含むこともできる。エンコーダーによって行われる正確な動作は、圧縮フォーマットに応じて、様々に変化することができる。例えば、エンコーダーは、JPEGXRのような、HDR画像フォーマットにしたがって、HDR画像情報を圧縮することができ、あるいはエンコーダーは、JPEGのようなフォーマットにしたがって、SDR画像情報を圧縮することができる。また、システム310は、1つ以上のデコーダーも含むことができる。デコーダーは、圧縮された画像データーを伸張し、伸張したディジタル画像情報のビットストリームを出力する。デコーダーによって行われる正確な動作は、圧縮フォーマットに応じて様々に変化することができる。例えば、JPEGXRに準拠するデコーダーは、JPEGXRファイルにおけるHDR画像情報を伸張することができ、JPEGに準拠するデコーダーは、JPEGファイルにおけるSDR画像情報を伸張することができる。B.高ダイナミックレンジ画像発生のための手法1.一般化した技法0067図4は、1組のSDR画像からHDR画像を発生する技法400を示す。ここでは、動き分析に基づいてSDR画像に対する相対的露出を導き出す。図3に示したHDR画像処理システム310のようなシステム、または他のシステムがこの技法400を実行する。0068410において、本システムは、場面を描写する1組の画像における基準画像に対して動き分析を実行する。この動き分析は、1組の中にある非基準画像の各々について、基準画像に対する画像の相違を判定することを含む。一実施態様では、本システムは、1組の画像の内どれが、容認可能な露出範囲内に該当する最も大きなサンプル値を有するか判定し、この画像を基準画像に指定することによって、1組の候補画像から基準画像を選択する。あるいは、基準画像は、他の何らかの方法で基準画像として指定される。0069420において、本システムは、少なくとも部分的に動き分析に基づいて、基準画像に対する露出レベルを導き出す。例えば、本システムは、非基準画像についての動き分析情報に基づいて、非基準画像毎に相対的露出レベルを導き出す。0070430において、本システムは、1組の複数のディジタル画像を統合して、場面を描画するHDRディジタル画像を形成する。この統合は、少なくとも部分的に、相対的な露出レベルに基づく。例えば、相対的露出レベルが、非基準画像毎に導き出された場合、本システムは、これらの相対的露出レベルを使用して、HDRディジタル画像のサンプル値を計算する。2.実施態様例0071この章では、1組のSDR画像からHDR画像を発生する手法の1群の実施態様例について、実施態様の詳細を示す。0072HDR画像発生システムの実施態様例を図5に示す。この例では、HDR画像発生システム510は、入力として、SDR画像情報520を取り込む。SDR画像情報520は、1組のSDR画像522、524、526、528についての画像情報を含み、これらは、画像が処理され統合されるときに、より高いダイナミックレンジの画像590を生成する1つ以上の異なる設定値を有する場面の画像である。例えば、SDR画像522、524、526、528は、異なる時点において異なる露出設定で撮影された、ある場面の画像である。図5は、種々の処理段階を実現し、出力としてHDR画像590を生成するモジュール例を示す。a.動き分析0073動き分析部530は、入力SDR画像522、524、526、528における動きを分析する。例えば、SDR画像522、524、526、528が異なる時点における場面の視覚状態を表す場合、動き分析部530は、これらの画像のシーケンスにおいて発生する動きを分析する。場面の画像が異なる時点において撮影された場合、場面の異なるショット間には画像の動き全域的または局所的がある可能性が非常に高い。動き分析部530は、種々のショットに跨がって画像のテクスチャーを整合し、動きを定量化して、更に処理を行うときに、このような動きを考慮できるようにする。0074動き分析部530は、基準画像に対する動き分析を行う。図5に示す例では、画像524が基準画像に指定されている。基準画像とは、通例、露出範囲が中間にある画像である即ち、1組の入力画像の内、最も明るいのでも、最も暗いのでもない露出範囲。一実施態様では、基準画像は、1組の入力画像の内、通常範囲内、即ち、高すぎず飽和低すぎない露出不足範囲内で最も大きなサンプル値を有する画像はどれかに基づいて選択される。通常露出範囲の限度、および通常範囲を判定する方法は、様々に変化する可能性がある。例えば、通常露出範囲は、全ての画像について予め決定しておくことができ、各画像または入力画像集合毎に適応的に例えば、画像情報および/またはユーザーの好みに基づいて決定することができる。基準画像の選択は、動き分析部530によって自動的に例えば、画像情報および/またはユーザー好み情報に基づいて行うことができ、あるいは画像が動き分析部530に供給される前に、ある画像を基準画像に指定することができる。0075動き分析部530は、画像の差を使用して、入力画像522、524、526、528における動きをモデル化する。ビデオにおける動きを分析するためにビデオピクチャーにおける差を測定する技法は種々開発されているが例えば、平均二乗差、二乗差の和、実施態様例では、異なるショットにおける露出の差を考慮することが望ましいので、典型的なビデオアプリケーションにおいて使用されるものとは異なる静止画像において動きを分析する測定を使用する。一実施態様では、動き分析部530は、正規化相互相関メトリックによってサンプル値の差を計算することによって、画像の差を測定する。例えば、1つの画像tx、yの他の画像fx、yとの正規化相互相関は、次の通りである。ここで、nはtx、yおよびfx、yにおける画素数であり、σは標準偏差を表す。あるいは、画像の差の測定は、各ピクチャーにおいて平均サンプル値fバーおよびtバーの減算を排除するというようなことによって、他の方法で行うことができる。0076言い変えると、2つの画像または画像領域をi1x、yおよびi2x’、y’と定義する。x、yおよびx’、y’は、それぞれのサンプルの2D座標である。これら2つの画像または画像領域間の差diff同じ分解能およびサイズと仮定するは、次のように表すことができる。ここで、<i>はそれぞれの画像または画像領域iの平均サンプル値を表し、sdiは、それぞれのデーター集合の標準偏差sqrt<i-<i>2>を表す。corrは、露出レベルを調節するためのスケーリング係数のような定数でデーターをスケーリングした場合における不変量である。即ち、ここで、Sはスケーリング係数を表す定数である。これは、露出レベルが異なる画像間で差を測定するには有用な測定となることができる。ここで、露出レベルの差は、スケーリング係数を表す定数として表すことができる。有色画像例えば、RGB画像については、画像の差は、色チャネルの各々についてのcorrの平均、またはチャネルの加重平均例えば、R、G、およびBチャネルについて、それぞれ、1/4、1/2、および1/4の重み係数とすることができる。0077あるいは、画像の差の測定は、平均サンプル値の減算を省略する式例えば、前述の式1におけるfバーおよびtバーを使用するというようなことによって、他の方法で行うこともできる。他の代案として、正規化相関係数のような、他のメトリックを動き分析において適用することができる。0078動き分析部530は、基準画像における画素位置と、非基準画像における画素位置との間の一致を求める。一実施態様では、正規化相互相関メトリックを使用して、サンプル値を分析し、一致があるか否か判断する。一致を構成するのは何かについての規準、および一致を検出するために使用されるサーチパターンというような動き分析の詳細は、実施態様に応じて様々に変えることができる。例えば、動き分析部530は、近隣の画素位置において一致を求め、次いで徐々に拡大螺旋パターンでというようにサーチエリアを広げて行き、非基準画像における画素を基準画像における画素と照合する。0079全域動き分析とは、パンニング、シャダー、回転、ズーム、または画像全体に影響を及ぼす動きのような動きをモデル化することを目的とする分析のことである。全域動き分析は、特定の種類の全域的な動きと一貫性のある画素位置にあり、一致するサンプル値を探すことを必要とすることがあり得る。例えば、非基準画像におけるパンニングの動きを探す場合、基準信号において主に水平方向に一致するサンプル値を求める必要があることがあり得る。局所動き分析とは、オブジェクトまたは人間主体の動きのような、画像の個々の部分における動きをモデル化することを目的とする分析のことである。0080特定の画素位置から他の画素位置への動きを検出した後、動き検出部530は、この動きを定量化する。一実施態様では、動き分析部530は、画像における画素毎に、基準画素に対する動きベクトルを計算する。例えば、動きベクトルは、基準画像に対して相対的な、水平次元における変位、および垂直次元における変位を示すことができる。ゼロの動きベクトルは、特定の画素について動きが検出されなかったことを示すために使用することができる。あるいは、動き分析部530は、動きを何らかの他の方法で定量化することができる。例えば、動き分析部530は、入力画像を再度サンプリングし、再度サンプリングされた画像における画素について動きベクトルを計算することができる。0081実施形態例では、異常に低いサンプル値または異常に高いサンプル値は、動き分析において考慮されない。何故なら、これらは多くの場合信頼性がないからである。例えば、サンプルの高い値または低い値は、画像ノイズが原因であるかもしれず、あるいは画像キャプチャーデバイスにおける画像センサーのダイナミックレンジの限界のために、値が正確な測定値でないかもしれない。動き分析に使用するための容認可能なサンプル値の範囲、およびこの範囲を決定する方法は、様々に変わる可能性がある。例えば、動き分析に使用するための容認可能なサンプル値の範囲は、全ての画像について予め決定しておくことができ、あるいは画像毎または入力画像集合毎に例えば、画像情報および/またはユーザーの好みに基づいて適応的に決定することができる。0082全域および局所分析を行うために使用される個々の技法は、実施態様に応じて様々に変化する可能性があり、全域動き分析に使用される技法は、局所動き分析に使用される技法とは異なる場合もある。b.ガンマ-リニア変換0083ガンマ-リニア変換部540は、線形ドメインにない入力画像信号を変換するために使用することができる。静止画像ファイル例えば、JPEGファイルにおけるデーターは、通例、ガンマエンコード値を含む。一実施態様では、全てのR/G/Bサンプルが、各画像において伝達される色プロファイル、またはHDR画像発生システム510におけるデフォルトの色プロファイルにしたがって、線形ドメインに変換される。これによって、カンマエンコードサンプルを線形ドメインに変換することが可能となり、画像データーをHDR画像に統合する前に、サンプル値をスケーリングすることができる以下で更に詳しく説明する。あるいは、ガンマ-リニア変換が必要でないというようなときには、ガンマ-線形変換部540を省略することができる。c.相対的露出レベルの導出0084相対的露出導出部550は、動き分析に基づいて、入力SDR画像522、524、526、528に対する相対的露出を導き出す。このように、動きを考慮に入れつつ、各画像の相対的露出レベルを、基準画像に対して導き出すことができる。例えば、サンプル値を有する非基準画像における画素について、動きベクトルは基準画像に対する動きを示す。動きベクトルは、基準画像において、それ自体のサンプル値を有する対応する画素を指し示す。この1対のサンプル値の比率は、サンプル比率となる。このように、サンプル比率は、動き分析に基づいて、サンプル値の対毎に導き出すことができる。次いで、サンプル比率の平均を求めることによって、相対的露出を計算することができる。一実施態様では、相対的露出は、ガンマ-リニア変換部540によって与えられる線形RGBドメインにおけるデーターに基づいて導き出される。あるいは、露出導出部550が他の何らかの方法で相対的露出レベルを計算する。d.画像信号のスケーリング0085画像信号スケーラー560は、相対的露出レベルに基づいて、サンプル値をスケーリングする。一実施態様では、画像信号スケーラー560は、非基準入力SDR画像522、526、527毎のサンプル値に、それぞれの画像についての相対的露出レベルに対応するスケーリング係数を乗算するが、基準画像524のスケーリングを省略する。このスケーリングは、スケーリングしたサンプル値を同じ基準正規化レベルに持って行く。一実施態様では、スケーリング動作は、ガンマ-リニア変換部540によって与えられる線形RGBデーターに対して適用され、同じスケーリング係数が画像のR、G、およびBサンプル値全てにわたって適用される。あるいは、スケーリングは動き分析の前に行われ、動き分析を、スケーリングされたピクチャーに対して行うことができる。しかしながら、この場合、スケーリング後のサンプル値に対して動き分析が行われるので、動き分析の信頼性が低くなる可能性がある。e.画像統合0086画像統合部570は、入力SDR画像522、524、526、528を統合する。HDR画像発生システム510が場面を描画する数個のSDR画像を入力として取り込んである場合、場面におけるサンプル位置毎に多数のサンプル値がある。画像統合部570は、サンプル値を統合して、HDR画像における対応するサンプル位置に対するサンプル値を形成する。0087一実施態様では、画像統合部570は、サンプル位置毎にスケーリング後のサンプル値を含む、サンプル値の加重平均を計算する。つまり、同じ基準露出レベルにスケーリングされた線形信号が、加重平均として統合される。サンプル値毎の重み係数は、スケーリングおよび線形変換前に対応する元のサンプル値にしたがって決定される信頼レベルに基づく。重み係数は、信頼レベルに比例する。信頼レベルが高い程、重み係数は大きくなる。信頼レベルは、元の値がどの位離れているかに応じて変化する。例えば、過度に暗いエリアまたは飽和エリアに対して、信頼レベルは0に設定される。0088元の値がガンマドメインにある線形ドメインではなく場合に、どのように信頼レベルCsを計算できるかということの一例を以下に示す。式4は、ゼロの信頼レベルが、余りに高いまたは低い値に適用されることを示す。あるいは、信頼レベルは、他の何らかの方法で計算される。例えば、0の信頼レベルが割り当てられる値の範囲の閾値は、実施態様に応じて、様々に変化する可能性がある。0089一実施態様では、重み係数も露出レベルの関数となる。加重平均を計算する際、露出が高い方のショットからのサンプル値は、露出が低い方の画像からのサンプル値よりも大きく重み付けされる。これは、統計的に、画像センサーに入る光子の数が多い程、サンプル値は増々精度が高くなるという観察に基づく。0090一例として、元の値がsであるサンプルの重み係数wsは[0,1]の範囲に正規化されているは、次のように表すことができる。ここで、eは、相対的露出値相対的露出導出部550によって計算された相対的露出値のようなであり、Csは信頼レベルである。乗数aの典型的な値は、0.25および1.0の間である。一実施形態では、乗数aを0.5に設定する即ち、eの二乗根。0091重み係数が決定されているときには、加重平均を導き出すことができる。例えば、加重平均は、加重算術平均または加重幾何学的平均として計算することができる。f.フォーマット変換0092フォーマット変換部/エンコーダー580は、統合画像をしかるべき画素フォーマットに変換する。例えば、フォーマット変換部/エンコーダー580は、画像統合部570から供給された統合画素データーを取り込み、このデーターをエンコードしてJPEGXR画像ファイルを作成する。あるいは、フォーマット変換部/エンコーダー580は、このデーターを処理して、RGBEファイル、半浮動ファイル、またはHDR画像データーを表すのに適した他のファイルというような、異なる画像ファイルを作成する。フォーマット変換部/エンコーダー580は、あらゆる所望の画像フォーマットに合わせてエンコードモジュールを含むことができる。生のHDR画素データーが所望の出力であり、特殊なフォーマットまたはエンコード処理が不要であるというような場合には、フォーマット変換部/エンコーダー580をHDR画像発生システム510から省略することができる。g.拡張および代替0093システム510内部にあるモジュール間で示される関係は、本システムにおける情報の一般的な流れを示す。簡略化のために、他の関係は示されていない。実施態様および望ましい処理のタイプに応じて、本システムのモジュールを追加すること、省略すること、多数のモジュールに分割すること、他のモジュールと組み合わせること、および/または同様のモジュールと置き換えることができる。代替実施形態では、異なるモジュールおよび/またはモジュールの異なる構成を有するシステムが、以上で説明した技法の内1つ以上を実行する。0094例えば、システム510は、プリプロセッサーを含むことができる。プリプロセッサーは、ローパスフィルターまたはその他のフィルターを使用して入力ディジタル画像をスムージングし、高周波成分を選択的に除去する。または、プリプロセッサーはその他の前処理タスクを実行する。例えば、プリプロセッサーは、ブロックアーチファクト、バンディングアーチファクト、リンギングアーチファクト、または画像キャプチャーデバイスにおけるデモザイク動作によって生じたアーチファクトというような、画像アーチファクトを低減することに特定的なタスクを実行することができる。B.高ダイナミックレンジ画像レンダリングのための手法1.一般化した技法0095図6は、HDR画像をレンダリングするための技法例600を示すフローチャートである。図3に示したHDR画像処理システム310のようなシステムまたは他のシステムが技法600を実行する。本明細書において使用する場合、レンダリングという用語は、HDR画像データーを異なる形態に変換することを意味する。HDR画像データーをレンダリングするアプリケーションの例には、HDR画像を、それよりもダイナミックレンジが低いモニター上に表示するために準備すること、またはSDR画像ファイルに格納するためにHDR画像ファイルの中にあるHDR画像データーを変換することを含む。0096技法例600では、610において、本システムは、HDRディジタル画像におけるサンプル値を、それぞれの低ダイナミックレンジLDR値にトーンマッピングする。例えば、本システムは、全域トーンマッピング参照表の中にあるそれぞれのLDR値を識別し、識別した値をLDR画像バッファーに格納する。0097620において、本システムは、トーンマップサンプル値の各々について、局所コントラスト値を計算する。例えば、本システムは、線形ドメインにおける画像データーに基づいて、局所コントラスト値を計算する。0098630において、本システムは、トーンマップサンプル値の各々について、少なくとも部分的にそれぞれの局所コントラスト値に基づいて、残差信号を導き出す。例えば、本システムは、LDR画像バッファーにおけるサンプル値に、対応する局所コントラスト値を乗算する。0099640において、本システムは、トーンマップサンプル値およびそれぞれの残差信号に少なくとも部分的に基づいて、LDRディジタル画像に対してサンプル値を計算する。例えば、本システムは、LDRバッファーにおけるサンプル値、対応する残差信号、および高周波ディザリング信号を全て加算する。2.実施態様例0100この章では、HDR画像をレンダリングする手法の1群の実施態様例についての実施態様の詳細を示す。0101図7は、HDR画像レンダリングシステム710の実施態様例を示す図である。図7に示す例では、システム710は入力としてHDR画像720を取り込む。図7は、種々の処理段階を実現し、LDR画像790を出力として生成するモジュール例を示す。具体的には、システム710は、相互画像処理によってHDRレンダリングを実現するモジュールを示す。相互画像処理とは、本明細書で使用する場合、元のHDR画像情報、およびトーンマッピングされた、低ダイナミックレンジの情報の双方を使用するHDR画像処理のことを指す。例えば、システム710は、元のHDR画像情報およびトーンマップ画像情報の双方を使用して、HDR画像レンダリングの間、局所画像コントラスト計算を実行する。a.前処理0102図7に示す例において、システム710はプリプロセッサー722を含む。プリプロセッサー722は、前処理段階において、HDR画像720からのHDR画像データーに対して、ディジタル信号処理DSP動作を実行する。プリプロセッサー722において実行することができる動作には、限定ではないが、画像のサイズ変更、明示的な露出またはダイナミックレンジ制御、色温度制御、および色強調が含まれる。前処理動作は、画像品質に種々の効果を得るために行うことができる。例えば、色強調は、レンダリングされたピクチャーに更に芸術的な外観を与えるために使用することができる。前処理動作は、実施態様に応じて、異なる方法で実行することができる。例えば、色強調は、色相-彩度-明暗度HIS空間において彩度を高めることによって遂行することができ、あるいはもっと単純な代案として、画素毎の優勢色チャネル例えば、RGB色空間におけるR、G、またはBを高めることができる。ユーザーの好みに基づいて、前処理動作を調節すること、あるいはオンまたはオフに切り替えることができる。0103プリプロセッサー722を参照して説明した動作は、前処理段階において形成されることに限定されるのではなく、代わりに、レンダリングされたLDR画像例えば、LDR画像790に対して実行することもできる。しかしながら、このような動作を前処理段階においてHDR画像に対して実行すると、一層精度が高い結果を得ることができる。何故なら、HDR画像データーをそれよりも低いダイナミック/レンジにマッピングすると、何らかの画像データーが失われるのが通例であるからである。b.トーンマッピング0104図7に示す例では、システム710はトーンマッパー730を含む。一実施態様では、線形ドメインにおけるサンプル毎に、トーンマッパー730は、LUT732を使用して、対応するLDR値を特定し、この対応する値をLDR画像バッファーに格納する。線形ドメインからガンマ補正ドメインへのトーンマッピングプロセスでは、通例では式x’=xgammaにしたがって線形サンプル値xをガンマ補正値x’に変換する。ここで、制御パラメーターgammaは実際には定数となる。一旦LUT732を発生したなら、トーンマッパー730はHDR画像サンプル値をLUT732において参照して、LDRサンプル値を決定する。HDR画像におけるサンプル値毎に対応するLDR値を特定し、これらをLDR画像バッファーに格納するこのプロセスは、第1パストーンマッピングと呼ぶことができる。HDR画像の全ての部分に適用した場合、このプロセスは、第1パス全域トーンマッピングと呼ぶことができる。0105LUT732は、適応ガンマ関数に基づいて発生することができる。適応ガンマ関数は、LUT732を発生するための適応ガンマパラメーターを発生する。ガンマが線形サンプル値xの関数であるとき適応ガンマ関数、この状況を一般にx’=xgammaxと表すことができる。一実施態様では、ガンマドメインにおけるサンプル値xに対する適応ガンマパラメーターγxは、式6に示すように、2つの制御パラメーターγ0およびγ1の加重平均となる。0106簡略化した場合では、ガンマ0を2.2に設定することができる。ガンマ制御パラメーターは、ガンマ制御部734から得られる情報において指定することができ、ガンマパラメーターに関するユーザー好み情報を得るために用いることができる。あるいは、ガンマ制御部734を省略する。0107加重関数wxは、異なる方法で実現することができる。一例として、関数wxは、wx=√xと表すことができ、あるいは更に柔軟性を得るために、関数wxは、wx=xbと表すことができる。bは[0.2、1.0]の範囲にある。あるいは、bを異なる範囲に制限するか、または加重関数wxを何らかの他の方法で実装する。0108第1パストーンマッピング例えば、第1パス全域トーンマッピングでは、比較的明るい領域における画像コントラストを大幅に低減することができる。しかしながら、システム710における他のモジュールは、画像コントラストを正常に戻すために、または視覚品質に関して高いレベルに持って行くためにも使用することができる。c.残差信号抽出および関連フィルタリング0109図7に示す例では、システム710は残差信号抽出部740を含む。残差信号抽出部740は、局所画像コントラストを計算する。一実施態様では、残差信号抽出部740は、線形ドメインにおけるデーターに基づいてサンプル毎にローパスフィルターを使用して局所画像コントラストを計算し、第1パストーンマッピングにおいて得られたデーターを使用してフィルタリングに対する閾値Tを設定するので、強いテクスチャーが更に強調されることはない。また、閾値Tはユーザー制御パラメーターとなることもできる例えば、任意のフィルター制御部742から得られるユーザー好み情報に基づいて。0110残差信号抽出部740は、相互画像処理を使用して、局所画像コントラストを計算する。例えば、閾値Tは、第1パス全域トーンマッピングの結果に基づくが、他のフィルター動作はHDRデーター空間において行われる。HDR空間では、フィルターの出力が背景を確定する。元のサンプル値と背景との間の相対的デルタが、式7に示すように、局所コントラスト値となる。0111次いで、局所コントラスト値に、LDRバッファーにおける対応するサンプル値を乗算することによって、サンプル毎の残差信号を導き出す。0112残差信号抽出のフィルタリング段階では、システム710は画像の現サンプルにフィルタリングをかける。例えば、本システムは、現サンプルを含む1本以上のサンプルラインの各々に沿って、適応閾値フィルターを使用する。または、本システムは対応する二次元フィルターを使用する。このフィルタリングの強度例えば、閾値にしたがって設定されるは、第1パストーンマッピングの結果に応じて、ユーザーの設定値例えば、任意のフィルター制御部742から得られるユーザー好み情報に応じて、および/またはその他の要因に応じて、様々に変化する可能性がある。あるいは、本システムは他のフィルターを使用する。0113一実施態様では、入力信号の位置x、yにおける現サンプル値sx、yに対して、フィルタリングを次のように表すことができる。この式において、wi,jはNの正規化係数を有する2Dローパスフィルターを表し、Kはフィルター範囲を表す。つまり、s’x、yは、フィルタリングされたサンプル値を表す。01142Dフィルターは、2Dウィンドウとして、または1本以上の軸に沿った1Dフィルターの組み合わせとして実装することができる。図8は、4方向、即ち、水平、垂直、左上から右下、および左下から右上の方向に沿った軸を示す。各軸は、現在のサンプル位置810を含む。これらの軸の1つに該当しない位置にあるサンプル値には、重みが与えられないwi,j=0。これらの軸の1つに該当する位置にあるサンプル値には、最大の重みwi,j=1が与えられ、正規化係数が得られることになる。あるいは、フィルターは他の形状を使用する。0115サイズ値Kは、このフィルターを使用するフィルタリングの可能な範囲を示す。一実施態様では、K=8であり、現在の位置x、yに対して水平および垂直方向に-8から8までのサンプル位置が、潜在的にある可能性があると考えられる。その考えは、ローパスフィルタリングプロセスの間中心にあるサンプル810に近いサンプル値のみを使用するということである。0116実施態様の中には、ウィンドウ内において、ある位置を排除するようにフィルターが閾値を使用する場合がある。一般性を失うことなく、以下の規則が示すのは、1D水平ウィンドウにおけるフィルタリングにどのサンプル位置が寄与するかを、どのように閾値が適応的に変化させるかということである。位置オフセットmは、1Dウィンドウ内における同様の値の現在の位置x、yから遠ざかる方向の広がりを表す。例えば、オフセットmは、-K<i<Kに対して、以下の制約を満たすiの最小絶対値となるように設定される。ここで、tx、yはLDRバッファーにおける値を表す。iの値がいずれもこの制約を満たさない場合、m=Kとなる。適応フィルターは、簡略化のために対称とし、同じオフセットmを各方向において使用する。あるいは、現在の位置から遠ざかる異なる方向に、異なるオフセット値を使用する。閾値Tは、フィルター閾値制御パラメーターである。現在の位置x、yに対するオフセットm以内の位置にあるサンプル値には、フィルタリングのときに重みが与えられ、1Dウィンドウにおける他のサンプル値には与えられない。ここで、1D水平ウィンドウにおけるフィルタリングに対してj=0であり、-K<i<Kである。01171D水平ウィンドウにおけるサンプル値67、67、67、68、68、69、69、70、71、72、73、73、74、75、76のシーケンスについて考える。ここで、現在のサンプル値は、tx、y=70である。T=3の場合、オフセット値m=5となる。何故なら、オフセット5において、|74-70|>3となるからである。0118同様に、1D垂直ウィンドウに沿った適応閾値規則では、位置オフセットmが求められるとき、jは-K<j<Kの範囲で変化する。対角線1Dウィンドウに沿った適応閾値規則では、iおよびj双方が変化することができ、位置オフセットmを求めるための-KおよびKの限度内では、i=j図8に示す一方の対角線について、またはi=-j図8に示す他方の対角線についてとなる。2Dウィンドウに対して、位置オフセットmを求めるために、-KおよびKの限度内にあるiおよびjの異なる値における位置までのユークリッド距離を考慮することができる。0119適応閾値規則を適用するかまたは適用しないかには関係なく、wi,jの値を設定するときに、正規化係数Nを決定する。実施態様の中には、簡略化のために、wi,jのタップ係数が0または1のいずれかである場合もある。正規化係数Nは、単にwi,j=1のときの位置の計数値である。更に一般的には、wi,jにおける異なる位置は、例えば、現在の位置により多くの重みを与えるために、あるいは双一次または双三次フィルターを実装するために、異なるタップ値を有することができ、その場合、フィルタリングに寄与する位置に対するタップ値を合計して、正規化係数Nを決定する。0120フィルタリングの強度は、パラメーター値TおよびKを設定することによって、効果的に制御することができる。Kを増大させると、フィルタリングのために可能なウィンドウサイズが増大し、潜在的により強くなる可能性があるフィルタリングが行われることになる。Tを増大させると、類似性の制約を満たすサンプル値が増えるので、フィルタリングに寄与する位置が多くなるという結果につながり、一層強いフィルタリングが行われる結果につながる。d.残差信号フィルタリング0121図7に示す例では、システム710は残差信号フィルター760を含む。残差信号フィルター760は、残差信号抽出部740から得られた残差信号を、ローパスフィルターを使用してフィルタリングする。残差信号フィルター760において行われるフィルタリングは、残差信号抽出部740において行われるフィルタリングに追加されるものであり、このフィルタリングは、局所コントラスト値を得るために行われる。0122残差信号フィルター760では、望ましくないサンプル値を除去するために、フィルタリングが行われる。例えば、残差信号フィルター760は、3×3ボックスカーフィルターを使用して、異常なサンプル値例えば、それらのコンテキストに対して、明るすぎるまたは暗すぎるサンプル値を除去し、更に画像ノイズを除去する。この例では、3×3ボックスカーフィルターは、フィルタリングが行われる現在の画素位置を中心とした3×3行列に配列された9個のサンプルの等加重平均であり、{{1/9,1/9,1/9},{1/9,1/9,1/9},{1/9,1/9,1/9}}と表すことができる。ローパスフィルタリングの後信号が反対の符号を有する場合例えば、正から負に変化した、フィルタリングされた値を0に設定する。フィルタリングの強さは、ユーザーの設定値例えば、任意のフィルター制御部742から得られるユーザー好み情報に応じて、および/または他の要因に応じて様々に変化する可能性がある。あるいは、本システムは他のフィルターを使用する。他の代案として、残差信号フィルター760を省略する。e.残差信号スケーリング0123図7に示す例では、システム710は残差信号スケーラー770を含む。残差信号スケーラー770は、残差信号例えば、残差信号抽出部740から得られた残差信号をスケーリングする。残差信号スケーリングは、ユーザー制御に基づいて調節することができる。例えば、ユーザーの好みを、スケーリング制御部772から得られるパラメーターで表すことができる。あるいは、スケーリング制御部772を省略する。0124一実施形態では、残差信号スケーラー770は、以下の式11に示すスケーリング関数を適用する。ここで、xはLDR画像バッファーの中にあるサンプル値であり、0から1の範囲を取る。Sはユーザー制御スケーリング係数である。このユーザー制御スケーリング係数は、異なる値を取ることができ、更にデフォルト値例えば4を取ることができる。0125残差信号スケーラー770によって適用されるスケーリング係数は、LDR画像バッファー内にあるサンプル値の関数とすることができる。例えば、スケーリング係数は、LDR画像バッファーの中にある対応するサンプル値が低いときには小さくすることができ、またはスケーリング係数は、LDR画像バッファーの中にある対応するサンプル値が高いときには、大きくすることができる。サンプル値に依存するスケーリング係数を適用するスケーリング例えば、LDR画像バッファーの中にあるLDRサンプル値を、相対的残差スケーリングと呼ぶことができる。0126一実施形態では、残差信号スケーラーは、残差信号フィルター760から得られた、フィルタリング後の残差信号をスケーリングする。あるいは、残差信号スケーリングを省略することができ、または残差信号フィルタリングの前に適用することができる。f.ディザリング0127図7に示す例では、システム710は選択的にディザリング信号782をサンプル値に追加する。例えば、本システムは、現在のサンプルの位置に対して、ディザリングオフセットを決定する。0128人間の視覚系は、些細な低周波信号レベル変化に対して、特に暗い画像エリアにおいて、比較的敏感であるが、高周波信号に対しては特に敏感ではない。従来の前処理では、高周波ノイズを除去する。しかしながら、高空間-時間周波ディザリング信号をしかるべく追加すると、人間の視覚系はディザリング信号を画像信号と統合する。これによって、効果的に、ディザリング信号を知覚的に目立たなくする一方、画像またはディスプレイにおいてビット深度が制限されることによって生ずる、それ以外の知覚可能なバンディングアーチファクトまたはその他のアーチファクトを取り除く。例えば、3ピクチャーの高さというような適正な距離から見ると、追加されたディザリング信号は、整数値の間にあるサンプル値の認識を生み出すことができる。これは、人間の視覚系が、サンプル値をディザリングと統合するからである。0129実施態様の中には、整数値例えば、8ビット整数値に切り捨てる前に、変換の最終丸め段階においてディザリング信号を適用する場合もある。他の実施態様では、ディザリング信号は、切り捨ての後に適用される。ディザリング信号の強度は、実施態様に依存し、局所的な画像特性、ディジタル画像に対するハイパス信号の特性、またはその他の要因に応じて、適応的に変化することができる。通例、ディザリング信号の信号強度または標準偏差は、整数レベル内に十分収まる。g.LDR画像発生0130図7に示す例では、システム710はLDR画像発生部780を含む。LDR画像発生部780は、他の処理段階において得られた情報に基づいて、出力LDR画像790のサンプル値を発生する。例えば、LDR画像バッファーの中にあるサンプル値毎に、LDR画像発生部780は、このサンプル値を残差信号および高周波ディザリング信号と組み合わせる。0131一実施形態では、LDR画像生成部は、LDRバッファーから得られたLDRサインプル値、残差信号、およびディザリング信号を互いに加算し、その結果を丸めて整数にし、この結果を8ビット値に切り詰める例えば、8bpcカラーモニター上で表示する画像では。例えば、LDR画像生成部780は、出力LDR画像790に対して出力サンプル値を決定するために、次の式を使用する。ここで、LDR画像バッファーから得られたサンプル値は、8ビット整数基底10値0~255を表すであり、ディザリング信号は、丸め動作を滑らかにするために、値が-0.5および0.5の間となるブルーノイズである。式12に示す例では、最も近い整数に丸めるために、0.5を加算する。あるいは、0.5の加算を省略することもできる。例えば、ディザリング信号が、0の代わりに、0.5を中心とする場合、丸めのための0.5の加算を省略することができる。h.拡張および代替0132システム710内にあるモジュール間で示す関係は、当該システムにおける一般的な情報の流れを示す。簡略化のために、他の関係は示されていない。実施態様および所望の処理タイプに応じて、システムのモジュールを追加すること、省略すること、多数のモジュールに分割すること、他のモジュールと組み合わせること、および/または同様のモジュールと置き換えることができる。代替実施形態では、異なるモジュールおよび/または異なるモジュールの構成としたシステムが、記載した技法の1つ以上を実行する。0133例えば、システム710は、圧縮画像データーを伸張するためにデコーダーを含むことができる。デコーダーは、プリプロセッサーが伸張HDR画像データーに対して前処理動作を実行できるように、本システムに含ませることができる。このデコーダーによって行われる正確な動作は、圧縮フォーマットに応じて、様々に変化する可能性がある。例えば、JPEGXRに準拠するデコーダーでは、JPEGXRファイルのHDR画像情報を伸張することができ、またJPEGに準拠するデコーダーでは、JPEGファイルのSDR画像情報を伸張することができる。0134また、システム710は1つ以上のエンコーダーも含むことができる。エンコーダーは、画像信号を圧縮し、圧縮ディジタル画像情報のビットストリームを出力する。このエンコーダーによって行われる正確な動作は、圧縮フォーマットに応じて様々に変化する可能性がある。例えば、エンコーダーは、JPEGのようなフォーマットにしたがって、LDR画像情報を圧縮することができる。C.ユーザー対話処理およびパラメーター制御の手法この章では、HDR画像を発生するまたはレンダリングするシステムとのユーザーの対話処理の手法について説明する。例えば、ユーザー好み情報を、HDR画像発生、HDR画像レンダリング、またはHDR画像発生およびHDR画像レンダリングの組み合わせに適用することができる。ここで記載する例では、HDR画像レンダリングに関連のあるパラメーターを調節するために使用される、ユーザー調節可能な制御に言及するが、HDR画像発生に関連のあるパラメーターを調節するために使用される、ユーザー調節可能な制御も使用することができる。1.一般化した技法0135図9は、ユーザー好み情報にしたがってHDR画像を処理する技法900を示す。図10に示すHDR画像処理システム1010のようなシステム、または他のシステムが技法900を実行する。0136910において、本システムは、HDR画像発生パラメーターまたはHDR画像レンダリングパラメーターに対してユーザーの好みを設定するために、1つ以上のユーザー好み制御部を設ける。920において、本システムは、ユーザー好み制御部と関連のあるユーザー好み情報を受け取る。930において、本システムは、ユーザー好み情報に少なくとも部分的に基づいて、HDRディジタル画像を発生またはレンダリングする。940において、HDR画像処理が行われた場合、本プロセスは終了し、あるいは本システムは、同じユーザーまたは異なるユーザーから、同じユーザー好み制御部または異なるユーザー好み制御部から追加のユーザー好み情報を得て、異なる方法でHDRディジタル画像を発生またはレンダリングすることができる。例えば、ユーザーは、ガンマ調節に対するユーザーの好みにしたがってHDR画像のLDRバージョンを見ることができ、次いでフィルタリングに対するユーザーの好みにしたがってHDR画像の他のLDRバージョンを見ることができる。元のHDRディジタル画像は、ディジタルネガとして保存し、元の画像データーに基づいて今後修正を可能にすることができる。2.実施態様例0137この章では、ユーザー好み情報にしたがってHDR画像を発生またはレンダリングする手法の一群の実施態様例について、実施態様の詳細を示す。0138図10は、ユーザー好み情報にしたがってHDR画像を発生またはレンダリングするHDR画像処理システム1010の実施態様例を示す図である。図10に示す例では、システム1010は入力画像1つまたは複数1020を処理する。システム1010は、HDR画像レンダリングのために入力HDR画像を処理し、またはHDR画像発生のために入力LDR画像を処理する。図10は、種々の処理段階を実現し出力画像1つまたは複数1060を発生するモジュール例を示す。具体的には、システム1010は、ユーザーインターフェースを設けるおよび/またはユーザー入力1080を解釈するために、ユーザー好みモジュール1070を含む。例えば、ユーザーは1つ以上のユーザー入力デバイス例えば、マウス、キーボード、マイクロフォン、目追跡デバイス、タッチスクリーン、または他の何らかのデバイス上で動作を実行することができる。あるいは、HDR画像処理システム1010は、画像ファイルに格納されているユーザー好みメタデーターを受け取るというようなことによって、他の何らかの方法でユーザーの好みを判定する。ユーザー好みモジュール1070は、実行する処理のタイプに応じて、ユーザー好み情報をHDR画像発生部1040および/またはHDR画像レンダラー1050に提供する。0139個々のユーザーは、多数の方法で画像を処理することができ、多数のユーザーが同じ画像に対してユーザーの好みを設定することができる。ユーザー好み情報は、画像データーを変更することなく、メタデーターとして画像ファイルに格納することができる。これによって、元の画像データーを保存しつつ、異なるユーザーが、彼ら自身のユーザーの好みを画像に適用することによって、画像を共有することが可能になる。ユーザーの好みは、ガンマ制御パラメーター、残差フィルター制御パラメーター、残差スケーリング制御パラメーター、色強調パラメーター、サイズ変更パラメーター、色温度制御パラメーター、および白点制御パラメーターというような、画像処理パラメーターを調節するために使用することができる。また、ユーザー識別情報も、対応するユーザー好み情報と共にセーブすることができる。多数の組のメタデーターを画像ファイルに格納することができるので、同じピクチャーを種々の方法で異なるユーザーによって同じシステムにおいてレンダリングすることができる。0140例えば、ユーザー好みモジュール1070は、ユーザー調節可能制御部を設けて、ユーザーがHDR画像レンダリングのパラメーターを制御することを可能にすることができる。ユーザー好みモジュール1070によって設けられる具体的な制御部は、実施態様に応じて様々に変化する可能性がある。例えば、再度図7を参照すると、画像レンダリングのためのユーザー調節可能制御部は、トーンマッピングパラメーターを調節するための制御部例えば、ガンマ制御部734、フィルター制御部742、およびスケーリング制御部722を含むことができる。0141システム1010内にあるモジュール間に示す関係は、当該システムにおける一般的な情報の流れを示す。簡略化のために、他の関係は示されていない。実施態様および所望の処理タイプに応じて、システムのモジュールを追加すること、省略すること、多数のモジュールに分割すること、他のモジュールと組み合わせること、および/または同様のモジュールと置き換えることができる。代替実施形態では、異なるモジュールおよび/または異なるモジュールの構成としたシステムが、記載した技法の1つ以上を実行する。V.拡張および代替0142この章では、以上で鍾愛した技法およびツールのその他の拡張、代替、および応用の一部について資料を提供する。0143記載したHDR画像発生およびレンダリングのための技法およびツールは、画像修正を前もって見るために、HDR画像のダウンサンプル即ち、解像度を落としたバージョンに適用することができる。例えば、トーンマッピング制御パラメーターおよびトーンマッピング動作は、画像修正を前もって見るためにHDR画像のダウンサンプル即ち、解像度を落としたバージョンに適用することができる。次いで、同じパラメーターまたは動作、あるいは異なるパラメーターまたは動作を、画像の最大解像度バージョンに適用することができる例えば、画像の最終バージョンを発生するとき。0144記載したHDR画像発生およびレンダリングのための技法およびツールは、HDR画像アチーブアニメーションまたは遷移効果に適用することができ、または画像における異なる情報を明らかにするために適用することができる。例えば、HDR画像は、一連のLDR画像としてレンダリングすることができ、各LDR画像は、異なるトーンマッピングパラメーターを有し、低い露出設定からそれよりも高い露出設定への遷移を動画化することができ、異なる画像の詳細および異なる露出設定を潜在的に明らかにすることができる。0145記載したHDR画像発生およびレンダリングのための技法およびツールは、ビデオまたは仮想3D環境に適用することができる。0146記載したHDR画像発生およびレンダリングのための技法およびツールは、他のディジタル画像処理技法およびツールと合わせて使用することができる。例えば、記載したHDR画像発生およびレンダリングのための技法およびツールは、ディジタル写真編集というシナリオにおいて使用して、例えば、HDR画像の異なる部分においてトーンマッピングパラメーターを変更することを伴う画像修正を、ユーザーが前もって見ることを可能にすることによって、コンピューター上でHDR画像を編集することができる。0147以上、記載した実施形態を参照しながら、本発明の原理について説明し図示したが、記載した実施形態は、このような原理から逸脱することなく、その構成および詳細において変更が可能であることは認められよう。尚、本明細書において記載したプログラム、プロセス、または方法は、特に示されていない限り、いずれの特定のタイプの計算環境にも関係付けられることも、限定されることもないことは言うまでもない。種々のタイプの汎用または特殊計算環境を、本明細書において記載した教示と共に使用することができ、あるいはその教示にしたがって動作を実行することができる。ソフトウェアで示した記載した実施形態のエレメントは、ハードアウェアで実現することもでき、そしてその逆もかのうである。0148本発明の原理を適用することができる実施形態が多くあることに鑑み、出願人は、以下の請求項の範囲および主旨、ならびにその均等物に該当すると考えられる全てのそのような実施形態を、本出願人の発明として特許請求することとする。"