(57)【特許請求の範囲】
【請求項１】
プロセッサによりＨＤＲ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）画像を符号化する方法であって、
入力色域と入力ダイナミックレンジとによる入力ＨＤＲ画像を受信するステップと、
第１ダイナミックレンジと第１カラー空間とにおいて第１ベース画像を生成するため、前記入力ＨＤＲ画像にトーンマッピングと色域マッピング関数とを適用するステップであって、前記第１カラー空間は第１色域を有し、前記第１ダイナミックレンジは前記入力ダイナミックレンジより低く、前記第１色域は前記入力色域より狭い、適用するステップと、
第２色域による第２カラー空間において第２ベース画像を生成するため、前記第１ベース画像にカラー変換処理を適用するステップであって、前記第２色域は前記第１色域と異なる、適用するステップと、
前記入力ＨＤＲ画像と前記第２ベース画像とに応答してＨＤＲメタデータを生成するステップと、
前記第１ベース画像と前記ＨＤＲメタデータとに基づき出力符号化ＨＤＲ画像を生成するステップと、
を有する方法。
【請求項２】
前記出力符号化ＨＤＲ画像のファイルフォーマットは、前記第１カラー空間と前記第２カラー空間とのカラー記述子を有する、請求項１記載の方法。
【請求項３】
前記第１カラー空間は、ｓＲＧＢカラー空間からなる、請求項１記載の方法。
【請求項４】
前記第２カラー空間は、デバイスから独立したカラー空間からなる、請求項１記載の方法。
【請求項５】
前記ＨＤＲメタデータは、レシオ画像とカラー残差データとを有する、請求項１記載の方法。
【請求項６】
前記第２ベース画像は、前記入力ＨＤＲ画像のダイナミックレンジより低いダイナミックレンジを有する、請求項１記載の方法。
【請求項７】
前記第２色域は、前記第１色域より広い、請求項１記載の方法。
【請求項８】
プロセッサにより符号化ＨＤＲ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）画像を復号化する方法であって、
第１カラー空間における符号化ベース画像と第２カラー空間に関するＨＤＲメタデータとを有する符号化ＨＤＲ画像を受信するステップであって、前記第２カラー空間は前記第１カラー空間と異なる、受信するステップと、
前記符号化ベース画像に基づき前記第１カラー空間において復号化ベース画像を生成するステップと、
前記第２カラー空間における第２ベース画像を生成するため、前記復号化ベース画像にカラー変換を適用するステップと、
前記第２カラー空間における復号化ＨＤＲ画像を生成するため、前記第２ベース画像と前記第２カラー空間に関するＨＤＲメタデータとを合成するステップと、
を有する方法。
【請求項９】
前記第１カラー空間は、ｓＲＧＢカラー空間からなる、請求項８記載の方法。
【請求項１０】
前記第２カラー空間は、前記第１カラー空間より広い色域を有する、請求項８記載の方法。
【請求項１１】
前記復号化ベース画像は、前記復号化ＨＤＲ画像より低いダイナミックレンジを有する、請求項８記載の方法。
【請求項１２】
請求項１記載の方法をプロセッサにより実行するためのコンピュータ実行可能な命令を格納した非一時的なコンピュータ可読記憶媒体。
【請求項１３】
請求項８記載の方法をプロセッサにより実行するためのコンピュータ実行可能な命令を格納した非一時的なコンピュータ可読記憶媒体。
【請求項１４】
符号化ハイダイナミックレンジ（ＨＤＲ）画像を復号化する装置であって、
第１カラー空間における符号化ベース画像と第２カラー空間に関するＨＤＲメタデータとを有する符号化ＨＤＲ画像を受信する入力であって、前記第２カラー空間は前記第１カラー空間と異なる、入力と、
前記符号化ベース画像に基づき前記第１カラー空間において復号化ベース画像を生成するプロセッサと、
前記第２カラー空間における第２ベース画像を生成するため、前記復号化ベース画像にカラー変換を適用するプロセッサと、
前記第２カラー空間における復号化ＨＤＲ画像を生成するため、前記第２ベース画像と前記第２カラー空間に関するＨＤＲメタデータとを合成するプロセッサと、
前記復号化ＨＤＲ画像を出力する出力と、
を有する装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、参照することによりその全体がここに援用される、２０１２年８月８日に出願された米国仮特許出願第６１／６８１，０６１号に対する優先権を主張する。
【０００２】
本発明は、一般に画像処理に関する。より詳細には、本発明の実施例は、ハイダイナミックレンジ（ＨＤＲ）を有する画像のための画像処理に関する。
【背景技術】
【０００３】
現在又は従来のデジタル画像は、２４ビットフォーマットに従う。これらの画像は、画像の各ピクセルについてルミナンス及びクロミナンスデータなどのカラーと輝度情報との双方を格納するため２４ビットと同程度のビットを有する。このようなフォーマットは、従来の電子ディスプレイにより画像がレンダリング又は再生されることを可能にするのに十分な画像情報を保持し、出力参照規格であると考えられる。従来のディスプレイは、典型的には、３桁のダイナミックレンジ（ＤＲ）を有する。通常の肉眼は１：１０，０００までの又はそれ以上のコントラスト比を識別できるが、有意に高いダイナミックレンジを有する画像が知覚される可能性がある。
【０００４】
現在の電子ディスプレイ技術の発展は、より高いダイナミックレンジによる画像レンダリング及び再生を可能にし、これは、従来のディスプレイのＤＲを大きく超過する。ハイダイナミックレンジ（ＨＤＲ）画像は、出力参照規格に準拠した画像フォーマットより忠実に実世界のシーンを表現する。従って、ＨＤＲ画像は、シーン参照（ｓｃｅｎｅ  ｒｅｆｅｒｒｅｄ）とみなされるかもしれない。ＨＤＲ画像とこれをレンダリング可能なディスプレイとに関して、より限定的なＤＲの従来画像及び他の画像及びディスプレイは、ここではローダイナミックレンジ（ＬＤＲ）画像／ディスプレイと呼ばれる。
【０００５】
本セクションにおいて説明されるアプローチは、追求可能なアプローチであるが、以前に想到又は追求されたアプローチである必要はない。従って、特段の断りがない場合、本セクションにおいて説明されるアプローチの何れも単に本セクションに含まれることによって従来技術として認められることが想定されるべきでない。同様に、１以上のアプローチに関して特定される問題は、特段の断りがない場合、本セクションに基づき従来技術において認識された者であると想定されるべきでない。
【図面の簡単な説明】
【０００６】
本発明が、添付した図面により限定することなく具体例により説明され、同様の参照番号は同様の要素を参照する。
【図１Ａ】図１Ａは、本発明の実施例による一例となるローカルマルチスケールトーンマッピングシステムを示す。
【図１Ｂ】図１Ｂは、本発明の実施例による一例となる画像符号化処理を示す。
【図２】図２は、本発明の実施例による一例となるローカルマルチスケール画像処理方法を示す。
【図３Ａ】図３Ａは、本発明の実施例による一例となるＨＣＴＮブロックを示す。
【図３Ｂ】図３Ｂは、本発明の実施例による一例となる対応するマルチスケールフィルタリングを示す。
【図４Ａ】図４Ａは、本発明の実施例による一例となるマルチスケールフィルタブロックを示す。
【図４Ｂ】図４Ｂは、本発明の実施例による一例となる対応する一例となるマルチスケールフィルタリング実現形態を示す。
【図４Ｃ】図４Ｃは、本発明の実施例による一例となる方法を示す。
【図５】図５は、本発明の実施例による一例となるレシオ画像プロセッサを示す。
【図６Ａ】図６Ａは、本発明の実施例によるＨＤＲ画像のための一例となる符号化処理データフローを示す。
【図６Ｂ】図６Ｂは、本発明の実施例によるＨＤＲ画像のための一例となる符号化処理データフローを示す。
【図７】図７は、本発明の実施例によるＨＤＲ画像を表示するためのフュージョン・マージエクスポージャ処理を示す。
【図８Ａ】図８Ａは、本発明の実施例による広範な色域と複数のカラー空間とをサポートする一例となるＪＰＥＧ−ＨＤＲ符号化復号化処理を示す。
【図８Ｂ】図８Ｂは、本発明の実施例による広範な色域と複数のカラー空間とをサポートする一例となるＪＰＥＧ−ＨＤＲ符号化復号化処理を示す。
【発明を実施するための形態】
【０００７】
ＨＤＲ画像の画像処理に関する実施例がここで説明される。以下の説明では、説明のため、多数の具体的な詳細が本発明の完全な理解を提供するため与えられる。しかしながら、本発明がこれらの具体的な詳細なしに実現可能であることは明らかであろう。他の例では、本発明の態様を不必要に閉塞、曖昧又は難解にすることを回避するため、周知の構成及び装置は網羅的に詳細には説明されない。
［概略−ＨＤＲ画像］
本概略は、発明の実施例のいくつかの態様の基本的説明を提供する。本概略は可能な実施例の態様の広範な又は網羅的なサマリでないことに留意すべきである。さらに、本概略は可能な実施例の特に重要な態様又は要素を特定するものとして理解されることを意図しておらず、一般に特定の可能な実施例又は本発明の範囲を限定するものとして理解されることを意図していないことに留意すべきである。本概略は、単に凝縮された簡略されたフォーマットによる可能な実施例に関連するいくつかのコンセプトしか提供せず、以下の実施例のより詳細な説明に対する単なる概念的な準備として理解されるべきである。
【０００８】
本発明の実施例は、ＨＤＲ画像の符号化に関する。ＨＤＲ入力画像におけるログルミナンスは、ロググローバルトーンマッピングされたルミナンス画像が計算されると共に、トーンマップを生成するようヒストグラム化される。ロググローバルトーンマッピングされたルミナンス画像がダウンスケーリングされる。ログルミナンス及びロググローバルトーンマッピングされたルミナンス画像は、ログレシオ画像を生成する。ログレシオ画像をフィルタリングするマルチスケール解像度は、ログマルチスケールレシオ画像を生成する。ログマルチスケールレシオ画像及びログルミナンスは、第２ログトーンマッピングされた画像を生成し、ダウンスケーリングされたロググローバルトーンマッピングされたルミナンス画像及び正規化された画像に基づきトーンマッピングされた画像を出力するよう正規化される。ＨＤＲ入力画像及び出力されるトーンマッピングされた画像は、量子化される第２レシオ画像を生成する。
【０００９】
アクティブデバイス（トランジスタなど）のアレイが、半導体ダイに配置される。アクティブデバイスは、画像エンコーダとして機能するよう構成又は動作相互接続される。エンコーダは、ＨＤＲ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）入力画像の各ピクセルから導出される複数のログルミナンス値をヒストグラム化するための第１トーンマッパを有する。第１トーンマッピング手段は、第１レシオ画像をダウンスケーリングし、それの各ピクセルを水平方向及び垂直方向に再帰的にローパス処理する。第１レシオ画像のサイズに依存して、第１レシオ画像は１、２又は３つのレベルに対して破棄及びフィルタリングされる。従って、対応するレシオ画像は、各レベルにおいてレンダリングされる。対応するレシオ画像のそれぞれは、ＩＣデバイスから独立した（例えば、外部の）ストレージ（メモリなど）に書き込まれる。各レベルにおけるアンプは、デシメータが機能する各レベルに対応するスケーリングファクタにより対応するレシオ画像のそれぞれのフィルタリングされたピクセルを重み付けする。バイリニア補間手段は、前のレベルのそれぞれに次に後続するレベルに重み付けされた各レシオ画像をアップスケーリングする。各レベルにおける加算手段は、重み付けされたレシオ画像のそれぞれを次の前のレベルからの重み付けされたレシオ画像と加算する。第２トーンマッピング手段は、ベース画像とそれのトーンマッピングされたレシオ画像とをマッピングし、そのそれぞれはより低いダイナミックレンジの入力ＨＤＲ画像に対応する。ベース画像とそれのベースレシオ画像とは量子化される。量子化されたベース画像とベースレシオ画像とは、ＪＰＥＧフォーマットによる圧縮用のＪＰＥＧエンコーダなどに出力されてもよい。
【００１０】
いくつかの現在の電子ディスプレイは、従来のディスプレイのＤＲ能力を超える本質的にシーン参照されるＨＤＲ画像をレンダリングする。ディスプレイのＤＲ能力に関して、“レンダリング”、“再生”、“復元”、“提示”、“生成”、“回復”及び“生成”という用語は、ここでは同義的及び／又は互換的に利用されてもよい。本発明の実施例は、従来のディスプレイと共に現在のディスプレイにより効果的に機能する。実施例は、対応可能な現在のディスプレイが実質的にそのフルコントラスト比及び後方互換性によちＨＤＲ画像をレンダリングすることを可能にし、従来及びＬＤＲディスプレイデバイスが自らのより限定的なＤＲ再生能力の範囲内で画像をレンダリングすることを可能にする。実施例は、ＬＤＲディスプレイと新たなＨＤＲディスプレイ技術とに対するこのような後方互換性をサポートする。
【００１１】
実施例は、画像に関する付加的な情報を提供する符号化されたメタデータと共に、トーンマッピングされたベース画像（画像の対応するＨＤＲインスタンスより低いＤＲを有する画像のインスタンスなど）により本質的にＨＤＲ画像を表現する。付加的な情報は、画像強度関連（ルミナンス、ルマなど）データ及び／又はカラー関連（クロミナンス、クロマなど）データを有する。付加的データは、ＨＤＲ画像インスタンスと対応するベース画像インスタンスとの間のＤＲの差分に関する。従って、相対的に限定的なＤＲ再生能力を有する第１（例えば、従来の）ディスプレイは、トーンマッピングされた画像を利用して、既存の、確立された又は一般的な画像圧縮／解凍（ｃｏｄｅｃ）規格などに従って通常のＤＲ画像を提示してもよい。
【００１２】
実施例は、通常のＤＲ画像が、ここに完全に提供されるかのように、全ての目的のためその全体が参照することにより援用されるｔｈｅ  Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  ｏｆ  ｔｈｅ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｕｎｉｏｎ  ａｎｄ  ｔｈｅ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ  Ｃｏｍｍｉｓｓｉｏｎ，ＪＰＥＧ  ＩＳＯ／ＩＥＣ１０９１８−１  ＩＴＵ−Ｔ  Ｒｅｃ．Ｔ．８１のＪＰＥＧ規格に従って処理されることを可能にする。さらに、第２（例えば、現在の）ＨＤＲ対応可能なディスプレイは、ＨＤＲ画像を効果的に提示するための画像メタデータと共に、トーンマッピングされた画像を処理してもよい。一方では、トーンマッピングされた画像は、従来のディスプレイに通常のダイナミックレンジ画像を提示するのに利用される。他方、付加的なメタデータは、ＨＤＲ画像を生成、復元又は提示するため、トーンマッピングされた画像と共に利用されてもよい（例えば、ＨＤＲディスプレイなどにより）。実施例は、トーンマッピングオペレータ（ＴＭＯ）を用いて、ＨＤＲ画像に基づきトーンマッピングされた画像インスタンスを生成する。
【００１３】
Ｒｅｉｎｈａｒｄグローバルフォトグラフィックオペレータなどの各種ＴＭＯが、トーンマッピングされた画像を相対的に効率的に生成するのに利用されてもよい。計算コストが無関係、利用可能又は無視できる場合、バイラテラルフィルタが、相対的に高品質のトーンマッピングされた画像を生成するのに利用されてもよい。バイラテラルフィルタリングは、典型的にはより計算効率的なＲｅｉｎｈａｒｄｔオペレータが失う可能性のある明るいエリアなどの画像詳細を保存することに役立つ。さらに又は代わりに、ヒストグラム調整オペレータＴＭＯ及び／又は勾配ドメインオペレータＴＭＯが利用されてもよい。
【００１４】
実施例では、画像フォーマットは、非ＨＤＲ画像と共に、ＨＤＲ画像を良好かつ効率的にレンダリングする。実施例は、ＪＰＥＧフォーマット及び／又は他の各種画像フォーマットと共に機能してもよい。例えば、実施例は、画像関連の分野において当業者が精通するＭＰＥＧ、ＡＶＩ、ＴＩＦＦ、ＢＭＰ、ＧＩＦ又は他の適切なフォーマットの１以上により機能するものであってもよい。実施例はＪＰＥＧ−ＨＤＲ画像フォーマットに従って機能し、それは、ここに完全に提供されたかのように、全ての目的のため参照することによりその全体が援用される、Ｗａｒｄ，Ｇｒｅｇ  ａｎｄ  Ｓｉｍｍｏｎｓ，Ｍａｒｙａｎｎｅ，“Ｓｕｂｂａｎｄ  Ｅｎｃｏｄｉｎｇ  ｏｆ  Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  Ｉｍａｇｅｒｙ”，ｉｎ  Ｆｉｒｓｔ  ＡＣＭ  Ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ａｐｐｌｉｅｄ  Ｐｅｒｃｅｐｔｉｏｎ  ｉｎ  Ｇｒａｐｈｉｃｓ  ａｎｄ  Ｖｉｓｕａｌｉｚａｔｉｏｎ（ＡＰＧＶ），ｐｐ．８３−９０（２００４）；Ｗａｒｄ，Ｇｒｅｇ  ａｎｄ  Ｓｉｍｍｏｎｓ，Ｍａｒｙａｎｎｅ，“ＪＰＥＧ−ＨＤＲ：Ｂａｃｋｗａｒｄｓ−Ｃｏｍｐａｔｉｂｌｅ，Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  Ｅｘｔｅｎｓｉｏｎ  ｔｏ  ＪＰＥＧ”，ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  Ｔｈｉｒｔｅｅｎｔｈ  Ｃｏｌｏｒ  Ｉｍａｇｉｎｇ  Ｃｏｎｆｅｒｅｎｃｅ，ｐｐ．２８３−２９０（２００５）；ａｎｄ  Ｅ．Ｒｅｉｎｈａｒｄ，Ｇ．Ｗａｒｄ，ｅｔ  ａｌ．Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  Ｉｍａｇｉｎｇ−Ａｃｑｕｉｓｉｔｉｏｎ，Ｄｉｓｐｌａｙ  ａｎｄ  Ｉｍａｇｅ−Ｂａｓｅｄ  Ｌｉｇｈｔｉｎｇ，ｐｐ．１０５−１０８，Ｅｌｓｅｖｉｅｒ，ＭＡ（２０１０）に説明される。
【００１５】
広範な画像レンダリング装置上に画像を表示するため、トーンマッピングオペレータ（ＴＭＯ）は、入力ＨＤＲ画像をトーンマッピング（ＴＭ）されたベース画像に処理する。ＴＭベース画像は、入力画像に対するカラー変化（例えば、色相変化、カラークリッピング、芸術的様相など）を含むものであってもよい。いくつかの技術の下、ＴＭベース画像は、入力ＨＤＲ画像に等しいＨＤＲ画像を再構成するためのルミナンスレシオと共にダウンストリーム画像デコーダに提供される。しかしながら、ダウンストリーム画像デコーダは、ＴＭベース画像及びグレイスケールルミナンスレシオに依拠して、再構成されたＨＤＲ画像におけるカラー変化を削除することができないであろう。この結果、カラー変化は、再構成されたＨＤＲ画像において顕著なままである。
【００１６】
ここに説明される実施例のＨＤＲ画像エンコーダは、入力ＨＤＲ画像及びＴＭベース画像に基づきルミナンスレシオだけでなくカラー残差値もまた生成する。ルミナンスレシオ及びカラー残差値は、ＨＤＲ再構成データとして総称されてもよい。任意的に及び／又はさらに、ルミナンスレシオは、相対的に広範なルミナンス値をサポートするため、対数領域に変換される。任意的に及び／又はさらに、結果としての対数ルミナンスレシオ及びカラー残差値は量子化される。任意的に及び／又はさらに、量子化された対数レシオ及びカラー残差値は、残差画像に格納される。量子化された対数レシオ及びカラー残差値、又はいくつかの実施例では残差画像は、ＴＭベース画像と共にダウンストリーム画像デコーダに提供される。任意的に及び／又はさらに、量子化された対数レシオ及びカラー残差値（レンジリミットなど）に関連するパラメータがまた、ＴＭベース画像と共に提供される。
【００１７】
ここに説明される実施例のＴＭＯは、低い（黒の）又は高い（白の）ルミナンスレベルを有する個々のピクセルについてカラーチャネルにおいてカラークリッピングを自由に実行してもよい。また、ここに説明されるＴＭＯは、各ピクセルにおける色相を維持することを要求されない。ここに説明される技術の下、ユーザは、画像コンテンツ（例えば、人間の姿、屋内画像、屋外シーン、夜間のビュー、日没など）又はアプリケーション（例えば、映画、ポスター、ウェディング写真、雑誌などにおいて使用される）に基づきＴＭＯを自由に選択する。カラークリッピング又は変更は、画像の芸術的様相を作成するのに慎重かつ自由に利用されてもよい。ＨＤＲ画像エンコーダ及びデコーダは、広範な可能なカラー変化を導入しうる異なるタイプの編集ソフトウェア及びカメラメーカーにより実行されるＴＭＯをサポートする。ここに説明された技術の下、ＨＤＲエンコーダは、カラー残差値をＨＤＲデコーダに提供する。次に、ＨＤＲデコーダは、カラー変更が再構成されたＨＤＲ画像に存在することを防ぐ（又は最小化）するため、カラー残差値を利用する。
【００１８】
実施例は、ビットストリーム及び／又は画像ファイルを利用して、ＴＭベース画像及びそれらの各自の対応するＨＤＲ再構成データを格納し、復号化及び／又はレンダリングのためダウンストリーム画像ビューワ又はデコーダに提供してもよい。実施例では、画像フォーマットは、各種編集ソフトウェアアプリケーション及び／又はカメラメーカーにより実装されうるＴＭＯをサポートする。実施例は、例えば、標準的なＪＰＥＧ画像フォーマットと、ＪＰＥＧ−ＨＤＲなどの拡張、エンハンス又は改良されたＪＰＥＧ関連フォーマットを含む各種画像フォーマットにより機能してもよい。さらに、あるいは又は任意的に、実施例は、ＪＰＥＧ関連画像フォーマットと共に利用されてもよいものに関連して、１以上の実質的な態様、属性、オブジェクト、符号化仕様又はパフォーマンスパラメータが変更されるコーデック／規格に基づく又は一緒に利用される画像フォーマットを利用してもよい。実施例は、ＪＰＥＧ−ＨＤＲ画像フォーマットを利用して、ルミナンスレシオ及びカラー残差値と共にＴＭベース画像の格納をサポートする。さらに、任意的に又はあるいは、画像ファイルに格納されているＴＭベース画像と残差画像との１以上が圧縮されてもよい。実施例では、画像データ圧縮が、ＪＰＥＧ規格に従って実行される。さらに、あるいは又は任意的には、実施例は、ＪＰＥＧ関連画像フォーマットにより利用可能なものに関連して、１以上の実質的な態様、属性、オブジェクト、符号化仕様又はパフォーマンスパラメータが変更される規格に従って圧縮を実行してもよい。
【００１９】
ＪＰＥＧフォーマットがＬＤＲ画像に限定されるとき、ＪＰＥＧ−ＨＤＲは、ＪＰＥＧフォーマットに対する実質的に後方互換的なＨＤＲの拡張を有する。ＪＰＥＧ−ＨＤＲは、新たなＨＤＲディスプレイデバイス上へのＨＤＲ画像レンダリングと、ＨＤＲ又は非ＨＤＲディスプレイデバイス上への非ＨＤＲ（ＬＤＲなど）画像レンダリングとを同時にサポートする。ＪＰＥＧ−ＨＤＲは、ＪＰＥＧにおいて規定されるような標準的な位置にトーンマッピングされた画像を格納し、非ＨＤＲディスプレイデバイスにより無視されうる新たな位置に付加的なメタデータを格納する。付加的なメタデータは、オリジナルＨＤＲ画像のＨＤＲバージョンを生成／復元するため、トーンマッピングされた画像と共に利用されてもよい。
【００２０】
実施例では、ＪＰＥＧ  ＨＤＲエンコーダは、集積回路（ＩＣ）デバイスにより実現又は配置される。実施例では、ここに説明されるデバイス、回路及び／又は機構は、カメラや他の画像レンダリング及びレンダリング又はディスプレイシステム、セルラ無線電話、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）、パーソナル、ポータブル若しくはコンシューマ電子デバイス（例えば、写真、計算、映画、音楽、情報、娯楽、音声用など）におけるコンポーネントから構成される。
【００２１】
実施例は、そのコピーがＡｎｎｅｘ  Ａとして（出願された）本明細書に付属され、全ての目的のためにここに援用される、Ｗｅｎｈｕｉ  Ｊｉａ，ｅｔ  ａｌにより特許協力条約に従って２０１２年４月１６日に出願された特許出願番号ＰＣＴ／ＵＳ２０１２／０３３７９５“ＥＮＣＯＤＩＮＧ，ＤＥＣＯＤＩＮＧ，ＡＮＤ  ＲＥＰＲＥＳＥＮＴＩＮＧ  ＨＩＧＨ  ＤＹＮＡＭＩＣ  ＲＡＮＧＥ  ＩＭＡＧＥＳ、又はＤｏｌｂｙ  Ｌａｂｏｒａｔｏｒｉｅｓによる明細書”ＪＰＥＧ−ＨＤＲ  Ｅｎｃｏｄｅｒ  ａｎｄ  Ｄｅｃｏｄｅｒ  Ａｌｇｏｒｉｔｈｍ  Ｓｐｅｃｉｆｉｃａｔｉｏｎ“に記載されるような１以上の機能を実行してもよい。
【００２２】
実施例は、参照することにより全ての目的のためにその全体がここに援用される、Ｇｒｅｇｏｒｙ  Ｊｏｈｎ  ＷａｒｄによるＰＣＴに従って２０１２年３月１日に出願された特許出願番号ＰＣＴ／ＵＳ２０１２／０２７２６７号“ＬＯＣＡＬ  ＭＵＬＴＩ−ＳＣＡＬＥ  ＴＯＮＥ  ＭＡＰＰＩＮＧ  ＯＰＥＲＡＴＯＲ”に記載されるような１以上の機能を実行してもよい。
【００２３】
ここに記載される好適な実施例と汎用的な原理及び特徴とに対する各種変更は、当業者に容易に明らかであろう。従って、本開示は、図示された実施例に限定されることを意図としておらず、ここに記載された原理及び特徴に整合した最も広範な範囲が与えられるべきである。
［一例となるＪＰＥＧ  ＨＤＲエンコーダ］
実施例では、ＪＰＥＧ  ＨＤＲエンコーダは、通常はチップとして参照されるＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）デバイスにより実現される。例えば、エンコーダは、ＩＣデバイス内に配置されてもよい。ＩＣデバイスは、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  ＩＣ）デバイス、デジタル信号プロセッサ（ＤＳＰ）、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）及び／又はグラフィックプロセッサとして実現されてもよい。ＩＣデバイスは、マイクロプロセッサ、プログラマブルロジックデバイス（ＰＬＤ）、ＦＰＧＡ又はマイクロコントローラなどの１以上の設定可能又はプログラム可能なデバイス又はＡＳＩＣを備えたシステム・オン・チップ（ＳＯＣ）として実現されてもよい。
【００２４】
ＩＣデバイスは、半導体ダイ内に配置されるトランジスタなどのアクティブデバイスコンポーネントのアレイを有する。アクティブデバイスコンポーネントは、モジュール、レジスタ、キャッシュ、ロジックゲート、ロジック及び計算（算術／浮動小数点など）ユニットとして機能するか、又はＪＰＥＧ  ＨＤＲ符号化に整合しうる他の処理を実行するようアレイ化、構成、設定及び／又はプログラムされる。アレイのアクティブコンポーネントは、アクティブデバイスコンポーネントとそれと共に形成される各種機能モジュールとの間の信号及びデータの電気的／電子的やりとりを可能にするためダイ内に配置されるトレース／ビアのネットワーク、アドレス／ワードラインの格子などの少なくとも部分的に導電性のルーティングファブリックにより相互接続される。アクティブコンポーネントは、ＩＣデバイスの外部の信号、データ及び電源との電気的、電子的及び／又は通信接続を可能にする少なくとも部分的に導電性のインタフェースにより動作的にアドレス指定可能である（ルーティングファブリックのノード又は一部などを介し）。
【００２５】
ＪＰＥＧ  ＨＤＲエンコーダの実施例が、ＡＳＩＣにより実現されるものとしてここでは説明される。簡単化のため、ここで説明されるＡＳＩＣの実装はまた、設定可能及びプログラム可能なＩＣの実装を表す。図１Ａは、本発明の実施例による一例となるＪＰＥＧ  ＨＤＲエンコーダ１０を示す。
【００２６】
エンコーダ１０は、ＡＳＩＣにより実現される。エンコーダ１０は、アドバンストハイパフォーマンスバス（ＡＨＢ）インタフェースを介し入力画像を受信する。プレトーンマッピングＰｒｅ＿ＴＭは、入力画像データをトーンマッピングに有用なフォーマットに変換する。ＰＲＥ＿ＴＭは、４：２：２クロマサンプリングフォーマットから４：４：４フォーマットなどへのクロマアップサンプリングを実行する。ＰＲＥ＿ＴＭは、画像入力のカラー空間（ＹＣｂＣｒなど）をＲＧＢなどの三刺激カラー空間に変換する。Ｐｒｅ＿ＴＭは、ＲＧＢ変換された画像に対してリバース（インバース）ガンマ（γ）訂正を実行する。
【００２７】
エンコーダ１０は、入力ＨＤＲ画像からトーンマッピングされたベース画像を生成するトーンマッピング機能を実行する。エンコーダ１０は、以下のテーブル１に示される一例となる入力フォーマットなどの各種フォーマットにより入力されるＨＤＲ画像を処理するよう実現されてもよい。
【００２８】
【表１】
0005965025.tif 000002
トーンマッピング機能は、ｃｏｎｔｒａｓｔ−ｌｉｍｉｔｅｄ  ａｄａｐｔｉｖｅ  ｈｉｓｔｏｇｒａｍ  ｅｑｕａｌｉｚａｔｉｏｎ（ＣＬＡＨＥ）を利用して、入力ＨＤＲ画像に対してトーンマップ正規化機能を実行するｈｉｓｔｏｇｒａｍ  ａｄｊｕｓｔｅｄ  ｍｕｌｔｉ−ｓｃａｌｅ  ｔｏｎｅ  ｍａｐｐｉｎｇ  ｏｐｅｒａｔｏｒ（ＨＡＭＳ−ＴＭＯ）を有する。正規化機能は、入力画像に対するｈｉｓｔｏｇｒａｍ  ＣＬＡＨＥ  ｔｏｎｅ  ｍａｐ  ｎｏｒｍａｌｉｚａｔｉｏｎ（ＨＣＴＮ）により実現されてもよい。ＨＡＭＳ−ＴＭＯ  ＨＣＴＮは、１２ビットリニアＲＧＢフォーマットにより正規化されたトーンマッピングされたベース画像を出力する。ＨＡＭＳ−ＴＭＯ  ＨＣＴＮの実施例が以下に説明される（図２及び３）。レシオ画像プロセッサＲＩ＿Ｐｒｏｃは、正規化されたトーンマッピングされたベース画像から１以上のレシオ画像を計算及び処理してもよい。
【００２９】
ＨＡＭＳ−ＴＭＯ  ＨＣＴＮ処理によって、ポストトーンマッピングＰｏｓｔ＿ＴＭは、正規化された１２ビットＲＧＢ画像に対してガンマ訂正を復元し、これにより８ビットＲＢＧ画像を生成する。Ｐｏｓｔ＿ＴＭは、トーンマッピングされたベース画像を圧縮用にＪＰＥＧエンコーダに送信する。Ｐｏｓｔ＿ＴＭは、ガンマ再訂正された８ビット画像のＲＧＢカラー空間をＪＰＥＧ互換的なカラーフォーマットによるＹＣｂＣｒ画像（４：２：２又は４：２：０など）に変換する。例えば、Ｐｏｓｔ＿ＴＭＯは、ガンマ符号化（典型的には、ユーザにより規定されたルックアップテーブルを介し１２ビットＲＧＢ入力が８ビット入力に変換される場合）、ＲＧＢからＹＣｂＣｒカラー変換（３×３カラーマトリックス変換などを介し）、及びクロマカラー平面の適切なサブサンプリングを介した４：４：４から４：２：２又は４：２：０への変換を含むものであってもよい。エンコーダ１０は、複数のポストトーンマッピングモジュールＰｏｓｔ＿ＴＭサブブロックを有してもよい。例えば、エンコーダ１０は、３つのＰｏｓｔ＿ＴＭサブブロックにより実現されてもよい。
【００３０】
図１Ｂは、本発明の実施例による一例となる画像符号化処理１００を示す。実施例では、エンコーダ１０は、入力ＨＤＲ画像を受信又はアクセスすると、処理１００に関して説明されたように機能する。ステップ１０１において、ＨＤＲ入力画像のピクセルの対数（ログ）ルミナンス値に基づきヒストグラムが計算される。ステップ１０２において、トーンマップ曲線が計算されたヒストグラムに基づき生成される。ステップ１０３において、対数グローバルトーンマッピングされたルミナンス画像が、入力ＨＤＲ画像の対数ルミナンスピクセル値及びトーンマップ曲線に基づき計算される。
【００３１】
ステップ１０４において、対数グローバルトーンマッピングされたルミナンス画像は、ダウンスケーリングされた対数グローバルトーンマッピングされたルミナンス画像を計算するためダウンサンプリングされる（例えば、垂直方向及び水平方向に間引かれるなど）。ステップ１０５において、ＨＤＲ入力画像のダウンスケーリングされた対数グローバルトーンマッピングされたルミナンス画像及び対数ルミナンスピクセル値に基づき、対数レシオ画像が計算される。ステップ１０６において、マルチスケールフィルタリングが、対数マルチスケールレシオ画像を生成するため、対数レシオ画像に対して実行される。ステップ１０７において、第２対数トーンマッピングされた画像が、ＨＤＲ入力画像の対数マルチスケールレシオ画像及び対数ルミナンスピクセル値に基づき生成される。
【００３２】
ステップ１０８において、第２対数トーンマッピングされた画像は、ピクセル強度値のレンジを変更し、コントラスト伸張を実現するため正規化される。出力されたトーンマッピングされた画像が、それとダウンスケーリングされた対数グローバルトーンマッピングされたルミナンス画像とに基づき生成される。ステップ１０９において、第２レシオ画像が、出力されるトーンマッピングされた画像及び入力ＨＤＲ画像に基づき生成される。ステップ１１０において、第２レシオ画像が量子化される。ステップ１１１において、出力されるトーンマッピングされた画像及び量子化された第２レシオがＪＰＥＧエンコーダに出力される。一例となる処理１００の各ステップにおいて、生成されたグローバルトーンマッピングされた画像及びレシオ画像が、エンコーダ１０のインタフェースなどを介し外部メモリに対して読み書きされる。
【００３３】
図２は、本発明の実施例による一例となるヒストグラム調整マルチスケールトーンマッピング手段２００を示す。実施例は、ヒストグラム調整マルチスケールトーンマッピング手段２００は、上述されたようなＨＡＭＳ−ＴＭＯ  ＨＣＴＮ機能を実現する（図１）。ＨＡＭＳ−ＴＭＯ２００は、三刺激（ＲＧＢなど）又は他の（ＹＣｂＣｒなど）カラー空間によるＨＤＲ画像を受信する。ルミナンスモジュール（２０１）は、入力ＨＤＲ  ＲＧＢ画像に対して１６ビットルミナンス値Ｙを計算する。対数ルミナンスモジュールＬＯＧ（２０２）は、ルミナンス値Ｙをリニアドメインから対数ドメインに変換する。ＬＯＧモジュール２０２は、ルミナンス値Ｙのベース２の対数“ｌｏｇＹ”への変換を実現する。
【００３４】
１６ビットリニアルミナンス値を変換すると、ＬＯＧモジュールは、結果としてのベース２の対数（ｌｏｇ２）値であるｌｏｇＹをＱ４．１２データとして保存する（例えば、想定バイナリポイント前の４ビットとその後の１２ビットなど）。例えば、対数は整数コンポーネントと小数コンポーネントとを有する。従って、実施例は、ベース２の対数ｌｏｇ２Ｙを実現するため、整数ｌｏｇＹコンポーネントと小数ｌｏｇＹコンポーネントを分離する。整数部分は、正規化における左シフト数に従って計算され、小数の８ビットは、以下のテーブル２の一例となる擬似コードに示されるように、ルックアップテーブルＬＵＴにインデックス化される。
【００３５】
【表２】
0005965025.tif 000003
５１２個のビンを有するヒストグラムＨＩＳＴ（２０３）は、小数ｌｏｇＹコンポーネントから構成される。小数ログルミナンス値は、１６ビット整数値として扱われる。従って、ビン間のインターバルは、６５５３６／５１２＝１２８からなる。その後、ＨＡＭＳ−ＴＭＯ２００は、ヒストグラムに対してＣＬＡＨＥ調整を実行する。ダイナミックレンジは、例えば、以下のテーブル３Ａに示される一例となる擬似コードなどに従ってヒストグラムから計算される。
【００３６】
【表３Ａ】
0005965025.tif 000004
出力ダイナミックレンジ（ＯＤＲ）は、５のベース２の値に変換される自然対数（ベースｅ）対数ドメインにおいてデフォルト値３．５により設定可能である。ヒストグラムクリッピングファクタ“ｃｆ”は、例えば、
ｃｆ＝（（ｏｄｒ＊（ｂｍａｘ−ｂｍｉｎ＋１））＜＜１２）／（ｄｒｉｎ）
などにより計算され、ヒストグラムは、以下のテーブル３Ｂに示される擬似コードなどに従って複数の繰り返しにより調整されてもよい。
【００３７】
【表３Ｂ】
0005965025.tif 000005
累積ヒストグラムは、調整されたヒストグラムから計算され、例えば、以下のテーブル３Ｃに示される擬似コードなどに従ってＱ４．１２データフォーマットの１２ビット対数ドメインにマッピングされる。
【００３８】
【表３Ｃ】
0005965025.tif 000006
このようなＣＬＡＨＥヒストグラム等価は、ｌｏｇＹ画像のグローバルトーンマッピングオペレータとして実現されるマッピング曲線を生成する。マッピング極性は５１２個のビンを有するため、リニア補間が、例えば、以下のテーブル３Ｄに示される擬似コードなどに従って５１２個のビンのそれぞれのルミナンス値に対して計算される。
【００３９】
【表３Ｄ】
0005965025.tif 000007
ＣＬＡＨＥマッピング出力は、Ｑ４．１２フォーマットのｌｏｇＹ画像（２０４）を有する。実施例では、ＨＡＭＳ−ＴＭＯ２００は、ヒストグラムＣＬＡＨＥ（ｃｏｎｔｒａｓｔ−ｌｉｍｉｔｅｄ  ａｄａｐｔｉｖｅ  ｈｉｓｔｏｇｒａｍ  ｅｑｕａｌｉｚａｔｉｏｎ）トーンマップ正規化機能を実行するブロックにより実現される。
【００４０】
図３Ａ及び３Ｂはそれぞれ、本発明の実施例による一例となるヒストグラムＣＬＡＨＥトーンマップ正規化（ＨＣＴＮ）ブロック３０と、対応する一例となるＨＣＴＮ処理３００のフローとを示す。ＨＣＴＮブロック３０は、２５００万以上のピクセルの画像をサポートするよう実現されてもよい。三刺激値（ＲＧＢなど）又は他の（ＹＣｂＣｒなど）カラー空間による入力画像を受信すると、ＨＣＴＮ３０は、それのルミナンス値Ｙを計算する（処理ステップ３０１）。ステップ３０２において、Ｙ値は、ＨＣＴＮブロック３０に返される対応する対数値ｌｏｇＹの計算用の共有ロジックに出力される。ステップ３０３において、ｌｏｇＹ値に基づきヒストグラムが計算され、テーブル“ｈｔ０”に格納される。全ての入力画像ピクセルを計数すると、ＣＬＡＨＥが、ステップ３０４において、ｈｔ０ヒストグラム値を正規化するため計算される。
【００４１】
全ての入力画像ピクセルを計数すると、ＣＬＡＨＥが、ステップ３０４において、ｈｔ０ヒストグラム値を正規化するため計算される。ステップ３０５において、バッファされるｌｏｇＹ値が補間され、対数トーンマッピングされた画像ｌｏｇＹｔｍが生成される。例えば、トーンマッピング曲線は、ヒストグラムの５１２個のビンに対して実現される。従って、リニア補間が、ｌｏｇＹｔｍを実現するため、５１２個のビンのそれぞれにおけるルミナンス値に対して計算される。ステップ３０６において、対数レシオ画像ｌｏｇＲＩが、ｌｏｇＲＩ＝ｌｏｇＹｔｍ−ｌｏｇＹの対数ドメインに対して実行される減算関数によりｌｏｇＹ値及びｌｏｇＹｔｍ画像から計算される。ステップ３０７において、ｌｏｇＹヒストグラムがクリッピングされる。ステップ３０８において、マルチスケールフィルタリング後、トーンマッピングされたｌｏｇＹ値が、リニアルミナンス値Ｙ’に正規化される。ステップ３０９において、任意的な曲線関数が、最終的なトーンマッピングされた画像を出力するため、リニアトーンマッピングされたＹ’値に対して適用されてもよい。
【００４２】
図４Ａ、４Ｂ及び４Ｃはそれぞれ、本発明の実施例による一例となるマルチスケールフィルタ（ＭＳＦ）ブロック４０００、対応する一例となるマルチスケールフィルタリング実現形態及び一例となる処理４００を示す。ＨＣＴＮブロック３０（図３Ａ）と同様に、ＭＳＦ４０００は、２５００万以上のピクセルの画像をサポートするよう実現されてもよい。ＭＳＦ４０００は、それの水平方向のサイズと垂直方向のサイズとに対して予め計算された係数（８など）によって入力対数レシオ画像ＩＢＩを間引きする。ＭＳＦ４０００は、７つなどの複数のタップに対して間引きされた画像を有する各ピクセルをローパスフィルタリングする。ローパスダウンスケーリングされた画像は、以前にダウンスケーリングされた予め計算された同一の係数などによって、以降にアップスケーリングされてもよい。
【００４３】
ＭＳＦ４０００は、ｍｓｎ＝ｆｌｏｏｒ（ｌｏｇ８ｍｉｎ（ｗｉｄｔｈ，ｈｅｉｇｈｔ））＋１＝ｆｌｏｏｒ（ｌｏｇ２ｍｉｎ（ｗｉｄｔｈ，ｈｅｉｇｈｔ）／３）＋１の一例となる実現式に従って、入力におけるそれのオリジナルのサイズに基づき入力画像がスケーリングされるステージ数ｍｓｎを予め計算する。ＭＳＦ４０００は、各サイズにおいてトータルで６４の４つのステージのそれぞれに対して水平方向のサイズと垂直方向のサイズとに対して、８までの係数により入力対数レシオ画像ＩＢＩを間引きするよう実現されてもよい。
【００４４】
従って、実施例では、図４Ｂに示されるように、フィルタリング実現形態は４つのステージ４０、４１、４２、４３を有する。ステージ４０〜４３のそれぞれは、画像サイズが８２＝６４の係数により低減され、ＭＳＦ４０００が６４のトータルの係数により画像を間引きするように、８の係数によって垂直方向及び水平方向に画像を間引く。従って、各ステージにおいて、対数レシオ画像が８の係数によりダウンスケーリングされる。８の係数によるダウンスケーリングは、以下のテーブル４に示される擬似コードなどに従ってｍｓｎレベル（ステージなど）のそれぞれにおいて繰り返される。
【００４５】
【表４】
0005965025.tif 000008
各ステージにおいて、７タップローパスフィルタリングが、間引きされた画像の各ピクセルに対して実行されてもよい。間引きされた各画像が第１空間方向に対応する水平方向においてまずフィルタリングされ、その後に、第１方向に関して空間的に垂直な垂直方向にフィルタリングされる実施例が実現される。各種のスケーリング画像が、ミラー拡張などのパディングなどによって、それらの境界において揃えられる。
【００４６】
アンプは、各ステージにおいて加重係数“Ａｌｐｈａ”をレシオ画像に適用する。ステージｋのそれぞれについて（ｋはゼロからｍｓｎ−１までの整数（ｋ＝０，１，．．．，ｍｓｎ−１））、実施例は、Ａｋ＝２＊（ｋ＋１）／（ｍｓｎ（ｍｓｎ＋１））に従って加重係数Ａｌｐｈａ（Ａ）を計算する。当該ウェイトの合計は１である。加重係数が２＊（ｍｓｎ−（ｋ−１）＋１）／ｍｓｎ＊（ｍｓｎ＋１）又は１／ｍｓｎとして計算される実施例が実現されてもよい。
【００４７】
アップスケーリングが、ダウンスケーリングされたフィルタリングされたレシオ画像に対して（ｍｓｎ−１）回実行される。重み付けされた対数レシオ画像が、各ステージにおいてアップスケーリングされた画像に加えられる。実施例は、例えば、画像の空間的なコーナーにおける４つのポイントなどを利用して前のステージの低解像度画像の補間（バイリニア補間など）と、アップサンプリングされたブロックを構成するため、それの水平方向のサイズ及び垂直方向のサイズに対する補間とによるアップスケーリングを実現する。
【００４８】
ステージ４０１は、入力画像Ｒ０をダウンスケーリング及びフィルタリングし、第１レシオ画像Ｒ１をステージ４０２にわたす。同様に、ステージ４０２及びステージ４０３〜４０７のそれぞれは、各自の前のステージのそれぞれによりわたされたレシオ画像の順序的に以降のダウンスケーリングされたローパスレシオ画像を各自の次のステージにわたす。各ステージからの重み付けされたレシオ画像は、次のステージからのアップスケーリングされた画像との和がとられる。
【００４９】
ＭＳＦ４０００は、レジスタインタフェースを介しオフボードメモリにコンフィギュレーションレジスタにより書き込まれるトーンマッピングされたルマ、ルミナンス又は他の強度関連のトーンマッピングされた値を生成する。
【００５０】
実施例では、ＭＳＦ４０００及び／又は実現形態４００は、一例となるマルチスケール解像度フィルタリング処理４００の１以上のステップに従って機能する。一例となる処理４００は図４Ｂ及び図４Ｃに示されるフローチャートを参照して後述される。処理４００は、レベル４１、４２及び４３のそれぞれに対して画像をプログレッシブにダウンスケーリングすることによって、対数レシオ画像Ｒ０（図１Ｂのステップ１０５において生成される）の処理を開始する。ダウンスケーリングの各レベルにおいて、画像は垂直方向及び水平方向においてプログレッシブに間引きされる。
【００５１】
ステップ４０１において、対数レシオ画像Ｒ０は、Ｎの係数によって垂直方向及び水平方向にダウンスケーリングされる。ここで、Ｎは８などの正の整数からなる。第１レベルダウンスケーリングされた対数レシオ画像Ｒ１が生成される。第１レベルダウンスケーリングされた対数レシオ画像Ｒ１は、その後、第２レベルダウンスケーリングされた対数レシオ画像Ｒ２を生成するため、ステップ４０２において、係数Ｎにより間引きされる。第２レベルダウンスケーリングされた対数レシオ画像Ｒ２は、その後に第３レベルダウンスケーリングされた対数レシオ画像Ｒ３を生成するため、ステップ４０３において係数Ｎにより間引きされる。実施例では、各レベルのダウンスケーリングされた画像出力がローパスされる。実施例では、全てのレベルが利用される必要はない。
【００５２】
ステップ４０４において、第３レベルダウンスケーリングされた対数レシオ画像Ｒ３のピクセル値が、第３レベルの重み付けされたレシオ画像Ｒ３’を生成するため、第３レベルスケール係数（Ａｌｐｈａ［３］など）によりスケーリングされる。ステップ４０５において、第２レベルダウンスケーリングされた対数レシオ画像Ｒ２のピクセル値は、第２レベルスケーリングされた重み付けされたレシオ画像Ｒ２’を生成するため、第２レベルスケール係数（Ａｌｐｈａ［２］など）によりスケーリングされる。ステップ４０６において、第３レベル重み付けされたレシオ画像Ｒ３’が係数Ｎによりアップスケーリングされ、第２レベルアップスケーリングされた対数レシオ画像
【数１】
0005965025.tif 000009
を生成するため、第２レベルスケーリングされた重み付けされたレシオ画像Ｒ２’との和がとられる。
【００５３】
ステップ４０７において、第１レベルダウンスケーリングされたレシオ画像Ｒ１’が、第１レベル重み付けされた対数レシオ画像Ｒ１’を生成するため、第１レベルスケール係数（Ａｌｐｈａ［１］など）によりスケーリングされる。ステップ４０８において、第２レベルアップスケーリングされた対数レシオ画像
【数２】
0005965025.tif 000010
が係数Ｎによりアップスケーリングされ、第１レベルアップスケーリングされた対数レシオ画像
【数３】
0005965025.tif 000011
を生成するため、第２レベルスケーリングされた重み付けされたレシオ画像Ｒ２’と和がとられる。ステップ４０９において、対数レシオ画像Ｒ０は、ゼロレベル重み付けされた対数レシオ画像Ｒ０’を生成するため、ゼロレベルスケーリング係数（Ａｌｐｈａ［０］など）によりスケーリングされる。ステップ４１０において、第１レベルアップスケーリングされた対数レシオ画像
【数４】
0005965025.tif 000012
が、係数Ｎによりアップスケーリングされ、対数マルチスケールレシオ画像
【数５】
0005965025.tif 000013
を生成するため、ゼロレベルスケーリングされた重み付けされたレシオ画像Ｒ０’との和がとられる。一例となる処理４００のステップは任意的であってもよい。
【００５４】
図５は、本発明の実施例による一例となるレシオ画像プロセッサ５００を示す。実施例は、レシオ画像プロセッサ５００によりＲＩ＿Ｐｒｏｃ（図１）を実現する。レシオ画像プロセッサ５００は、ＴＭＯ２００（図２）から入力画像を受信する。ルミナンスレシオが、オリジナルのＨＤＲ入力画像からのルミナンス値Ｙと、トーンマッピングされた画像からのルミナンス値とから計算される。最大値及び最小値がピクチャ全体に対して計算され、対数ルミナンス値ｌｏｇＹ及び差分画像のＣｂＣｒクロミナンス値ＤｉｆｆＣｂＣｒを量子化するのに利用される。
【００５５】
ｌｏｇＹ及びＤｉｆｆＣｂＣｒ値は、Ａｄｖａｎｃｅｄ  Ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒ  Ｂｕｓ  Ａｒｃｈｉｔｅｃｔｕｒｅ  Ａｄｖａｎｃｅｄ  ｅＸｔｅｎｓｉｂｌｅ  Ｉｎｔｅｒｆａｃｅ（ＡＸＩ）インタフェース又は同様に対応可能なインタフェースなどを介し外部メモリに保存／書き込まれる。外部に保存／格納された値は、タイムリに量子化するためＡＸＩを介しリード／ロードされる。リアにフィードバックシフトレジスタ（ＬＦＳＲ）は、量子化中にｌｏｇＹチャネルによりディザリングのため乱数値を生成する。ＲＩ＿Ｐｒｏｃ５００は、量子化されたＤｉｆｆＣｂＣｒ及びｌｏｇＹ値をＪＰＥＧエンコーダに出力し、ＪＰＥＧエンコーダは、入力画像に対応するＪＰＥＧフォーマットにより画像を出力する。
【００５６】
図６Ａ及び６Ｂはそれぞれ、本発明の実施例による一例となる符号化処理６０及びそれの一例となるデータフロータイムラインを示す。ＨＤＲ入力ピクチャを受信すると（６１）、ステップ６２において、ヒストグラム及びダウンスケーリングされたＬｏｇＹ画像ＬｏｇＹ１が生成される。ヒストグラムは正規化される。フロー６００において、ＪＰＥＧ−ＨＤＲエンコーダ（図１のエンコーダ１００など）コアは、ＨＤＲ入力画像全体を読み込む。エンコーダは、入力画像ピクセルのＬｏｇＹ値に基づきヒストグラムを生成し、ヒストグラムを等化し、ＬｏｇＹ１をダウンスケーリングされた画像バッファＢｕｆｆ＿Ｌｏｇ１に書き込む。実施例では、ヒストグラムは、ＣＬＡＨＥを用いて等化される。
【００５７】
ステップ６３において、トーンマッピングにおいて利用される実際のピクセル単位のスケーリング係数を生成するマルチスケールフィルタリングが実行される。ステップ６４において、ピクセル単位のスケーリング係数が各ピクセルに対して適用される。トーンマッピングされたベース画像は、８ビットガンマ符号化されたＹＣｂＣｒ４：２：２／４：２：０／４：４：４に変換され、外部メモリに圧縮されたベース画像を書き込むＪＰＥＧエンコーダに送信されてもよい。オリジナルのトーンマッピングされたＲＧＢデータは、外部メモリにまた書き込まれる生の予め量子化されたレシオ画像を生成するのに処理される。ステップ６５において、生のレシオ画像が外部メモリから読み出され、量子化される。量子化されたレシオ画像は、ＪＰＥＧエンコーダに出力され（６６）、圧縮されてもよい。
［一例となるＨＤＲ画像のための重み付けされたマルチリージョンベースエクスポージャ］
スマートフォン、コンピュータモニタなどの従来のローエンドコンシューマディスプレイデバイスは、ＪＰＥＧ−ＨＤＲ画像のフルダイナミックレンジを表示することができないかもしれない。このような場合、ディスプレイは、典型的には、対応するＨＤＲ画像のトーンマッピングされたローダイナミックレンジ（ＬＤＲ）バージョンを出力する。このトーンマッピングされた画像は、典型的には、ユーザからの入力なくカメラによって自動生成され、撮影者の意図をキャプチャしていない。
【００５８】
いくつかの実施例では、ユーザは、タッチ画面、コンピュータマウス、スクロールバーなどのデバイスのユーザインタフェースを利用して、ＨＤＲピクチャをスクロールしてもよい。この場合、ユーザは、フルダイナミックレンジにより画像の一部を観察可能であってもよいが、画像の残りは暗すぎるか又は明るすぎて表示される可能性がある。しかしながら、ユーザは、画像の複数の部分の詳細を閲覧することを所望するかもしれない。従って、ユーザが関心領域に基づきＨＤＲ画像のエクスポージャを調整することを可能にすることが有用であろう。
【００５９】
一実施例では、最終的なＨＤＲ画像のエクスポージャは、ユーザにより選択された２以上の関心領域を考慮してもよい。これらの領域は、画像をキャプチャする前（カメラ又は他のキャプチャリング装置などにより）又は画像のキャプチャ後（例えば、対応するＬＤＲ画像を表示するときなど）に選択されてもよい。タッチ画面インタフェース（ｉＰｈｏｎｅ又はｉＰａｄなど）によるいくつかの実施例では、これらの領域は、ユーザによりタッチされる１以上のピクセルを囲むほぼ同一のルミナンスのピクセルを表すものであってもよい。他の実施例では、ユーザは、コンピュータマウス、トラックボール、キーボードなどの他のインタフェースを用いてこれらの領域を選択してもよい。さらなる他の実施例では、これらの領域は、予め選択されたユーザの嗜好（顔、動物、テキストなど）に基づき自動的に選択されてもよい。
【００６０】
一実施例では、第１タッチポイントを囲むエリアが、第１最適エクスポージャガンマに設定可能である（１８％グレイなど）。次に、第２タッチポイントについて、第２の最適エクスポージャガンマが計算される。最終的な画像は、第１及び第２エクスポージャガンマにより重み付けされた最終的なエクスポージャガンマを用いて表示されてもよい。これは、結果のピクチャの残りを合成しながら、ディスプレイのダイナミックレンジ内に第１及び第２タッチポイントの双方をもたらす。３、４又はＮ個などの何れかの個数のタッチポイントが特定可能である。重み付け係数は、平均値、中間値、中央値、比例するウェイト、線形、非線型及び／又はキャップされた（最大値／最小値）ものに等しくすることができる。特定の実施例では、当該技術はユーザコマンド（アンドゥボタンなど）により取り消すことができる。
【００６１】
図７に示されるように、他の実施例では、結果としてのピクチャがフュージョン・マージ処理を用いて生成可能である。この処理では、選択された各関心ポイントについて（７１０）、当該処理は、対応するエクスポーズされたＬＤＲ画像を生成する（７２０）。オリジナルのＨＤＲ画像から生成されるこのようなＮ個のエクスポージャ（又はＬＤＲ画像）が与えられると、実施例は、Ｎ個全てのエクスポージャを単一の出力画像に適切に合成することによって、合成画像を生成してもよい（７３０）。このような合成処理の一例は、ここに完全に与えられるかのように、参照することにより全体が援用される“Ｅｘｐｏｓｕｒｅ  Ｆｕｓｉｏｎ”，ｂｙ  Ｔ．Ｍｅｒｔｅｎｓ．ｅｔ  ａｌ．，１５ｔｈ  Ｐａｃｉｆｉｃ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ  ａｎｄ  Ａｐｐｌｉｃａｔｉｏｎｓ（Ｐａｃｉｆｉｃ  Ｇｒａｐｈｉｃｓ，２００７），ａｔ  ｐｐ．３８２−３９０に記載される技術を用いて実現されてもよい。
［一例となる適応的レシオ画像量子化］
上述されたように、ルミナンスＨＤＲ画像（Ｙｈ）及びそれのトーンマッピングされた表現（Ｙｔ）が与えられると、レシオ画像ＹＲは、
【数６】
0005965025.tif 000014
として表現されてもよい。レシオ画像のダイナミックレンジは、対数関数や平方根関数などの可逆関数を適用することによって圧縮されてもよい。従って、対数関数が適用される一実施例では、
【数７】
0005965025.tif 000015
である。
【００６２】
対数レシオ画像（ｌｏｇ（ＹＲ））はまた、８ビットレシオ画像を生成するため、さらに量子化されてもよい。
【００６３】
【数８】
0005965025.tif 000016
高精度により表現されたピクセル値又はダイナミックレンジを有するオリジナルレシオ画像では（浮動小数点数などを用いて）、レシオ画像を８ビットピクセル値に量子化することは、逆量子化関数を適用する際に復元不可な丸め誤差を生成する。この誤差は、画像符号化の精度に影響を与え、ＪＰＥＧ−ＨＤＲフォーマットを用いて符号化可能な画像のダイナミックレンジを限定するものであってもよい。
【００６４】
実施例では、対数関数は、任意の可逆関数Ｆにより置換される。Ｆが与えられると、量子化された８ビットレシオ画像は、
【数９】
0005965025.tif 000017
として表現されてもよい。これは、デコーダが
【数１０】
0005965025.tif 000018
に従ってオリジナルのレシオ画像を復元することを可能にする。ここで、ＹＲ’は復元されたレシオ画像を示す。実施例では、最大値及び最小値Ｆ（ＹＲ）は、ＪＰＥＧデコーダによりアクセス可能なメタデータとしてＪＰＥＧ−ＨＤＲ画像データに含まれる。
【００６５】
実施例では、Ｆ関数は、Ｍ（ＹＲ’，ＹＲ）を最小化するように選択されてもよい。ここで、Ｍは、平均２乗誤差、ＳＮＲ（Ｓｉｇｎａｌ  ｔｏ  Ｎｏｉｓｅ  Ｒａｔｉｏ）又はＰＳＮＲ（Ｐｅａｋ  Ｓｉｇｎａｌ  ｔｏ  Ｎｏｉｓｅ  Ｒａｔｉｏ）などのある品質基準に従って、ＹＲ’とＹＲとの間の差分を測定する指標を示す。Ｍ（２つの画像の間のＭＳＥなど）は、Ｆの最適化処理のための目的関数を表す。Ｆは、パラメータ関数とすることが可能であり、あるいは、ルックアップテーブル（ＬＵＴ）を介し定義可能である。Ｍが与えられると、“Ａ  ｓｉｍｐｌｅ  ｍｅｔｈｏｄ  ｆｏｒ  ｆｕｎｃｔｉｏｎ  ｍｉｎｉｍｉｚａｔｉｏｎ”，ｂｙ  Ｊ．Ａ  Ｎｅｌｄｅｒ，Ｊｏｈｎ  ａｎｄ  Ｒ．Ｍｅａｄ，Ｃｏｍｐｕｔｅｒ  Ｊｏｕｒｎａｌ，Ｎｏ．７，ｐｐ．３０８−３１３，１９６５に記載されるＮｅｌｄｅｒ−Ｍｅａｄ法などの周知な最適化技術を適用して、Ｆを決定してもよい。
【００６６】
実施例では、ＪＰＥＧ−ＨＤＲヘッダは、逆符号化関数Ｆ−１を表す復号化ＬＵＴを含むものであってもよい。準拠するＪＰＥＧ−ＨＤＲデコーダは、ＬＵＴを用いて受信したレシオ画像を８ビットデータからより高い精度の（浮動小数点など）Ｙチャネルデータに変換してもよい。ＬＵＴは、８ビットデータを浮動小数点値に直接マッピングする２５６個のエントリを有してもよい。
［一例となるヒストグラム等化ベース方法］
実施例は、ヒストグラムの等化又はコントラスト限定ヒストグラムの等化がＦ関数を導出するための処理を提供する点で、計算効率性に関する。ヒストグラムの等化は、任意の分布を有するソースルミナンスを、一様なヒストグラムを有するルミナンスに変換し、これによりレシオ画像がより効率的に符号化される。ヒストグラムの等化を利用する実施例では、Ｆは後述されるように計算されてもよい。
【００６７】
ａ）ＹＲのヒストグラムｈｉｓｔを計算する。ヒストグラムは、単にピクセル値ｉがレシオ画像に出現するインスタンス数（ｈｉｓｔｉなど）を示す。
【００６８】
ｂ）ｈｉｓｔの累積ヒストグラムｃ＿ｈｉｓｔを計算する。例えば、累積ヒストグラムは、
【数１１】
0005965025.tif 000019
として計算されてもよい。
【００６９】
ｃ）ｃ＿ｈｉｓｔを正規化及びスケーリングすることによってＦを決定する。例えば、
【数１２】
0005965025.tif 000020
である。ここで、変数ｓｃａｌｅは、２５５などのＦの最大値を決定する。
【００７０】
上述されるように計算された符号化関数Ｆは、無限の微分係数又は傾きを有するエリアを有してもよく、このため、Ｆは一意的なマッピングを提供せず、逆関数Ｆ−１は存在しない。Ｆの傾き又は微分係数を制限することは、実施例がＦにより提供されるマッピングの一意性及びＦ−１の存在を保証することを可能にする。
【００７１】
ヒストグラム等化アプローチは、符号化精度をルミナンス値の出現頻度に比例させる。従って、より低い頻度で出現するルミナンス値はより大きな誤差により等化され、頻繁に出現するルミナンス値はより小さな誤差により等化される。
［ＪＰＥＧ−ＨＤＲにおける一例となるカスタム色域サポート］
典型的な単一の画像ファイルフォーマットは、ＩＣＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｌｏｒ  Ｃｏｎｓｏｒｔｉｕｍ）又はＷＣＳ（Ｗｉｎｄｏｗｓ  Ｃｏｌｏｒ  ｍａｎａｇｅｍｅｎｔ  Ｓｙｓｔｅｍ）プロファイルを用いて、レンダリングデバイス（ディスプレイなど）にカラー情報を通信してもよい。ＩＣＣプロファイル及びＷＣＳプロファイルは、画像が特定のカラー空間にレンダリングされることを要求する。レンダリングの一部として、ターゲットカラー空間において表現できない全てのカラーは、表現可能なカラーに色域マッピングされるべきである。この色域マッピングの結果として、カラー情報の一部はレンダリングされた画像において消失される可能性がある。
【００７２】
例えば、画像はハイエンドで広範な色域のカメラによりキャプチャされてもよく、あるいは、コンピュータグラフィック（ＣＧ）ソフトウェアを用いて生成されてもよい。その後、結果として得られる画像は、ｓＲＧＢカラー空間にレンダリングされてもよい。ｓＲＧＢカラー空間は最も一般的なカラー空間であり、オペレーティングシステム及びディスプレイデバイスの大部分によりサポートされる。しかしながら、ｓＲＧＢカラー空間が相対的に小さな色域を有するとき、ｓＲＧＢによりカバーされない全ての画像カラーは、ｓＲＧＢカラーにマッピングされる必要がある。ｓＲＧＢ画像がその後にはるかに広範な色域を有する撮像デバイスに送信された場合、オリジナルのより広範な色域マッピングされたカラーを復元するための確実な方法はない。従って、色域マッピングは、非可逆的な情報の消失を生じさせ、サブ最適なカラー再生を生じさせる可能性がある。
【００７３】
画像レンダリングの他の態様は、視聴状態の指定に関する。例えば、家庭とオフィスの視聴状態は、典型的には、カラーグレーディング又はカラーマッチング環境に用いられる視聴状態と異なる。ＩＣＣワークフローは正確な視聴状態（ＶＣ）を指定するため、ワークフローをフレキシブルでないものにする。ＷＣＳは、ある程度のＶＣフレキシビリティを可能にするが、画像がレンダリングされると、変更を逆転させることは実際的に不可能である。
【００７４】
色域マッピングとＶＣとの双方は、画像がどのようにレンダリングされるかに関する仮定に基づきコンテンツ作成者が行うべきレンダリング決定セットを規定する。実生活では、可能性のある全ての利用ケース及び対象となる撮像デバイスと共に、全ての可能性のある目的のための最適なレンダリング決定を行うことは不可能である。
【００７５】
実施例では、ＪＰＥＧ−ＨＤＲファイルフォーマットは、１つのセットはキャプチャデバイス又はオリジナルのＨＤＲデータに関するものであり、他のセットはカラー化された画像を利用する対象となる従来のワークフローに関するものである２つの別個の色域関連メタデータセットを可能にする。従って、標準的な色域及びダイナミックレンジを有する従来の撮像デバイスは、カラーが正確な画像コンテンツを提供するため、従来のＩＣＣ及びＷＣＳワークフローに基づくデフォルトのレンダリングされた画像を依然として示すことが可能である。同時に、広範な色域、より高いダイナミックレンジ及び／又はジャストインタイムなレンダリングをサポートするデバイスはまた、視聴状態とデバイス特性との双方を考慮したダイナミックレンダリングのためオリジナルの画像データを復元することが可能であってもよい。例えば、アプリケーションは、オリジナルのシーンデータを復元し、対象となるディスプレイデバイスの特性及び現在の視聴状態に基づきこれをレンダリングする。従って、ＪＰＥＧ−ＨＤＲメタデータがより正確かつフレキシブルなジャストインタイムなレンダリングを可能にしながら、ベース画像は、既存のカラー管理ワークフローとの後方互換性を提供する。
【００７６】
ＪＰＥＧ−ＨＤＲ画像は、ベース画像（ベースラインＪＰＥＧ画像など）とＨＤＲメタデータ（レシオ画像及びカラー残差データなど）とを含む。ベース画像は、トーンマッピング及び色域マッピングされたレンダリングされた画像であり、典型的には、ｓＲＧＢカラー空間にレンダリングされる。ＪＰＥＧコンテナは、ベース画像のカラー空間を示すか、又は各種撮像デバイスに関する整合性のあるカラー再生を可能にするＩＣＣ／ＷＣＳカラープロファイルを含むものであってもよい。
【００７７】
ＨＤＲメタデータはまた、ＸＹＺプライマリなどのデバイスから独立した空間か、又は付属の第２のＩＣＣ／ＷＣＳカラープロファイルの何れにカラー空間情報を含めてもよい。ＨＤＲメタデータカラー空間は、ベース画像のカラー空間とは異なるものであってもよい。メタデータの色域は、典型的には、ベース画像の色域より大きい。例えば、カメラのメタデータカラー空間は、典型的には、カメラセンサのカラー空間に一致する。ＣＧ画像について、メタデータカラー空間は、オリジナル画像に提示される全てのカラーを含むものであってもよい。従って、実施例は、プロファイルなどの２以上のカラー空間記述子を用いて、ＪＰＥＧ−ＨＤＲにおける広範な色域のエンハンスされたサポートを提供する。１つのプロファイルはベース画像の符号化カラー空間を規定し、第２プロファイルはＨＤＲメタデータの符号化カラー空間を規定する。
【００７８】
図８Ａは、実施例によるデュアルカラー空間をサポートする符号化処理を示す。図８Ａに示されるように、カラー空間Ｂにおいてキャプチャされた入力ＨＤＲ画像８０５は、カラー空間Ｂにおいてトーンマッピングされた画像８１５を生成するため、ＴＭＯ処理８１０によりトーンマッピングされてもよい。画像８１５は、カラー空間Ａにおいてベース画像８２５を生成するため、色域変換処理８２０によりさらに処理されてもよい。２つのカラー空間に関する情報を利用して、カラー空間Ａからカラー空間Ｂに画像を変換するためのカラー変換ＴＡＢを生成してもよい。変換ＴＡＢは、カラー空間Ｂにおいてベース画像８４５を生成するため、カラー変換ステップ８４０においてベース画像８２５に適用されてもよい。
【００７９】
オリジナルＨＤＲ画像８０５及びベース画像８４５を利用して、処理８３０は、本発明において上述された方法に従ってＨＤＲメタデータ８３５を生成してもよい。最後に、画像８２５（カラー空間Ａにおける）及びＨＤＲメタデータ８３５（カラー空間Ｂにおける）は、ＪＰＥＧ−ＨＤＲ画像を生成するため、符号化及び合成されてもよい（８５５）。ＪＰＥＧ−ＨＤＲ画像８５５のファイルフォーマットは、２つのカラー空間に適したカラー記述子を含むものであってもよい。いくつかの実施例では、処理ステップ８１０，８２０は単一のステップに合成されてもよく、カラー空間ＢによるＨＤＲ画像（８０５）が与えられると、それはカラー空間Ａによりトーンマッピングされた画像を出力する（８２５）。マトリックスＴＲＣ（Ｔｏｎｅ  Ｒｅｐｒｏｄｕｃｔｉｏｎ  Ｃｕｒｖｅ）などの加算的カラー空間を利用することは、色域マッピングとトーンマッピングとの双方がオリジナルなカラー空間（Ｂなど）において実行可能であるとき、符号化中にステップ８１０と８２０とを組み合わせることを可能にする。また、カラー空間の間のカラー変換は、より正確になり、より計算効率的になる。
【００８０】
図８Ｂは、実施例によるデュアル色域をサポートする復号化処理を示す。図８Ｂに示されるように、カラー空間Ａによるベース画像とカラー空間ＢによるＨＤＲメタデータとの２つのカラー空間によりデータを規定する入力ＪＰＥＧ−ＨＤＲ画像が与えられると、ベースデコーダは、カラー空間Ａ（ｓＲＧＢ）によるベース画像８６５を抽出する。画像８６５は、標準的なダイナミックレンジによる従来のディスプレイデバイスにベース画像を表示するのに利用されてもよい。
【００８１】
２つのカラー空間に関する情報を利用して、カラー空間Ａからカラー空間Ｂに画像を変換するためのカラー変換ＴＡＢを生成してもよい。変換ＴＡＢは、カラー空間Ｂによるベース画像８７５を生成するため、カラー変換ステップ８７０においてベース画像８６５に適用されてもよい。入力８５５が与えられると、メタデータ復号化処理８９０は、カラー空間ＢによるＨＤＲメタデータ８９５を抽出する。最後に、ＨＤＲデコーダ８８０は、カラー空間ＢによるＨＤＲ画像８８５を生成するため、ベース画像８７５及びメタデータ８９５を合成してもよい。
【００８２】
ＨＤＲメタデータが画像の可能性のある全てのカラーを含む広範なカラー空間にある場合、符号化された画像の値は常に正である。正の値は、符号化ステージ及び復号化ステージの間に画像を確認することを可能にする。すなわち、負の値が検出された場合、これらの値はゼロにされ、及び／又はエラーメッセージが発信されてもよい。ここに説明される方法はまた、従来のＳＤＲ画像より広範な色域を有する入力された標準的なダイナミックレンジ（ＳＤＲ）画像の符号化に適用されてもよい。入力されたＳＤＲ画像（８０５など）について、ＴＭＯ処理ステップ（８１０）は省略されてもよい。
【００８３】
画像８８５は、特定の及び現在の視聴状態について対象となる撮像デバイスに以降においてレンダリングされてもよい。標準的なディスプレイであるＨＤＲディスプレイ、広範な色域のディスプレイ及びプリンタが、対象となる撮像デバイスの具体例である。薄暗い自然色で塗装された部屋及び明るく黄色で塗装された部屋は、異なる視聴状態の具体例である。
【００８４】
本発明の実施例は、ＨＤＲ画像の符号化に関して説明される。ＨＤＲ入力画像における対数ルミナンスはトーンマップを生成するためヒストグラム化されると共に、対数グローバルトーンマッピングされたルミナンス画像が計算される。対数グローバルトーンマッピングされたルミナンス画像はダウンスケーリングされる。対数ルミナンス及び対数グローバルトーンマッピングされたルミナンス画像は、対数レシオ画像を生成する。対数レシオ画像をフィルタリングするマルチスケール解像度は、対数マルチスケールレシオ画像を生成する。対数マルチスケールレシオ画像及び対数ルミナンスは、第２対数トーンマッピングされた画像を生成し、それは、ダウンスケーリングされた対数グローバルトーンマッピングされたルミナンス画像及び正規化された画像に基づきトーンマッピングされた画像を出力するため正規化される。ＨＤＲ入力画像及び出力されるトーンマッピングされた画像は、量子化される第２レシオ画像を生成する。量子化されたベース画像及びベースレシオ画像は、例えば、ＪＰＥＧフォーマットによる圧縮用のＪＰＥＧエンコーダなどに出力されてもよい。
［一例となるマルチスケールレシオ画像形成によるＪＰＥＧ−ＨＤＲ符号化］
実施例では、追加的な画像メタデータは、オリジナルのＨＤＲ画像から導出されるローカルマルチスケールグレイスケールレシオ画像を有する。実施例は、ここでの画像フォーマットにより発信された拡張ＹＣＣ色域などの色域を利用して、トーンマッピングされた画像及びローカルマルチスケールグレイスケールレシオ画像から生成／復元されるようなオリジナルのＨＤＲ画像のＨＤＲバージョンによる各ピクセルにおけるフル復元を可能にする。実施例では、ここに説明される技術は、オリジナルＨＤＲ画像のＨＤＲバージョンによる各ピクセルにおけるフル復元を可能にするため、閾値（トーンマッピングされた画像のトータルのピクセル数の０．０１％、０．１％、１％、２％など）以下のトーンマッピングされた画像における完全に黒のトーンマッピングされた値の個数を最小化する。
【００８５】
ここでの技術では、所望されるルミナンス値の出力レンジを適合させるためにグローバルコントラストを圧縮し、人間の視覚に重要なローカルコントラストを失わせるグローバルトーンマッピング（ＴＭ）オペレータを利用する代わりに、ローカルマルチスケールトーンマッピング処理が、マッピング全体をそのままにしながら、グローバルＴＭオペレータにおいて危険となるローカルコントラストを向上させるトーンマッピングされた画像を生成するのに利用されてもよい。実施例では、ローカルマルチスケールＴＭ処理は、グローバル曲線（ヒストグラム調整ＴＭ曲線など）を用いて、詳細を失うことなくルミナンス値をマッピングする。実施例では、ローカルマルチスケールＴＭ処理が、処理における新たなアーチファクト（ハローなど）を生成／導入することなく、効率的に実行される。特定の実施例では、効率的な再帰的処理が、高い計算効率性によりここに説明されるようなローカルマルチスケール処理を実行するため実現される。特定の可能な実施例では、ローカルマルチスケール処理は、グローバルＴＭオペレータによるＴＭ処理より３０％長い時間しか費やさない。
【００８６】
実施例では、入力ＨＤＲ画像がロードされ、それのルミナンス値は対数ドメインに変換される。ヒストグラム調整ＴＭ曲線が計算され、グローバルレシオグレイスケール画像を決定するため、ルミナンス値に適用される。ここで用いられるレシオ画像は、一般にトーンマッピング前の画像（入力ＨＤＲ画像又はそれの対数等価など）におけるルミナンス値と、トーンマッピング後の画像（トーンマッピングされた画像又はそれの対数等価など）におけるルミナンス値との間のレシオ値を有する画像を表す。実施例では、レシオ画像は、非対数ドメインにおける各ピクセル位置におけるトーンマッピング後の画像により除算されたトーンマッピング前の画像として論理的には表現されるか、又は対数ドメインにおける各ピクセル位置のトーンマッピング前の画像からトーンマッピング後の画像を差し引いたものとして等価的に表される。他の実施例では、レシオ画像は、非対数ドメインにおける各ピクセル位置においてトーンマッピング前の画像により除算されたトーンマッピング後の画像として論理的に表されるか、又は対数ドメインの各ピクセル位置におけるトーンマッピング後の画像からトーンマッピング前の画像を差し引いたものとして等価的に表される。これらの全ての実施例において、レシオ画像（ローカルマルチスケールＴＭ画像など）とトーンマッピング前の画像（入力ＨＤＲ画像など）が既知である場合、トーンマッピング前の画像（ローカルマルチスケールＴＭ画像など）は、シンプルな代数演算（非対数ドメインにおける乗算／除算、対数ドメインにおける加算減算など）を介し取得されてもよいことに留意すべきである。
【００８７】
実施例では、対数ドメインでは、ローカルマルチスケールレシオにマージされる他のレシオ画像を生成するのに利用されるグローバルレシオ画像は、１６ビット整数値を用いて減算により効率的に計算される。実施例では、トーンマッピングされた画像における参照最大値が計算され、トーンマッピングされた画像が、少ないパーセンテージのピクセル以下しかサポートされている色域（拡張ＹＣＣ色域など）の範囲外にならないように修正されてもよい。
【００８８】
実施例では、対数ドメインでは、ローカルマルチスケールレシオにマージされる他のレシオ画像を生成するのに利用されるグローバルレシオ画像が、１６ビット整数値を用いて減算により効率的に計算される。実施例では、トーンマッピングされた画像における参照最大値が計算され、トーンマッピングされた画像が、少ないパーセンテージのピクセル以下しかサポートされている色域（拡張ＹＣＣ色域など）の範囲外にならないように修正されてもよい。
［均等、拡張、代替及びその他］
上記明細書では、本発明の実施例が実現形態毎に変化しうる多数の具体的な詳細を参照して説明された。従って、本発明が何であるか、また出願により本発明であると意図されているもの唯一及び排他的な指標は、以降の訂正を含む請求項の具体的な形式による本出願から発行された請求項のセットである。請求項に含まれる用語についてここで明示的に提供される定義は、請求項に用いられるような用語の意味を規定する。従って、請求項に明示的には記載されない限定、要素、性質、特徴、効果又は属性は、請求項の範囲を限定すべきでない。明細書及び図面は、限定的な意味でなく例示的なものとしてみなされるべきである。
【図１Ａ】
0005965025.tif 000021
【図１Ｂ】
0005965025.tif 000022
【図２】
0005965025.tif 000023
【図３Ａ】
0005965025.tif 000024
【図３Ｂ】
0005965025.tif 000025
【図４Ａ】
0005965025.tif 000026
【図４Ｂ】
0005965025.tif 000027
【図４Ｃ】
0005965025.tif 000028
【図５】
0005965025.tif 000029
【図６Ａ】
0005965025.tif 000030
【図６Ｂ】
0005965025.tif 000031
【図７】
0005965025.tif 000032
【図８Ａ】
0005965025.tif 000033
【図８Ｂ】
0005965025.tif 000034