(57)【要約】  入力ＨＤＲ画像は、ＳＤＲ画像および変調値を使用して表され得る。ＳＤＲ画像でＨＤＲ画像を見ることができるようにし、かつＨＤＲ画像を表すために、本発明者らは、変調値を計算する中間色調最適化技法を提案する。具体的には、本発明者らは、変調値を得る際に２つの条件：（１）黒がゼロまで過度にクリップされず、および（２）ＨＤＲ画像の中間色調範囲を表すために使用されるＳＤＲ画像内の符号語の数が最大化されることを使用する。変調値がさらにクリップされて、非常に暗い画像と非常に明るい画像との両方でのオーバシュートを回避することができる。ＳＤＲビデオでの明るさの時間的変動を平滑化するために時間的安定化も使用され得る。変調値が決定された後、ＨＤＲ画像および変調値に基づいてＳＤＲ画像を得ることができる。
2018512637.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像を第２の画像に変換する方法であって、前記第１の画像はＨＤＲ（高ダイナミックレンジ）画像であり、前記第２の画像はＳＤＲ（標準ダイナミックレンジ）画像であり、前記方法は、
前記第１の画像の中間色調レベルを決定することと、
マッピング関数および前記第１の画像の前記中間色調レベルに応じて変調値を決定すること（１１０）と、
前記変調値および前記マッピング関数に応じて前記第１の画像を前記第２の画像に変換すること（１２０）と
を含み、前記変換することは、前記変調値に基づいて前記第１の画像を縮小することを含み、前記縮小された第１の画像は、前記マッピング関数に基づいて前記第２の画像に変換される、方法。
【請求項２】
前記中間色調レベルは、黒レベルおよび白レベルに基づいて決定される、請求項１に記載の方法。
【請求項３】
前記中間色調レベルは、前記黒レベルおよび前記白レベルの（１）幾何平均および（２）対数平均のうちの一方として決定される、請求項２に記載の方法。
【請求項４】
前記黒レベルおよび前記白レベルは、ヒストグラムに基づいて決定される、請求項２に記載の方法。
【請求項５】
前記第１の画像の前記変換が前記第１の画像の黒領域の情報を前記第２の画像に保つように、前記変調値は決定される、請求項２に記載の方法。
【請求項６】
前記第１の画像内の前記黒レベルに対応する前記第２の画像内の符号語は閾値を超える、請求項５に記載の方法。
【請求項７】
前記第１の画像は、ビデオに含まれる複数の画像のうちの１つであり、前記変調値を前記決定することは、前記複数の画像のそれぞれについて実行され、前記複数の画像についての前記変調値は時間的に平滑化される、請求項１に記載の方法。
【請求項８】
前記変調値を前記決定することは、前記第２の画像で使用される符号語の数を実質的に最大化して、前記第１の画像内の前記中間色調レベルの周りの範囲を表す、請求項１に記載の方法。
【請求項９】
前記変調値を前記決定することは、前記マッピング関数の最も急勾配な傾きに応じる、請求項８に記載の方法。
【請求項１０】
前記マッピング関数は、ｇＢａ（ｚ）＝ＭＳＤＲｆ（ｚ）／ｆ（Ｐ／Ｂａ）として公式化され、ここで、Ｐは前記第１の画像のダイナミックレンジの上限であり、Ｂａは前記変調値であり、ＭＳＤＲは前記第２の画像のデータ範囲の上限であり、ｆ（）は関数である、請求項１に記載の方法。
【請求項１１】
前記ｆ（）関数はＳｌｏｇ関数である、請求項１０に記載の方法。
【請求項１２】
第１の画像を第２の画像に変換する装置（８００）であって、前記第１の画像はＨＤＲ（高ダイナミックレンジ）画像であり、前記第２の画像はＳＤＲ（標準ダイナミックレンジ）画像であり、前記装置は、
前記第１の画像にアクセスするように構成された通信インターフェース（８５０）と、
前記第１の画像の中間色調レベルを決定し、
マッピング関数および前記第１の画像の前記中間色調レベルに応じて変調値を決定し、かつ
前記変調値および前記マッピング関数に応じて前記第１の画像を前記第２の画像に変換する
ように構成された１つまたは複数のプロセッサ（８１０）と
を含み、前記プロセッサは、前記変調値に基づいて前記第１の画像を縮小し、かつ前記縮小された第１の画像を前記マッピング関数に基づいて前記第２の画像に変換するように構成される、装置。
【請求項１３】
前記中間色調レベルは、黒レベルおよび白レベルに基づいて決定される、請求項１２に記載の装置。
【請求項１４】
前記変調値を前記決定することは、前記第２の画像で使用される符号語の数を実質的に最大化して、前記第１の画像内の前記中間色調レベルの周りの範囲を表す、請求項１２に記載の装置。
【請求項１５】
請求項１〜１１のいずれか一項に従って第１の画像を第２の画像に変換する命令を記憶している非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高ダイナミックレンジ画像を処理する方法および装置に関し、より詳細には、あるダイナミックレンジから別のダイナミックレンジに画像を変換する方法および装置に関する。
【背景技術】
【０００２】
このセクションは、技術の様々な態様を読者に紹介するものであり、これらの態様は、以下で説明されかつ／または特許請求の範囲に記載されている本発明の様々な態様に関連し得る。本発明の様々な態様のよりよい理解を促進するための背景情報を読者に提供する際、この考察が有益であると考えられる。したがって、こうした説明は、この観点から読まれるべきであり、従来技術を認めるものとして読まれるべきではないことを理解されたい。
【０００３】
ピクチャ内の輝度のダイナミックレンジは、画像の最高輝度値と画像の最低輝度値との比率として以下のように定義することができる。
ｒ＝明／暗
ここで、「明」は画像の最高輝度値を表し、「暗」は画像の最低輝度値を表す。ダイナミックレンジ「ｒ」は、一般に、ｆストップまたは均等なストップ（equivalent stops）と呼ばれる２の累乗の数として表される。たとえば、比率１０００は、約１０ｆストップであり、これは標準の非ＨＤＲビデオの典型的なダイナミックレンジであり、このビデオはＳＤＲ（標準ダイナミックレンジ）ビデオまたは均等にＬＤＲ（低ダイナミックレンジ）ビデオとも呼ばれる。
【０００４】
画像のダイナミックレンジは、非常に高くなることがあり、放送またはＰＣ画像処理で使用される８〜１０ビットのガンマ補正されたフォーマットなどの標準の画像フォーマットによって表すことができる範囲をはるかに超える場合がある。ここで、用語「ガンマ補正されたフォーマット」は、非線形領域で表される画像フォーマットを指す。たとえば、べき乗関数、対数、またはＩＴＵ−Ｒ勧告ＢＴ．７０９／ＢＴ．２０２０で規定されたものなどのＯＥＴＦ（光／電気伝達関数）であり得る非線形関数を使用して、限定されないがＲＧＢおよびＹなどの線形成分がガンマ補正領域に変換される。
【０００５】
様々な画像は、様々なフォーマットによって表され得、様々なダイナミックレンジを有してもよい。たとえば、輝度が要素Ｙによってニトで線形に表される画像Ｉを考察する。Ｙの値は、いわゆる「シーン基準」フォーマットでのキャプチャされたシーンの真の明るさに対応してもよい（すなわち、このファイルフォーマットでは、Ｙ＝１が、キャプチャされたシーンでの輝度の１ニトに対応し、Ｙ＝ｘがｘニトに対応する）。Ｙの範囲は、たとえばカメラによってキャプチャされる画像シーンの実現可能な全ての輝度範囲を含んでもよい。カメラの光学系（フィルタ、絞り）および／またはセンサ（露出時間、ＩＳＯ）を変化させることにより、シーンの範囲を非常に広くすることができる。（たとえば、長い露出時間を使用する）望遠鏡観察のような非常に暗いシーンまたは（たとえば、非常に小さい絞りおよび強いフィルタを使用する）日没のような非常に明るいシーンの両方が可能であり、その結果、非常に暗いピクチャおよび非常に明るいピクチャになる。したがって、ダイナミックレンジは１５ｆストップをはるかに上回ることがある。
【０００６】
要素Ｙの値はまた、いわゆる「表示基準」フォーマットで画像がポストプロダクション処理された表示装置によって示される明るさを表すために使用され得る（すなわち、このファイルフォーマットでは、Ｙ＝１が、分類分けのために使用される表示装置によって提示される輝度の１ニトに対応し、Ｙ＝ｘがｘニトに対応する）。「表示基準」フォーマットによって示されるダイナミックレンジは、通常、「シーン基準」フォーマットのダイナミックレンジよりもはるかに低い。この結果、関連するピクチャのダイナミックレンジおよびピーク輝度がさらに制限されることになる。たとえば、ある種の限定された放送向きの仕様で定義されるのと同様に、これらの画像では、ダイナミックレンジが１５ｆストップであり、ピーク輝度が１０００ニトであり得る。
【０００７】
高ダイナミックレンジの画像またはビデオは、しばしば高ダイナミックレンジ（ＨＤＲ）画像またはビデオと呼ばれる。ＨＤＲビデオアプリケーションがサポートする正確なダイナミックレンジは変化することがある。たとえば、ＳＭＰＴＥ（映画テレビ技術者協会）が、知覚量子化方式ＥＯＴＦ（電気／光伝達関数）、別名ＰＱ  ＥＯＴＦ（ＳＭＰＴＥ  ＳＴ．２０８４で定義されている）非線形伝達曲線を定義しており、これは、１２ビットで符号化されることが好ましく、０．００５ニト〜１００００ニト（ニトは、光強度の単位である１平方メートル単位当たりのカンデラ、すなわちｃｄ／ｍ２を指す用語である）の範囲で輝度を符号化してもよく、その結果、比率が２００万または約２１ｆストップになる。実際に、自宅でのＨＤＲの最初の展開はテレビ受像機であると予想でき、このテレビ受像機は、ピーク明度が１０００ニトに過ぎず、ダイナミックレンジは１５ｆストップに過ぎず、可能であれば１０ビットのデータフォーマット上であることが好ましい。この限定されたＨＤＲは、拡張ダイナミックレンジ（ＥＤＲ）とも呼ばれる。通常、ＳＤＲビデオのビット深度は、８ビットまたは１０ビットであり、ＨＤＲビデオのビット深度は、１０ビット以上である。たとえば、ＳＤＲビデオは、４：２：０のＹ’ＣｂＣｒの１０ビットビデオとすることができ、ＨＤＲビデオは、ＰＱ  ＯＥＴＦのＹ’ＣｂＣｒの１２ビットビデオとすることができる。
【０００８】
本出願では、表記を容易にするため、ＨＤＲビデオを「ＥＤＲビデオ」および「狭義のＨＤＲ」に分類し、ここで表１に示すように、「ＥＤＲビデオ」は、１０〜１５ｆストップのダイナミックレンジを有するビデオを指し、「狭義のＨＤＲ」ビデオは、１５ｆストップを超えるビデオを指す。
【０００９】
【表１】
2018512637.tif 000003
【００１０】
テレビ受像機またはコンピュータ用モニタなどのＳＤＲ装置上にＨＤＲ画像を表示するには、ＳＤＲ装置上で見えるように（すなわち、表示装置と互換性があり、知覚されたＨＤＲビデオの明度および彩度の全てを保つフォーマットで）画像を変換しなければならない。輝度Ｙをマッピングすべきデータ範囲をＲで表すと、たとえば、ＩＴＵ−Ｒ  ＢＴ．７０９もしくはＢＴ．２０２０で定義される標準ＥＯＴＦの場合、８ビットＳＤＲフォーマットではＲ＝［０，２５５］であり、または１０ビットＳＤＲフォーマットではＲ＝［０，１０２３］となる。
【００１１】
「絶対」マッピング関数
π：線形領域→Ｒ
であり、これは、線形領域からの値をデータ範囲Ｒにマッピングし、変換用に使用することができる。ここで、「絶対」とは、マッピングされた値が固有の入力値に対応し、すなわちマッピング関数がコンテンツに適応しないと理解すべきである。このような「絶対」マッピングは、線形領域からの輝度Ｙをデータ範囲Ｒにマッピングし、必ずしも良好に機能するとは限らない。たとえば、このマッピングは、非常に暗いシーンを均一にゼロにマッピングし、非常に明るいシーンを、出力装置がサポートしているデータ範囲の上限（たとえば、２５５または１０２３）にマッピングすることがある。
【発明の概要】
【００１２】
本原理の一態様によれば、第１の画像を第２の画像に変換する方法であって、第１の画像はＨＤＲ（高ダイナミックレンジ）画像であり、第２の画像はＳＤＲ（標準ダイナミックレンジ）画像であり、方法は、第１の画像の中間色調レベルを決定することと、マッピング関数および第１の画像の中間色調レベルに応じて変調値を決定することと、変調値およびマッピング関数に応じて第１の画像を第２の画像に変換することとを含み、変換することは、変調値に基づいて第１の画像を縮小することを含み、縮小された第１の画像は、マッピング関数に基づいて第２の画像に変換される、方法が提供される。
【００１３】
中間色調レベルは、黒レベルおよび白レベルに基づいて決定され得る。たとえば、中間色調レベルは、黒レベルおよび白レベルの（１）幾何平均および（２）対数平均のうちの一方として決定され得る。黒レベルおよび白レベルは、ヒストグラムに基づいて決定され得、変調値は、第１の画像の変換が第１の画像の黒領域の情報を第２の画像に保つように決定され得る。第１の画像内の黒レベルに対応する第２の画像内の符号語は閾値を超え得る。
【００１４】
第１の画像がビデオに含まれる複数の画像のうちの１つであるとき、変調値の決定は、複数の画像のそれぞれについて実行され得、複数の画像についての変調値は時間的に平滑化される。
【００１５】
変調値の決定は、第２の画像で使用される符号語の数を実質的に最大化して、第１の画像内の中間色調レベルの周りの範囲を表し得る。変調値の決定は、マッピング関数の最も急勾配な傾きに応じてもよい。
【００１６】
マッピング関数は、ｇＢａ（ｚ）＝ＭＳＤＲｆ（ｚ）／ｆ（Ｐ／Ｂａ）として公式化され得、ここで、Ｐは第１の画像のダイナミックレンジの上限であり、Ｂａは変調値であり、ＭＳＤＲは第２の画像のデータ範囲の上限であり、ｆ（）は関数である。ｆ（）関数はＳｌｏｇ関数であり得る。
【００１７】
本原理の別の態様によれば、第１の画像を第２の画像に変換する装置であって、第１の画像はＨＤＲ（高ダイナミックレンジ）画像であり、第２の画像はＳＤＲ（標準ダイナミックレンジ）画像であり、装置は、第１の画像にアクセスするように構成された通信インターフェースと、第１の画像の中間色調レベルを決定し、マッピング関数および第１の画像の中間色調レベルに応じて変調値を決定し、かつ変調値およびマッピング関数に応じて第１の画像を第２の画像に変換するように構成された１つまたは複数のプロセッサとを含み、プロセッサは、変調値に基づいて第１の画像を縮小し、かつ縮小された第１の画像をマッピング関数に基づいて第２の画像に変換するように構成される、装置が提供される。
【００１８】
本原理はまた、前述の方法に従って第１の画像を第２の画像に変換する命令を記憶しているコンピュータ可読記憶媒体を提供する。
【図面の簡単な説明】
【００１９】
【図１】本原理の一実施形態により、ＨＤＲ画像をＳＤＲ画像に変換する例示的な方法を示す流れ図である。
【図２】本原理の一実施形態により、ＨＤＲ輝度をＳＤＲ輝度にマッピングする関数の画像例を示す。
【図３】ヒストグラムを使用して画像の黒レベル、白レベル、および中間色調を示す画像例である。
【図４】本原理の一実施形態により、閾値を超える符号語に黒レベルがマッピングされることを示す画像例である。
【図５】本原理の一実施形態により、中間色調範囲を符号化するために使用される符号語の数が最大化されることを示す画像例である。
【図６Ａ】例示的なＲＧＢ  ＨＤＲ画像を示す画像例である。
【図６Ｂ】対応する照明マップを示す画像例である。
【図７】例示的なＳＤＲ／ＨＤＲ配信ワークフローを示す。
【図８】本原理の例示的な実施形態の様々な態様を実施し得る例示的なシステムを示すブロック図を示す。
【図９】１つまたは複数の実装形態で使用され得るビデオ処理システムの一例を示すブロック図を示す。
【図１０】１つまたは複数の実装形態で使用され得るビデオ処理システムの別の例を示すブロック図を示す。
【発明を実施するための形態】
【００２０】
本原理は、通常、入力画像Ｉよりも低いダイナミックレンジをサポートしている、画像フォーマットの表現と互換性がある別の範囲にこの入力画像Ｉのダイナミックレンジを適合させる方法および装置を対象とする。以下の考察では、入力画像がＨＤＲ画像であり、それよりも低いダイナミックレンジの出力画像がＳＤＲ画像であると仮定する。より一般的には、本原理は、任意のダイナミックレンジ間の変換に適用することができる。本出願では、用語「画像」、「フレーム」、および「ピクチャ」を区別なく使用して、多くの場合に複数の成分についての値を含むサンプルアレイを識別する。
【００２１】
図１は、本原理により、ＨＤＲ画像をＳＤＲ画像に変換する例示的な方法１００を示す。方法１００はステップ１０５から開始する。ステップ１００では、ＨＤＲ画像Ｉ全体について単一の変調値Ｂａを決定する。一実施形態では、変調値Ｂａは画像Ｉの中間色調値を表し、その結果、正規化された輝度Ｙ（すなわち、Ｙ／Ｂａ）は実質的に値１を中心とする。
【００２２】
ステップ１２０では、変調値に応じて入力ＨＤＲ画像ＩがＳＤＲ画像に変換される。一実施形態では、各範囲の適合を以下のように公式化してもよい。
πＢａ：［０，Ｐ］→Ｒ  （１）
ここで、Ｐは、入力ＨＤＲフォーマットによって許される画素の最大明度（たとえば、１０００ニト）である。マッピングπＢａは以下のように分解することができる。
【数１】
2018512637.tif 000004
すなわち、ＨＤＲ画像の輝度Ｙは、まずＢａによって正規化され、次いで、たとえば関数ｇ（）を使用して、Ｒで表される範囲にマッピングされる。ここで、ｇ（）は、場合によりＢａに依存する関数、すなわちｇ（）＝ｇＢａ（）であり、この関数ｇ（）は、データ範囲Ｒの中間値に１をマッピングしてもよい。マッピングされた画像は、次いでステップ１３０で処理、たとえば符号化および送信される。方法１００はステップ１９９で終了する。
【００２３】
変調値を決定すると、関数ｇ（）が事前決定されたと仮定する。以下では、範囲変換用に使用できる例示的な関数ｇ（）を説明する。
【００２４】
（範囲変換用の関数ｇＢａ（））
本出願では、ＳＤＲデータ範囲Ｒでのそれぞれ実現可能な値を符号語とし、最大符号語値をＭＳＤＲとする。たとえば、出力画像が１０ビットのＲ＝［０，１０２３］と表される場合、符号語は、０、１、２、．．．、１０２３であり、ＭＳＤＲ＝１０２３である。
【００２５】
画像変換中、ピーク明度Ｐが最大符号語値にマッピングされて、ＳＤＲ範囲から十分な恩恵を受けることが予想される。すなわち、次式を得る。
πＢａ（Ｐ）＝ＭＳＤＲ（全てのＢａについて）  （３）
【００２６】
好ましい一実施形態では、ｇは次式のように定義することができる。
ｇＢａ（ｚ）＝ＭＳＤＲｆ（ｚ）／ｆ（Ｐ／Ｂａ）＝ｆ（ｚ）／Ｎ（Ｂａ）  （４）
ここで、ｆ（）は関数であり、Ｎ（Ｂａ）はＢａに依存する正規化項である。
Ｎ（Ｂａ）＝ｆ（Ｐ／Ｂａ）／ＭＳＤＲ  （５）
これにより、次式が得られるようなピーク輝度条件が確実に満たされる。
πＢａ（Ｐ）＝ｇＢａ（Ｐ／Ｂａ）＝ＭＳＤＲｆ（Ｐ／Ｂａ）／ｆ（Ｐ／Ｂａ）＝ＭＳＤＲ  （６）
【００２７】
一実施形態では、関数ｆ（）は、次式で定義されるＳｌｏｇ関数とすることができる。
ｆ（ｚ）＝ａｌｎ（ｂ＋ｚ）＋ｃ  （７）
ここで、Ｓｌｏｇ関数ｆ（）のパラメータａ、ｂ、およびｃは次式のように決定することができる。
・ｆ（０）＝０
・ｆ（１）＝１、および
・１での微分係数はガンマ関数の微分係数と同じであり、すなわちｆ’（１）＝γ。
これら３つの条件を使用して、γの関数として３つのパラメータａ、ｂ、およびｃを得ることができる。すなわち、ａ（γ）、ｂ（γ）、およびｃ（γ）である。ａ、ｂ、およびｃのいくつかの例示的な値が表２に示されている。
【００２８】
【表２】
2018512637.tif 000005
【００２９】
広範な試験は、１／２．５に近いγの値により、Ｐ＝５０００ニトのとき、マッピングされた画像πＢａ（Ｉ）について良好な画質が得られ、ＳＤＲ画像が１０ビットフォーマットで表されることを示している。すなわち、ＭＳＤＲ＝１０２３である。したがって、パラメータａ、ｂ、およびｃは、ａ＝０．４４９５、ｂ＝０．１２１２、およびｃ＝０．９４８５に設定することができる。対応する関数πＢａが図２に示されている。図２から分かるように、マッピング曲線は、変調値Ｂａに適合し、概してＨＤＲ画像が明るくなるにつれて通常は増大する。比較的大きい変調値については、マッピング曲線は明るい領域に比較的多くのディテールを保ち、なぜなら、ピーク輝度付近での曲線の微分係数が大きいからである。また、比較的小さい変調値については、マッピング曲線は最も暗い領域に比較的多くのディテールを保ち、なぜなら、Ｙの値が非常に小さいと曲線が穏やかにゼロまで降下するからである。
【００３０】
以下では、変調値を決定する様々な方法を論じる。
【００３１】
（中間色調最適化によるＢａの決定）
一実施形態では、画像全体について、図３の例示的なヒストグラムに示すように、ＨＤＲ画像の画素がその線形の輝度Ｙに応じてヒストグラムに分類される。図３に示すように、ヒストグラムの右端はピーク輝度Ｐである。このピーク輝度は、たとえば、画像フォーマットに基づいてシステムレベルによって実現されると考えられ、フレーム毎に変化するとは考えられない。
【００３２】
白レベルＷをヒストグラムの最後のパーセンタイル値に対応する輝度レベルと定義し、黒レベルＢをヒストグラムの第１のパーセンタイル値に対応する輝度レベルと定義し、中間色調レベルを黒レベルおよび白レベルの幾何平均（または対数平均）と定義する。
【数２】
2018512637.tif 000006
その結果、３つのレベルＷ、Ｂ、およびＭは、画像のコンテンツに依存する。
【００３３】
一般に、変調値およびマッピング関数の選択は、非常に暗いレベルで情報を保ち、また中間色調範囲（すなわち、中間色調値の付近）でディテールを保たなければならない。したがって、変調値を得る際に２つの条件：（１）黒がゼロまで過度にクリップされず、および（２）ＨＤＲ画像の中間色調範囲を表すために使用されるＳＤＲ画像内の符号語の数が最大化されることを使用する。
【００３４】
黒がゼロまで過度にクリップされてはならないという第１の条件を考えると、黒レベルには比較的低い境界を設定する。すなわち、以下の通りである。
πＢａ（Ｂ）≧ε  （９）
ここで、εはパラメータである。図４では、例示的な関数πＢａを使用して、マッピングされた値πＢａ（Ｂ）をεに設定することを示す。不等式（９）は、特定の変調値Ｂａを決定しない。その代わりに、Ｂａについてある範囲の許容可能な値を提示する。
【００３５】
中間色調範囲を符号化するために使用される符号語の数を最大化しなければならないという第２の条件について、図５に示すように、中間色調レベルＭでのπＢａについて最も急勾配な傾きを選択する。
【００３６】
両方の条件を組み合わせると、以下の最大化問題を解決することによって変調値を一義的に決定することができる。
【数３】
2018512637.tif 000007
関数ｇ（）の場合の最適化問題（１０）を解決するには、受入れ可能なＢａ値の範囲内のＢａの系統的な力まかせ探索を実行して、各フレームの値Ｂａを計算してもよい。関数ｇ（）は、式（６）に示したものとすることができ、関数ｇ（）の他の形式に本原理を適用することができる。式（１０）では、人間の輝度知覚を線形領域よりも良好に表すことができるので、輝度Ｙには対数スケールが使用される。一変形形態では、説明を簡単にするために、ｌｎＹの代わりにＹに基づいて傾きを決定してもよい。
【００３７】
ここでは、中間色調の最適化に基づいて変調値を決定することを論じた。他の実施形態では、様々な方法を使用して、たとえば、限定されないが画像Ｉの輝度の平均値、中央値、最小値、または最大値を使用して変調値を計算することができる。これらの演算は、線形輝度領域またはｌｎ（Ｉ）もしくはＩγ（γ＜１）などの非線形領域で実行してもよい。
【００３８】
マッピング曲線をさらに改善するため、非常に暗いフレーム（Ｂａが低過ぎる）と非常に明るいフレーム（Ｂａが高過ぎる）との両方でのオーバシュートを避けるために、いくつかの境界をＢａ値に課すことができる。たとえば、Ｂａ値を次式
【数４】
2018512637.tif 000008
のように設定して、減衰したバックライトＢａａｔｔを決定してもよく、視覚的に決定された値は、Ｂａｍｉｎ＝２ニト、Ｂａｍａｘ＝５０ニト、Ｂａｍｉｄ＝５ニト、および減衰率σ＝０．５である。これにより、表３に示すように、視覚的に最適な変調値にさらに近い変調値を実現することができ、ここで、各シーケンスの第１の画像が試験用に使用される。
【００３９】
実験を通して、圧縮されたビデオの表示品位を最適化する変調値の時間間隔を取得し、時間間隔の下限および上限を指すために、それぞれ「低」および「高」を使用する。表３から分かるように、この時間間隔は、ビデオシーケンスによって変化する。
【００４０】
【表３】
2018512637.tif 000009
【００４１】
実験から、変調値が圧縮性能に影響を及ぼすが、それほど感度が高くないことも観察される。具体的には、変調値が［低、高］の時間間隔に近い場合、圧縮性能は視覚的な最適値に近い。ここで、減衰した変調値は、［低、高］の時間間隔内にあるか、またはこの時間間隔に近いことが表３から分かる。したがって、本原理に従って決定された変調値は、最適であるかまたは視覚的に最適なものに近い。
【００４２】
表３から、通常、変調値が明度レベル全体を反映し、入力画像の明度印象全体を提示できることも理解できる。たとえば、入力ＨＤＲ画像が明るくなると、単一の変調値が高くなることがある。ビデオシーケンス「風船」および「マーケット」は、日没または夏の日中に撮られたシーンを含む非常に明るいシーンから構成され、したがって、その変調値は、大聖堂の内部または夜間に撮られた非常に暗いシーンから構成される「大聖堂」および「火食い術の奇術師」などの他のシーケンスよりも高くなる。
【００４３】
（Ｂａの時間的安定化）
ビデオシーケンスでは、各フレームについて値Ｂａを計算することができる。急激な明度変化を伴うシーンでの時間的な不一致を避けるために、時間的安定化が望ましい。爆発または花火を示すシーンのような高速に変化するビデオにより、フレーム毎に変調値が急速に変化し、照明効果を乱すことになる場合がある。たとえば、静的な背景および（爆発または花火のような）突発的なフラッシュが前景にあるシーンを仮定する。フラッシュのために、白Ｗが増加するとともに、Ｍおよび次いでＢａが増加することになる。図２から分かるように、Ｂａが高いときにはマッピング曲線が暗い部分をさらに抑制し、これにより、その結果得られるＳＤＲピクチャにおいて背景が予期せずに突然暗くなることがある。その結果得られるＳＤＲビデオでの明るさのこのような不自然で煩わしい時間的変化を防止するために、ＳＤＲビデオの明るさの変化全体を平滑化するための時間的安定化を提案する。
【００４４】
指数安定化法を使用することができる。Ｂａｎをフレームｎで決定された変調とし、Ｂａｔ，ｎを時間的安定化後の変調値とする。以下の方式を使用してもよい。
Ｂａｔ，ｎ＝λＢａｎ＋（１−λ）Ｂａｔ，ｎ−１  （１２）
λはフレームレートに適合されている。他の時間的な平滑フィルタを、変調値を安定化させるために使用してもよい。
【００４５】
上記では、単一の変調値を使用してＨＤＲ画像をＳＤＲ画像に変換することを論じた。別の実施形態では、ＨＤＲコンテンツのバックライトを表すことができる照明マップを使用して、ＨＤＲ画像をＳＤＲ画像に変換してもよい。
【００４６】
ここで、バックライトという用語は、ＬＣＤパネルなどのカラーパネル、およびＬＥＤアレイなどの背面照明装置で製造されるテレビ受像機から類推して使用される。通常白色光を生成する背面装置は、カラーパネルを照射してテレビをさらに明るくするために使用される。その結果、テレビの輝度は、背面照明装置の輝度とカラーパネルの輝度との積である。この背面照明装置は「バックライト」と呼ばれることが多い。
【００４７】
照明マップが与えられると、次いで、ＨＤＲフレームを照明マップで除算することにより、残りのフレーム（すなわち、ＳＤＲフレーム）が得られる。ＨＤＲがＳＤＲをバックライトに乗じたものに等しいという類推に戻ると、ＳＤＲフレームは（ＳＤＲ）カラーパネルの応答として理解することもできる。２次元配列Ｂａｍａｐ（ｘ，ｙ）によって表すことができる照明マップは、ＨＤＲ画像と比較して解像度が相対的に低くてもよい。場合により、Ｂａｍａｐ（ｘ，ｙ）をアップサンプリングしてＨＤＲ画像解像度に一致させた後、ＨＤＲ画素をこれらの同じ位置にあるバックライト画素で画素毎に除算することにより、ＳＤＲフレームを得ることができる。
【００４８】
ＳＤＲフレームおよび照明マップは、互いに異なるフォーマットを有してもよく、たとえば、照明マップはモノクロームでもよく、ＳＤＲフレームはＹ’ＣｂＣｒまたはＲＧＢフォーマットを使用してもよい。また、各構成要素は、様々なフォーマット（たとえば、Ｙ’ＣｂＣｒ、ＹＵＶ、ＲＧＢ、およびＸＹＺ）を有することができる。
【００４９】
図６Ａは、例示的なＲＧＢ  ＨＤＲ画像を示し、図６Ｂは、対応する照明マップを示す。図６Ａおよび図６Ｂから分かるように、照明マップは、一般に、画像自体よりも空間的に滑らかなＨＤＲ画像での明度レベルを反映する。単一の変調値は、ＨＤＲ画像の明度印象全体を提示し、照明マップは、さらに細かい粒状度でＨＤＲ画像での明度を追跡する。したがって、ローカルバックライト値またはローカル変調値として照明マップ内のサンプルも参照する。本出願では、照明情報として単一の変調値と照明マップとの両方も参照する。
【００５０】
前述の通り、たとえば単一の変調値または照明マップに基づくＨＤＲ画像からＳＤＲ画像への変換は、様々な用途、たとえば、限定されないがトーンマッピング、ＨＤＲからＳＤＲへのマッピング後のＳＤＲコーデックを使用する圧縮、次いでＳＤＲフォーマットと互換性のあるＳＤＲ、ＨＤＲ配信の圧縮で使用することができる。
【００５１】
図７は、ＳＤＲデコーダとの下位互換性を提供しながらＨＤＲビデオを送信する、例示的なＳＤＲ／ＨＤＲ配信ワークフロー７００を示す。ワークフロー７００では、ＨＤＲフレームが処理されて、対応するＳＤＲフレームおよび照明情報、たとえば単一の変調値および／または照明マップを取得する（７１０）。続いて、たとえば、限定されないがＨ．２６４／ＡＶＣまたはＨ．２６５／ＨＥＶＣエンコーダを使用して、照明情報とＳＤＲフレームとの両方がビットストリーム内に符号化される（７２０）。
【００５２】
復号側では、後方互換性のためにＳＤＲデコーダを使用してＳＤＲフレームを復号することができ（７３０）、このデコーダが、復号されたＳＤＲビデオを出力として提供する。あるいは、ＨＤＲデコーダ（７４０）を使用して、ＳＤＲフレームと照明情報との両方を復号することができる。復号されたＳＤＲフレームおよび照明情報を使用すると、たとえば、πＢａをマッピングする逆プロセスを使用して、ＳＤＲフレームを、復号されたＨＤＲフレームにマッピングすることができる（７５０）。ＳＤＲからＨＤＲへのマッピング（７５０）は、ＨＤＲデコーダ（７４０）によって実行することもできる。
【００５３】
上記では、様々な数値が様々な動作で論じられている。これらの数値は例示的な目的のためのものであり、用途に応じて調整することができる。たとえば、ＳＤＲビデオが主として１０ビットビデオとして先に述べられたとき、このＳＤＲビデオは、他のダイナミックレンジまたはビット深度をとることもできる。黒レベルおよび白レベルを決定するために使用されるパラメータの値、たとえばａ、ｂ、およびｃまたはパーセンタイルも、ユーザ要求条件またはシステム構成に基づいて調整することができる。さらに、フレーム全体に単一の変調値を使用することを論じたとき、ピクチャの解像度が非常に高い場合、たとえばスライスまたはタイルなどのピクチャ領域での変調値を有することもできる。
【００５４】
図８は、本原理の例示的な実施形態の様々な態様を実施し得る例示的なシステムのブロック図を示す。システム８００は、以下に述べる様々な構成要素を含む装置として実施してもよく、前述のプロセスを実行するように構成される。このような装置の例には、限定されないがパーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビジョン受信機、パーソナルビデオ記録システム、接続された家庭用電気製品、およびサーバが含まれる。システム８００は、他の同様のシステムに通信可能なように結合してもよく、図８に示すように、また当業者に知られているように前述の例示的なビデオシステムを実施するために、通信チャネルを介して表示装置に通信可能なように結合してもよい。
【００５５】
システム８００は、前述の通り様々なプロセスを実施するために、内部にロードされた命令を実行するように構成された少なくとも１つのプロセッサ８１０を含んでもよい。プロセッサ８１０は、組込みメモリ、入出力インターフェース、および当技術分野で知られている他の様々な回路を含んでもよい。システム８００はまた、少なくとも１つのメモリ８２０（たとえば、揮発性メモリデバイス、不揮発性メモリデバイス）を含んでもよい。システム８００は、限定されないがＥＥＰＲＯＭ、ＲＯＭ、ＰＲＯＭ、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ、フラッシュを含む不揮発性メモリ、磁気ディスクドライブ、および／または光ディスクドライブをさらに含んでもよい記憶装置８４０を含み得る。記憶装置８４０は、非限定的な例として、内部記憶装置、付加記憶装置、および／またはネットワークアクセス可能な記憶装置を含んでもよい。システム８００はまた、データを処理して、符号化されたビデオまたは復号されたビデオを生成するように構成されたエンコーダ／デコーダモジュール８３０を含んでもよい。
【００５６】
エンコーダ／デコーダモジュール８３０は、符号化および／または復号の機能を実行する装置に含み得る１つまたは複数のモジュールを表す。知られているように、装置は、符号化モジュールおよび復号モジュールのうちの一方または両方を含んでもよい。さらに、エンコーダ／デコーダモジュール８３０は、システム８００の別々の要素として実装してもよく、または当業者に知られているハードウェアとソフトウェアとの組合せとしてプロセッサ８１０内に組み込んでもよい。
【００５７】
上記に記載の様々なプロセスを実行するためにプロセッサ８１０にロードされるプログラムコードは、記憶装置８４０に記憶してもよく、続いて、プロセッサ８１０による実行のためにメモリ８２０にロードしてもよい。本原理の例示的な実施形態によれば、１つまたは複数のプロセッサ８１０、メモリ８２０、記憶装置８４０、およびエンコーダ／デコーダモジュール８３０のうちの１つまたは複数は、先に本明細書において述べた各プロセスの実行中に様々なアイテムのうちの１つまたは複数を記憶してもよく、これは、限定されないが変調値、ＳＤＲビデオ、ＨＤＲビデオ、等式、公式、行列、変数、演算、および演算論理を含む。
【００５８】
システム８００はまた、通信チャネル８６０を介して他の装置との通信を可能にする通信インターフェース８５０を含んでもよい。通信インターフェース８５０は、限定されないが、通信チャネル８６０との間でデータを送受信するように構成された送受信機を含んでもよい。通信インターフェースは、限定されないがモデムまたはネットワークカードを含んでもよく、通信チャネルは、有線媒体および／または無線媒体内に実装してもよい。システム８００の様々な構成要素は、限定されないが内部バス、ワイヤ、およびプリント回路板を含め、様々な適した接続を使用して接続してもよく、または通信可能なように結合してもよい。
【００５９】
本原理による例示的な実施形態は、プロセッサ８１０によって実装されるコンピュータソフトウェアもしくはハードウェアにより、またはハードウェアとソフトウェアとの組合せにより実行してもよい。非限定的な例として、本原理による例示的な実施形態は、１つまたは複数の集積回路によって実装してもよい。メモリ８２０は、技術的な環境に適した任意のタイプのものでよく、非限定的な例として、光学メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、取外し可能なメモリなど、任意の適切なデータ記憶技術を使用して実装してもよい。プロセッサ８１０は、技術的な環境に適した任意のタイプのものでよく、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、およびマルチコアアーキテクチャに基づくプロセッサのうちの１つまたは複数を含んでもよい。
【００６０】
図９を参照すると、上記の特徴および原理が適用され得るデータ送信システム９００が示されている。データ送信システム９００は、たとえば、衛星、ケーブル、電話回線、または地上波放送などの様々な媒体のいずれかを使用して信号を送信するヘッドエンドまたは送信システムであってもよい。データ送信システム９００を使用して記憶用の信号を生成してもよい。送信は、インターネットまたは他の何らかのネットワークを介して実現してもよい。データ送信システム９００は、たとえば、ビデオコンテンツおよび他のコンテンツを生成および送達することができる。
【００６１】
データ送信システム９００は、プロセッサ９０１から処理済みデータおよび他の情報を受信する。一実施形態では、プロセッサ９０１は、ＨＤＲビデオを生成し、かつ／またはたとえば方法１００を使用して、ＨＤＲピクチャを表す単一の変調値およびＳＤＲピクチャを使用してＨＤＲピクチャを表す。プロセッサ９０１はまた、たとえば、マッピング曲線に使用される関数または定数の値を示すメタデータを９００に提供してもよい。
【００６２】
データ送信システム、すなわち装置９００は、エンコーダ９０２および符号化された信号を送信できる送信機９０４を含む。エンコーダ９０２は、プロセッサ９０１からデータ情報を受信する。エンコーダ９０２は、１つまたは複数の符号化された信号を生成する。
【００６３】
エンコーダ９０２は、たとえば、様々な情報片を受信し、記憶または送信のための構造化されたフォーマットにするアセンブリユニットを含むサブモジュールを含んでもよい。様々な情報片は、たとえば、符号化されたビデオまたは符号化されていないビデオ、および符号化された要素または符号化されていない要素を含んでいてもよい。実装形態によっては、エンコーダ９０２がプロセッサ９０１を含み、したがってプロセッサ９０１の動作を実行する。
【００６４】
送信機９０４は、エンコーダ９０２から１つまたは複数の符号化された信号を受信し、この１つまたは複数の符号化された信号を１つまたは複数の出力信号で送信する。送信機９０４は、たとえば、符号化されたピクチャおよび／またはそれに関連する情報を表す、１つまたは複数のビットストリームを有するプログラム信号を送信するように構成されてもよい。典型的な送信機は、たとえば、誤り訂正符号化を提供すること、信号中のデータをインターリーブすること、信号中のエネルギーをランダム化すること、および変調器９０６を使用して信号を１つまたは複数の搬送波に信号を変調することのうちの１つまたは複数などの機能を実行する。送信機９０４は、アンテナ（図示せず）を含んでもよく、またはアンテナとインターフェースしてもよい。さらに、送信機９０４の実装は、変調器９０６に限定されてもよい。
【００６５】
データ送信システム９００はまた、記憶ユニット９０８に通信可能なように結合されている。一実装形態では、記憶ユニット９０８は、エンコーダ９０２に結合され、エンコーダ９０２からの符号化されたビットストリームを記憶する。別の実装形態では、記憶ユニット９０８は、送信機９０４に結合され、この送信機９０４からのビットストリームを記憶する。送信機９０４からのビットストリームは、たとえば、送信機９０４によってさらに処理された、１つまたは複数の符号化されたビットストリームを含んでもよい。様々な実装形態では、記憶ユニット９０８は、標準ＤＶＤ、ブルーレイディスク、ハードドライブ、または他の何らかの記憶装置のうちの１つまたは複数である。
【００６６】
図１０を参照すると、上記の特徴および原理が適用され得るデータ受信システム１０００が示されている。データ受信システム１０００は、記憶装置、衛星、ケーブル、電話線、または地上波放送など、様々な媒体を介して信号を受信するように構成されていてもよい。信号は、インターネットまたは他の何らかのネットワークを介して受信されてもよい。
【００６７】
データ受信システム１０００は、たとえば、携帯電話、コンピュータ、セットトップボックス、テレビジョン、または符号化されたビデオを受信して、たとえば、表示（たとえば、ユーザへの表示）、処理、または記憶のために、復号されたビデオ信号を供給する他の装置であってもよい。したがって、データ受信システム１０００は、たとえば、テレビジョンの画面、コンピュータモニタ、（記憶、処理、もしくは表示用の）コンピュータ、または他の何らかの記憶、処理、もしくは表示用の装置にその出力を提供してもよい。
【００６８】
データ受信システム１０００は、データ情報を受信および処理することができる。データ受信システム、すなわち装置１０００は、たとえば本出願の実装において記載された信号など、符号化された信号を受信する受信機１００２を含む。受信機１００２は、たとえば、ＨＤＲビデオおよびＳＤＲビデオのうちの１つまたは複数を提供する信号、または図９のデータ送信システム９００から出力される信号を受信してもよい。
【００６９】
受信機１００２は、たとえば、符号化されたＨＤＲピクチャを表す複数のビットストリームを有するプログラム信号を受信するように構成されてもよい。典型的な受信機は、たとえば、変調され符号化されたデータ信号を受信すること、復調器１００４を使用して１つまたは複数の搬送波からデータ信号を復調すること、信号中のエネルギーをランダム化解除すること、信号中のデータをインターリーブ解除すること、および信号を誤り訂正復号することのうちの１つまたは複数などの機能を実行する。受信機１００２は、アンテナ（図示せず）を含んでもよく、またはアンテナとインターフェースしてもよい。受信機１００２の実装は、復調器１００４に限定されてもよい。
【００７０】
データ受信システム１０００は、デコーダ１００６を含む。受信機１００２は、受信信号をデコーダ１００６に供給する。受信機１００２によってデコーダ１００６に供給される信号は、１つまたは複数の符号化されたビットストリームを含んでもよい。デコーダ１００６は、たとえば、ビデオ情報を含む復号されたビデオ信号など、復号された信号を出力する。
【００７１】
データ受信システム、すなわち装置１０００はまた、記憶ユニット１００７に通信可能なように結合されている。一実装形態では、記憶ユニット１００７が受信機１００２に結合され、この受信機１００２は記憶ユニット１００７からのビットストリームにアクセスする。別の実装形態では、記憶ユニット１００７がデコーダ１００６に結合され、このデコーダ１００６は記憶ユニット１００７からのビットストリームにアクセスする。様々な実装形態では、記憶ユニット１００７がアクセスするビットストリームは、１つまたは複数の符号化されたビットストリームを含む。様々な実装形態では、記憶ユニット１００７は、標準ＤＶＤ、ブルーレイディスク、ハードドライブ、または他の何らかの記憶装置のうちの１つまたは複数である。
【００７２】
一実装形態では、デコーダ１００６からの出力データがプロセッサ１００８に供給される。一実装形態では、プロセッサ１００８は、ＳＤＲからＨＤＲへのマッピングを実行するように構成されたプロセッサである。実装形態によっては、デコーダ１００６がプロセッサ１００８を含み、したがってプロセッサ１００８の動作を実行する。他の実装形態では、プロセッサ１００８は、たとえば、セットトップボックスまたはテレビジョンなどのダウンストリーム装置の一部分である。
【００７３】
本明細書に記載の実装形態は、たとえば、方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号で実装してもよい。（たとえば、方法としてのみ論じた）単一形式の実装形態との関連でもっぱら論じたとしても、論じた特徴の実装形態は、他の形式（たとえば、装置またはプログラム）で実装してもよい。装置は、たとえば、適切なハードウェア、ソフトウェア、またはファームウェアで実装してもよい。たとえば、方法は、たとえばコンピュータ、マイクロプロセッサ、集積回路、またはプログラマブル論理デバイスを含む処理装置を一般に指す、たとえばプロセッサなどの装置で実施してもよい。プロセッサはまた、たとえば、コンピュータ、携帯電話、ポータブル／携帯型情報端末（「ＰＤＡ」）、およびエンドユーザ間での情報の通信を容易にする他の装置などの通信装置を含む。
【００７４】
本原理の「１つの実施形態」もしくは「実施形態」または「１つの実装形態」もしくは「実装形態」、ならびに本原理の他の変形形態への言及は、実施形態に関連して説明される特定の特徴、構造、特性などが本原理の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書全体を通して様々な箇所に現れる語句「１つの実施形態において」もしくは「実施形態において」または「１つの実装形態において」もしくは「実装形態において」、ならびに他の任意の変形形態の出現は、必ずしも全てが同じ実施形態を指しているのではない。
【００７５】
さらに、本出願またはその特許請求の範囲は、様々な情報を「決定すること」に言及してもよい。情報の決定は、たとえば、情報を推定すること、情報を計算すること、情報を予測すること、またはメモリから情報を検索することのうちの１つまたは複数を含んでもよい。
【００７６】
さらに、本出願またはその特許請求の範囲は、様々な情報に「アクセスすること」に言及してもよい。情報にアクセスすることは、たとえば、情報を受信すること、情報を（たとえば、メモリから）検索すること、情報を記憶すること、情報を処理すること、情報を送信すること、情報を移動すること、情報をコピーすること、情報を消去すること、情報を計算すること、情報を決定すること、情報を予測すること、または情報を推定することのうちの１つまたは複数を含んでもよい。
【００７７】
さらに、本出願またはその特許請求の範囲は、様々な情報を「受信すること」に言及してもよい。受信することは、「アクセスすること」と同様に、広義の用語とすることが意図される。情報の受信は、たとえば、情報にアクセスすること、または（たとえば、メモリから）情報を検索することのうちの１つまたは複数を含んでもよい。さらに、「受信すること」は、通常、たとえば、情報を記憶すること、情報を処理すること、情報を送信すること、情報を移動すること、情報をコピーすること、情報を消去すること、情報を計算すること、情報を決定すること、情報を予測すること、または情報を推定することなどの動作中、ある方式または別の方式で実行される。
【００７８】
当業者に明らかになるように、実装形態は、たとえば記憶または送信してもよい情報を運ぶようにフォーマットされた様々な信号を生成してもよい。この情報は、たとえば、方法を実行する命令または説明した実装形態のうちの１つによって生成されるデータを含んでもよい。たとえば、信号は、説明した実施形態のビットストリームを運ぶようにフォーマットしてもよい。たとえば、このような信号は、（たとえば、スペクトルの無線周波数部分を使用する）電磁波としてまたはベースバンド信号としてフォーマットしてもよい。フォーマットすることは、たとえば、データストリームを符号化することと、符号化されたデータストリームで搬送波を変調することとを含んでもよい。信号が運ぶ情報は、たとえば、アナログ情報またはデジタル情報であってもよい。知られているように、信号は、様々な別々の有線リンクまたは無線リンクを介して伝送してもよい。信号は、プロセッサ可読媒体に記憶してもよい。
【図１】
2018512637.tif 000010
【図２】
2018512637.tif 000011
【図３】
2018512637.tif 000012
【図４】
2018512637.tif 000013
【図５】
2018512637.tif 000014
【図６Ａ】
2018512637.tif 000015
【図６Ｂ】
2018512637.tif 000016
【図７】
2018512637.tif 000017
【図８】
2018512637.tif 000018
【図９】
2018512637.tif 000019
【図１０】
2018512637.tif 000020
【国際調査報告】
2018512637.tif 000021
2018512637.tif 000022
2018512637.tif 000023