(57)【要約】【課題】高ダイナミック・レンジ画像を好適に送受信若しくは表示することができる画像処理装置及び画像処理方法を提供する。【解決手段】画像送信装置は、ＨＤＲコンテンツ（例えば、最大輝度２０００ｎｉｔ）をＳＤＲコンテンツ（例えば、１００ｎｉｔ）に変換する輝度変換情報若しくは差分情報をコンテンツのメタデータとして転送する。画像受信装置は、上記のメタデータに基づいて、受信したＨＤＲコンテンツを出力先のディスプレイ（例えば、最大輝度５００ｎｉｔ又は１０００ｎｉｔ）の能力に応じた輝度変換情報を作成して、制作者の意図に反しないディスプレイ・マッピングを実現する。【選択図】  図１
2016058848.tif 000002
【特許請求の範囲】
【請求項１】
第１のダイナミック・レンジのコンテンツを第２のダイナミック・レンジのコンテンツに変換する輝度変換情報を取得する情報取得部と、
前記輝度変換情報に基づいてコンテンツのメタデータを生成するメタデータ作成部と、
を具備する画像処理装置。
【請求項２】
前記メタデータ作成部は、１以上のポイントにおける前記第１のダイナミック・レンジから前記第２のダイナミック・レンジへの変換前後の輝度値の関係を含む前記メタデータを生成する、
請求項１に記載の画像処理装置。
【請求項３】
前記メタデータを所定の伝送コンテナーに格納して伝送する伝送部をさらに備える、
請求項１又は２のいずれかに記載の画像処理装置。
【請求項４】
前記伝送部は、輝度変換情報を線形輝度値で表現した前記メタデータを伝送する、
請求項３に記載の画像処理装置。
【請求項５】
前記伝送部は、前記メタデータを前記コンテンツのｋｎｅｅ＿ｆｕｎｃｔｉｏｎ＿ｉｎｆｏ  ＳＥＩに格納する、
請求項３又は４のいずれかに記載の画像処理装置。
【請求項６】
前記伝送部は、輝度変換情報を符号値で表現した前記メタデータを伝送する、
請求項３に記載の画像処理装置。
【請求項７】
前記伝送部は、前記メタデータを前記コンテンツのＴｏｎｅ＿ｍａｐｐｉｎｇ＿ｉｎｆｏ  ＳＥＩに格納する、
請求項３又は６のいずれかに記載の画像処理装置。
【請求項８】
第１のダイナミック・レンジのコンテンツを第２のダイナミック・レンジのコンテンツに変換する輝度変換情報を含んだメタデータに基づいて、前記第１のダイナミック・レンジのコンテンツを出力先のディスプレイに適合させる第２の輝度変換情報を作成するメタデータ処理部と、
前記第２の輝度変換情報に基づいて前記第１のダイナミック・レンジのコンテンツを処理するコンテンツ処理部と、
を具備する画像処理装置。
【請求項９】
前記メタデータ処理部は、１以上のポイントにおける前記第１のダイナミック・レンジから前記第２のダイナミック・レンジへの変換前後の輝度値の関係を含む前記メタデータに基づいて、前記第１のダイナミック・レンジにおける輝度値を所定のピーク輝度を持つ前記ディスプレイにおける輝度値に変換する変換テーブルを作成し、
前記コンテンツ処理部は、前記変換テーブルに基づいて、前記第１のダイナミック・レンジのコンテンツの輝度を変換する、
請求項８に記載の画像処理装置。
【請求項１０】
前記メタデータ処理部は、所定の伝送コンテナーに格納されたメタデータに基づいて前記第２の輝度変換情報を作成する、
請求項８又は９のいずれかに記載の画像処理装置。
【請求項１１】
前記メタデータ処理部は、輝度変換情報を線形輝度値で表現した前記メタデータに基づいて前記第２の輝度変換情報を作成し、
前記コンテンツ処理部は、電光線形変換処理した後の輝度信号に対して前記第２の輝度変換情報に基づく処理を行なう、
請求項１０に記載の画像処理装置。
【請求項１２】
前記メタデータ処理部は、前記コンテンツのｋｎｅｅ＿ｆｕｎｃｔｉｏｎ＿ｉｎｆｏ  ＳＥＩに格納されたメタデータに基づいて前記第２の輝度変換情報を作成する、
請求項１０又は１１のいずれかに記載の画像処理装置。
【請求項１３】
前記メタデータ処理部は、輝度変換情報を符号値で表現した前記メタデータに基づいて前記第２の輝度変換情報を作成し、
前記コンテンツ処理部は、電光線形変換処理する後の輝度符号値に対して前記第２の輝度変換情報に基づく処理を行なう、
請求項１０に記載の画像処理装置。
【請求項１４】
前記メタデータ処理部は、前記コンテンツのＴｏｎｅ＿ｍａｐｐｉｎｇ＿ｉｎｆｏ  ＳＥＩに格納されたメタデータに基づいて前記第２の輝度変換情報を作成する、
請求項１０又は１３のいずれかに記載の画像処理装置。
【請求項１５】
前記メタデータ処理部は、前記ディスプレイのピーク輝度が前記第１のダイナミック・レンジのピーク輝度よりも大きいときには、前記第２の輝度変換情報を作成せず、前記コンテンツ処理部による前記第１のダイナミック・レンジのコンテンツの処理を行なわせない、
請求項８に記載の画像処理装置。
【請求項１６】
第１のダイナミック・レンジのコンテンツを第２のダイナミック・レンジのコンテンツに変換する輝度変換情報を取得する情報取得ステップと、
前記輝度変換情報に基づいてコンテンツのメタデータを生成するメタデータ作成ステップと、
を有する画像処理方法。
【請求項１７】
第１のダイナミック・レンジのコンテンツを第２のダイナミック・レンジのコンテンツに変換する輝度変換情報を含んだメタデータに基づいて、前記第１のダイナミック・レンジのコンテンツを出力先のディスプレイに適合させる第２の輝度変換情報を作成するメタデータ処理ステップと、
前記第２の輝度変換情報に基づいて前記第１のダイナミック・レンジのコンテンツを処理するコンテンツ処理ステップと、
を有する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で開示する技術は、画像情報を処理する画像処理装置及び画像処理方法に係り、特に、高ダイナミック・レンジ画像を送受信若しくは表示する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
最近、撮像素子（イメージ・センサー）の高ビット化などにより、画像の高ダイナミック・レンジ（ＨＤＲ：Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）化が進んでいる。画像のダイナミック・レンジは、一般に最小輝度とピーク輝度の比で表すことができる。ＨＤＲ画像は、最大明度色と最低明度色の間のコントラスト比が例えば１００００：１以上に達し、現実世界をリアルに表現することができる。ＨＤＲ画像は、可視範囲のすべての輝度を記録することができ、人間の視覚特性と同等のダイナミック・レンジと色域をサポートすることができる。ＨＤＲ画像は、陰影をリアルに表現できる、露出をシミュレーションできる、眩しさを表現できるなどの利点がある。
【０００３】
上記のようにコンテンツ制作側ではＨＤＲ画像を撮影する一方、コンテンツを視聴する各家庭内には、例えばダイナミック・レンジが４０分の１程度に圧縮されたＳＤＲ（Ｓｔａｎｄａｒｄ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）に対応するディスプレイや、逆にピーク輝度が５００ｎｉｔや１０００ｎｉｔであるＨＤＲ対応のディスプレイなど、性能がまちまちである。したがって、元のコンテンツのダイナミック・レンジを、画像出力先のディスプレイに性能に適合させる処理（以下では、「ディスプレイ・マッピング」とも呼ぶ）が必要である（例えば、特許文献１を参照のこと）。
【０００４】
しかしながら、ディスプレイ・マッピングにおいて、単純に線形スケーリングによりダイナミック・レンジの変換を行なうと、多大な情報が失われ、変換の前後で人間の見た目が多いに相違する画像になってしまうことが懸念される。このような情報の損失は、コンテンツの制作者の意図にも反することである。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本明細書で開示する技術の目的は、高ダイナミック・レンジ画像を好適に送受信若しくは表示することができる、優れた画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００６】
本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
第１のダイナミック・レンジのコンテンツを第２のダイナミック・レンジのコンテンツに変換する輝度変換情報を取得する情報取得部と、
前記輝度変換情報に基づいてコンテンツのメタデータを生成するメタデータ作成部と、
を具備する画像処理装置である。
【０００７】
本願の請求項２に記載の技術によれば、請求項１に記載の画像処理装置の前記メタデータ作成部は、１以上のポイントにおける前記第１のダイナミック・レンジから前記第２のダイナミック・レンジへの変換前後の輝度値の関係を含む前記メタデータを生成するように構成されている。
【０００８】
本願の請求項３に記載の技術によれば、請求項１又は２のいずれかに記載の画像処理装置は、前記メタデータを所定の伝送コンテナーに格納して伝送する伝送部をさらに備えている。
【０００９】
本願の請求項４に記載の技術によれば、請求項３に記載の画像処理装置の前記伝送部は、輝度変換情報を線形輝度値で表現した前記メタデータを伝送するように構成されている。
【００１０】
本願の請求項５に記載の技術によれば、請求項３又は４のいずれかに記載の画像処理装置の前記伝送部は、前記メタデータを前記コンテンツのｋｎｅｅ＿ｆｕｎｃｔｉｏｎ＿ｉｎｆｏ  ＳＥＩに格納するように構成されている。
【００１１】
本願の請求項６に記載の技術によれば、請求項３に記載の画像処理装置の前記伝送部は、輝度変換情報を符号値で表現した前記メタデータを伝送するように構成されている。
【００１２】
本願の請求項７に記載の技術によれば、請求項３又は６のいずれかに記載の画像処理装置の前記伝送部は、前記メタデータを前記コンテンツのＴｏｎｅ＿ｍａｐｐｉｎｇ＿ｉｎｆｏ  ＳＥＩに格納するように構成されている。
【００１３】
また、本願の請求項８に記載の技術は、
第１のダイナミック・レンジのコンテンツを第２のダイナミック・レンジのコンテンツに変換する輝度変換情報を含んだメタデータに基づいて、前記第１のダイナミック・レンジのコンテンツを出力先のディスプレイに適合させる第２の輝度変換情報を作成するメタデータ処理部と、
前記第２の輝度変換情報に基づいて前記第１のダイナミック・レンジのコンテンツを処理するコンテンツ処理部と、
を具備する画像処理装置である。
【００１４】
本願の請求項９に記載の技術によれば、請求項８に記載の画像処理装置の前記メタデータ処理部は、１以上のポイントにおける前記第１のダイナミック・レンジから前記第２のダイナミック・レンジへの変換前後の輝度値の関係を含む前記メタデータに基づいて、前記第１のダイナミック・レンジにおける輝度値を所定のピーク輝度を持つ前記ディスプレイにおける輝度値に変換する変換テーブルを作成し、前記コンテンツ処理部は、前記変換テーブルに基づいて、前記第１のダイナミック・レンジのコンテンツの輝度を変換するように構成されている。
【００１５】
本願の請求項１０に記載の技術によれば、請求項８又は９のいずれかに記載の画像処理装置の前記メタデータ処理部は、所定の伝送コンテナーに格納されたメタデータに基づいて前記第２の輝度変換情報を作成するように構成されている。
【００１６】
本願の請求項１１に記載の技術によれば、請求項１０に記載の画像処理装置の前記メタデータ処理部は、輝度変換情報を線形輝度値で表現した前記メタデータに基づいて前記第２の輝度変換情報を作成し、前記コンテンツ処理部は、電光線形変換処理した後の輝度信号に対して前記第２の輝度変換情報に基づく処理を行なうように構成されている。
【００１７】
本願の請求項１２に記載の技術によれば、請求項１０又は１１のいずれかに記載の画像処理装置の前記メタデータ処理部は、前記コンテンツのｋｎｅｅ＿ｆｕｎｃｔｉｏｎ＿ｉｎｆｏ  ＳＥＩに格納されたメタデータに基づいて前記第２の輝度変換情報を作成するように構成されている。
【００１８】
本願の請求項１３に記載の技術によれば、請求項１０に記載の画像処理装置の前記メタデータ処理部は、輝度変換情報を符号値で表現した前記メタデータに基づいて前記第２の輝度変換情報を作成し、前記コンテンツ処理部は、電光線形変換処理する後の輝度符号値に対して前記第２の輝度変換情報に基づく処理を行なように構成されている。
【００１９】
本願の請求項１４に記載の技術によれば、請求項１０又は１３のいずれかに記載の画像処理装置の前記メタデータ処理部は、前記コンテンツのＴｏｎｅ＿ｍａｐｐｉｎｇ＿ｉｎｆｏ  ＳＥＩに格納されたメタデータに基づいて前記第２の輝度変換情報を作成するように構成されている。
【００２０】
本願の請求項１５に記載の技術によれば、請求項８に記載の画像処理装置の前記メタデータ処理部は、前記ディスプレイのピーク輝度が前記第１のダイナミック・レンジのピーク輝度よりも大きいときには、前記第２の輝度変換情報を作成せず、前記コンテンツ処理部による前記第１のダイナミック・レンジのコンテンツの処理を行なわせないように構成されている。
【００２１】
また、本願の請求項１６に記載の技術は、
第１のダイナミック・レンジのコンテンツを第２のダイナミック・レンジのコンテンツに変換する輝度変換情報を取得する情報取得ステップと、
前記輝度変換情報に基づいてコンテンツのメタデータを生成するメタデータ作成ステップと、
を有する画像処理方法である。
【００２２】
また、本願の請求項１７に記載の技術は、
第１のダイナミック・レンジのコンテンツを第２のダイナミック・レンジのコンテンツに変換する輝度変換情報を含んだメタデータに基づいて、前記第１のダイナミック・レンジのコンテンツを出力先のディスプレイに適合させる第２の輝度変換情報を作成するメタデータ処理ステップと、
前記第２の輝度変換情報に基づいて前記第１のダイナミック・レンジのコンテンツを処理するコンテンツ処理ステップと、
を有する画像処理方法である。
【発明の効果】
【００２３】
本明細書で開示する技術によれば、画像の輝度変換に関連する情報を好適に提供し、若しくは、提供された輝度変換に関連する情報に基づいて画像を好適にダイナミック・レンジ変換することができる、優れた画像処理装置及び画像処理方法を提供することができる。
【００２４】
なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
【００２５】
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【００２６】
【図１】図１は、本明細書で開示する技術を適用する画像提供システム１００の構成例を模式的に示した図である。
【図２】図２は、画像提供装置２００側（若しくは、コンテンツ制作側）においてＨＤＲコンテンツを処理するワークフローを模式的に示した図である。
【図３】図３は、画像利用装置３００側においてＨＤＲコンテンツを処理するワークフローを模式的に示した図である。
【図４】図４は、ピーク輝度２０００ｎｉｔのＨＤＲコンテンツをピーク輝度１００ｎｉｔのＳＤＲコンテンツに変換する輝度変換情報の一例を示した図である。
【図５】図５は、図４に示したＨＤＲコンテンツからＳＤＲコンテンツへの輝度変換情報を６ポイントに間引いた１Ｄ−ＬＵＴを例示した図である。
【図６】図６は、ＨＤＲコンテンツからＳＤＲコンテンツへの輝度変換情報から、出力先となるディスプレイの輝度にマッピングする仕組みを図である。
【図７】図７は、画像提供装置２００がメタデータを転送する機能的構成を示した図である
【図８】図８は、ダイナミック・レンジ変換定義情報「ｋｎｅｅ＿ｆｕｎｃｔｉｏｎ＿ｉｎｆｏ  ＳＥＩ」のシンタクス例８００を示した図である。
【図９】図９は、表１に示したパラメーター設定例をダイナミック・レンジ変換情報として示した図である。
【図１０】図１０は、トーン・マッピング情報「Ｔｏｎｅ＿ｍａｐｐｉｎｇ＿Ｉｎｆｏ  ＳＥＩ」のシンタクス例１０００を示した図である。
【図１１】図１１は、輝度変換情報（１Ｄ−ＬＵＴ）のメタデータに基づいてＨＤＲコンテンツを処理する機能的構成を示した図である。
【図１２】図１２は、輝度変換情報（１Ｄ−ＬＵＴ）に基づくディスプレイ・マッピングを行なう機能的構成の一例を示した図である。
【図１３】図１３は、輝度変換情報（１Ｄ−ＬＵＴ）に基づくディスプレイ・マッピングを行なう機能的構成の他の例を示した図である。
【図１４】図１４は、ＨＤＲコンテンツを出力先のディスプレイ１１０５にディスプレイ・マッピングする処理手順を示したフローチャートである。
【発明を実施するための形態】
【００２７】
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
【００２８】
図１には、本明細書で開示する技術を適用する画像提供システム１００の構成例を模式的に示している。図示の画像提供システム１００は、画像ストリームを提供する画像提供装置２００と、画像ストリームを取得して表示出力する画像利用装置３００で構成される。
【００２９】
画像提供システム１００がＵＨＤ（Ｕｌｔｒａ  Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）−ＢＤ（Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ）などの記録再生システムに適用される場合、画像提供装置２００はコンテンツ制作者側にあり、画像利用装置３００はＢＤプレーヤーなどのメディア再生装置と再生画像を表示出力するディスプレイの組み合わせである。ＵＨＤ−ＢＤのような画像提供システム１００では、例えばＨＤＭＩ（登録商標）（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）インターフェース経由で、ＢＤプレーヤーからディスプレイへ、非圧縮の再生ストリームが伝送される。
【００３０】
あるいは、画像提供システム１００がＯＴＴ（Ｏｖｅｒ  Ｔｈｅ  Ｔｏｐ）などのネット配信サービスに適用される場合、画像提供装置２００はコンテンツ制作者側にあり、制作したコンテンツをストリーミング・サーバー上で提供する。一方の画像利用装置３００はストリーミング・サーバーからコンテンツのストリーム・データを受信するパーソナル・コンピューターや、スマートフォンやタブレットなどの多機能端末で構成されるクライアントである。また、画像提供システム１００がディジタル放送サービスに適用される場合、画像提供装置２００は放送局であり、画像利用装置３００は家庭内に設置されたテレビ受信機などである。例えばネット配信サービスや放送サービスでは、コンテンツはＭＰＥＧ２  ＴＳ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  ２  Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ）などの符号化ストリームとして、サーバーからクライアントへ、又は放送局からテレビ受信機へ、伝送される。
【００３１】
ＵＨＤ−ＢＤ、ネット配信サービス、放送など画像コンテンツを提供する各種業界では、高品位コンテンツの要素４Ｋ解像度技術に加えて、輝度成分のダイナミック・レンジ拡張並びに広コントラストのＨＤＲ技術が期待されている。ＨＤＲ技術によれば、可視範囲のすべての輝度を記録することができ、人間の視覚特性と同等のダイナミック・レンジと色域をサポートすることができる。また、ディスプレイ業界においても、輝度成分のダイナミック・レンジ拡張に対応した機能を搭載した製品が出現してきている。例えば、直下型ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）を用いた液晶表示ディスプレイは、光の煌きを忠実に再現し、高輝度な画像表現を実現することができる。
【００３２】
図２には、画像提供装置２００側（若しくは、コンテンツ制作側）においてＨＤＲコンテンツを処理するワークフローを模式的に示している。
【００３３】
撮影部２０１は、例えば４Ｋカメラを装備して、ＩＴＵ−Ｒ勧告  ＢＴ．２０２０に基づく広色域表色系のカラー画像を記録する。
【００３４】
次いで、グレーディング・マスタリング部２０２では、撮影したコンテンツに対してグレーディング又はマスタリング処理を行ない、参照番号２１２に示すような変換テーブルを用いて符号値を線形輝度信号に変換して、ＨＤＲのマスター・コンテンツを生成する。このＨＤＲマスター・コンテンツに対して、メタデータ生成処理が行なわれる。本実施形態では、メタデータとして、ディスプレイ・マッピングに有用な輝度変換情報が生成されるが、メタデータの詳細については後述に譲る。
【００３５】
次いで、光電変換部２０３は、参照番号２１３で示すようなＯＥＴＦ変換テーブルを用いて輝度を１０ビットの符号値に非線形変換して、ＨＤＲマスター・コンテンツの光線形の輝度信号をパネル駆動信号に変換する。
【００３６】
符号化部２０４は、ＨＤＲマスター・コンテンツ並びにそのメタデータを符号化して、ＭＰＥＧ−２  ＴＳ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  −２  Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ）などの所定の符号化形式のストリームを生成する。そして、生成された符号化ストリームは、図示しない送信インターフェースから、画像利用装置３００に向けて送出される。
【００３７】
図３には、画像利用装置３００側においてＨＤＲコンテンツを処理するワークフローを模式的に示している。
【００３８】
復号部３０１は、画像提供装置２００から提供された符号化ストリームを元のコンテンツ（パネル駆動信号）に復号処理するとともに、メタデータを抽出する。
【００３９】
次いで、電光線形変換部３０２は、参照番号３１２で示すようにＥＯＴＦ変換テーブルを用いて、復号した１０ビットの符号値からなるパネル駆動信号を光線形の輝度信号に変換する。
【００４０】
なお、本実施形態では、メタデータに記述された輝度変換情報に基づいて輝度信号のダイナミック・レンジ変換（ディスプレイ・マッピング）処理が行なわれる。このディスプレイ・マッピング処理は、メタデータの伝送方式に応じて、ＥＯＴＦ変換する前の符号値又はＥＯＴＦ変換した後の光線形の輝度信号のいずれかに対して適用される。ディスプレイ・マッピングの詳細については、後述に譲る。
【００４１】
次いで、線形ディスプレイ・ガンマー変換部３０３は、参照番号３１３で示す線形変換テーブルを用いて、輝度信号にガンマー処理を施して、表示パネルの入力特性に合わせたパネル駆動信号へ変換する。そして、液晶表示パネルなどからなる表示部３０４は、パネル駆動信号に従って駆動して、コンテンツを画面表示する。
【００４２】
画像提供システム１００において、ＨＤＲ技術を適用する場合、画像提供装置２００と画像利用装置３００がそれぞれ持つダイナミック・レンジが一致しないという事態が想定される。例えば、画像提供装置２００側からはピーク輝度２０００ｎｉｔのコンテンツをブルーレイ・ディスクに格納して配布するが、画像利用装置３００側ではピーク輝度が５００ｎｉｔや１０００ｎｉｔ程度のＨＤＲディスプレイを装備していて、再生コンテンツのピーク輝度に対応できない場合である。
【００４３】
このような場合、画像利用装置３００側では、画像提供装置２００から提供された画像に対してダイナミック・レンジ変換を行なって、出力先のディスプレイの性能（ピーク輝度）に適合させるディスプレイ・マッピングを行なうことが望ましい。ところが、ディスプレイ・マッピングにおいて、単純に（すべての輝度レベルにわたり均等に）線形スケーリングによりダイナミック・レンジの変換を行なうと、多大な情報が失われ、変換の前後で人間の見た目が多いに相違する画像になってしまうことが懸念される。このような情報の損失は、コンテンツの制作者の意図にも反することである。
【００４４】
したがって、画像提供システム１００においてＨＤＲの世界を構築するには、制作側若しくは画像提供装置２００側においてＨＤＲコンテンツを提供し、画像利用装置３００側においてＨＤＲ対応のディスプレイを装備するというだけでなく、ＨＤＲコンテンツの制作ワークフローを確立する必要がある、と本発明者らは思料する。
【００４５】
また、画像利用装置３００側などでディスプレイ・マッピングによりＨＤＲ画像のダイナミック・レンジ変換を行なう際に、コンテンツの制作者の意図が損失しないようにする必要がある。
【００４６】
そこで、本明細書で開示する技術では、単純な線形スケーリングではなく、コンテンツの制作者の意図を、画像ストリームに付随するメタデータとして提供するようにしている。
【００４７】
具体的には、画像提供装置２００側では、コンテンツ制作者がＨＤＲコンテンツをＳＤＲコンテンツに変換処理する作業において得られる輝度変換情報、若しくは、ＨＤＲコンテンツとＳＤＲコンテンツの差分情報を、ディスプレイ・マッピングにおいて有用となる制作者の意図として扱い、コンテンツのメタデータとして転送する。
【００４８】
一方の画像利用装置３００側では、画像提供装置２００から提供されたＨＤＲコンテンツ（例えば、ピーク輝度２０００ｎｉｔ）を、出力先となるディスプレイ（例えば、ピーク輝度５００ｎｉｔ又は１０００ｎｉｔ）にディスプレイ・マッピングする際には、メタデータとして受信した輝度変換情報に基づいて、ディスプレイの能力に応じた輝度変換情報を作成することで、ディスプレイ・マッピングした後も制作者の意図に反しない適切な輝度表現を実現することができる。
【００４９】
図４には、ピーク輝度２０００ｎｉｔのＨＤＲコンテンツからピーク輝度１００ｎｉｔのＳＤＲコンテンツを生成する輝度変換情報の一例を示している。同図において、横軸は入力輝度としてのＨＤＲコンテンツの輝度であり、縦軸は出力輝度としてのＳＤＲコンテンツの輝度である。
【００５０】
コンテンツ制作者は、例えばマスター・ディスプレイを用いたコンテンツのオーサリング・フローの中で、制作済みのＨＤＲコンテンツをＳＤＲコンテンツに変換処理する。オーサリング・フローのログ・データとして、図４に示すような情報を取得することができる。例えば、ブルーレイなどの高記録密度のメディア用に当初はＨＤＲのコンテンツが制作されるが、より記録密度の低いメディアで配布し又は狭帯域の伝送路で配信するために、制作済みのＨＤＲコンテンツからＳＤＲコンテンツを作成することはよくある。勿論、オーサリング・フローにおけるログ・データとしてではなく、制作済みのＨＤＲコンテンツと制作済みのＳＤＲコンテンツとの差分情報から、図４に示したものと同様の輝度変換情報を得ることができる。図４に示したような輝度変換情報を取得する方法自体は特に限定されない。
【００５１】
制作者がＨＤＲコンテンツからＳＤＲコンテンツを生成する際の輝度変換情報、若しくは、ＨＤＲコンテンツとＳＤＲコンテンツとの関係性から求まる輝度変換情報は、ＨＤＲコンテンツの（ＳＤＲコンテンツへの）輝度変換に対する制作者の意図を反映したものである。
【００５２】
図４を参照すると、入力側のＨＤＲコンテンツの５００ｎｉｔ付近までは線形的な輝度変換処理が施されているが、例えば画像又はシーン内で基準となる白の輝度（Ｄｉｆｆｕｓｅ  Ｗｈｉｔｅ輝度）以下の輝度レベルに相当し、輝度変換した後も輝度情報を維持したいというコンテンツ制作者の意図を推測することができる。また、入力側のＨＤＲコンテンツの５００ｎｉｔを超える領域では、圧縮の度合いが徐々に強くなっているが、高輝度の領域では輝度情報を維持する必要がない（圧縮してもよい）というコンテンツ制作者の意図を推測することができる。
【００５３】
本実施形態に係る画像提供システム１００では、ＨＤＲコンテンツからＳＤＲコンテンツへの輝度変換情報を１次元ルックアップ・テーブル（１Ｄ−ＬＵＴ）の形式にし、メタデータとして、画像提供装置２００から画像利用装置３００へ転送する。
【００５４】
コンテンツ制作者の意図を表す輝度変換情報（１Ｄ−ＬＵＴ）のメタデータを伝送する方法として、例えばＭＰＥＧで既に定義されているＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）を伝送コンテナーに利用する方法や、輝度変換情報を伝送するコンテナーとなる新たなＳＥＩを定義する方法が考えられる。また、コンテンツをブルーレイ・ディスクに記録して配布する画像提供システムの場合には、上記のようにＳＥＩを伝送コンテナーに利用する以外に、ブルーレイ・ディスク内のデータベース・ファイルに輝度変換情報を格納する方法も考えられる。
【００５５】
コンテンツ制作者の意図を表す輝度変換情報は、元のＨＤＲコンテンツの輝度と輝度変換した後のＳＤＲコンテンツの輝度との対応関係を記述した１Ｄ−ＬＵＴである。図４に示したように、ＨＤＲコンテンツのすべての輝度値について対応するＳＤＲコンテンツの輝度値を記述した１Ｄ−ＬＵＴをメタデータとしてもよい。但し、メタデータのデータ量が膨大数となるので、所定のポイント数に限定してＨＤＲコンテンツとＳＤＲコンテンツ間の輝度値の対応関係のみを記述した１Ｄ−ＬＵＴをメタデータとしてもよい。
【００５６】
図５には、図４に示したＨＤＲコンテンツからＳＤＲコンテンツへの輝度変換情報を参照番号５０１〜５０６で示す６個のポイントに間引いた１Ｄ−ＬＵＴを例示している。ポイント間の輝度変換情報は、例えばポイント間の傾きから線形計算して算出することができる。もちろん、線形計算ではなく非線形計算によりポイント間の輝度変換情報を補間してもよい。
【００５７】
ここで、１Ｄ−ＬＵＴに輝度変換情報を記述するポイントは、例えばＨＤＲコンテンツからＳＤＲコンテンツへの輝度変換情報の曲線（図４を参照のこと）から特徴的なポイント（例えば、曲線の傾きが急激に変化するポイント）を計算により自動的に抽出するようにしてもよい。あるいは、コンテンツ制作者が１Ｄ−ＬＵＴに載せるべきポイント（輝度レベル）をオーサリング・フローで指定するようにしてもよい。あるいは、１Ｄ−ＬＵＴに載せるべき所定数のポイントの輝度レベル（例えば、５０ｎｉｔと５００ｎｉｔなど）をあらかじめ定義しておくようにしてもよい。
【００５８】
画像利用装置３００側では、画像提供装置２００から提供されたＨＤＲコンテンツを、出力先となるディスプレイにディスプレイ・マッピングする際には、メタデータとして受信した輝度変換情報に基づいて、ディスプレイの能力に応じた輝度変換情報を作成する。
【００５９】
図６には、メタ情報としてのピーク輝度２０００ｎｉｔのＨＤＲコンテンツからピーク輝度１００ｎｉｔのＳＤＲコンテンツへの輝度変換情報（図５を参照のこと）に基づいて、出力先となるディスプレイ（ピーク輝度１０００ｎｉｔ）の輝度にマッピングする仕組みを図解している。
【００６０】
メタデータとして転送されてくる輝度変換情報の１Ｄ−ＬＵＴには、参照番号６０１〜６０６に示すように、元のＨＤＲコンテンツの輝度５０ｎｉｔ、２００ｎｉｔ、２５０ｎｉｔ、４００ｎｉｔ、５００ｎｉｔ、及び、コンテンツのピーク輝度２０００ｎｉｔと、輝度変換後のＳＤＲコンテンツの輝度５０ｎｉｔ、６０ｎｉｔ、７５ｎｉｔ、８０ｎｉｔ、９０ｎｉｔ、及び、コンテンツのピーク輝度１００ｎｉｔとの対応関係を記述している。
【００６１】
画像利用装置３００側では、上記のようなＨＤＲコンテンツからＳＤＲコンテンツへの輝度変換情報から、ピーク輝度２０００ｎｉｔのＨＤＲコンテンツを出力先となるディスプレイ（ピーク輝度１０００ｎｉｔ）にディスプレイ・マッピングするための輝度変換情報にマッピングする。例えば、下式（１）に従って、メタデータから出力先のディスプレイへマッピングする輝度を算出することができる。
【００６２】
【数１】
2016058848.tif 000003
【００６３】
上式（１）は、メタデータのＩＤ−ＬＵＴに記載されているｉ番目のポイントの輝度情報を出力先のディスプレイ（ピーク輝度１０００ｎｉｔ）の輝度値にディスプレイ・マッピングする。但し、同式において、ＰｅａｋＬHDRは ＨＤＲコンテンツのピーク輝度、ＰｅａｋＬSDRはＳＤＲコンテンツのピーク輝度、ＰｅａｋＬDisplayは出力先のディスプレイのピーク輝度、ＬHDR（ｉ）は１Ｄ−ＬＵＴのｉ番目のポイントに対応するＨＤＲコンテンツの輝度、ＬSDR（ｉ）は１−ＬＵＴのｉ番目のポイントに対応するＳＤＲコンテンツの輝度、ＬDisplay（ｉ）は１Ｄ−ＬＵＴのｉ番目のポイントから出力先のディスプレイ用にマッピングされた輝度である。
【００６４】
上記の輝度算出式（１）によれば、図６に示すように、元のＨＤＲコンテンツの輝度５０ｎｉｔ、２００ｎｉｔ、２５０ｎｉｔ、４００ｎｉｔ、５００ｎｉｔ、及び、コンテンツのピーク輝度２０００ｎｉｔは、参照番号６１１〜６１６に示すように、出力先のディスプレイの５０ｎｉｔ、１２６ｎｉｔ、１５８ｎｉｔ、２３２ｎｉｔ、２８４ｎｉｔ、１０００ｎｉｔに、それぞれマッピングされる。
【００６５】
図７には、画像提供装置２００が、ＨＤＲコンテンツからＳＤＲコンテンツへの輝度変換情報（１Ｄ−ＬＵＴ）のメタデータを転送する機能的構成を示している。
【００６６】
コンテンツ処理部７０１は、図２に示した仕組みにより、画像利用装置３００に提供するＨＤＲコンテンツを処理する。
【００６７】
メタデータ作成部７０２は、コンテンツ処理部７０１のおけるオーサリング・フローのログ・データを利用して、あるいは、制作済みのＨＤＲコンテンツと制作済みのＳＤＲコンテンツとの差分情報に基づいて、ＨＤＲコンテンツからＳＤＲコンテンツへの輝度変換情報（１Ｄ−ＬＵＴ）を取得して、メタデータを作成する。
【００６８】
符号化部７０３は、コンテンツ処理部７０１から処理後のコンテンツを入力するとともに、メタデータ作成部７０２が生成したメタデータを入力して、ＭＰＥＧ２などの所定の符号化形式のストリーム・データに符号化する。その際、符号化部７０３は、ＭＰＥＧで既に定義されているＳＥＩ、又は、輝度変換情報を伝送するために新たに定義されたＳＥＩに、メタデータ（１Ｄ−ＬＵＴ）を格納する。あるいは、ＨＤＲコンテンツを提供する形態がブルーレイ・ディスクの場合には、ブルーレイ・ディスク内のデータベース・ファイルにメタデータ（１Ｄ−ＬＵＴ）を格納するようにしてもよい。
【００６９】
コンテンツ提供部７０４は、符号化後のコンテンツを、画像利用装置３００に提供する。画像提供システム１００がＵＨＤ−ＢＤなどの記録再生システムに適用される場合、コンテンツ提供部７０４は、符号化後のコンテンツをブルーレイ・ディスクに記録する。あるいは、画像提供システム１００がＯＴＴなどのネット配信サービスに適用される場合、コンテンツ提供部７０４は、符号化後のコンテンツをストリーミング・サーバーにアップロードする。また、画像提供システム１００がディジタル放送サービスに適用される場合、コンテンツ提供部７０４は、符号化後のコンテンツを放送信号として送出する。
【００７０】
ここで、ＭＰＥＧにおいて非圧縮画像データのダイナミック・レンジ変換定義情報として定義されている「ｋｎｅｅ＿ｆｕｎｃｔｉｏｎ＿ｉｎｆｏ  ＳＥＩ」を輝度変換情報（１Ｄ−ＬＵＴ）の伝送コンテナーに用いる場合について説明する。なお、ｋｎｅｅ＿ｆｕｎｃｔｉｏｎ＿ｉｎｆｏ  ＳＥＩを伝送コンテナーとする場合、輝度値は線形輝度値として表現される。
【００７１】
図８には、ダイナミック・レンジ変換定義情報「ｋｎｅｅ＿ｆｕｎｃｔｉｏｎ＿ｉｎｆｏ  ＳＥＩ」のシンタクス例８００を示している。各パラメーターの本来の意味について説明しておく。
【００７２】
このｋｎｅｅ＿ｆｕｎｃｔｉｏｎ＿ｉｎｆｏ８００では、ニー変換ＩＤ（ｋｎｅｅ＿ｆｕｎｃｔｉｏｎ＿ｉｄ）８０１とニー変換キャンセル・フラグ（ｋｎｅｅ＿ｆｕｎｃｔｉｏｎ＿ｃａｎｃｅｌ＿ｆｌａｇ）８０２が設定される。
【００７３】
ニー変換ＩＤ８０１は、ニー圧縮又はニー伸長であるニー変換の目的に固有のＩＤである。本実施形態では、当該ｋｎｅｅ＿ｆｕｎｃｔｉｏｎ＿ｉｎｆｏ  ＳＥＩを本来のダイナミック・レンジ変換定義情報として用いる場合にはニー変換ＩＤ８０１をロー・レベル「０」に設定し、上記のＨＤＲコンテンツからＳＤＲコンテンツへの輝度変換情報の伝送コンテナーに用いる場合にはニー変換ＩＤ８０１をハイ・レベル「１」に設定するものとする。また、ニー変換キャンセル・フラグ８０２は、直前のｋｎｅｅ＿ｆｕｎｃｔｉｏｎ＿ｉｎｆｏの連続性をキャンセルするかどうかを表すフラグである。ニー変換キャンセル・フラグ８０２は、前のｋｎｅｅ＿ｆｕｎｃｔｉｏｎ＿ｉｎｆｏの連続性をキャンセルする場合にはハイ・レベル「１」を設定し、キャンセルしない場合にはロー・レベル「０」を設定する。
【００７４】
また、ニー変換キャンセル・フラグ８０２がロー・レベル「０」である場合、ｋｎｅｅ＿ｆｕｎｃｔｉｏｎ＿ｉｎｆｏ８００には、ダイナミック・レンジ変換定義情報が設定される。このダイナミック・レンジ変換定義情報は、持続フラグ（ｋｎｅｅ＿ｆｕｎｃｔｉｏｎ＿ｐｅｒｓｉｓｔｅｎｃｅ＿ｆｌａｇ）８０３と、入力画像のピーク輝度（０．１％単位）を格納する入力画像ダイナミック・レンジ情報（ｉｎｐｕｔ＿ｄ＿ｒａｎｇｅ）８０４と、入力画像のピーク輝度に対応するディスプレイの明るさ（０．１％単位）を格納する入力画像表示ディスプレイピーク輝度情報（ｉｎｐｕｔ＿ｄｉｓｐ＿ｌｕｍｉｎａｎｃｅ）８０５と、出力画像のピーク輝度（０．１％単位）を格納する出力画像ダイナミック・レンジ情報（ｏｕｔｐｕｔ＿ｄ＿ｒａｎｇｅ）８０６と、出力画像のピーク輝度に対応するディスプレイの明るさ（０．１％単位）を格納する出力表示ディスプレイピーク輝度情報（ｏｕｔｐｕｔ＿ｄｉｓｐ＿ｌｕｍｉｎａｃｅ）８０７と、ニー位置数情報（ｎｕｍ＿ｋｎｅｅ＿ｐｏｉｎｔ＿ｍｉｎｕｓ１）８０８が設定される。さらに、ニー位置数情報８０８の数分だけニー位置毎の情報のループ８１０が配置される。各ニー位置情報ループ内には、ニー位置毎の変換前ニー位置情報（ｉｎｐｕｔ＿ｋｎｅｅ＿ｐｏｉｎｔ）８１１と変換後ニー位置情報（ｏｕｔｐｕｔ＿ｋｎｅｅ＿ｐｏｉｎｔ）８１２がニー位置毎に設定される。
【００７５】
持続フラグ８０３は、一度送ったｋｎｅｅ＿ｆｕｎｃｔｉｏｎ＿ｉｎｆｏ６００がその後も有効なのか、１回限りなのかを示すものである。ｋｎｅｅ＿ｆｕｎｃｔｉｏｎ＿ｉｎｆｏ８００が付加されたピクチャーに限り有効な場合には、持続フラグ８０３にロー・レベル「０」を設定し、ストリームが切り替わるまで有効又は新しいニー変換ＩＤ８０１が来るまで有効の場合には、持続フラグ８０３にハイ・レベル「１」を設定する。
【００７６】
ニー位置数情報８０８は、本来は、ニー位置の数から１を減算した値である。なお、ニー位置の変換前ニー位置情報８１１と変換後ニー位置情報８１２が設定される順番ｉ（ｉは０以上の整数）は、変換前ニー位置情報８１１の小さい順である。続くニー位置数の数分の各ループでは、ニー位置ｉにおける変換前ニー位置情報８１１と変換後ニー位置情報８１２が格納される。
【００７７】
変換前ニー位置情報８１１は、ダイナミック・レンジ変換における変換前の符号化対象の画像のニー位置を表す情報であり、符号化対象の画像の輝度の最大値を１０００‰としたときのニー位置の千分率（線形値）で表される。ニー位置とは、符号化対象の画像の輝度のダイナミック・レンジの同一の変換率でニー変換される輝度の範囲の始点の０以外の輝度である。
【００７８】
また、変換後ニー位置情報８１２は、ダイナミック・レンジ変換における変換後の画像の、ニー位置を始点とするニー変換される輝度の範囲に対応する輝度の範囲の始点を表す情報である。具体的には、変換後ニー位置情報（ｏｕｔｐｕｔ＿ｋｎｅｅ＿ｐｏｉｎｔ）は、変換後の画像の輝度の最大値を１０００‰としたときのニー位置に対応する変換後の画像の輝度の千分率（線形値）で表される。
【００７９】
図８に示したｋｎｅｅ＿ｆｕｎｃｔｉｏｎ＿ｉｎｆｏ  ＳＥＩを、ディスプレイ・マッピングにおいて有用な、ＨＤＲコンテンツからＳＤＲコンテンツへの輝度変換情報の伝送コンテナーとして用いる場合、ニー位置情報ループ内８１０では、ｉ番目の変換前ニー位置情報（ｉｎｐｕｔ＿ｋｎｅｅ＿ｐｏｉｎｔ）として１Ｄ−ＬＵＴのｉ番目のポイントに対応する変換前のＨＤＲコンテンツの輝度ＬHDR（ｉ）を格納するとともに、ｉ番目の変換後ニー位置情報（ｏｕｔｐｕｔ＿ｋｎｅｅ＿ｐｏｉｎｔ）として１Ｄ−ＬＵＴのｉ番目のポイントに対応する変換後のＳＤＲコンテンツの輝度ＬSDR（ｉ）を格納する。但し、最後の変換前ニー位置情報（ｉｎｐｕｔ＿ｋｎｅｅ＿ｐｏｉｎｔ）には、変換前のＨＤＲコンテンツのピーク輝度を格納し、最後の変換後ニー位置情報（ｏｕｔｐｕｔ＿ｋｎｅｅ＿ｐｏｉｎｔ）には、変換後のＳＤＲコンテンツのピーク輝度を格納する。
【００８０】
図５に示した輝度変換情報の１Ｄ−ＬＵＴをｋｎｅｅ＿ｆｕｎｃｔｉｏｎ＿ｉｎｆｏ  ＳＥＩの各パラメーターに設定した例を、以下の表１に示した。また、図９には、表１に示したパラメーター設定例をダイナミック・レンジ変換情報として示している。
【００８１】
【表１】
2016058848.tif 000004
【００８２】
続いて、Ｈ．２６５ （ＩＳＯ／ＩＥＣ２３００８−２ ＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ））で定義されている「Ｔｏｎｅ＿ｍａｐｐｉｎｇ＿Ｉｎｆｏ  ＳＥＩ」を輝度変換情報（１Ｄ−ＬＵＴ）の伝送コンテナーに用いる場合について説明する。なお、Ｔｏｎｅ＿ｍａｐｐｉｎｇ＿Ｉｎｆｏ  ＳＥＩを伝送コンテナーとする場合、輝度値は符号値として表現される。
【００８３】
図１０には、トーン・マッピング情報「Ｔｏｎｅ＿ｍａｐｐｉｎｇ＿Ｉｎｆｏ  ＳＥＩ」のシンタクス例１０００を示している。各パラメーターの意味の詳細については説明を省略するが、輝度変換情報（１Ｄ−ＬＵＴ）の伝送コンテナーに用いる場合には、参照番号１００３で示すｔｏｎｅ＿ｍａｐ＿ｍｏｄｅｌ＿ｉｄ＝３のトーン・マッピング情報を使用する。
【００８４】
参照番号１００１で示すｃｏｄｅｄ＿ｄａｔａ＿ｂｉｔ＿ｄｅｐｔｈには、変換前のＨＤＲコンテンツのビット深度（ｂｉｔ ｄｅｐｔｈ）を格納し、参照１００２で示すｔａｒｇｅｔ＿ｂｉｔ＿ｄｅｐｔｈには、変換後のＳＤＲコンテンツのビット深度（ｂｉｔ ｄｅｐｔｈ）を格納する。また、参照番号１００４で示すｎｕｍ＿ｐｉｖｏｔｓには、輝度変換情報（１Ｄ−ＬＵＴ）のポイントの数を格納する。そして、以降に続くループのｉ番目において、参照番号１００５で示すｃｏｄｅｄ＿ｐｉｖｏｔ＿ｖａｌｕｅ［ｉ］に、１Ｄ−ＬＵＴのｉ番目のポイントに対応する変換前のＨＤＲコンテンツの輝度ＬHDR（ｉ）の符号値を格納するとともに、参照番号１００６で示すｔａｒｇｅｔ＿ｐｉｖｏ＿ｖａｌｕｅ［ｉ］に、１Ｄ−ＬＵＴのｉ番目のポイントに対応する変換後のＳＤＲコンテンツの輝度ＬSDR（ｉ）の符号値を格納する。但し、最後のｃｏｄｅｄ＿ｐｉｖｏｔ＿ｖａｌｕｅ［ｉ］には、変換前のＨＤＲコンテンツのピーク輝度の符号値を格納し、最後のｔａｒｇｅｔ＿ｐｉｖｏｔ＿ｖａｌｕｅ［ｉ］には、変換後のＳＤＲコンテンツのピーク輝度の符号値を格納する。
【００８５】
図１１には、画像利用装置３００が、ＨＤＲコンテンツからＳＤＲコンテンツへの輝度変換情報（１Ｄ−ＬＵＴ）のメタデータに基づいてＨＤＲコンテンツを処理する機能的構成を示している。
【００８６】
コンテンツ取得部１１０１は、画像提供装置２００から提供されるＨＤＲコンテンツを取得する。画像提供システム１００がＵＨＤ−ＢＤなどの記録再生システムに適用される場合、コンテンツ取得部１１０１は、ブルーレイ・ディスクに記録されたコンテンツを再生する。あるいは、画像提供システム１００がＯＴＴなどのネット配信サービスに適用される場合、コンテンツ取得部１１０１は、インターネットなどのネットワークを介してストリーミング・サーバーからコンテンツを受信する。また、画像提供システム１００がディジタル放送サービスに適用される場合、コンテンツ取得部１１０１は、チューナーなどであり、放送信号を選局受信する。
【００８７】
復号部１１０２は、ＭＰＥＧ２などの所定の符号化形式のストリーム・データを復号して、ストリーム・データとメタデータに分離する。
【００８８】
メタデータ処理部１１０３は、メタデータに含まれている、ＨＤＲコンテンツからＳＤＲコンテンツへの輝度変換情報（１Ｄ−ＬＵＴ）を処理する。ストリーム・データ処理部１１０４は、ストリーム・データを処理して、出力先のディスプレイ１１０５に表示出力する。また、ストリーム・データ処理部１１０４は、この輝度変換情報（１Ｄ−ＬＵＴ）に基づくディスプレイ・マッピングも行なう。
【００８９】
図１２には、画像利用装置３００内で、輝度変換情報（１Ｄ−ＬＵＴ）に基づくディスプレイ・マッピングを行なう機能的構成の一例を示している。但し、図示の例は、輝度変換情報（１Ｄ−ＬＵＴ）がｋｎｅｅ＿ｆｕｎｃｔｉｏｎ＿ｉｎｆｏ  ＳＥＩなどの伝送コンテナーで線形輝度値として転送されることを想定しており、ストリーム・データを電光線形変換した後にディスプレイ・マッピングが行なわれる。
【００９０】
電光線形変換部１２０１は、ＨＤＲのストリーム・データから光線形の輝度信号へ変換するＥＯＴＦテーブルを備えており、入力されたＨＤＲのストリーム・データを光線形の輝度信号に変換する。
【００９１】
ディスプレイ・マッピング部１２０２は、光線形の輝度信号のダイナミック・レンジを変換するルックアップ・テーブル（ＬＵＴ）を備えている。メタデータ処理部１１０３は、メタデータとしてＨＤＲコンテンツからＳＤＲコンテンツへの輝度変換情報（１Ｄ−ＬＵＴ）（図５、図８、図９を参照のこと）を入力すると、図６に示した仕組み並びに上式（１）に従って、ＨＤＲコンテンツを出力先のディスプレイ１１０５にディスプレイ・マッピングするための輝度変換情報（１Ｄ−ＬＵＴ）に変換して、ディスプレイ・マッピング部１２０２に設定する。そして、ディスプレイ・マッピング部１２０２は、設定したＬＵＴに従って光線形の輝度信号のダイナミック・レンジを変換する。
【００９２】
光電変換部１２０３は、光線形の輝度信号をパネル駆動信号に変換するＯＥＴＦテーブルを備えており、ディスプレイ・マッピングした後の輝度信号をディスプレイ１１０５の入力特性に合わせたパネル駆動信号に変換する。
【００９３】
また、図１３には、画像利用装置３００内で、輝度変換情報（１Ｄ−ＬＵＴ）に基づくディスプレイ・マッピングを行なう機能的構成の他の例を示している。但し、図示の例は、輝度変換情報（１Ｄ−ＬＵＴ）がＴｏｎｅ  ｍａｐｐｉｎｇ＿ｉｎｆｏ  ＳＥＩなどの伝送コンテナーで符号値として転送されることを想定しており、ストリーム・データを電光線形変換する前にディスプレイ・マッピングが行なわれる。
【００９４】
ディスプレイ・マッピング部１３０１は、輝度符号値のダイナミック・レンジを変換するルックアップ・テーブル（ＬＵＴ）を備えている。メタデータ処理部１１０３は、メタデータとしてＨＤＲコンテンツからＳＤＲコンテンツへの輝度変換情報（１Ｄ−ＬＵＴ）（図１０を参照のこと）を入力すると、ＨＤＲコンテンツを出力先のディスプレイ１１０５にディスプレイ・マッピングするための輝度変換情報（１Ｄ−ＬＵＴ）に変換して、ディスプレイ・マッピング部１３０１に設定する。そして、ディスプレイ・マッピング部１３０１は、設定したＬＵＴに従って、電光線形変換前のストリーム・データのダイナミック・レンジを変換する。
【００９５】
電光線形変換部１３０２は、ＨＤＲのストリーム・データから光線形の輝度信号へ変換するＥＯＴＦテーブルを備えており、入力されたＨＤＲのストリーム・データを光線形の輝度信号に変換する。
【００９６】
光電変換部１３０３は、光線形の輝度信号をパネル駆動信号に変換するＯＥＴＦテーブルを備えており、ディスプレイ・マッピングした後の輝度信号をディスプレイ１１０５の入力特性に合わせたパネル駆動信号に変換する。
【００９７】
図１４には、画像利用装置３００において、ＨＤＲコンテンツを出力先のディスプレイ１１０５にディスプレイ・マッピングする処理手順をフローチャートの形式で示している。
【００９８】
まず、メタデータ処理部１１０３は、コンテンツのメタデータとして、ＨＤＲコンテンツからＳＤＲコンテンツへの輝度変換情報を取得する（ステップＳ１４０１）。
【００９９】
次いで、メタデータ処理部１１０３は、出力先のディスプレイ１１０５のピーク輝度がＨＤＲコンテンツのピーク輝度よりも小さいかどうかをチェックする（ステップＳ１４０２）。
【０１００】
ここで、出力先のディスプレイ１１０５のピーク輝度がＨＤＲコンテンツのピーク輝度以上である場合には（ステップＳ１４０２のＮｏ）、画像提供装置２００から提供されたＨＤＲコンテンツをそのままディスプレイ１１０５に出力することができる。すなわち、ディスプレイ・マッピングは不要なので、以降の処理をすべてスキップして、本処理ルーチンを終了する。なお、変形例として、ディスプレイ１１０５のピーク輝度に合わせて、提供されたＨＤＲコンテンツのダイナミック・レンジを拡張するディスプレイ・マッピングを行なうようにしてもよい。
【０１０１】
一方、出力先のディスプレイ１１０５のピーク輝度がＨＤＲコンテンツのピーク輝度よりも小さい場合には（ステップＳ１４０２のＹｅｓ）、出力先のディスプレイ１１０５のピーク輝度に適合するように、ＨＤＲコンテンツのディスプレイ・マッピングが必要である。
【０１０２】
したがって、メタデータ処理部１１０３は、メタデータとしてＨＤＲコンテンツからＳＤＲコンテンツへの輝度変換情報（１Ｄ−ＬＵＴ）（図５、図８、図９を参照のこと）を入力すると、図６に示した仕組み並びに上式（１）に従って、ＨＤＲコンテンツを出力先のディスプレイ１１０５にディスプレイ・マッピングするための輝度変換情報（１Ｄ−ＬＵＴ）を作成する（ステップＳ１４０３）。
【０１０３】
そして、設定したＬＵＴに従ってコンテンツのディスプレイ・マッピングを実行する（ステップＳ１４０４）。
【先行技術文献】
【特許文献】
【０１０４】
【特許文献１】特表２０１４−５０２４８０号公報
【産業上の利用可能性】
【０１０５】
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【０１０６】
本明細書では、ＵＨＤ−ＢＤ、ＯＴＴなどのネット配信サービス、ディジタル放送サービスなどのＨＤＲコンテンツを提供する画像提供システムに適用した実施形態を中心に説明してきたが、本明細書で開示する技術の要旨はこれに限定されるものではない。本明細書で開示する技術は、ＨＤＲコンテンツを伝送し又は表示するさまざまなシステムに適用することができる。
【０１０７】
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【０１０８】
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）第１のダイナミック・レンジのコンテンツを第２のダイナミック・レンジのコンテンツに変換する輝度変換情報を取得する情報取得部と、
前記輝度変換情報に基づいてコンテンツのメタデータを生成するメタデータ作成部と、
を具備する画像処理装置。
（１−１）前記情報取得部は、前記第１のダイナミック・レンジのコンテンツから前記第２のダイナミック・レンジのコンテンツを編集する過程におけるログ・データに基づいて前記輝度変換情報を取得する、
上記（１）に記載の画像処理装置。
（１−２）前記情報取得部は、制作済みの前記第１のダイナミック・レンジのコンテンツと制作済みの前記第２のダイナミック・レンジのコンテンツの関係性に基づいて前記輝度変換情報を取得する、
上記（１）に記載の画像処理装置。
（２）前記メタデータ作成部は、１以上のポイントにおける前記第１のダイナミック・レンジから前記第２のダイナミック・レンジへの変換前後の輝度値の関係を含む前記メタデータを生成する、
上記（１）に記載の画像処理装置。
（３）前記メタデータを所定の伝送コンテナーに格納して伝送する伝送部をさらに備える、
上記（１）又は（２）のいずれかに記載の画像処理装置。
（４）前記伝送部は、輝度変換情報を線形輝度値で表現した前記メタデータを伝送する、
上記（３）に記載の画像処理装置。
（５）前記伝送部は、前記メタデータを前記コンテンツのｋｎｅｅ＿ｆｕｎｃｔｉｏｎ＿ｉｎｆｏ  ＳＥＩに格納する、
上記（３）又は（４）のいずれかに記載の画像処理装置。
（６）前記伝送部は、輝度変換情報を符号値で表現した前記メタデータを伝送する、
上記（３）に記載の画像処理装置。
（７）前記伝送部は、前記メタデータを前記コンテンツのＴｏｎｅ＿ｍａｐｐｉｎｇ＿ｉｎｆｏ  ＳＥＩに格納する、
上記（３）又は（６）のいずれかに記載の画像処理装置。
（８）第１のダイナミック・レンジのコンテンツを第２のダイナミック・レンジのコンテンツに変換する輝度変換情報を含んだメタデータに基づいて、前記第１のダイナミック・レンジのコンテンツを出力先のディスプレイに適合させる第２の輝度変換情報を作成するメタデータ処理部と、
前記第２の輝度変換情報に基づいて前記第１のダイナミック・レンジのコンテンツを処理するコンテンツ処理部と、
を具備する画像処理装置。
（９）前記メタデータ処理部は、１以上のポイントにおける前記第１のダイナミック・レンジから前記第２のダイナミック・レンジへの変換前後の輝度値の関係を含む前記メタデータに基づいて、前記第１のダイナミック・レンジにおける輝度値を所定のピーク輝度を持つ前記ディスプレイにおける輝度値に変換する変換テーブルを作成し、
前記コンテンツ処理部は、前記変換テーブルに基づいて、前記第１のダイナミック・レンジのコンテンツの輝度を変換する、
上記（８）に記載の画像処理装置。
（１０）前記メタデータ処理部は、所定の伝送コンテナーに格納されたメタデータに基づいて前記第２の輝度変換情報を作成する、
上記（８）又は（９）のいずれかに記載の画像処理装置。
（１１）前記メタデータ処理部は、輝度変換情報を線形輝度値で表現した前記メタデータに基づいて前記第２の輝度変換情報を作成し、
前記コンテンツ処理部は、電光線形変換処理した後の輝度信号に対して前記第２の輝度変換情報に基づく処理を行なう、
上記（１０）に記載の画像処理装置。
（１２）前記メタデータ処理部は、前記コンテンツのｋｎｅｅ＿ｆｕｎｃｔｉｏｎ＿ｉｎｆｏ  ＳＥＩに格納されたメタデータに基づいて前記第２の輝度変換情報を作成する、
上記（１０）又は（１１）のいずれかに記載の画像処理装置。
（１３）前記メタデータ処理部は、輝度変換情報を符号値で表現した前記メタデータに基づいて前記第２の輝度変換情報を作成し、
前記コンテンツ処理部は、電光線形変換処理する後の輝度符号値に対して前記第２の輝度変換情報に基づく処理を行なう、
上記（１０）に記載の画像処理装置。
（１４）前記メタデータ処理部は、前記コンテンツのＴｏｎｅ＿ｍａｐｐｉｎｇ＿ｉｎｆｏ  ＳＥＩに格納されたメタデータに基づいて前記第２の輝度変換情報を作成する、
上記（１０）又は（１３）のいずれかに記載の画像処理装置。
（１５）前記メタデータ処理部は、前記ディスプレイのピーク輝度が前記第１のダイナミック・レンジのピーク輝度よりも大きいときには、前記第２の輝度変換情報を作成せず、前記コンテンツ処理部による前記第１のダイナミック・レンジのコンテンツの処理を行なわせない、
上記（８）に記載の画像処理装置。
（１６）第１のダイナミック・レンジのコンテンツを第２のダイナミック・レンジのコンテンツに変換する輝度変換情報を取得する情報取得ステップと、
前記輝度変換情報に基づいてコンテンツのメタデータを生成するメタデータ作成ステップと、
を有する画像処理方法。
（１７）第１のダイナミック・レンジのコンテンツを第２のダイナミック・レンジのコンテンツに変換する輝度変換情報を含んだメタデータに基づいて、前記第１のダイナミック・レンジのコンテンツを出力先のディスプレイに適合させる第２の輝度変換情報を作成するメタデータ処理ステップと、
前記第２の輝度変換情報に基づいて前記第１のダイナミック・レンジのコンテンツを処理するコンテンツ処理ステップと、
を有する画像処理方法。
【符号の説明】
【０１０９】
１００…画像提供システム
２００…画像提供装置
２０１…撮影部、２０２…グレーディング・マスタリング部２０２
２０３…光電変換部、
３００…画像利用装置  
３０１…復号部、３０２…電光線形変換部
３０３…線形ディスプレイ・ガンマー変換部、３０４…表示部
７０１…コンテンツ処理部、７０２…メタデータ作成部
７０３…符号化部、７０４…コンテンツ提供部
１１０１…コンテンツ取得部、１１０２…復号部
１１０３…メタデータ処理部、１１０４…ストリーム・データ処理部
１１０５…ディスプレイ
１２０１…線形電光変換部、１２０２…ディスプレイ・マッピング部
１２０３…光電変換部
１３０１…ディスプレイ・マッピング部、１３０２…線形電光変換部
１３０３…光電変換部
【図１】
2016058848.tif 000005
【図２】
2016058848.tif 000006
【図３】
2016058848.tif 000007
【図４】
2016058848.tif 000008
【図６】
2016058848.tif 000009
【図７】
2016058848.tif 000010
【図８】
2016058848.tif 000011
【図９】
2016058848.tif 000012
【図１０】
2016058848.tif 000013
【図１１】
2016058848.tif 000014
【図１２】
2016058848.tif 000015
【図１３】
2016058848.tif 000016
【図１４】
2016058848.tif 000017
【図５】
2016058848.tif 000018