(57)【要約】  映像表示装置（１０２）は、映像の最大輝度に応じた変換カーブを用いて前記映像の輝度を変換するトーンマップ処理を行うトーンマップ処理部（１２３Ｂ）と、前記トーンマップ処理後の映像を表示する表示部（１２４）とを備え、前記トーンマップ処理部（１２３Ｂ）は、前記映像における最大輝度の時系列の変化に応じて、前記変換カーブを時系列に変更する第１トーンマップ処理を行うか、前記映像における最大輝度の時系列の変化に依らず、一定の変換カーブを用いる第２トーンマップ処理を行うか、を切り替え、使用するトーンマップ処理を、第２トーンマップ処理から第１トーンマップ処理に切り替える場合、使用する変換カーブを前記一定の変換カーブから時系列に変更する変換カーブに、複数フレームにおいて連続的又は段階的に変更する。
2019012729.tif 000002
【特許請求の範囲】
【請求項１】
映像の最大輝度に応じた変換カーブを用いて前記映像の輝度を変換するトーンマップ処理を行うトーンマップ処理部と、
前記トーンマップ処理後の映像を表示する表示部とを備え、
前記トーンマップ処理部は、
前記映像における最大輝度の時系列の変化に応じて、前記変換カーブを時系列に変更する第１トーンマップ処理を行うか、前記映像における最大輝度の時系列の変化に依らず、一定の変換カーブを用いる第２トーンマップ処理を行うか、を切り替え、
使用するトーンマップ処理を、前記第２トーンマップ処理から前記第１トーンマップ処理に切り替える場合、使用する変換カーブを前記一定の変換カーブから時系列に変更する変換カーブに、複数フレームにおいて連続的又は段階的に変更する
映像表示装置。
【請求項２】
前記トーンマップ処理部は、前記映像にグラフィックスが含まれない場合、前記第１トーンマップ処理を行い、前記映像に前記グラフィックスが含まれる場合、前記第２トーンマップ処理を行う
請求項１記載の映像表示装置。
【請求項３】
前記トーンマップ処理部は、前記第１トーンマップ処理を行うか前記第２トーンマップ処理を行うかを示す第１フラグに応じて、前記第１トーンマップ処理を行うか、前記第２トーンマップ処理を行うかを決定する
請求項１記載の映像表示装置。
【請求項４】
前記第１フラグは、前記映像に字幕が含まれるか否かを示す第２フラグと、前記映像にメニューが含まれるか否かを示す第３フラグとを含む
請求項３記載の映像表示装置。
【請求項５】
前記第１フラグは、間欠的に字幕が表示される一連の期間である字幕表示期間と、予め定められた時間以上字幕が表示されない字幕不表示期間とを示し、
前記トーンマップ処理部は、前記字幕表示期間において前記第２トーンマップ処理を行い、前記字幕不表示期間において前記第１トーンマップ処理を行う
請求項３記載の映像表示装置。
【請求項６】
前記トーンマップ処理部は、前記第１トーンマップ処理から前記第２トーンマップ処理に切り替わった場合、前記第２トーンマップ処理において、直前の変換カーブを継続して用いる
請求項１〜５のいずれか１項に記載の映像表示装置。
【請求項７】
前記トーンマップ処理部は、前記第２トーンマップ処理において、
境界輝度以上の輝度に対しては、前記映像における最大輝度の時系列の変化に応じて、前記変換カーブを時系列に変更し、
前記境界輝度未満の輝度に対しては、前記映像における最大輝度の時系列の変化に依らず、一定の変換カーブを用いる
請求項２記載の映像表示装置。
【請求項８】
映像表示装置における映像表示方法であって、
映像の最大輝度に応じた変換カーブを用いて前記映像の輝度を変換するトーンマップ処理を行うトーンマップ処理ステップと、
前記トーンマップ処理後の映像を表示する表示ステップとを含み、
前記トーンマップ処理ステップでは、
前記映像における最大輝度の時系列の変化に応じて、前記変換カーブを時系列に変更する第１トーンマップ処理を行うか、前記映像における最大輝度の時系列の変化に依らず、一定の変換カーブを用いる第２トーンマップ処理を行うか、を切り替え、
使用するトーンマップ処理を、前記第２トーンマップ処理から前記第１トーンマップ処理に切り替える場合、使用する変換カーブを前記一定の変換カーブから時系列に変更する変換カーブに、複数フレームにおいて連続的又は段階的に変更する
映像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、映像を表示する映像表示装置及び映像表示方法に関する。
【背景技術】
【０００２】
特許文献１には、ＨＤＲ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）映像において、画像上にグラフィックスをマップするための方法及びシステムについて記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第６１０４４１１号明細書
【非特許文献】
【０００４】
【非特許文献１】White Paper Blu-ray Disc Read-Only Format (Ultra HD Blu-ray), Audio Visual Application Format Specifications for BD-ROM Version 3.1, August 2016, http://www.blu-raydisc.com/Assets/Downloadablefile/BD-ROM_Part3_V3.1_WhitePaper_160729_clean.pdf
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本開示は、表示する映像の質を向上できる映像表示装置又は映像表示方法を提供する。
【課題を解決するための手段】
【０００６】
本開示の一態様に係る映像表示装置は、映像の最大輝度に応じた変換カーブを用いて前記映像の輝度を変換するトーンマップ処理を行うトーンマップ処理部と、前記トーンマップ処理後の映像を表示する表示部とを備え、前記トーンマップ処理部は、前記映像における最大輝度の時系列の変化に応じて、前記変換カーブを時系列に変更する第１トーンマップ処理を行うか、前記映像における最大輝度の時系列の変化に依らず、一定の変換カーブを用いる第２トーンマップ処理を行うか、を切り替え、使用するトーンマップ処理を、前記第２トーンマップ処理から前記第１トーンマップ処理に切り替える場合、使用する変換カーブを前記一定の変換カーブから時系列に変更する変換カーブに、複数フレームにおいて連続的又は段階的に変更する。
【発明の効果】
【０００７】
本開示は、表示する映像の質を向上できる映像表示装置又は映像表示方法を提供できる。
【図面の簡単な説明】
【０００８】
【図１】図１は、映像技術の進化について説明するための図である。
【図２】図２は、コンテンツに新たな映像表現を導入するときの、映像制作、配信方式、及び表示装置の関係について説明するための図である。
【図３Ａ】図３Ａは、トーンマップの一例を示す図である。
【図３Ｂ】図３Ｂは、トーンマップの一例を示す図である。
【図４Ａ】図４Ａは、スタティックトーンマップの一例を示す図である。
【図４Ｂ】図４Ｂは、ダイナミックトーンマップの一例を示す図である。
【図５】図５は、動画にグラフィックスを重畳して表示する例を示す図である。
【図６】図６は、主映像にグラフィックスが重畳されたときのダイナミックトーンマップの影響を示す図である。
【図７】図７は、実施の形態１に係る映像表示システムのブロック図である。
【図８Ａ】図８Ａは、実施の形態１に係る主映像ダイナミックメタデータ及びグラフィックス重畳フラグの一例を示す図である。
【図８Ｂ】図８Ｂは、実施の形態１に係る主映像ダイナミックメタデータ及びグラフィックス重畳フラグの一例を示す図である。
【図９】図９は、実施の形態１に係るトーンマップ処理部のブロック図である。
【図１０】図１０は、実施の形態１に係るトーンマップ処理部の変形例のブロック図である。
【図１１Ａ】図１１Ａは、実施の形態１に係る比較部における判定処理を説明するための図である。
【図１１Ｂ】図１１Ｂは、実施の形態１に係る比較部における判定処理を説明するための図である。
【図１１Ｃ】図１１Ｃは、実施の形態１に係る比較部における判定処理を説明するための図である。
【図１２】図１２は、実施の形態１に係る映像再生装置の処理を示すフローチャートである。
【図１３】図１３は、実施の形態１に係る映像表示装置の処理を示すフローチャートである。
【図１４】図１４は、実施の形態２に係るトーンマップ処理部のブロック図である。
【図１５】図１５は、実施の形態２に係る映像表示装置の処理を示すフローチャートである。
【図１６】図１６は、実施の形態２に係る係数変更部のブロック図である。
【図１７Ａ】図１７Ａは、実施の形態３に係る主映像ダイナミックメタデータ、グラフィックス重畳フラグ及びグラフィックス輝度情報の一例を示す図である。
【図１７Ｂ】図１７Ｂは、実施の形態３に係る主映像ダイナミックメタデータ及びグラフィックス輝度情報の一例を示す図である。
【図１８Ａ】図１８Ａは、従来のトーンマップによる輝度の変化を示す図である。
【図１８Ｂ】図１８Ｂは、実施の形態に係るトーンマップによる輝度の変化を示す図である。
【図１９】図１９は、実施の形態４に係る映像表示システムのブロック図である。
【図２０】図２０は、実施の形態４に係る映像表示システムのブロック図である。
【発明を実施するための形態】
【０００９】
［１−１．背景］
まず、映像技術の変遷について、図１を用いて説明する。図１は、映像技術の進化について説明するための図である。
【００１０】
これまで、映像の高画質化としては、表示画素数の拡大に主眼がおかれ、Ｓｔａｎｄａｒｄ  Ｄｅｆｉｎｉｔｉｏｎ（ＳＤ）の７２０×４８０画素から、Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ（ＨＤ）の１９２０×１０８０画素の映像が普及している。
【００１１】
近年、更なる高画質化を目指して、Ｕｌｔｒａ  Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ（ＵＨＤ）の３８４０×１９２０画素、あるいは、４Ｋの４０９６×２０４８画素の、所謂４Ｋ映像の導入が開始された。
【００１２】
４Ｋの導入と共に、ダイナミックレンジ拡張、色域拡大、又は、フレームレートの追加或いは向上なども検討されている。
【００１３】
その中でも、ダイナミックレンジについては、暗部階調を維持しつつ、現行のテレビ信号で表現不能な鏡面反射光などの明るい光を、より現実に近い明るさで表現するための方式として、ＨＤＲ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）が注目されている。具体的には、これまでのテレビ信号は、ＳＤＲ（Ｓｔａｎｄａｒｄ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）と呼ばれ、最高輝度が１００ｎｉｔであった。これに対して、ＨＤＲでは１０００ｎｉｔ以上まで最高輝度を拡大することが想定されている。ＨＤＲは、ＳＭＰＴＥ（Ｓｏｃｉｅｔｙ  ｏｆ  Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  ＆  Ｔｅｌｅｖｉｓｉｏｎ  Ｅｎｇｉｎｅｅｒｓ）、及びＩＴＵ−Ｒ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ  Ｕｎｉｏｎ  Ｒａｄｉｏｃｏｍｍｕｎｉｃａｔｉｏｎｓ  Ｓｅｃｔｏｒ）などにおいて、マスタリングディスプレー用規格の標準化が進行中である。
【００１４】
ＨＤＲの具体的な適用先としては、ＨＤ及びＵＨＤと同様に、放送、パッケージメディア（Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ等）、及びインターネット配信などが想定されている。
【００１５】
［１−２．マスター生成、配信方式、及び表示装置の関係］
図２は、コンテンツに新たな映像表現を導入するときの、映像制作、配信方式、及び表示装置の関係について説明するための図である。
【００１６】
映像の高画質化のために新たな映像表現（画素数の増加等）を導入する場合には、図２に示すように、（１）映像制作側のＨｏｍｅ  Ｅｎｔｅｒｔａｉｎｍｅｎｔ向けマスターを変更する必要がある。それに応じて、（２）放送、通信、及びパッケージメディア等の配信方式も、（３）その映像を表示するテレビ、又はプロジェクター等の表示装置も更新する必要がある。
【００１７】
［１−３．トーンマップ］
トーンマップ（Ｔｏｎｅ  Ｍａｐｐｉｎｇ）は、ＨＤＲ映像の輝度と映像表示装置の最大輝度（Ｄｉｓｐｌａｙ  Ｐｅａｋ  Ｌｕｍｉｎａｎｃｅ：ＤＰＬ）との関係から、映像の最大輝度（Ｍａｘｉｍｕｍ  Ｃｏｎｔｅｎｔ  Ｌｕｍｉｎａｎｃｅ  Ｌｅｖｅｌ：ＭａｘＣＬＬ）がＤＰＬを超える場合に、映像の輝度を変換し、映像の輝度をＤＰＬ以内に収める処理である。この処理により、映像の最大輝度付近の情報を失うことなく映像を表示できる。この変換は、映像表示装置の特性にも依存し、どのように表示するかの考え方にも依存するので、映像表示装置毎に異なった変換カーブが用いられる。
【００１８】
図３Ａ及び図３Ｂは、トーンマップの一例を示す図である。図３Ａは、ＤＰＬが５００ｎｉｔの場合を示し、図３Ｂは、ＤＰＬが１０００ｎｉｔの場合を示す。また、図３Ａ及び図３Ｂは、ＭａｘＣＬＬが１０００ｎｉｔの映像を表示した場合のトーンマップと、ＭａｘＣＬＬが４０００ｎｉｔの映像を表示した場合のトーンマップとの例である。
【００１９】
図３Ａに示すように、ＤＰＬが５００ｎｉｔの場合、どちらの映像も５００ｎｉｔ以下でＭａｘＣＬＬまでを表示できるように、輝度が変換されるが、ＭａｘＣＬＬが高い映像のほうが変換の度合いは大きくなる。
【００２０】
図３Ｂに示すように、ＤＰＬが１０００ｎｉｔの場合、ＭａｘＣＬＬが１０００ｎｉｔの映像では、トーンマップが行われない。ＭａｘＣＬＬが４０００ｎｉｔの映像では、トーンマップが行われ、４０００ｎｉｔの輝度が１０００ｎｉｔに変換されて表示される。
【００２１】
［１−４．ダイナミックメタデータとダイナミックトーンマップ］
図４Ａは、スタティックメタデータを用いたトーンマップの例を示す図である。図４Ｂは、ダイナミックメタデータを用いたダイナミックトーンマップの例を示す図である。
【００２２】
図４Ａに示すように、スタティックメタデータ（ＭａｘＣＬＬ）が用いられる場合、ＭａｘＣＬＬは一連の映像内で最も高い輝度を示すため、映像表示装置は、一連の映像に対して、固定的なトーンマップしか行えない。これに対して、映像表示装置は、図４Ｂの（ａ）に示すように、時間変化する輝度に合わせたメタデータ（ここではＤｙｎａｍｉｃ  ＭａｘＣＬＬと称す）を用いることで、輝度が低い場合は、トーンマップを行わず（図４Ｂの（ｂ））、輝度が高い場合はトーンマップを行う（図４Ｂの（ｃ））というように、時間変化する輝度に合わせた最適なトーンマップを実現できる。
【００２３】
［１−５．映像とグラフィックスとの合成］
図５は、動画にメニュー及び字幕などのグラフィックスを重畳して、映像表示装置で表示する例を示す図である。ここでは、Ｕｌｔｒａ  ＨＤ  Ｂｌｕ−ｒａｙの例を示す。
【００２４】
グラフィックスを重畳する前の動画を主映像と表現する。Ｕｌｔｒａ  ＨＤ  Ｂｌｕ−ｒａｙではグラフィックスは、ＨＤ解像度で準備される。映像再生装置は、ＨＤのグラフィックスに対してＨＤ−ＵＨＤ変換を行うことでＵＨＤのグラフィックスを生成する。そして、映像再生装置は、得られたＵＨＤのグラフィックスと、ＵＨＤ解像度の主映像とを合成する。そして、映像再生装置は、合成後の映像を、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）を通じて映像表示装置に送る。映像表示装置は、送られてきた映像をＨＤＲとして表示する。
【００２５】
また、映像再生装置は、ダイナミックメタデータを、主映像の輝度の時間変化に基づいて決定し、ＨＤＭＩを通じて、映像表示装置に送る。映像表示装置は、送られてきたダイナミックメタデータに基づき、主映像に字幕及びメニューが重畳された映像信号に対して、ダイナミックトーンマップを施す。
【００２６】
この状況は、放送又は通信によるＯＴＴ（Ｏｖｅｒ  Ｔｈｅ  Ｔｏｐ）サービスでのＨＤＲ映像を表示する場合でも、主映像にメニュー又は字幕が重畳され、得られた映像が映像表示装置で表示される場合は同様である。
【００２７】
［１−６．動画にグラフィックスを重畳した映像データにダイナミックトーンマップを行う場合の課題］
ダイナミックメタデータ方式では、ＨＤＲ映像の輝度分布などの輝度に関わるメタデータがフレーム毎に指定され、映像信号とともに、そのようなメタデータが、映像表示装置に送られる。映像表示装置は、当該映像表示装置の最大輝度などの表示能力に応じて、送られてきたメタデータを参考にして、輝度を変換するなどの処理を行う。このようなダイナミックメタデータ方式は、映像表示装置の輝度などの表示性能によらずできるだけ一定の品質の映像を表示する方式として、注目されている。
【００２８】
しかしながら、ダイナミックメタデータは、時間的に変化するために、本来一定であるべき映像の表示が、安定しないという問題がある。
【００２９】
表示すべき映像が、同時に編集、又は監修された映像、いわゆる動画だけであるならば、ある程度、映像の状況を考慮した処理が可能である。このような動画を主映像とし、同時に、本来一定であり、まったく変動しない、字幕又はメニューなどのグラフィックスデータが主映像に重畳されて表示されると、ダイナミックメタデータを使用した処理により、一定であるべきグラフィックスの輝度又は色が変化するという悪影響が出てくる。この悪影響は、主映像の輝度が高く、映像表示装置の輝度が低いほど顕著となる。
【００３０】
図６は、主映像にグラフィックスが重畳されたときのダイナミックトーンマップの影響を示す図である。ここで、図６の（ａ）に示すように、重畳されるグラフィックスの輝度を３５０ｎｉｔ仮定する。図６の（ｂ）に示すように主映像の輝度が低い区間では、トーンマップが行われず、グラフィックスは本来の輝度である３５０ｎｉｔで映像表示装置に表示される。一方、図６の（ｃ）に示すように、主映像の輝度が高い区間では、トーンマップが行われ、グラフィックスの輝度は、３５０ｎｉｔより低い輝度で映像表示装置に表示される。このように、本来一定であるべきグラフィックスの輝度が時間的に変動することになり、好ましくない状態となる。ここでは輝度だけの影響としたが、実際の映像表示装置では、色成分も影響を受けるために色も影響を受けることもある。
【００３１】
［１−７．解決方法］
上記課題を避ける手段として、重畳するグラフィックスの位置情報を映像表示装置に送り、グラフィックスが表示されている部分のみ、ダイナミックメタデータを適用しない方法が考えられる。しかし、この方法は、表示画面の全領域において、グラフィックスが表示されているかどうかの情報の伝送が必要であり、映像表示装置での処理も、表示ピクセル単位での判断が必要など、実現はかなり困難である。
【００３２】
上記問題に対して本開示では、映像再生装置は、ダイナミックメタデータの情報として、主映像にグラフィックスが重畳されているかいないかを示す「グラフィックス重畳フラグ」を映像表示装置に送る。グラフィックスとしては、メニュー及び字幕があるため、映像再生装置は、「グラフィックス重畳フラグ」として、「メニュー重畳フラグ」及び「字幕重畳フラグ」を映像表示装置に送ってもよい。
【００３３】
映像表示装置は、メニュー重畳フラグの状態により、ダイナミックトーンマップのＯｎ／Ｏｆｆ又はその強さを変化させる。これにより、重畳されたグラフィックスへのダイナミックトーンマップの影響を低減できる。また、複数のＨＤＲ方式が、一つのストリーム又はディスク内で混在することが許されるので、映像表示装置に適した方式を使用することができる。
【００３４】
ここで、メニュー表示時に、ダイナミックトーンマップをやめて、トーンマップを固定する場合は、トーンマップは連続であり違和感はない。しかしながら、メニュー消去時に、トーンマップを固定した状態からダイナミックトーンマップに戻す場合には、その時点での最適なトーンマップは、メニュー表示時のトーンマップとは異なっている。これにより、トーンマップが不連続となってしまうという第１の課題がある。
【００３５】
また、字幕表示時に、字幕重畳フラグを映像表示装置に送付し、トーンマップを固定する方法では以下の課題がある。字幕の表示は会話ごとであり、非常に短期間に、字幕が表示されている状況と表示されていない状況が変化する。これにより、字幕が表示されている期間のみ、トーンマップを固定する方式では、処理が困難となるという第２の課題がある。また、字幕表示がＯＦＦになる場合に、メニュー表示をＯＦＦとする場合と同様に、トーンマップが不連続になるという課題がある。
【００３６】
本開示では以下の解決方法を用いる。第１の方法では、映像表示装置は、メニュー消去時に、トーンマップを固定した状態からダイナミックトーンマップに戻す場合、以下の何れかの方法を用いてトーンマップの連続性を実現する。
【００３７】
（１）映像表示装置は、固定中のトーンマップと表示する映像のトーンマップとがほぼ同様なトーンマップとなるまで、トーンマップ固定し、違和感がないところからダイナミックトーンマップを再開する。
【００３８】
（２）映像表示装置は、トーンマップをカテゴリにわけ、固定中のトーンマップと表示する映像のトーンマップとが同一又は近傍のカテゴリの場合に、ダイナミックトーンマップを再開する。カテゴリは、映像の輝度、輝度分布、又は分散などで決定される。あるいは、製作者が、映像に違和感がない範囲でカテゴリを決定する。
【００３９】
（３）映像表示装置は、メニュー消去時から所定の時定数に基づき、そのときの規定のダイナミックトーンマップになるようにトーンマップを変化させ、通常のダイナミックトーンマップに戻す。
【００４０】
第２の方法では、映像表示装置は、上記第２の課題を解決するために、以下の何れかの方法を用いる。
【００４１】
（１）映像表示装置は、個々の字幕の表示状況によらず、字幕表示がＯＮの場合に、トーンマップを固定する。
【００４２】
（２）個々の字幕とは別に、所定の間隔の字幕の不表示期間又は表示期間が定義され、映像表示装置は、不表示期間ではダイナミックトーンマップを行い、表示期間ではトーンマップを固定する。
【００４３】
さらに、映像表示装置は、字幕のＯＮ／ＯＦＦに従って、ダイナミックトーンマップを制御する場合において、字幕が実効的にＯＦＦになったことで、トーンマップを固定した状態からダイナミックトーンマップに戻す場合、第１の方法と同様な方法により、違和感なく通常のダイナミックトーンマップを再開する。
【００４４】
第３の方法では、映像再生装置は、メニュー又は字幕の実効的な表示のＯＮ／ＯＦＦを映像表示装置に伝えるより具体的な方法として、メニューと字幕の実効的な最大輝度を示すＭＡＸＧＬＬ（Ｍａｘｉｍｕｍ  Ｇｒａｐｈｉｃｓ  Ｌｕｍｉｎａｎｃｅ  Ｌｅｖｅｌ）又はＭＡＸＳＬＬ（Ｍａｘｉｍｕｍ  Ｓｕｂｔｉｔｌｅ  Ｌｕｍｉｎａｎｃｅ  Ｌｅｖｅｌ）情報を映像表示装置に送付する。
【００４５】
このＭＡＸＧＬＬ及びＭＡＸＳＬＬは、主映像データ、並びに、主映像データとともに表示されるメニュー及び字幕などのグラフィックスデータの制作時に決定され、映像再生装置は、主映像データとともにＭＡＸＧＬＬ及びＭＡＸＳＬＬを取得し、主映像データ、ＭＡＸＧＬＬ及びＭＡＸＳＬＬを映像表示装置へ送付してもよい。または、映像再生装置は、メニュー又は字幕を主映像に重畳する際に、その輝度を取得することでＭＡＸＧＬＬ又はＭＡＸＳＬＬを生成し、生成したＭＡＸＧＬＬ又はＭＡＸＳＬＬを映像表示装置に送ってもよい。
【００４６】
特に、第２の方法の場合は、映像再生装置又は映像表示装置が、字幕データとは別に、実効的な字幕表示期間を定める必要がある。よって、実効的な字幕表示期間を示すタイミング情報が、字幕の輝度情報とともに、メタデータとして、グラフィックスデータ制作時に作成され、映像再生装置は、メタデータを参照してＭＡＸＳＬＬ及びタイミング情報を映像表示装置に送付する。
【００４７】
上記の第１の方法により、主映像にダイナミックトーンマップを行うとともに、メニュー又は字幕などのグラフィックスが重畳されている場合には、ダイナミックトーンマップを全て固定したり、グラフィックスの輝度以下でトーンマップを固定したりする映像表示装置において、グラフィックスの重畳をやめて、通常のダイナミックトーンマップに移行した際の違和感を低減できる。
【００４８】
また、字幕のＯＮ／ＯＦＦに従い、ダイナミックトーンマップの処理を変える場合には、字幕のＯＦＦの間隔が短いときのように、ダイナミックトーンマップの変更が難しい場合がある。上記の第２の方法により、実効的なＯＮ期間を設定することで、このような場合にもスムーズにダイナミックトーンマップを切り替えることができる。
【００４９】
また、上記の第３の方法により、メニュー又は字幕のグラフィックス情報のＯＮ／ＯＦＦ又は輝度情報を正確に映像表示装置に伝えることで、ダイナミックトーンマップの処理を適切に行うことができ、品位が高いＨＤＲ映像の再生を実現できる。さらに、データ制作時にタイミング情報及び輝度情報を作成することで、制作者の意図をより正確に反映したダイナミックトーンマップ処理を実現できる。
【００５０】
［２．実施の形態１］
本実施の形態では、映像表示装置は、メニュー表示時に、ダイナミックトーンマップを行わずトーンマップを固定する。また、映像表示装置は、メニュー消去時においてトーンマップを固定した状態からダイナミックトーンマップに戻す場合、以下の何れかの方法を用いてトーンマップの連続性を実現する。
【００５１】
（１）映像表示装置は、固定中のトーンマップと表示する映像のトーンマップとがほぼ同様なトーンマップとなるところまで、トーンマップ固定し、違和感がないところからダイナミックトーンマップを再開する。
【００５２】
（２）映像表示装置は、トーンマップをカテゴリにわけ、固定中のトーンマップと表示する映像のトーンマップとが同一又は近傍のカテゴリの場合に、ダイナミックトーンマップを再開する。カテゴリは、映像の輝度、輝度分布、又は分散などで決定される。あるいは、製作者が、映像に違和感がない範囲でカテゴリを決定する。
【００５３】
［２−１．映像表示システムの構成］
図７は、本実施の形態に係る映像表示システム１００の構成を示すブロック図である。図７に示す映像表示システム１００は、映像再生装置１０１と、映像表示装置１０２とを含む。
【００５４】
映像再生装置１０１は、映像を再生し、得られた映像を映像表示装置１０２に出力する。この映像再生装置１０１は、取得部１１１と、デマルチプレクサ１１２と、主映像デコード部１１３と、字幕デコード部１１４と、メニューデコード部１１５と、メタデータ取得部１１６と、グラフィックス合成部１１７と、主映像合成部１１８と、映像送出部１１９とを含む。
【００５５】
取得部１１１は、映像信号を取得する。例えば、映像再生装置１０１がディスク再生装置である場合には、取得部１１１は、ディスクを再生することで映像信号を取得する。また、映像再生装置１０１が放送受信装置である場合は、取得部１１１は、放送波を受信することで映像信号を取得する。また、映像再生装置１０１がインターネット放送受信装置である場合は、取得部１１１は、インターネット放送を受信することで映像信号を取得する。
【００５６】
デマルチプレクサ１１２は、映像信号に含まれる符号化された主映像信号、字幕信号及びメニュー信号をそれぞれ、主映像デコード部１１３、字幕デコード部１１４及びメニューデコード部１１５に出力する。
【００５７】
主映像デコード部１１３は、デマルチプレクサ１１２から出力された符号化された主映像信号を復号する。
【００５８】
字幕デコード部１１４は、デマルチプレクサ１１２から出力された符号化された字幕信号を復号する。また、字幕デコード部１１４は、ユーザの操作等に基づき、字幕を表示するか否か、及び表示する字幕の種別を選択し、字幕を表示する場合には、選択した字幕をグラフィックス合成部１１７に出力する。
【００５９】
メニューデコード部１１５は、デマルチプレクサ１１２から出力された符号化されたメニュー信号を復号する。また、メニューデコード部１１５は、ユーザの操作等に基づき、メニューを表示するか否か、及び表示するメニューの種別を選択し、メニューを表示する場合には、選択したメニューをグラフィックス合成部１１７に出力する。なお、メニューデコード部１１５は、映像信号からの情報だけでなく、映像再生装置１０１で動作するプログラムによりメニューを合成及び表示してもよい。
【００６０】
メタデータ取得部１１６は、主映像ダイナミックメタデータを取得する。例えば、メタデータ取得部１１６は、主映像信号に含まれる情報に基づき主映像ダイナミックデータを生成する。
【００６１】
グラフィックス合成部１１７は、字幕とメニューとを構成することでグラフィックス情報を生成する。なお、上述したようにグラフィックス合成部１１７は、字幕及びメニューの解像度を変換してもよい。例えば、Ｕｌｔｒａ  ＨＤ  Ｂｌｕ−ｒａｙの場合には、グラフィックス合成部１１７は、ＨＤの字幕及びメニューをＵＨＤの字幕及びメニューに変換する。
【００６２】
また、グラフィックス合成部１１７は、グラフィックス情報を生成し、生成したグラフィックス情報を主映像に重畳する場合、グラフィックス重畳フラグをＯＮとして、映像送出部１１９に送る。また、グラフィックス合成部１１７は、グラフィックス情報を主映像に重畳しない場合、グラフィックス重畳フラグをＯＦＦとして、映像送出部１１９に送る。なお、グラフィックス重畳フラグは、映像再生装置１０１内のプログラムにより生成されてもよいし、他の手段によって生成されてもよい。
【００６３】
主映像合成部１１８は、主映像デコード部１１３で得られた主映像と、グラフィックス合成部１１７で生成されたグラフィックス情報とを合成することで映像信号を生成する。
【００６４】
映像送出部１１９は、主映像合成部１１８で生成された映像信号と、ダイナミックメタデータとを、ＨＤＭＩケーブル等の映像信号伝送手段を介して映像表示装置１０２に伝送する。ダイナミックメタデータは、メタデータ取得部１１６で取得された主映像ダイナミックメタデータと、グラフィックス合成部１１７で生成されたグラフィックス重畳フラグとを含む。
【００６５】
図８Ａは、映像再生装置１０１から映像表示装置１０２に送られる主映像ダイナミックメタデータ及びグラフィックス重畳フラグの構成例を示す図である。図８Ａに示すように、主映像ダイナミックメタデータは、主映像の最大輝度及び平均輝度を示す。例えば、主映像ダイナミックメタデータは、１フレーム単位又は複数フレーム単位の最大輝度及び平均輝度を示す。
【００６６】
図８Ｂは、主映像ダイナミックメタデータ及びグラフィックス重畳フラグの別の構成例を示す図である。図８Ｂに示すようにグラフィックス重畳フラグは、字幕を主映像に重畳しているかどうかを示す字幕重畳フラグと、メニューを主映像に重畳しているかどうかを示すメニュー重畳フラグとを含んでもよい。
【００６７】
次に、映像表示装置１０２の構成について説明する。映像表示装置１０２は、映像受信部１２１と、メタデータ取得部１２２と、トーンマップ処理部１２３と、表示部１２４とを備える。
【００６８】
映像受信部１２１は、映像再生装置１０１から送られてくる映像信号とダイナミックメタデータを受け取る。映像受信部１２１は、映像信号とダイナミックメタデータとを分離し、映像信号をトーンマップ処理部１２３へ送り、ダイナミックメタデータをメタデータ取得部１２２に送る。メタデータ取得部１２２は、ダイナミックメタデータに含まれる主映像ダイナミックメタデータ及びグラフィックス重畳フラグを制御信号として、トーンマップ処理部１２３へ送る。
【００６９】
トーンマップ処理部１２３は、主映像ダイナミックメタデータに従い、映像信号のトーンマップ処理を行う。具体的には、トーンマップ処理部１２３は、グラフィックス重畳フラグがＯＦＦの場合には、主映像ダイナミックメタデータに従い、映像信号のトーンマップ処理（ダイナミックトーンマップ処理）を行う。一方、トーンマップ処理部１２３は、グラフィックス重畳フラグがＯＮの場合は、重畳されているグラフィックスへのダイナミックトーンマップの影響を低減したトーンマップ処理を行う。表示部１２４は、トーンマップ処理後の映像信号を表示する。
【００７０】
［２−２．トーンマップ処理部］
トーンマップ処理部１２３の詳細について説明する。図９は、トーンマップ処理部１２３の構成を示すブロック図である。トーンマップ処理部１２３は、係数演算部１３１と、係数保持部１３２と、トーンマップ部１３３と、比較部１３５と、切替部ＳＷ１、ＳＷ２及びＳＷ３とを備える。
【００７１】
映像受信部１２１からの映像信号は、トーンマップ部１３３へ送られる。メタデータ取得部１２２からの主映像ダイナミックメタデータは、係数演算部１３１に送られる。
【００７２】
係数演算部１３１は、トーンマップ部１３３におけるトーンマップ処理で用いられるトーンマップ係数を、映像表示装置１０２の輝度などの映像表示能力に従って算出する。係数保持部１３２は、係数演算部１３１が算出したトーンマップ係数を保持する。ここで、トーンマップ係数とは、トーンマップ処理に用いられる変換カーブを示す関数に含まれる係数である。つまり、トーンマップ係数により変換カーブが決定される。
【００７３】
切替部ＳＷ１は、係数演算部１３１で算出されたトーンマップ係数（Ａ）と、係数保持部１３２に保持されているトーンマップ係数（Ｂ）との一方を選択し、選択したトーンマップ係数をトーンマップ部１３３に送る。切替部ＳＷ２は、係数演算部１３１で算出されたトーンマップ係数（Ａ）と、係数保持部１３２に保持されるトーンマップ係数（Ｂ）との一方を選択し、選択したトーンマップ係数を係数保持部１３２に入力する。つまり、切替部ＳＷ２は、係数保持部１３２に保持されるトーンマップ係数を、係数演算部１３１で新たに算出されたトーンマップ係数に更新するか（Ａ）、現在保持しているトーンマップ係数を引き続き保持するか（Ｂ）を切り替える。
【００７４】
切替部ＳＷ１及びＳＷ２は、連動しており、切替部ＳＷ３の出力信号に応じて切り替わる。切替部ＳＷ３の出力信号がＯＦＦである場合、切替部ＳＷ１及びＳＷ２は共に（Ａ）に接続される。切替部ＳＷ３の出力信号がＯＮである場合、切替部ＳＷ１及びＳＷ２は共に（Ｂ）に接続される。切替部ＳＷ３は、比較部１３５の出力信号に応じて、グラフィックス重畳フラグを出力する（Ｃ）か、常にＯＮを出力する（Ｄ）かを切り替える。
【００７５】
比較部１３５は、係数演算部１３１が主映像ダイナミックメタデータから演算した主映像に応じてダイナミックに変化するトーンマップ係数と、係数保持部１３２が保持しているグラフィックス重畳フラグがＯＮとなったときのトーンマップ係数とを比較し、比較結果に基づき切替部ＳＷ３を制御する。
【００７６】
初期状態では、グラフィックス重畳フラグがＯＦＦであり、比較部１３５に入力される二つのトーンマップ係数は同じであるので、比較部１３５の出力信号はＯＮであり、切替部ＳＷ３は（Ｃ）に接続される。
【００７７】
グラフィックス重畳フラグがＯＮになると、係数保持部１３２は、グラフィックス重畳フラグがＯＮに変化したときのトーンマップ係数を保持する。これにより、比較部１３５に入力される二つのトーンマップ係数が異なり、比較部１３５の出力信号はＯＦＦとなり、切替部ＳＷ３は（Ｄ）に接続される。
【００７８】
係数演算部１３１から出力されるトーンマップ係数が、係数保持部１３２で保持されているトーンマップ係数と同等となると、比較部１３５の出力信号がＯＮになる。これにより、切替部ＳＷ３が（Ｃ）に接続され、切替部ＳＷ１及びＳＷ２は、グラフィックス重畳フラグの状態により制御される。つまり、グラフィックス重畳フラグがＯＦＦの場合に、切替部ＳＷ１及びＳＷ２は（Ａ）に接続され、係数演算部１３１でダイナミックに演算されるトーンマップ係数が、トーンマップ部１３３に送られる。これにより、通常のダイナミックトーンマップが実行される。
【００７９】
また、グラフィックス重畳フラグが、字幕重畳フラグとメニュー重畳フラグとを含む場合、その組み合わせにより、トーンマップ部１３３へ入力されるトーンマップ係数の処理を変えることができる。一例として、字幕重畳フラグがＯＮの場合は、トーンマップ係数を固定とする（切替部ＳＷ１及びＳＷ２はＢに接続される）が、メニュー重畳フラグだけがＯＮの場合は、通常のトーンマップ係数が用いられる（切替部ＳＷ１及びＳＷ２はＡに接続される）などである。
【００８０】
また、本構成は、一例であり、トーンマップ処理部１２３は、グラフィックス重畳フラグがＯＮの場合、トーンマップ係数を特定の輝度以下で固定してもよいし、トーンマップ処理を行わないとしてもよい。
【００８１】
図１０は、トーンマップ係数を特定の輝度以下で固定する場合のトーンマップ処理部１２３Ａの構成を示す図である。トーンマップ処理部１２３Ａは、切替部ＳＷ１の代わりに係数合成部１３４を備える。
【００８２】
係数合成部１３４は、切替部ＳＷ３の出力信号がＯＮの場合、つまり、切替部ＳＷ３が（Ｄ）に接続されているか、グラフィックス重畳フラグがＯＮの場合、予め定められた輝度である境界輝度以上の輝度に対してはダイナミックトーンマップ処理を行うが、境界輝度未満の輝度に対しては（１）トーンマップを固定する、（２）トーンマップ処理を行わない、（３）トーンマップの変動を抑える、又は（４）トーンマップの影響が人に感知できない程度とするなどの処理を行う。ここで、境界輝度とは、例えば、グラフィックスに用いられている輝度の最大値より高い輝度である。これにより、グラフィックスに用いられる輝度範囲においてトーンマップが変動することが抑制される。また、上記処理において、境界輝度以上の変換カーブと、境界輝度未満の変換カーブとの連続性を維持するために、係数合成部１３４は、これらの境界領域において変換カーブが滑らかに変化するように変換カーブを補正してもよい。
【００８３】
なお、ここでは、映像、字幕、及びメニューのみについての構成を説明したが、映像再生装置１０１、及び映像表示装置１０２では、音声信号なども処理、伝送、及び出力する。これらは、本開示には、かかわりがないために、以降の説明を含め省略している。
【００８４】
また、グラフィックス重畳フラグが、字幕重畳フラグとメニュー重畳フラグとを含む場合、図１０に示す係数合成部１３４は、字幕重畳フラグとメニュー重畳フラグの状態により、異なる合成の方法を用いる。例えば、係数合成部１３４は、字幕重畳フラグがＯＮの場合と、メニュー合成フラグのみがＯＮの場合とで、上記境界輝度を異なる値に設定する。
【００８５】
係数合成部１３４は、表示部１２４の最高輝度、及びその他の映像に関わる特性を考慮して境界輝度を設定する。ここで、一般的にメニューの輝度レベルは字幕の輝度レベルより高い。よって、係数合成部１３４は、メニュー重畳フラグがＯＮの場合には、字幕重畳フラグのみがＯＮの場合に比べて、境界輝度を高く設定する。
【００８６】
なお、メニューは、使用者の意思によって重畳するかどうかが決められるものであり、メニューへのダイナミックトーンマップの影響よりも、主映像のトーンマップを重視するという考え方もできる。よって、係数合成部１３４は、メニュー重畳フラグのみがＯＮの場合には、字幕重畳フラグがＯＮの場合に比べて、境界輝度を低く設定してもよい。
【００８７】
比較部１３５は、二つのトーンマップ係数を比較する方法として以下のいずれかの方法を用いる。例えば、比較部１３５は、二つのトーンマップ係数が完全に一致しているかどうか、又は予め定められた誤差範囲内であるかを判定する。これは、トーンマップ係数の値の範囲が狭い場合に有効である。図１１Ａは、トーンマップ係数を構成する値が、所定の誤差範囲であれば、一致とみなす場合の判定方法を示す図である。なお、図１１Ａにおいては、ｎはトーンマップ係数を構成する値の数であり、Ｔ０ｉは主映像ダイナミックメタデータに基づくトーンマップ係数であり、Ｔ１ｉは係数保持部１３２で保持しているトーンマップ係数であり、Ｄｉはそれぞれの値ごとの所定の誤差である。また、ｏｕｔｐｕｔ  “ＹＥＳ”，  ｏｕｔｐｕｔ  “ＮＯ”は、比較部１３５の出力信号を“ＹＥＳ”または”ＮＯ“とする手続きを示す。
【００８８】
別の方法では、比較部１３５は、トーンマップ係数を構成する個々の値をそのまま比較するのでなく、輝度情報であれば、いくつかのグループに分け、評価し、誤差を認めて比較する。例えば、比較部１３５は、トーンマップ係数を、最高輝度、中間輝度、低輝度などにわけ、それぞれのについて評価関数を設け評価し、その結果を比較する。
【００８９】
あるいは、比較部１３５は、誤差を比較するのではなく、これらのグループ化した値を用いた座標空間において、所定の値で領域をわけ、同一領域であれば一致と判定し、異なる領域であれば不一致と判定する。図１１Ｂは、この場合の判定例を示す図である。
【００９０】
あるいは、比較部１３５は、同一及び近接領域であれば一致と判定し、その他の場合は不一致と判定する。図１１Ｃは、この場合の判定例を示す図である。
【００９１】
なお、図１１Ｂ及び図１１Ｃでは、座標空間を二次元で表現したが、それ以上の次元が用いられてもよい。
【００９２】
［２−３．映像表示システムの動作］
映像表示システムの動作の流れを説明する。図１２は、映像再生装置１０１の動作を示すフローチャートである。映像再生装置１０１は、映像の再生を開始した後、グラフィックス（字幕、及びメニュー）の処理状態によりグラフィックスが主映像に重畳されているかどうかを判定する（Ｓ１０１）。グラフィックスが主映像に重畳されている場合（Ｓ１０１でＹｅｓ）、映像再生装置１０１は、グラフィックス重畳フラグをＯＮに設定する（Ｓ１０２）。一方、グラフィックスが主映像に重畳されていない場合（Ｓ１０１でＮｏ）、映像再生装置１０１は、グラフィックス重畳フラグをＯＦＦに設定する（Ｓ１０３）。そして、映像再生装置１０１は、映像再生が完了するか、あるいは、再生停止操作があるまで、ステップＳ１０１〜Ｓ１０３の処理を繰り返し行う（Ｓ１０４）。例えば、この処理は、１フレーム単位又は複数フレーム単位で繰り返し行われる。
【００９３】
図１３は、映像表示装置１０２の動作を示すフローチャートである。映像表示が開始されると、まず、初期状態として、トーンマップを更新するダイナミックトーンマップが選択される（Ｓ１１１）。具体的には、切替部ＳＷ３はＣに接続され、切替部ＳＷ１及びＳＷ２はそれぞれＡに接続される。
【００９４】
この状態では、グラフィックス重畳フラグの状態に基づき、切替部ＳＷ３の出力信号が定まる。つまり、グラフィックス重畳フラグがＯＦＦの状態では（Ｓ１１２でＮｏ、かつＳ１１３でＮｏ）、このダイナミックトーンマップが続く（Ｓ１１５）。また、このとき、係数保持部１３２では、変化するトーンマップ係数が保持される。
【００９５】
一方、グラフィックス重畳フラグがＯＮになると（Ｓ１１２でＹｅｓ）、映像表示装置１０２は、トーンマップを固定する（Ｓ１１６）。具体的には、切替部ＳＷ３の出力信号がＯＮになる。これにより、切替部ＳＷ１及びＳＷ２がＢに接続され、係数保持部１３２には、自身の出力信号が入力される。よって、切替部ＳＷ２がＡからＢとなる直前のトーンマップ係数が係数保持部１３２に保持される。また、切替部ＳＷ１がＢに接続されることから、トーンマップ部１３３へ入力されるトーンマップ係数が固定される。これにより、トーンマップの時間変動がなくなる。このとき、比較部１３５に入力される二つのトーンマップ係数は、通常異なるため、切替部ＳＷ３はＤに接続され、切替部ＳＷ３の出力信号は常にＯＮとなる。
【００９６】
一度、トーンマップが固定される状態になると、グラフィックス重畳フラグがＯＦＦとなっても（Ｓ１１２でＮｏ、かつＳ１１３でＹｅｓ）、ステップＳ１１４の条件が満たされない限りこの状態は変わらない（Ｓ１１６）。つまり、グラフィックス重畳フラグがＯＦＦになり（Ｓ１１２でＮｏ、かつＳ１１３でＹｅｓ）、かつ、主映像ダイナミックメタデータに基づくトーンマップ係数が、係数保持部１３２で保持されているトーンマップ係数、つまり、グラフィックス重畳フラグが最初にＯＮになったときのトーンマップ係数と所定の条件で一致したとき（Ｓ１１４でＹｅｓ）、トーンマップを固定する状態が解除され、ダイナミックトーンマップに移行する（Ｓ１１５）。
【００９７】
具体的には、比較部１３５の出力信号がＯＮとなり、切替部ＳＷ３がＣに接続され、グラフィックス重畳フラグの状態が、切替部ＳＷ１及びＳＷ２の状態を決める状態となる。ここで、グラフィックス重畳フラグがＯＦＦであれば、切替部ＳＷ１及びＳＷ２はＡに接続され、主映像のダイナミックメタデータに基づいたトーンマップ係数を用いたダイナミックトーンマップが実行される。
【００９８】
これらの一連の処理が、映像の受信完了又は表示ＯＦＦの操作がなされるまで繰り返し行われる（Ｓ１１７）。例えば、この処理は、１フレーム単位又は複数フレーム単位で繰り返し行われる。
【００９９】
以上のように、本実施の形態に係る映像表示システム１００は、映像の最大輝度に応じた変換カーブを用いて映像の輝度を変換するトーンマップ処理を行うトーンマップ処理部１２３と、トーンマップ処理後の映像を表示する表示部１２４とを備える。トーンマップ処理部１２３は、映像における最大輝度の時系列の変化に応じて、変換カーブを時系列に変更する第１トーンマップ処理を行うか（Ｓ１１５）、映像における最大輝度の時系列の変化に依らず、一定の変換カーブを用いる第２トーンマップ処理を行うか（Ｓ１１６）、を切り替える。
【０１００】
これにより、例えば、映像の種別等に応じて、トーンマップに用いる変換カーブを時系列に変更するか、固定するかを切り替えることができる。よって、映像の種別等に応じて、各時刻において最適なトーンマップを行うか、トーンマップを固定することで、本来一定であるべき映像の輝度が変化することを抑制するかを切り替えることができる。このように、映像表示システム１００は、表示する映像の質を向上できる。
【０１０１】
また、映像表示システム１００は、さらに、主映像にグラフィックスを合成することで映像を生成する合成部（主映像合成部１１８及びグラフィックス合成部１１７）を備える。トーンマップ処理部１２３は、主映像にグラフィックスが合成されていない場合（Ｓ１１２でＮｏ）、第１トーンマップ処理を行い（Ｓ１１５）、主映像にグラフィックスが合成された場合（Ｓ１１２でＹｅｓ）、第２トーンマップ処理を行う（Ｓ１１６）。これにより、グラフィックスの輝度の変化を抑制できる。
【０１０２】
また、合成部は、主映像にグラフィックスを合成したか否かを示す第１フラグ（グラフィックス重畳フラグ）を生成する。トーンマップ処理部１２３は、第１フラグに応じて、第１トーンマップ処理を行うか、第２トーンマップ処理を行うかを決定する。
【０１０３】
また、グラフィックスは、字幕及びメニューを含み、第１フラグは、主映像に字幕を合成したか否かを示す第２フラグ（字幕重畳フラグ）と、主映像にメニューを合成したか否かを示す第３フラグ（メニュー重畳フラグ）とを含む。これによれば、字幕が重畳されている場合とメニューが重畳されている場合とで、それぞれに適したトーンマップ処理を行うことができる。
【０１０４】
例えば、トーンマップ処理部１２３は、第１トーンマップ処理から第２トーンマップ処理に切り替わった場合、第２トーンマップ処理において、直前の変換カーブを継続して用いる。これによれば、第１トーンマップ処理から第２トーンマップ処理への切り替わりにおいて輝度が大きく変化することを抑制できる。
【０１０５】
例えば、図１０に示すように、トーンマップ処理部１２３Ａは、第２トーンマップ処理において、境界輝度以上の輝度に対しては、映像における最大輝度の時系列の変化に応じて、変換カーブを時系列に変更し、境界輝度未満の輝度に対しては、映像における最大輝度の時系列の変化に依らず、一定の変換カーブを用いる。
【０１０６】
これによれば、境界輝度以上の木地に対しては、各時刻において最適なトーンマップを行うことができるとともに、境界輝度未満の輝度に対しては、輝度が変化することを抑制できる。
【０１０７】
また、トーンマップ処理部１２３は、第２トーンマップ処理を行っている状態において、第２トーンマップ処理で用いられる一定の変換カーブと、第１トーンマップ処理で用いられる時系列に変更される変換カーブとが所定の条件を満たす場合、使用するトーンマップ処理を、第２トーンマップ処理から第１トーンマップ処理に切り替え、前記条件を満たさない場合、第２トーンマップ処理を継続する。
【０１０８】
例えば、前記条件は、第２トーンマップ処理で用いられる一定の変換カーブと、第１トーンマップ処理で用いられる時系列に変更される変換カーブとの差が予め定められた値以下であることである。
【０１０９】
例えば、変換カーブは複数のカテゴリに分類され、前記条件は、第２トーンマップ処理で用いられる一定の変換カーブと、第１トーンマップ処理で用いられる時系列に変更される変換カーブとの同一のカテゴリに分類されることである。
【０１１０】
これによれば、第２トーンマップ処理から第１トーンマップ処理への切り替えにおいて、使用されるトーンマップが大きく変更されることを抑制できる。
【０１１１】
また、本実施の形態に係る映像表示装置１０２は、映像の最大輝度に応じた変換カーブを用いて映像の輝度を変換するトーンマップ処理を行うトーンマップ処理部１２３と、トーンマップ処理後の映像を表示する表示部１２４とを備える。トーンマップ処理部１２３は、映像における最大輝度の時系列の変化に応じて、変換カーブを時系列に変更する第１トーンマップ処理を行うか（Ｓ１１５）、映像における最大輝度の時系列の変化に依らず、一定の変換カーブを用いる第２トーンマップ処理を行うか（Ｓ１１６）、を切り替える。
【０１１２】
これにより、例えば、映像の種別等に応じて、トーンマップに用いる変換カーブを時系列に変更するか、固定するかを切り替えることができる。よって、映像の種別等に応じて、各時刻において最適なトーンマップを行うか、トーンマップを固定することで、本来一定であるべき映像の輝度が変化することを抑制するかを切り替えることができる。このように、映像表示装置１０２は、表示する映像の質を向上できる。
【０１１３】
また、トーンマップ処理部１２３は、映像にグラフィックスが含まれない場合（Ｓ１１２でＮｏ）、第１トーンマップ処理を行い（Ｓ１１５）、映像にグラフィックスが含まれる場合（Ｓ１１２でＹｅｓ）、第２トーンマップ処理を行う（Ｓ１１６）。これにより、グラフィックスの輝度の変化を抑制できる。
【０１１４】
また、トーンマップ処理部１２３は、第１トーンマップ処理を行うか第２トーンマップ処理を行うかを示す第１フラグ（グラフィックス重畳フラグ）に応じて、第１トーンマップ処理を行うか、第２トーンマップ処理を行うかを決定する。
【０１１５】
また、第１フラグは、映像に字幕が含まれるか否かを示す第２フラグ（字幕重畳フラグ）と、映像にメニューが含まれるか否かを示す第３フラグ（メニュー重畳フラグ）とを含む。これによれば、字幕が重畳されている場合とメニューが重畳されている場合とで、それぞれに適したトーンマップ処理を行うことができる。
【０１１６】
［３．実施の形態２］
本実施の形態では、映像表示装置は、メニュー消去時に、トーンマップを固定した状態からダイナミックトーンマップに戻す場合、メニュー消去時から、所定の時定数に基づき、そのときの規定のダイナミックトーンマップになるように使用するトーンマップを変化させる。これにより、トーンマップの連続性を実現できる。
【０１１７】
映像再生装置１０１の構成は、実施の形態１と同様であり、説明を省略する。また、映像表示装置１０２が備えるトーンマップ処理部１２３Ｂの構成が実施の形態１のトーンマップ処理部１２３と異なる。図１４は、本実施の形態に係るトーンマップ処理部１２３Ｂの構成を示すブロック図である。
【０１１８】
図１４に示すトーンマップ処理部１２３Ｂは、切替部ＳＷ１の代わりに係数変更部１３６を備える。また、トーンマップ処理部１２３Ｂは、比較部１３５及び切替部ＳＷ３を備えない。
【０１１９】
図１５は、トーンマップ処理部１２３Ｂの処理を示すフローチャートである。図１５に示す処理は、図１３に示す処理に対して、ステップＳ１１４の代わりにステップＳ１１８を含む。
【０１２０】
係数演算部１３１は、主映像ダイナミックメタデータを用いて、映像表示装置１０２の最大輝度又は表示特性に応じたトーンマップ係数を演算する。グラフィックス重畳フラグがＯＦＦの場合（Ｓ１１２でＮｏ、かつＳ１１３でＮｏ）、トーンマップが更新される（Ｓ１１５）。具体的には、切替部ＳＷ２はＡに接続される。また、係数変更部１３６は、入力されたトーンマップ係数をそのままトーンマップ部１３３に出力する。トーンマップ部１３３は、入力された映像信号を、トーンマップ係数を用いてトーンマップ処理する。これにより、ダイナミックトーンマップが実現される。
【０１２１】
一方、グラフィックス重畳フラグがＯＦＦからＯＮになると（Ｓ１１２でＹｅｓ）、トーンマップが固定される（Ｓ１１６）。具体的には、切替部ＳＷ２はＢに接続され、そのときのトーンマップ係数が、係数保持部１３２に保持される。この場合、係数変更部１３６は、係数保持部１３２から出力されたトーンマップ係数を、トーンマップ部１３３に出力する。従って、グラフィックス重畳フラグがＯＮの場合、トーンマップ係数が固定され、主映像のトーンマップは固定される。
【０１２２】
ここで、グラフィックス重畳フラグがＯＮからＯＦＦになると（Ｓ１１２でＮｏ、かつＳ１１３でＹｅｓ）、ダイナミックトーンマップが実施されるように、係数変更部１３６は、係数演算部１３１から出力されるトーンマップ係数を出力する。このとき、係数変更部１３６は、固定されていたトーンマップ係数から、ダイナミックに変動するトーンマップ係数への切り替えを、瞬時に行うのではなく、トーンマップ係数を徐々に変化させる（Ｓ１１８）。
【０１２３】
なお、徐々に変化するとは、予め定められた期間において、連続的又は段階的にトーンマップ係数が変化することを意味する。つまり、上記期間において、係数保持部１３２からのトーンマップ係数（以下係数Ｂと呼ぶ）と係数演算部１３１からのトーンマップ係数（以下係数Ａと呼ぶ）との間の１以上の値を経て、係数Ｂから係数Ａにトーンマップ係数が変更される。また、予め定められた期間とは、例えば、複数フレームが表示される期間である。つまり、係数Ｂを用いてトーンマップ処理されたフレームと、係数Ｂと係数Ａとの間トーンマップ係数を用いてトーンマップ処理された１以上のフレームと、係数Ａを用いてトーンマップ処理されたフレームとが順次出力される。
【０１２４】
図１６に係数変更部１３６の構成を示すブロック図である。係数変更部１３６は、係数フェード部１４１と、比較部１４２と、切替部ＳＷ４及びＳＷ５とを備える。
【０１２５】
係数演算部１３１からのトーンマップ係数（係数Ａ）は、切替部ＳＷ４のＥと比較部１４２及び係数フェード部１４１に入力される。係数保持部１３２からのトーンマップ係数（係数Ｂ）は、係数フェード部１４１に入力される。グラフィックス重畳フラグは、係数フェード部１４１を制御するために用いられ、また、切替部ＳＷ５のＧに入力される。係数フェード部１４１の出力信号は、比較部１４２に入力されるとともに、切替部ＳＷ４のＦに入力される。比較部１４２の出力信号は、切替部ＳＷ５を制御する。切替部ＳＷ５のＨは、常にＯＮとなる信号が入力される。切替部ＳＷ５の出力信号で、切替部ＳＷ４が制御される。切替部ＳＷ４の出力信号は、変更後のトーンマップ係数であり、トーンマップ部１３３に送られる。
【０１２６】
以下、図１６に示す係数変更部１３６の動作を説明する。初期状態では、入力される二つの係数Ａと係数Ｂとが同一であり、グラフィックス重畳フラグがＯＦＦであることから、係数フェード部１４１の出力信号も、係数Ａと同じトーンマップ係数である。また、比較部１４２の出力信号はＯＮとなり、切替部ＳＷ５はＧに接続される。そのため切替部ＳＷ５の出力信号はＯＦＦとなり、切替部ＳＷ４はＥに接続され、トーンマップ部１３３へ係数Ａがそのまま出力される。
【０１２７】
この状態で、グラフィックス重畳フラグがＯＮとなると、係数Ａは、主映像に応じてダイナミックに変化するが、グラフィックス重畳フラグがＯＮとなった時の係数Ａの値が係数Ｂとして保持される。係数フェード部１４１は、グラフィックス重畳フラグがＯＮのときは、係数Ｂをそのまま出力し、グラフィックス重畳フラグがＯＮからＯＦＦに変化したとき、係数Ｂからその時々の係数Ａになるように所定の時定数でフェード処理を行う。比較部１４２は、グラフィックス重畳フラグがＯＮに変化したとき、入力される係数Ａと係数Ｂとが異なるので、ＯＦＦを出力し、切替部ＳＷ５がＨに接続される。これにより、切替部ＳＷ５の出力信号が常にＯＮとなり、切替部ＳＷ４がＦに接続される。つまり、係数フェード部１４１が出力したトーンマップ係数がトーンマップ部１３３に出力される。
【０１２８】
ここで、グラフィックス重畳フラグがＯＦＦとなると、係数フェード部１４１で、所定の時定数でのフェード処理が始まることで、係数フェード部１４１から出力されるトーンマップ係数は、徐々に係数Ｂから係数Ａに近づいていく。
【０１２９】
比較部１４２は、係数フェード部１４１から出力されるトーンマップ係数と、係数Ａとを比較し、両者が同一とみなした場合、出力信号をＯＦＦにする。例えば、比較部１４２は、図１１Ａ〜図１１Ｃで示した方法のように、所定の誤差あるいは、所定の判断基準を用いて二つの係数が一致するか否かを判定する。
【０１３０】
これにより、切替部ＳＷ５がＧに接続される。よって、切替部ＳＷ５の出力信号は、グラフィックス重畳フラグと同じ値、つまり、ＯＦＦとなることで、切替部ＳＷ４がＥに接続される。これにより、初期状態と同じく、係数Ａがそのままトーンマップ部１３３に出力される。つまり、主映像ダイナミックメタデータに応じたトーンマップ係数が出力さる。
【０１３１】
以上の処理により、グラフィックス重畳フラグがＯＮとなったときは、ダイナミックトーンマップが固定され、グラフィックス重畳フラグがＯＦＦになったときには、使用されるトーンマップ係数が、変化する主映像ダイナミックメタデータに応じたトーンマップ係数にスムーズに切り替わる。
【０１３２】
また、グラフィックス重畳フラグにＯＮ／ＯＦＦを示す情報だけでなく、トーンマップの境界輝度の情報も含まれる場合、映像表示装置１０２は、係数合成部を備えてもよい。この係数合成部は、境界輝度以上の輝度においては、ダイナミックトーンマップを継続し、境界輝度未満の輝度はトーンマップを固定するように、図１５の切替部ＳＷ４の出力信号と、係数演算部１３１からのトーンマップ係数とを合成する。
【０１３３】
以上のように、本実施の形態に係る映像表示システム１００では、トーンマップ処理部１２３Ｂは、映像における最大輝度の時系列の変化に応じて、変換カーブを時系列に変更する第１トーンマップ処理を行うか、映像における最大輝度の時系列の変化に依らず、一定の変換カーブを用いる第２トーンマップ処理を行うか、を切り替え、使用するトーンマップ処理を、第２トーンマップ処理から第１トーンマップ処理に切り替える場合、使用する変換カーブを前記一定の変換カーブから時系列に変更する変換カーブに、複数フレームにおいて連続的又は段階的に変更する（Ｓ１１８）。
【０１３４】
これによれば、第２トーンマップ処理から第１トーンマップ処理への切り替えにおいて、使用されるトーンマップが大きく変更されることを抑制できる。
【０１３５】
［４．実施の形態３］
字幕表示時に、字幕重畳フラグを映像表示装置に送付し、ダイナミックトーンマップを固定する方法では以下の課題がある。字幕の表示は会話ごとであり、非常に短期間に、字幕が表示されている状況と表示されていない状況が変化する。これにより、字幕が表示されている期間のみ、トーンマップを固定する方式では、処理が困難となるという第２の課題がある。本実施の形態では、以下の何れかの方法によりこの第２の課題を解決する。
【０１３６】
（１）映像表示装置は、個々の字幕の表示状況によらず、字幕表示がＯＮの場合に、ダイナミックトーンマップを固定する。
【０１３７】
（２）映像表示装置は、個々の字幕とは別に、所定の間隔の字幕の不表示期間又は表示期間を定義し、不表示期間ではダイナミックトーンマップを行い、表示期間ではトーンマップを固定する。
【０１３８】
さらに、映像表示装置は、字幕のＯＮ／ＯＦＦに従って、ダイナミックトーンマップを制御する場合において、字幕が実効的にＯＦＦになったことで、トーンマップを固定した状態からダイナミックトーンマップに戻す場合、実施の形態１又は２と同様な方法により、違和感なく通常のダイナミックトーンマップを再開する。
【０１３９】
本実施の形態に係る映像表示システム１００の全体構成は図７と同じであるため、ここでは詳細を省略する。映像再生装置１０１は、グラフィックス重畳フラグを、二つにわけ、メニュー重畳フラグ及び字幕重畳フラグを映像表示装置１０２に送る。または、映像再生装置１０１は、メニュー最大輝度情報（ＭＡＸＧＬＬ）及び字幕最大輝度情報（ＭＡＸＳＬＬ）をグラフィックス重畳フラグとして、映像表示装置１０２に送る。これにより、映像表示装置１０２は、適切なトーンマップを行うことができる。
【０１４０】
図１７Ａは、主映像ダイナミックメタデータ、グラフィックス重畳フラグ及びグラフィックス輝度情報の構成例を示す図である。また、図１７Ｂは、主映像ダイナミックメタデータ、及びグラフィックス輝度情報の別の構成例を示す図である。ここでは、字幕用のメタデータと、メニュー用のメタデータとが存在している例を示す。
【０１４１】
図１７Ａに示す例では、字幕重畳フラグとメニュー重畳フラグとが独立して存在する。また、グラフィックス輝度情報は、字幕の最大輝度を示す字幕最大輝度情報（ＭＡＸＳＬＬ）と、メニューの最大輝度を示すメニュー最大輝度情報（ＭＡＸＧＬＬ）とを含む。
【０１４２】
図１７Ｂに示す例では、ＭＡＸＳＬＬ、及びＭＡＸＧＬＬの特定の値を字幕又はメニューが重畳されていない状態を示す情報として用いている。具体的には、ＭＡＸＳＬＬ及びＭＡＸＧＬＬは、それぞれ８ビットで構成される。ＭＡＸＳＬＬでは、値０は字幕が存在しないことを示し、値２５５は字幕が存在するが輝度が不明であることを示し、その他の値は、字幕が存在し、４ｎｉｔから５１０ｎｉｔまで、４ｎｉｔ単位で字幕の明るさを示す。ＭＡＸＧＬＬでは、値０はメニューが存在しないことを示し、値２５５はメニューが存在するが輝度が不明であることを示し、その他の値は、メニューが存在し、８ｎｉｔから１０２０ｎｉｔまで、８ｎｉｔ単位でメニューの明るさを示す。なお、ＭＡＸＳＬＬ及びＭＡＸＳＬＬの値と輝度の関係として、ここでは、ＭＡＸＳＬＬは２ｎｉｔ単位、ＭＡＸＧＬＬは４ｎｉｔ単位が用いられる例を示したが、システムによって、適切な単位とすることができる。
【０１４３】
以下、本実施の形態に係る映像表示システム１００の動作を説明する。映像再生装置１０１は、メニューについては、メニューが表示されているときのみ、メニュー重畳フラグをＯＮにする。一方、字幕は、主映像に同期し、たびたび表示されるため、字幕に対しても、メニューと同様に重畳されているときのみＯＮとするという制御では、映像表示装置１０２でのトーンマップの切り替えが頻繁に起きる。よって、本実施の形態では、字幕については、以下の動作が用いられる。
【０１４４】
主映像を再生する場合にその再生制御情報（Ｂｌｕ−ｒａｙではＰｌａｙｌｉｓｔ）に、字幕が定義され、かつ映像再生装置１０１で字幕表示可能と設定される。さらに、再生制御コマンドで字幕表示がＯＮの場合、映像再生装置１０１は、主映像の再生を始めるとともに字幕重畳フラグをＯＮとし、かつ、ＭＡＸＳＬＬを固定とする。これは、その再生制御情報による再生が終わるまで、あるいは、映像再生装置１０１の設定で字幕の表示をやめた場合、あるいは、再生制御コマンドで、字幕表示をやめるまで継続される。ＭＡＸＳＬＬが輝度不定又は定義されていない場合は、上記の字幕表示期間、及びトーンマップは固定となる。
【０１４５】
図１８Ａは、ＭＡＸＳＬＬの設定がない場合（従来例）におけるトーンマップの例を示す図である。図１８Ｂは、ＭＡＸＳＬＬが設定された場合のトーンマップの例を示す図である。図１８Ｂに示すように、ＭＡＸＳＬＬで設定した輝度（２００ｎｉｔ）以下の領域でトーンマップが行われず、安定した字幕を表示できる。
【０１４６】
一方で、上記の制御を行った場合、字幕が実質的に長い期間表示されない場合でも、ダイナミックトーンマップの効果を十分に獲ることができないという欠点がある。よって、所定の時間長さ以上字幕が表示されない期間では、映像再生装置１０１は、字幕重畳フラグをＯＦＦに設定する。これにより、ダイナミックトーンマップの効果をより多く得ることができる。この字幕重畳フラグをＯＦＦとする字幕不表示期間は、字幕作成時に定義され、字幕データとともに字幕重畳フラグあるいはＭＡＸＳＬＬとして記録される。
【０１４７】
以上のように、第１フラグ（例えば字幕重畳フラグ又はＭＡＸＳＬＬ）は、間欠的に字幕が表示される一連の期間である字幕表示期間と、予め定められた時間以上字幕が表示されない字幕不表示期間とを示す。トーンマップ処理部は、字幕表示期間において第２トーンマップ処理（例えばトーンマップを固定）を行い、字幕不表示期間において第１トーンマップ処理（例えばダイナミックトーンマップ）を行う。これによれば、トーンマップの切り替えが頻繁に起きることを抑制できる。
【０１４８】
［５．実施の形態４］
本実施の形態では、映像再生装置が、Ｕｌｔｒａ  ＨＤ  Ｂｌｕ−ｒａｙの映像再生装置の場合について説明する。Ｂｌｕ−ｒａｙの場合、メニューにＢＤ−Ｊ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ  Ｊａｖａ（登録商標））が用いられる場合と、ＨＤＭＶ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｍｏｖｉｅ  Ｍｏｄｅ）が用いられる場合があり、以下では、それぞれ実施の形態について説明する。
【０１４９】
なお、映像表示装置１０２の構成は、実施の形態１又は実施の形態２と同様である。図１９は、メニューにＢＤ−Ｊが用いられる場合の映像再生装置１０１Ａの構成例を示す図である。図１９に示すように映像再生装置１０１Ａは、ＢＤ−ＲＯＭ駆動部１５２と、ＢＤ−Ｊエンジン１５３と、デマルチプレクサ１５４と、ＰＧデコーダ（ＰＧ  Ｄｅｃ）１５５と、映像デコーダ（Ｖｉｄｅｏ  Ｄｅｃ）１５６と、Ｉｎｆｏ  Ｆｒａｍｅ変換部１５７とを備える。
【０１５０】
映像再生装置１０１Ａが、ディスク１５１（ＢＤ−ＲＯＭメディア）から再生を始めると、ＢＤ−Ｊのデータとプログラムが、映像再生装置１０１Ａが備えるメモリに読み込まれる。ＢＤ−Ｊエンジン１５３は、Ｊａｖａプログラムを実行する。プログラムが、主映像の再生コマンドである場合、再生コマンドの再生制御情報（Ｐｌａｙｌｉｓｔ）に従って、映像ストリームがディスクより読み込まれ、デマルチプレクサ１５４に送られる。デマルチプレクサ１５４は、映像ストリームを、それぞれの素材ストリームに分け、字幕をＰＧデコーダ１５５に送り、主映像を映像デコーダ１５６に送る。また、ここでは図示していないが、デマルチプレクサ１５４は、音声を音声デコーダに送る。
【０１５１】
その後、主映像と字幕とが合成され、得られた映像が音声とともに、ＨＤＭＩを介して映像表示装置１０２（例えばＴＶ）に送られる。
【０１５２】
このとき、主映像のＳＥＩメッセージから、ダイナミックメタデータが抜き取られ、Ｉｎｆｏ  Ｆｒａｍｅ変換部１５７へ送られる。字幕については、字幕重畳フラグ又はＭＡＸＳＬＬが、別途規定されているメタデータから抽出され、Ｉｎｆｏ  Ｆｒａｍｅ変換部１５７へ送られる。または、字幕重畳フラグ又はＭＡＸＳＬＬは、再生制御情報（Ｐｌａｙｌｉｓｔ）に記述され、再生が始まるときに、メモリに取り込まれ、Ｉｎｆｏ  Ｆｒａｍｅ変換部１５７へ送られる。または、字幕重畳フラグ又はＭＡＸＳＬＬは、字幕データそのものに埋め込まれ、字幕データから抽出され、Ｉｎｆｏ  Ｆｒａｍｅ変換部１５７へ入力される。
【０１５３】
字幕表示がＯＦＦとなった場合、どちらの場合も、Ｉｎｆｏ  Ｆｒａｍｅ変換部１５７への字幕重畳フラグ又はＭＡＸＳＬＬの入力が止まる。
【０１５４】
ここで、Ｊａｖａプログラムでメニューを表示する場合、Ｊａｖａプログラムにより、メニュー重畳フラグ又はＭＡＸＧＬＬが、Ｉｎｆｏ  Ｆｒａｍｅ変換部１５７に送られる。これにより、主映像、字幕、及びメニューに関するメタデータが、Ｉｎｆｏ  Ｆｒａｍｅとして、映像及び音声とともに、ＨＤＭＩを通して映像表示装置１０２へ送られる。
【０１５５】
図２０は、メニューにＨＤＭＶが用いられる場合の映像再生装置１０１Ｂの構成例を示す図である。図２０に示すように映像再生装置１０１Ｂは、映像再生装置１０１Ａの構成に対して、ＢＤ−Ｊエンジン１５３の代わりに、ＩＧデコーダ（ＩＧ  Ｄｅｃ）１５８と、ＢＤＭＶコマンド解釈部（ｉｎｔｅｒｐｒｅｔｅｒ）１５９とを備える。
【０１５６】
ＨＤＭＶの場合もＨＤＭＶのコマンドで映像再生が始まると、ＢＤ−Ｊの場合と同様に、映像、音声及び字幕が処理され、ＨＤＭＩを経由して映像表示装置１０２に出力される。ユーザ操作、又はＨＤＭＶのコマンドでメニューを表示する場合、ＩＧデコーダ１５８及びＢＤＭＶコマンド解釈部１５９は、ＩＧストリームとして記録されているＩＧデータをデコードし、表示するグラフィックスデータとメニューのためのコマンドを抽出する。このとき、コマンドのパラメータに、メニュー重畳フラグ又はＭＡＸＧＬＬを出力する指示が記載されることで、メニュー重畳フラグ又はＭＡＸＧＬＬが、Ｉｎｆｏ  Ｆｒａｍｅ変換部１５７へ送られる。または、ＩＧデータそのものにＭＡＸＧＬＬが記載され、ＩＧデコーダ１５８及びＢＤＭＶコマンド解釈部１５９から直接、Ｉｎｆｏ  Ｆｒａｍｅ変換部１５７へＭＡＸＧＬＬが送られる。
【０１５７】
メニュー重畳フラグ又はＭＡＸＧＬＬをＩｎｆｏ  Ｆｒａｍｅ変換部１５７へ送るためのＪＡＶＡ（登録商標）プログラムとして、以下のようなコマンドが用いられる。（１）メニュー重畳フラグをＯＦＦに設定する。（２）メニュー重畳フラグをＯＮに設定する。（３）メニュー重畳フラグをレジスタの値に設定する。（４）ＭＡＸＧＬＬを指定値に設定する。（５）ＭＡＸＧＬＬをレジスタの値に設定する。ＨＤＭＶの場合も上記と同様なコマンドを用いる。
【０１５８】
また、字幕の場合においても、上記と同様なコマンドを用いてもよい。つまり、字幕重畳フラグ又はＭＡＸＳＬＬをＩｎｆｏ  Ｆｒａｍｅ変換部１５７へ送るためのＪＡＶＡプログラムとして、以下のようなコマンドが用いられる。（１）字幕重畳フラグをＯＦＦに設定する。（２）字幕重畳フラグをＯＮに設定する。（３）字幕重畳フラグをレジスタの値に設定する。（４）ＭＡＸＳＬＬを指定値に設定する。（５）ＭＡＸＳＬＬをレジスタの値に設定する。
【０１５９】
この場合、映像再生装置は、実際に字幕が表示されていなくても強制的にコマンドで設定した値を出力してもよいし、ＰＧストリーム中で定義した字幕重畳フラグがＯＮの場合のみコマンドを有効とし、コマンドでは字幕重畳フラグをＯＦＦにできないとしてもよい。
【０１６０】
なお、Ｂｌｕ−ｒａｙ、Ｕｌｔｒａ  ＨＤ  Ｂｌｕ−ｒａｙの詳細は、例えば、非特許文献１に記載されている。
【０１６１】
以上により、グラフィックスの有無に応じて、第１トーンマップ処理（例えばダイナミックトーンマップ）と、第２トーンマップ処理（例えばトーンマップを固定）とを切り替えるためのＡＰＩ（アプリケーションプログラミングインタフェース）を実現できる。これにより、第１トーンマップ処理と、第２トーンマップ処理との切り替えを容易に実現できる。
【０１６２】
［６．変形例］
取得部１１１が取得するＨＤＲ映像は、例えばＢｌｕ−ｒａｙディスク、ＤＶＤ、Ｉｎｔｅｒｎｅｔの動画配信サイト、放送、又はＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）内の映像であってもよい。
【０１６３】
上記映像再生装置は、ディスクプレイヤー、ディスクレコーダ、セットトップボックス、テレビ、パーソナルコンピュータ、又はスマートフォンなど、記録媒体、放送又はインターネットからの圧縮された映像信号を復号し、映像表示装置に送る装置でもよい。また、映像再生装置の機能の一部又は全てが、映像表示装置１０２に含まれてもよい。例えば、映像再生装置に含まれる処理部のうち、取得部１１１以外の処理部が映像表示装置１０２に含まれてもよい。また、映像表示装置１０２に含まれる映像受信部１２１、メタデータ取得部１２２及びトーンマップ処理部１２３が映像再生装置に含まれてもよい。また、トーンマップ処理部１２３に含まれる処理部のうちトーンマップ部１３３以外の処理部が映像再生装置に含まれてもよい。
【０１６４】
映像再生装置からの映像信号を映像表示装置に伝送する映像信号伝送手段は、ＨＤＭＩ、ＤＶＩ、又はＤＰなどの映像信号を非圧縮の状態で伝送する手段であってもよいし、ネットワークを通じた伝送のように映像信号を圧縮した形式で伝送する手段であってもよい。
【０１６５】
映像表示装置の最大輝度情報又はトーンマップ情報の映像再生装置への設定は、利用者が映像再生装置にリモートコントローラなどを用いて入力することで行われてもよいし、利用者が映像再生装置が備える操作装置を用いて入力することで行われてもよい。または、利用者は、インターネット又はその他の手段を用いて、これらの情報を取得し、取得した情報をポータブル記憶媒体に保存し、ポータブル記憶媒体を介して、これらの情報を映像再生装置に送ってもよい。また、映像再生装置が直接、インターネットに接続され、映像再生装置は、サーバのデータベースから、これらの情報を取得してもよい。さらに、映像再生装置は、映像表示装置にテストパターンを表示し、表示されたテストパターンを用いて映像表示装置の特性を確認しながら、これらの情報を取得及び記憶してもよい。
【０１６６】
映像再生装置は、グラフィックス（字幕又はメニュー）の輝度をそのデータから検出することでグラフィックス輝度情報（字幕輝度情報及びメニュー輝度情報を含む）を生成してもよいし、映像データ作成時に予め作成されたグラフィックスの輝度を取得してもよい。例えば、グラフィックスの輝度は、ディスクに記録されていてもよいし、メタデータとして放送又はＩｎｔｅｒｎｅｔで送付されてもよい。映像再生装置は、グラフィックスの輝度を読み取り、ダイナミックメタデータの一部として映像表示装置に送る。あるいは、Ｉｎｔｅｒｎｅｔに接続されたサーバのデータベースに、再生するコンテンツに対する情報として、グラフィックス（字幕又はメニュー）の輝度情報が記録されており、映像再生装置は、当該データベースからグラフィックスの輝度情報を取得し、取得した輝度情報を映像表示装置に送ってもよい。
【０１６７】
以上、本開示の実施の形態に係る映像表示システムについて説明したが、本開示は、この実施の形態に限定されるものではない。
【０１６８】
また、上記実施の形態に係る映像表示システムに含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
【０１６９】
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１７０】
また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【０１７１】
また、本開示は、映像表示システムにより実行される各種方法として実現されてもよい。
【０１７２】
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
【０１７３】
また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
【０１７４】
以上、一つまたは複数の態様に係る映像表示システムについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
【産業上の利用可能性】
【０１７５】
本開示は、映像表示システム、映像再生装置又は映像表示装置に適用できる。
【符号の説明】
【０１７６】
１００  映像表示システム
１０１、１０１Ａ、１０１Ｂ  映像再生装置
１０２  映像表示装置
１１１  取得部
１１２  デマルチプレクサ
１１３  主映像デコード部
１１４  字幕デコード部
１１５  メニューデコード部
１１６、１２２  メタデータ取得部
１１７  グラフィックス合成部
１１８  主映像合成部
１１９  映像送出部
１２１  映像受信部
１２３、１２３Ａ、１２３Ｂ  トーンマップ処理部
１２４  表示部
１３１  係数演算部
１３２  係数保持部
１３３  トーンマップ部
１３４  係数合成部
１３５、１４２  比較部
１３６  係数変更部
１４１  係数フェード部
１５１  ディスク
１５２  ＢＤ−ＲＯＭ駆動部
１５３  ＢＤ−Ｊエンジン
１５４  デマルチプレクサ
１５５  ＰＧデコーダ
１５６  映像デコーダ
１５７  Ｉｎｆｏ  Ｆｒａｍｅ変換部
１５８  ＩＧデコーダ
１５９  ＢＤＭＶコマンド解釈部
【図１】
2019012729.tif 000003
【図２】
2019012729.tif 000004
【図３Ａ】
2019012729.tif 000005
【図３Ｂ】
2019012729.tif 000006
【図４Ａ】
2019012729.tif 000007
【図４Ｂ】
2019012729.tif 000008
【図５】
2019012729.tif 000009
【図６】
2019012729.tif 000010
【図７】
2019012729.tif 000011
【図８Ａ】
2019012729.tif 000012
【図８Ｂ】
2019012729.tif 000013
【図９】
2019012729.tif 000014
【図１０】
2019012729.tif 000015
【図１１Ａ】
2019012729.tif 000016
【図１１Ｂ】
2019012729.tif 000017
【図１１Ｃ】
2019012729.tif 000018
【図１２】
2019012729.tif 000019
【図１３】
2019012729.tif 000020
【図１４】
2019012729.tif 000021
【図１５】
2019012729.tif 000022
【図１６】
2019012729.tif 000023
【図１７Ａ】
2019012729.tif 000024
【図１７Ｂ】
2019012729.tif 000025
【図１８Ａ】
2019012729.tif 000026
【図１８Ｂ】
2019012729.tif 000027
【図１９】
2019012729.tif 000028
【図２０】
2019012729.tif 000029
【手続補正書】
【提出日】平成30年10月12日(2018.10.12)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、映像を表示する映像表示装置及び映像表示方法に関する。
【背景技術】
【０００２】
特許文献１には、ＨＤＲ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）映像において、画像上にグラフィックスをマップするための方法及びシステムについて記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第６１０４４１１号公報
【非特許文献】
【０００４】
【非特許文献１】White Paper Blu-ray Disc Read-Only Format (Ultra HD Blu-ray), Audio Visual Application Format Specifications for BD-ROM Version 3.1, August 2016, http://www.blu-raydisc.com/Assets/Downloadablefile/BD-ROM_Part3_V3.1_WhitePaper_160729_clean.pdf
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本開示は、表示する映像の質を向上できる映像表示装置又は映像表示方法を提供する。
【課題を解決するための手段】
【０００６】
本開示の一態様に係る映像表示装置は、映像の最大輝度に応じた変換カーブを用いて前記映像の輝度を変換するトーンマップ処理を行うトーンマップ処理部と、前記トーンマップ処理後の映像を表示する表示部とを備え、前記トーンマップ処理部は、前記映像における最大輝度の時系列の変化に応じて、前記変換カーブを時系列に変更する第１トーンマップ処理を行うか、前記映像における最大輝度の時系列の変化に依らず、一定の変換カーブを用いる第２トーンマップ処理を行うか、を切り替え、使用するトーンマップ処理を、前記第２トーンマップ処理から前記第１トーンマップ処理に切り替える場合、使用する変換カーブを前記一定の変換カーブから時系列に変更する変換カーブに、複数フレームにおいて連続的又は段階的に変更する。
【発明の効果】
【０００７】
本開示は、表示する映像の質を向上できる映像表示装置又は映像表示方法を提供できる。
【図面の簡単な説明】
【０００８】
【図１】図１は、映像技術の進化について説明するための図である。
【図２】図２は、コンテンツに新たな映像表現を導入するときの、映像制作、配信方式、及び表示装置の関係について説明するための図である。
【図３Ａ】図３Ａは、トーンマップの一例を示す図である。
【図３Ｂ】図３Ｂは、トーンマップの一例を示す図である。
【図４Ａ】図４Ａは、スタティックトーンマップの一例を示す図である。
【図４Ｂ】図４Ｂは、ダイナミックトーンマップの一例を示す図である。
【図５】図５は、動画にグラフィックスを重畳して表示する例を示す図である。
【図６】図６は、主映像にグラフィックスが重畳されたときのダイナミックトーンマップの影響を示す図である。
【図７】図７は、実施の形態１に係る映像表示システムのブロック図である。
【図８Ａ】図８Ａは、実施の形態１に係る主映像ダイナミックメタデータ及びグラフィックス重畳フラグの一例を示す図である。
【図８Ｂ】図８Ｂは、実施の形態１に係る主映像ダイナミックメタデータ及びグラフィックス重畳フラグの一例を示す図である。
【図９】図９は、実施の形態１に係るトーンマップ処理部のブロック図である。
【図１０】図１０は、実施の形態１に係るトーンマップ処理部の変形例のブロック図である。
【図１１Ａ】図１１Ａは、実施の形態１に係る比較部における判定処理を説明するための図である。
【図１１Ｂ】図１１Ｂは、実施の形態１に係る比較部における判定処理を説明するための図である。
【図１１Ｃ】図１１Ｃは、実施の形態１に係る比較部における判定処理を説明するための図である。
【図１２】図１２は、実施の形態１に係る映像再生装置の処理を示すフローチャートである。
【図１３】図１３は、実施の形態１に係る映像表示装置の処理を示すフローチャートである。
【図１４】図１４は、実施の形態２に係るトーンマップ処理部のブロック図である。
【図１５】図１５は、実施の形態２に係る映像表示装置の処理を示すフローチャートである。
【図１６】図１６は、実施の形態２に係る係数変更部のブロック図である。
【図１７Ａ】図１７Ａは、実施の形態３に係る主映像ダイナミックメタデータ、グラフィックス重畳フラグ及びグラフィックス輝度情報の一例を示す図である。
【図１７Ｂ】図１７Ｂは、実施の形態３に係る主映像ダイナミックメタデータ及びグラフィックス輝度情報の一例を示す図である。
【図１８Ａ】図１８Ａは、従来のトーンマップによる輝度の変化を示す図である。
【図１８Ｂ】図１８Ｂは、実施の形態に係るトーンマップによる輝度の変化を示す図である。
【図１９】図１９は、実施の形態４に係る映像表示システムのブロック図である。
【図２０】図２０は、実施の形態４に係る映像表示システムのブロック図である。
【発明を実施するための形態】
【０００９】
［１−１．背景］
まず、映像技術の変遷について、図１を用いて説明する。図１は、映像技術の進化について説明するための図である。
【００１０】
これまで、映像の高画質化としては、表示画素数の拡大に主眼がおかれ、Ｓｔａｎｄａｒｄ  Ｄｅｆｉｎｉｔｉｏｎ（ＳＤ）の７２０×４８０画素から、Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ（ＨＤ）の１９２０×１０８０画素の映像が普及している。
【００１１】
近年、更なる高画質化を目指して、Ｕｌｔｒａ  Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ（ＵＨＤ）の３８４０×１９２０画素、あるいは、４Ｋの４０９６×２０４８画素の、所謂４Ｋ映像の導入が開始された。
【００１２】
４Ｋの導入と共に、ダイナミックレンジ拡張、色域拡大、又は、フレームレートの追加或いは向上なども検討されている。
【００１３】
その中でも、ダイナミックレンジについては、暗部階調を維持しつつ、現行のテレビ信号で表現不能な鏡面反射光などの明るい光を、より現実に近い明るさで表現するための方式として、ＨＤＲ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）が注目されている。具体的には、これまでのテレビ信号は、ＳＤＲ（Ｓｔａｎｄａｒｄ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）と呼ばれ、最高輝度が１００ｎｉｔであった。これに対して、ＨＤＲでは１０００ｎｉｔ以上まで最高輝度を拡大することが想定されている。ＨＤＲは、ＳＭＰＴＥ（Ｓｏｃｉｅｔｙ  ｏｆ  Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  ＆  Ｔｅｌｅｖｉｓｉｏｎ  Ｅｎｇｉｎｅｅｒｓ）、及びＩＴＵ−Ｒ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ  Ｕｎｉｏｎ  Ｒａｄｉｏｃｏｍｍｕｎｉｃａｔｉｏｎｓ  Ｓｅｃｔｏｒ）などにおいて、マスタリングディスプレー用規格の標準化が進行中である。
【００１４】
ＨＤＲの具体的な適用先としては、ＨＤ及びＵＨＤと同様に、放送、パッケージメディア（Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ等）、及びインターネット配信などが想定されている。
【００１５】
［１−２．マスター生成、配信方式、及び表示装置の関係］
図２は、コンテンツに新たな映像表現を導入するときの、映像制作、配信方式、及び表示装置の関係について説明するための図である。
【００１６】
映像の高画質化のために新たな映像表現（画素数の増加等）を導入する場合には、図２に示すように、（１）映像制作側のＨｏｍｅ  Ｅｎｔｅｒｔａｉｎｍｅｎｔ向けマスターを変更する必要がある。それに応じて、（２）放送、通信、及びパッケージメディア等の配信方式も、（３）その映像を表示するテレビ、又はプロジェクター等の表示装置も更新する必要がある。
【００１７】
［１−３．トーンマップ］
トーンマップ（Ｔｏｎｅ  Ｍａｐｐｉｎｇ）は、ＨＤＲ映像の輝度と映像表示装置の最大輝度（Ｄｉｓｐｌａｙ  Ｐｅａｋ  Ｌｕｍｉｎａｎｃｅ：ＤＰＬ）との関係から、映像の最大輝度（Ｍａｘｉｍｕｍ  Ｃｏｎｔｅｎｔ  Ｌｕｍｉｎａｎｃｅ  Ｌｅｖｅｌ：ＭａｘＣＬＬ）がＤＰＬを超える場合に、映像の輝度を変換し、映像の輝度をＤＰＬ以内に収める処理である。この処理により、映像の最大輝度付近の情報を失うことなく映像を表示できる。この変換は、映像表示装置の特性にも依存し、どのように表示するかの考え方にも依存するので、映像表示装置毎に異なった変換カーブが用いられる。
【００１８】
図３Ａ及び図３Ｂは、トーンマップの一例を示す図である。図３Ａは、ＤＰＬが５００ｎｉｔの場合を示し、図３Ｂは、ＤＰＬが１０００ｎｉｔの場合を示す。また、図３Ａ及び図３Ｂは、ＭａｘＣＬＬが１０００ｎｉｔの映像を表示した場合のトーンマップと、ＭａｘＣＬＬが４０００ｎｉｔの映像を表示した場合のトーンマップとの例である。
【００１９】
図３Ａに示すように、ＤＰＬが５００ｎｉｔの場合、どちらの映像も５００ｎｉｔ以下でＭａｘＣＬＬまでを表示できるように、輝度が変換されるが、ＭａｘＣＬＬが高い映像のほうが変換の度合いは大きくなる。
【００２０】
図３Ｂに示すように、ＤＰＬが１０００ｎｉｔの場合、ＭａｘＣＬＬが１０００ｎｉｔの映像では、トーンマップが行われない。ＭａｘＣＬＬが４０００ｎｉｔの映像では、トーンマップが行われ、４０００ｎｉｔの輝度が１０００ｎｉｔに変換されて表示される。
【００２１】
［１−４．ダイナミックメタデータとダイナミックトーンマップ］
図４Ａは、スタティックメタデータを用いたトーンマップの例を示す図である。図４Ｂは、ダイナミックメタデータを用いたダイナミックトーンマップの例を示す図である。
【００２２】
図４Ａに示すように、スタティックメタデータ（ＭａｘＣＬＬ）が用いられる場合、ＭａｘＣＬＬは一連の映像内で最も高い輝度を示すため、映像表示装置は、一連の映像に対して、固定的なトーンマップしか行えない。これに対して、映像表示装置は、図４Ｂの（ａ）に示すように、時間変化する輝度に合わせたメタデータ（ここではＤｙｎａｍｉｃ  ＭａｘＣＬＬと称す）を用いることで、輝度が低い場合は、トーンマップを行わず（図４Ｂの（ｂ））、輝度が高い場合はトーンマップを行う（図４Ｂの（ｃ））というように、時間変化する輝度に合わせた最適なトーンマップを実現できる。
【００２３】
［１−５．映像とグラフィックスとの合成］
図５は、動画にメニュー及び字幕などのグラフィックスを重畳して、映像表示装置で表示する例を示す図である。ここでは、Ｕｌｔｒａ  ＨＤ  Ｂｌｕ−ｒａｙの例を示す。
【００２４】
グラフィックスを重畳する前の動画を主映像と表現する。Ｕｌｔｒａ  ＨＤ  Ｂｌｕ−ｒａｙではグラフィックスは、ＨＤ解像度で準備される。映像再生装置は、ＨＤのグラフィックスに対してＨＤ−ＵＨＤ変換を行うことでＵＨＤのグラフィックスを生成する。そして、映像再生装置は、得られたＵＨＤのグラフィックスと、ＵＨＤ解像度の主映像とを合成する。そして、映像再生装置は、合成後の映像を、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）を通じて映像表示装置に送る。映像表示装置は、送られてきた映像をＨＤＲとして表示する。
【００２５】
また、映像再生装置は、ダイナミックメタデータを、主映像の輝度の時間変化に基づいて決定し、ＨＤＭＩを通じて、映像表示装置に送る。映像表示装置は、送られてきたダイナミックメタデータに基づき、主映像に字幕及びメニューが重畳された映像信号に対して、ダイナミックトーンマップを施す。
【００２６】
この状況は、放送又は通信によるＯＴＴ（Ｏｖｅｒ  Ｔｈｅ  Ｔｏｐ）サービスでのＨＤＲ映像を表示する場合でも、主映像にメニュー又は字幕が重畳され、得られた映像が映像表示装置で表示される場合は同様である。
【００２７】
［１−６．動画にグラフィックスを重畳した映像データにダイナミックトーンマップを行う場合の課題］
ダイナミックメタデータ方式では、ＨＤＲ映像の輝度分布などの輝度に関わるメタデータがフレーム毎に指定され、映像信号とともに、そのようなメタデータが、映像表示装置に送られる。映像表示装置は、当該映像表示装置の最大輝度などの表示能力に応じて、送られてきたメタデータを参考にして、輝度を変換するなどの処理を行う。このようなダイナミックメタデータ方式は、映像表示装置の輝度などの表示性能によらずできるだけ一定の品質の映像を表示する方式として、注目されている。
【００２８】
しかしながら、ダイナミックメタデータは、時間的に変化するために、本来一定であるべき映像の表示が、安定しないという問題がある。
【００２９】
表示すべき映像が、同時に編集、又は監修された映像、いわゆる動画だけであるならば、ある程度、映像の状況を考慮した処理が可能である。このような動画を主映像とし、同時に、本来一定であり、まったく変動しない、字幕又はメニューなどのグラフィックスデータが主映像に重畳されて表示されると、ダイナミックメタデータを使用した処理により、一定であるべきグラフィックスの輝度又は色が変化するという悪影響が出てくる。この悪影響は、主映像の輝度が高く、映像表示装置の輝度が低いほど顕著となる。
【００３０】
図６は、主映像にグラフィックスが重畳されたときのダイナミックトーンマップの影響を示す図である。ここで、図６の（ａ）に示すように、重畳されるグラフィックスの輝度を３５０ｎｉｔ仮定する。図６の（ｂ）に示すように主映像の輝度が低い区間では、トーンマップが行われず、グラフィックスは本来の輝度である３５０ｎｉｔで映像表示装置に表示される。一方、図６の（ｃ）に示すように、主映像の輝度が高い区間では、トーンマップが行われ、グラフィックスの輝度は、３５０ｎｉｔより低い輝度で映像表示装置に表示される。このように、本来一定であるべきグラフィックスの輝度が時間的に変動することになり、好ましくない状態となる。ここでは輝度だけの影響としたが、実際の映像表示装置では、色成分も影響を受けるために色も影響を受けることもある。
【００３１】
［１−７．解決方法］
上記課題を避ける手段として、重畳するグラフィックスの位置情報を映像表示装置に送り、グラフィックスが表示されている部分のみ、ダイナミックメタデータを適用しない方法が考えられる。しかし、この方法は、表示画面の全領域において、グラフィックスが表示されているかどうかの情報の伝送が必要であり、映像表示装置での処理も、表示ピクセル単位での判断が必要など、実現はかなり困難である。
【００３２】
上記問題に対して本開示では、映像再生装置は、ダイナミックメタデータの情報として、主映像にグラフィックスが重畳されているかいないかを示す「グラフィックス重畳フラグ」を映像表示装置に送る。グラフィックスとしては、メニュー及び字幕があるため、映像再生装置は、「グラフィックス重畳フラグ」として、「メニュー重畳フラグ」及び「字幕重畳フラグ」を映像表示装置に送ってもよい。
【００３３】
映像表示装置は、メニュー重畳フラグの状態により、ダイナミックトーンマップのＯｎ／Ｏｆｆ又はその強さを変化させる。これにより、重畳されたグラフィックスへのダイナミックトーンマップの影響を低減できる。また、複数のＨＤＲ方式が、一つのストリーム又はディスク内で混在することが許されるので、映像表示装置に適した方式を使用することができる。
【００３４】
ここで、メニュー表示時に、ダイナミックトーンマップをやめて、トーンマップを固定する場合は、トーンマップは連続であり違和感はない。しかしながら、メニュー消去時に、トーンマップを固定した状態からダイナミックトーンマップに戻す場合には、その時点での最適なトーンマップは、メニュー表示時のトーンマップとは異なっている。これにより、トーンマップが不連続となってしまうという第１の課題がある。
【００３５】
また、字幕表示時に、字幕重畳フラグを映像表示装置に送付し、トーンマップを固定する方法では以下の課題がある。字幕の表示は会話ごとであり、非常に短期間に、字幕が表示されている状況と表示されていない状況が変化する。これにより、字幕が表示されている期間のみ、トーンマップを固定する方式では、処理が困難となるという第２の課題がある。また、字幕表示がＯＦＦになる場合に、メニュー表示をＯＦＦとする場合と同様に、トーンマップが不連続になるという課題がある。
【００３６】
本開示では以下の解決方法を用いる。第１の方法では、映像表示装置は、メニュー消去時に、トーンマップを固定した状態からダイナミックトーンマップに戻す場合、以下の何れかの方法を用いてトーンマップの連続性を実現する。
【００３７】
（１）映像表示装置は、固定中のトーンマップと表示する映像のトーンマップとがほぼ同様なトーンマップとなるまで、トーンマップ固定し、違和感がないところからダイナミックトーンマップを再開する。
【００３８】
（２）映像表示装置は、トーンマップをカテゴリにわけ、固定中のトーンマップと表示する映像のトーンマップとが同一又は近傍のカテゴリの場合に、ダイナミックトーンマップを再開する。カテゴリは、映像の輝度、輝度分布、又は分散などで決定される。あるいは、製作者が、映像に違和感がない範囲でカテゴリを決定する。
【００３９】
（３）映像表示装置は、メニュー消去時から所定の時定数に基づき、そのときの規定のダイナミックトーンマップになるようにトーンマップを変化させ、通常のダイナミックトーンマップに戻す。
【００４０】
第２の方法では、映像表示装置は、上記第２の課題を解決するために、以下の何れかの方法を用いる。
【００４１】
（１）映像表示装置は、個々の字幕の表示状況によらず、字幕表示がＯＮの場合に、トーンマップを固定する。
【００４２】
（２）個々の字幕とは別に、所定の間隔の字幕の不表示期間又は表示期間が定義され、映像表示装置は、不表示期間ではダイナミックトーンマップを行い、表示期間ではトーンマップを固定する。
【００４３】
さらに、映像表示装置は、字幕のＯＮ／ＯＦＦに従って、ダイナミックトーンマップを制御する場合において、字幕が実効的にＯＦＦになったことで、トーンマップを固定した状態からダイナミックトーンマップに戻す場合、第１の方法と同様な方法により、違和感なく通常のダイナミックトーンマップを再開する。
【００４４】
第３の方法では、映像再生装置は、メニュー又は字幕の実効的な表示のＯＮ／ＯＦＦを映像表示装置に伝えるより具体的な方法として、メニューと字幕の実効的な最大輝度を示すＭＡＸＧＬＬ（Ｍａｘｉｍｕｍ  Ｇｒａｐｈｉｃｓ  Ｌｕｍｉｎａｎｃｅ  Ｌｅｖｅｌ）又はＭＡＸＳＬＬ（Ｍａｘｉｍｕｍ  Ｓｕｂｔｉｔｌｅ  Ｌｕｍｉｎａｎｃｅ  Ｌｅｖｅｌ）情報を映像表示装置に送付する。
【００４５】
このＭＡＸＧＬＬ及びＭＡＸＳＬＬは、主映像データ、並びに、主映像データとともに表示されるメニュー及び字幕などのグラフィックスデータの制作時に決定され、映像再生装置は、主映像データとともにＭＡＸＧＬＬ及びＭＡＸＳＬＬを取得し、主映像データ、ＭＡＸＧＬＬ及びＭＡＸＳＬＬを映像表示装置へ送付してもよい。または、映像再生装置は、メニュー又は字幕を主映像に重畳する際に、その輝度を取得することでＭＡＸＧＬＬ又はＭＡＸＳＬＬを生成し、生成したＭＡＸＧＬＬ又はＭＡＸＳＬＬを映像表示装置に送ってもよい。
【００４６】
特に、第２の方法の場合は、映像再生装置又は映像表示装置が、字幕データとは別に、実効的な字幕表示期間を定める必要がある。よって、実効的な字幕表示期間を示すタイミング情報が、字幕の輝度情報とともに、メタデータとして、グラフィックスデータ制作時に作成され、映像再生装置は、メタデータを参照してＭＡＸＳＬＬ及びタイミング情報を映像表示装置に送付する。
【００４７】
上記の第１の方法により、主映像にダイナミックトーンマップを行うとともに、メニュー又は字幕などのグラフィックスが重畳されている場合には、ダイナミックトーンマップを全て固定したり、グラフィックスの輝度以下でトーンマップを固定したりする映像表示装置において、グラフィックスの重畳をやめて、通常のダイナミックトーンマップに移行した際の違和感を低減できる。
【００４８】
また、字幕のＯＮ／ＯＦＦに従い、ダイナミックトーンマップの処理を変える場合には、字幕のＯＦＦの間隔が短いときのように、ダイナミックトーンマップの変更が難しい場合がある。上記の第２の方法により、実効的なＯＮ期間を設定することで、このような場合にもスムーズにダイナミックトーンマップを切り替えることができる。
【００４９】
また、上記の第３の方法により、メニュー又は字幕のグラフィックス情報のＯＮ／ＯＦＦ又は輝度情報を正確に映像表示装置に伝えることで、ダイナミックトーンマップの処理を適切に行うことができ、品位が高いＨＤＲ映像の再生を実現できる。さらに、データ制作時にタイミング情報及び輝度情報を作成することで、制作者の意図をより正確に反映したダイナミックトーンマップ処理を実現できる。
【００５０】
［２．実施の形態１］
本実施の形態では、映像表示装置は、メニュー表示時に、ダイナミックトーンマップを行わずトーンマップを固定する。また、映像表示装置は、メニュー消去時においてトーンマップを固定した状態からダイナミックトーンマップに戻す場合、以下の何れかの方法を用いてトーンマップの連続性を実現する。
【００５１】
（１）映像表示装置は、固定中のトーンマップと表示する映像のトーンマップとがほぼ同様なトーンマップとなるところまで、トーンマップ固定し、違和感がないところからダイナミックトーンマップを再開する。
【００５２】
（２）映像表示装置は、トーンマップをカテゴリにわけ、固定中のトーンマップと表示する映像のトーンマップとが同一又は近傍のカテゴリの場合に、ダイナミックトーンマップを再開する。カテゴリは、映像の輝度、輝度分布、又は分散などで決定される。あるいは、製作者が、映像に違和感がない範囲でカテゴリを決定する。
【００５３】
［２−１．映像表示システムの構成］
図７は、本実施の形態に係る映像表示システム１００の構成を示すブロック図である。図７に示す映像表示システム１００は、映像再生装置１０１と、映像表示装置１０２とを含む。
【００５４】
映像再生装置１０１は、映像を再生し、得られた映像を映像表示装置１０２に出力する。この映像再生装置１０１は、取得部１１１と、デマルチプレクサ１１２と、主映像デコード部１１３と、字幕デコード部１１４と、メニューデコード部１１５と、メタデータ取得部１１６と、グラフィックス合成部１１７と、主映像合成部１１８と、映像送出部１１９とを含む。
【００５５】
取得部１１１は、映像信号を取得する。例えば、映像再生装置１０１がディスク再生装置である場合には、取得部１１１は、ディスクを再生することで映像信号を取得する。また、映像再生装置１０１が放送受信装置である場合は、取得部１１１は、放送波を受信することで映像信号を取得する。また、映像再生装置１０１がインターネット放送受信装置である場合は、取得部１１１は、インターネット放送を受信することで映像信号を取得する。
【００５６】
デマルチプレクサ１１２は、映像信号に含まれる符号化された主映像信号、字幕信号及びメニュー信号をそれぞれ、主映像デコード部１１３、字幕デコード部１１４及びメニューデコード部１１５に出力する。
【００５７】
主映像デコード部１１３は、デマルチプレクサ１１２から出力された符号化された主映像信号を復号する。
【００５８】
字幕デコード部１１４は、デマルチプレクサ１１２から出力された符号化された字幕信号を復号する。また、字幕デコード部１１４は、ユーザの操作等に基づき、字幕を表示するか否か、及び表示する字幕の種別を選択し、字幕を表示する場合には、選択した字幕をグラフィックス合成部１１７に出力する。
【００５９】
メニューデコード部１１５は、デマルチプレクサ１１２から出力された符号化されたメニュー信号を復号する。また、メニューデコード部１１５は、ユーザの操作等に基づき、メニューを表示するか否か、及び表示するメニューの種別を選択し、メニューを表示する場合には、選択したメニューをグラフィックス合成部１１７に出力する。なお、メニューデコード部１１５は、映像信号からの情報だけでなく、映像再生装置１０１で動作するプログラムによりメニューを合成及び表示してもよい。
【００６０】
メタデータ取得部１１６は、主映像ダイナミックメタデータを取得する。例えば、メタデータ取得部１１６は、主映像信号に含まれる情報に基づき主映像ダイナミックデータを生成する。
【００６１】
グラフィックス合成部１１７は、字幕とメニューとを構成することでグラフィックス情報を生成する。なお、上述したようにグラフィックス合成部１１７は、字幕及びメニューの解像度を変換してもよい。例えば、Ｕｌｔｒａ  ＨＤ  Ｂｌｕ−ｒａｙの場合には、グラフィックス合成部１１７は、ＨＤの字幕及びメニューをＵＨＤの字幕及びメニューに変換する。
【００６２】
また、グラフィックス合成部１１７は、グラフィックス情報を生成し、生成したグラフィックス情報を主映像に重畳する場合、グラフィックス重畳フラグをＯＮとして、映像送出部１１９に送る。また、グラフィックス合成部１１７は、グラフィックス情報を主映像に重畳しない場合、グラフィックス重畳フラグをＯＦＦとして、映像送出部１１９に送る。なお、グラフィックス重畳フラグは、映像再生装置１０１内のプログラムにより生成されてもよいし、他の手段によって生成されてもよい。
【００６３】
主映像合成部１１８は、主映像デコード部１１３で得られた主映像と、グラフィックス合成部１１７で生成されたグラフィックス情報とを合成することで映像信号を生成する。
【００６４】
映像送出部１１９は、主映像合成部１１８で生成された映像信号と、ダイナミックメタデータとを、ＨＤＭＩケーブル等の映像信号伝送手段を介して映像表示装置１０２に伝送する。ダイナミックメタデータは、メタデータ取得部１１６で取得された主映像ダイナミックメタデータと、グラフィックス合成部１１７で生成されたグラフィックス重畳フラグとを含む。
【００６５】
図８Ａは、映像再生装置１０１から映像表示装置１０２に送られる主映像ダイナミックメタデータ及びグラフィックス重畳フラグの構成例を示す図である。図８Ａに示すように、主映像ダイナミックメタデータは、主映像の最大輝度及び平均輝度を示す。例えば、主映像ダイナミックメタデータは、１フレーム単位又は複数フレーム単位の最大輝度及び平均輝度を示す。
【００６６】
図８Ｂは、主映像ダイナミックメタデータ及びグラフィックス重畳フラグの別の構成例を示す図である。図８Ｂに示すようにグラフィックス重畳フラグは、字幕を主映像に重畳しているかどうかを示す字幕重畳フラグと、メニューを主映像に重畳しているかどうかを示すメニュー重畳フラグとを含んでもよい。
【００６７】
次に、映像表示装置１０２の構成について説明する。映像表示装置１０２は、映像受信部１２１と、メタデータ取得部１２２と、トーンマップ処理部１２３と、表示部１２４とを備える。
【００６８】
映像受信部１２１は、映像再生装置１０１から送られてくる映像信号とダイナミックメタデータを受け取る。映像受信部１２１は、映像信号とダイナミックメタデータとを分離し、映像信号をトーンマップ処理部１２３へ送り、ダイナミックメタデータをメタデータ取得部１２２に送る。メタデータ取得部１２２は、ダイナミックメタデータに含まれる主映像ダイナミックメタデータ及びグラフィックス重畳フラグを制御信号として、トーンマップ処理部１２３へ送る。
【００６９】
トーンマップ処理部１２３は、主映像ダイナミックメタデータに従い、映像信号のトーンマップ処理を行う。具体的には、トーンマップ処理部１２３は、グラフィックス重畳フラグがＯＦＦの場合には、主映像ダイナミックメタデータに従い、映像信号のトーンマップ処理（ダイナミックトーンマップ処理）を行う。一方、トーンマップ処理部１２３は、グラフィックス重畳フラグがＯＮの場合は、重畳されているグラフィックスへのダイナミックトーンマップの影響を低減したトーンマップ処理を行う。表示部１２４は、トーンマップ処理後の映像信号を表示する。
【００７０】
［２−２．トーンマップ処理部］
トーンマップ処理部１２３の詳細について説明する。図９は、トーンマップ処理部１２３の構成を示すブロック図である。トーンマップ処理部１２３は、係数演算部１３１と、係数保持部１３２と、トーンマップ部１３３と、比較部１３５と、切替部ＳＷ１、ＳＷ２及びＳＷ３とを備える。
【００７１】
映像受信部１２１からの映像信号は、トーンマップ部１３３へ送られる。メタデータ取得部１２２からの主映像ダイナミックメタデータは、係数演算部１３１に送られる。
【００７２】
係数演算部１３１は、トーンマップ部１３３におけるトーンマップ処理で用いられるトーンマップ係数を、映像表示装置１０２の輝度などの映像表示能力に従って算出する。係数保持部１３２は、係数演算部１３１が算出したトーンマップ係数を保持する。ここで、トーンマップ係数とは、トーンマップ処理に用いられる変換カーブを示す関数に含まれる係数である。つまり、トーンマップ係数により変換カーブが決定される。
【００７３】
切替部ＳＷ１は、係数演算部１３１で算出されたトーンマップ係数（Ａ）と、係数保持部１３２に保持されているトーンマップ係数（Ｂ）との一方を選択し、選択したトーンマップ係数をトーンマップ部１３３に送る。切替部ＳＷ２は、係数演算部１３１で算出されたトーンマップ係数（Ａ）と、係数保持部１３２に保持されるトーンマップ係数（Ｂ）との一方を選択し、選択したトーンマップ係数を係数保持部１３２に入力する。つまり、切替部ＳＷ２は、係数保持部１３２に保持されるトーンマップ係数を、係数演算部１３１で新たに算出されたトーンマップ係数に更新するか（Ａ）、現在保持しているトーンマップ係数を引き続き保持するか（Ｂ）を切り替える。
【００７４】
切替部ＳＷ１及びＳＷ２は、連動しており、切替部ＳＷ３の出力信号に応じて切り替わる。切替部ＳＷ３の出力信号がＯＦＦである場合、切替部ＳＷ１及びＳＷ２は共に（Ａ）に接続される。切替部ＳＷ３の出力信号がＯＮである場合、切替部ＳＷ１及びＳＷ２は共に（Ｂ）に接続される。切替部ＳＷ３は、比較部１３５の出力信号に応じて、グラフィックス重畳フラグを出力する（Ｃ）か、常にＯＮを出力する（Ｄ）かを切り替える。
【００７５】
比較部１３５は、係数演算部１３１が主映像ダイナミックメタデータから演算した主映像に応じてダイナミックに変化するトーンマップ係数と、係数保持部１３２が保持しているグラフィックス重畳フラグがＯＮとなったときのトーンマップ係数とを比較し、比較結果に基づき切替部ＳＷ３を制御する。
【００７６】
初期状態では、グラフィックス重畳フラグがＯＦＦであり、比較部１３５に入力される二つのトーンマップ係数は同じであるので、比較部１３５の出力信号はＯＮであり、切替部ＳＷ３は（Ｃ）に接続される。
【００７７】
グラフィックス重畳フラグがＯＮになると、係数保持部１３２は、グラフィックス重畳フラグがＯＮに変化したときのトーンマップ係数を保持する。これにより、比較部１３５に入力される二つのトーンマップ係数が異なり、比較部１３５の出力信号はＯＦＦとなり、切替部ＳＷ３は（Ｄ）に接続される。
【００７８】
係数演算部１３１から出力されるトーンマップ係数が、係数保持部１３２で保持されているトーンマップ係数と同等となると、比較部１３５の出力信号がＯＮになる。これにより、切替部ＳＷ３が（Ｃ）に接続され、切替部ＳＷ１及びＳＷ２は、グラフィックス重畳フラグの状態により制御される。つまり、グラフィックス重畳フラグがＯＦＦの場合に、切替部ＳＷ１及びＳＷ２は（Ａ）に接続され、係数演算部１３１でダイナミックに演算されるトーンマップ係数が、トーンマップ部１３３に送られる。これにより、通常のダイナミックトーンマップが実行される。
【００７９】
また、グラフィックス重畳フラグが、字幕重畳フラグとメニュー重畳フラグとを含む場合、その組み合わせにより、トーンマップ部１３３へ入力されるトーンマップ係数の処理を変えることができる。一例として、字幕重畳フラグがＯＮの場合は、トーンマップ係数を固定とする（切替部ＳＷ１及びＳＷ２はＢに接続される）が、メニュー重畳フラグだけがＯＮの場合は、通常のトーンマップ係数が用いられる（切替部ＳＷ１及びＳＷ２はＡに接続される）などである。
【００８０】
また、本構成は、一例であり、トーンマップ処理部１２３は、グラフィックス重畳フラグがＯＮの場合、トーンマップ係数を特定の輝度以下で固定してもよいし、トーンマップ処理を行わないとしてもよい。
【００８１】
図１０は、トーンマップ係数を特定の輝度以下で固定する場合のトーンマップ処理部１２３Ａの構成を示す図である。トーンマップ処理部１２３Ａは、切替部ＳＷ１の代わりに係数合成部１３４を備える。
【００８２】
係数合成部１３４は、切替部ＳＷ３の出力信号がＯＮの場合、つまり、切替部ＳＷ３が（Ｄ）に接続されているか、グラフィックス重畳フラグがＯＮの場合、予め定められた輝度である境界輝度以上の輝度に対してはダイナミックトーンマップ処理を行うが、境界輝度未満の輝度に対しては（１）トーンマップを固定する、（２）トーンマップ処理を行わない、（３）トーンマップの変動を抑える、又は（４）トーンマップの影響が人に感知できない程度とするなどの処理を行う。ここで、境界輝度とは、例えば、グラフィックスに用いられている輝度の最大値より高い輝度である。これにより、グラフィックスに用いられる輝度範囲においてトーンマップが変動することが抑制される。また、上記処理において、境界輝度以上の変換カーブと、境界輝度未満の変換カーブとの連続性を維持するために、係数合成部１３４は、これらの境界領域において変換カーブが滑らかに変化するように変換カーブを補正してもよい。
【００８３】
なお、ここでは、映像、字幕、及びメニューのみについての構成を説明したが、映像再生装置１０１、及び映像表示装置１０２では、音声信号なども処理、伝送、及び出力する。これらは、本開示には、かかわりがないために、以降の説明を含め省略している。
【００８４】
また、グラフィックス重畳フラグが、字幕重畳フラグとメニュー重畳フラグとを含む場合、図１０に示す係数合成部１３４は、字幕重畳フラグとメニュー重畳フラグの状態により、異なる合成の方法を用いる。例えば、係数合成部１３４は、字幕重畳フラグがＯＮの場合と、メニュー合成フラグのみがＯＮの場合とで、上記境界輝度を異なる値に設定する。
【００８５】
係数合成部１３４は、表示部１２４の最高輝度、及びその他の映像に関わる特性を考慮して境界輝度を設定する。ここで、一般的にメニューの輝度レベルは字幕の輝度レベルより高い。よって、係数合成部１３４は、メニュー重畳フラグがＯＮの場合には、字幕重畳フラグのみがＯＮの場合に比べて、境界輝度を高く設定する。
【００８６】
なお、メニューは、使用者の意思によって重畳するかどうかが決められるものであり、メニューへのダイナミックトーンマップの影響よりも、主映像のトーンマップを重視するという考え方もできる。よって、係数合成部１３４は、メニュー重畳フラグのみがＯＮの場合には、字幕重畳フラグがＯＮの場合に比べて、境界輝度を低く設定してもよい。
【００８７】
比較部１３５は、二つのトーンマップ係数を比較する方法として以下のいずれかの方法を用いる。例えば、比較部１３５は、二つのトーンマップ係数が完全に一致しているかどうか、又は予め定められた誤差範囲内であるかを判定する。これは、トーンマップ係数の値の範囲が狭い場合に有効である。図１１Ａは、トーンマップ係数を構成する値が、所定の誤差範囲であれば、一致とみなす場合の判定方法を示す図である。なお、図１１Ａにおいては、ｎはトーンマップ係数を構成する値の数であり、Ｔ０ｉは主映像ダイナミックメタデータに基づくトーンマップ係数であり、Ｔ１ｉは係数保持部１３２で保持しているトーンマップ係数であり、Ｄｉはそれぞれの値ごとの所定の誤差である。また、ｏｕｔｐｕｔ  “ＹＥＳ”，  ｏｕｔｐｕｔ  “ＮＯ”は、比較部１３５の出力信号を“ＹＥＳ”または”ＮＯ“とする手続きを示す。
【００８８】
別の方法では、比較部１３５は、トーンマップ係数を構成する個々の値をそのまま比較するのでなく、輝度情報であれば、いくつかのグループに分け、評価し、誤差を認めて比較する。例えば、比較部１３５は、トーンマップ係数を、最高輝度、中間輝度、低輝度などにわけ、それぞれのについて評価関数を設け評価し、その結果を比較する。
【００８９】
あるいは、比較部１３５は、誤差を比較するのではなく、これらのグループ化した値を用いた座標空間において、所定の値で領域をわけ、同一領域であれば一致と判定し、異なる領域であれば不一致と判定する。図１１Ｂは、この場合の判定例を示す図である。
【００９０】
あるいは、比較部１３５は、同一及び近接領域であれば一致と判定し、その他の場合は不一致と判定する。図１１Ｃは、この場合の判定例を示す図である。
【００９１】
なお、図１１Ｂ及び図１１Ｃでは、座標空間を二次元で表現したが、それ以上の次元が用いられてもよい。
【００９２】
［２−３．映像表示システムの動作］
映像表示システムの動作の流れを説明する。図１２は、映像再生装置１０１の動作を示すフローチャートである。映像再生装置１０１は、映像の再生を開始した後、グラフィックス（字幕、及びメニュー）の処理状態によりグラフィックスが主映像に重畳されているかどうかを判定する（Ｓ１０１）。グラフィックスが主映像に重畳されている場合（Ｓ１０１でＹｅｓ）、映像再生装置１０１は、グラフィックス重畳フラグをＯＮに設定する（Ｓ１０２）。一方、グラフィックスが主映像に重畳されていない場合（Ｓ１０１でＮｏ）、映像再生装置１０１は、グラフィックス重畳フラグをＯＦＦに設定する（Ｓ１０３）。そして、映像再生装置１０１は、映像再生が完了するか、あるいは、再生停止操作があるまで、ステップＳ１０１〜Ｓ１０３の処理を繰り返し行う（Ｓ１０４）。例えば、この処理は、１フレーム単位又は複数フレーム単位で繰り返し行われる。
【００９３】
図１３は、映像表示装置１０２の動作を示すフローチャートである。映像表示が開始されると、まず、初期状態として、トーンマップを更新するダイナミックトーンマップが選択される（Ｓ１１１）。具体的には、切替部ＳＷ３はＣに接続され、切替部ＳＷ１及びＳＷ２はそれぞれＡに接続される。
【００９４】
この状態では、グラフィックス重畳フラグの状態に基づき、切替部ＳＷ３の出力信号が定まる。つまり、グラフィックス重畳フラグがＯＦＦの状態では（Ｓ１１２でＮｏ、かつＳ１１３でＮｏ）、このダイナミックトーンマップが続く（Ｓ１１５）。また、このとき、係数保持部１３２では、変化するトーンマップ係数が保持される。
【００９５】
一方、グラフィックス重畳フラグがＯＮになると（Ｓ１１２でＹｅｓ）、映像表示装置１０２は、トーンマップを固定する（Ｓ１１６）。具体的には、切替部ＳＷ３の出力信号がＯＮになる。これにより、切替部ＳＷ１及びＳＷ２がＢに接続され、係数保持部１３２には、自身の出力信号が入力される。よって、切替部ＳＷ２がＡからＢとなる直前のトーンマップ係数が係数保持部１３２に保持される。また、切替部ＳＷ１がＢに接続されることから、トーンマップ部１３３へ入力されるトーンマップ係数が固定される。これにより、トーンマップの時間変動がなくなる。このとき、比較部１３５に入力される二つのトーンマップ係数は、通常異なるため、切替部ＳＷ３はＤに接続され、切替部ＳＷ３の出力信号は常にＯＮとなる。
【００９６】
一度、トーンマップが固定される状態になると、グラフィックス重畳フラグがＯＦＦとなっても（Ｓ１１２でＮｏ、かつＳ１１３でＹｅｓ）、ステップＳ１１４の条件が満たされない限りこの状態は変わらない（Ｓ１１６）。つまり、グラフィックス重畳フラグがＯＦＦになり（Ｓ１１２でＮｏ、かつＳ１１３でＹｅｓ）、かつ、主映像ダイナミックメタデータに基づくトーンマップ係数が、係数保持部１３２で保持されているトーンマップ係数、つまり、グラフィックス重畳フラグが最初にＯＮになったときのトーンマップ係数と所定の条件で一致したとき（Ｓ１１４でＹｅｓ）、トーンマップを固定する状態が解除され、ダイナミックトーンマップに移行する（Ｓ１１５）。
【００９７】
具体的には、比較部１３５の出力信号がＯＮとなり、切替部ＳＷ３がＣに接続され、グラフィックス重畳フラグの状態が、切替部ＳＷ１及びＳＷ２の状態を決める状態となる。ここで、グラフィックス重畳フラグがＯＦＦであれば、切替部ＳＷ１及びＳＷ２はＡに接続され、主映像のダイナミックメタデータに基づいたトーンマップ係数を用いたダイナミックトーンマップが実行される。
【００９８】
これらの一連の処理が、映像の受信完了又は表示ＯＦＦの操作がなされるまで繰り返し行われる（Ｓ１１７）。例えば、この処理は、１フレーム単位又は複数フレーム単位で繰り返し行われる。
【００９９】
以上のように、本実施の形態に係る映像表示システム１００は、映像の最大輝度に応じた変換カーブを用いて映像の輝度を変換するトーンマップ処理を行うトーンマップ処理部１２３と、トーンマップ処理後の映像を表示する表示部１２４とを備える。トーンマップ処理部１２３は、映像における最大輝度の時系列の変化に応じて、変換カーブを時系列に変更する第１トーンマップ処理を行うか（Ｓ１１５）、映像における最大輝度の時系列の変化に依らず、一定の変換カーブを用いる第２トーンマップ処理を行うか（Ｓ１１６）、を切り替える。
【０１００】
これにより、例えば、映像の種別等に応じて、トーンマップに用いる変換カーブを時系列に変更するか、固定するかを切り替えることができる。よって、映像の種別等に応じて、各時刻において最適なトーンマップを行うか、トーンマップを固定することで、本来一定であるべき映像の輝度が変化することを抑制するかを切り替えることができる。このように、映像表示システム１００は、表示する映像の質を向上できる。
【０１０１】
また、映像表示システム１００は、さらに、主映像にグラフィックスを合成することで映像を生成する合成部（主映像合成部１１８及びグラフィックス合成部１１７）を備える。トーンマップ処理部１２３は、主映像にグラフィックスが合成されていない場合（Ｓ１１２でＮｏ）、第１トーンマップ処理を行い（Ｓ１１５）、主映像にグラフィックスが合成された場合（Ｓ１１２でＹｅｓ）、第２トーンマップ処理を行う（Ｓ１１６）。これにより、グラフィックスの輝度の変化を抑制できる。
【０１０２】
また、合成部は、主映像にグラフィックスを合成したか否かを示す第１フラグ（グラフィックス重畳フラグ）を生成する。トーンマップ処理部１２３は、第１フラグに応じて、第１トーンマップ処理を行うか、第２トーンマップ処理を行うかを決定する。
【０１０３】
また、グラフィックスは、字幕及びメニューを含み、第１フラグは、主映像に字幕を合成したか否かを示す第２フラグ（字幕重畳フラグ）と、主映像にメニューを合成したか否かを示す第３フラグ（メニュー重畳フラグ）とを含む。これによれば、字幕が重畳されている場合とメニューが重畳されている場合とで、それぞれに適したトーンマップ処理を行うことができる。
【０１０４】
例えば、トーンマップ処理部１２３は、第１トーンマップ処理から第２トーンマップ処理に切り替わった場合、第２トーンマップ処理において、直前の変換カーブを継続して用いる。これによれば、第１トーンマップ処理から第２トーンマップ処理への切り替わりにおいて輝度が大きく変化することを抑制できる。
【０１０５】
例えば、図１０に示すように、トーンマップ処理部１２３Ａは、第２トーンマップ処理において、境界輝度以上の輝度に対しては、映像における最大輝度の時系列の変化に応じて、変換カーブを時系列に変更し、境界輝度未満の輝度に対しては、映像における最大輝度の時系列の変化に依らず、一定の変換カーブを用いる。
【０１０６】
これによれば、境界輝度以上の木地に対しては、各時刻において最適なトーンマップを行うことができるとともに、境界輝度未満の輝度に対しては、輝度が変化することを抑制できる。
【０１０７】
また、トーンマップ処理部１２３は、第２トーンマップ処理を行っている状態において、第２トーンマップ処理で用いられる一定の変換カーブと、第１トーンマップ処理で用いられる時系列に変更される変換カーブとが所定の条件を満たす場合、使用するトーンマップ処理を、第２トーンマップ処理から第１トーンマップ処理に切り替え、前記条件を満たさない場合、第２トーンマップ処理を継続する。
【０１０８】
例えば、前記条件は、第２トーンマップ処理で用いられる一定の変換カーブと、第１トーンマップ処理で用いられる時系列に変更される変換カーブとの差が予め定められた値以下であることである。
【０１０９】
例えば、変換カーブは複数のカテゴリに分類され、前記条件は、第２トーンマップ処理で用いられる一定の変換カーブと、第１トーンマップ処理で用いられる時系列に変更される変換カーブとの同一のカテゴリに分類されることである。
【０１１０】
これによれば、第２トーンマップ処理から第１トーンマップ処理への切り替えにおいて、使用されるトーンマップが大きく変更されることを抑制できる。
【０１１１】
また、本実施の形態に係る映像表示装置１０２は、映像の最大輝度に応じた変換カーブを用いて映像の輝度を変換するトーンマップ処理を行うトーンマップ処理部１２３と、トーンマップ処理後の映像を表示する表示部１２４とを備える。トーンマップ処理部１２３は、映像における最大輝度の時系列の変化に応じて、変換カーブを時系列に変更する第１トーンマップ処理を行うか（Ｓ１１５）、映像における最大輝度の時系列の変化に依らず、一定の変換カーブを用いる第２トーンマップ処理を行うか（Ｓ１１６）、を切り替える。
【０１１２】
これにより、例えば、映像の種別等に応じて、トーンマップに用いる変換カーブを時系列に変更するか、固定するかを切り替えることができる。よって、映像の種別等に応じて、各時刻において最適なトーンマップを行うか、トーンマップを固定することで、本来一定であるべき映像の輝度が変化することを抑制するかを切り替えることができる。このように、映像表示装置１０２は、表示する映像の質を向上できる。
【０１１３】
また、トーンマップ処理部１２３は、映像にグラフィックスが含まれない場合（Ｓ１１２でＮｏ）、第１トーンマップ処理を行い（Ｓ１１５）、映像にグラフィックスが含まれる場合（Ｓ１１２でＹｅｓ）、第２トーンマップ処理を行う（Ｓ１１６）。これにより、グラフィックスの輝度の変化を抑制できる。
【０１１４】
また、トーンマップ処理部１２３は、第１トーンマップ処理を行うか第２トーンマップ処理を行うかを示す第１フラグ（グラフィックス重畳フラグ）に応じて、第１トーンマップ処理を行うか、第２トーンマップ処理を行うかを決定する。
【０１１５】
また、第１フラグは、映像に字幕が含まれるか否かを示す第２フラグ（字幕重畳フラグ）と、映像にメニューが含まれるか否かを示す第３フラグ（メニュー重畳フラグ）とを含む。これによれば、字幕が重畳されている場合とメニューが重畳されている場合とで、それぞれに適したトーンマップ処理を行うことができる。
【０１１６】
［３．実施の形態２］
本実施の形態では、映像表示装置は、メニュー消去時に、トーンマップを固定した状態からダイナミックトーンマップに戻す場合、メニュー消去時から、所定の時定数に基づき、そのときの規定のダイナミックトーンマップになるように使用するトーンマップを変化させる。これにより、トーンマップの連続性を実現できる。
【０１１７】
映像再生装置１０１の構成は、実施の形態１と同様であり、説明を省略する。また、映像表示装置１０２が備えるトーンマップ処理部１２３Ｂの構成が実施の形態１のトーンマップ処理部１２３と異なる。図１４は、本実施の形態に係るトーンマップ処理部１２３Ｂの構成を示すブロック図である。
【０１１８】
図１４に示すトーンマップ処理部１２３Ｂは、切替部ＳＷ１の代わりに係数変更部１３６を備える。また、トーンマップ処理部１２３Ｂは、比較部１３５及び切替部ＳＷ３を備えない。
【０１１９】
図１５は、トーンマップ処理部１２３Ｂの処理を示すフローチャートである。図１５に示す処理は、図１３に示す処理に対して、ステップＳ１１４の代わりにステップＳ１１８を含む。
【０１２０】
係数演算部１３１は、主映像ダイナミックメタデータを用いて、映像表示装置１０２の最大輝度又は表示特性に応じたトーンマップ係数を演算する。グラフィックス重畳フラグがＯＦＦの場合（Ｓ１１２でＮｏ、かつＳ１１３でＮｏ）、トーンマップが更新される（Ｓ１１５）。具体的には、切替部ＳＷ２はＡに接続される。また、係数変更部１３６は、入力されたトーンマップ係数をそのままトーンマップ部１３３に出力する。トーンマップ部１３３は、入力された映像信号を、トーンマップ係数を用いてトーンマップ処理する。これにより、ダイナミックトーンマップが実現される。
【０１２１】
一方、グラフィックス重畳フラグがＯＦＦからＯＮになると（Ｓ１１２でＹｅｓ）、トーンマップが固定される（Ｓ１１６）。具体的には、切替部ＳＷ２はＢに接続され、そのときのトーンマップ係数が、係数保持部１３２に保持される。この場合、係数変更部１３６は、係数保持部１３２から出力されたトーンマップ係数を、トーンマップ部１３３に出力する。従って、グラフィックス重畳フラグがＯＮの場合、トーンマップ係数が固定され、主映像のトーンマップは固定される。
【０１２２】
ここで、グラフィックス重畳フラグがＯＮからＯＦＦになると（Ｓ１１２でＮｏ、かつＳ１１３でＹｅｓ）、ダイナミックトーンマップが実施されるように、係数変更部１３６は、係数演算部１３１から出力されるトーンマップ係数を出力する。このとき、係数変更部１３６は、固定されていたトーンマップ係数から、ダイナミックに変動するトーンマップ係数への切り替えを、瞬時に行うのではなく、トーンマップ係数を徐々に変化させる（Ｓ１１８）。
【０１２３】
なお、徐々に変化するとは、予め定められた期間において、連続的又は段階的にトーンマップ係数が変化することを意味する。つまり、上記期間において、係数保持部１３２からのトーンマップ係数（以下係数Ｂと呼ぶ）と係数演算部１３１からのトーンマップ係数（以下係数Ａと呼ぶ）との間の１以上の値を経て、係数Ｂから係数Ａにトーンマップ係数が変更される。また、予め定められた期間とは、例えば、複数フレームが表示される期間である。つまり、係数Ｂを用いてトーンマップ処理されたフレームと、係数Ｂと係数Ａとの間トーンマップ係数を用いてトーンマップ処理された１以上のフレームと、係数Ａを用いてトーンマップ処理されたフレームとが順次出力される。
【０１２４】
図１６に係数変更部１３６の構成を示すブロック図である。係数変更部１３６は、係数フェード部１４１と、比較部１４２と、切替部ＳＷ４及びＳＷ５とを備える。
【０１２５】
係数演算部１３１からのトーンマップ係数（係数Ａ）は、切替部ＳＷ４のＥと比較部１４２及び係数フェード部１４１に入力される。係数保持部１３２からのトーンマップ係数（係数Ｂ）は、係数フェード部１４１に入力される。グラフィックス重畳フラグは、係数フェード部１４１を制御するために用いられ、また、切替部ＳＷ５のＧに入力される。係数フェード部１４１の出力信号は、比較部１４２に入力されるとともに、切替部ＳＷ４のＦに入力される。比較部１４２の出力信号は、切替部ＳＷ５を制御する。切替部ＳＷ５のＨは、常にＯＮとなる信号が入力される。切替部ＳＷ５の出力信号で、切替部ＳＷ４が制御される。切替部ＳＷ４の出力信号は、変更後のトーンマップ係数であり、トーンマップ部１３３に送られる。
【０１２６】
以下、図１６に示す係数変更部１３６の動作を説明する。初期状態では、入力される二つの係数Ａと係数Ｂとが同一であり、グラフィックス重畳フラグがＯＦＦであることから、係数フェード部１４１の出力信号も、係数Ａと同じトーンマップ係数である。また、比較部１４２の出力信号はＯＮとなり、切替部ＳＷ５はＧに接続される。そのため切替部ＳＷ５の出力信号はＯＦＦとなり、切替部ＳＷ４はＥに接続され、トーンマップ部１３３へ係数Ａがそのまま出力される。
【０１２７】
この状態で、グラフィックス重畳フラグがＯＮとなると、係数Ａは、主映像に応じてダイナミックに変化するが、グラフィックス重畳フラグがＯＮとなった時の係数Ａの値が係数Ｂとして保持される。係数フェード部１４１は、グラフィックス重畳フラグがＯＮのときは、係数Ｂをそのまま出力し、グラフィックス重畳フラグがＯＮからＯＦＦに変化したとき、係数Ｂからその時々の係数Ａになるように所定の時定数でフェード処理を行う。比較部１４２は、グラフィックス重畳フラグがＯＮに変化したとき、入力される係数Ａと係数Ｂとが異なるので、ＯＦＦを出力し、切替部ＳＷ５がＨに接続される。これにより、切替部ＳＷ５の出力信号が常にＯＮとなり、切替部ＳＷ４がＦに接続される。つまり、係数フェード部１４１が出力したトーンマップ係数がトーンマップ部１３３に出力される。
【０１２８】
ここで、グラフィックス重畳フラグがＯＦＦとなると、係数フェード部１４１で、所定の時定数でのフェード処理が始まることで、係数フェード部１４１から出力されるトーンマップ係数は、徐々に係数Ｂから係数Ａに近づいていく。
【０１２９】
比較部１４２は、係数フェード部１４１から出力されるトーンマップ係数と、係数Ａとを比較し、両者が同一とみなした場合、出力信号をＯＦＦにする。例えば、比較部１４２は、図１１Ａ〜図１１Ｃで示した方法のように、所定の誤差あるいは、所定の判断基準を用いて二つの係数が一致するか否かを判定する。
【０１３０】
これにより、切替部ＳＷ５がＧに接続される。よって、切替部ＳＷ５の出力信号は、グラフィックス重畳フラグと同じ値、つまり、ＯＦＦとなることで、切替部ＳＷ４がＥに接続される。これにより、初期状態と同じく、係数Ａがそのままトーンマップ部１３３に出力される。つまり、主映像ダイナミックメタデータに応じたトーンマップ係数が出力さる。
【０１３１】
以上の処理により、グラフィックス重畳フラグがＯＮとなったときは、ダイナミックトーンマップが固定され、グラフィックス重畳フラグがＯＦＦになったときには、使用されるトーンマップ係数が、変化する主映像ダイナミックメタデータに応じたトーンマップ係数にスムーズに切り替わる。
【０１３２】
また、グラフィックス重畳フラグにＯＮ／ＯＦＦを示す情報だけでなく、トーンマップの境界輝度の情報も含まれる場合、映像表示装置１０２は、係数合成部を備えてもよい。この係数合成部は、境界輝度以上の輝度においては、ダイナミックトーンマップを継続し、境界輝度未満の輝度はトーンマップを固定するように、図１５の切替部ＳＷ４の出力信号と、係数演算部１３１からのトーンマップ係数とを合成する。
【０１３３】
以上のように、本実施の形態に係る映像表示システム１００では、トーンマップ処理部１２３Ｂは、映像における最大輝度の時系列の変化に応じて、変換カーブを時系列に変更する第１トーンマップ処理を行うか、映像における最大輝度の時系列の変化に依らず、一定の変換カーブを用いる第２トーンマップ処理を行うか、を切り替え、使用するトーンマップ処理を、第２トーンマップ処理から第１トーンマップ処理に切り替える場合、使用する変換カーブを前記一定の変換カーブから時系列に変更する変換カーブに、複数フレームにおいて連続的又は段階的に変更する（Ｓ１１８）。
【０１３４】
これによれば、第２トーンマップ処理から第１トーンマップ処理への切り替えにおいて、使用されるトーンマップが大きく変更されることを抑制できる。
【０１３５】
［４．実施の形態３］
字幕表示時に、字幕重畳フラグを映像表示装置に送付し、ダイナミックトーンマップを固定する方法では以下の課題がある。字幕の表示は会話ごとであり、非常に短期間に、字幕が表示されている状況と表示されていない状況が変化する。これにより、字幕が表示されている期間のみ、トーンマップを固定する方式では、処理が困難となるという第２の課題がある。本実施の形態では、以下の何れかの方法によりこの第２の課題を解決する。
【０１３６】
（１）映像表示装置は、個々の字幕の表示状況によらず、字幕表示がＯＮの場合に、ダイナミックトーンマップを固定する。
【０１３７】
（２）映像表示装置は、個々の字幕とは別に、所定の間隔の字幕の不表示期間又は表示期間を定義し、不表示期間ではダイナミックトーンマップを行い、表示期間ではトーンマップを固定する。
【０１３８】
さらに、映像表示装置は、字幕のＯＮ／ＯＦＦに従って、ダイナミックトーンマップを制御する場合において、字幕が実効的にＯＦＦになったことで、トーンマップを固定した状態からダイナミックトーンマップに戻す場合、実施の形態１又は２と同様な方法により、違和感なく通常のダイナミックトーンマップを再開する。
【０１３９】
本実施の形態に係る映像表示システム１００の全体構成は図７と同じであるため、ここでは詳細を省略する。映像再生装置１０１は、グラフィックス重畳フラグを、二つにわけ、メニュー重畳フラグ及び字幕重畳フラグを映像表示装置１０２に送る。または、映像再生装置１０１は、メニュー最大輝度情報（ＭＡＸＧＬＬ）及び字幕最大輝度情報（ＭＡＸＳＬＬ）をグラフィックス重畳フラグとして、映像表示装置１０２に送る。これにより、映像表示装置１０２は、適切なトーンマップを行うことができる。
【０１４０】
図１７Ａは、主映像ダイナミックメタデータ、グラフィックス重畳フラグ及びグラフィックス輝度情報の構成例を示す図である。また、図１７Ｂは、主映像ダイナミックメタデータ、及びグラフィックス輝度情報の別の構成例を示す図である。ここでは、字幕用のメタデータと、メニュー用のメタデータとが存在している例を示す。
【０１４１】
図１７Ａに示す例では、字幕重畳フラグとメニュー重畳フラグとが独立して存在する。また、グラフィックス輝度情報は、字幕の最大輝度を示す字幕最大輝度情報（ＭＡＸＳＬＬ）と、メニューの最大輝度を示すメニュー最大輝度情報（ＭＡＸＧＬＬ）とを含む。
【０１４２】
図１７Ｂに示す例では、ＭＡＸＳＬＬ、及びＭＡＸＧＬＬの特定の値を字幕又はメニューが重畳されていない状態を示す情報として用いている。具体的には、ＭＡＸＳＬＬ及びＭＡＸＧＬＬは、それぞれ８ビットで構成される。ＭＡＸＳＬＬでは、値０は字幕が存在しないことを示し、値２５５は字幕が存在するが輝度が不明であることを示し、その他の値は、字幕が存在し、４ｎｉｔから５１０ｎｉｔまで、４ｎｉｔ単位で字幕の明るさを示す。ＭＡＸＧＬＬでは、値０はメニューが存在しないことを示し、値２５５はメニューが存在するが輝度が不明であることを示し、その他の値は、メニューが存在し、８ｎｉｔから１０２０ｎｉｔまで、８ｎｉｔ単位でメニューの明るさを示す。なお、ＭＡＸＳＬＬ及びＭＡＸＳＬＬの値と輝度の関係として、ここでは、ＭＡＸＳＬＬは２ｎｉｔ単位、ＭＡＸＧＬＬは４ｎｉｔ単位が用いられる例を示したが、システムによって、適切な単位とすることができる。
【０１４３】
以下、本実施の形態に係る映像表示システム１００の動作を説明する。映像再生装置１０１は、メニューについては、メニューが表示されているときのみ、メニュー重畳フラグをＯＮにする。一方、字幕は、主映像に同期し、たびたび表示されるため、字幕に対しても、メニューと同様に重畳されているときのみＯＮとするという制御では、映像表示装置１０２でのトーンマップの切り替えが頻繁に起きる。よって、本実施の形態では、字幕については、以下の動作が用いられる。
【０１４４】
主映像を再生する場合にその再生制御情報（Ｂｌｕ−ｒａｙではＰｌａｙｌｉｓｔ）に、字幕が定義され、かつ映像再生装置１０１で字幕表示可能と設定される。さらに、再生制御コマンドで字幕表示がＯＮの場合、映像再生装置１０１は、主映像の再生を始めるとともに字幕重畳フラグをＯＮとし、かつ、ＭＡＸＳＬＬを固定とする。これは、その再生制御情報による再生が終わるまで、あるいは、映像再生装置１０１の設定で字幕の表示をやめた場合、あるいは、再生制御コマンドで、字幕表示をやめるまで継続される。ＭＡＸＳＬＬが輝度不定又は定義されていない場合は、上記の字幕表示期間、及びトーンマップは固定となる。
【０１４５】
図１８Ａは、ＭＡＸＳＬＬの設定がない場合（従来例）におけるトーンマップの例を示す図である。図１８Ｂは、ＭＡＸＳＬＬが設定された場合のトーンマップの例を示す図である。図１８Ｂに示すように、ＭＡＸＳＬＬで設定した輝度（２００ｎｉｔ）以下の領域でトーンマップが行われず、安定した字幕を表示できる。
【０１４６】
一方で、上記の制御を行った場合、字幕が実質的に長い期間表示されない場合でも、ダイナミックトーンマップの効果を十分に獲ることができないという欠点がある。よって、所定の時間長さ以上字幕が表示されない期間では、映像再生装置１０１は、字幕重畳フラグをＯＦＦに設定する。これにより、ダイナミックトーンマップの効果をより多く得ることができる。この字幕重畳フラグをＯＦＦとする字幕不表示期間は、字幕作成時に定義され、字幕データとともに字幕重畳フラグあるいはＭＡＸＳＬＬとして記録される。
【０１４７】
以上のように、第１フラグ（例えば字幕重畳フラグ又はＭＡＸＳＬＬ）は、間欠的に字幕が表示される一連の期間である字幕表示期間と、予め定められた時間以上字幕が表示されない字幕不表示期間とを示す。トーンマップ処理部は、字幕表示期間において第２トーンマップ処理（例えばトーンマップを固定）を行い、字幕不表示期間において第１トーンマップ処理（例えばダイナミックトーンマップ）を行う。これによれば、トーンマップの切り替えが頻繁に起きることを抑制できる。
【０１４８】
［５．実施の形態４］
本実施の形態では、映像再生装置が、Ｕｌｔｒａ  ＨＤ  Ｂｌｕ−ｒａｙの映像再生装置の場合について説明する。Ｂｌｕ−ｒａｙの場合、メニューにＢＤ−Ｊ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ  Ｊａｖａ（登録商標））が用いられる場合と、ＨＤＭＶ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｍｏｖｉｅ  Ｍｏｄｅ）が用いられる場合があり、以下では、それぞれ実施の形態について説明する。
【０１４９】
なお、映像表示装置１０２の構成は、実施の形態１又は実施の形態２と同様である。図１９は、メニューにＢＤ−Ｊが用いられる場合の映像再生装置１０１Ａの構成例を示す図である。図１９に示すように映像再生装置１０１Ａは、ＢＤ−ＲＯＭ駆動部１５２と、ＢＤ−Ｊエンジン１５３と、デマルチプレクサ１５４と、ＰＧデコーダ（ＰＧ  Ｄｅｃ）１５５と、映像デコーダ（Ｖｉｄｅｏ  Ｄｅｃ）１５６と、Ｉｎｆｏ  Ｆｒａｍｅ変換部１５７とを備える。
【０１５０】
映像再生装置１０１Ａが、ディスク１５１（ＢＤ−ＲＯＭメディア）から再生を始めると、ＢＤ−Ｊのデータとプログラムが、映像再生装置１０１Ａが備えるメモリに読み込まれる。ＢＤ−Ｊエンジン１５３は、Ｊａｖａプログラムを実行する。プログラムが、主映像の再生コマンドである場合、再生コマンドの再生制御情報（Ｐｌａｙｌｉｓｔ）に従って、映像ストリームがディスクより読み込まれ、デマルチプレクサ１５４に送られる。デマルチプレクサ１５４は、映像ストリームを、それぞれの素材ストリームに分け、字幕をＰＧデコーダ１５５に送り、主映像を映像デコーダ１５６に送る。また、ここでは図示していないが、デマルチプレクサ１５４は、音声を音声デコーダに送る。
【０１５１】
その後、主映像と字幕とが合成され、得られた映像が音声とともに、ＨＤＭＩを介して映像表示装置１０２（例えばＴＶ）に送られる。
【０１５２】
このとき、主映像のＳＥＩメッセージから、ダイナミックメタデータが抜き取られ、Ｉｎｆｏ  Ｆｒａｍｅ変換部１５７へ送られる。字幕については、字幕重畳フラグ又はＭＡＸＳＬＬが、別途規定されているメタデータから抽出され、Ｉｎｆｏ  Ｆｒａｍｅ変換部１５７へ送られる。または、字幕重畳フラグ又はＭＡＸＳＬＬは、再生制御情報（Ｐｌａｙｌｉｓｔ）に記述され、再生が始まるときに、メモリに取り込まれ、Ｉｎｆｏ  Ｆｒａｍｅ変換部１５７へ送られる。または、字幕重畳フラグ又はＭＡＸＳＬＬは、字幕データそのものに埋め込まれ、字幕データから抽出され、Ｉｎｆｏ  Ｆｒａｍｅ変換部１５７へ入力される。
【０１５３】
字幕表示がＯＦＦとなった場合、どちらの場合も、Ｉｎｆｏ  Ｆｒａｍｅ変換部１５７への字幕重畳フラグ又はＭＡＸＳＬＬの入力が止まる。
【０１５４】
ここで、Ｊａｖａプログラムでメニューを表示する場合、Ｊａｖａプログラムにより、メニュー重畳フラグ又はＭＡＸＧＬＬが、Ｉｎｆｏ  Ｆｒａｍｅ変換部１５７に送られる。これにより、主映像、字幕、及びメニューに関するメタデータが、Ｉｎｆｏ  Ｆｒａｍｅとして、映像及び音声とともに、ＨＤＭＩを通して映像表示装置１０２へ送られる。
【０１５５】
図２０は、メニューにＨＤＭＶが用いられる場合の映像再生装置１０１Ｂの構成例を示す図である。図２０に示すように映像再生装置１０１Ｂは、映像再生装置１０１Ａの構成に対して、ＢＤ−Ｊエンジン１５３の代わりに、ＩＧデコーダ（ＩＧ  Ｄｅｃ）１５８と、ＢＤＭＶコマンド解釈部（ｉｎｔｅｒｐｒｅｔｅｒ）１５９とを備える。
【０１５６】
ＨＤＭＶの場合もＨＤＭＶのコマンドで映像再生が始まると、ＢＤ−Ｊの場合と同様に、映像、音声及び字幕が処理され、ＨＤＭＩを経由して映像表示装置１０２に出力される。ユーザ操作、又はＨＤＭＶのコマンドでメニューを表示する場合、ＩＧデコーダ１５８及びＢＤＭＶコマンド解釈部１５９は、ＩＧストリームとして記録されているＩＧデータをデコードし、表示するグラフィックスデータとメニューのためのコマンドを抽出する。このとき、コマンドのパラメータに、メニュー重畳フラグ又はＭＡＸＧＬＬを出力する指示が記載されることで、メニュー重畳フラグ又はＭＡＸＧＬＬが、Ｉｎｆｏ  Ｆｒａｍｅ変換部１５７へ送られる。または、ＩＧデータそのものにＭＡＸＧＬＬが記載され、ＩＧデコーダ１５８及びＢＤＭＶコマンド解釈部１５９から直接、Ｉｎｆｏ  Ｆｒａｍｅ変換部１５７へＭＡＸＧＬＬが送られる。
【０１５７】
メニュー重畳フラグ又はＭＡＸＧＬＬをＩｎｆｏ  Ｆｒａｍｅ変換部１５７へ送るためのＪＡＶＡ（登録商標）プログラムとして、以下のようなコマンドが用いられる。（１）メニュー重畳フラグをＯＦＦに設定する。（２）メニュー重畳フラグをＯＮに設定する。（３）メニュー重畳フラグをレジスタの値に設定する。（４）ＭＡＸＧＬＬを指定値に設定する。（５）ＭＡＸＧＬＬをレジスタの値に設定する。ＨＤＭＶの場合も上記と同様なコマンドを用いる。
【０１５８】
また、字幕の場合においても、上記と同様なコマンドを用いてもよい。つまり、字幕重畳フラグ又はＭＡＸＳＬＬをＩｎｆｏ  Ｆｒａｍｅ変換部１５７へ送るためのＪＡＶＡプログラムとして、以下のようなコマンドが用いられる。（１）字幕重畳フラグをＯＦＦに設定する。（２）字幕重畳フラグをＯＮに設定する。（３）字幕重畳フラグをレジスタの値に設定する。（４）ＭＡＸＳＬＬを指定値に設定する。（５）ＭＡＸＳＬＬをレジスタの値に設定する。
【０１５９】
この場合、映像再生装置は、実際に字幕が表示されていなくても強制的にコマンドで設定した値を出力してもよいし、ＰＧストリーム中で定義した字幕重畳フラグがＯＮの場合のみコマンドを有効とし、コマンドでは字幕重畳フラグをＯＦＦにできないとしてもよい。
【０１６０】
なお、Ｂｌｕ−ｒａｙ、Ｕｌｔｒａ  ＨＤ  Ｂｌｕ−ｒａｙの詳細は、例えば、非特許文献１に記載されている。
【０１６１】
以上により、グラフィックスの有無に応じて、第１トーンマップ処理（例えばダイナミックトーンマップ）と、第２トーンマップ処理（例えばトーンマップを固定）とを切り替えるためのＡＰＩ（アプリケーションプログラミングインタフェース）を実現できる。これにより、第１トーンマップ処理と、第２トーンマップ処理との切り替えを容易に実現できる。
【０１６２】
［６．変形例］
取得部１１１が取得するＨＤＲ映像は、例えばＢｌｕ−ｒａｙディスク、ＤＶＤ、Ｉｎｔｅｒｎｅｔの動画配信サイト、放送、又はＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）内の映像であってもよい。
【０１６３】
上記映像再生装置は、ディスクプレイヤー、ディスクレコーダ、セットトップボックス、テレビ、パーソナルコンピュータ、又はスマートフォンなど、記録媒体、放送又はインターネットからの圧縮された映像信号を復号し、映像表示装置に送る装置でもよい。また、映像再生装置の機能の一部又は全てが、映像表示装置１０２に含まれてもよい。例えば、映像再生装置に含まれる処理部のうち、取得部１１１以外の処理部が映像表示装置１０２に含まれてもよい。また、映像表示装置１０２に含まれる映像受信部１２１、メタデータ取得部１２２及びトーンマップ処理部１２３が映像再生装置に含まれてもよい。また、トーンマップ処理部１２３に含まれる処理部のうちトーンマップ部１３３以外の処理部が映像再生装置に含まれてもよい。
【０１６４】
映像再生装置からの映像信号を映像表示装置に伝送する映像信号伝送手段は、ＨＤＭＩ、ＤＶＩ、又はＤＰなどの映像信号を非圧縮の状態で伝送する手段であってもよいし、ネットワークを通じた伝送のように映像信号を圧縮した形式で伝送する手段であってもよい。
【０１６５】
映像表示装置の最大輝度情報又はトーンマップ情報の映像再生装置への設定は、利用者が映像再生装置にリモートコントローラなどを用いて入力することで行われてもよいし、利用者が映像再生装置が備える操作装置を用いて入力することで行われてもよい。または、利用者は、インターネット又はその他の手段を用いて、これらの情報を取得し、取得した情報をポータブル記憶媒体に保存し、ポータブル記憶媒体を介して、これらの情報を映像再生装置に送ってもよい。また、映像再生装置が直接、インターネットに接続され、映像再生装置は、サーバのデータベースから、これらの情報を取得してもよい。さらに、映像再生装置は、映像表示装置にテストパターンを表示し、表示されたテストパターンを用いて映像表示装置の特性を確認しながら、これらの情報を取得及び記憶してもよい。
【０１６６】
映像再生装置は、グラフィックス（字幕又はメニュー）の輝度をそのデータから検出することでグラフィックス輝度情報（字幕輝度情報及びメニュー輝度情報を含む）を生成してもよいし、映像データ作成時に予め作成されたグラフィックスの輝度を取得してもよい。例えば、グラフィックスの輝度は、ディスクに記録されていてもよいし、メタデータとして放送又はＩｎｔｅｒｎｅｔで送付されてもよい。映像再生装置は、グラフィックスの輝度を読み取り、ダイナミックメタデータの一部として映像表示装置に送る。あるいは、Ｉｎｔｅｒｎｅｔに接続されたサーバのデータベースに、再生するコンテンツに対する情報として、グラフィックス（字幕又はメニュー）の輝度情報が記録されており、映像再生装置は、当該データベースからグラフィックスの輝度情報を取得し、取得した輝度情報を映像表示装置に送ってもよい。
【０１６７】
以上、本開示の実施の形態に係る映像表示システムについて説明したが、本開示は、この実施の形態に限定されるものではない。
【０１６８】
また、上記実施の形態に係る映像表示システムに含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
【０１６９】
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１７０】
また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【０１７１】
また、本開示は、映像表示システムにより実行される各種方法として実現されてもよい。
【０１７２】
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
【０１７３】
また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
【０１７４】
以上、一つまたは複数の態様に係る映像表示システムについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
【産業上の利用可能性】
【０１７５】
本開示は、映像表示システム、映像再生装置又は映像表示装置に適用できる。
【符号の説明】
【０１７６】
１００  映像表示システム
１０１、１０１Ａ、１０１Ｂ  映像再生装置
１０２  映像表示装置
１１１  取得部
１１２  デマルチプレクサ
１１３  主映像デコード部
１１４  字幕デコード部
１１５  メニューデコード部
１１６、１２２  メタデータ取得部
１１７  グラフィックス合成部
１１８  主映像合成部
１１９  映像送出部
１２１  映像受信部
１２３、１２３Ａ、１２３Ｂ  トーンマップ処理部
１２４  表示部
１３１  係数演算部
１３２  係数保持部
１３３  トーンマップ部
１３４  係数合成部
１３５、１４２  比較部
１３６  係数変更部
１４１  係数フェード部
１５１  ディスク
１５２  ＢＤ−ＲＯＭ駆動部
１５３  ＢＤ−Ｊエンジン
１５４  デマルチプレクサ
１５５  ＰＧデコーダ
１５６  映像デコーダ
１５７  Ｉｎｆｏ  Ｆｒａｍｅ変換部
１５８  ＩＧデコーダ
１５９  ＢＤＭＶコマンド解釈部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
映像の最大輝度に応じた変換カーブを用いて前記映像の輝度を変換するトーンマップ処理を行うトーンマップ処理部と、
前記トーンマップ処理後の映像を表示する表示部とを備え、
前記トーンマップ処理部は、
前記映像における最大輝度の時系列の変化に応じて、前記変換カーブを時系列に変更する第１トーンマップ処理を行うか、前記映像における最大輝度の時系列の変化に依らず、一定の変換カーブを用いる第２トーンマップ処理を行うか、を切り替え、
使用するトーンマップ処理を、前記第２トーンマップ処理から前記第１トーンマップ処理に切り替える場合、使用する変換カーブを前記一定の変換カーブから時系列に変更する変換カーブに、複数フレームにおいて連続的又は段階的に変更する
映像表示装置。
【請求項２】
前記トーンマップ処理部は、前記映像にグラフィックスが含まれない場合、前記第１トーンマップ処理を行い、前記映像に前記グラフィックスが含まれる場合、前記第２トーンマップ処理を行う
請求項１記載の映像表示装置。
【請求項３】
前記トーンマップ処理部は、前記第１トーンマップ処理を行うか前記第２トーンマップ処理を行うかを示す第１フラグに応じて、前記第１トーンマップ処理を行うか、前記第２トーンマップ処理を行うかを決定する
請求項１記載の映像表示装置。
【請求項４】
前記第１フラグは、前記映像に字幕が含まれるか否かを示す第２フラグと、前記映像にメニューが含まれるか否かを示す第３フラグとを含む
請求項３記載の映像表示装置。
【請求項５】
前記第１フラグは、間欠的に字幕が表示される一連の期間である字幕表示期間と、予め定められた時間以上字幕が表示されない字幕不表示期間とを示し、
前記トーンマップ処理部は、前記字幕表示期間において前記第２トーンマップ処理を行い、前記字幕不表示期間において前記第１トーンマップ処理を行う
請求項３記載の映像表示装置。
【請求項６】
前記トーンマップ処理部は、前記第１トーンマップ処理から前記第２トーンマップ処理に切り替わった場合、前記第２トーンマップ処理において、直前の変換カーブを継続して用いる
請求項１〜５のいずれか１項に記載の映像表示装置。
【請求項７】
前記トーンマップ処理部は、前記第２トーンマップ処理において、
境界輝度以上の輝度に対しては、前記映像における最大輝度の時系列の変化に応じて、前記変換カーブを時系列に変更し、
前記境界輝度未満の輝度に対しては、前記映像における最大輝度の時系列の変化に依らず、一定の変換カーブを用いる
請求項２記載の映像表示装置。
【請求項８】
映像表示装置における映像表示方法であって、
映像の最大輝度に応じた変換カーブを用いて前記映像の輝度を変換するトーンマップ処理を行うトーンマップ処理ステップと、
前記トーンマップ処理後の映像を表示する表示ステップとを含み、
前記トーンマップ処理ステップでは、
前記映像における最大輝度の時系列の変化に応じて、前記変換カーブを時系列に変更する第１トーンマップ処理を行うか、前記映像における最大輝度の時系列の変化に依らず、一定の変換カーブを用いる第２トーンマップ処理を行うか、を切り替え、
使用するトーンマップ処理を、前記第２トーンマップ処理から前記第１トーンマップ処理に切り替える場合、使用する変換カーブを前記一定の変換カーブから時系列に変更する変換カーブに、複数フレームにおいて連続的又は段階的に変更する
映像表示方法。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2019012729.tif 000030
【図２】
2019012729.tif 000031
【図３Ａ】
2019012729.tif 000032
【図３Ｂ】
2019012729.tif 000033
【図４Ａ】
2019012729.tif 000034
【図４Ｂ】
2019012729.tif 000035
【図５】
2019012729.tif 000036
【図６】
2019012729.tif 000037
【図７】
2019012729.tif 000038
【図８Ａ】
2019012729.tif 000039
【図８Ｂ】
2019012729.tif 000040
【図９】
2019012729.tif 000041
【図１０】
2019012729.tif 000042
【図１１Ａ】
2019012729.tif 000043
【図１１Ｂ】
2019012729.tif 000044
【図１１Ｃ】
2019012729.tif 000045
【図１２】
2019012729.tif 000046
【図１３】
2019012729.tif 000047
【図１４】
2019012729.tif 000048
【図１５】
2019012729.tif 000049
【図１６】
2019012729.tif 000050
【図１７Ａ】
2019012729.tif 000051
【図１７Ｂ】
2019012729.tif 000052
【図１８Ａ】
2019012729.tif 000053
【図１８Ｂ】
2019012729.tif 000054
【図１９】
2019012729.tif 000055
【図２０】
2019012729.tif 000056
【国際調査報告】
2019012729.tif 000057
2019012729.tif 000058
2019012729.tif 000059