(57)【要約】【課題】高品質の映像信号を得ることのできる映像信号処理装置を提供する。【解決手段】情報処理装置のＣＰＵが、ターゲットエリア内のＨＤＲ映像信号の明るさの代表値をもとに、ＨＤＲ映像信号に乗じる負のゲイン値を可変し、この負のゲイン値をＨＤＲ映像信号に乗じることによってダイナミックレンジを圧縮した映像信号を、さらにＳＤＲのダイナミックレンジに制限してＳＤＲ映像信号を生成する。これにより、ＨＤＲ映像信号から生成されるＳＤＲ映像信号をＨＭＤに表示させた場合にコントラストの低下や白とびの発生を極力抑えることができる。【選択図】図１
2018117276.tif 000002
【特許請求の範囲】
【請求項１】
第１のダイナミックレンジで撮影された第１の映像信号を取得する第１のインタフェースと、
前記取得された第１の映像信号の中の一部の領域を特定するための情報を取得する第２のインタフェースと、
前記一部の領域の前記第１の映像信号の明るさの代表値を算出し、前記算出された代表値に応じて前記第１の映像信号のダイナミックレンジを圧縮し、前記第１のダイナミックレンジよりも狭い第２のダイナミックレンジに制限した第２の映像信号を生成する演算処理回路と
を具備する映像信号処理装置。
【請求項２】
請求項１に記載の映像信号処理装置であって、
前記演算処理回路は、前記算出された代表値に応じたゲイン値を前記第１の映像信号に乗じることによって前記第１の映像信号のダイナミックレンジを圧縮するように構成された
映像信号処理装置。
【請求項３】
請求項２に記載の映像信号処理装置であって、
前記演算処理回路は、前記算出された代表値が大きいほど、絶対値の大きい負のゲイン値を前記第１の映像信号に乗じるように構成された
映像信号処理装置。
【請求項４】
請求項３に記載の映像信号処理装置であって、
前記演算処理回路は、前記第１の映像信号の中の前記一部の領域の中央部分とその他の部分とで明るさの値の重みを異ならせて前記明るさの代表値を算出するように構成された
映像信号処理装置。
【請求項５】
請求項４に記載の映像信号処理装置であって、
前記演算処理回路は、前記第２の映像信号に、当該第２の映像信号の高輝度部の表示レンジを増大させるように高輝度部を圧縮する形のガンマ処理を行うように構成された
映像信号処理装置。
【請求項６】
請求項５に記載の映像信号処理装置であって、
前記演算処理回路により生成された第２の映像信号を、前記第２のダイナミックレンジで映像を表示可能なディスプレイを有する機器に出力する第３のインタフェースをさらに具備する
映像信号処理装置。
【請求項７】
演算処理回路が、
第１のインタフェースを使って第１のダイナミックレンジで撮影された第１の映像信号を取得し、
第２のインタフェースを使って、前記取得された第１の映像信号の中の一部の領域を特定するための情報を取得し、
前記一部の領域の前記第１の映像信号の明るさの代表値を算出し、前記算出された代表値に応じて前記第１の映像信号のダイナミックレンジを圧縮し、前記第１のダイナミックレンジよりも狭い第２のダイナミックレンジに制限した第２の映像信号を生成する
映像信号処理方法。
【請求項８】
第１のダイナミックレンジで撮影された第１の映像信号を取得する第１のインタフェースと、
前記取得された第１の映像信号の中の一部の領域を特定するための情報を取得する第２のインタフェースと、
前記一部の領域の前記第１の映像信号の明るさの代表値を算出し、前記算出された代表値に応じて前記第１の映像信号のダイナミックレンジを圧縮し、前記第１のダイナミックレンジよりも狭い第２のダイナミックレンジに制限した第２の映像信号を生成する演算処理回路と
を具備する映像信号処理装置として、
コンピュータを動作させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、第１のダイナミックレンジで撮像された映像信号から、第１のダイナミックレンジよりも狭い第２のダイナミックレンジの映像信号を生成する映像信号処理装置、映像信号処理方法およびプログラムに関する。
【背景技術】
【０００２】
ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）イメージングでは、ダイナミックレンジの広い映像の表現が可能であり、通常のモニターで表示可能な標準的なダイナミックレンジを持つＳＤＲ（Ｓｔａｎｄａｒｄ Ｄｙｎａｍｉｃ Ｒａｎｇｅ)の映像信号で表現しきれなかった、暗部の表現や、輝度の高い色の表現などが可能である。
【０００３】
ＨＤＲおよびＬＤＲの映像信号処理に関する公知技術には、ＨＤＲビデオとＬＤＲビデオとを同時生成する技術（特許文献１参照）、ＬＤＲビデオをＨＤＲビデオに変換する技術（特許文献２参照）などがある。なお、ＬＤＲはＳＤＲと同義である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６-１９５３７９号公報
【特許文献２】国際公開第２０１１／０４２２２
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、例えばＨＤＲなどの広い第１のダイナミックレンジを有するカメラで撮像された映像信号から、第１のダイナミックレンジよりも狭い例えばＳＤＲなどの第２のダイナミックレンジの映像信号を生成する場合には、高輝度部分の白とびや低輝度部分の黒潰れが生じるなど、様々な問題があり、その十分な解決方法は未だ確立されていない。
【０００６】
本技術の目的は、高品質の映像信号を得ることのできる映像信号処理装置、映像信号処理方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
このような課題を解決するために、本技術の第１の形態の映像信号処理装置は、
第１のダイナミックレンジで撮影された第１の映像信号を取得する第１のインタフェースと、
前記取得された第１の映像信号の中の一部の領域を特定するための情報を取得する第２のインタフェースと、
前記一部の領域の前記第１の映像信号の明るさの代表値を算出し、前記算出された代表値に応じて前記第１の映像信号のダイナミックレンジを圧縮し、前記第１のダイナミックレンジよりも狭い第２のダイナミックレンジに制限した第２の映像信号を生成する演算処理回路と
を具備するものである。
【０００８】
前記演算処理回路は、前記算出された代表値に応じたゲイン値を前記第１の映像信号に乗じることによって前記第１の映像信号のダイナミックレンジを圧縮するように構成されたものであってよい。
【０００９】
前記演算処理回路は、前記算出された代表値が大きいほど、絶対値の大きい負のゲイン値を前記第１の映像信号に乗じるように構成されたものであってもよい。
【００１０】
前記演算処理回路は、前記第１の映像信号の中の前記一部の領域の中央部分とその他の部分とで明るさの値の重みを異ならせて前記明るさの代表値を算出するように構成されたものであってもよい。
【００１１】
前記演算処理回路は、前記第２の映像信号の高輝度部の表示レンジを増大させるように高輝度部を圧縮する形のガンマ処理を行うように構成されたものであってもよい。
【００１２】
さらに、本形態の映像信号処理装置は、前記演算処理回路により生成された第２の映像信号を、前記第２のダイナミックレンジで映像を表示可能なディスプレイを有する機器に出力する第３のインタフェースをさらに具備するものであってよい。
【００１３】
本技術の第２の形態の映像信号処理方法は、
演算処理回路が、
第１のインタフェースを使って第１のダイナミックレンジで撮影された第１の映像信号を取得し、
第２のインタフェースを使って、前記取得された第１の映像信号の中の一部の領域を特定するための情報を取得し、
前記一部の領域の前記第１の映像信号の明るさの代表値を算出し、前記算出された代表値に応じて前記第１の映像信号のダイナミックレンジを圧縮し、前記第１のダイナミックレンジよりも狭い第２のダイナミックレンジに制限した第２の映像信号を生成する、ことにある。
【００１４】
さらに、本技術の第３の形態のプログラムは、
第１のダイナミックレンジで撮影された第１の映像信号を取得する第１のインタフェースと、
前記取得された第１の映像信号の中の一部の領域を特定するための情報を取得する第２のインタフェースと、
前記一部の領域の前記第１の映像信号の明るさの代表値を算出し、前記算出された代表値に応じて前記第１の映像信号のダイナミックレンジを圧縮し、前記第１のダイナミックレンジよりも狭い第２のダイナミックレンジに制限した第２の映像信号を生成する演算処理回路と
を具備する映像信号処理装置として、
コンピュータを動作させるプログラムである。
【００１５】
本技術に係る映像信号処理装置は、情報処理装置、サーバなどとして構成することも可能である。演算処理回路は、ＣＰＵなどによって構成することが可能である。
【発明の効果】
【００１６】
以上のように、本技術によれば、高品質の映像信号を得ることができる。
【図面の簡単な説明】
【００１７】
【図１】本技術に係る第１の実施形態の映像信号処理システム１の構成を示すブロック図である。
【図２】ＶＲパノラマ映像１０１におけるターゲットエリア１０３を説明するための図である。
【図３】第１のダイナミックレンジ（ＨＤＲ）と第２のダイナミックレンジ（ＳＤＲ）を比較して示す図である。
【図４】ＶＲパノラマ映像１０１においてターゲットエリア１０３が日向部分にある場合を示す図である。
【図５】ＨＤＲからＳＤＲへのダイナミックレンジの変換例を示す図である。
【図６】ＶＲパノラマ映像１０１においてターゲットエリア１０３が日向部分と日陰部分の両方を含む場合を示す図である。
【図７】明るさの代表値の他の計算方法を説明するための図である。
【図８】ＨＤＲ映像信号から生成されたＳＤＲ映像信号に対するガンマ処理のガンマ特性の例を示す図である。
【図９】本技術に係る変形例２の映像信号処理システム１Ａの構成を示すブロック図である。
【図１０】本技術に係る変形例３の映像信号処理システム１Ｂの構成を示すブロック図である。
【図１１】図１２の映像信号処理システム１Ｂにおける配信サーバ３０Ｂの構成を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、本技術に係る実施形態を、図面を参照しながら説明する。
［映像信号処理システム］
図１は、本技術に係る第１の実施形態の映像信号処理システム１の構成を示すブロック図である。
本実施形態の映像信号処理システム１は、撮像ユニット１０と、ＶＲ信号処理ユニット２０と、エンコード・配信ユニット３０と、情報処理装置４０と、ヘッドマウントディスプレイ（以下、「ＨＭＤ」と呼ぶ。）５０と、ＨＭＤ用コントローラ６０を有する。ＶＲはＶｉｒｔｕａｌ Ｒｅａｌｉｔｙ（仮想現実）の略である。
【００１９】
（撮像ユニット１０）
撮像ユニット１０は、比較的広い、例えばＨＤＲなどの第１のダイナミックレンジで撮像をすることが可能な１台以上のカメラ１１で構成される。本実施形態では、例えば、ＨＭＤ５０に３６０度パノラマ映像をＶＲ映像として表示させるために、複数のカメラ１１による撮像ユニット１０が用いられる。撮像ユニット１０の複数のカメラ１１によりそれぞれ撮像された複数のＨＤＲ映像信号は、図示しない伝送インタフェースによってＶＲ信号処理ユニット２０に伝送される。
【００２０】
（ＶＲ信号処理ユニット２０）
ＶＲ信号処理ユニット２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、メモリー、伝送インタフェースなどによって構成される。ＶＲ信号処理ユニット２０のＣＰＵは、撮像ユニット１０より伝送された複数のＨＤＲ映像信号を受信し、メモリーを用いてこれら複数のＨＤＲ映像信号を空間的に結合するスティッチングや、レンズ歪み補正などを行って、例えば３６０度パノラマ映像などのＶＲ映像を生成し、伝送インタフェースを使ってエンコード・配信ユニット３０に供給する。
【００２１】
（エンコード・配信ユニット３０）
エンコード・配信ユニット３０は、例えば、ＣＰＵ、メモリー、伝送インタフェース、通信インタフェースなどで構成される。エンコード・配信ユニット３０は、情報処理装置４０からのＶＲ映像の配信要求に対して、伝送インタフェースを使ってＶＲ信号処理ユニット２０から取得したＶＲ映像のＨＤＲ映像信号をネットワーク伝送に適した形式のデータに符号化し、通信インタフェースを使って、配信要求元の情報処理装置４０にインターネットなどのネットワーク７０を通じて配信する。
【００２２】
（情報処理装置４０）
情報処理装置４０は、エンコード・配信ユニット３０にＶＲ映像の配信要求を送信し、この要求に応じてエンコード・配信ユニット３０より配信されたＶＲ映像のＨＤＲ映像信号を受信し、受信したＨＤＲ映像信号からＨＭＤ５０に供給して表示させるためのＳＤＲ映像信号を生成する。
【００２３】
情報処理装置４０は、ＣＰＵ４１と、メモリー４２と、ネットワーク７０との通信インタフェース４３と、ＨＭＤ５０との通信インタフェース４４と、ＨＭＤ用コントローラ６０との通信インタフェース４５を有する。
【００２４】
メモリー４２は、ＣＰＵ４１に実行させるオペレーティングシステムおよびアプリケーションプログラムを保持する。また、メモリー４２は、ＣＰＵ４１の演算処理のための作業領域、エンコード・配信ユニット３０より配信されたＨＤＲ映像信号の一時保存領域などを提供する。
【００２５】
ネットワーク７０との通信インタフェース４３は、ネットワーク７０を通じてエンコード・配信ユニット３０にＶＲ映像の配信要求を送信したり、この配信要求に対してエンコード・配信ユニット３０から配信されたＶＲ映像のＨＤＲ映像信号を受信するために用いられる。ネットワーク７０との通信インタフェース４３は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応の装置であっても、有線による通信を行うワイヤー通信装置であってもよい。また、ネットワーク７０を通じてエンコード・配信ユニット３０からＶＲ映像の配信を受ける方法以外に、光ディスクのような物理メディアを介して、情報処理装置４０がＶＲ映像を取得してもよい。この場合には、情報処理装置４０は物理メディアを着脱自在なドライブ装置のようなメディアインタフェースを使って物理メディアからＶＲ映像を読み込むように構成すればよい。
【００２６】
ＨＭＤ５０との通信インタフェース４４は、情報処理装置４０からＨＭＤ５０へのＳＤＲ映像信号の伝送や、ＨＭＤ５０内のジャイロセンサー、加速度センサーおよびカメラなどのセンサーの検出信号の取得などに用いられる。ＨＭＤ５０との通信インタフェース４４には、例えば、ＨＤＭＩ（Ｈｉｇｈ-Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、これらの組み合わせなどが用いられる。あるいは、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線通信や、Ｗｉ−Ｆｉ（登録商標）などの無線ＬＡＮなどを用いてもよい。
【００２７】
ＨＭＤ用コントローラ６０との通信インタフェース４５は、ＨＭＤ用コントローラ６０からのズームイン／ズームアウトの操作信号や選択／決定ボタンの操作に対応する操作信号の取得などに用いられるインタフェースである。ＨＭＤ用コントローラ６０との通信インタフェース４５は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線通信や、Ｗｉ−Ｆｉ（登録商標）などの無線ＬＡＮ、ワイヤレスＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などであってもよい。
【００２８】
情報処理装置４０のＣＰＵ４１は、ネットワーク７０との通信インタフェース４３を用いて、エンコード・配信ユニット３０より配信されたＶＲ映像のＨＤＲ映像信号を受信し、デコードする。また、ＣＰＵ４１は、ＨＭＤ５０との通信インタフェース４４を用いて、ＨＭＤ５０内のジャイロセンサーおよび加速度センサーなどのセンサーの検出信号を取得し、取得した検出信号からＨＭＤ５０を装着するユーザＵのＶＲ空間内の視線方向（方位角、姿勢角）を検出し、この視線方向にある、ＨＭＤ５０のディスプレイ解像度分の領域（表示エリア）における中央部分の任意サイズの領域をターゲットエリアとして算出する。
【００２９】
情報処理装置４０のＣＰＵ４１は、ターゲットエリアを算出すると、メモリー４２に保存されたＨＤＲ映像信号をもとにターゲットエリアのＨＤＲ映像信号の明るさの代表値を算出する。情報処理装置４０のＣＰＵ４１は、この明るさの代表値にもとに負のゲイン値を決定し、この負のゲイン値をＨＤＲ映像信号に乗じることによってダイナミックレンジを圧縮した映像信号に、ＳＤＲなどの第２のダイナミックレンジに制限してＳＤＲ映像信号を生成する。情報処理装置４０のＣＰＵ４１は、生成したＳＤＲ映像信号をＨＭＤ５０との通信インタフェース４４を用いてＨＭＤ５０に供給するように制御を行う。
【００３０】
（ＨＭＤ５０）
ＨＭＤ５０は、ディスプレイと、ジャイロセンサーと、加速度センサーと、情報処理装置４０との通信インタフェースと、ＨＭＤ用コントローラ６０との通信インタフェースとを備える。
【００３１】
ディスプレイは、ＶＲ信号処理ユニット２０により生成されるＶＲパノラマ映像を表示可能なディスプレイである。
【００３２】
ＨＭＤ５０に配置されたジャイロセンサーおよび加速度センサーのそれぞれの検出信号は、情報処理装置４０との通信インタフェースを用いて情報処理装置４０に送信される。
【００３３】
ＨＭＤ用コントローラ６０は、例えば、ＣＰＵと、メモリーと、ジャイロセンサーと、加速度センサーと、情報処理装置４０との通信インタフェースと、選択／決定ボタンなどを備える。
【００３４】
ＨＭＤ用コントローラ６０のＣＰＵは、ユーザＵがＨＭＤ用コントローラ６０を空間的に動かしたときにジャイロセンサーや加速度センサーなどが発生する検出信号や選択／決定ボタンの操作信号を、通信インタフェースを用いて情報処理装置４０に送信する。
【００３５】
情報処理装置４０のＣＰＵ４１は、ＨＭＤ５０に表示させるＶＲ映像にユーザＵの操作対象である複数のボタンなどの複数のオブジェクトや、ＨＭＤ用コントローラ６０の操作に連動するカーソルポインタなどをＶＲ映像に合成して表示する。複数のオブジェクトにそれぞれ割り当てられた機能には、例えば、ＨＭＤ５０に表示させるＶＲ映像のズームイン、ズームアウトなどがある。ユーザＵはＨＭＤ用コントローラ６０の操作によってカーソルポインタを、目的の機能が割り当てられたオブジェクトの位置に移動させ、ＨＭＤ用コントローラ６０に設けられた選択／決定ボタンを押すことによって、情報処理装置４０のＣＰＵによってその機能を実行するための処理が実行される。
【００３６】
なお、情報処理装置４０のＣＰＵ４１によるターゲットエリアの算出においては、例えば、ＨＭＤ５０から供給されるジャイロセンサーおよび加速度センサーのそれぞれの検出信号などに加えて、ＨＭＤ用コントローラ６０から供給されるズームイン、ズームアウトの操作信号も用いられる。すなわち、情報処理装置４０のＣＰＵ４１は、ＨＭＤ用コントローラ６０から供給されるズームイン、ズームアウトの操作信号をもとにターゲットエリアを再計算する。
なお、ターゲットエリアの別の算出方法としては、外部のレーザエミッタから照射された赤外線をＨＭＤ５０に付けられた複数の赤外線センサーで受光しその出力信号を分析してＨＭＤ５０の位置や向きを算出し、この算出結果からターゲットエリアを算出する方法などがある。あるいは、外部の赤外線カメラなどによりＨＭＤ５０に付けられたＬＥＤなどの光源の光を撮影し、撮影像を分析してＨＭＤ５０の位置や向きを算出し、この算出結果からターゲットエリアを算出するようにしてもよい。
【００３７】
（ターゲットエリアの映像の明るさについて）
図２は、ＶＲパノラマ映像１０１におけるターゲットエリア１０３を説明するための図である。
同図において、ＶＲパノラマ映像１０１の中の斜線によって塗り潰された部分は日陰部分の映像１０５、その他の部分は日向の部分の映像１０７である。日向部分の映像１０７は日陰部分の映像１０５に比べて全体的に明るい。ここで、四角により囲われた領域はターゲットエリア１０３である。図２の例では、ターゲットエリア１０３の映像の殆どは日陰部分の映像１０５である。
【００３８】
図３は、第１のダイナミックレンジ（ＨＤＲ）と第２のダイナミックレンジ（ＳＤＲ）を比較して示す図である。
第２のダイナミックレンジ（ＳＤＲ）を１００％とすると、第１のダイナミックレンジ（ＨＤＲ）は例えば１３００％など、第２のダイナミックレンジ（ＳＤＲ）よりも広い。ここで、第２のダイナミックレンジ（ＳＤＲ）が第１のダイナミックレンジ（ＨＤＲ）の０〜１００％のレンジ部分に対応する場合、図２に示した日陰部分の映像１０５のように全体的に暗い部分の映像を第２のダイナミックレンジ（ＳＤＲ）で表示させても、ＨＤＲ映像信号のコントラストとＳＤＲ映像信号のコントラストとの間に大きな変化は現れない。しかし、例えば、図４に示すように、ターゲットエリア１０３の映像の殆どが日向部分の映像１０７であるなど明るい映像である場合、第２のダイナミックレンジ（ＳＤＲ）で表示させた映像にコントラストの著しい低下や白とびが生じるおそれがある。
【００３９】
本実施形態では、このような課題を解決するために、情報処理装置４０のＣＰＵ４１が、ターゲットエリアのＨＤＲ映像信号の明るさの代表値を算出し、この明るさの代表値をもとに決定した負のゲイン値をＨＤＲ映像信号に乗じることによってダイナミックレンジを圧縮した映像信号を、さらに第２のダイナミックレンジ（ＳＤＲ）に制限してＳＤＲ映像信号を生成するように構成されている。
【００４０】
（映像信号処理システム１の動作）
次に、本実施形態の映像信号処理システム１の動作を説明する。
【００４１】
情報処理装置４０のＣＰＵ４１は、ネットワーク７０との通信インタフェース４３を用いて、エンコード・配信ユニット３０にＶＲ映像の配信要求を送信する。
【００４２】
エンコード・配信ユニット３０のＣＰＵは、情報処理装置４０からのＶＲ映像の配信要求を受信すると、ＶＲ信号処理ユニット２０より伝送されたＶＲ映像のＨＤＲ映像信号をネットワーク伝送に適した形式のデータに符号化し、パケット化して、ネットワーク７０を通じて情報処理装置４０に配信する。
【００４３】
情報処理装置４０のＣＰＵ４１は、ネットワーク７０を通じてエンコード・配信ユニット３０より配信されたＶＲ映像のＨＤＲ映像信号を通信インタフェース４３を使って受信し、受信したＨＤＲ映像信号をデコードして、メモリー４２に保存する。
【００４４】
情報処理装置４０のＣＰＵ４１は、ＨＭＤ５０よりジャイロセンサーおよび加速度センサーのそれぞれの検出信号を取得し、それぞれの検出信号を用いて、ＨＭＤ５０を装着するユーザＵのＶＲ空間内の視線方向（方位角、姿勢角）を検出し、この視線方向にある、ＨＭＤ５０のディスプレイ解像度分の領域における中央部分の任意サイズの領域を上記のターゲットエリアとして算出する。
【００４５】
次に、情報処理装置４０のＣＰＵ４１は、算出されたターゲットエリアのＨＤＲ映像信号の明るさの代表値を算出し、この明るさの代表値をもとにＨＤＲ映像信号に乗じる負のゲイン値を算出する。続いて、情報処理装置４０のＣＰＵ４１は、算出された負のゲイン値をＨＤＲ映像信号に乗じることによってダイナミックレンジを圧縮した映像信号を、さらに第２のダイナミックレンジ（ＳＤＲ）に制限してＳＤＲ映像信号を生成する。このＳＤＲ映像信号の生成については後で詳細に説明する。
【００４６】
次に、情報処理装置４０のＣＰＵ４１は、生成されたＳＤＲ映像信号から上記ターゲットエリアを含む領域のＳＤＲ映像信号を切り出し、ＨＭＤ５０との通信インタフェース４４を使ってそのターゲットエリアを含む領域のＳＤＲ映像信号をＨＭＤ５０に供給する。
【００４７】
ＨＭＤ５０は、情報処理装置４０より供給されたＳＤＲ映像信号を受信し、ディスプレイに表示させる。
【００４８】
（ＨＤＲからＳＤＲへのダイナミックレンジの変換）
ここで、ＨＤＲからＳＤＲへのダイナミックレンジの変換について詳細に説明する。
【００４９】
情報処理装置４０のＣＰＵ４１は、ターゲットエリアのＨＤＲ映像信号の明るさの代表値として、例えば輝度平均値などを算出する。なお、ターゲットエリアのＨＤＲ映像信号の明るさの代表値は輝度平均値に限らない。その他の明るさの代表値については後で説明する。
【００５０】
図５はＨＤＲからＳＤＲへのダイナミックレンジの変換例を示す図である。
なお、同図において、縦軸はレンズの絞りの段数に相当するStopの値で表されるダイナミックレンジを示す。1Stop増える毎にダイナミックレンジは２倍となる。
例として、第１のダイナミックレンジ（ＨＤＲ）のレンジ長は、第２のダイナミックレンジ（ＳＤＲ）のレンジ長の約１３倍とする。
【００５１】
まず、図４に示したように、ターゲットエリア１０３内の映像の大部分が日向部分の映像１０７であるため、明るさの代表値が比較的高い場合について説明する。
情報処理装置４０のＣＰＵ４１は、ターゲットエリア内のＨＤＲ映像信号の明るさの代表値が高い（明るい）ほど、絶対値の大きい負のゲイン値をＨＤＲ映像信号に乗じることによってＨＤＲ映像信号のダイナミックレンジを高い圧縮率で圧縮する。例えば、ＨＤＲ映像信号に負のゲイン値として−１２ｄＢが乗じられた場合、ダイナミックレンジが圧縮された映像信号の高輝度部分（約４００％まで）がダイナミックレンジ（ＳＤＲ１）にほぼ収まる。これにより、ＨＭＤ５０のディスプレイにＶＲ映像中の明るい部分の映像が表示される場合に、コントラストの著しい低下や白とびの発生を極力抑えることができる。
【００５２】
次に、図６に示すように、ターゲットエリア１０３内の映像に日向部分の映像１０７と日陰部分の映像１０５とが混在する場合のダイナミックレンジの変換例を説明する。この場合には、負のゲイン値の絶対値を、例えば"１２"より低くする。例えば、ＨＤＲ映像信号に負のゲイン値として−６ｄＢが乗じられた場合を示している。この場合、ダイナミックレンジが圧縮された映像信号の中輝度部分（約２００％）以下がダイナミックレンジ（ＳＤＲ２）に収まる。
【００５３】
図７は、ターゲットエリア内で日陰部分の映像が占める割合がさらに大きくなった場合のダイナミックレンジの変換例である。この場合には、負のゲイン値の絶対値をさらに落とすことによって、ダイナミックレンジが圧縮された映像信号の低輝度部分（約０％から１００％）がダイナミックレンジ（ＳＤＲ３）に収まる。
【００５４】
以上のように、本実施形態では、情報処理装置４０のＣＰＵ４１が、ターゲットエリア内のＨＤＲ映像信号の明るさの代表値をもとに、ＨＤＲ映像信号に乗じる負のゲイン値を可変し、この負のゲイン値をＨＤＲ映像信号に乗じることによってダイナミックレンジを圧縮した映像信号を、さらに第２のダイナミックレンジ（ＳＤＲ）に制限してＳＤＲ映像信号を生成する。これにより、ＨＤＲ映像信号から生成されるＳＤＲ映像信号をＨＭＤ５０に表示させた場合にコントラストの低下や白とびの発生を極力抑えることができる。
【００５５】
なお、ＨＤＲ映像信号に対して負のゲイン値が乗じられる前にＨＤＲ映像信号に対して色域変換が行われてもよい。例えば、ＨＤＲ映像信号がＩＴＵ−Ｒ ＢＴ．２０２０に規定された色域を有する映像である場合、ＩＴＵ−Ｒ ＢＴ．７０９に規定された色域に変換することなどが挙げられる。
【００５６】
＜変形例１＞
（ターゲットエリアの明るさ代表値の算出方法の変形例）
上記の実施形態では、ターゲットエリアのＨＤＲ映像信号の平均輝度の値を明るさの代表値として算出したが、例えば、図７に示すように、日陰部分と日向部分が混在する場合にターゲットエリア１０３の中心部分１２３とその他の周縁部分１２５とで重みを変えて輝度平均を求めてもよい。例えば、ターゲットエリア１０３の中心部分１２３の各画素の輝度に対して係数Ｐを乗じ、ターゲットエリア１０３の周縁部分１２５の各画素の輝度に対して係数Ｐよりも値の小さい係数Ｑを乗じ、輝度平均を求めるなどの方法がある。ユーザの視線はターゲットエリア１０３の中心にあるので、この方法により、より適切な明るさの代表値、負のゲイン値を得ることができる。
【００５７】
＜変形例２＞
（ＳＤＲ映像信号に対するガンマ処理）
ターゲットエリアに平均輝度が大きく異なる複数の領域が存在する場合、例えば、図６に示したように、ＨＤＲ映像信号に負のゲイン値が乗じられることによってダイナミックレンジが圧縮された映像信号の低輝度部と中輝度部の一部が第２のダイナミックレンジ（ＳＤＲ）に収まる。しかし、高輝度部が第２のダイナミックレンジ（ＳＤＲ）から逸脱するため、高輝度部の白とびが発生する。
【００５８】
そこで、ターゲットエリアに平均輝度が大きく異なる複数の領域が存在する場合には、ＳＤＲ映像信号の生成に際して、例えば、図８に示すように、高輝度部を格納するレンジを増大させるようにガンマ処理を行ってもよい。
【００５９】
また、ターゲットエリアに平均輝度が大きく異なる複数の領域が存在することを判定するために、情報処理装置４０のＣＰＵ４１はターゲットエリアのＨＤＲ映像信号について輝度ヒストグラムを算出し、閾値を使って、平均輝度が大きく異なる複数の領域の存在の有無を判定する。
【００６０】
＜変形例３＞
（テレビジョンへの応用）
上記の実施形態では、ＨＭＤ５０に表示させるＳＤＲ映像信号を生成する場合について説明したが、本技術は、例えばテレビジョンの画面にＶＲパノラマ映像の任意部分を表示させる場合にも適用できる。
【００６１】
図９は、ＳＤＲ映像信号を表示するテレビジョンを用いた映像信号処理システム１Ａの構成を示すブロック図である。
情報処理装置４０Ａは、テレビジョン８０との通信インタフェース４６およびテレビ用コントローラ９０との通信インタフェース４７を有する。情報処理装置４０ＡのＣＰＵ４１Ａは、テレビ用コントローラ９０からターゲットエリアを移動させるための操作信号やズームイン／ズームアウトの操作信号を受信し、ターゲットエリアの算出を行う。続けて情報処理装置４０ＡのＣＰＵ４１Ａは、算出したターゲットエリアのＨＤＲ映像信号の明るさの代表値の算出、負のゲイン値の算出、ＨＤＲ映像信号への負のゲイン値の乗算を行う。さらに続けて情報処理装置４０ＡのＣＰＵ４１Ａは、負のゲイン値が乗算されることによってダイナミックレンジが圧縮された映像信号からのＳＤＲ映像信号の生成、生成されたＳＤＲ映像信号からターゲットエリアを含む任意の表示エリアのＳＤＲ映像信号を切り出してテレビジョン８０に供給するように制御を行う。
【００６２】
本技術は、ディスプレイを有するその他の機器に応用され得る。
例えば、スマートホン、タブレット端末などの機器のディスプレイにＶＲパノラマ映像の任意部分を表示させる場合にも適用可能である。
【００６３】
＜変形例４＞
（サーバによるＨＤＲ映像信号からＳＤＲ映像信号の生成）
本技術は、ネットワーク７０に接続されたサーバにも適用できる。
図１０は、ＨＤＲ映像信号から、ＨＭＤ５０に表示させるＳＤＲ映像信号を配信サーバ３０Ｂにおいて生成する映像信号処理システム１Ｂの構成を示すブロック図である。図１１は配信サーバ３０Ｂの構成を示すブロック図である。
【００６４】
同図に示すように、配信サーバ３０Ｂは、典型的なコンピュータのハードウェア構成を有する。配信サーバ３０Ｂは、ＣＰＵ３１Ｂ、メモリー３２Ｂ、ＶＲ信号処理ユニット２０との通信インタフェース３３Ｂ、ネットワーク７０との通信インタフェース３４Ｂを有する。
【００６５】
メモリー３２Ｂは、ＣＰＵ３１Ｂに実行させるオペレーティングシステムおよびアプリケーションプログラムを保持する。また、メモリー３２Ｂは、ＣＰＵ３１Ｂの演算処理のための作業領域、ＶＲ信号処理ユニット２０より取得したＶＲ映像のＨＤＲ映像信号の一時保存領域などを提供する。
【００６６】
ＶＲ信号処理ユニット２０との通信インタフェース３３Ｂは、ＶＲ信号処理ユニット２０よりＶＲ映像のＨＤＲ映像信号を受信するために用いられる。
【００６７】
ネットワーク７０との通信インタフェース３４Ｂは、ネットワーク７０を通じて情報処理装置４０Ｂからの配信要求やターゲットエリア算出用情報の受信、情報処理装置４０Ｂへの上記の表示エリアのＳＤＲ映像信号の送信などに用いられる。
【００６８】
ＣＰＵ３１Ｂは、ネットワーク７０との通信インタフェース３４Ｂを用いて、情報処理装置４０Ｂより送信されたＶＲ映像の配信要求を受信し、そのＶＲ映像のＨＤＲ映像信号から表示エリアのＳＤＲ映像信号を生成して情報処理装置４０Ｂに送信する。
【００６９】
ＣＰＵ３１Ｂは、ターゲットエリアを算出するために、情報処理装置４０Ｂからネットワーク７０を通じて周期的に送信されてくるターゲットエリア算出用情報を取得し、取得したターゲットエリア算出用情報をもとにターゲットエリアを算出するように制御を行う。
【００７０】
さらに、配信サーバ３０ＢのＣＰＵ３１Ｂは、算出されたターゲットエリアのＨＤＲ映像信号の明るさの代表値を算出し、この明るさの代表値にもとにＨＤＲ映像信号に乗じる負のゲイン値を算出する。続いて、配信サーバ３０ＢのＣＰＵ３１Ｂは、算出された負のゲイン値をＨＤＲ映像信号に乗じることによってダイナミックレンジを圧縮した映像信号を、さらに第２のダイナミックレンジ（ＳＤＲ）に制限してＳＤＲ映像信号を生成するように制御を行う。
【００７１】
さらに、配信サーバ３０ＢのＣＰＵ３１Ｂは、生成されたＳＤＲ映像信号から上記ターゲットエリアを含む表示サイズ分のＳＤＲ映像信号（表示エリアのＳＤＲ映像信号）を、ネットワーク７０との通信インタフェース３４Ｂを用いて、その表示エリアのＳＤＲ映像信号を情報処理装置４０Ｂに送信するように制御を行う。
【００７２】
一方、情報処理装置４０Ｂは、ＣＰＵ４１Ｂと、ネットワーク７０との通信インタフェース４３Ｂと、ＨＭＤ５０との通信インタフェース４４Ｂと、ＨＭＤ用コントローラ６０との通信インタフェース４５Ｂ、さらには図示しないメモリーを有する。
【００７３】
メモリーは、ＣＰＵ４１Ｂに実行させるオペレーティングシステムおよびアプリケーションプログラムを保持する。また、メモリーは、ＣＰＵ４１Ｂの演算処理のための作業領域、配信サーバ３０Ｂより配信されたＳＤＲ映像信号の一時保存領域などを提供する。
【００７４】
ネットワーク７０との通信インタフェース４３Ｂは、ネットワーク７０を通じて配信サーバ３０ＢへのＶＲ映像の配信要求やターゲットエリア算出用情報の送信、配信要求に対して配信サーバ３０Ｂから応答された表示エリアのＳＤＲ映像信号の受信に用いられる。
【００７５】
ＨＭＤ５０との通信インタフェース４４Ｂは、情報処理装置４０ＢからＨＭＤ５０へのＳＤＲ映像信号の伝送や、ＨＭＤ５０内のジャイロセンサーおよび加速度センサーの検出信号の取得などに用いられる。
【００７６】
ＨＭＤ用コントローラ６０との通信インタフェース４５Ｂは、ＨＭＤ用コントローラ６０からのズームイン／ズームアウトの操作信号や選択／決定ボタンの操作に対応する操作信号の取得などに用いられるインタフェースである。
【００７７】
情報処理装置４０ＢのＣＰＵ４１Ｂは、配信サーバ３０ＢにＶＲ映像の配信要求を送信する処理、配信サーバ３０Ｂよりネットワーク７０を通じて配信されたＳＤＲ映像信号を受信し、デコードする処理、デコードしたＳＤＲ映像信号をＨＭＤ５０に供給する処理、ＨＭＤ５０より取得したジャイロセンサーおよび加速度センサーのそれぞれの検出信号ならびにＨＭＤ用コントローラ６０より取得したズームイン／ズームアウトの操作信号などをターゲットエリア算出用情報として配信サーバ３０Ｂに送信する処理などを行う。
【００７８】
ＨＭＤ５０およびＨＭＤ用コントローラ６０の構成は、第１の実施形態と同じであるため説明を省略する。
【００７９】
（映像信号処理システム１Ｂの動作）
次に、本変形例の映像信号処理システム１Ｂの動作を説明する。
【００８０】
情報処理装置４０ＢのＣＰＵ４１Ｂは、通信インタフェース４３Ｂを用いて、配信ユニット３０ＢにＶＲ映像の配信要求をネットワーク７０を通じて送信する。
【００８１】
配信ユニット３０ＢのＣＰＵ３１Ｂは、情報処理装置４０ＢからのＶＲ映像の配信要求を受信すると、ＶＲ信号処理ユニット２０より伝送されたＶＲ映像のＨＤＲ映像信号をメモリー３２Ｂに保持する。
【００８２】
一方、情報処理装置４０ＢのＣＰＵ４１Ｂは、ＨＭＤ５０よりジャイロセンサーおよび加速度センサーのそれぞれの検出信号を取得し、これらの検出信号をターゲットエリア算出用情報として配信サーバ３０Ｂに通信インタフェース４３Ｂを使って送信する。また、この際、ＨＭＤ用コントローラ６０よりズームイン／ズームアウトの操作信号を取得した場合には、この操作信号もターゲットエリア算出用情報として配信サーバ３０Ｂに通信インタフェース４３Ｂを使って送信する。
【００８３】
配信ユニット３０ＢのＣＰＵ３１Ｂは、情報処理装置４０Ｂからのターゲットエリア算出用情報を受信すると、このターゲットエリア算出用情報をもとにターゲットエリアを算出する。さらに、配信サーバ３０ＢのＣＰＵ３１Ｂは、算出されたターゲットエリアのＨＤＲ映像信号の明るさの代表値を算出し、この明るさの代表値にもとにＨＤＲ映像信号に乗じる負のゲイン値を算出する。続いて、配信サーバ３０ＢのＣＰＵ３１Ｂは、算出された負のゲイン値をＨＤＲ映像信号に乗じることによってダイナミックレンジを圧縮した映像信号を、さらに第２のダイナミックレンジ（ＳＤＲ）に制限した映像信号をＳＤＲ映像信号として生成する。そして配信サーバ３０ＢのＣＰＵ３１Ｂは、生成されたＳＤＲ映像信号から上記ターゲットエリアを含む表示サイズ分のＳＤＲ映像信号（表示エリアのＳＤＲ映像信号）を、ネットワーク伝送に適した形式のデータに符号化し、パケット化して、ネットワーク７０を通じて情報処理装置４０に配信する。
【００８４】
情報処理装置４０ＢのＣＰＵ４１Ｂは、配信ユニット３０ＢよりＳＤＲ映像信号を受信し、デコードし、ＨＭＤ５０との通信インタフェース４４Ｂを使って、ＳＤＲ映像信号をＨＭＤ５０に送信する。
【００８５】
ＨＭＤ５０のＣＰＵは、情報処理装置４０より供給されたＳＤＲ映像信号を受信し、ディスプレイに表示させる。
【００８６】
＜その他の変形例＞
以上、ターゲットエリアの算出のため、ＨＭＤ５０のジャイロセンサーおよび加速度センサーの検出信号を用いたが、ＶＲ映像に対するユーザの視線方向を捕捉することができれば、検出手段は何であってもかまわない。例えば、ユーザの眼球をカメラで撮影して視線方向を検出したり、ＨＭＤ用コントローラ６０の操作によって、ＶＲ映像において見たい方向の情報を指定してもよい。
【００８７】
なお、本技術は以下のような構成も採ることができる。
（１）第１のダイナミックレンジで撮影された第１の映像信号を取得する第１のインタフェースと、
前記取得された第１の映像信号の中の一部の領域を特定するための情報を取得する第２のインタフェースと、
前記一部の領域の前記第１の映像信号の明るさの代表値を算出し、前記算出された代表値に応じて前記第１の映像信号のダイナミックレンジを圧縮し、前記第１のダイナミックレンジよりも狭い第２のダイナミックレンジに制限した第２の映像信号を生成する演算処理回路と
を具備する映像信号処理装置。
【００８８】
（２）前記（１）に記載の映像信号処理装置であって、
前記演算処理回路は、前記算出された代表値に応じたゲイン値を前記第１の映像信号に乗じることによって前記第１の映像信号のダイナミックレンジを圧縮するように構成された
映像信号処理装置。
【００８９】
（３）前記（２）に記載の映像信号処理装置であって、
前記演算処理回路は、前記算出された代表値が大きいほど、絶対値の大きい負のゲイン値を前記第１の映像信号に乗じるように構成された
映像信号処理装置。
【００９０】
（４）前記（１）から（３）のうちいずれか１つに記載の映像信号処理装置であって、
前記演算処理回路は、前記第１の映像信号の中の前記一部の領域の中央部分とその他の部分とで明るさの値の重みを異ならせて前記明るさの代表値を算出するように構成された
映像信号処理装置。
【００９１】
（５）前記（１）から（４）のうちいずれか１つに記載の映像信号処理装置であって、
前記演算処理回路は、前記第２の映像信号に、当該第２の映像信号の高輝度部の表示レンジを増大させるように高輝度部を圧縮する形のガンマ処理を行うように構成された
映像信号処理装置。
【００９２】
（６）前記（１）から（５）のうちいずれか１つに記載の映像信号処理装置であって、
前記演算処理回路により生成された第２の映像信号を、前記第２のダイナミックレンジで映像を表示可能なディスプレイを有する機器に出力する第３のインタフェースをさらに具備する
映像信号処理装置。
【００９３】
（７）演算処理回路が、
第１のインタフェースを使って第１のダイナミックレンジで撮影された第１の映像信号を取得し、
第２のインタフェースを使って、前記取得された第１の映像信号の中の一部の領域を特定するための情報を取得し、
前記一部の領域の前記第１の映像信号の明るさの代表値を算出し、前記算出された代表値に応じて前記第１の映像信号のダイナミックレンジを圧縮し、前記第１のダイナミックレンジよりも狭い第２のダイナミックレンジに制限した第２の映像信号を生成する
映像信号処理方法。
【００９４】
（８）前記（７）に記載の映像信号処理方法であって、
前記演算処理回路は、前記算出された代表値に応じたゲイン値を前記第１の映像信号に乗じることによって前記第１の映像信号のダイナミックレンジを圧縮する
映像信号処理方法。
【００９５】
（９）前記（８）に記載の映像信号処理方法であって、
前記演算処理回路は、前記算出された代表値が大きいほど、絶対値の大きい負のゲイン値を前記第１の映像信号に乗じる
映像信号処理方法。
【００９６】
（１０）前記（７）から（９）のいずれかに記載の映像信号処理方法であって、
前記演算処理回路は、前記第１の映像信号の中の前記一部の領域の中央部分とその他の部分とで明るさの値の重みを異ならせて前記明るさの代表値を算出する
映像信号処理方法。
【００９７】
（１１）前記（７）から（１０）のいずれかに記載の映像信号処理方法であって、
前記演算処理回路は、前記第２の映像信号に、当該第２の映像信号の高輝度部の表示レンジを増大させるように高輝度部を圧縮する形のガンマ処理を行う
映像信号処理方法。
【００９８】
（１２）前記（７）から（１１）のいずれかに記載の映像信号処理方法であって、
前記演算処理回路が、第３のインタフェースを使って、前記生成された第２の映像信号を、前記第２のダイナミックレンジで映像を表示可能なディスプレイを有する機器に出力する
映像信号処理方法。
（１３）第１のダイナミックレンジで撮影された第１の映像信号を取得する第１のインタフェースと、
前記取得された第１の映像信号の中の一部の領域を特定するための情報を取得する第２のインタフェースと、
前記一部の領域の前記第１の映像信号の明るさの代表値を算出し、前記算出された代表値に応じて前記第１の映像信号のダイナミックレンジを圧縮し、前記第１のダイナミックレンジよりも狭い第２のダイナミックレンジに制限した第２の映像信号を生成する演算処理回路と
を具備する映像信号処理装置として、
コンピュータを動作させるプログラム。
【００９９】
（１４）前記（１３）に記載のプログラムであって、
前記演算処理回路が、前記算出された代表値に応じたゲイン値を前記第１の映像信号に乗じることによって前記第１の映像信号のダイナミックレンジを圧縮するように
コンピュータを動作させるプログラム。
【０１００】
（１５）前記（１４）に記載のプログラムであって、
前記演算処理回路が、前記算出された代表値が大きいほど、絶対値の大きい負のゲイン値を前記第１の映像信号に乗じるように
コンピュータを動作させるプログラム。
【０１０１】
（１６）前記（１３）から（１５）のうちいずれか１つに記載のプログラムであって、
前記演算処理回路が、前記第１の映像信号の中の前記一部の領域の中央部分とその他の部分とで明るさの値の重みを異ならせて前記明るさの代表値を算出するように
コンピュータを動作させるプログラム。
【０１０２】
（１７）前記（１３）から（１６）のうちいずれか１つに記載のプログラムであって、
前記演算処理回路が、前記第２の映像信号に、当該第２の映像信号の高輝度部の表示レンジを増大させるように高輝度部を圧縮する形のガンマ処理を行うように
コンピュータを動作させるプログラム。
【０１０３】
（１８）前記（１３）から（１７）のうちいずれか１つに記載のプログラムであって、
前記演算処理回路が、第３のインタフェースを使って、前記生成された第２の映像信号を、前記第２のダイナミックレンジで映像を表示可能なディスプレイを有する機器に出力するように
コンピュータを動作させるプログラム。
【符号の説明】
【０１０４】
１…映像信号処理システム
１０…撮像ユニット
１１…カメラ
２０…ＶＲ信号処理ユニット
３０…エンコード・配信ユニット
４０…情報処理装置
４１…ＣＰＵ
４２…メモリー
４２…通信インタフェース
４３…通信インタフェース
４４…通信インタフェース
４５…通信インタフェース
５０…ヘッドマウントディスプレイ（ＨＭＤ）
６０…ＨＭＤ用コントローラ
７０…ネットワーク
【図１】
2018117276.tif 000003
【図２】
2018117276.tif 000004
【図３】
2018117276.tif 000005
【図４】
2018117276.tif 000006
【図５】
2018117276.tif 000007
【図６】
2018117276.tif 000008
【図７】
2018117276.tif 000009
【図８】
2018117276.tif 000010
【図９】
2018117276.tif 000011
【図１０】
2018117276.tif 000012
【図１１】
2018117276.tif 000013