(57)【要約】  画像処理装置（１００）は、第１のダイナミックレンジで記録された第１の映像データのうち、ユーザの動作に関する情報に応じて決定された所定領域に含まれる各画素の輝度値の分布に基づいて、第１のダイナミックレンジを第２のダイナミックレンジに変換した際の各画素の輝度値の算出に用いられる変数を決定する変数決定部（１３４）と、変数決定部によって決定された変数に基づいて、第１の映像データを第２のダイナミックレンジで表示される第２の映像データに変換する変換部（１３５）と、を有する。
2019193807.tif 000002
【特許請求の範囲】
【請求項１】
第１のダイナミックレンジで記録された第１の映像データのうち、ユーザの動作に関する情報に応じて決定された所定領域に含まれる各画素の輝度値の分布に基づいて、前記第１のダイナミックレンジを第２のダイナミックレンジに変換した際の前記各画素の輝度値の算出に用いられる変数を決定する変数決定部と、
前記変数決定部によって決定された変数に基づいて、前記第１の映像データを前記第２のダイナミックレンジで表示される第２の映像データに変換する変換部と
を有する画像処理装置。
【請求項２】
前記変数決定部は、前記ユーザの動作に関する情報が所定の条件を満たす場合、前記所定領域に含まれる各画素の輝度値の分布に基づいて、前記変数を決定する
請求項１に記載の画像処理装置。
【請求項３】
前記変数決定部は、前記ユーザの動作に関する情報が前記所定の条件を満たす場合として、前記ユーザの動作速度が所定閾値以下である場合、前記所定領域に含まれる各画素の輝度値の分布に基づいて、前記変数を決定する
請求項２に記載の画像処理装置。
【請求項４】
前記変換部は、前記ユーザの動作に関する情報が前記所定の条件を満たさない場合、前記所定の条件の判定時点以前に決定された既存の変数に基づいて、前記第１の映像データを前記第２の映像データに変換する
請求項２に記載の画像処理装置。
【請求項５】
前記変数決定部は、前記所定領域に含まれる各画素の画素情報が所定の条件を満たす場合に、前記所定領域に含まれる各画素の輝度値の分布に基づいて、前記変数を決定する
請求項１に記載の画像処理装置。
【請求項６】
前記変数決定部は、前記所定領域に含まれる各画素の画素情報が前記所定の条件を満たす場合として、前記所定領域に含まれる各画素の画素情報の所定時間における変化量が所定閾値以下である場合、前記所定領域に含まれる各画素の輝度値の分布に基づいて、前記変数を決定する
請求項５に記載の画像処理装置。
【請求項７】
前記変換部は、前記所定領域に含まれる各画素の画素情報が前記所定の条件を満たさない場合、前記所定の条件の判定時点以前に決定された既存の変数に基づいて、前記第１の映像データを前記第２の映像データに変換する
請求項５に記載の画像処理装置。
【請求項８】
前記変数決定部は、第１の変数を決定した後に第２の変数を決定した場合、前記第１の変数から前記第２の変数に段階的に近付く値を決定し、
前記変換部は、前記変数決定部によって決定された、前記第１の変数から前記第２の変数に段階的に近付く値を順に用いて、前記第１の映像データを前記第２の映像データに変換する
請求項１に記載の画像処理装置。
【請求項９】
前記変数決定部は、前記所定領域に含まれる各画素の対数平均輝度値を、前記所定領域に含まれる各画素の輝度値の最頻値で除した値に基づいて、前記変数を決定する
請求項１に記載の画像処理装置。
【請求項１０】
前記変数決定部は、前記所定領域に重畳された仮想オブジェクトに含まれる各画素、及び、前記所定領域のうち前記仮想オブジェクトに重畳されない各画素の輝度値の分布に基づいて、前記変数を決定する
請求項１に記載の画像処理装置。
【請求項１１】
前記変数決定部は、前記第１の映像データに含まれる各画素の輝度値に基づいて、前記仮想オブジェクトを構成する各画素に設定される輝度値を算出する
請求項１０に記載の画像処理装置。
【請求項１２】
前記変数決定部は、前記仮想オブジェクトの挙動が所定の条件を満たす場合には、前記所定領域に重畳される仮想オブジェクトに含まれる各画素、及び、前記所定領域のうち前記仮想オブジェクトに重畳されない各画素の輝度値の分布に基づいて前記変数を決定し、前記仮想オブジェクトの挙動が所定の条件を満たさない場合には、前記仮想オブジェクトの重畳に関わらず、前記所定領域に含まれる各画素の輝度値の分布に基づいて前記変数を決定する
請求項１０に記載の画像処理装置。
【請求項１３】
前記第１の映像データは全天球コンテンツであり、
前記ユーザの動作に基づき特定された前記全天球コンテンツの一部領域を投影変換し、投影変換後の画像に対応する領域を前記所定領域として決定する領域決定部
をさらに有する請求項１に記載の画像処理装置。
【請求項１４】
前記変換部によって変換された前記第２の映像データの表示を制御する表示制御部
をさらに有する請求項１に記載の画像処理装置。
【請求項１５】
コンピュータが、
第１のダイナミックレンジで記録された第１の映像データのうち、ユーザの動作に関する情報に応じて決定された所定領域に含まれる各画素の輝度値の分布に基づいて、前記第１のダイナミックレンジを第２のダイナミックレンジに変換した際の前記各画素の輝度値の算出に用いられる変数を決定し、
決定された変数に基づいて、前記第１の映像データを前記第２のダイナミックレンジで表示される第２の映像データに変換する
画像処理方法。
【請求項１６】
コンピュータを、
第１のダイナミックレンジで記録された第１の映像データのうち、ユーザの動作に関する情報に応じて決定された所定領域に含まれる各画素の輝度値の分布に基づいて、前記第１のダイナミックレンジを第２のダイナミックレンジに変換した際の前記各画素の輝度値の算出に用いられる変数を決定する変数決定部と、
前記変数決定部によって決定された変数に基づいて、前記第１の映像データを前記第２のダイナミックレンジで表示される第２の映像データに変換する変換部と
として機能させるための画像処理プログラムを記録した、コンピュータが読み取り可能な非一時的な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法及び記録媒体に関する。詳しくは、映像データのダイナミックレンジの変換に関する。
【背景技術】
【０００２】
ＶＲ（Virtual  Reality）技術の広まりに伴い、３６０度全方位を撮影できる全天球カメラが広く利用されている。また、全天球カメラで撮影された全天球画像や全天球動画等の全天球コンテンツの視聴環境として、ＨＭＤ（Head  Mounted  Display）等が普及し始めている。【０００３】
ここで、全天球コンテンツをＨＭＤで視聴する際の視認性を向上させるため、ユーザの視線方向に合わせて動的に映像の明るさを調整し、撮像時のダイナミックレンジを疑似的に上げる技術が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−２２６６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の従来技術では、画像の明暗を明瞭に表現することができるとは限らない。例えば、従来技術は、映像データのうち所定範囲の画素の明るさの平均値を算出し、算出後の明るさの平均値を一定範囲の明るさに調整する。しかしながら、画像の明るさを一様に調整するのみでは、単に画像全体の明るさが変化するに過ぎず、画像内の明暗を明瞭に表現することができない場合がある。例えば、画像の明るさを一様に調整するのみでは、変換後の画像に黒潰れや白とびが発生することを防止できない場合がある。【０００６】
なお、上記のような問題は、全天球コンテンツをＨＭＤで視聴するという状況以外でも生じうる。例えば、ユーザの視聴環境が、本来のダイナミックレンジでコンテンツを再生することのできない場合、ダイナミックレンジを変換してコンテンツの再生が行われる。このように、コンテンツ再生時に、コンテンツが記録された際のダイナミックレンジの変換が生じる場合には、変換後の画像における明暗が明瞭に表現されないおそれがある。【０００７】
そこで、本開示では、画像の明暗を明瞭に表現することができる画像処理装置、画像処理方法及び記録媒体を提案する。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本開示に係る一形態の画像処理装置は、第１のダイナミックレンジで記録された第１の映像データのうち、ユーザの動作に関する情報に応じて決定された所定領域に含まれる各画素の輝度値の分布に基づいて、前記第１のダイナミックレンジを第２のダイナミックレンジに変換した際の前記各画素の輝度値の算出に用いられる変数を決定する変数決定部と、前記変数決定部によって決定された変数に基づいて、前記第１の映像データを前記第２のダイナミックレンジで表示される第２の映像データに変換する変換部とを具備する。【０００９】
（作用）本開示の画像処理装置は、第１の映像データ全体の画素情報ではなく、ユーザの動作に応じて決定される所定領域に含まれる画素を選択的に用いて画像処理を行う。具体的には、本開示の画像処理装置は、所定領域に含まれる各画素の輝度値の分布に基づいて、映像データを変換する際に用いる変数を動的に決定する。このように、本開示の画像処理装置は、ユーザの動作に応じて選択される画素情報を用いることで、映像データの変換処理をユーザの動作に応じてインタラクティブに変化させる。
【発明の効果】
【００１０】
本開示に係る画像処理装置、画像処理方法及び記録媒体によれば、画像の明暗を明瞭に表現することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１１】
【図１】本開示の第１の実施形態に係る画像処理システムの一例を示す図である。
【図２】画像に含まれる画素の輝度値の分布を示すヒストグラムである。
【図３】本開示の第１の実施形態に係る画像処理の一例を説明するための図である。
【図４】本開示の第１の実施形態に係る画像処理の一例を示す図（１）である。
【図５】本開示の第１の実施形態に係る画像処理の一例を示す図（２）である。
【図６】本開示の第１の実施形態に係る処理の流れを示すフローチャートである。
【図７】本開示の第１の実施形態の変形例に係る画像処理の一例を示す図である。
【図８】本開示の第２の実施形態に係る画像処理システムの一例を示す図である。
【図９】本開示の第２の実施形態に係る画像処理の一例を示す図である。
【図１０】本開示の第２の実施形態に係る画像処理の一例を説明するための図である。
【図１１】本開示の第２の実施形態に係る処理の流れを示すフローチャートである。
【図１２】本開示の第３の実施形態に係る画像処理システムの一例を示す図である。
【図１３】画像処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
【発明を実施するための形態】
【００１２】
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
【００１３】
また、以下に示す項目順序に従って本開示を説明する。
１．第１の実施形態
１−１．第１の実施形態に係る画像処理システムの構成
１−２．第１の実施形態に係る画像処理の一例
１−３．第１の実施形態に係る画像処理の手順
２．第１の実施形態の変形例
３．第２の実施形態
３−１．第２の実施形態に係る画像処理システムの構成
３−２．第２の実施形態に係る画像処理の一例
３−３．第２の実施形態に係る画像処理の手順
４．第３の実施形態
４−１．第３の実施形態に係る画像処理システムの構成
５．その他の実施形態
６．ハードウェア構成
【００１４】
（１．第１の実施形態）
［１−１．第１の実施形態に係る画像処理システムの構成］
図１は、本開示の第１の実施形態に係る画像処理システム１の一例を示す図である。図１に示すように、画像処理システム１は、ＨＭＤ１０と、画像処理装置１００とを含む。
【００１５】
ＨＭＤ１０は、ユーザの頭部に装着されるディスプレイ装置であり、いわゆるウェアラブルコンピュータ（wearable  computer）である。ＨＭＤ１０は、ユーザの身体の向きや動き、移動速度等に応じた表示処理を実現する。
【００１６】
画像処理装置１００は、本開示に係る画像処理を実行する情報処理装置である。画像処理装置１００は、例えばＨＭＤ１０から送信されるリクエストに応じて、保持するコンテンツをＨＭＤ１０に送信する。
【００１７】
画像処理装置１００は、コンテンツとして、例えば３６０度全方位を撮影できる全天球カメラで撮影された全天球コンテンツを送信する。一般に、全天球コンテンツは、ＨＭＤ１０のような表示装置が一度に表示可能な情報量（画像の大きさ）と比較して、より多くの情報量を有する。すなわち、ＨＭＤ１０は、同時に全天球コンテンツの全領域を表示することができないため、表示装置のディスプレイの大きさ（言い換えれば、ユーザの視野画角）に応じて切り取られた一部領域のみを表示する。
【００１８】
ここで、全天球コンテンツは、３６０度全方位を撮影して作成されるという特性上、１枚の画像内に明るい場所と暗い場所とが同時に映り込んでしまうことが避けられない。このため、全天球コンテンツは、撮影範囲の制限された通常のコンテンツ（例えば、露光を調整可能な環境下で作成されるコンテンツ）よりも広いダイナミックレンジで記録されることが望ましい。例えば、全天球コンテンツは、一般的なダイナミックレンジであるＳＤＲ（Standard  Dynamic  Range）で記録されるよりも、より広いダイナミックレンジであるＨＤＲ（High  Dynamic  Range）等で記録される方が望ましい。
【００１９】
しかしながら、ＨＭＤ１０のような全天球コンテンツの視聴環境は、ＨＤＲで記録されたコンテンツの再生に対応していない場合もある。この場合、ＨＤＲで記録された全天球コンテンツは、ＨＭＤ１０等の視聴環境に合わせて、再生時にＳＤＲ等のより低いダイナミックレンジに変換される。このとき、全天球コンテンツの全領域に対して一様にＳＤＲへの変換を行うと、明暗の混在する領域に対して変換処理を行うことになるため、明瞭な画像が得られない場合がある。具体的には、全天球コンテンツの全領域に対して一様にＳＤＲへの変換が行われると、白とびや黒潰れが発生してしまう箇所が出てきたり、明暗混ざった領域を無理に表現することによって不自然な画像に変換されたりするおそれがある。
【００２０】
そこで、本開示に係る画像処理システム１は、全天球コンテンツから、ＨＭＤ１０を利用するユーザの視野画角に応じた領域を抽出するとともに、抽出した領域に含まれる画素の輝度値の分布に応じたインタラクティブな変換処理を行う。これにより、本開示に係る画像処理システム１は、ユーザの視覚特性に合わせ、明暗が適切に表現された変換後の画像をユーザに提供する。以下、図１を用いて、本開示に係る画像処理システム１を構成する各装置について説明する。
【００２１】
まず、ＨＭＤ１０について説明する。図１に示すように、ＨＭＤ１０は、検知部１５と、送信部１６と、受信部１７と、表示制御部１８といった各処理部を有する。各処理部は、例えば、ＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）等によって、ＨＭＤ１０内部に記憶されたプログラムがＲＡＭ（Random  Access  Memory）等を作業領域として実行されることにより実現される。また、各処理部は、例えば、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等の集積回路により実現されてもよい。
【００２２】
検知部１５は、ＨＭＤ１０が備えるセンサ１５Ａを制御することにより、ユーザの身体の向き、傾き、動きや移動速度等、ユーザの動作に関する各種情報を検知する。具体的には、検知部１５は、ユーザの動作に関する情報として、ユーザの頭部や姿勢に関する情報、ユーザの頭部や身体の動き（加速度や角速度）、視野の方向や視点移動の速度等を検知する。例えば、検知部１５は、センサ１５Ａとして、３軸加速度センサや、ジャイロセンサや、速度センサ等の各種モーションセンサを制御し、ユーザの動作に関する情報を検知する。なお、センサ１５Ａは、必ずしもＨＭＤ１０内部に備えられることを要せず、例えば、ＨＭＤ１０と有線もしくは無線で接続された外部センサであってもよい。
【００２３】
送信部１６は、有線又は無線ネットワーク等を介して各種情報を送信する。例えば、送信部１６は、検知部１５によって検知されたユーザの動作に関する情報を画像処理装置１００に送信する。また、送信部１６は、全天球コンテンツをＨＭＤ１０に送信する旨のリクエストを画像処理装置１００に送信する。
【００２４】
受信部１７は、有線又は無線ネットワーク等を介して各種情報を受信する。例えば、受信部１７は、表示制御部１８で表示する画像（より正確には、画像として表示される画素情報等のデータ）を受信する。具体的には、受信部１７は、全天球コンテンツのうち、画像処理装置１００によって一部領域がＳＤＲに変換された画像を受信する。
【００２５】
表示制御部１８は、受信部１７によって受信された画像の表示処理を制御する。具体的には、表示制御部１８は、全天球コンテンツのうち、画像処理装置１００によって一部領域がＳＤＲに変換された画像を表示する処理を制御する。具体的には、表示制御部１８は、ＳＤＲに変換された画像をディスプレイ１８Ａに表示する処理を制御する。なお、ディスプレイ１８Ａは、例えば有機ＥＬ（Electro-Luminescence）ディスプレイや、液晶ディスプレイ等によって実現される。
【００２６】
また、図１での図示は省略するが、ＨＭＤ１０は、ユーザからの操作を受け付けるための入力部や、受信した全天球コンテンツを記憶する記憶部や、音声出力機能を有する出力部等を有していてもよい。
【００２７】
続いて、画像処理装置１００について説明する。図１に示すように、画像処理装置１００は、コンテンツ記憶部１２１という記憶部と、取得部１３１と、領域決定部１３２と、解析部１３３と、変数決定部１３４と、変換部１３５と、送信部１３６といった各処理部を有する。
【００２８】
コンテンツ記憶部１２１は、例えば、ＲＡＭ、フラッシュメモリ（Flash  Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。コンテンツ記憶部１２１は、例えば、ＨＤＲで記録された全天球コンテンツを記憶する。全天球コンテンツは、全天球カメラで撮影されたり、複数の画像をつなぎ合わせたり（スティッチ）することによって作成される静止画や動画等の映像コンテンツ等である。
【００２９】
取得部１３１等の各処理部は、例えば、ＣＰＵやＭＰＵ等によって、画像処理装置１００内部に記憶されたプログラム（例えば、本開示に係る記録媒体に記録された画像処理プログラム）がＲＡＭ等を作業領域として実行されることにより実現される。また、各処理部は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されてもよい。
【００３０】
取得部１３１は、有線又は無線ネットワーク等を介して各種情報を取得する。例えば、取得部１３１は、ＨＭＤ１０から送信されるユーザの動作に関する情報を取得する。また、取得部１３１は、ＨＭＤ１０から送信されるリクエストであって、全天球コンテンツをＨＭＤ１０に送信する旨の要求を含むリクエストを受信する。
【００３１】
領域決定部１３２は、取得部１３１によって取得されたユーザの動作に関する情報に基づいて、ＨＭＤ１０に送信する全天球コンテンツのうち、ＨＭＤ１０の表示制御部１８において表示される所定領域（以下、区別のため「処理領域」と称する）を決定する。
【００３２】
例えば、領域決定部１３２は、ＨＭＤ１０を装着するユーザの頭部姿勢に関する情報に基づいて、全天球コンテンツにおいてユーザが視聴しようとする領域を特定する。具体的には、領域決定部１３２は、ＨＭＤ１０が備えるセンサ１５Ａによって検知された情報に基づいて、全天球コンテンツにおいて、ユーザの視野に対応する領域（以下、区別のため「表示領域」と称する）を特定する。なお、このような表示領域の特定処理については、種々の公知技術が適宜利用されてもよい。また、ユーザの動作に関する情報とは、ＨＭＤ１０から送信された情報（例えばユーザの頭部や姿勢から推定される視野方向、あるいはユーザの動作速度等）のみならず、ＨＭＤ１０から送信された情報に基づいて算出もしくは推定される情報であってもよい。例えば、領域決定部１３２は、ＨＭＤ１０から送信された情報に基づいて、全天球コンテンツのうち、表示領域を特定するための座標情報を算出してもよい。この場合、ユーザに動作に関する情報とは、表示領域を特定するための座標情報と読み替えてもよい。
【００３３】
続いて、領域決定部１３２は、全天球コンテンツにおいて特定した表示領域から、実際の視聴環境に応じた処理領域を決定する。例えば、領域決定部１３２は、全天球コンテンツを構成する画像（例えば正距円筒画像やキューブマップ画像、魚眼レンズ画像等）において特定した表示領域を、ＨＭＤ１０の視野画角に合わせた透視投影画像に変換する。そして、領域決定部１３２は、変換後の透視投影画像をＨＭＤ１０における処理領域と決定する。言い換えれば、領域決定部１３２は、ユーザの動作に関する情報に基づき特定された全天球コンテンツの一部である表示領域を投影変換し、投影変換後の画像を生成する。そして、領域決定部１３２は、投影変換によって生成された投影変換後の画像に対応する領域を処理領域として決定する。
【００３４】
解析部１３３は、領域決定部１３２によって決定された処理領域（すなわち、表示領域を投影変換した後の画像）に含まれる各画素の情報を解析する。具体的には、解析部１３３は、処理領域に含まれる画素の総数を算出する。また、解析部１３３は、処理領域に含まれる各画素の輝度値を取得する。
【００３５】
ここで、画像をＨＤＲからＳＤＲへと変換する際には、所定の輝度値を基準としてＨＤＲの画素の輝度値に重みを付けて丸めるトーンマッピング（Tone  mapping）と呼ばれる処理が行われる。以下、トーンマッピングの処理について順を追って説明する。
【００３６】
まず、解析部１３３は、処理領域内の画素を解析することで、トーンマッピングに用いられる基準となる輝度値（以下、「基準輝度」と称する）を算出する。トーンマッピングの手法には種々の従来技術が存在するが、一般に、低輝度に多くの情報量を割り当て、高輝度の圧縮を強めるような非線形な変換関数によるもののほうが人間の視覚特性に近いとされる。このような視覚特性に対応したトーンマッピングの変換式として、例えば式（１）が知られている。
【００３７】
【数１】
2019193807.tif 000003
【００３８】
式（１）において、Ｌω（ｘ，ｙ）は、処理領域に含まれる任意の画素ω（ｘ，ｙ）における輝度値を示す。また、Ｎは、処理領域中の総画素数を示す。また、δは、例えば画像中に黒画素が存在した場合の特異点を避けるための任意の定数である。式（１）に示されるように、Ｌ−ωは、処理領域における総画素の輝度値の対数平均であり、かかるＬ−ωが、当該処理領域におけるトーンマッピングの基準輝度となる。
【００３９】
トーンマッピングは、式（１）で算出された基準輝度を用いて、ＨＤＲで記録された各画素の輝度値をスケーリングすることにより行われる。例えば、スケーリングは、式（２）を用いて行われる。
【００４０】
【数２】
2019193807.tif 000004
【００４１】
式（２）において、Ｌ（ｘ，ｙ）は、任意の画素ω（ｘ，ｙ）のスケーリング後の輝度を示す。すなわち、式（２）による処理を経て、ＨＤＲで記録された画素の輝度値Ｌωは、ＳＤＲで表示される画素の輝度値Ｌにスケーリングされる。
【００４２】
式（２）における「ａ」は、一般にキー値と呼ばれる変数であり、画像全体の明るさを決定する変数である。キー値には、慣習的に「０．０４５」、「０．０９」、「０．１８」、「０．３６」、「０．７２」等の値が設定される。キー値が大きいほど、処理領域に表示される画像の輝度値が上がるため、画像が明るく表示される。なお、詳細は後述するが、本開示の画像処理では、式（２）のキー値ａは、慣習的な値ではなく、処理領域が含む各画素の輝度値の分布に基づいて変数決定部１３４によって決定される。
【００４３】
式（２）を用いてスケーリングされた輝度値は、さらに高輝度値の圧縮を強める為の制約が加えられる。例えば、スケーリングされた輝度値Ｌ（ｘ，ｙ）について、さらに式（３）が適用される。
【００４４】
【数３】
2019193807.tif 000005
【００４５】
式（３）において、Ｌｄ（ｘ，ｙ）は、画素（ｘ，ｙ）のＳＤＲ変換後の輝度値を示す。なお、本開示において、輝度値は、浮動小数点等の表現手法を用いて、ＨＤＲ及びＳＤＲのいずれにおいても０から１までの間の任意の数値で表現されるものとする。
【００４６】
このように、解析部１３３は、ユーザの動作に関する情報に基づき表示領域を特定し、さらに表示領域を透視投影して得られた処理領域に含まれる各画素から、トーンマッピングの基準輝度Ｌ−ωを決定する。
【００４７】
変数決定部１３４は、第１のダイナミックレンジで記録された第１の映像データのうち、処理領域が含む各画素の輝度値の分布に基づいて、第１のダイナミックレンジを変換した際の各画素の輝度値の算出に用いられる変数を決定する。本開示において、第１のダイナミックレンジは、ＨＤＲを示す。また、第１の映像データとは、全天球コンテンツを示す。
【００４８】
すなわち、変数決定部１３４は、処理領域に含まれる各画素の輝度値の分布に基づいて、ＨＤＲをＳＤＲに変換した際の各画素の輝度値の算出に用いられる変数を決定する。本開示において、変数決定部１３４が決定する変数とは、式（２）に示されるキー値ａである。
【００４９】
例えば、変数決定部１３４は、処理領域に含まれる各画素の分布に基づいて、処理領域内の輝度値の最頻値を特定する。そして、変数決定部１３４は、変換後の画像において、最頻値の輝度近傍の画素がより正確に表現されるよう、キー値ａを決定する。言い換えれば、変数決定部１３４は、変換後の画像において、最頻値近傍の明暗がより詳細なコントラストによって表現されるようにキー値ａを決定する。
【００５０】
一例として、変数決定部１３４は、最頻値に対応する画素の変換後の輝度値Ｌｄが「０．５」となるよう、キー値ａを動的に決定する。これは、Ｌｄ（ｘ，ｙ）を「０．５」に設定することにより、最頻値付近における輝度値を表現するビット割り当て（情報量）が増加するからである。
【００５１】
この点について、図２及び図３を用いて説明する。図２は、画像に含まれる画素の輝度値の分布を示すヒストグラムである。図２では、画像（処理領域）に含まれる画素の輝度値の分布を概念的に示している。図２に示したヒストグラムは、縦軸が画素数に対応し、横軸が輝度値に対応する。図２に示すように、一般に輝度値の最頻値Ｌｍの付近には、処理領域に含まれる全画素のうち比較的多くの画素が分布する場合が多い。
【００５２】
そして、図２で示された各画素を、最頻値Ｌｍに対応する画素の変換後の値（式（３）のＬｄ（ｘ，ｙ））が「０．５」となるよう、変数を動的に決定した場合、式（３）は、図３に示すグラフとして描画される。図３は、本開示の第１の実施形態に係る画像処理の一例を説明するための図である。図３のグラフは、縦軸が式（３）によって算出される最終的な画素の輝度値Ｌｄに対応し、横軸が式（２）によってスケーリングされた直後の画素の輝度値Ｌに対応する。図３に示すように、最頻値Ｌｍにおいて式（３）の左辺を「０．５」と仮定すると、最頻値Ｌｍ近傍に、比較的多くの情報量が割り当てられることになる。
【００５３】
例えば、図３に示した例では、式（３）による変換前の輝度値の範囲Ｅ０１と範囲Ｅ０２とは同一の輝度値の範囲（幅）を示す。一方で、範囲Ｅ０１に対応した変換後の輝度値の範囲Ｆ０１は、範囲Ｅ０２に対応した変換後の輝度値の範囲Ｆ０２と比較して、広い輝度値の範囲を含む。このことは、最頻値Ｌｍ近傍の輝度値を有する画素が、ＳＤＲ変換においてより細かい階調に割り当てられることにより、変換後の画像において明暗が明瞭に表現されることを意味している。
【００５４】
なお、上記のように、式（３）のＬｄ（ｘ，ｙ）を「０．５」と仮定すると、式（２）及び（３）から、キー値ａは、以下のように表される。
【００５５】
【数４】
2019193807.tif 000006
【００５６】
式（４）において、「Ｌｍ」は、処理領域が含む各画像の輝度値の最頻値を示す。このように、変数決定部１３４は、変換後の画像の明るさを決定する変数であるキー値ａを、処理領域が含む各画素の輝度値の分布に基づいて動的に決定することができる。具体的には、変数決定部１３４は、各画素の対数平均輝度値（基準輝度Ｌ−ω）を、処理領域に含まれる各画素の輝度値の最頻値Ｌｍで除して算出した値を、キー値ａと決定する。
【００５７】
なお、式（４）では、最頻値Ｌｍの変換後の輝度値Ｌｄ（ｘ，ｙ）が「０．５」となるよう仮定した場合のキー値ａを算出する手法を示したが、Ｌｄ（ｘ，ｙ）は必ずしも「０．５」であることを要しない。例えば、変数決定部１３４は、変換の対象となる処理領域に含まれる各画素の分布や、変換後の画像全体の明るさを適宜調整するため、最頻値Ｌｍの変換後の輝度値Ｌｄ（ｘ，ｙ）を「０．５」以外の数値と設定してもよい。
【００５８】
また、変数決定部１３４は、ユーザの動作に関する情報が所定の条件を満たす場合に、キー値ａを決定するようにしてもよい。なお、変数決定部１３４は、ユーザの動作に関する情報が所定の条件を満たさない場合には、キー値ａを新たに決定する処理をスキップしてもよい。
【００５９】
ユーザの動作に関する情報とは、処理領域を決定するための情報であり、例えば、ユーザの頭部姿勢に関する情報や、ユーザの動作速度等である。また、所定の条件とは、例えば、ユーザの動作速度等が満たすべき条件である。
【００６０】
例えば、変数決定部１３４は、所定の条件を満たす場合として、ユーザの動作速度が所定閾値以下である場合に、キー値ａを新たに決定すると判定してもよい。具体的には、変数決定部１３４は、ユーザの動作速度が所定閾値以下である場合に、ユーザの動作に関する情報に応じて決定された処理領域に含まれる各画素の輝度値の分布に基づいて、キー値ａを決定する。ユーザの動作速度とは、例えばＨＭＤ１０自体の動作速度や、ユーザの頭部の角速度等、様々な値であってもよい。例えば、ユーザの動作速度とは、全天球コンテンツのうち、ユーザがある領域を注視していると推定される任意の速度であってもよい。すなわち、ユーザの動作速度が所定の閾値を超えている場合は、ユーザは、全天球コンテンツのうちどの領域を視聴するかを迷っている状態と想定される。一方で、ユーザの動作速度が所定の閾値以下である場合は、ユーザは、全天球コンテンツのうち、視線を向けた領域を注視している状態と想定される。そして、変数決定部１３４は、ユーザが注視している領域がある程度定まったと判定可能な状態において、キー値ａを決定する処理を実行する。
【００６１】
一方、変数決定部１３４は、ユーザの動作速度が所定閾値を超える場合には、ユーザが注視する領域が定まっていないと想定されることから、キー値ａを新たに決定しなくてもよい。なお、キー値ａを新たに決定する処理がスキップされた場合、後述する変換部１３５は、所定の条件を満たした処理領域に含まれる各画素の輝度値の分布に基づいて決定された既存のキー値ａを利用して変換処理を行う。例えば、変換部１３５は、直前に決定されていたキー値ａや、予め設定された所定値（初期値等）を利用して変換処理を行う。言い換えれば、変換部１３５は、上述した所定の条件の判定時点以前に決定された既存のキー値ａを利用して変換処理を行う。
【００６２】
これは、所定閾値を超えた速度が観測される場合、ユーザが激しく動きまわっていたり、全天球コンテンツを様々に見回していたりする状況が想定されることによる。かかる状況に関わらず、画像処理装置１００が新たにキー値ａを算出し、ユーザの視線に合わせてリアルタイムに変換処理を行い続けると、ＨＭＤ１０で表示される画像にちらつきが発生する可能性がある。このため、変数決定部１３４は、ユーザの動作速度が所定閾値を超える場合にはキー値ａを新たに決定せず、トーンマッピング処理の切り替えを抑えることで、ちらつきが発生することを防止できる。なお、動作速度の閾値は、必ずしも一定値ではなく、例えば全天球コンテンツで再生されているシーンや、コンテンツの内容に応じて、適宜変化してもよい。
【００６３】
また、変数決定部１３４は、ユーザの動作速度以外を条件として、キー値ａを新たに決定するか否かを判定してもよい。例えば、変数決定部１３４は、処理領域に含まれる各画素の画素情報が所定の条件を満たす場合、キー値ａを新たに決定してもよい。具体的には、変数決定部１３４は、所定の条件を満たす場合として、処理領域に含まれる各画素の画素情報の所定時間における変化量が所定閾値以下である場合に、当該処理領域に含まれる各画素の輝度値の分布に基づいてキー値ａを決定してもよい。なお、変数決定部１３４は、処理領域に含まれる各画素の画素情報が所定の条件を満たさない場合には、キー値ａを新たに決定する処理をスキップしてもよい。キー値ａの決定処理がスキップされた場合、後述する変換部１３５は、処理領域に含まれる各画素の画素情報に関する所定の条件の判定時点以前に決定された既存のキー値ａを利用して変換処理を行う。
【００６４】
例えば、全天球コンテンツが動画である場合、所定時間（例えば数秒）のうちに、処理領域内の各画素の画素情報（輝度や色情報）が頻繁に変化することが想定される。このような場合、キー値ａや基準輝度を頻繁に更新すると、上記と同様、ちらつきが発生する可能性がある。このため、変数決定部１３４は、例えば、処理領域が含む各画素の画素情報の所定時間中の変化量が所定閾値以下であるか否かを判定し、変化量が所定閾値以下である場合に、キー値ａを新たに決定するようにしてもよい。
【００６５】
変換部１３５は、変数決定部１３４によって決定された変数に基づいて、第１の映像データを第２のダイナミックレンジで表示される第２の映像データに変換する。本開示において、第２のダイナミックレンジは、例えばＳＤＲを示す。また、第２の映像データとは、処理領域に対応する画像であって、ＳＤＲでＨＭＤ１０等に表示される画像を示す。
【００６６】
具体的には、変換部１３５は、解析部１３３によって決定された基準輝度Ｌ−ω、及び、変数決定部１３４によって決定されたキー値ａに基づいて、ＨＤＲで記録された全天球コンテンツをＳＤＲで表示される画像に変換する。
【００６７】
上記のように、基準輝度Ｌ−ω及びキー値ａは、ユーザの動作に応じて決定された処理領域ごとに、動的に決定される。このため、例えば相対的に明るい被写体が映っている領域（全体的な輝度値が高い領域）が視野画角となった場合、基準輝度Ｌ−ωが高くなることから、高輝度側に多くビットが割り当てられてトーンマッピングが実行される。この場合、変換部１３５は、ＨＤＲで記録された画像を、白とびの抑えられたＳＤＲ画像に変換することができる。
【００６８】
一方、暗い被写体が映っている領域（全体的な輝度値が低い領域）が視野画角となった場合、基準輝度Ｌ−ωが低くなることから、低輝度側に多くビットが割り当てられてトーンマッピングが実行される。この場合、変換部１３５は、ＨＤＲで記録された画像を、黒潰れが抑えられたＳＤＲ画像に変換することができる。
【００６９】
送信部１３６は、変換部１３５によってＳＤＲに変換された全天球コンテンツをＨＭＤ１０に送信する。例えば、送信部１３６は、全天球コンテンツのうち、ユーザの動作に応じて決定された処理領域に対応する箇所の画像データをＨＭＤ１０に送信する。
【００７０】
［１−２．第１の実施形態に係る画像処理の一例］
図１で示した画像処理システム１によって実行される画像処理について、図４を用いて具体的に説明する。図４は、本開示の第１の実施形態に係る画像処理の一例を示す図（１）である。図４に示す正距円筒画像５０は、ＨＤＲで記録された全天球コンテンツに含まれる画像の一例を示す。
【００７１】
まず、ＨＭＤ１０は、ＨＭＤ１０を装着したユーザの動作を検知する。そして、ＨＭＤ１０は、検知したユーザの動作に関する情報を画像処理装置１００に送信する。画像処理装置１００は、ＨＭＤ１０から取得したユーザの動作に関する情報に基づいて、表示領域５１を特定する（ステップＳ１１）。
【００７２】
画像処理装置１００は、表示領域５１に対応する画像を透視投影変換して、表示領域５１に対応する処理領域を決定する（ステップＳ１２）。図４の例では、画像処理装置１００は、表示領域５１に対応する表示領域として、処理領域５２を決定する。処理領域５２は、ＨＭＤ１０において、実際にユーザが画像を視聴する際の視野画角に対応する領域を示す。
【００７３】
さらに、画像処理装置１００は、処理領域５２に含まれる各画素の分布に基づいて、処理領域５２の画像をＳＤＲに変換する（ステップＳ１３）。すなわち、画像処理装置１００は、正距円筒画像５０から切り出された表示領域５１ではなく、投影変換された後の画像に対応する処理領域５２に含まれる各画素の情報を用いて、変換処理を行う。このように、画像処理装置１００は、実際にユーザがＨＭＤ１０で視聴する領域（処理領域）が含む画素情報を用いて変換処理を行うことで、ユーザにとってより自然な表現と感じられる変換画像を提供することができる。具体的には、画像処理装置１００は、実際にユーザが視聴する領域が含む画素情報を用いて動的にキー値ａを決定し、決定したキー値ａで変換を行うことで、人間の視覚特性に合わせて明暗が表現された画像を提供することができる。
【００７４】
ここで、図４の例では、処理領域５２に含まれる各画素の輝度値の対数平均値や最頻値は、正距円筒画像５０全体に含まれる各画素の輝度値の対数平均値や最頻値と比較して、高い値であるとする。言い換えれば、処理領域５２は、正距円筒画像５０全体と比較して明るい画像である。画像処理装置１００は、処理領域５２が含む各画素の対数平均輝度値や最頻値に基づき決定されたキー値ａを用いてトーンマッピングを行い、ＳＤＲへの変換を行う。結果として、図４に示すように、画像処理装置１００は、処理領域５２で白とびしていた画素の明暗が明確にわかるように変換された変換画像５３を生成することができる。
【００７５】
続いて、ユーザが表示領域５１以外の領域を視聴するよう視野を動かした場合、ＨＭＤ１０は、ユーザの視野の動きを検知する。そして、ＨＭＤ１０は、ＨＭＤ１０を装着したユーザの動作に関する情報を画像処理装置１００に送信する。画像処理装置１００は、ＨＭＤ１０から取得したユーザの動作に関する情報に基づいて、表示領域６１を特定する（ステップＳ２１）。
【００７６】
画像処理装置１００は、表示領域５１における処理と同様、表示領域６１に対応する画像を透視投影変換して、表示領域６１に対応する処理領域を決定する（ステップＳ２２）。図４の例では、画像処理装置１００は、表示領域６１に対応する処理領域として、処理領域６２を決定する。
【００７７】
さらに、画像処理装置１００は、処理領域６２に含まれる各画素の分布に基づいて、処理領域６２に対応する画像をＳＤＲに変換する（ステップＳ２３）。図４の例では、処理領域６２に含まれる各画素の輝度値の対数平均値や最頻値は、正距円筒画像５０全体に含まれる各画素の輝度値の対数平均値や最頻値と比較して、低い値であるとする。言い換えれば、処理領域６２は、正距円筒画像５０全体と比較して暗い画像である。画像処理装置１００は、処理領域６２が含む各画素の対数平均輝度値や最頻値に基づき決定されたキー値ａを用いてトーンマッピングを行い、ＳＤＲへの変換を行う。結果として、図４に示すように、画像処理装置１００は、処理領域６２で黒潰れしていた画素の明暗が明確にわかるように変換された変換画像６３を生成することができる。
【００７８】
上記処理について、図５を用いて詳細に説明する。図５は、本開示の第１の実施形態に係る画像処理の一例を示す図（２）である。図４に係るステップＳ１３において、式（３）に対応するグラフは、例えば図５に示す曲線５４により示される。また、図４に係るステップＳ２３において、式（３）に対応するグラフは、例えば図５に示す曲線６４により示される。図４の例では、処理領域５２と処理領域６２とを比較した場合、処理領域６２の方が全体的に低い輝度の分布を有すると仮定している。このため、処理領域６２における輝度値の最頻値Ｌｍ１は、処理領域５２における輝度値の最頻値Ｌｍ２よりも低い値をとる。図３で説明したように、最頻値Ｌｍ１及び最頻値Ｌｍ２は、変換後の輝度値として「０．５」の値をとることから、図５に示すように、曲線６４は、曲線５４と比べて、輝度値Ｌが相対的に低い範囲において上昇率（傾き）が大きい。
【００７９】
このことは、ステップＳ２３の変換処理では、ステップＳ１３の変換処理に比べて、相対的に低い輝度値の範囲に、より多くの情報量（ビット）が割り当てられていることを意味する。すなわち、画像処理装置１００は、処理領域６２において暗く表示されていた（輝度値の低い）箇所に対して、より重みを置いた変換処理を行う。これにより、画像処理装置１００は、処理領域６２において暗く表示されていた箇所の明暗が明瞭に表示された変換画像６３を生成することができる。一方で、ステップＳ１３の変換処理では、ステップＳ２３の変換処理に比べて、相対的に高い輝度値の範囲により多くの情報量が割り当てられる。すなわち、画像処理装置１００は、処理領域５２において明るく表示されていた（輝度値の高い）箇所に対して、より重みを置いた変換処理を行う。これにより、画像処理装置１００は、処理領域５２において明るく表示されていた箇所（例えば、白とびしそうな輝度値を有する箇所）の明暗が明瞭に表示された変換画像５３を生成することができる。
【００８０】
［１−３．第１の実施形態に係る画像処理の手順］
次に、図６を用いて、第１の実施形態に係る画像処理の手順について説明する。図６は、本開示の第１の実施形態に係る処理の流れを示すフローチャートである。
【００８１】
図６に示すように、画像処理装置１００は、ＨＭＤ１０からユーザの動作に関する情報を取得する（ステップＳ１０１）。そして、画像処理装置１００は、ユーザの動作に関する情報に基づいて、全天球コンテンツの一画像のうち、ユーザの動作（例えば、ユーザの視野方向）に対応する領域を特定する（ステップＳ１０２）。ステップＳ１０２で特定される領域とは、例えば、図４で示した表示領域５１や表示領域６１である。
【００８２】
続けて、画像処理装置１００は、ＨＤＲで記録された全天球コンテンツをコンテンツ記憶部１２１から読み出す（ステップＳ１０３）。さらに、画像処理装置１００は、ステップＳ１０２において特定した領域を投影変換し、当該領域に対応する処理領域を決定する（ステップＳ１０４）。ステップＳ１０４で決定される処理領域とは、例えば、図４で示した処理領域５２や処理領域６２に対応する。
【００８３】
その後、画像処理装置１００は、ステップＳ１０１で取得したユーザの動作に関する情報に基づいて、ユーザの動作速度が所定閾値以下であるか否かを判定する（ステップＳ１０５）。ユーザの動作速度が所定閾値以下である場合（ステップＳ１０５；Ｙｅｓ）、画像処理装置１００は、処理領域内の各画素の画素情報を解析する（ステップＳ１０６）。そして、画像処理装置１００は、各画素の解析結果に基づいて、トーンマッピングに用いる変数（キー値ａ）を決定する（ステップＳ１０７）。
【００８４】
一方、ユーザの動作速度が所定閾値を超える場合（ステップＳ１０５；Ｎｏ）、画像処理装置１００は、既に決定済みの基準輝度及び変数を読み出す（ステップＳ１０８）。言い換えれば、画像処理装置１００は、新たに基準輝度や変数を決定（算出）する処理をスキップする。この場合、画像処理装置１００は、直前の処理において決定した基準輝度及び変数を利用するか、あるいは、予め設定された規定値の基準輝度及び変数を利用する。すなわち、画像処理装置１００は、変数決定を行うか否かを判定する時点（図６の例では、ステップＳ１０５）の以前に決定されていた既存の変数を利用する。
【００８５】
画像処理装置１００は、ステップＳ１０７もしくはステップＳ１０８において決定された基準輝度及び変数に基づいて、処理領域の画像をＨＤＲからＳＤＲに変換する（ステップＳ１０９）。そして、画像処理装置１００は、変換済みの画像をＨＭＤ１０に送信する（ステップＳ１１０）。
【００８６】
このように、第１の実施形態に係る画像処理装置１００は、全天球コンテンツ全体の画素情報ではなく、ユーザの動作に応じて決定された処理領域に含まれる画素を選択的に用いた画像処理を行う。具体的には、第１の実施形態に係る画像処理装置１００は、処理領域に含まれる各画素の輝度値の分布に基づいて、映像データを変換する際に用いるキー値ａ及び基準輝度を動的に決定する。これにより、第１の実施形態に係る画像処理装置１００は、ユーザが視聴しようとする画像に即した変換処理を行うことができるため、画像の明暗が明瞭に表現された変換画像を生成することができる。また、第１の実施形態に係る画像処理装置１００は、ユーザの動作速度が閾値以下である場合に新たに変数を決定する処理を行うので、ちらつき等が発生することを防止できる。
【００８７】
（２．第１の実施形態の変形例）
上記第１の実施形態では、画像処理装置１００は、ユーザの動作に関する情報に基づき、ユーザの動作速度が所定の閾値以下となった場合に、処理領域における基準輝度及びキー値ａを決定する処理を行う例を示した。ここで、画像処理装置１００は、動作速度が閾値以下となった場合に、即座に新たな基準輝度及びキー値ａを決定するのではなく、直前に決定した基準輝度及びキー値ａから、徐々に新たな基準輝度及びキー値ａに変化させる処理を行ってもよい。すなわち、画像処理装置１００は、処理領域を即座に変換するのではなく、徐々に変換後の画像に近づけるように、時間に応じた変換処理を行う。これにより、画像処理装置１００は、人間が明るい場所から暗い場所へ移動した場合等における人間の視覚の順応（暗順応もしくは明順応）を模した変換処理を行うことができるので、より現実感のある自然な画像をユーザに提供することができる。
【００８８】
すなわち、第１の実施形態の変形例に係る変数決定部１３４は、第１の変数（変化前の処理領域に基づくキー値ａ）を決定した後に第２の変数（変化後の処理領域に基づくキー値ａ）を決定した場合に、第１の変数から第２の変数に段階的に近付く値を決定する。また、第１の実施形態の変形例に係る変換部１３５は、変数決定部１３４によって決定された、第１の変数から第２の変数に段階的に近付く値を順に用いて、第１の映像データを変換する。
【００８９】
上記の処理について、図７を用いて説明する。図７は、本開示の第１の実施形態の変形例に係る画像処理の一例を示す図である。図７では、画像処理装置１００が、直前に決定した基準輝度及びキー値ａから、徐々に新たな基準輝度及びキー値ａに変化させることで、時間経過に応じたトーンマッピングを行う例を示している。
【００９０】
図４で示した例と同様に、図７において、画像処理装置１００は、ＨＭＤ１０が検知したユーザの動作に関する情報に基づいて、表示領域５１を特定する（ステップＳ３１）。
【００９１】
画像処理装置１００は、表示領域５１に対応する画像を透視投影変換して、表示領域５１に対応する処理領域５２を決定する（ステップＳ３２）。
【００９２】
続けて、画像処理装置１００は、図４と同様、処理領域５２における基準輝度及びキー値ａを決定する。このとき、画像処理装置１００は、例えば、式（５）及び式（６）を用いて、時間経過に応じた基準輝度及びキー値ａを動的に決定する。
【００９３】
【数５】
2019193807.tif 000007
【００９４】
【数６】
2019193807.tif 000008
【００９５】
式（５）において、Ｌ−ｐｒｅは、直前の決定処理において決定された対数平均輝度値、すなわち前回の基準輝度を示す。また、式（５）において、ｔは、時刻を示す。また、式（５）において、ΔＬ（ｔ）は、時間に応じて変化する輝度値の値を示す関数である。また、式（６）において、Ｌ−ｃｕｒは、現時点のユーザの動作に関する情報に基づき決定された処理領域５２に対応する対数平均輝度値、すなわち今回の基準輝度を示す。また、式（６）において、Ｔは、時間方向における変化量を決定するための任意の定数である。
【００９６】
式（５）に示すように、変形例に係る基準輝度Ｌ−ωは、直前に決定された基準輝度Ｌ−ｐｒｅと、時間に応じた変化量ΔＬ（ｔ）に基づいて決定される。そして、画像処理装置１００は、式（５）に示される基準輝度Ｌ−ωを用いて処理領域５２の画像を変換する（ステップＳ３３）。これにより、処理領域５２の画像は、基準輝度が決定された場合に、即座に変換画像５３に変換されるのではなく、図７に示すように、経過画像５７や経過画像５８を経て、変換画像５３に変換される。なお、この場合、上記した式（４）に示されるように、基準輝度の変化に伴いキー値ａも変化する。
【００９７】
このように、第１の実施形態の変形例では、画像処理装置１００は、時間に応じて変化する基準輝度及びキー値ａを用いてトーンマッピングを行う。これにより、画像処理装置１００は、人間の視覚における明順応及び暗順応特性を模した、自然な表現によるＨＤＲからＳＤＲへの変換処理を行うことができる。
【００９８】
なお、人間の視覚は、明順応にかかる時間と比較して、暗順応にかかる時間の方が長いことが知られている。このため、画像処理装置１００は、Ｌ−ｐｒｅとＬ−ｃｕｒとの関係に応じて、式（６）のＴの値を変化させてもよい。具体的には、画像処理装置１００は、Ｌ−ｐｒｅ＞Ｌ−ｃｕｒの関係が成立する場合、すなわち暗順応を模すときには、Ｔの値を相対的に大きく設定してもよい。この場合、画像処理装置１００は、式（５）で示すＬ−ωが最終的にＬ−ｃｕｒの値に収束するまでの時間も、相対的に長く設定してもよい。また、画像処理装置１００は、Ｌ−ｐｒｅ＜Ｌ−ｃｕｒの関係が成立する場合、すなわち明順応を模すときには、暗順応を模すときに採用される値よりも、Ｔの値を小さく設定してもよい。この場合、画像処理装置１００は、式（５）で示すＬ−ωが最終的にＬ−ｃｕｒの値に収束するまでの時間も、暗順応を模すときに採用される値よりも小さく（すなわち、短時間でＬ−ｃｕｒの値に収束するように）設定してもよい。
【００９９】
また、式（６）では、ΔＬ（ｔ）を単純に線形な時間方向の変化関数で示しているが、人間の視覚特性や、コンテンツにおいて再現される種々の状況に応じて、非線形な時間方向の変化関数として示されてもよい。
【０１００】
上記のように、画像処理装置１００は、新たにキー値ａが決定された場合には、新たに決定されたキー値ａと、キー値ａが決定される前に決定されていた既存のキー値ａとの間に含まれる値であって時間経過に応じて決定される値に基づいて、変換処理を行う。
【０１０１】
上記のような時間経過に応じた変換処理を行う契機として、種々の状況が想定される。例えば、画像処理装置１００は、ユーザの動作速度が所定閾値以下になった場合に、上記の変数決定処理及び変換処理を行ってもよい。また、画像処理装置１００は、ユーザの動作に関わらず、表示しているシーンの移り変わりに合わせて、上記変数決定処理及び変換処理を行ってもよい。例えば、全天球コンテンツが動画である場合、ＨＭＤ１０を装着するユーザの動作がなくても、シーンが移り変わる（画像が変化する）ことで、ＨＭＤ１０に表示される画像の画素情報が変化する場合がある。この場合、画像処理装置１００は、シーンの移り変わりに合わせてキー値ａや基準輝度を新たに算出し、上記のような明順応もしくは暗順応を模した変換処理を行うことで、より自然な画像をユーザに提供することができる。画像処理装置１００は、例えば、直前の画像に含まれる画素情報が所定の閾値を超えて変化したこと等に基づいて、シーンが移り変わったか否か（言い換えれば、変形例に係る変換処理を行うか否か）を判定してもよい。すなわち、画像処理装置１００は、処理領域に含まれる各画素の画素情報の変化量が所定時間のうちに所定閾値を超えて変化したこと等に基づいて、上記の変換処理を行ってもよい。
【０１０２】
このように、画像処理装置１００に係る変数決定部１３４は、ユーザの動作に関する情報が所定の条件を満たす場合、もしくは、処理領域に含まれる各画素の画素情報の変化量が所定の条件を満たす場合に、キー値ａを新たに決定する。そして、変数決定部１３４は、新たにキー値ａを決定する場合に、時間経過とともに段階的に変化する値であって、新たに決定されるキー値ａに収束する値を決定する。この値は、例えば、式（５）で算出された基準輝度を式（４）に代入することで算出される。具体的には、変数決定部１３４は、新たなキー値ａが決定される前に決定されていた既存のキー値ａとの間に含まれる値であって、時間経過に応じて決定される値を決定する。そして、画像処理装置１００に係る変換部１３５は、新たに決定されるキー値ａに収束する値に基づいて、処理領域に対応する画像を変換する。
【０１０３】
これにより、第１の実施形態の変形例に係る画像処理装置１００は、ＨＤＲで記録された画像をＳＤＲに変換して表示する際に、人間の視覚の明順応及び暗順応の特性に近い、自然な変換処理を行うことができる。
【０１０４】
（３．第２の実施形態）
［３−１．第２の実施形態に係る画像処理システムの構成］
次に、第２の実施形態について説明する。第２の実施形態では、ＨＭＤ１０のディスプレイ１８Ａにおいて、全天球コンテンツ以外に仮想オブジェクトが表示される場合に実行される画像処理について説明する。
【０１０５】
まず、第２の実施形態に係る画像処理システム２について説明する。図８は、本開示の第２の実施形態に係る画像処理システム２の一例を示す図である。図８に示すように、画像処理システム２は、第１の実施形態と比較して、コントローラ２０をさらに含む。また、第２の実施形態に係る画像処理装置２００は、解析部２３３と、変数決定部２３４と、描画部２３５とを含む。なお、第１の実施形態に係る画像処理装置１００と同様の構成については、説明を省略する。
【０１０６】
コントローラ２０は、画像処理装置２００及びＨＭＤ１０と有線又は無線ネットワークで接続される情報機器である。コントローラ２０は、例えば、ＨＭＤ１０を装着したユーザが手に持って操作する情報機器であり、ユーザの手の動きや、ユーザからコントローラ２０に入力された情報を検知する。具体的には、コントローラ２０に係る検知部２１は、センサ２１Ａ（例えば、３軸加速度センサや、ジャイロセンサや、速度センサ等の各種モーションセンサ）を制御して、コントローラ２０の三次元位置や速度等を検知する。そして、検知部２１は、検知した三次元位置や速度等を画像処理装置２００に送信する。なお、検知部２１は、外部カメラ等の外部センサによって検知された自装置の三次元位置等を送信してもよい。
【０１０７】
画像処理装置２００に係る描画部２３５は、コントローラ２０に係る検知部２１によって検知された情報に基づいて、ＨＭＤ１０に表示される画像に仮想オブジェクトを重畳させて描画する。描画部２３５は、例えば、ユーザの現実の動作（例えば手の動き）に合わせて、ユーザの手を模した仮想オブジェクトを描画する。また、描画部２３５は、例えばＨＭＤ１０で表示するコンテンツがゲームである場合には、ゲーム内で使用される道具等を模した仮想オブジェクトを描画してもよい。なお、このような仮想オブジェクトの描画処理については、種々の公知技術が適宜利用されてもよい。
【０１０８】
第２の実施形態に係る解析部２３３や変数決定部２３４は、処理領域において仮想オブジェクトが含まれる場合には、仮想オブジェクトに設定された輝度値を用いて、解析及び変数決定を行う。具体的には、解析部２３３や変数決定部２３４は、処理領域において元の画像における画素が仮想オブジェクトによって隠れる（重畳される）場合には、仮想オブジェクトの画素情報（輝度値等）を用いて処理を行う。
【０１０９】
例えば、変数決定部２３４は、処理領域に含まれる各画素の輝度値、及び、処理領域に含まれる仮想オブジェクトの輝度値の分布に基づいて、キー値ａを算出する。なお、変数決定部２３４は、仮想オブジェクトを構成する画素の輝度値については、予め設定された所定の輝度値を用いる。また、変数決定部２３４は、仮想オブジェクトが重畳される全天球コンテンツの一画像全体の輝度値に基づいて、仮想オブジェクトを構成する画素の輝度値を決定してもよい。これにより、変数決定部２３４は、全天球コンテンツが全体的に明るい場合には仮想オブジェクトも明るく描画されるよう調整したり、全天球コンテンツが全体的に暗い場合には仮想オブジェクトも暗く描画されるよう調整したりすることができる。
【０１１０】
また、変数決定部２３４は、仮想オブジェクトの挙動が所定の条件を満たす場合にはキー値ａを算出し、仮想オブジェクトの挙動が所定の条件を満たさない場合にはキー値ａを新たに算出しないようにしてもよい。具体的には、変数決定部２３４は、ユーザが所定閾値を超える速度でコントローラ２０を操作することにより、仮想オブジェクトが所定速度を超える速度で描画されるような場合には、画面のちらつき等を防止するため、キー値ａの算出処理を行わなくてもよい。一方、変数決定部２３４は、仮想オブジェクトが所定速度以下で描画される場合、新たなキー値ａを用いてトーンマッピングが行えるように、キー値ａを新たに決定してもよい。
【０１１１】
［３−２．第２の実施形態に係る画像処理の一例］
図８で示した画像処理システム２によって実行される画像処理について、図９を用いて具体的に説明する。図９は、本開示の第２の実施形態に係る画像処理の一例を示す図である。図９では、一度ＨＤＲからＳＤＲに変換された画像に対して、仮想オブジェクトが後から重畳された場合を例に挙げて、第２の実施形態に係る画像処理を説明する。なお、図９に示す正距円筒画像５０は、図４で示したものと同一の画像である。
【０１１２】
図４で示した例と同様に、画像処理装置２００は、ＨＭＤ１０が検知したユーザの動作に関する情報に基づいて、表示領域７１を特定する（ステップＳ４１）。
【０１１３】
画像処理装置２００は、表示領域７１に対応する画像を透視投影変換して、表示領域７１に対応する処理領域７２を決定する（ステップＳ４２）。
【０１１４】
さらに、画像処理装置２００は、処理領域７２に含まれる各画素の分布に基づいて、処理領域７２に対応する画像をＳＤＲに変換する（ステップＳ４３）。図９に示す処理領域７２は、中央上部に白とびの箇所があり、その他の箇所は輝度値が相対的に低く、全体的に暗い画像である。一方、ＳＤＲの変換後、変換画像７３は、輝度値が低く、コントラストが明確でなかった中央下部等の箇所が、若干明るく見やすいものに変化している。
【０１１５】
ここで、ユーザがコントローラ２０を介して、仮想オブジェクトである手を変換画像７３に重畳させる操作を行ったとする。画像処理装置２００は、コントローラ２０によって検知された情報に基づいて、仮想オブジェクト８０が変換画像７３に重畳される箇所を導出する。
【０１１６】
そして、画像処理装置２００は、変換画像７３と、仮想オブジェクト８０を構成する画素とが含まれる画像を処理対象として解析を行う。具体的には、画像処理装置２００は、仮想オブジェクト８０を構成する各画素の輝度値と、変換画像７３に含まれる各画素の輝度値とに基づいて、トーンマッピングの基準輝度を算出する。また、画像処理装置２００は、仮想オブジェクト８０を構成する各画素の輝度値と、変換画像７３に含まれる各画素の輝度値の分布（輝度値の最頻値等）とに基づいて、トーンマッピングにおけるキー値ａを決定する。
【０１１７】
そして、画像処理装置２００は、変換画像７３に対して仮想オブジェクト８０を重畳して描画するとともに、仮想オブジェクト８０を含んだ場合の各画素の輝度情報に基づいて、トーンマッピングを行う（ステップＳ４４）。これにより、画像処理装置２００は、変換画像７４をＨＭＤ１０に表示するとともに、変換画像７４に重畳した仮想オブジェクト８０を表示することができる。
【０１１８】
図９に示す変換画像７４では、変換画像７３において白とびしていた中央上部が仮想オブジェクト８０に隠されたことにより、画像全体の輝度値の分布が平滑になったため、仮想オブジェクト８０以外の箇所のコントラストがより明確に表示される。すなわち、変換画像７４は、例えば現実世界で光を手で遮ったことによって、光の影響で視認性が悪くなっていた箇所の視認性が向上した状況を画面上で模したものといえる。
【０１１９】
なお、図９に示した例では、説明のため仮想オブジェクト８０を白色で描いているが、実際には、仮想オブジェクト８０を構成する画素の輝度値は、白色で表現されるような高い輝度値でなくてもよい。例えば、第２の実施形態に係る変数決定部２３４は、キー値ａの決定に際して、正距円筒画像５０に含まれる各画素の輝度値に基づいて、仮想オブジェクト８０を構成する各画素に設定される輝度値を算出してもよい。例えば、仮想オブジェクト８０を構成する画素の輝度値は、正距円筒画像５０に含まれる各画素の輝度値の平均値や中央値や対数平均輝度値等であってもよい。これにより、画像処理装置２００は、仮想オブジェクト８０を構成する画素の輝度値について、処理対象となる全天球コンテンツに応じた値を適宜設定することができるため、仮想オブジェクト８０の重畳によって不自然な変換処理が行われることを防止できる。なお、仮想オブジェクト８０を構成する各画素の輝度値は、必ずしも同一の輝度値でなく、互いに異なる輝度値であってもよい。
【０１２０】
図９に示した処理について、図１０を用いて概念的に説明する。図１０は、本開示の第２の実施形態に係る画像処理の一例を説明するための図である。図１０では、図２で示したヒストグラムと同様、処理領域に含まれる各画素の画素数と輝度値の分布を示す。
【０１２１】
例えば、図１０に示す曲線８１は、図９に示す変換画像７３における画素数と輝度値の分布を示す。図９に示したように、変換画像７３は、中央上部に輝度値の高い（図９において白く表現される箇所）画素を比較的多く含む。このため、曲線８１は、輝度値の高い範囲に比較的多くの画素が分布することを示す形状となる。
【０１２２】
ここで、図９に示したように、ユーザがコントローラ２０を操作し、変換画像７３の中央上部に対して仮想オブジェクト８０を重畳させたとする（ステップＳ５１）。この場合、変換画像７３に含まれる画素のうち、仮想オブジェクト８０に重畳された箇所の画素は、仮想オブジェクト８０の画素の輝度値に置き換えられる。
【０１２３】
例えば、図１０に示す曲線８２は、図９に示す変換画像７３に仮想オブジェクト８０が重畳された際の画素数と輝度値の分布を示す。曲線８２が示すように、仮想オブジェクト８０が重畳されたのちには、曲線８１と比較して輝度値の高い画素数が減少する。また、仮想オブジェクト８０が重畳されたことにより、輝度値の最頻値が、曲線８１における輝度値の最頻値Ｌｍ３から、最頻値Ｌｍ４に変化する。
【０１２４】
この場合、画像処理装置２００は、仮想オブジェクト８０が重畳されたのちの各画素の輝度値の分布に基づいて基準輝度及びキー値ａを算出し、基準輝度及びキー値ａを新たに決定する。そして、画像処理装置２００は、新たに決定した基準輝度及びキー値ａに基づいて、変換画像７３にトーンマッピングを施し、変換画像７４を生成する。
【０１２５】
［３−３．第２の実施形態に係る画像処理の手順］
次に、図１１を用いて、第２の実施形態に係る画像処理の手順について説明する。図１１は、本開示の第２の実施形態に係る処理の流れを示すフローチャートである。
【０１２６】
図１１に示すように、画像処理装置２００は、ＨＭＤ１０からユーザの動作に関する情報を取得するとともに、コントローラ２０からコントローラの操作情報を取得する（ステップＳ２０１）。ステップＳ２０２〜ステップ２０４の処理は、図６に示したステップＳ１０２〜１０４と同様であるため、説明を省略する。ステップＳ２０４に続けて、画像処理装置２００は、コントローラの動作情報に基づいて、処理領域における仮想オブジェクトの表示位置を決定する（ステップＳ２０５）。そして、画像処理装置２００は、図６に示したステップＳ１０５と同様、ユーザの動作速度が所定閾値以下であるか否かを判定する（ステップＳ２０６）。
【０１２７】
ステップＳ２０６において、ユーザの動作速度が所定閾値以下である場合（ステップＳ２０６；Ｙｅｓ）、画像処理装置２００は、仮想オブジェクトの動作速度が所定閾値以下であるかをさらに判定する（ステップＳ２０７）。仮想オブジェクトの動作速度が所定閾値以下である場合（ステップＳ２０７；Ｙｅｓ）、画像処理装置２００は、仮想オブジェクトを含めた処理領域内の画素情報を解析する（ステップＳ２０８）。
【０１２８】
一方、仮想オブジェクトの動作速度が所定閾値を超える場合（ステップＳ２０７；Ｎｏ）、画像処理装置２００は、仮想オブジェクトを含めずに処理領域内の画素情報を解析する（ステップＳ２０９）。
【０１２９】
そして、画像処理装置２００は、処理領域内の各画素の解析結果に基づいて、トーンマッピングに用いる変数を決定する（ステップＳ２１０）。なお、ステップＳ２０６において、ユーザの動作速度が所定閾値を超える場合（ステップＳ２０６；Ｎｏ）、画像処理装置２００は、既に決定済みの基準輝度及び変数を読み出す（ステップＳ２１１）。
【０１３０】
その後、画像処理装置２００は、仮想オブジェクトの三次元位置等に基づいて、仮想オブジェクトを処理領域の画像に重畳して描画する（ステップＳ２１２）。さらに、画像処理装置２００は、ステップＳ２１０もしくはステップＳ２１１において決定された基準輝度及び変数に基づいて、処理領域の画像をＨＤＲからＳＤＲに変換する（ステップＳ２１３）。そして、画像処理装置２００は、変換済みの画像をＨＭＤ１０に送信する（ステップＳ２１４）。
【０１３１】
このように、第２の実施形態に係る画像処理装置２００は、仮想オブジェクトが重畳される画像においては、画像に含まれる各画素と、仮想オブジェクトを構成する各画素の分布に基づいて、本開示に係る画像処理を行う。これにより、第２の実施形態に係る画像処理装置２００は、手で太陽の光を遮った場合の明暗の変化等を反映させた、より現実に即した自然な画像変換を行うことができる。
【０１３２】
（４．第３の実施形態）
［４−１．第３の実施形態に係る画像処理システムの構成］
次に、第３の実施形態について説明する。第３の実施形態では、画像処理装置１００のようなサーバ側で本開示に係る画像処理が行われるのではなく、ＨＭＤ３０のような表示装置側で本開示に係る画像処理が行われる。
【０１３３】
図１２を用いて、第３の実施形態に係る画像処理システム３について説明する。図１２は、本開示の第３の実施形態に係る画像処理システム３の一例を示す図である。図１２に示すように、画像処理システム３は、第１の実施形態に係る画像処理装置１００や第２の実施形態に係る画像処理装置２００が有していた各処理部を有するＨＭＤ３０と、コンテンツ記憶部３２１を有するストレージサーバ３００を含む。
【０１３４】
ＨＭＤ３０は、動画や静止画等の各種コンテンツを表示するディスプレイ１８Ａを有するとともに、ディスプレイ１８Ａに表示するＳＤＲ画像への変換処理を実行する情報機器である。例えば、ＨＭＤ３０は、ゴーグル形状の筐体にスマートフォン等を差し込んで実現される、いわゆるスマートフォン用ＶＲゴーグルであってもよい。
【０１３５】
取得部３１は、第１の実施形態で示した検知部１５及び取得部１３１に対応し、ＨＭＤ３０におけるユーザの動作に関する情報を取得する。領域決定部３２は、第１の実施形態で示した領域決定部１３２に対応する。解析部３３は、第１の実施形態で示した解析部１３３に対応する。解析部３３は、ストレージサーバ３００が記憶する全天球コンテンツを取得し、全天球コンテンツのうち、領域決定部３２によって決定された処理領域における各画素の情報を解析する。
【０１３６】
変数決定部３４は、第１の実施形態で示した変数決定部１３４に対応する。変換部３５は、第１の実施形態で示した変換部１３５に対応する。表示制御部３６は、変換部３５によって変換された画像をディスプレイ１８Ａに表示する処理を制御する。
【０１３７】
このように、第３の実施形態に係るＨＭＤ３０は、本開示に係る画像処理を実行する画像処理装置として機能する。すなわち、ＨＭＤ３０は、サーバ装置等によらず、スタンドアロンで本開示に係る画像処理を実行することができる。さらに、ＨＭＤ３０によれば、本開示に係る画像処理によってＳＤＲに変換された画像をディスプレイ１８Ａに表示するといった、表示制御処理までを含めてスタンドアロンで実現することができる。これにより、第３の実施形態に係るＨＭＤ３０は、簡易なシステム構成で本開示に係る画像処理を実現することができる。なお、第３の実施形態では、全天球コンテンツがストレージサーバ３００に保持される例を示したが、ＨＭＤ３０は、自装置に全天球コンテンツを保持していてもよい。
【０１３８】
（５．その他の実施形態）
上述した各実施形態に係る処理は、上記各実施形態以外にも種々の異なる形態にて実施されてよい。
【０１３９】
例えば、上記各実施形態では、コンテンツの例として、全天球コンテンツを示した。しかし、本開示に係る画像処理は、全天球コンテンツ以外にも適用可能である。例えば、本開示に係る画像処理は、表示装置のディスプレイに表示可能な領域よりも広い領域を有する、いわゆるパノラマ画像やパノラマ動画にも適用可能である。また、１８０度の範囲で構成されたＶＲ画像やＶＲ動画にも適用可能である。また、全天球コンテンツは、静止画や動画に限らず、例えばＣＧ（Computer  Graphics）で作成されたゲームコンテンツ等であってもよい。
【０１４０】
また、上記各実施形態では、ＨＤＲで記録された第１の映像データを、ＳＤＲで表示される第２の映像データに変換する例を示した。しかし、本開示に係る画像処理は、ＨＤＲをＳＤＲに変換する処理に限られない。例えば、本開示に係る画像処理は、相対的に高いダイナミックレンジで記録された画像を、相対的に低いダイナミックレンジに変換する種々の処理に適用可能である。
【０１４１】
また、上記各実施形態では、表示領域を透視投影変換した後の画像に対応する処理領域が含む各画素の情報に基づいて、本開示に係る画像処理が実行される例を示した。しかし、本開示に係る画像処理は、必ずしも処理領域が含む各画素の情報のみならず、例えば、処理領域から数ピクセルや数十ピクセルだけ広い範囲を含む領域の各画素の情報を用いて実行されてもよい。
【０１４２】
また、本開示に係る画像処理では、必ずしも処理領域に対応する画像のみに対して変換処理を行うのではなく、例えば、処理領域から数ピクセルや数十ピクセルだけ広い範囲を含む領域に対応する画像に対して変換処理を行ってもよい。すなわち、画像処理の対象となる所定領域とは、必ずしも投影変換後の画像そのものの領域を示すのではなく、投影変換後の画像に対応する領域から任意のピクセル分を拡張した領域等を含んでもよい。
【０１４３】
また、上記各実施形態では、式（１）〜式（３）等に基づいて、ＨＤＲからＳＤＲへのトーンマッピングを行う例を示した。しかし、ＨＤＲからＳＤＲへの輝度値の変換を行う、いわゆるトーンマッピングの変換関数は、式（１）〜式（３）に限られない。例えば、トーンマッピングの変換関数は、トーンマッピングに利用される既知の対数関数、べき関数、Ｈｉｌｌ関数など、種々の関数が用いられてもよい。いずれの関数においても、投影変換後の処理領域に含まれる各画素に基づいて基準輝度を決定すること、また、処理領域に含まれる各画素の分布に基づいてキー値を決定することにより、本開示に係る画像処理が実現される。
【０１４４】
また、上記各実施形態では、式（４）に基づき、処理領域内に含まれる各画素の輝度値の最頻値を用いてキー値ａが算出される例を示した。しかし、キー値ａは、必ずしも最頻値を用いて算出されなくてもよい。例えば、キー値ａは、処理領域内に含まれる各画素の輝度値の中央値や、平均値や、標準偏差など、統計的に有意な各種の数値を用いて算出されてもよい。
【０１４５】
また、本開示に係る画像処理では、ＨＭＤ１０等を装着したユーザの動作に関する情報（頭部姿勢の傾きや視線方向に関する情報等）に基づいて表示領域が特定される処理を示した。しかし、ユーザの動作に関する情報は、上記に限られない。例えば、全天球コンテンツをスマートフォンやタブレット端末等で表示する場合、ユーザは、画面に対するタッチ操作や、入力デバイス（マウスやトラックパッドなど）を利用して、表示領域を選択する場合がある。この場合、ユーザの動作に関する情報とは、タッチ操作に対応する情報や、入力デバイスを介して入力される情報を含む。また、ユーザの動作速度とは、タッチ操作に対応する指の動きの速度（言い換えれば、タブレット端末におけるポインタの移動速度等）や、入力デバイスを介したポインタの移動速度等の情報を含む。また、ユーザの動作に関する情報には、ユーザがタブレット端末自体を動かしたり傾けたりした際に、タブレット端末が備えるセンサによって検知される情報等を含む。また、センサによって検知される情報には、例えば、タブレット端末内の画面（言い換えれば処理領域）がスクロールする速度等の情報が含まれてもよい。
【０１４６】
また、上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【０１４７】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、図１に示した解析部１３３及び変数決定部１３４は統合されてもよい。
【０１４８】
また、上述してきた各実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【０１４９】
また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【０１５０】
（６．ハードウェア構成）
上述してきた各実施形態に係る画像処理装置、ＨＭＤ、コントローラ等の情報機器は、例えば図１３に示すような構成のコンピュータ１０００によって実現される。以下、第１の実施形態に係る画像処理装置１００を例に挙げて説明する。図１３は、画像処理装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read  Only  Memory）１３００、ＨＤＤ（Hard  Disk  Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
【０１５１】
ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
【０１５２】
ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic  Input  Output  System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
【０１５３】
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る画像処理プログラムを記録する記録媒体である。
【０１５４】
通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
【０１５５】
入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital  Versatile  Disc）、ＰＤ（Phase  change  rewritable  Disk）等の光学記録媒体、ＭＯ（Magneto-Optical  disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【０１５６】
例えば、コンピュータ１０００が第１の実施形態に係る画像処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた画像処理プログラムを実行することにより、取得部１３１等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る画像処理プログラムや、コンテンツ記憶部１２１内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
【０１５７】
なお、本技術は以下のような構成も取ることができる。
（１）
第１のダイナミックレンジで記録された第１の映像データのうち、ユーザの動作に関する情報に応じて決定された所定領域に含まれる各画素の輝度値の分布に基づいて、前記第１のダイナミックレンジを第２のダイナミックレンジに変換した際の前記各画素の輝度値の算出に用いられる変数を決定する変数決定部と、
前記変数決定部によって決定された変数に基づいて、前記第１の映像データを前記第２のダイナミックレンジで表示される第２の映像データに変換する変換部と
を有する画像処理装置。
（２）
前記変数決定部は、前記ユーザの動作に関する情報が所定の条件を満たす場合、前記所定領域に含まれる各画素の輝度値の分布に基づいて、前記変数を決定する
前記（１）に記載の画像処理装置。
（３）
前記変数決定部は、前記ユーザの動作に関する情報が前記所定の条件を満たす場合として、前記ユーザの動作速度が所定閾値以下である場合、前記所定領域に含まれる各画素の輝度値の分布に基づいて、前記変数を決定する
前記（２）に記載の画像処理装置。
（４）
前記変換部は、前記ユーザの動作に関する情報が前記所定の条件を満たさない場合、前記所定の条件の判定時点以前に決定された既存の変数に基づいて、前記第１の映像データを前記第２の映像データに変換する
前記（２）又は（３）に記載の画像処理装置。
（５）
前記変数決定部は、前記所定領域に含まれる各画素の画素情報が所定の条件を満たす場合、前記所定領域に含まれる各画素の輝度値の分布に基づいて、前記変数を決定する
前記（１）〜（４）のいずれかに記載の画像処理装置。
（６）
前記変数決定部は、前記所定領域に含まれる各画素の画素情報が前記所定の条件を満たす場合として、前記所定領域に含まれる各画素の画素情報の所定時間における変化量が所定閾値以下である場合、前記所定領域に含まれる各画素の輝度値の分布に基づいて、前記変数を決定する
前記（５）に記載の画像処理装置。
（７）
前記変換部は、前記所定領域に含まれる各画素の画素情報が前記所定の条件を満たさない場合、前記所定の条件の判定時点以前に決定された既存の変数に基づいて、前記第１の映像データを前記第２の映像データに変換する
前記（５）又は（６）に記載の画像処理装置。
（８）
前記変数決定部は、第１の変数を決定した後に第２の変数を決定した場合、前記第１の変数から前記第２の変数に段階的に近付く値を決定し、
前記変換部は、前記変数決定部によって決定された、前記第１の変数から前記第２の変数に段階的に近付く値を順に用いて、前記第１の映像データを前記第２の映像データに変換する
前記（１）〜（７）のいずれかに記載の画像処理装置。
（９）
前記変数決定部は、前記所定領域に含まれる各画素の対数平均輝度値を、前記所定領域に含まれる各画素の輝度値の最頻値で除した値に基づいて、前記変数を決定する
前記（１）〜（８）のいずれかに記載の画像処理装置。
（１０）
前記変数決定部は、前記所定領域に重畳された仮想オブジェクトに含まれる各画素、及び、前記所定領域のうち前記仮想オブジェクトに重畳されない各画素の輝度値の分布に基づいて、前記変数を決定する
前記（１）〜（９）のいずれかに記載の画像処理装置。
（１１）
前記変数決定部は、前記第１の映像データに含まれる各画素の輝度値に基づいて、前記仮想オブジェクトを構成する各画素に設定される輝度値を算出する
前記（１０）に記載の画像処理装置。
（１２）
前記変数決定部は、前記仮想オブジェクトの挙動が所定の条件を満たす場合には、前記所定領域に重畳される仮想オブジェクトに含まれる各画素、及び、前記所定領域のうち前記仮想オブジェクトに重畳されない各画素の輝度値の分布に基づいて前記変数を決定し、前記仮想オブジェクトの挙動が所定の条件を満たさない場合には、前記仮想オブジェクトの重畳に関わらず、前記所定領域に含まれる各画素の輝度値の分布に基づいて前記変数を決定する
前記（１０）又は（１１）に記載の画像処理装置。
（１３）
前記第１の映像データは全天球コンテンツであり、
前記ユーザの動作に基づき特定された前記全天球コンテンツの一部領域を投影変換し、投影変換後の画像に対応する領域を前記所定領域として決定する領域決定部をさらに有する
前記（１）〜（１２）のいずれかに記載の画像処理装置。
（１４）
前記変換部によって変換された前記第２の映像データの表示を制御する表示制御部をさらに有する
前記（１）〜（１３）のいずれかに記載の画像処理装置。
（１５）
コンピュータが、
第１のダイナミックレンジで記録された第１の映像データのうち、ユーザの動作に関する情報に応じて決定された所定領域に含まれる各画素の輝度値の分布に基づいて、前記第１のダイナミックレンジを第２のダイナミックレンジに変換した際の前記各画素の輝度値の算出に用いられる変数を決定し、
決定された変数に基づいて、前記第１の映像データを前記第２のダイナミックレンジで表示される第２の映像データに変換する
画像処理方法。
（１６）
コンピュータを、
第１のダイナミックレンジで記録された第１の映像データのうち、ユーザの動作に関する情報に応じて決定された所定領域に含まれる各画素の輝度値の分布に基づいて、前記第１のダイナミックレンジを第２のダイナミックレンジに変換した際の前記各画素の輝度値の算出に用いられる変数を決定する変数決定部と、
前記変数決定部によって決定された変数に基づいて、前記第１の映像データを前記第２のダイナミックレンジで表示される第２の映像データに変換する変換部と
として機能させるための画像処理プログラムを記録した、コンピュータが読み取り可能な非一時的な記録媒体。
【符号の説明】
【０１５８】
１、２、３  画像処理システム
１０、３０  ＨＭＤ
２０  コントローラ
１００、２００  画像処理装置
３００  ストレージサーバ
１５、２１  検知部
１６  送信部
１７  受信部
１８、３６  表示制御部
１２１、３２１  コンテンツ記憶部
３１、１３１  取得部
３２、１３２  領域決定部
３３、１３３、２３３  解析部
３４、１３４、２３４  変数決定部
３５、１３５  変換部
１３６  送信部
２３５  描画部
【図１】
2019193807.tif 000009
【図２】
2019193807.tif 000010
【図３】
2019193807.tif 000011
【図４】
2019193807.tif 000012
【図５】
2019193807.tif 000013
【図６】
2019193807.tif 000014
【図７】
2019193807.tif 000015
【図８】
2019193807.tif 000016
【図９】
2019193807.tif 000017
【図１０】
2019193807.tif 000018
【図１１】
2019193807.tif 000019
【図１２】
2019193807.tif 000020
【図１３】
2019193807.tif 000021
【国際調査報告】
2019193807.tif 000022
2019193807.tif 000023
2019193807.tif 000024
2019193807.tif 000025