(57)【要約】【課題】好ましくないシナリオにおいてＬＤＲビデオシーケンスのダイナミックレンジ拡張が必要である。【解決手段】  ＬＤＲビデオシーケンスをダイナミックレンジ拡張する方法と装置を示唆する。示唆する方法は、ＬＤＲビデオシーケンスと、少なくとも１つのＨＤＲパノラマとを同時に取得する、ＨＤＲの画像はＬＤＲの画像より広い視野を含む、ステップと、ＬＤＲビデオシーケンスとＨＤＲパノラマとに基づきダイナミックレンジ拡張オペレータを決定するステップと、決定したダイナミックレンジ拡張オペレータをＬＤＲビデオシーケンスに適用するステップとを有する。【選択図】図１
2016009494.tif 000002
【特許請求の範囲】
【請求項１】
低ダイナミックレンジ（ＬＤＲ）ビデオシーケンスをダイナミック拡張する方法であって、
ＬＤＲビデオシーケンスと、少なくとも１つの高ダイナミックレンジ（ＨＤＲ）パノラマとを同時に取得する、前記ＨＤＲの画像は前記ＬＤＲの画像より広い視野を含む、ステップと、
ＬＤＲビデオシーケンスとＨＤＲパノラマとに基づきダイナミックレンジ拡張オペレータを決定するステップと、
決定したダイナミックレンジ拡張オペレータをＬＤＲビデオシーケンスに適用するステップと
を有する方法。
【請求項２】
ダイナミックレンジ拡張オペレータは拡張オペレータ（ＥＯ）または逆トーンマッピングオペレータ（ｉＴＭＯ）である、請求項１に記載の方法。
【請求項３】
ＬＤＲビデオシーケンスとＨＤＲパノラマとに基づきダイナミックレンジ拡張オペレータを決定する前記ステップは、
ＬＤＲビデオシーケンスの各フレームをＨＤＲパノラマのうちの一ＨＤＲパノラマの一部分とマッチングするステップと、
ＬＤＲビデオシーケンスの各フレームと、ＨＤＲパノラマのうちの一ＨＤＲパノラマのマッチした部分とに基づき、ダイナミックレンジ拡張オペレータのパラメータを推定し、ＬＤＲビデオシーケンスの各フレームにダイナミックレンジ拡張オペレータを適用することにより得られるＨＤＲフレームが、ＨＤＲパノラマのうちの一ＨＤＲパノラマのマッチした部分を最も良く近似するようにする、ステップとを有する
請求項１または２に記載の方法。
【請求項４】
ＬＤＲビデオシーケンスと少なくとも１つのＨＤＲパノラマは、異なる時間的及び／または空間的解像度で取得される、請求項１ないし３いずれか一項に記載の方法。
【請求項５】
低ダイナミックレンジ（ＬＤＲ）ビデオシーケンスをダイナミック拡張する装置であって、
ＬＤＲビデオシーケンスを取得する手段と、
ＬＤＲビデオシーケンスを取得している間に、少なくとも１つの高ダイナミックレンジ（ＨＤＲ）パノラマを取得する、前記ＨＤＲの画像は前記ＬＤＲの画像より広い視野を含む、手段と、
ＬＤＲビデオシーケンスとＨＤＲパノラマとに基づきダイナミックレンジ拡張オペレータを決定する手段と、
決定したダイナミックレンジ拡張オペレータをＬＤＲビデオシーケンスに適用する手段と
を有する装置。
【請求項６】
ダイナミックレンジ拡張オペレータは拡張オペレータ（ＥＯ）または逆トーンマッピングオペレータ（ｉＴＭＯ）である、請求項５に記載の装置。
【請求項７】
ＬＤＲビデオシーケンスとＨＤＲパノラマとに基づきダイナミックレンジ拡張オペレータを決定する手段は、
ＬＤＲビデオシーケンスの各フレームをＨＤＲパノラマのうちの一ＨＤＲパノラマの一部分とマッチングするユニットと、
ＬＤＲビデオシーケンスの各フレームと、ＨＤＲパノラマのうちの一ＨＤＲパノラマのマッチした部分とに基づき、ダイナミックレンジ拡張オペレータのパラメータを推定し、ＬＤＲビデオシーケンスの各フレームにダイナミックレンジ拡張オペレータを適用することにより得られるＨＤＲフレームが、ＨＤＲパノラマのうちの一ＨＤＲパノラマのマッチした部分を最も良く近似するようにするユニットとを有する、
請求項５または６に記載の装置。
【請求項８】
ＬＤＲビデオシーケンスと少なくとも１つのＨＤＲパノラマは、異なる時間的及び／または空間的解像度で取得される、請求項５ないし７いずれか一項に記載の装置。
【請求項９】
請求項１ないし４いずれか一項に記載の方法のステップを実装する、プロセッサにより実行可能なプログラムコード命令を含むコンピュータプログラム。
【請求項１０】
非一時的コンピュータ読み取り可能媒体に記憶され、請求項１ないし４いずれか一項に記載の方法のステップを実装する、プロセッサにより実行可能なプログラムコード命令を含むコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、概して、画像処理の技術分野に関し、具体的には、低ダイナミックレンジ（ＬＤＲ）ビデオシーケンスのダイナミックレンジ拡張方法と装置に関する。
【背景技術】
【０００２】
ＬＤＲビデオシーケンスを高ダイナミックレンジ（ＨＤＲ）ディスプレイに合わせる拡張ビデオ処理技術として、ＬＤＲビデオシーケンスをＨＤＲビデオシーケンスに変換できるようにするダイナミックレンジ拡張が、大きな注目を集めている。ＨＤＲディスプレイは、物理的輝度（ｃｄ／ｍ２単位）を表す浮動小数点値を入力として取り、一方、ＬＤＲビデオシーケンスのピクセルの輝度成分は、標準色空間で確定された整数値として表される。混乱を避けるため、ルマ（ｌｕｍａ）との用語はＬＤＲピクセル輝度を指すのに用いる。
【０００３】
ダイナミックレンジ拡張を実現するため、２種類のダイナミックレンジ拡張オペレータが提案されている。すなわち、拡張オペレータ（ＥＯ）と逆トーンマッピングオペレータ（ｉＴＭＯ）である。前者は、元はＬＤＲカメラでキャプチャされたＬＤＲビデオシーケンスから、ＨＤＲビデオシーケンスを求める。後者は、元はＨＤＲカメラでキャプチャされたＨＤＲビデオシーケンスからトーンマッピングにより変換されたＬＤＲビデオシーケンスから、ＨＤＲビデオシーケンスを再構成する。
【０００４】
ＬＤＲビデオシーケンスがＬＤＲカメラでキャプチャされたシナリオでは、トーンマッピングの情報は利用できないので、ｉＴＭＯはＬＤＲビデオシーケンスのダイナミックレンジ拡張には使えない。さらに、センサ飽和、光不足、ＬＤＲビデオシーケンスが取得されたシーン中の高コントラストなどにより、利用可能な情報が不十分で、ＥＯにより高忠実度でダイナミックレンジ拡張を行えないシナリオがある。
【発明の概要】
【０００５】
このようなことを考慮して、上記の好ましくないシナリオにおいてＬＤＲビデオシーケンスのダイナミックレンジ拡張が必要である。
【０００６】
本開示の第１の態様では、ＬＤＲビデオシーケンスのダイナミックレンジ拡張方法を提供する。該方法は、ＬＤＲビデオシーケンスと、少なくとも１つのＨＤＲパノラマとを同時に取得する、ＨＤＲの画像はＬＤＲの画像より広い視野を含む、ステップと、ＬＤＲビデオシーケンスとＨＤＲパノラマとに基づきダイナミックレンジ拡張オペレータを決定するステップと、決定したダイナミックレンジ拡張オペレータをＬＤＲビデオシーケンスに適用するステップとを有する。
【０００７】
一実施形態では、ダイナミックレンジ拡張オペレータはＥＯまたはｉＴＭＯであり得る。
【０００８】
一実施形態では、ＬＤＲビデオシーケンスとＨＤＲパノラマとに基づきダイナミックレンジ拡張オペレータを決定するステップは、ＬＤＲビデオシーケンスの各フレームをＨＤＲパノラマのうちの一ＨＤＲパノラマの一部分とマッチングするステップと、ＬＤＲビデオシーケンスの各フレームと、ＨＤＲパノラマのうちの一ＨＤＲパノラマのマッチした部分とに基づき、ダイナミックレンジ拡張オペレータのパラメータを推定し、ＬＤＲビデオシーケンスの各フレームにダイナミックレンジ拡張オペレータを適用することにより得られるＨＤＲフレームが、ＨＤＲパノラマのうちの一ＨＤＲパノラマのマッチした部分を最も良く近似するようにする、ステップとを有する。
【０００９】
一実施形態では、ＬＤＲビデオシーケンスと少なくとも１つのＨＤＲパノラマは、異なる時間的及び／または空間的解像度で取得され得る。
【００１０】
本開示の第２の態様により、ＬＤＲビデオシーケンスをダイナミックレンジ拡張する装置が提供される。該装置は、ＬＤＲビデオシーケンスを取得する手段と、ＬＤＲビデオシーケンスを取得している間に、少なくとも１つのＨＤＲパノラマを取得する、ＨＤＲの画像はＬＤＲの画像より広い視野を含む、手段と、ＬＤＲビデオシーケンスとＨＤＲパノラマとに基づきダイナミックレンジ拡張オペレータを決定する手段と、決定したダイナミックレンジ拡張オペレータをＬＤＲビデオシーケンスに適用する手段とを有する。
【００１１】
一実施形態では、ダイナミックレンジ拡張オペレータは拡張オペレータ（ＥＯ）または逆トーンマッピングオペレータ（ｉＴＭＯ）である。
【００１２】
一実施形態では、ＬＤＲビデオシーケンスとＨＤＲパノラマとに基づきダイナミックレンジ拡張オペレータを決定する手段は、ＬＤＲビデオシーケンスの各フレームをＨＤＲパノラマのうちの一ＨＤＲパノラマの一部分とマッチングするユニットと、ＬＤＲビデオシーケンスの各フレームと、ＨＤＲパノラマのうちの一ＨＤＲパノラマのマッチした部分とに基づき、ダイナミックレンジ拡張オペレータのパラメータを推定し、ＬＤＲビデオシーケンスの各フレームにダイナミックレンジ拡張オペレータを適用することにより得られるＨＤＲフレームが、ＨＤＲパノラマのうちの一ＨＤＲパノラマのマッチした部分を最も良く近似するようにするユニットとを有する。
【００１３】
一実施形態では、ＬＤＲビデオシーケンスと少なくとも１つのＨＤＲパノラマは、異なる時間的及び／または空間的解像度で取得される。
【００１４】
本開示の第３の態様により、本開示の第１の態様による方法のステップを実装する、プロセッサにより実行可能なプログラムコード命令を含むコンピュータプログラムが提供される。
【００１５】
本開示の第４の態様により、非一時的コンピュータ読み取り可能媒体に記憶され、本開示の第１の態様による方法のステップを実装する、プロセッサにより実行可能なプログラムコード命令を含むコンピュータプログラム製品が提供される。
【図面の簡単な説明】
【００１６】
本開示の上記その他の目的、特徴、利点は、図面を参照した本開示の下記の実施形態の説明から明らかになる。
【図１】本開示によるＬＤＲビデオシーケンスのダイナミックレンジ拡張方法を示すフローチャートである。
【図２】本開示によるＬＤＲビデオシーケンスのダイナミックレンジ拡張方法を示す他のフローチャートである。
【図３】本開示によるＬＤＲビデオシーケンスのダイナミックレンジ拡張装置の構成を示す図である。
【発明を実施するための形態】
【００１７】
下記の説明では、限定ではなく説明を目的として、本技術の具体的な実施形態の詳細を説明する。しかし、本技術分野の当業者には言うまでもなく、これらの詳細ではなく、他の実施形態を用いることもできる。さらにまた、幾つかの事例では、不要な詳細説明で本説明をわかりにくくしないように、周知の方法、インタフェース、回路、及びデバイスの詳細な説明は省略する。
【００１８】
本技術分野の当業者には言うまでもないが、説明する機能の一つまたは全部は、特定機能を実行するように相互接続されたアナログ及び／または個別論理ゲート、ＡＳＩＣ、ＰＬＡなどのハードウェア回路を用いて実装できる。同様に、機能の一部または全部は、一以上のデジタルマイクロプロセッサや汎用コンピュータと共にソフトウェアプログラムとデータを用いて実装できる。
【００１９】
ここで、本開示によるＬＤＲビデオシーケンスのダイナミックレンジ拡張方法１００を示す図１を参照する。
【００２０】
図示の通り、最初に、ステップＳ１１０において、ＬＤＲビデオシーケンスと少なくとも１つのＨＤＲパノラマを同時に取得する。次に、ステップＳ１２０において、ＬＤＲビデオシーケンスとＨＤＲパノラマに基づき、ダイナミックレンジ拡張オペレータを決定する。次いで、ステップＳ１３０において、決定したダイナミックレンジ拡張オペレータをＬＤＲビデオシーケンスに適用する。
【００２１】
ＬＤＲビデオシーケンスの取得は、空間的及び／または時間的解像度に対する制限せずに、市販のどんなカメラでも実現できる。例えば、空間的解像度に関して、ＬＤＲビデオシーケンスはＳＤ、ＨＤまたは４Ｋのフォーマットで取得し得る。時間的解像度に関して、ＬＤＲビデオシーケンスは２５、５０または１００ｆｐｓで取得し得る。
【００２２】
ＨＤＲパノラマの取得は、ＬｉｚａｒｄＱパノラマカメラ、時間的ブラケティング、露出ブラケティングなどの任意のＨＤＲ及びパノラマ取得技術により行える。
【００２３】
ダイナミックレンジ拡張オペレータはＥＯまたはｉＴＭＯのいずれかであり得る。いずれの場合でも、ＬＤＲビデオシーケンスと同時に取得したＨＤＲパノラマにより、高忠実度でＬＤＲビデオシーケンスをＨＤＲビデオシーケンスに変換するダイナミックレンジ拡張オペレータを効率的に決定するガイド情報が得られる。
【００２４】
限定ではなく例示を目的として、ダイナミックレンジ拡張オペレータを決定する実現可能なアプローチはＬＤＲビデオシーケンスに基づき決定され、ＨＤＲパノラマ（すなわち、ステップＳ１２０の実装）は図２を参照して説明する。
【００２５】
図示したように、このアプローチはサブステップＳ１２１から始まり、ＬＤＲビデオシーケンスの各フレームはＨＤＲパノラマの部分とマッチ（ｍａｔｃｈ）される。次に、サブステップＳ１２２において、ＬＤＲビデオシーケンスの各フレームと、ＨＤＲパノラマのマッチした部分とに基づき、ダイナミックレンジ拡張オペレータのパラメータを推定し、ＬＤＲビデオシーケンスの各フレームにダイナミックレンジ拡張オペレータを適用することにより得られるＨＤＲフレームが、ＨＤＲパノラマのマッチした部分を最も良く近似するようにする。
【００２６】
上記の通り、ダイナミックレンジ拡張はＥＯまたはｉＴＭＯであり得る。ＥＯまたはｉＴＭＯはさまざまな形式を取り得る。例として、文献Akyuez,  A.  O.,  Fleming,  R.,  Riecke,  B.  E.,  Reinhard,  E.,  &  Buelthoff,  H.  H.  (2007),  「Do  HDR  displays  support  LDR  content?」(ACM  SIGGRAPH  2007  papers  on  -  SIGGRAPH  ’07  (p.  38).  New  York,  New  York,  USA:  ACM  Press.  doi:10.1145/1275808.1276425、)（以下参考文献（１）と言う）を参照して提案されているＥＯは、次の拡張の式
【００２７】
【数１】
2016009494.tif 000003
により特徴付けられる。ここで、ｋはＨＤＲディスプレイの最大輝度を示し、γは非線形のスケーリングファクタを示し、Ｌｗ（ｘ）とＬｄ（ｘ）はインデックスｘで示されるＨＤＲピクチャ及びそれに対応するＬＤＲピクチャ中のピクセルのＨＤＲ輝度及びＬＤＲルマ（ｌｕｍａ）をそれぞれ示し、Ｌｄ，ｍｉｎとＬｄ，ｍａｘはＬＤＲピクチャの最小及び最大ルマ（ｌｕｍａ）をそれぞれ示す。
【００２８】
式（１）により特徴付けられるＥＯを図２に示したアプローチで用いる場合、最初にＬＤＲビデオシーケンスのフレームがＨＤＲパノラマの一部分とマッチ（ｍａｔｃｈ）される。次いで、式（１）のパラメータγを推定するため、ＬＤＲフレームのピクセルのルマ値と、それに対応するＨＤＲパノラマ中のマッチした部分の輝度値とに基づいて、ＬＳやＬＭＳアプローチなどの推定アルゴリズムを用いても良い。パラメータγを推定できれば、ＥＯを決定できる。ＬＤＲフレームにＥＯを適用することにより得られるＨＤＲフレームは、それぞれの推定アルゴリズムに特有のエラー基準に関し、マッチしたＨＤＲパノラマの部分を最も良く近似する。
【００２９】
同様に、文献Masia,  B.,  Agustin,  S.,  &  Fleming,  R.  (2009),  「Evaluation  of  Reverse  Tone  Mapping  Through  Varying  Exposure  Conditions」（以下参考文献（２）と言う）に提案された他のＥＯを、図２に示したアプローチと用いられる。この技術は、各カラーチャネルに
【００３０】
【数２】
2016009494.tif 000004
となるようにγ拡張を行う。ここで、ｘはＬＤＲピクチャとそれに対応するＨＤＲピクチャのピクセルのインデックスを示し、γは
【００３１】
【数３】
2016009494.tif 000005
により計算される。ここで、Ｌｄ，Ｈ、Ｌｄ，ｍｉｎ及びＬｄ，ｍａｘは、ＬＤＲピクチャの平均、最小及び最大ルマ（ｌｕｍａ）をそれぞれ示す。その場合、式（３）中のパラメータａとｂはサブステップＳ１２２で推定される。
【００３２】
図２に示したアプローチでｉＴＭＯを用いる場合、ｉＴＭＯのパラメータは、サブステップＳ１２２において、ＬＤＲビデオシーケンスとＨＤＲパノラマのマッチした部分のそれぞれのフレームに基づいて推定される。例として、文献Boitard,  R.,  Thoreau,  D.,  Cozot,  R.,  &  Bouatouch,  K.  (2013)「Impact  of  Temporal  Coherence-Based  Tone  Mapping  on  Video  Compression」(Proceedings  of  EUSIPCO  ’13:  Special  Session  on  HDR-video.  Marrakech,  Morocco)（以下参考文献（３）という）は、
【００３３】
【数４】
2016009494.tif 000006
で定義されるｓｉｇｍｏｄｅを用いて輝度をルマ（ｌｕｍａ）に変換するＴＭＯを提案している。ここで、Ｌｗｈｉｔｅは領域を高輝度値で焼く（ｂｕｒｎ）のに用いる輝度値を示し、Ｌｗは原ＨＤＲピクチャの輝度値を含む行列であり、Ｌｄは原ＨＤＲピクチャと同じサイズでルマ値を含む行列であり、Ｌｓは原ＨＤＲピクチャと同じサイズで
【００３４】
【数５】
2016009494.tif 000007
により計算されるスケールされた行列である。ここで、ａは露出値、ｋはピクチャの鍵と呼ばれ、ピクチャの全体的な明るさの表示に対応し、
【００３５】
【数６】
2016009494.tif 000008
により計算される。ここで、Ｎはピクチャのピクセル数を示し、δは特異性を防止する値であり、Ｌｗ（ｉ）はピクセルｉの輝度値を示す。
【００３６】
Ｌｗｈｉｔｅを無限にすることにより、式（４）を
【００３７】
【数７】
2016009494.tif 000009
と書くことができる。
【００３８】
したがって、対応するｉＴＭＯは反転式（７）と（５）により
【００３９】
【数８】
2016009494.tif 000010
【００４０】
【数９】
2016009494.tif 000011
で計算できる。ここで、ｋとａは式（５）と同じである。
【００４１】
この場合、ステップＳ１３０においてＬＤＲビデオシーケンスに適用されるｉＴＭＯは、サブステップＳ１２１において、ＬＤＲビデオシーケンスの各フレームをＨＤＲパノラマの一つの一部分とマッチングし、サブステップＳ１２２において、ＬＤＲビデオシーケンスの各フレームと、ＨＤＲパノラマの一つのマッチングされた一部分とに基づいて式（９）のパラメータｋとａを推定することにより、決定できる。
【００４２】
幾つかの実施形態では、ＬＤＲビデオシーケンスと少なくとも１つのＨＤＲパノラマは、異なる時間的及び／または空間的解像度で取得され得る。例えば、ＨＤＲパノラマは、１秒ごとに１パノラマまたは５秒ごとに１パノラマのレートで取得でき、これはＬＤＲビデオシーケンスのレートより非常に小さい。その場合、ＬＤＲビデオシーケンスの各フレームをＨＤＲパノラマの一つの一部分とマッチングするため、ＨＤＲパノラマに補間及び／またはスケーリングプロセスを実行される。
【００４３】
ここに提案するようなＨＤＲパノラマの使用により、通常のＨＤＲ画像の使用よりより幾つかの利点があることに留意せよ。第１に、単一ＨＤＲパノラマは、カメラの動き（並進、ズーム、回転など）があっても、複数のＬＤＲショットに対して有効であり得る。逆に、普通のＨＤＲピクチャを使った場合、ＨＤＲピクチャ間の補間が非常に頻繁に必要だろう。第２に、元のＨＤＲピクチャの助けを借りて決定したｉＴＭＯは、時間的に不安定であり、時間的アーティファクトを生じることがある。一方、パノラマはよりコヒーレントなシーン全体の情報を提供する。第３に、異なる位置に置いた２つのカメラを用いた場合、それによる２つのショットが相関していることはほとんどない。しかし、パノラマの使用により相関が容易になり、シューティングポイントの変化の場合に、逆トーンマッピングにおける時間的コヒーレンスを確保できる。第４に、パノラマの使用により、シーン中の最も明るい要素を見つけるため、時間的明るさのコヒーレンスを確保するフルシーケンスの分析を行う必要が無くなる。
【００４４】
以下、図３を参照して、本開示によるＬＤＲビデオシーケンスのダイナミックレンジ拡張装置２００の構成を説明する。
【００４５】
図示したように、装置２００は、ＬＤＲビデオシーケンスを取得する手段２１０と、ＬＤＲビデオシーケンスを取得している間に、少なくとも１つのＨＤＲパノラマを取得する手段２２０とを有する。次いで、手段２１０により取得されたＬＤＲビデオシーケンスは、ＬＤＲビデオシーケンスと、手段２２０から供給されるＨＤＲパノラマとに基づき、ダイナミックレンジ拡張オペレータを決定する手段２３０に供給される。手段２１０により取得されたＬＤＲビデオシーケンスは、そのＬＤＲビデオシーケンスに基づき手段２３０により決定されたダイナミックレンジ拡張オペレータを適用する手段２４０にも供給される。
【００４６】
さらに詳細には、手段２３０はユニット２３１と２３２を有していてもよい。ユニット２３１は、ＬＤＲビデオシーケンスの各フレームをＨＤＲパノラマの１つの一部分とマッチングする。ユニット２３２は、ＬＤＲビデオシーケンスの各フレームと、ＨＤＲパノラマのマッチした部分とに基づき、ダイナミックレンジ拡張オペレータのパラメータを推定し、ＬＤＲビデオシーケンスの各フレームにダイナミックレンジ拡張オペレータを適用することにより得られるＨＤＲフレームが、ＨＤＲパノラマのマッチした部分を最も良く近似するようにする。
【００４７】
図１と図２を参照して説明した本発明の方法に対応して、ＥＯまたはｉＴＭＯのいずれかが手段２３０により決定されてもよく、手段２１０と手段２２０は異なる時間的及び／または空間的解像度でＨＤＲパノラマとＬＤＲビデオシーケンスを取得してもよい。
【００４８】
以上、実施形態を参照して本開示を説明した。これらの実施形態は単なる例示を目的としたものであり、本開示を限定するものではない。本開示の範囲は、特許請求の範囲及びその等価物により決まる。本技術分野の当業者は本開示の範囲から逸脱することなくさまざまな改変や修正をできるが、これらはすべて本開示の範囲に入る。
【図１】
2016009494.tif 000012
【図２】
2016009494.tif 000013
【図３】
2016009494.tif 000014
【外国語明細書】
2016009494000001.pdf