(57)【要約】      （修正有）【課題】ローカルトーンマッピングオペレータを備える、ビデオシーケンスをトーンマッピングするための装置及び方法を提供する。【解決手段】ビデオシーケンスをトーンマッピングするための装置は、トーンマッピングされるビデオシーケンスのフレームの画素に関連付けられた空間的近傍を、前記フレームの時間フィルタリングされたバージョン内の同一場所に位置する画素の周辺に位置するフレームの時間フィルタリングされたバージョンの画素から決定する手段と、決定した空間的近傍を使用して、フレームの画素にローカルトーンマッピングオペレータを適用する手段と、を備える。前記フレームの前記画素と、前記同一場所に位置する画素とは、同一の空間的座標を有する。【選択図】図１ａ
2019050580.tif 000002
【特許請求の範囲】
【請求項１】
ビデオシーケンスをトーンマッピングするための方法であって、トーンマッピングされる前記ビデオシーケンスの各フレームにローカルトーンマッピングオペレータが適用され、前記ローカルトーンマッピングオペレータによって用いられる空間的近傍は、トーンマッピングされる前記フレーム（Ｆ０）の時間フィルタリングされたバージョン（ＬＴＦ）に対して決定されることを特徴とする、前記方法。
【請求項２】
トーンマッピングされる前記フレームの各画素に対して動きベクトルを取得するステップと、
推定された動きベクトルを使用して前記ビデオシーケンスの一部のフレームを動き補償し、およびトーンマッピングされる前記フレーム（Ｆ０）の前記時間フィルタリングされたバージョン（ＬＴＦ）を取得するために前記動き補償されたフレームを時間フィルタリングするステップ（２００）と、
を含む、請求項１に記載の方法。
【請求項３】
整合しない動きベクトルを検出し、および推定された動きベクトルが整合する場合にのみこの動きベクトルを用いて、トーンマッピングされる前記フレームの各画素を時間フィルタリングするステップをさらに含む、請求項２に記載の方法。
【請求項４】
動きベクトルは、トーンマッピングされる前記フレーム（Ｆ０）と、この動きベクトルに対応する動き補償されたフレームとの間の誤差（εｎ（ｘ，ｙ），εｂ，ｎ（ｘ，ｙ），εｆ，ｎ（ｘ，ｙ））が閾値より大きい場合に、整合しないとして検出される、請求項３に記載の方法。
【請求項５】
時間フィルタの長さＮが取得され、前記推定された動きベクトルにより、トーンマッピングされる前記フレーム（Ｆ０）に関し現在のフレームの動き補償を通じて（Ｎ−１）個の動き補償されたフレームが取得され、トーンマッピングされる前記フレーム（Ｆ０）の前記時間フィルタリングされたバージョン（ＬＴＦ）は、前記動き補償されたフレームの前記時間フィルタを用いた時間フィルタリングから得られる、請求項２から４のいずれか１項に記載の方法。
【請求項６】
ダイアディックウェーブレット分解と組み合わせた後方のおよび前方の動き補償が、いくつかの低周波サブバンドを取得するためにトーンマッピングされる前記フレーム（Ｆ０）に適用され、トーンマッピングされる前記フレームの各画素について、前記ダイアディックウェーブレット分解の後方部分の少なくとも１つの低周波サブバンドが選択され、前記ダイアディックウェーブレット分解の前方部分の少なくとも１つの低周波サブバンドが選択され、トーンマッピングされる前記フレームの時間フィルタリングされたバージョン（ＬＴＦ）の画素は２つの前記選択された低周波サブバンドに属する２つの画素の融合である、請求項２から４のいずれか１項に記載の方法。
【請求項７】
前記ダイアディックウェーブレット分解の後方および前方部分の低周波サブバンドから開始し、前記ダイアディックウェーブレット分解の全ての低周波サブバンドが考慮され、対応する動きベクトルが整合する場合に、トーンマッピングされる前記フレームの各画素について単一の低周波サブバンドが選択される、請求項３または４に従属する場合の請求項６に記載の方法。
【請求項８】
ローカルトーンマッピングオペレータを含む、ビデオシーケンスをトーンマッピングするための装置であって、トーンマッピングされる前記ビデオシーケンスのフレームの時間フィルタリングされたバージョンを取得する手段と、前記ローカルトーンマッピングオペレータにより用いられる空間的近傍を決定する手段と、を備えたことを特徴とする、前記装置。
【請求項９】
請求項１から７のいずれか１項に記載の方法を実装するように構成された手段をさらに備える、請求項８に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般に、ビデオのトーンマッピングに関する。特に、本発明の技術分野は、ビデオシーケンスのローカルトーンマッピングに関する。
【背景技術】
【０００２】
このセクションは、以下に説明され、および／または添付の特許請求の範囲に記載される本発明の種々の態様に関連し得る技術の、種々の態様を読者に紹介することを意図している。この議論は、本発明の種々の態様をよりよく理解しやすくするための背景情報を読者に提供するのに役立つものと考えられる。従って、これらの記述はこの観点から読まれるべきであり、従来技術の自認として読まれるべきではない。
【０００３】
ハイダイナミックレンジ（ＨＤＲ）イメージは、コンピュータグラフィックスのコミュニティおよび画像処理のコミュニティの両方において広く知られるようになっており、ＨＤＲ技術を使用することから得られる利点は、すでにトーンマッピングオペレータ（ＴＭＯ）のおかげで評価できている。事実、ＴＭＯはＨＤＲ画像において利用可能な広範囲の値をＬＤＲ (ローダイナミックレンジ) ディスプレイ上に再現する。ＬＤＲフレームは、ＨＤＲ画像のダイナミックレンジより低いダイナミックレンジを有することに留意されたい。
【０００４】
ＴＭＯには２つの主要なタイプがある。すなわち、グローバルオペレータおよびローカルオペレータである。
【０００５】
グローバルオペレータは、単調増加するトーンマップ曲線を全体画像について計算するために、ＨＤＲフレームの特性を使用する。結果として、これらのオペレータは空間の輝度（ｂｒｉｇｈｔｎｅｓｓ）の一貫性を確実にする。しかしながら、これらは通常ＨＤＲフレームに含まれるさらに細かい細部を再現することができない。
【０００６】
対照的に、ローカルオペレータはその空間の近傍に基づいて各画素をトーンマッピングする。これらの技術は、局所的な空間のコントラストを高めることによって、より詳細なフレームを提供する。
【０００７】
周知のローカルＴＭＯは各画素の空間的近傍をフィルタリングする。フィルタリングされた画像は、各色チャンネルをスケーリングしてＬＤＲフレームを取得するために使用される（Chiu K., Herf M., Shirley P., Swamy S., Wang C, Zimmerman K.: Spatially Nonuniform Scaling Functions for High Contrast Images f. Interface, May (1993))。 
より洗練された解決手段は、ピラミッド構造の手法を使用し、このピラミッドの各レベルは空間的近傍の異なるサイズに対応し、各色チャンネルは、ピラミッドの各レベルを使用して圧縮され、すべてのレベルについてのすべての結果を組み合わせると、トーンマッピングされたフレームを与える(Rahman Z., Jobson D.: A multiscale retinex for color rendition and dynamic range compression. SPIE International Symposium on (1996))。
【０００８】
他の一部の通常の解決手段は、より細かい細部を維持するための周波数サブバンド分解を使用する。サブバンドは別個に処理され、トーンマッピングされたフレームを取得するために結合される(Tumblin J.: LCIS: A boundary hierarchy for detail-preserving contrast reduction. Proceedings of the 26th annual conference on (1999))。
【０００９】
鮮明な階調再現（ＰＴＲ）［ＲＳＳＦ０２］オペレータは、ラプラシアンピラミッド分解に依拠する(Reinhard E., Stark M., Shirley P., Ferwerda J.: Photographic tone reproduction for digital images. ACM Trans. Graph. 21 , 3 (July 2002), 267{276.)。閾値は、組み合わせではなく、各画素について使用するための最良の近傍サイズを選択することを可能にする。
【００１０】
他の周知の解決手段では、勾配領域のトーンマッピングを実行するために、勾配領域圧縮（Ｇｒａｄｉｅｎｔ Ｄｏｍａｉｎ Ｃｏｍｐｒｅｓｓｉｏｎ）(ＧＤＣ)を使用する (Fattal R., Lischinski D.: Gradient domain high dynamic range compression. ACM Transactions on Graphics (2002))。勾配は、ガウシアン・ピラミッド（ｇａｕｓｓｉａｎ ｐｙｒａｍｉｄ）の各レベルにおいて画素の周りの空間的近傍から計算される。倍率は、勾配の大きさに基づいて各画素について決定される。すべての勾配場（ｇｒａｄｉｅｎｔ ｆｉｅｌｄ）は、圧縮された勾配場を取得するためにすべての解決手段において結合される。この勾配場は常に積分可能とは限らないので、トーンマッピングされたフレームを計算するために近似が使用される。
【００１１】
入力ビデオシーケンスの各フレームにＴＭＯを別個に適用すると、時間的な不整合が生じる。時間的な不整合には主要な２つのタイプがある。すなわち、ちらつくアーチファクトおよび時間的な輝度の不整合である。
【００１２】
ちらつくアーチファクトは、ＴＭＯまたはシーンのいずれかによるものである。実際、ＴＭＯによりちらつくアーチファクトは、連続するフレームにおいてトーンマップ曲線の急速な変化によりもたらされる。結果として、同様のＨＤＲのルミナンス値が異なるＬＤＲの値にマッピングされる。シーンによるちらつきは、照明条件の急速な変化に対応する。時間的に近いフレームを考慮せずにＴＭＯを適用すると、異なるＨＤＲの値が同様のＬＤＲの値にマッピングされることになる。時間的な輝度の不整合に関し、これはトーンマッピング処理の工程中に相対的なＨＤＲフレームの輝度が維持されない場合に発生する。結果として、ＨＤＲシーケンスにおいて最も明るいとして維持されたフレームは、必ずしもＬＤＲシーケンスにおいて最も明るいとは限らない。ちらつくアーチファクトとは異なり、輝度の不整合は、必ずしも連続するフレームに沿って現れるわけではない。
【００１３】
要約すると、グローバルであれローカルであれ、ＨＤＲビデオシーケンスの各フレームに別個にＴＭＯを適用すると、時間的な不整合が生じる。
【００１４】
トーンマップ曲線の時間フィルタリングに基づく解決手段が設計されている (Boitard R., Thoreau D., Bouatouch K., Cozot R.: Temporal Coherency in Video Tone Mapping, a Survey. In HDRi2013 - First International Conference and SME Workshop on HDR imaging (201 3), no. 1 , pp. 1 -6)。しかしながら、ローカルＴＭＯが非線形で空間的に変化するトーンマップ曲線を有するため、これらの技術はグローバルＴＭＯに有効でしかない。
【００１５】
ローカルＴＭＯについては、時間的整合の維持は、時間および空間に亘るトーンマッピングの激しい変動を避けることにある。ＧＤＣオペレータに基づく解決手段は、Ｌｅｅ他により提案されている(Lee C, Kim C.-S.: Gradient Domain Tone Mapping of High Dynamic Range Videos. In 2007 IEEE International Conference on Image Processing (2007), no. 2, IEEE, pp. II I-461 -III-464.)。
【００１６】
まず、この技術は連続するＨＤＲフレームの各対に対して画素に関する動き推定を実行し、結果の動きフィールドが、対応するＬＤＲフレームについて時間整合性の制約として使用される。この制約は、動きベクトルを通じて関連付けられる２つの画素が同様にトーンマッピングされることを確実にする。
【００１７】
この技術によりもたらされる視覚的改善にもかかわらず、依然としていくつかの短所がある。第１に、この解決手段は、連続するフレームの対の間での時間整合性しか維持しない。第２に、この技術は動き推定の堅牢性に依存する。この推定に失敗すると、時間整合性の制約が、異なるオブジェクトに属する画素に適用される。この動き推定の問題を、整合しない動きベクトル（ｎｏｎ-ｃｏｈｅｒｅｎｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒ）と呼ぶことにする。さらに、この技術は、ＧＤＣオペレータという１つのローカルＴＭＯについてしか設計されておらず、他のＴＭＯに拡張することができない。
【発明の概要】
【００１８】
従来技術の上述した欠点のうちの少なくとも１つを解決するため、特に、時間を通じてローカルＴＭＯの空間的近傍の計算を安定させるため、ビデオシーケンスをトーンマッピングするために使用されるローカルＴＭＯの空間的近傍が、トーンマッピングされるフレームの時間フィルタリングされたバージョンについて決定される。
【００１９】
トーンマッピングされたオペレータの空間的近傍を決定するために、フレームの（通常の）元のルミナンスではなくトーンマッピングされるフレームの時間フィルタリングされたバージョンを使用すると、空間的近傍の時間整合性が維持され、したがってトーンマッピングされたフレームにおいてちらつくアーチファクトを制限することが可能になる。
【００２０】
一実施形態によれば、本方法は、
トーンマップされるフレームの画素ごとに動きベクトルを取得するステップと、
推定された動きベクトルを使用してビデオシーケンスの一部のフレームを動き補償し、該動き補償されたフレームを時間フィルタリングして、トーンマッピングされる上記フレームの時間フィルタリングされたバージョンを取得するステップと、
を含む。
【００２１】
一実施形態によれば、この方法は、
整合しない動きベクトルを検出し、推定された動きベクトルが整合している場合にのみ、この動きベクトルを使用してトーンマッピングされるフレームの各画素を時間フィルタリングするステップをさらに含む。
【００２２】
一実施形態によれば、動きベクトルは、トーンマッピングされるフレームと、この動きベクトルに対応する動き補償されたフレームとの間の誤差が閾値より大きい場合に整合しないとして検出される。
【００２３】
本発明の別の態様によれば、本発明は、ローカルトーンマッピングオペレータを備える、ビデオシーケンスをトーンマッピングするための装置に関する。この装置は、トーンマッピングされる上記ビデオシーケンスのフレームの時間フィルタリングされたバージョンを取得する手段と、上記ローカルトーンマッピングオペレータにより使用される空間的近傍を決定する手段と、をさらに含むことにおいて特徴づけられる。
【００２４】
本発明の具体的な特質、ならびに本発明の他の目的、利点、機能および使用は、添付の図面と組み合わせて、以下の好ましい実施形態の説明から明らかになるであろう。
【図面の簡単な説明】
【００２５】
本実施形態は、以下の図面を参照して説明される。
【図１ａ】ビデオシーケンスをトーンマッピングする方法のステップの図である。
【図１ｂ】ビデオシーケンスのトーンマッピングされるフレームの時間フィルタリングされたバージョンを計算する方法のステップの図である。
【図１ｃ】ビデオシーケンスのトーンマッピングされるフレームの時間フィルタリングされたバージョンを計算する方法の変形例のステップの図である。
【図２】本方法のステップ１００および２００の実施形態を示す図である。
【図３】本方法のステップ１００および２００の別の実施形態を示す図である。
【図４】本方法のステップ１００および２００の別の実施形態を示す図である。
【図５】ビデオシーケンスをトーンマッピングする方法を実装するように構成された手段を含む装置のアーキテクチャの例を示す図である。
【発明を実施するための形態】
【００２６】
フレーム(画像とも呼ぶ)は、各々がフレームデータのうちの少なくとも１つの項目と関連付けられた画素またはフレーム位置を含む。フレームデータの項目は、例えば、ルミナンスデータの項目またはクロミナンスデータの項目である。
【００２７】
一般に、ビデオシーケンスをトーンマッピングするための方法は、フレームごとのローカルトーンマッピングを、ビデオシーケンスの各フレームに適用することにある。
【００２８】
本方法は、上記ローカルトーンマッピングオペレータにより使用される空間的近傍が、トーンマッピングされるフレームの時間フィルタリングされたバージョンに対して決定されることにおいて特徴づけられる。
【００２９】
したがって、ローカルＴＭＯの空間的近傍の確定（ｄｅｆｉｎｉｔｉｏｎ）は、時間整合性に従う。即ち、空間的近傍は、トーンマッピングされるフレームのトーンマッピングされたバージョンにおいてちらつくアーチファクトを回避する、フレーム毎により安定した確定を有する。
【００３０】
本方法の利点の１つは、任意の従来技術のローカルトーンマッピングオペレータを使用できることである。なぜなら、トーンマッピングされるフレームの時間フィルタリングされたバージョンは、その空間的近傍を決定するためにのみ使用されるからである。
【００３１】
図１ａは、ビデオシーケンスをトーンマッピングするための方法のステップの図を示し、ここで時間フィルタリングされたバージョンは、トーンマッピングされる各フレームＦ０について取得される。
【００３２】
入力ビデオシーケンスは、例えば、ハイダイナミックレンジビデオシーケンス（ＨＤＲ）とすることができ、トーンマッピングされたビデオシーケンスＶ’はローダイナミックレンジ（ＬＤＲ）、すなわち入力ビデオシーケンスＶより低いダイナミックレンジのビデオシーケンスとすることができる。ＴＭＯは任意の従来技術のローカルトーンマッピングオペレータのことを言う。トーンマッピングされるフレームの時間フィルタリングされたバージョンは、以下では時間フィルタリングされたフレームＬＴＦと呼ぶ。
【００３３】
本方法の一実施形態によれば、時間フィルタリングされたフレームＬＴＦは通信ネットワークを介してメモリまたはリモートの機器から取得される。
【００３４】
図１ｂは、ビデオシーケンスのトーンマッピングされるフレームＦ０から時間フィルタリングされたフレームＬＴＦを計算する方法の図である。
【００３５】
ステップ１００において、フレームＦ０の各画素について動きベクトルを取得する。
【００３６】
一実施形態によれば、フレームＦ０の各画素に対し、動きベクトルが通信ネットワークを介してメモリまたはリモートの機器から取得される。
【００３７】
動き推定ステップ１００の実施形態によれば、現在のブロックと、推定された一致するブロックとの間の誤差メトリックを最小するために動きベクトル（δｘ，δｙ）が定義される。
【００３８】
例えば、動き推定において使用される最も共通するメトリックは、以下で与えられる差の絶対値の合計（ＳＡＤ）である。
【００３９】
【数１】
2019050580.tif 000003
【００４０】
ここで、Ωは使用される正方形ブロックの全ての画素位置（ｘ，ｙ）を表す。
【００４１】
ステップ２００において、推定された動きベクトルを使用してビデオシーケンスＶの一部のフレームを動き補償し、動き補償されたフレームを時間フィルタリングして、時間フィルタリングされたフレームＬＴＦを取得する。
【００４２】
ステップ１００および２００は共に、動き補償時間フィルタリング（ＭＣＴＦ）技術に対応する。
【００４３】
図１ｃに図示されているステップ２００の変形例によれば、整合しない動きベクトルが検出され、推定された動きベクトルが整合する（ｃｏｈｅｒｅｎｔ）場合にのみ、この動きベクトルを使用して、トーンマッピングされるフレームの各画素が時間フィルタリングされる。
【００４４】
これは、整合しない動きベクトルの問題を解決する。なぜなら、フレームＦ０のトーンマッピングされたバージョン内でいくらかのゴースティングアーチファクトをもたらすフレームＦ０の異なるオブジェクトに属する画素の動き補償を回避するからである。
【００４５】
ステップ１００および２００の実施形態によれば、時間フィルタの長さＮが取得され、推定された動きベクトルにより、フレームＦ０に関して現在のフレームの動き補償を通じて（Ｎ−１）個の動き補償されたフレームが取得され、そして上記動き補償されたフレームの上記時間フィルタを使用した時間フィルタリングの結果として、時間フィルタリングされたフレームＬＴＦが得られる。
【００４６】
図２に示されるように、時間フィルタの長さＮは５に等しく（Ｎ＝５）、（Ｎ−１）個の動きベクトルＭＶｎが推定される（ＭＥ）。すなわち、２つの直前のフレームＦ−２およびＦ−１の各々について１つ、および２つの後続のフレームＦ１およびＦ２の各々について１つである。ついで、推定された動きベクトルＭＶｎによって、フレームＦ０に関し現在のフレームの動き補償により取得される（Ｎ−１）個の動き補償されたフレームＣＦ−ｎを入力として有する長さＮの時間フィルタからの出力として、時間フィルタリングされたフレームＬＴＦが取得される。このような入力は、動きベクトルＭＶ−２により取得される動き補償されたフレームＣＦ−２、動きベクトルＭＶ−１により取得される動き補償されたフレームＣＦ−１、動きベクトルＭＶ−１により取得される動き補償されたフレームＣＦ１および動きベクトルＭＶ２により取得される動き補償されたフレームＣＦ２である。４つの動き補償されたフレームは、この例にしたがって取得される。
【００４７】
多くのタイプの時間フィルタリングを使用することができ、簡単なものは、以下の式により与えられる平均である。
【００４８】
【数２】
2019050580.tif 000004
【００４９】
ここで、ＣＦｎはｎ番目の動き補償されたフレームを表す。
【００５０】
本発明は、いかなる時間フィルタリングのタイプにも限定されず、信号処理において通常使用される他のいかなる時間フィルタリングにも使用することができる。時間フィルタの長さの具体的な値は、本発明の範囲を制限するものではない。
【００５１】
図２に関して説明したステップ１００および２００の実施形態の、図１ｃに例示した変形例の実施形態によれば、フレームＦ０と、動きベクトルに対応する動き補償されたフレームＣＦｎとの間の誤差εｎ（ｘ，ｙ）が閾値より大きい場合に、この動きベクトルが整合しないとして検出される。
【００５２】
一実施形態によれば、誤差εｎ（ｘ，ｙ）は、以下の式により与えられる。
【００５３】
【数３】
2019050580.tif 000005
【００５４】
一実施形態によれば、閾値は現在のフレームＦ０の画素の値に比例する。
【００５５】
例えば、動きベクトルは、εｎ（ｘ，ｙ）＞Ｔの場合に整合しないとして検出され、ここでＴはユーザが定義した閾値であり、（ｘ，ｙ）は画素位置である。
【００５６】
フレームＬＴＦを取得するために、整合する画素に対応する動き補償されたフレームＣＦｎにおける各画素が時間フィルタリングにおいて使用される。所与の位置において、整合する動きベクトルがない場合、フレームＦ０の画素値のみが使用される（時間フィルタリングはない）。
【００５７】
図３および４に例示されたステップ１００および２００の別の実施形態によれば、いくつかの低周波サブバンドを取得するためにダイアディックウェーブレット分解（ｄｙａｄｉｃ ｗａｖｅｌｅｔ ｄｅｃｏｍｐｏｓｉｔｉｏｎ）と組み合わされた後方（ｆｏｒｗａｒｄ-）および前方（ｆｏｒｗａｒｄ-ｏｒｉｅｎｔｅｄ）動き補償がフレームＦ０に適用される。フレームＦ０の各画素について、分解の後方部分の少なくとも１つの低周波サブバンドが選択され、分解の前方部分の少なくとも１つの低周波サブバンドが選択され、フレームＬＴＦの画素が２つの選択された低周波サブバンドに属する２つの画素の融合（ｂｌｅｎｄｉｎｇ）となる。
【００５８】
通常のダイアディックウェーブレット分解では、各レベルが時間周波数に対応するピラミッドを構築する。各レベルは、図３に示す予測および更新ステップを使用して計算される。動き補償された分解を実行するために、動き推定から得られた動きベクトルは、予測ステップにおいて使用される。フレームＨｔ＋１は、フレームＦｔ＋１と、フレームＦｔの動き補償されたバージョン（ＭＣ）との差から得られる。更新ステップの間に、フレームＦｔを、フレームＨｔ＋１の逆動き補償されたバージョンと加えることにより、低周波フレームＬｔが得られる。それは低周波サブバンドＬｔにおいて接続されていない画素（図３の暗い色の点）またはマルチ接続された画素（図３の灰色の点）をもたらすことができる。接続されていない画素またはマルチ接続された画素は、動きベクトルが逆に戻る場合にそれぞれ関連する画素のない画素またはマルチ接続された画素のある画素である。
【００５９】
この欠点を回避するため、複数レベルに分解するための特定の構造が、２つのレベルの分解について図４で示すように、フレームＦ０に適用される。
【００６０】
このようなフレームＦ０の分解は、以下の後方または前方動きベクトルを用いた直交変換を用いる。
【００６１】
【数４】
2019050580.tif 000006
【００６２】
ここで、ＨｔおよびＬｔはそれぞれ高周波数サブバンドおよび低周波サブバンドであり、ｖｂおよびｖｆはそれぞれ後方動きベクトルおよび前方動きベクトルであり、ｎはフレームＦｔ＋１における画素位置であり、ｐはｎ＋ｖｂに対応する。
【００６３】
このような分解の特定の構造は、時間フィルタリングがフレームＦ０に集中することを確実にする。
【００６４】
このような直交変換の適用により、図４に示す２つのレベルの分類の場合には２つの低周波サブバンドを与える。
【００６５】
本実施形態の変形例によれば、時間フィルタの長さは、フレームＦ０の各画素について適応的に選択される。
【００６６】
これは、より堅牢な動き推定を与え、したがってＴＭＯの近傍のより安定した確定を与えるので、有利である。
【００６７】
図４に関して説明したステップ１００および２００の実施形態の図１ｂに示す変形例の実施形態によれば、フレームＦ０と分解の後方部分の低周波サブバンドとの間の誤差εｂ，ｎ（ｘ，ｙ）、およびフレームＦ０と分解の前方部分の低周波サブバンドとの間の誤差εｆ，ｎ(ｘ，ｙ)のそれぞれが閾値より大きい場合に、後方動きベクトルｖｂおよび前方動きベクトルｖｆのそれぞれは、不整合として検出される。
【００６８】
一実施形態によれば、誤差は
【００６９】
【数５】
2019050580.tif 000007
【００７０】
によって与えられ、ここでＬｂ，ｎ（ｘ，ｙ）およびＬｆ，ｎ(ｘ，ｙ)は分解の後方部分および前方部分それぞれの低周波サブバンド(図４のＬ−０，Ｌ０，ＬＬ−０，ＬＬ０)である。
【００７１】
一実施形態によれば、閾値は現在フレームＦ０の画素の値に比例する。
【００７２】
例えば、後方動きベクトルは、εｂ，ｎ（ｘ、ｙ）＞Ｔの場合に不整合として検出され、ここでＴはユーザが定義した閾値であり、（ｘ，ｙ）は画素位置である。同じ例を、前方動きベクトルに対して使用することができる。
【００７３】
一実施形態によれば、対応する動きベクトルが整合する場合に、分解の後方部分および前方部分の低周波サブバンドから開始し、分解の全ての低周波サブバンドが考慮され、トーンマッピングされるフレームの各画素に対して単一の低周波サブバンドが選択される。
【００７４】
その結果、時間フィルタリングされたフレームＬＴＦ内の画素は、２つの低周波サブバンドに関連する場合がある。この場合、画素は、２つの選択された低周波サブバンドに属する２つの画素の融合である（双方に方向づけられた（ｄｕａｌ−ｏｒｉｅｎｔｅｄ）フィルタリング）。２つの選択された低周波サブバンドの平均または加重平均等の多くのタイプの融合を使用することができる。
【００７５】
２つの低周波サブバンドのうちの１つだけが選択され得る場合、時間フィルタリングされたフレームＬＴＦ内の画素値は、選択された低周波サブバンドの画素値の値に等しい（一方に方向づけられた（ｓｉｎｇｌｅ−ｏｒｉｅｎｔｅｄ）フィルタリング）。
【００７６】
２つの低周波サブバンドのいずれも選択できなければ、時間フィルタリングされたフレームＬＴＦ内の画素値はフレームＦ０の値に等しい（時間フィルタリングはない）。
【００７７】
図１ａ、１ｂ、２〜４において、モジュールは機能単位であり、これらは区別可能な物理的単位であってもよく、そうでなくてもよい。例えば、またはそれらのモジュールまたはそれらの一部は、固有の部品または回路で一緒にしても良いし、ソフトウェアの機能に関与しても良い。反対に、一部のモジュールは潜在的に別個の物理的エンティティから構成されることとしても良い。本発明と互換性のある装置は、純粋なハードウェアを用いて、例えばＡＳＩＣまたはＦＰＧＡまたはＶＬＳＩ（それぞれ＜＜特定用途向け集積回路＞＞、＜＜フィールドプログラマブルゲートアレイ＞＞または＜＜超大規模集積回路＞＞）などの専用のハードウェアを用いて、または、デバイスに組み込まれたいくつかの集積電子部品によって、またはハードウェアコンポーネントおよびソフトウェアコンポーネントの組み合わせによって実装することができる。
【００７８】
図５は、本発明の方法を実装するシステムにおいて使用することができる装置５００を示す。装置は、デジタルデータバスおよびアドレスバス５０により相互接続された以下の構成要素、
−処理ユニット５３（または中央演算処理装置としてのＣＰＵ）、
−メモリ５５、
−接続５１を介してネットワーク内で接続された他の装置に対する装置５００の相互接続のための、ネットワークインタフェース５４
を含む。
【００７９】
処理ユニット５３はマイクロプロセッサ、カスタムチップ、専用の(マイクロ)コントローラ等として実装することができる。メモリ５５は、ＲＡＭ(ランダムアクセスメモリ)、ハードディスクドライブ、不揮発性ランダムアクセスメモリ、ＥＰＲＯＭ（消去可能プログラマブルＲＯＭ）等の、揮発性および／または不揮発性メモリの任意の形式で実装することができる。装置５００は、本発明の方法にかかるデータ処理装置を実装するために適合する。処理ユニット５３およびメモリ５５は、トーンマッピングされるフレームの時間フィルタリングされたバージョンを取得するために連携する。また、メモリ５５はトーンマッピングされるフレームの時間フィルタリングされたバージョンを格納するために構成することもできる。また、このようなトーンマッピングされるフレームの時間フィルタリングされたバージョンは、ネットワークインタフェース５４から取得することもできる。また、処理ユニット５３およびメモリ５５は、トーンマッピングされるビデオシーケンスのフレームの時間フィルタリングされたバージョンに対してローカルトーンマッピングオペレータの空間的近傍を決定するために、および潜在的にこのようなオペレータをトーンマッピングされるフレームに適用するためにも連携する。
【００８０】
また、装置５００の処理ユニットおよびメモリは、図１ａ、１ｂ、２〜４に関係して説明される方法の任意の実施形態および／または変形例を実装するように構成される。
【００８１】
本明細書に記載されている「１つの実施形態」または「一実施形態」は、本発明の少なくとも１つの実装に含まれることができる実施形態に関連して説明される特定の機能、構造、または特性を意味する。本明細書において種々の位置に「一実施形態において」という表現が現れるが、すべてが同じ実施形態について言及しているとは限らないし、また他の実施形態とは相互に排他的な個別のまたは代替の実施形態について言及しているとも限らない。
【００８２】
特許請求の範囲にみられる参照符号は単に例示であって、請求項の範囲を限定する効果はない。
【００８３】
明示的に説明はしていないが、本実施形態および変形形態は、任意の組み合わせまたはサブコンビネーションで用いることができる。
【図１ａ】
2019050580.tif 000008
【図１ｂ】
2019050580.tif 000009
【図１ｃ】
2019050580.tif 000010
【図２】
2019050580.tif 000011
【図３】
2019050580.tif 000012
【図４】
2019050580.tif 000013
【図５】
2019050580.tif 000014
【手続補正書】
【提出日】平成30年11月16日(2018.11.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
トーンマッピングされるビデオシーケンスのフレームの画素に関連付けられた空間的近傍を、前記フレームの時間フィルタリングされたバージョン内の同一場所に位置する画素の周辺に位置する前記フレームの前記時間フィルタリングされたバージョンの画素から決定することであって、前記フレームの前記画素と、前記同一場所に位置する画素とが同一の空間的座標を有する、ことと、
前記決定された空間的近傍を使用して、前記フレームの前記画素にローカルトーンマッピングオペレータを適用することと、
を含む、方法。
【請求項２】
トーンマッピングされる前記フレームの各画素に対して動きベクトルを取得することと、
推定された動きベクトルを使用して前記ビデオシーケンスの一部のフレームを動き補償し、トーンマッピングされる前記フレームの前記時間フィルタリングされたバージョンを取得するために前記動き補償されたフレームを時間フィルタリングすることと、
を含む、請求項１に記載の方法。
【請求項３】
整合しない動きベクトルを検出し、および推定された動きベクトルが整合する場合にのみこの動きベクトルを用いて、トーンマッピングされる前記フレームの各画素を時間フィルタリングすることをさらに含み、動きベクトルは、トーンマッピングされる前記フレームと、この動きベクトルに対応する動き補償されたフレームとの間の誤差が閾値より大きい場合に、整合しないとして検出される、請求項２に記載の方法。
【請求項４】
時間フィルタの長さＮが取得され、前記推定された動きベクトルにより、トーンマッピングされる前記フレームに関し現在のフレームの動き補償を通じて（Ｎ−１）個の動き補償されたフレームが取得され、トーンマッピングされる前記フレームの前記時間フィルタリングされたバージョンは、前記動き補償されたフレームの前記時間フィルタを用いた時間フィルタリングから得られる、請求項２または３に記載の方法。
【請求項５】
ダイアディックウェーブレット分解が、各レベルが前方部分または後方部分のいずれかに属する低周波フレームに対応するピラミッドを構築するために、トーンマッピングされる前記フレームに適用され、各部分の各低周波サブバンドは、
参照フレームＦｔ＋１と、現在のフレームＦｔの後方のまたは前方の動き補償されたバージョンとの差から、フレームＨｔ＋１が得られる、動き予測ステップと
前方部分または後方部分のいずれかに属するフレームＦｔを、フレームＨｔ＋１の逆動き補償されたバージョンと加えることにより、低周波フレームＬｔが得られる、更新ステップと
を使用することによって計算され、
トーンマッピングされる前記フレームの各画素について、前記後方部分の少なくとも１つの低周波フレームが選択され、前記前方部分の少なくとも１つの低周波フレームが選択され、トーンマッピングされる前記フレームの時間フィルタリングされたバージョンの画素は２つの前記選択された低周波フレームに属する２つの画素の融合である、請求項２または３に記載の方法。
【請求項６】
前記ダイアディックウェーブレット分解の後方および前方部分の低周波サブバンドから開始し、前記ダイアディックウェーブレット分解の全ての低周波サブバンドが考慮され、対応する動きベクトルが整合する場合に、トーンマッピングされる前記フレームの各画素について単一の低周波サブバンドが選択される、請求項３に従属する場合の請求項５に記載の方法。
【請求項７】
トーンマッピングされるビデオシーケンスのフレームの画素に関連付けられた空間的近傍を、前記フレームの時間フィルタリングされたバージョン内の同一場所に位置する画素の周辺に位置する前記フレームの前記時間フィルタリングされたバージョンの画素から決定することであって、前記フレームの前記画素と、前記同一場所に位置する画素とが同一の空間的座標を有することと、
前記決定された空間的近傍を使用して、前記フレームの前記画素にローカルトーンマッピングオペレータを適用することと、を行うように構成されたプロセッサを備える装置。
【請求項８】
前記プロセッサは、請求項１から６のいずれか１項に記載の方法を実行するようにさらに構成されている、請求項７に記載の装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００８３
【補正方法】変更
【補正の内容】
【００８３】
明示的に説明はしていないが、本実施形態および変形形態は、任意の組み合わせまたはサブコンビネーションで用いることができる。
［付記１］
ビデオシーケンスをトーンマッピングするための方法であって、トーンマッピングされる前記ビデオシーケンスの各フレームにローカルトーンマッピングオペレータが適用され、前記ローカルトーンマッピングオペレータによって用いられる空間的近傍は、トーンマッピングされる前記フレーム（Ｆ０）の時間フィルタリングされたバージョン（ＬＴＦ）に対して決定されることを特徴とする、前記方法。
［付記２］
トーンマッピングされる前記フレームの各画素に対して動きベクトルを取得するステップと、
推定された動きベクトルを使用して前記ビデオシーケンスの一部のフレームを動き補償し、およびトーンマッピングされる前記フレーム（Ｆ０）の前記時間フィルタリングされたバージョン（ＬＴＦ）を取得するために前記動き補償されたフレームを時間フィルタリングするステップ（２００）と、
を含む、付記１に記載の方法。
［付記３］
整合しない動きベクトルを検出し、および推定された動きベクトルが整合する場合にのみこの動きベクトルを用いて、トーンマッピングされる前記フレームの各画素を時間フィルタリングするステップをさらに含む、付記２に記載の方法。
［付記４］
動きベクトルは、トーンマッピングされる前記フレーム（Ｆ０）と、この動きベクトルに対応する動き補償されたフレームとの間の誤差（εｎ（ｘ，ｙ），εｂ，ｎ（ｘ，ｙ），εｆ，ｎ（ｘ，ｙ））が閾値より大きい場合に、整合しないとして検出される、付記３に記載の方法。
［付記５］
時間フィルタの長さＮが取得され、前記推定された動きベクトルにより、トーンマッピングされる前記フレーム（Ｆ０）に関し現在のフレームの動き補償を通じて（Ｎ−１）個の動き補償されたフレームが取得され、トーンマッピングされる前記フレーム（Ｆ０）の前記時間フィルタリングされたバージョン（ＬＴＦ）は、前記動き補償されたフレームの前記時間フィルタを用いた時間フィルタリングから得られる、付記２から４のいずれか１項に記載の方法。
［付記６］
ダイアディックウェーブレット分解と組み合わせた後方のおよび前方の動き補償が、いくつかの低周波サブバンドを取得するためにトーンマッピングされる前記フレーム（Ｆ０）に適用され、トーンマッピングされる前記フレームの各画素について、前記ダイアディックウェーブレット分解の後方部分の少なくとも１つの低周波サブバンドが選択され、前記ダイアディックウェーブレット分解の前方部分の少なくとも１つの低周波サブバンドが選択され、トーンマッピングされる前記フレームの時間フィルタリングされたバージョン（ＬＴＦ）の画素は２つの前記選択された低周波サブバンドに属する２つの画素の融合である、付記２から４のいずれか１項に記載の方法。
［付記７］
前記ダイアディックウェーブレット分解の後方および前方部分の低周波サブバンドから開始し、前記ダイアディックウェーブレット分解の全ての低周波サブバンドが考慮され、対応する動きベクトルが整合する場合に、トーンマッピングされる前記フレームの各画素について単一の低周波サブバンドが選択される、付記３または４に従属する場合の付記６に記載の方法。
［付記８］
ローカルトーンマッピングオペレータを含む、ビデオシーケンスをトーンマッピングするための装置であって、トーンマッピングされる前記ビデオシーケンスのフレームの時間フィルタリングされたバージョンを取得する手段と、前記ローカルトーンマッピングオペレータにより用いられる空間的近傍を決定する手段と、を備えたことを特徴とする、前記装置。
［付記９］
付記１から７のいずれか１項に記載の方法を実装するように構成された手段をさらに備える、付記８に記載の装置。
【外国語明細書】
2019050580000001.pdf