(57)【要約】      （修正有）【課題】リフレーミングアプリケーションの設定又は入力パラメータを自動調整することを可能にする。【解決手段】リフレーミングアプリケーションは、ビデオシーケンスのサブパートをそのコンテンツに基づきクロップ処理する。リフレーミングアプリケーションは、顕著性マップを生成する視覚的注意モデルと、当該顕著性マップに基づきクロップ処理ウィンドウを外挿する専用のリフレーミングアルゴリズムとに関する。ビデオシーケンスのイメージを処理する方法は、ビデオシーケンスのパラメータ、ビデオシーケンスの前に復号化されたサブシーケンスのパラメータ及びユーザ設定を決定するステップ２１と、決定されたパラメータに従ってクロップ処理される部分を決定するステップ２２と、リフレーミングステップにおいて表示のため決定された部分をクロップ処理するステップ２３とを有する。【選択図】図２
2014011807.tif 000002
【特許請求の範囲】
【請求項１】
ビデオシーケンスのイメージを処理する方法であって、
前記ビデオシーケンスのパラメータ、前記ビデオシーケンスの前に復号化されたサブシーケンスのパラメータ及びユーザ設定を決定するステップと、
前記決定されたパラメータに従ってクロップ処理される部分を決定するステップであって、前記クロップ処理される部分は、可変的な位置及び可変的なサイズの少なくとも１つを有する境界ボックスにより規定され、前記可変的な位置は、前記ビデオシーケンスにおける隣接フレームのイントラ符号化マクロブロックの間の相関に依存し、前記相関の第１相関値について、前記境界ボックス位置は、前記第１相関値より高い又は低い相関値に対してより速く変化し、前記可変的なサイズは、現在のＧＯＰ又はシーンの第１フレームのマクロブロックコストマップのパラメータから計算される最大ズームファクタに依存し、ゼロに等しいコストを有するマクロブロックのパーセンテージがより低い場合、より大きな最大ズームファクタが許容される、前記決定するステップと、
リフレーミングステップにおいて、表示のため前記決定された部分をクロップ処理するステップと、
を有する方法。
【請求項２】
前記サブシーケンスはＧＯＰ又はシーンであり、前記シーンはシーン変更検出により検出される、請求項１記載の方法。
【請求項３】
前記ビデオシーケンスのパラメータ又は前に復号化されたサブシーケンスのパラメータは、ＧＯＰサイズ、シーン長、時間サブサンプリングファクタ、最大及び最小ズームファクタ並びに境界ボックス速度の少なくとも１つを有する、請求項１又は２記載の方法。
【請求項４】
前記ビデオシーケンスのパラメータを決定するステップは、現在のイメージについて、
前のイメージにおいて、前記前のイメージの最も顕著な部分であるピクセルのサブエリア又はサブセットを決定するステップと、
前記前のイメージのピクセルのサブエリア又はサブセットの周辺の第１境界ボックスを決定するステップと、
前記現在のイメージにおいて、前記現在のイメージの最も顕著な部分であるピクセルのサブエリア又はサブセットを決定するステップと、
前記現在のイメージの前記エリアの周辺の第２境界ボックスを決定するステップであって、前記第２境界ボックスは前記可変的な境界ボックス位置を有する、前記第２境界ボックスを決定するステップと、
前記第１境界ボックスと前記第２境界ボックスとの位置から境界ボックスシフトを計算するか、又は前記第１境界ボックスと前記第２境界ボックスとの位置及び前記ビデオフレームレートから、境界ボックスシフトと境界ボックス速度とを計算するステップと、
前記決定された境界ボックスシフト又は境界ボックス速度と、連続するイメージの間の最大許容境界ボックスシフト又は境界ボックス速度とを比較するステップと、
前記決定された境界ボックスシフトが前記最大許容境界ボックスシフトを上回る場合、又は前記決定された境界ボックス速度が前記最大許容境界ボックス速度を上回る場合、新たな境界ボックスの位置及び／又はサイズを決定し、前記現在のイメージにおいて表示のため前記決定された新たな境界ボックスに従って前記サブエリアをクロップ処理するステップと、
他方、前記決定された境界ボックスシフト又は境界ボックス速度が前記最大許容境界ボックスシフト又は最大許容境界ボックス速度以下である場合、前記現在のイメージにおいて表示のため前記決定された第２境界ボックスに従って前記サブエリアをクロップ処理するステップと、
を有する、請求項１乃至３何れか一項記載の方法。
【請求項５】
前記最大許容境界ボックスシフト又は境界ボックス速度は、前記ビデオシーケンスの前に復号化されたサブシーケンスのパラメータから決定される、請求項１乃至４何れか一項記載の方法。
【請求項６】
前記最大許容境界ボックス速度は、
【数６】
2014011807.tif 000008
に従って計算され、ＩｎｔｒａＭａｐはＰピクチャ又はＢピクチャにおけるイントラ符号化されたＭＢのマップであり、ＣＣは現在のＩｎｔｒａＭａｐと隣接するＩｎｔｒａＭａｐとの間の相関係数であり、Ｖｍａｘは前記境界ボックスの最大速度であり、ｍ及びσは前記境界ボックス速度の分布の平均及び標準偏差である、請求項１乃至５何れか一項記載の方法。
【請求項７】
前記クロップ処理ウィンドウパラメータを経時的にスムース化するステップをさらに有し、
前記クロップ処理ウィンドウパラメータを経時的にスムース化するため、前記リフレーミングステップにおいてバッファが利用され、
前記バッファのサイズは、前記ＧＯＰサイズに従って調整される、請求項１乃至６何れか一項記載の方法。
【請求項８】
時間サブサンプリングファクタ又は時間サブサンプリングスキームが、時間サブサンプリングモードに従って設定され、
第１サブサンプリングモードでは、前記リフレーミングステップがすべてのフレームに適用され、
第２サブサンプリングモードでは、前記リフレーミングステップがすべてのＩフレーム及びＰフレームに適用され、０以上のＢフレームには適用されず、
第３サブサンプリングモードでは、前記リフレーミングステップがすべてのＩフレームに適用され、何れのＢフレームに適用されず、０以上のＰフレームに適用されない、請求項１乃至７何れか一項記載の方法。
【請求項９】
前記サブサンプリングモードの１つは、ビットレート要求とイメージ品質要求との少なくとも１つに従って選択される、請求項８記載の方法。
【請求項１０】
前記クロップ処理される部分は、クロップ処理ウィンドウにより規定され、
最大又は最小許容ズームファクタ又はズームファクタのペアを決定するステップをさらに有し、
前記最大又は最小許容ズームファクタは、前記クロップ処理ウィンドウが経時的に変化する境界を規定し、又は前記ズームファクタのペアは、前記クロップ処理ウィンドウが経時的に変化する２つの境界を規定する、請求項１乃至９何れか一項記載の方法。
【請求項１１】
前記ズームファクタのペアは、現在のＧＯＰ又はシーンの第１フレームのマクロブロックコストマップのパラメータから計算される、請求項１０記載の方法。
【請求項１２】
最小許容ズームファクタは、
【数７】
2014011807.tif 000009
により計算され、
最大許容ズームファクタは、
【数８】
2014011807.tif 000010
により計算され、ｎｂＭＢは前記イメージ内のＭＢの総数であり、ｎｂＭＢｃｏｓｔ０は０に等しいコストを有するＭＢの個数であり、ｎｂＭＢａｄｊは最大のコストを有する隣接ＭＢの個数である、請求項１乃至１１何れか一項記載の方法。
【請求項１３】
ビデオシーケンスのイメージを処理する装置であって、
前記ビデオシーケンスのパラメータを決定し、前記ビデオシーケンスの前に復号化されたサブシーケンスのパラメータを決定し、ユーザ設定を決定するイメージ解析手段と、
前記決定されたパラメータに従ってクロップ処理される部分を決定し、表示のため前記決定された部分をクロップ処理するイメージ処理手段であって、前記クロップ処理される部分は、可変的な位置及び可変的なサイズの少なくとも１つを有する境界ボックスにより規定され、前記可変的な位置は、前記ビデオシーケンスにおける隣接フレームのイントラ符号化マクロブロックの間の相関に依存し、前記相関の第１相関値について、前記境界ボックス位置は、前記第１相関値より高い又は低い相関値についてより速く変化し、前記可変的サイズは、現在のＧＯＰ又はシーンの第１フレームのマクロブロックコストマップのパラメータから計算されるズームファクタに依存し、ゼロに等しいコストを有するマクロブロックのパーセンテージがより低い場合、より高い最大ズームファクタが許容される、前記イメージ解析手段と、
を有する装置。
【請求項１４】
シーン変更検出モジュールをさらに有し、
前記サブシーケンスは、ＧＯＰ又はシーンであり、
前記シーンは、前記シーン検出モジュールにより検出される、請求項１３記載の装置。
【請求項１５】
前のイメージにおいて、前記前のイメージの最も顕著な部分であるピクセルのサブエリア又はサブセットを決定する手段と、
前記前のイメージのピクセルのサブエリア又はサブセットの周辺の第１境界ボックスを決定する手段と、
前記現在のイメージにおいて、前記現在のイメージの最も顕著な部分であるピクセルのサブエリア又はサブセットを決定する手段と、
前記現在のイメージの前記エリアの周辺の第２境界ボックスを決定する手段と、
前記第１境界ボックスと前記第２境界ボックスとの位置から境界ボックスシフトを計算するか、又は前記第１境界ボックスと前記第２境界ボックスとの位置及び前記ビデオフレームレートから、境界ボックス速度とを計算する手段と、
前記決定された境界ボックスシフト又は境界ボックス速度と、連続するイメージの間の最大許容境界ボックスシフト又は境界ボックス速度とを比較する手段と、
前記決定された境界ボックスシフトが前記最大許容境界ボックスシフトを上回る場合、又は前記決定された境界ボックス速度が前記最大許容境界ボックス速度を上回る場合、新たな境界ボックスの位置及び／又はサイズを決定し、前記現在のイメージにおいて表示のため前記決定された新たな境界ボックスに従って前記サブエリアをクロップ処理し、前記決定された境界ボックスシフト又は境界ボックス速度が前記最大許容境界ボックスシフト又は最大許容境界ボックス速度以下である場合、前記現在のイメージにおいて表示のため前記決定された第２境界ボックスに従って前記サブエリアをクロップ処理する手段と、
を有する、請求項１３又は１４記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオシーケンスのイメージを処理する方法及び装置に関し、特にビデオシーケンスのイメージをリフレーミングする方法及び装置に関する。
【背景技術】
【０００２】
ＥＰ１９５６５５０Ａなどから知られるようなリフレーミングアプリケーションは、まずビデオシーケンスのサブパートをそれのコンテンツに基づきクロップ処理するよう設計されている。クロップ処理後、各ビデオイメージのリフレーミングされた部分のみが可視的なままにされる。リフレーミングアプリケーションは、視覚的注意モデル及び専用のリフレーミングアルゴリズムに関する。視覚的注意モデルは顕著性マップを生成し、リフレーミングアルゴリズムは当該顕著性マップに基づきクロップ処理ウィンドウを外挿する。このクロップ処理ウィンドウは、ビデオコンテンツに応じて位置及びサイズに関して可変的である。リフレーミングアルゴリズムは、符号化又は復号化処理について相補的である。利用ケースに応じて、リフレーミングアプリケーションは異なって利用されてもよい。例えば、リフレーミングアプリケーションは、モバイルビデオ符号化前の前処理として利用可能である。他の具体例では、リフレーミングアプリケーションは、ビデオ復号化の直後に実行される。
【０００３】
ビデオコンテンツに基づきリフレーミングパラメータを自動調整するのに利用可能な先進的又は自動的な手段が現在ないという問題がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】ＥＰ１９５６５５０Ａ
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、ビデオソースデータを復号化する際に利用可能な情報を活用することによって、リフレーミングアプリケーションの設定又は入力パラメータを自動調整することを可能にする。復号化されたビデオシーケンスのための設定又は入力パラメータを自動調整するための開示される手段は、以前に復号化されたシーケンスの性質を利用する。
【課題を解決するための手段】
【０００６】
本発明によると、ビデオシーケンスのイメージを処理する方法は、ビデオシーケンスのパラメータ、ビデオシーケンスの前に復号化されたＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅ）のパラメータ及びユーザ設定を決定するステップと、決定されたパラメータに従ってクロップ処理される部分を決定するステップと、表示のため決定された部分をクロップ処理するステップとを有する。
【０００７】
ＧＯＰサイズ、時間サブサンプリングファクタ、最小及び最大ズームファクタ又は境界ボックス速度などのビデオシーケンスの各種パラメータが決定及び利用可能である。これらのパラメータは、別々に利用されるか、又は組み合わせ可能である。例えば、一実施例では、決定及び利用されたパラメータは、（上述したパラメータから）境界ボックス速度のみを有する。
【０００８】
一実施例では、決定及び利用されたパラメータは最小及び最大ズームファクタを有する。
【０００９】
一実施例では、決定及び利用されたパラメータは、ＧＯＰサイズ、時間サブサンプリングファクタ、最小及び最大ズームファクタ又は境界ボックス速度を有する。
【００１０】
本発明の一実施例では、ビデオシーケンスのイメージを処理する方法は、前のイメージにおいてリフレーミングウィンドウに含めるための前のイメージの最も顕著な部分であるピクセルのサブエリア又はサブセットを決定するステップと、当該ピクセルのサブエリア又はサブセットの周辺の第１境界ボックスを決定するステップと、現在のイメージにおいてリフレーミングウィンドウに含めるための現在のイメージの最も顕著な部分であるピクセルのサブエリア又はサブセットと、当該エリアの周辺の第２境界ボックスとを決定するステップと、連続するイメージの間で境界ボックスを移動するための最大境界ボックス速度を決定するステップと、第１及び第２境界ボックスと境界ボックスの決定された最大速度から新たな境界ボックスを決定するステップと、現在のイメージにおいて表示のために決定された新たな境界ボックスに従ってサブエリアをクロップ処理するステップとを有する。
【００１１】
最大境界ボックス速度は、ビデオシーケンスの前に復号化されたＧＯＰのパラメータから決定されてもよい。最大境界ボックス速度はまた、レジスタ又はストレージから抽出可能な所定値であってもよく、それはまたビデオシーケンスの前に復号化されたＧＯＰについて有効である。
【００１２】
上記方法を利用する装置は、ビデオシーケンスのパラメータを決定し、ビデオシーケンスの前に復号化されたＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅ）のパラメータを決定し、ユーザ設定（ユーザインタフェース手段など）を決定するイメージ解析手段と、決定されたパラメータに従ってクロップ処理される部分を決定し、表示のため決定された部分をクロップ処理するイメージ処理手段とを有する。ビデオシーケンスの各種パラメータが、上述されるように、個別に又は組み合わせて決定及び利用可能である。
【００１３】
本発明の一実施例では、ビデオシーケンスのイメージを処理する装置は、前のイメージにおいてリフレーミングウィンドウに含めるため前のイメージの最も顕著な部分であるピクセルのサブエリア又はサブセットを決定する手段と、当該ピクセルのサブエリア又はサブセットの周辺の第１境界ボックスを決定する手段と、現在のイメージにおいてリフレーミングウィンドウに含めるための現在のイメージの最も顕著な部分であるピクセルのサブエリア又はサブセットと当該エリアの周辺の第２境界ボックスとを決定する手段と、ビデオシーケンスの前に復号化されたＧＯＰのパラメータから、連続するイメージの間で境界ボックスを移動するための最大境界ボックス速度を決定する手段と、第１及び第２境界ボックスと境界ボックスの決定された最大速度とから新たな境界ボックスを決定する手段と、現在のイメージにおいて表示のため決定された新たな境界ボックスに従ってサブエリアをクロップ処理する手段とを有する。
【００１４】
一態様では、本発明は、コンピュータに上述されるような方法を実行させるための実行可能な命令を格納したコンピュータ可読媒体に関する。一実施例では、コンピュータは、ビデオシーケンスのイメージを処理する方法であって、ビデオシーケンスのパラメータを決定するステップと、ビデオシーケンスの前に復号化されたＧＯＰのパラメータを決定するステップと、ユーザ設定を決定するステップと、決定されたパラメータに従ってクロップ処理される部分を決定するステップと、表示のため決定された部分をクロップ処理するステップとを有する方法を実行する。
【００１５】
本発明の効果的な実施例は、従属形式の請求項、以下の説明及び図面に開示される。
【発明の効果】
【００１６】
本発明による、ビデオソースデータを復号化する際に利用可能な情報を活用することによって、リフレーミングアプリケーションの設定又は入力パラメータを自動調整することが可能になる。
【図面の簡単な説明】
【００１７】
【図１】図１は、リフレーミングアプリケーションを備えたビデオデコーダの構成を示す。
【図２】図２は、ビデオシーケンスのイメージを処理する方法のフローチャートである。
【図３】図３は、ＧＯＰサイズの関数としてのバッファサイズの進展の図である。
【図４】図４は、計算コンテクスト及びリアルタイム要求に関する最適な時間サブサンプリングモード／ファクタの選択を示す。
【図５】図５は、ＧＯＰの配置、サイズ及び環境の制約に関するモード選択のフローチャートである。
【図６】図６は、異なるビットレートによるＩフレームのための一例となるＭＢコストマップを示す。
【図７】図７は、完全なＧＯＰのためのフレーム間のＩｎｔｒａＭａｐ相関の関数としての境界ボックス速度の進展の図である。
【図８】図８は、限定された境界ボックス速度を示す図である。
【図９】図９は、限定された境界ボックスズームファクタを示す図である。
【図１０】図１０は、ビデオシーケンスのイメージを処理する装置の構成を示す。
【発明を実施するための形態】
【００１８】
図１は、自動リフレーミングユニットＡＲを備えたビデオデコーダＤＥＣの構成を示す。デコーダＤＥＣは、符号化入力ビデオシーケンス１１を受信し、それを復号化して復号化ビデオシーケンス１２を取得する。パラメータ抽出手段ＰＥは、復号化ビデオシーケンス及び／又はデコーダ設定１３からパラメータ及び／又はリフレーミング設定１４を抽出する。自動リフレーミングユニットＡＲは、復号化ビデオシーケンス１２及び抽出されたパラメータ及び／又はリフレーミング設定１４から、リフレーミング（すなわち、クロップ処理された）ビデオシーケンス１６を生成する。
【００１９】
リフレーミングアプリケーションは、本発明によると符号化ストリーム又は復号化処理から自動調整されたある個数の設定Ｓを有する。一実施例では、当該設定は、バッファサイズ、時間サブサンプリングファクタ、２つのズームファクタｚｍｉｎ及びｚｍａｘ、並びに境界ボックス速度を有する。これらの設定ｓ１，ｓ２，ｓ３，ｓ４は、以下に記述される。
【００２０】
【数１】
2014011807.tif 000003
バッファサイズ（ｓ１）は、経時的にクロップ処理ウィンドウパラメータをスムース化するためリフレーミング処理において利用されるバッファのサイズである。一実施例では、バッファサイズは、ＧＯＰサイズに従って調整される。
【００２１】
時間サブサンプリングファクタ（ｓ２）は、リフレーミング処理が適用されるフレーム数を制限するのに利用され、これにより、例えば、ｓｓにおける１フレーム又はｓ２個のフレームからの１フレームのみにリフレーミング処理を適用するなど、アプリケーションの計算複雑さを低減及び制御することが可能である。一実施例では、可能な時間サブサンプリングファクタ／モードは、ＧＯＰの長さ及びｓ２に応じて“フルモード”（すべてのフレーム）、“中間モード”（ＩフレームとＰフレームのみ）及び“ライトモード”（Ｉフレームのみ）である。
【００２２】
ズームファクタ（ｓ３＝（ｚｍｉｎ，ｚｍａｘ））は、クロップ処理ウィンドウが境界間で経時的に変更しうる境界を規定する。この制限は、クロップ処理ウィンドウのサイズを変更する。ユーザは、大きすぎる又は小さすぎるズーム効果を回避するため、当該特徴を設定してもよい。一実施例では、シーンカット後の最初のピクチャにおいて、ＭＢコストマップが、最も重要なブロックを検出するため生成される。その後、ＭＢコストマップが、ズームファクタを決定するため利用される。
【００２３】
境界ボックス速度（ｓ４）は、クロップ処理ウィンドウがピクチャ内で移動可能な速度である。一実施例では、境界ボックスは、リフレーミングウィンドウに含まれるべき最も顕著であると選択されるサブエリア又はピクセルのサブセットを表す。許容される速度はイメージコンテンツに依存し、すなわち、それは、以降のイメージのイントラ予測されたＭＢ間の相関がかなり低いか、かなり高いときに低い値に制限される。高い相関は、静的イメージ又は少ない動きを意味し、安定的な境界ボックス位置が好ましく、低い相関は、シーン変更（すなわち、新たな“ショット”）を意味し、それは、境界ボックスシフトによって補償できないため、アルゴリズムを酷使することになる。従って、境界ボックス速度ｓ４は、コンテンツに依存してカメラの自然なカメラの動きにより良好に適合するようにシーケンスに対して適応化されてもよい。一実施例では、Ｋａｌｍａｎフィルタは、フィルタリングのための境界ボックス座標に適用され、境界ボックス速度は、Ｋａｌｍａｎフィルタに投入されるノイズファクタである。
【００２４】
図２は、ビデオシーケンスのイメージを処理するための方法のフローチャートである。本方法は、ビデオシーケンスのパラメータ、ビデオシーケンスの以前に復号化されたＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅ）のパラメータ及びユーザ設定を決定するステップ２１と、決定されたパラメータに従ってクロップ処理される部分を決定するステップ２２と、決定された部分を表示のためクロップ処理するステップ２３とを有する。
【００２５】
一実施例では、復号化パラメータは以下のように決定される。
【００２６】
バッファサイズｓ１は、ＧＯＰサイズ（Ｇｓｉｚｅ）に従って調整される。原理的には、当該バッファサイズが小さなＧＯＰについて低減され、フルバッファＳｉｚｅｍａｘがあるリミットを超過したＧＯＰサイズについて利用される。ＧＯＰサイズは、デコーダＤＥＣがストレージから抽出するか、又は符号化ビットストリームから抽出してもよい所定のパラメータである。以下のルールが適用されてもよい。
【００２７】
【数２】
2014011807.tif 000004
一例となる具体的なアプリケーションのため、Ｇｓｉｚｅｍａｘは４０に設定され、Ｓｉｚｅｍａｘは２５に設定される。すなわち、Ｓｉｚｅｍａｘの以前のフレームのクロップ処理ウィンドウパラメータは、ＧＯＰサイズが４０以上である場合、現在フレームのクロップ処理ウィンドウパラメータを取得するためバッファされて考慮される。このように、クロップ処理ウィンドウパラメータの急激な変更が回避され、クロップ処理ウィンドウパラメータは経時的にスムース化される。このとき、図３に示されるようなバッファサイズの曲線が得られる。
【００２８】
時間サブサンプリングファクタｓ２は、ＧＯＰサイズ及びスキームに従って設定されてもよい。その考え方は、少なくともＩフレームに対するリフレーミング処理（及びそのときの顕著性マップ）の計算を維持することであり、これは、それらが最も高いクオリティを有し、シーンの始め（すなわち、シーンカットの直後）にある可能性が高いためである。このとき、Ｐフレームは、処理対象としてあまり関心はない。最後に、時間サブサンプリングによりフレームを削除する必要がある場合、Ｂフレームは省略されるべき最初のフレームになるであろう。
【００２９】
ＧＯＰスキームを利用することによって、ＥＰ１９５６５５０Ａの既知の手段と比較して向上を図ることが可能であり、これは、何れのフレームタイプと何れのフレームが影響を受けるか選択することが可能であるためである。
【００３０】
このとき、ファクタを規定する代わりに、図４に示されるように、３つのモード又は利用ケースを規定することが可能である。フロモードＦＭでは、時間サブサンプリングはなく、すべてのフレームに対してリフレーミング処理が実行される。中間モードＩＭでは、シーケンスの一部又はすべてのＢフレームが計算から除外される。ライトモードＬＭでは、シーケンスのＰフレームの一部又はすべてと共に、Ｂフレームのすべてが計算から除外される。モード選択は、計算問題又は利用可能な計算環境ＣＩ／Ｅｎｖによりそれぞれ制御される。これは、コンテクスト（高低ビットレート又は高低クオリティ）要求に従って、３つのモードの１つが選択されることを意味し、高品質はフルモードを意味し、中程度の品質は中間モードを意味し、低品質はライトモードを意味する。
【００３１】
図５は、モードの選択を示す詳細なフローチャートを示す。基本的に、Ｂフレームの有無がチェックされ、その後、それらの計算が中間モードＩＭ及びライトモードＬＭにおいて省略される。その後、環境の制約に依存して、Ｐフレーム（又はサブセット）がまた破棄される。図５に示されるように、上述した可能な３つのモードの１つが、モード選択ＭＳにおいて選択可能である。
【００３２】
フルモードＦＭでは、すべてのフレームが維持され、ステップ５０において、時間サブサンプリングファクタパラメータｓ２が１などに設定される。すなわち、すべてのフレームが処理される（５９）。
【００３３】
中間モードＩＭでは、Ｂフレームがあるかチェックされる（５１）。Ｂフレームがない場合、すべてのフレームが処理される（５９）。少なくとも１つのＢフレームがある場合、次のステップ５２は、ＮｂＢのＢフレームを削除し、ｓ２＝Ｇｓｉｚｅ−ＮｂＢ（ＧｓｉｚｅはＧＯＰサイズである）に従って時間サブサンプリングファクタパラメータｓ２を計算する。計算された時間サブサンプリングファクタパラメータｓ２は、例えば、“ｓ２＞Ｇｓｉｚｅ／２？“などに従って所与の閾値と比較される（５３）。時間サブサンプリングファクタが閾値を下回らない場合、削除されるＢフレームの個数は増加され、当該計算が繰り返される。ＮｂＢは、１に初期化され、ループの各実行によりインクリメントされる変数である。ｎｂｉｔｅｒは、ループの実行をカウントするカウント変数であり、従って（中間モードでは）、スキップされるＢフレームの個数である。あるいは、ｓ２，ｍｉｎ＝Ｇｓｉｚｅ−ＮｂＢｍａｘを計算し（ＮｂＢｍａｘはＧＯＰにおけるＢフレームの総数である）、結果として得られるｓ２が閾値を下回っている限り、１つのＢフレームバックを加え、すなわち、ＮｂＢｍａｘを減少させる。閾値ステップ５３では、他の閾値ｔｈｒｔＳｕｂｓが、”ｓ２＞ｔｈｒｔＳｕｂｓ？“に従って時間サブサンプリングファクタパラメータｓ２と比較するのに利用可能であることに留意されたい。好ましくは、当該閾値は、Ｇｓｉｚｅ／２に実質的に近い。
【００３４】
ライトモードＬＭでは、Ｂフレームがあるかまず確認される（５４）。ある場合、すべてのＢフレームが次のステップ５５において削除される。その後、取得した時間サブサンプリングファクタパラメータｓ２が、ｓ２＝Ｇｓｉｚｅ−ＮｂＢに従って計算され（５６）、“ｓ２＜Ｇｓｉｚｅ／２？”などに従って（又は、中間モードと同様に）所与の閾値と比較される（５７）。時間サブサンプリングファクタパラメータｓ２が閾値を下回る場合、残りのすべてのフレームが処理される（５９）。Ｂフレームがない場合、次のステップ５８において、ＮｂＰ個のＰフレームが削除される。結果として得られる時間サブサンプリングファクタｓ２は、ｓ２＝Ｇｓｉｚｅ−ＮｂＰ−ＮｂＢに従って再び計算され（５６）、所与の閾値と再び比較される（５７）。時間サブサンプリングファクタがまだ閾値を下回っていない場合、削除されるＰフレームの個数はさらの増加され、当該計算が繰り返される。ＮｂＰは、１に初期化され、ループの各実行毎にインクリメントされる変数である。ｎｂｉｔｅｒは、ループの実行をカウントするカウント変数であり、従って（ライトモードでは）、スキップされるＰフレームの個数である。あるいは、ｓ２，ｍｉｎ＝Ｇｓｉｚｅ−ＮｂＰｍａｘ−ＮｂＢを計算し（ＮｂＰｍａｘはＧＯＰにおけるＰフレームの総数である）、結果として得られるｓ２が閾値を下回る限り、１つのＰフレームバックを加え、すなわち、ＮｂＰｍａｘを減少させることも可能である。
【００３５】
最後に、残りのすべてのフレームが、クロップ処理などを含めて処理される（５９）。
【００３６】
他のパラメータは、最大許容ズームファクタｓ３又はズームファクタのペア（ｓ３＝（ｚｍｉｎ，ｚｍａｘ））である。一実施例では、ズームファクタｓ３を決定するため、通常はＩフレームであるＧＯＰ又はシーンの最初のフレームに対応するマクロブロック（ＭＢ）コストマップが利用される。ＭＢコストマップは、各ＭＢについてそれの符号化コストを示す。図６は、異なるビットレート及び異なるシーンのための一例となる４つの異なるＭＢコストマップを示す。各ＭＢコストマップは、オリジナルピクチャの右に示される。最も重要なブロックは明確に特定でき（最も大きな符号化コストを有するライトブロック）、その後、リフレーミング処理に利用される最小及び最大ズーム境界がそれから導出可能である。本発明の一実施例では、ズームファクタは、すべてのシーンカットにおいて再調整される。この場合、シーンカット検出は、当該処理前に実行される。
【００３７】
クロップ処理ウィンドウのズームファクタｚは、ｚｍｉｎ≦ｚ≦ｚｍａｘにより規定されたズームファクタの範囲内で経時的に変化してもよい。しかしながら、ｚｍｉｎ，ｚｍａｘの１つは明示的又は非明示的に与えられてもよい。
【００３８】
一実施例では、ｓ３＝（ｚｍｉｎ，ｚｍａｘ）が、
【数３】
2014011807.tif 000005
に従って規定できる。ここで、ｎｂＭＢはピクチャ内のＭＢの総数であり、ｎｂＭＢｃｏｓｔ０は互いに必ずしも隣接する必要のない０に等しいコストのＭＢの個数であり（例えば、図６の上方及び下方エッジの暗いＭＢ）、ｎｂＭＢａｄｊは大きなコスト（＞最大コスト／２）を有し、互いに空間的に隣接するＭＢの個数である。一実施例では、それは、ピクチャにおいて最大のコスト（＞最大コスト／２）を有する隣接ＭＢの最大グループである。
【００３９】
他のパラメータは、境界ボックス速度ｓ４である。ズームファクタと同様に、境界ボックス速度は、特にそれがシーン毎に調整される場合、スマートに調整されてもよい。一実施例では、境界ボックス速度は、現在のＩｎｔｒａＭａｐと隣接ピクチャのＩｎｔｒａＭａｐとの間の相関係数により表現可能な隣接ピクチャとの類似度に従って設定される。ここで、ＩｎｔｒａＭａｐは、Ｐピクチャ又はＢピクチャにおけるイントラ符号化ＭＢのマップである。隣接ピクチャのイントラ符号化ＭＢの平均の相関係数がそれの平均から乖離するに従って、許容される境界ボックス速度は低くなる。符号化される困難なＭＢは通常はイントラ符号化されるため、ＩｎｔｒａＭａｐは、シーンの複雑さに関する情報を提供する。この情報から、連続するＩｎｔｒａＭａｐの間の相関を記述する値が推定される。相関が高い場合（すなわち、グローバルな動きがほとんどないか、又はまったくなく、ローカルな動きがほとんどないか、まったくない）、境界ボックス速度はウィンドウを固定するため低くなっているべきであることが検出された。他方、相関がかなり低い場合、これはおそらく強いカメラの動き又は強いコンテンツの変化から生じる（例えば、誰かがカメラの前で移動しているなど）。この場合、コンテンツに関して意味がなく、混乱させる可能のある境界ボックス位置の強い適応化より好ましい適応化はない。従って、低い相関についてもまた、境界ボックス速度が低くなるべきである。中程度の相関について、コンテンツの変更はより容易に処理可能であり、より高い速度は、境界ボックスの再配置を可能にするため利用可能である。
【００４０】
一実施例では、境界ボックス速度は、
【数４】
2014011807.tif 000006
例えば、
【数５】
2014011807.tif 000007
などに従って計算可能である。ただし、ＩｎｔｒａＭａｐはＰピクチャ又はＢピクチャにおけるイントラ符号化ＭＢのマップであり、ＣＣは現在のＩｎｔｒａＭａｐと隣接するＩｎｔｒａＭａｐ（すなわち、次の又は前のもの）との間の相関係数であり、Ｖｍａｘは境界ボックスの最大許容速度である。式６において、ｘは現在及び前のＧＯＰを表す。このとき、境界ボックスは、図７に示されるように、ガウス関数として経時的に変化する。ｍ及びσはそれぞれ、速度の分布の平均及び標準偏差である。それらは、ｍ＝０．５及びσ＝０．２などに調整されてもよい。ｍ、σ及びＶｍａｘはシステムにおける最大値として定義された固定的なパラメータであることに留意されたい。上述されるように、最大境界ボックス速度は、相関が中間値を有するときに可能とされる。
【００４１】
図８は、境界ボックス速度の制限を例示的かつ簡単化された方法により示す。図示されたスケールは現実的なものでなく、簡単化のために利用されていることに留意されたい。上述されるように、前のイメージｉｍｎ−１では、最も顕著なエリアｓａ１の周辺の第１境界ボックスｂｂ１が決定され、現在のイメージｉｍｎでは、最も顕著なエリアｓａ２の周辺の第２境界ボックスｂｂ２が決定される。その後、第１境界ボックスと第２境界ボックスとの間のシフトベクトル又はシフト距離ｄｄｅｔが決定され、最大許容シフトベクトル又はシフト距離ｄｍａｘと比較される。
【００４２】
あるいは、イメージｉｍｎ−１とｉｍｎとの間の時間距離を考慮するとき（フレームレートｆを利用して）、決定された実際の境界ボックス速度が、ｖｄｅｔ＝ｄｄｅｔ＊ｆに従って計算可能である。決定された実際の境界ボックス速度は、最大許容境界ボックス速度ｖｍａｘと比較される。
【００４３】
決定された境界ボックスシフトベクトルｄｄｅｔが最大許容境界ボックスシフトベクトルｄｍａｘを上回る（すなわち、より長い）場合、又は決定された境界ボックス速度ｖｄｅｔが最大許容境界ボックス速度ｖｍａｘを上回る場合、新たな境界ボックスの位置及び／又はサイズが決定され、決定された新たな境界ボックス位置に従うサブエリアが、表示のため現在のイメージにおいてクロップ処理される（すなわち、境界ボックスにより特定されるイメージの当該部分のみが表示される）。そうでない場合、決定された境界ボックスシフトベクトルｄｄｅｔが最大許容境界ボックスシフトベクトルｄｍａｘを上回らない場合、又は決定された境界ボックス速度ｖｄｅｔが最大許容境界ボックス速度ｖｍａｘを上回らない場合、第２境界ボックスはそのまま利用可能である。同様に、ズームファクタが説明可能である。図９は、境界ボックスズームファクタの制限を例示的かつ簡単化された方法により示す。図示されたスケールは現実的でないかもしれないことに留意されたい。上述されるように、前のイメージｉｍｎ−１では、最も顕著なエリアの周辺の第１境界ボックスｂｂ１が決定され、現在のイメージｉｍｎでは、最も顕著なエリアの周辺の第２境界ボックスｂｂ２が決定される。本例では、第２境界ボックスｂｂ２は、第１境界ボックスｂｂ１よりかなり小さい。その後、ズームファクタが計算される。原理的には、ズームファクタは、例えば、ｚ＝ｎｂｂ２／ｎｂｂ１などに従って境界ボックスによりピクセル数から計算されてもよい。計算されたズームファクタは、最大許容ズームファクタｚｍａｘと比較される。
【００４４】
決定されたズームファクタｚｄｅｔが最大許容ズームファクタｚｍａｘを上回らない場合、第２境界ボックスはそのまま利用可能である。他方、決定されたズームファクタｚｄｅｔが最大許容ズームファクタｚｍａｘを上回る場合、新たな境界ボックスｂｂｄｅｔのサイズは、最大許容ズームファクタｚｍａｘが充足されるように決定される。新たな境界ボックスｂｂｄｅｔは、第２境界ボックスｂｂ２と同心円状にある。決定された新たな境界ボックスｂｂｄｅｔの位置によるサブエリアは、表示のため現在イメージにおいてクロップ処理される。
【００４５】
図８及び９に関して上記は境界ボックスのコンセプトの原理の説明であることに留意すべきである。実際の実現形態では、例えば、境界ボックス速度について、フィルタ（Ｋａｌｍａｎフィルタなど）が境界ボックスの座標に適用され、境界ボックスの座標の軌跡及び境界ボックスのサイズをスムース化するため、境界ボックス速度は、フィルタに投入されるノイズファクタである。
【００４６】
境界ボックス（又はクロップ処理ウィンドウ）は、一実施例では、ウィンドウに含まれるべき最も顕著なものとして選択されるピクセルのサブエリア又はサブセットを表す。一実施例では、当該ウィンドウは、目標とされる所定のアスペクト比（ユーザなどにより規定される）に設定される。このとき、一実施例では、リフレーミングアプリケーションにおいて、ウィンドウの位置（ｘ及びｙ軸）及び／又はサイズは変化する。速度はボックスの位置のみを参照し、すなわち、境界ボックスが経時的にその位置を変更する方法を参照する。従って、それは、カメラの動きなどによって影響を受ける。実際には、境界ボックス速度は、フレームの可視的部分が移動する速度としてみなすことができる。
【００４７】
図１０は、本発明による入力ビデオシーケンスｓｅｑｉｎのイメージを処理する装置１００の原理的なブロック図を示す。本装置は、イメージ解析モジュール１０２とイメージ処理モジュール１１０とを有する。イメージ解析モジュールは、ビデオシーケンスのパラメータを決定する第１パラメータ決定モジュール１０３と、ビデオシーケンスの前に復号化されたＧＯＰのパラメータを決定する第２パラメータ決定モジュール１０４と、ユーザ設定を決定するユーザインタフェースモジュール１０５とを有する。さらに、本装置は、決定されたパラメータに従ってクロップ処理される部分を決定するクロップウィンドウポジショニングモジュール１０６と、表示のため決定された部分をクロップ処理するクロップ処理モジュール１０７とを有する。クロップ処理されたイメージシーケンスｓｅｑｃｒは、出力に提供される。ビデオシーケンスの各種パラメータが、上述されるように、決定され、別々に又は組み合わせて利用可能である。上述したモジュールは、ハードウェアモジュール、ソフトウェアによりサポートされたハードウェアモジュール又はソフトウェアモジュールとして実現可能である。
【００４８】
一実施例では、本装置はさらに、シーン変更検出モジュールを有する。サブシーケンスがシーン（すなわち、“ショット”）である場合、当該シーン（又はシーン変更）はシーン変更検出モジュールにより検出される。
【００４９】
一実施例では、本装置はさらに、前のイメージ（ｉｍｎ−１）において当該前のイメージの最も顕著な部分であるピクセルのサブエリア又はサブセット（ｓａ１）を決定する手段、前のイメージのピクセルのサブエリア又はサブセットの周辺の第１境界ボックス（ｂｂ１）を決定する手段、現在イメージにおいて当該現在イメージの最も顕著な部分であるピクセルのサブエリア又はサブセット（ｓａ２）を決定する手段、第１境界ボックス（ｂｂ１）及び第２境界ボックス（ｂｂ２）から境界ボックスシフト（ｄｄｅｔ）を計算する手段、第１境界ボックス（ｂｂ１）及び第２境界ボックス（ｂｂ２）の位置から境界ボックスシフト（ｄｄｅｔ）を計算するか、又は第１境界ボックス（ｂｂ１）及び第２境界ボックス（ｂｂ２）の位置並びにビデオフレームレートから境界ボックス速度を計算する手段、決定された境界ボックスシフト（ｄｄｅｔ）又は境界ボックス速度と連続するイメージの間の最大許容境界ボックスシフト又は境界ボックス速度とを比較する手段、及び新たな境界ボックスの位置及び／又はサイズ（ｂｂｄｅｔ）を決定し、決定した境界ボックスシフトが最大許容境界ボックスシフトを上回る場合、又は決定した境界ボックス速度が最大許容境界ボックス速度を上回る場合、現在イメージにおいて表示のため決定された新たな境界ボックスに従ってサブエリアをクロップ処理し、他方、決定した境界ボックスシフト（ｄｄｅｔ）又は境界ボックス速度が最大許容境界ボックスシフト又は境界ボックス速度以下である場合、現在イメージにおいて表示のため決定された第２境界ボックス（ｂｂ２）に従ってサブエリアをクロップ処理する手段を有する。
【００５０】
本発明の効果は、それがコンテンツの信頼できて有用な復号化情報に基づき、リフレーミングパラメータの自動調整を実行することである。すなわち、リフレーミングパラメータは、ビデオを復号化する際に利用可能な情報を利用することによって（特に、前に復号化されたシーケンスの性質）、コンテンツに基づき自動調整される。従来、符号化中には付加的情報は挿入される必要がなかったため、符号化ビデオシーケンスが利用可能である。リフレーミングアプリケーションの設定Ｓは、復号化処理又は復号化ストリームから自動的に調整可能である。これらのパラメータは、上述されたように、バッファサイズｓ１、時間サブサンプリングファクタｓ２、ズームファクタｓ３＝（ｚｍｉｎ，ｚｍａｘ）及び境界ボックス速度ｓ４の１以上である。
【００５１】
一実施例では、復号化ビデオシーケンスの設定又は入力パラメータが、それの直前の復号化シーケンスの性質に従って自動調整される。
【００５２】
本発明の一実施例では、リフレーミングアプリケーションはビデオ復号化後に実行される。
【００５３】
本発明は、表示のためのビデオを前処理する装置又はビデオを表示可能な装置において実現可能である。本発明は、特に小さなスクリーンサイズを備えたビデオ表示装置に有用である。
【００５４】
本発明が純粋に具体例により説明され、本発明の範囲から逸脱することなく詳細の変更が可能であることが理解されるであろう。本発明の基本的な新規な特徴がそれの好適な実施例に適用されるように図示、説明及び指摘されたが、説明された装置及び方法、開示された装置の形式及び詳細、及びそれらの動作の各種省略、置換及び変更が、本発明の趣旨から逸脱することなく当業者により可能であることが理解されるであろう。同一の結果を達成するため実質的に同じ方法により実質的に同一の機能を実行する要素のすべての組み合わせが本発明の範囲内であることが明示的に意図される。説明された実施例の間の要素の置換はまた、完全に意図及び想定される。
【００５５】
本説明、（適切である場合）請求項及び図面に開示された各特徴は、独立して又は何れか適切な組み合わせにより提供されてもよい。各特徴は、適切である場合、ハードウェア、ソフトウェア又はこれら２つの組み合わせにより実現されてもよい。請求項に現れる参照番号は、単なる具体例であり、請求項の範囲に対して限定的な効果を有さない。
【符号の説明】
【００５６】
１１  符号化入力ビデオシーケンス
１２  復号化ビデオシーケンス
１３  デコーダ設定
１４  リフレーミング設定
【図１】
2014011807.tif 000011
【図２】
2014011807.tif 000012
【図３】
2014011807.tif 000013
【図４】
2014011807.tif 000014
【図５】
2014011807.tif 000015
【図６】
2014011807.tif 000016
【図７】
2014011807.tif 000017
【図８】
2014011807.tif 000018
【図９】
2014011807.tif 000019
【図１０】
2014011807.tif 000020
【外国語明細書】
2014011807000001.pdf