【手続補正書】
【提出日】平成27年6月24日(2015.6.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
原ビデオ信号をリフレーミングした後に、該リフレーミングされたビデオ信号のエンコーディングを行う方法であって、
前記原ビデオ信号の現在のピクチャについて、ユーザアテンションマップを表す特徴マップを計算するステップと、
前記原ビデオ信号の前記現在のピクチャについて、マクロブロック符号化効率費用マップを提供するステップと、
前記原ビデオ信号の前記現在のピクチャ内で、候補となるリフレーミングウィンドウのサイズ及び位置を選択するステップと、
前記特徴マップ及び前記マクロブロック符号化効率費用マップを組み合わせて用いることによって、前記原ビデオ信号において、前記リフレーミングされたビデオ信号のための符号化費用が前記候補となるリフレーミングウィンドウのサイズ及び位置のための符号化費用よりも小さくなる前記リフレーミングウィンドウの異なる位置及び／又はサイズを決定するステップと、
対応するリフレーミングされたビデオ信号をエンコーディングするステップと
を有する方法。
【請求項２】
カルマンフィルタが、時間に対する前記特徴マップの内容の変化による前記リフレーミングウィンドウの位置及びサイズの変化を制御するために使用される、
請求項１に記載の方法。
【請求項３】
カルマンフィルタが、前記リフレーミングウィンドウのパラメータを安定させるように前の状態ｘｋ−１に対する現在の状態ｘｋと状態遷移モデルとを予測するステップと、該予測をノイズ測定により補正するステップとにおいて、ピクチャごとに使用され、
状態ｘｋは、前記リフレーミングウィンドウの中心の位置と、そのサイズとを定義し、
【数１】
2014521272.tif 000001
請求項２に記載の方法。
【請求項４】
前記マクロブロック符号化効率費用マップが与えられ、
前記特徴マップの現在の内容から得られる前記候補となるリフレーミングウィンドウのアスペクト比が前記原ビデオ信号のアスペクト比と異なる場合は、前記候補となるリフレーミングウィンドウは、前記原ビデオ信号のアスペクト比を達成するように垂直方向又は水平方向において相応して拡大され、該拡大の方向は、現在の候補となるリフレーミングウィンドウについて、現在のマクロブロック符号化効率費用マップから導出されるマクロブロック符号化費用が低減されるように、実行される、
請求項１乃至３のうちいずれか一項に記載の方法。
【請求項５】
前記特徴マップは、符号化費用がかかるマクロブロックが、適用される最終の特徴マップにおいて対応する特徴値を下げるように、前記マクロブロック符号化効率費用マップをマージされる、
請求項１乃至４のうちいずれか一項に記載の方法。
【請求項６】
前記エンコーディングはＨ．２６４／ＡＶＣエンコーディングである、請求項１乃至５のうちいずれか一項に記載の方法。
【請求項７】
前記リフレーミングは、エンコーディングループ内に含まれるが、全ピクチャがエンコーディングされ、
ＳＥＩメッセージが、使用されるリフレーミングウィンドウをデコーダへ知らせるために使用される、
請求項６に記載の方法。
【請求項８】
前記リフレーミングウィンドウは、マクロブロック境界に整列される、
請求項１乃至７のうちいずれか一項に記載の方法。
【請求項９】
原ビデオ信号をリフレーミングした後に、該リフレーミングされたビデオ信号のエンコーディングを行う装置であって、
前記原ビデオ信号の現在のピクチャについて、ユーザアテンションマップを表す特徴マップを計算し、前記原ビデオ信号の前記現在のピクチャについて、マクロブロック符号化効率費用マップを提供するよう構成される手段と、
前記原ビデオ信号の前記現在のピクチャ内で、候補となるリフレーミングウィンドウのサイズ及び位置を選択し、前記特徴マップ及び前記マクロブロック符号化効率費用マップを組み合わせて用いることによって、前記原ビデオ信号において、前記リフレーミングされたビデオ信号のための符号化費用が前記候補となるリフレーミングウィンドウのサイズ及び位置のための符号化費用よりも小さくなる前記リフレーミングウィンドウの異なる位置及び／又はサイズを決定するよう構成される手段と、
対応するリフレーミングされたビデオ信号をエンコーディングするエンコーディング手段と
を有する装置。
【請求項１０】
カルマンフィルタが、時間に対する前記特徴マップの内容の変化による前記リフレーミングウィンドウの位置及びサイズの変化を制御するために使用される、
請求項９に記載の装置。
【請求項１１】
カルマンフィルタが、前記リフレーミングウィンドウのパラメータを安定させるように前の状態ｘｋ−１に対する現在の状態ｘｋと状態遷移モデルとを予測するステップと、該予測をノイズ測定により補正するステップとにおいて、ピクチャごとに使用され、
状態ｘｋは、前記リフレーミングウィンドウの中心の位置と、そのサイズとを定義し、
【数２】
2014521272.tif 000002
請求項１０に記載の装置。
【請求項１２】
前記マクロブロック符号化効率費用マップが与えられ、
前記特徴マップの現在の内容から得られる前記候補となるリフレーミングウィンドウのアスペクト比が前記原ビデオ信号のアスペクト比と異なる場合は、前記候補となるリフレーミングウィンドウは、前記原ビデオ信号のアスペクト比を達成するように垂直方向又は水平方向において相応して拡大され、該拡大の方向は、現在の候補となるリフレーミングウィンドウについて、現在のマクロブロック符号化効率費用マップから導出されるマクロブロック符号化費用が低減されるように、実行される、
請求項９乃至１１のうちいずれか一項に記載の装置。
【請求項１３】
前記特徴マップは、符号化費用がかかるマクロブロックが、適用される最終の特徴マップにおいて対応する特徴値を下げるように、前記マクロブロック符号化効率費用マップをマージされる、
請求項９乃至１２のうちいずれか一項に記載の装置。
【請求項１４】
前記エンコーディングする手段はＨ．２６４／ＡＶＣエンコーディング手段である、請求項９乃至１３のうちいずれか一項に記載の装置。
【請求項１５】
前記リフレーミングは、エンコーディングループ内に含まれるが、全ピクチャがエンコーディングされ、
ＳＥＩメッセージが、使用されるリフレーミングウィンドウをデコーダへ知らせるために使用される、
請求項１４に記載の装置。
【請求項１６】
前記リフレーミングウィンドウは、マクロブロック境界に整列される、
請求項９乃至１５のうちいずれか一項に記載の装置。
【請求項１７】
前記エンコーディングの前に請求項１乃至８のうちいずれか一項に記載の方法に従ってリフレーミングされた、エンコーディングされたデジタルビデオ信号。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
予測フェーズにおいて、予測ステップは、前の状態と状態遷移モデルとにより現在の状態を推定する。クロッピングウィンドウパラメータは、ドミナントモーションにのみ従って変化することを認められる：
【数８】
2014521272.tif 000003
更新フェーズは、ノイズ測定を用いる予測の補正である：
【数９】
2014521272.tif 000004
上記の数９は測定残余であり、ｚｋは、アテンションモデルによって与えられる原のウィンドウパラメータであり、Ｈｋは、単位行列である。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【００４７】
Ｃ．２  エンコーダアーキテクチャによるクロッピングウィンドウ移動制約
幾つかの簡単化が、クロッピングウィンドウをエンコーダアーキテクチャに適応させるよう実行され得るが、幾つかの場合においては符号化効率を改善するためにも実行される：
・予測フレームと現在のフレームとの間のマクロブロック格子におけるクロッピングウィンドウの整列を保証する。それは時間的予測品質を改善するが、更に、適切なブロックサイズを選択するのを助ける。欠点は、クロッピングウィンドウの滑らかな時間的変化が何としても保証されるべき点であり、さもなければ、何らかの時間的アーティファクトが目に見える。
・同様に、クロッピングウィンドウの位置は、ピクセルサンプリング格子に一致するよう設定され得る。その場合に、動きベクトルは必然的にピクセルの数の倍数であり、１ピクセル単位よりもっと精密な動き推定は不要である。有利に、これは、エンコーダの有意な簡単化をもたらす。
・リフレーミング処理からの如何なる情報も再利用する。例えば、特徴領域を計算するために、フレーム間の動きを計算する必要がある。この情報はビデオエンコーダへ送られて、エンコーダの動き推定を助け又は置換することができる。同様に、クロッピングウィンドウの時間的変化は、撮影者による撮影手法と同様に滑らかな挙動を確かにするようモニタされ管理される。それらの仮想的なカメラの動きはまた、動き推定を助けるためにエンコーダによって使用され得る。
・ソース入力ビデオ信号がエンコードされたビデオ信号（エンコーダフォーマットであるものは何でも）である場合は、ビデオ信号のトランスコーディング又は変換から知られるように、符号化情報のようなパラメータを再利用することが可能である。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
エンコーディングのためのリフレーミング処理のそのような適応に加えて、エンコーディングループ内にリフレーミング処理を含めることも可能である。例えば、クロッピングウィンドウは、フレームのエンコーディングの間に計算され得、それにより、エンコーディング及びリフレーミングは、前処理として実行される代わりに、まとめて最適化される。そうすることにおける幾つかの利点が存在する：
・第１に、ピクチャ全体がエンコーディングされ得、あるエンコーディングストラテジはクロッピングウィンドウに適応され得る。すなわち、Ｈ．２６４／ＡＶＣ  ＳＥＩメッセージが、デコーダへ任意のクロッピングウィンドウを伝えるために使用され、より高いビットレート／エンコーディング品質がクロッピングウィンドウのために設定され得、異なるスライスが２つの領域について使用され得、スキップモードが非クロッピングウィンドウのために設定され得る。
・第２に、フレーム全体がエンコーダにおいて使用され得るが、クロッピングウィンドウのみがエンコーディングされる。これは、上述されたように、クロッピングウィンドウのサイズ及び位置の最適化とエンコーディングとをひとまとめにすることを可能にし、動き推定は、境界効果を防ぎ且つ動きフィールドのエンコーディング（より良い同質性）を容易にするようフレーム全体に対して実行され得、クロッピングウィンドウからフレーム全体への動的な切り替えの可能性を提供する。
・第３に、上述されたように、１の処理からの多くの計算が、それらを２回実行することに代えて、後の処理によって再利用され得る。アーキテクチャ及びＣＰＵ性能（又はハードウェア複雑性）は全体的に下げられ、そのようなシステムは更なる機能性及び柔軟性を提供する。  
上記の実施形態に加えて、以下の付記を開示する。
（付記１）
原ビデオ信号をリフレーミングした後に、該リフレーミングされたビデオ信号のエンコーディングを行う方法であって、
前記原ビデオ信号の現在のピクチャについて、ユーザアテンションマップを表す特徴マップを計算するステップと、
前記原ビデオ信号の前記現在のピクチャについて、マクロブロック符号化効率費用マップを提供するステップと、
前記原ビデオ信号の前記現在のピクチャ内で、候補となるリフレーミングウィンドウのサイズ及び位置を選択するステップと、
前記特徴マップ又は前記特徴マップと前記マクロブロック符号化効率費用マップとの組み合わせを用いることによって、前記原ビデオ信号において、前記リフレーミングされたビデオ信号のための符号化費用が前記候補となるリフレーミングウィンドウのサイズ及び位置のための符号化費用よりも小さくなる前記リフレーミングウィンドウの異なる位置及び／又はサイズを決定するステップと、
対応するリフレーミングされたビデオ信号をエンコーディングするステップと
を有する方法。
（付記２）
原ビデオ信号をリフレーミングした後に、該リフレーミングされたビデオ信号のエンコーディングを行う装置であって、
前記原ビデオ信号の現在のピクチャについて、ユーザアテンションマップを表す特徴マップを計算し、前記原ビデオ信号の前記現在のピクチャについて、マクロブロック符号化効率費用マップを提供するよう構成される手段と、
前記原ビデオ信号の前記現在のピクチャ内で、候補となるリフレーミングウィンドウのサイズ及び位置を選択し、前記特徴マップ又は前記特徴マップと前記マクロブロック符号化効率費用マップとの組み合わせを用いることによって、前記原ビデオ信号において、前記リフレーミングされたビデオ信号のための符号化費用が前記候補となるリフレーミングウィンドウのサイズ及び位置のための符号化費用よりも小さくなる前記リフレーミングウィンドウの異なる位置及び／又はサイズを決定するよう構成される手段と、
対応するリフレーミングされたビデオ信号をエンコーディングするエンコーディング手段と
を有する装置。
（付記３）
カルマンフィルタが、時間に対する前記特徴マップの内容の変化による前記リフレーミングウィンドウの位置及びサイズの変化を制御するために使用される、
付記１に記載の方法、又は付記２に記載の装置。
（付記４）
カルマンフィルタが、前記リフレーミングウィンドウのパラメータを安定させるように前の状態ｘｋ−１に対する現在の状態ｘｋと状態遷移モデルとを予測するステップと、該予測をノイズ測定により補正するステップとにおいて、ピクチャごとに使用され、
状態ｘｋは、前記リフレーミングウィンドウの中心の位置と、そのサイズとを定義し、
【数１４】
2014521272.tif 000005
付記３に記載の方法、又は付記３に記載の装置。
（付記５）
前記マクロブロック符号化効率費用マップが与えられ、
前記特徴マップの現在の内容から得られる前記候補となるリフレーミングウィンドウのアスペクト比が前記原ビデオ信号のアスペクト比と異なる場は、前記候補となるリフレーミングウィンドウは、前記原ビデオ信号のアスペクト比を達成するように垂直方向又は水平方向において相応して拡大され、該拡大の方向は、現在の候補となるリフレーミングウィンドウについて、現在のマクロブロック符号化効率費用マップから導出されるマクロブロック符号化費用が低減されるように、実行される、
付記１、３及び４のうちいずれか一項に記載の方法、又は付記２乃至４のうちいずれか一項に記載の装置。
（付記６）
前記特徴マップは、符号化費用がかかるマクロブロックが、適用される最終の特徴マップにおいて対応する特徴値を下げるように、前記マクロブロック符号化効率費用マップをマージされる、
付記１及び３乃至５のうちいずれか一項に記載の方法、又は付記２乃至５のうちいずれか一項に記載の装置。
（付記７）
前記エンコーディングはＨ．２６４／ＡＶＣエンコーディングである、付記１及び３乃至６のうちいずれか一項に記載の方法、又は
前記エンコーディングする手段はＨ．２６４／ＡＶＣエンコーディング手段である、付記２乃至６のうちいずれか一項に記載の装置。
（付記８）
前記リフレーミングは、エンコーディングループ内に含まれるが、全ピクチャがエンコーディングされ、
ＳＥＩメッセージが、使用されるリフレーミングウィンドウをデコーダへ知らせるために使用される、
付記７に記載の方法、又は付記７に記載の装置。
（付記９）
前記リフレーミングウィンドウは、マクロブロック境界に整列される、
付記１及び３乃至８のうちいずれか一項に記載の方法、又は付記２乃至８のうちいずれか一項に記載の装置。
（付記１０）
前記エンコーディングの前に付記１及び３乃至９のうちいずれか一項に記載の方法に従ってリフレーミングされた、エンコーディングされたデジタルビデオ信号。