(57)【要約】  本開示は、フレーム間引きによる品質劣化を最小限に抑えるのを助けることができる方法でフレーム間引きを可能にするために符号化デバイスまたは復号デバイスによって使用できるインテリジェントフレーム間引き技術を提供する。特に、説明する技術はフレーム間引きのための良好な候補フレームを識別するように設計された類似度メトリックを実装することができる。このようにして、ビデオシーケンスの閲覧者によって知覚される、フレーム間引きによって生じるビデオ品質の顕著な低下を従来のフレーム間引き技術に対して低減することができる。説明する技術は、圧縮領域において有効に動作する。
2011530221.tif 000002
【特許請求の範囲】
【請求項１】
ビデオシーケンスの現ビデオフレームと隣接フレームとの間の類似度を定量化する類似度メトリックであって、前記現フレームと前記隣接フレームとの間の差を示す圧縮領域内のデータに基づく類似度メトリックを生成する現フレームことと、
前記類似度メトリックがしきい値を満たすことを条件として前記現ビデオフレームを間引くことと、
を備える方法。
【請求項２】
前記方法は符号化方法であり、前記現ビデオフレームを間引くことは別のデバイスへの前記現ビデオフレームの送信を間引くことを含む請求項１に記載の方法。
【請求項３】
前記方法は復号方法であり、前記現ビデオフレームを間引くことは前記現ビデオフレームの予測復号を間引くことを含む請求項１に記載の方法。
【請求項４】
前記方法は復号方法であり、前記現ビデオフレームを間引くことは前記現ビデオフレームの後処理を間引くことを含む請求項１に記載の方法。
【請求項５】
前記方法は復号方法であり、前記現ビデオフレームを間引くことは前記現ビデオフレームの表示を間引くことを含む請求項１に記載の方法。
【請求項６】
前記類似度メトリックは、
前記現ビデオフレーム中のイントラビデオブロックの割合と、
動きベクトル大きさしきい値を超える動きベクトルを有する前記現ビデオフレーム中のビデオブロックの割合と、
動きベクトル方向しきい値によって定量化された際に方向が十分類似している動きベクトルを有する前記現ビデオフレーム中のビデオブロックの割合と、
１つまたは複数の非ゼロ係数しきい値よりも少ない非ゼロ変換係数を含む前記現ビデオフレーム中のビデオブロックの割合と、
に基づく請求項１に記載の方法。
【請求項７】
前記１つまたは複数の非ゼロ係数しきい値は、前記現ビデオフレーム中の前記ビデオブロックに関連する１つまたは複数の量子化パラメータの関数である請求項６に記載の方法。
【請求項８】
前記類似度メトリック（ＳＭ）は、
ＳＭ＝Ｗ１＊ＩｎｔｒａＭＢｓ％＋Ｗ２＊ＭＶｓ＿Ｍａｇｎｉｔｕｄｅ％＋Ｗ３＊ＭＶｓ＿Ｓａｍｅｄｉｒｅｃｔｉｏｎ％＋Ｗ４＊Ｎｚ％
からなり、
Ｗ１、Ｗ２、Ｗ３およびＷ４は重み係数であり、
ＩｎｔｒａＭＢｓ％は前記現ビデオフレーム中のイントラビデオブロックの前記割合であり、
ＭＶｓ＿Ｍａｇｎｉｔｕｄｅ％は前記動きベクトル大きさしきい値を超える前記現ビデオフレームに関連する動きベクトルの前記割合であり、
ＭＶｓ＿Ｓａｍｅｄｉｒｅｃｔｉｏｎ％は前記動きベクトル方向しきい値によって定量化された際に十分類似している前記現ビデオフレームに関連する動きベクトルの前記割合であり、
Ｎｚ％は前記１つまたは複数の非ゼロ係数しきい値よりも少ない非ゼロ変換係数を含む前記現ビデオフレーム中のビデオブロックの前記割合である、
請求項６に記載の方法。
【請求項９】
Ｗ１、Ｗ２、Ｗ３およびＷ４は、１つまたは複数のテストビデオシーケンスにおけるフレーム間引きの分析に基づいてあらかじめ定義される請求項８に記載の方法。
【請求項１０】
Ｗ１、Ｗ２、Ｗ３およびＷ４は、１つまたは複数のテストビデオシーケンスにおけるフレーム間引きの分析に基づいて異なるタイプのビデオ動きに対して異なる値を有するようにあらかじめ定義される請求項９に記載の方法。
【請求項１１】
前記類似度メトリックは、前記現ビデオフレーム内で間引かれたビデオブロックを含む前記現ビデオフレーム中のビデオブロックの割合に基づく請求項６に記載の方法。
【請求項１２】
前記方法は復号方法であり、前記現ビデオフレームを間引くことは、
前記類似度メトリックが第１のしきい値よりも大きいとき、前記現ビデオフレームを間引くことと、
前記類似度メトリックが第２のしきい値よりも大きく、前記フレームは１つまたは複数の他のフレームの予測符号化のために使用される参照フレームでないとき、前記現ビデオフレームを間引くことと、
を含む請求項１に記載の方法。
【請求項１３】
前記方法は復号デバイスによって実装される復号方法であり、前記しきい値は前記復号デバイス中の利用可能なバッテリ電力に基づいて調整される調整可能なしきい値である請求項１に記載の方法。
【請求項１４】
前記ビデオシーケンスのフレームレートを判断することと、
前記ビデオシーケンスの前記フレームレートがフレームレートしきい値を超えるときのみ前記類似度メトリックを生成し、前記類似度メトリックが前記しきい値を満たすことを条件として前記現ビデオフレームを間引くことと、
をさらに備える請求項１に記載の方法。
【請求項１５】
前記現フレームが破損していることを示す前記現ビデオフレームに関連する補足情報を識別することと、
前記現フレームが破損していることを前記補足情報が示すとき、前記現ビデオフレームを間引くことと、
をさらに備える請求項１に記載の方法。
【請求項１６】
前記現ビデオフレームを間引くことによりフレームレートがフレームレートしきい値を下回って低減されないときのみ、前記類似度メトリックが前記しきい値を満たすことを条件として前記現ビデオフレームを間引くこと、
をさらに備える請求項１に記載の方法。
【請求項１７】
ビデオシーケンスの現ビデオフレームと隣接フレームとの間の類似度を定量化する類似度メトリックであって、前記現フレームと前記隣接フレームとの間の差を示す圧縮領域内のデータに基づく類似度メトリックを生成現フレームすることと、前記類似度メトリックがしきい値を満たすことを条件として装置に前記現ビデオフレームを間引かせることとを行うフレーム間引きユニット、
を備える装置。
【請求項１８】
前記装置は符号化装置であり、前記フレーム間引きユニットは通信ユニットに別のデバイスへの前記現ビデオフレームの送信を間引かせる制御信号を生成する請求項１７に記載の装置。
【請求項１９】
前記装置は復号装置であり、前記フレーム間引きユニットは予測復号器に前記現ビデオフレームの予測復号を間引かせる制御信号を生成する請求項１７に記載の装置。
【請求項２０】
前記装置は復号装置であり、前記フレーム間引きユニットは後処理ユニットに前記現ビデオフレームの後処理を間引かせる制御信号を生成する請求項１７に記載の装置。
【請求項２１】
前記装置は復号装置であり、前記フレーム間引きユニットはディスプレイユニットに前記現ビデオフレームの表示を間引かせる制御信号を生成する請求項１７に記載の装置。
【請求項２２】
前記類似度メトリックは、
前記現ビデオフレーム中のイントラビデオブロックの割合と、
動きベクトル大きさしきい値を超える動きベクトルを有する前記現ビデオフレーム中のビデオブロックの割合と、
動きベクトル方向しきい値によって定量化された際に方向が十分類似している動きベクトルを有する前記現ビデオフレーム中のビデオブロックの割合と、
１つまたは複数の非ゼロ係数しきい値よりも少ない非ゼロ変換係数を含む前記現ビデオフレーム中のビデオブロックの割合と、
に基づく請求項１７に記載の装置。
【請求項２３】
前記１つまたは複数の非ゼロ係数しきい値は、前記現ビデオフレーム中の前記ビデオブロックに関連する１つまたは複数の量子化パラメータの関数である請求項２２に記載の装置。
【請求項２４】
前記類似度メトリック（ＳＭ）は、
ＳＭ＝Ｗ１＊ＩｎｔｒａＭＢｓ％＋Ｗ２＊ＭＶｓ＿Ｍａｇｎｉｔｕｄｅ％＋Ｗ３＊ＭＶｓ＿Ｓａｍｅｄｉｒｅｃｔｉｏｎ％＋Ｗ４＊Ｎｚ％
からなり、
Ｗ１、Ｗ２、Ｗ３およびＷ４は重み係数であり、
ＩｎｔｒａＭＢｓ％は前記現ビデオフレーム中のイントラビデオブロックの前記割合であり、
ＭＶｓ＿Ｍａｇｎｉｔｕｄｅ％は前記動きベクトル大きさしきい値を超える前記現ビデオフレームに関連する動きベクトルの前記割合であり、
ＭＶｓ＿Ｓａｍｅｄｉｒｅｃｔｉｏｎ％は前記動きベクトル方向しきい値によって定量化された際に十分類似している前記現ビデオフレームに関連する動きベクトルの前記割合であり、
Ｎｚ％は前記１つまたは複数の非ゼロ係数しきい値よりも少ない非ゼロ変換係数を含む前記現ビデオフレーム中のビデオブロックの前記割合である、
請求項２２に記載の装置。
【請求項２５】
Ｗ１、Ｗ２、Ｗ３およびＷ４は、１つまたは複数のテストビデオシーケンスにおけるフレーム間引きの分析に基づいてあらかじめ定義される請求項２４に記載の装置。
【請求項２６】
Ｗ１、Ｗ２、Ｗ３およびＷ４は、１つまたは複数のテストビデオシーケンスにおけるフレーム間引きの分析に基づいて異なるタイプのビデオ動きに対して異なる値を有するようにあらかじめ定義される請求項２５に記載の装置。
【請求項２７】
前記類似度メトリックは、前記現ビデオフレーム内で間引かれたビデオブロックを含む前記現ビデオフレーム中のビデオブロックの割合に基づく請求項２２に記載の装置。
【請求項２８】
前記装置は復号装置であり、前記フレーム間引きユニットは、予測符号化ユニットに、前記類似度メトリックが第１のしきい値よりも大きいとき前記現ビデオフレームの予測符号化を間引くことと、前記類似度メトリックが第２のしきい値よりも大きく、前記フレームが１つまたは複数の他のフレームの予測符号化のために使用される参照フレームでないとき前記現ビデオフレームの予測復号を間引くこととを行わせる請求項１７に記載の装置。
【請求項２９】
前記装置は復号装置であり、前記しきい値は前記復号装置中の利用可能なバッテリ電力に基づいて調整される調整可能なしきい値である請求項１７に記載の装置。
【請求項３０】
前記フレーム間引きユニットは、
前記ビデオシーケンスのフレームレートを判断し、
前記ビデオシーケンスの前記フレームレートがフレームレートしきい値を超えるときのみ、前記類似度メトリックが前記しきい値を満たすことを条件として前記現ビデオフレームを間引かせる、
請求項１７に記載の装置。
【請求項３１】
前記フレーム間引きユニットは、
前記現フレームが破損していることを示す前記現ビデオフレームに関連する補足情報を識別し、
前記現フレームが破損していることを前記補足情報が示すとき、前記現ビデオフレームを間引かせる、
請求項１７に記載の装置。
【請求項３２】
前記フレーム間引きユニットは、
前記現ビデオフレームを間引くことによりフレームレートがフレームレートしきい値を下回って低減されないときのみ、前記類似度メトリックが前記しきい値を満たすことを条件として前記現ビデオフレームを間引かせる、
請求項１７に記載の装置。
【請求項３３】
前記装置が集積回路を含む請求項１７に記載の装置。
【請求項３４】
前記装置はマイクロプロセッサを含む請求項１７に記載の装置。
【請求項３５】
ビデオシーケンスの現ビデオフレームと隣接フレームとの間の類似度を定量化する類似度メトリックであって、前記現フレームと前記隣接フレームとの間の差を示す圧縮領域内のデータに基づく類似度メトリックを生成する手段と、
前記類似度メトリックがしきい値を満たすことを条件として前記現ビデオフレームを間引く手段と、
を備えるデバイス。
【請求項３６】
前記類似度メトリックは、
前記現ビデオフレーム中のイントラビデオブロックの割合と、
動きベクトル大きさしきい値を超える関連する動きベクトルを有する前記現ビデオフレーム中のビデオブロックの割合と、
動きベクトル方向しきい値によって定量化された際に方向が十分類似している動きベクトルを有する前記現ビデオフレーム中のビデオブロックの割合と、
１つまたは複数の非ゼロ係数しきい値よりも少ない非ゼロ変換係数を含む前記現ビデオフレーム中のビデオブロックの割合と、
に基づく請求項３５に記載のデバイス。
【請求項３７】
前記１つまたは複数の非ゼロ係数しきい値は、前記現ビデオフレーム中の前記ビデオブロックに関連する１つまたは複数の量子化パラメータの関数である請求項３６に記載のデバイス。
【請求項３８】
前記類似度メトリック（ＳＭ）は、
ＳＭ＝Ｗ１＊ＩｎｔｒａＭＢｓ％＋Ｗ２＊ＭＶｓ＿Ｍａｇｎｉｔｕｄｅ％＋Ｗ３＊ＭＶｓ＿Ｓａｍｅｄｉｒｅｃｔｉｏｎ％＋Ｗ４＊Ｎｚ％
からなり、
Ｗ１、Ｗ２、Ｗ３およびＷ４は重み係数であり、
ＩｎｔｒａＭＢｓ％は前記現ビデオフレーム中のイントラビデオブロックの前記割合であり、
ＭＶｓ＿Ｍａｇｎｉｔｕｄｅ％は前記動きベクトル大きさしきい値を超える前記現ビデオフレームに関連する動きベクトルの前記割合であり、
ＭＶｓ＿Ｓａｍｅｄｉｒｅｃｔｉｏｎ％は前記動きベクトル方向しきい値によって定量化された際に十分類似している前記現ビデオフレームに関連する動きベクトルの前記割合であり、
Ｎｚ％は前記１つまたは複数の非ゼロ係数しきい値よりも少ない非ゼロ変換係数を含む前記現ビデオフレーム中のビデオブロックの前記割合である、
請求項３６に記載のデバイス。
【請求項３９】
前記デバイスは復号デバイスであり、前記現ビデオフレームを間引く手段は、
前記類似度メトリックが第１のしきい値よりも大きいとき、前記現ビデオフレームを間引く手段と、
前記類似度メトリックが第２のしきい値よりも大きく、前記フレームが１つまたは複数の他のフレームの予測符号化のために使用される参照フレームでないとき、前記現ビデオフレームを間引く手段と、
を含む請求項３５に記載のデバイス。
【請求項４０】
前記デバイスは復号デバイスであり、前記しきい値は前記復号デバイス中の利用可能なバッテリ電力に基づいて調整される調整可能なしきい値である請求項３５に記載のデバイス。
【請求項４１】
実行されると、デバイスに
ビデオシーケンスの現ビデオフレームと隣接フレームとの間の類似度を定量化する類似度メトリックであって、前記現フレームと前記隣接フレームとの間の差を示す圧縮領域内のデータに基づく類似度メトリックを生成する現フレームことと、
前記類似度メトリックがしきい値を満たすことを条件として前記現ビデオフレームを間引くことと、
を行わせる命令を備えるコンピュータ可読媒体。
【請求項４２】
前記類似度メトリックは、
前記現ビデオフレーム中のイントラビデオブロックの割合と、
動きベクトル大きさしきい値を超える関連する動きベクトルを有する前記現ビデオフレーム中のビデオブロックの割合と、
動きベクトル方向しきい値によって定量化された際に方向が十分類似している動きベクトルを有する前記現ビデオフレーム中のビデオブロックの割合と、
１つまたは複数の非ゼロ係数しきい値よりも少ない非ゼロ変換係数を含む前記現ビデオフレーム中のビデオブロックの割合と、
に基づく請求項４１に記載のコンピュータ可読媒体。
【請求項４３】
前記類似度メトリック（ＳＭ）は、
ＳＭ＝Ｗ１＊ＩｎｔｒａＭＢｓ％＋Ｗ２＊ＭＶｓ＿Ｍａｇｎｉｔｕｄｅ％＋Ｗ３＊ＭＶｓ＿Ｓａｍｅｄｉｒｅｃｔｉｏｎ％＋Ｗ４＊Ｎｚ％
からなり、
Ｗ１、Ｗ２、Ｗ３およびＷ４は重み係数であり、
ＩｎｔｒａＭＢｓ％は前記現ビデオフレーム中のイントラビデオブロックの前記割合であり、
ＭＶｓ＿Ｍａｇｎｉｔｕｄｅ％は前記動きベクトル大きさしきい値を超える前記現ビデオフレームに関連する動きベクトルの前記割合であり、
ＭＶｓ＿Ｓａｍｅｄｉｒｅｃｔｉｏｎ％は前記動きベクトル方向しきい値によって定量化された際に十分類似している前記現ビデオフレームに関連する動きベクトルの前記割合であり、
Ｎｚ％は前記１つまたは複数の非ゼロ係数しきい値よりも少ない非ゼロ変換係数を含む前記現ビデオフレーム中のビデオブロックの前記割合である、
請求項４２に記載のコンピュータ可読媒体。
【請求項４４】
前記デバイスは復号デバイスであり、前記命令は前記デバイスに、
前記類似度メトリックが第１のしきい値よりも大きいとき、前記現ビデオフレームの予測符号化、後処理および表示を間引くことと、
前記類似度メトリックが第２のしきい値よりも大きく、前記フレームは１つまたは複数の他のフレームの予測符号化のために使用される参照フレームでないとき、前記現ビデオフレームの予測復号、後処理、および表示を間引くことと、
を行わせる請求項４１に記載のコンピュータ可読媒体。
【請求項４５】
前記デバイスは復号デバイスであり、前記しきい値は前記復号デバイス中の利用可能なバッテリ電力に基づいて調整される調整可能なしきい値である請求項４１に記載のコンピュータ可読媒体。
【請求項４６】
前記命令は前記デバイスに、
前記ビデオシーケンスのフレームレートを判断することと、
前記ビデオシーケンスの前記フレームレートがフレームレートしきい値を超えるときのみ、前記類似度メトリックが前記しきい値を満たすことを条件として前記現ビデオフレームを間引くことと、
を行わせる請求項４１に記載のコンピュータ可読媒体。
【請求項４７】
ビデオシーケンスの現ビデオフレームと隣接フレームとの間の類似度を定量化する類似度メトリックであって、前記現フレームと前記隣接フレームとの間の差を示す圧縮領域内のデータに基づく類似度メトリックを生成する現フレームフレーム間引きユニットと、
前記類似度メトリックがしきい値を満たすことを条件として前記現ビデオフレームの送信を間引く通信ユニットと、
を備える符号化デバイス。
【請求項４８】
前記デバイスは無線通信ハンドセットを含む請求項４７に記載の符号化デバイス。
【請求項４９】
ビデオシーケンスの圧縮ビデオフレームを受信する通信ユニット、および
前記ビデオシーケンスの現ビデオフレームと隣接フレームとの間の類似度を定量化する類似度メトリックであって、前記現フレームと前記隣接フレームとの間の差を示す圧縮領域内のデータに基づく類似度メトリックを生成する現フレームことと、
前記類似度メトリックがしきい値を満たすことを条件として復号デバイスに前記現ビデオフレームを間引かせることと、
を行うフレーム間引きユニット
を備える復号デバイス。
【請求項５０】
前記デバイスは無線通信ハンドセットを含む請求項４９に記載の復号デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本特許出願は、本出願の譲受人に譲渡され、参照により本明細書に明確に組み込まれる、２００８年７月２９日に出願された仮出願第６１／０８４，５３４号の優先権を主張する。
【０００２】
本開示は、デジタルビデオ符号化に関し、より詳細には、ビデオ符号化またはビデオ復号におけるフレーム間引き（frame skipping）のための技術に関する。
【背景技術】
【０００３】
デジタルビデオシーケンスの符号化および復号のために、多くの様々なビデオ符号化技術が開発されている。例えば、Moving Picture Experts Group（ＭＰＥＧ）は、ＭＰＥＧ−１、ＭＰＥＧ−２およびＭＰＥＧ−４を含むいくつかの符号化規格を開発した。他の例示的な符号化技術には、ＩＴＵ−Ｔ Ｈ．２６３規格、およびＩＴＵ−Ｔ Ｈ．２６４規格およびその相対物（counterpart）、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４、Ｐａｒｔ １０、すなわち、Advanced Video Coding（ＡＶＣ）など、International Telecommunication Union（ＩＴＵ）によって開発された規格に記載されている技術がある。これらおよび他のビデオ符号化技術は、データを圧縮された形で符号化することによってビデオシーケンスの効率的な送信をサポートする。圧縮は、所定のビデオシーケンスを通信するためにデバイス間で送信する必要があるデータの量を低減する。
【０００４】
ビデオ圧縮は、ビデオシーケンスに固有の冗長性を低減するために空間予測および／または時間予測を伴い得る。イントラ符号化は、空間予測を使用して同じビデオフレーム内のビデオブロックの空間冗長性を低減する。インター符号化は、時間予測を使用して連続するビデオフレーム中のビデオブロック間の時間冗長性を低減する。インター符号化の場合、ビデオ符号器が動き推定を行って１つまたは複数の参照フレーム中の対応する予測ビデオブロックに対するビデオブロックの変位（displacement）を示す動きベクトルを生成する。ビデオ符号器は、動き補償を行って参照フレームから予測ビデオブロックを生成し、符号化されている元のビデオブロックから予測ビデオブロックを減算することによって残差ビデオブロックを形成する。
【０００５】
フレーム間引きは、一般に多種多様な理由で符号化デバイスおよび復号デバイスによって実装される。一般に、フレーム間引きは符号器または復号器において１つまたは複数のフレームの処理、符号化、復号、送信、または表示を意図的に回避する技術を指す。フレーム間引きを使用すると、ビデオシーケンスに関連するフレームレートが低減され、通常、ビデオシーケンスの品質がある程度劣化し得る。例えば、ビデオ符号化アプリケーションは、ビデオシーケンスの通信に関連する低帯域幅要件（low bandwidth requirements）を満たすためにフレーム間引きを実装することができる。代替的に、ビデオ復号アプリケーションは、復号デバイスによる電力消費量を低減するためにフレーム間引きを実装することができる。
【発明の概要】
【０００６】
本開示は、フレーム間引きによる品質劣化を最小限に抑えるのを助けることができる方法でフレーム間引きを可能にするために、符号化デバイスまたは復号デバイスによって使用できるインテリジェントフレーム間引き技術を提供する。特に、ここで説明する技術は、フレーム間引きのための良好な候補フレームを識別するように設計された類似度メトリック（similarity metric）を実装することができる。ここで開示する技術によれば、ビデオシーケンスの閲覧者によって知覚される、フレーム間引きによって生じるビデオ品質の顕著な低下を従来のフレーム間引き技術に対して低減することができる。ここで説明する技術は、ビデオシーケンスを送信するのに必要な帯域幅を低減するために符号器によって実装され得る。代替的に、ここで説明する技術は、電力消費量を低減するために復号器によって実装され得る。復号器の場合、本技術は１つまたは複数のフレームに対して復号を完全に間引くか、あるいは１つまたは複数のフレームの後処理および／または表示を単に間引くように実装され得る。
【０００７】
ここで説明する技術は、圧縮領域において有効に動作する。特に、本技術はフレーム間引き決定を行うために圧縮領域における符号化データに依拠し得る。当該データは、ビデオブロックタイプを識別する符号化シンタックスと、動きベクトルの大きさおよび方向を識別する動き情報などの他のシンタックスとを含むことができる。さらに、当該データはビデオブロックに関連する係数値、すなわち変換係数値を含むことができる。圧縮領域における当該情報に基づいて、選択的フレーム間引きを可能にするために類似度メトリックを定義し、次いで使用する。このようにして、本開示の技術は復号された画素領域ではなく、圧縮領域においてフレーム間引き決定を行い、ビデオシーケンスの知覚品質を大幅に劣化させないフレーム間引きを促進する。
【０００８】
一例では、本開示はビデオシーケンスの現ビデオフレームと隣接フレームとの間の類似度を定量化する類似度メトリックであって、現フレームと隣接フレームとの間の差を示す圧縮領域内のデータに基づく類似度メトリックを生成することと、類似度メトリックがしきい値を満たすことを条件として現ビデオフレームを間引くことと、を備える方法を提供する。
【０００９】
別の例では、本開示はビデオシーケンスの現ビデオフレームと隣接フレームとの間の類似度を定量化する類似度メトリックであって、現フレームと隣接フレームとの間の差を示す圧縮領域内のデータに基づく類似度メトリックを生成することと、類似度メトリックがしきい値を満たすことを条件として装置に現ビデオフレームを間引かせることと、を行うフレーム間引きユニットを備える装置を提供する。
【００１０】
別の例では、本開示はビデオシーケンスの現ビデオフレームと隣接フレームとの間の類似度を定量化する類似度メトリックであって、現フレームと隣接フレームとの間の差を示す圧縮領域内のデータに基づく類似度メトリックを生成する手段と、類似度メトリックがしきい値を満たすことを条件として現ビデオフレームを間引く手段と、を備えるデバイスを提供する。
【００１１】
別の例では、本開示はビデオシーケンスの現ビデオフレームと隣接フレームとの間の類似度を定量化する類似度メトリックであって、現フレームと隣接フレームとの間の差を示す圧縮領域内のデータに基づく類似度メトリックを生成するフレーム間引きユニットと、類似度メトリックがしきい値を満たすことを条件として現ビデオフレームの送信を間引く通信ユニットと、を備える符号化デバイスを提供する。
【００１２】
別の例では、本開示はビデオシーケンスの圧縮ビデオフレームを受信する通信ユニット、およびビデオシーケンスの現ビデオフレームと隣接フレームとの間の類似度を定量化する、現フレームと隣接フレームとの間の差を示す圧縮領域内のデータに基づく類似度メトリックを生成することと、類似度メトリックがしきい値を満たすことを条件として復号デバイスに現ビデオフレームを間引かせることと、を行うフレーム間引きユニットを備える復号デバイスを提供する。
【００１３】
本開示で説明する技術は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組合せで実装され得る。ソフトウェアで実装した場合、ソフトウェアは１つまたは複数のプロセッサによって実行され得る。ソフトウェアは、最初にコンピュータ可読媒体に記憶され、実行のためにプロセッサによってロードされ得る。従って、本開示は１つまたは複数のプロセッサに、本開示で説明する技術を実行させる命令を備えるコンピュータ可読媒体を企図する。
【００１４】
例えば、いくつかの態様では、本開示は実行されるとデバイスにビデオシーケンスの現ビデオフレームと隣接フレームとの間の類似度を定量化する類似度メトリックであって、現フレームと隣接フレームとの間の差を示す圧縮領域内のデータに基づく類似度メトリックを生成することと、類似度メトリックがしきい値を満たすことを条件として現ビデオフレームを間引くことと、を行わせる命令を備えるコンピュータ可読媒体を提供する。
【００１５】
開示する技術の１つまたは複数の態様の詳細を添付の図面および以下の説明に示す。他の特徴、目的および利点は、説明および図面ならびに特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【００１６】
【図１】本開示に一致する復号器デバイスにおいてフレーム間引きを実装するように構成されたビデオ符号化および復号システムを示すブロック図。
【図２】本開示に一致する符号器デバイスにおいてフレーム間引きを実装するように構成されたビデオ符号化および復号システムを示すブロック図。
【図３】本開示の技術に従ってフレーム間引きを実装するように構成されたビデオ復号器デバイスの一例を示すブロック図。
【図４】復号器デバイスにおいて実行され得るフレーム間引き技術を示すフロー図。
【図５】符号器デバイスにおいて実行され得るフレーム間引き技術を示すフロー図。
【図６】例示的な類似度メトリックを生成し、類似度メトリックに基づいてフレーム間引きを行う技術を示すフロー図。
【図７】復号器デバイスによって実行され得るフレーム間引き技術を示すフロー図。
【発明を実施するための形態】
【００１７】
本開示は、フレーム間引きによる品質劣化を最小限に抑えるのを助けることができる方法で、フレーム間引きを可能にするために符号化デバイスまたは復号デバイスによって使用できるインテリジェントフレーム間引き技術を提供する。特に、本開示はフレーム間引きのための良好な候補フレームを識別するように設計された類似度メトリックの使用について説明する。一般的な意味では、類似度メトリックは間引かれなかった隣接フレームに十分類似しているフレームを識別するために使用できる。隣接フレームは、検討されている現フレームに時間的に隣接している、シーケンスの前または後続のフレームとすることができる。現フレームがフレーム間引きのための良好な候補であるかどうかを識別することによって、フレーム間引きは表示されたビデオシーケンスの品質に対して無視できる影響しか及ぼさなくなる。さらに、フレーム間引き決定を可能にするために類似度メトリックを使用することによって、ビデオシーケンスの閲覧者によって知覚される、フレーム間引きによって生じるビデオ品質の顕著な低下を従来のフレーム間引き技術に対して低減することができる。
【００１８】
ここで説明する技術は、ビデオシーケンスを送信するのに必要な帯域幅を低減するために符号器によって実装され得る。代替的に、ここで説明する技術は、電力消費量を低減するために復号器によって実装され得る。復号器における電力低減のために、本技術は１つまたは複数のフレームに対して復号を完全に間引くか、あるいは復号された１つまたは複数のフレームの後処理および／または表示を単に間引くように実装され得る。後処理は、極めて電力集約的となる。従って、フレームが復号された場合でも、電力消費量を低減するために、そのようなフレームの後処理および表示を間引くことが依然として望ましいことがある。
【００１９】
ここで説明する技術は、有利には圧縮領域において動作する。圧縮領域におけるビデオデータは、ビデオブロックタイプ、動きベクトルの大きさおよび方向、ならびにビデオブロックの他の特性を識別するシンタックスなど、様々なシンタックス要素を含むことができる。さらに、圧縮領域においてビデオデータは非圧縮画素値ではなく圧縮変換係数を含むことができる。離散コサイン変換（ＤＣＴ）係数または概念的に類似の係数などの変換係数は、周波数領域における画素値のセットの集合的表現を含むことができる。いずれの場合も、本開示の技術はフレーム間引き決定を行うために圧縮領域における符号化データに依拠することができる。特に、圧縮領域における当該情報に基づいて、類似度メトリックをフレームに対して定義し、次いでそのフレームを間引くべきかどうかを判断するために１つまたは複数のしきい値と比較する。場合によっては、圧縮領域におけるデータに基づいて定義された類似度メトリックを使用して、例えば、復号プロセスの後のフレーム間引きを制御することによって、復号された非圧縮領域におけるフレーム間引き決定を可能にすることができる。
【００２０】
図１は、本開示に一致する、ビデオ復号器デバイス２２においてフレーム間引きを実装するように構成されたビデオ符号化および復号システム１０を示すブロック図である。図１に示すように、システム１０はビデオ符号器デバイス１２とビデオ復号器デバイス２２とを含むことができ、各々は一般にビデオコーダデバイスと呼ばれることがある。図１の例では、ビデオ符号器デバイス１２は入力ビデオフレーム１４を符号化して符号化ビデオフレーム１８を生成する。特に、符号化ユニット１６は入力フレーム１４に対してイントラ予測またはインター予測符号化などの１つまたは複数のビデオ符号化技術を実行することができる。符号化ユニット１６は、また１つまたは複数の変換、量子化演算、およびエントロピー符号化プロセスを実行することができる。通信ユニット１９は、、通信チャネル１５を介して符号化ビデオフレーム１８をビデオ復号器デバイス２２の通信ユニット２１に送信することができる。
【００２１】
ビデオ復号器デバイス２２は、場合によっては１つまたは複数の破損したフレームを含む、ソースデバイス１２から送信された符号化フレーム１８を含み得る符号化フレーム２４を受信する。図１の例では、ビデオ復号器デバイス２２はビデオ復号器デバイス２２において電力を節約するために本開示のフレーム間引き技術を実行するフレーム間引きユニット２６を含む。フレーム間引きユニット２６は、間引くことが可能な１つまたは複数のフレームを識別する。そのようなフレーム間引きは、復号ユニット２８による１つまたは複数のフレームの復号の間引きを伴い得る。代替的に、フレーム間引きは復号ユニット２８によるフレームの復号の後の１つまたは複数のフレームの後処理および／または表示の間引きを伴い得る。いずれの場合も、符号化フレーム２４のうちの１つまたは複数が出力フレーム２９の復号、後処理、および／または表示において間引かれる限り、出力フレーム２９は符号化フレーム２４のサブセットを含み得る。
【００２２】
以下さらに詳細に略述するように、フレーム間引き決定は、圧縮データ、例えば、符号化フレーム２４に関連するデータに基づいて実行され得る。この場合も、そのようなデータは符号化フレーム２４に関連するシンタックスおよび場合によっては変換係数を含むことができる。フレーム間引きユニット２６は、現フレームがビデオシーケンス中の前フレームに十分類似しているかどうかを判断するために、符号化データに基づいて類似度メトリックを生成することができ、この類似度メトリックは大幅な品質劣化を生じることなしに現フレームを間引くことができるか否かを示すことができる。
【００２３】
符号化フレーム２４は、例えば、１５、３０、または６０フレーム毎秒（ｆｐｓ）などのフレームレートを定義することができる。フレーム間引きユニット２６は、１つまたは複数のフレームを間引くことによって、符号化フレーム２４に対して出力フレーム２９に関連するフレームレートを効果的に低減することができる。この場合も、フレーム間引きは１つまたは複数のフレームの復号を間引くこと、すべてのフレームの復号の後の１つまたは複数のフレームの任意の後処理を間引くこと、あるいは場合によってはすべてのフレームの復号および後処理の後の１つまたは複数のフレームの表示を間引くことを含むことができる。後処理ユニットは、簡単のために図１に示していないが、以下でさらに詳細に論じる。
【００２４】
通信ユニット１９は変調器と送信機とを備え、通信ユニット２１は復調器と受信機とを備えることができる。符号化フレーム１８は、通信規格、例えば符号分割多元接続（ＣＤＭＡ）または別の通信規格もしくは技術などに従って変調され、通信ユニット１９を介して宛先デバイス通信ユニット２１に送信される。通信ユニット１９および２１は、様々なミキサ、フィルタ、増幅器、または信号変調用に設計された他の構成要素（component）、ならびに増幅器、フィルタ、および１つまたは複数のアンテナを含む、データ送信用に設計された回路を含むことができる。通信ユニット１９および２１は、デバイス１２とデバイス２２との間の双方向通信をサポートするために対称的に動作するように設計され得る。デバイス１２および２２は、任意のビデオ符号化または復号デバイスを備えることができる。一例では、デバイス１２および２２は、いわゆるセルラーまたは衛星無線電話などの無線通信デバイスハンドセットを備える。デバイス１２とデバイス２２との間の相互双方向通信の場合、デバイス１２および２２の符号化ユニット１６および復号ユニット２８は、ビデオシーケンスを符号化および復号可能な符号器／復号器（コーデック）をそれぞれ備えることができる。
【００２５】
通信チャネル１５は、無線周波数（ＲＦ）スペクトルまたは１つもしくは複数の物理的伝送線路など、無線または有線の任意の通信媒体、あるいは無線および有線の媒体の任意の組合せを備えることができる。通信チャネル１５は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースのネットワークを含むことができる。さらに、通信チャネル１５は、ユーザデバイス間の情報の通信用に設計された基地局または他の機器を含む、無線セルラー通信ネットワークを含むことができる。基本的に、通信チャネル１５はビデオデータをビデオ符号器デバイス１２からビデオ復号器デバイス２２に送信するための任意の適切な通信媒体、あるいは様々な通信媒体、デバイスまたは他の要素の集合を表す。
【００２６】
ビデオ符号器デバイス１２およびビデオ復号器デバイス２２は、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せとして実装され得る。
【００２７】
図２は、本開示に一致するビデオ符号器デバイス３２においてフレーム間引きを実装するように構成されたビデオ符号化および復号システム３０を示すブロック図である。図２のシステム３０は、図１のシステム１０と同様である。ただし、システム３０では、フレーム間引きユニット３７がビデオ復号器デバイス４２ではなく、ビデオ符号器デバイス３２中に含まれる。この場合、ビデオ符号器デバイス３２はビデオシーケンスを送信するのに必要な帯域幅を低減するためにフレーム間引きを実行する。特に、ビデオ符号器デバイス３２においてインテリジェントフレーム間引きを実行することによって、品質劣化を緩和しながら、通信チャネル３５を介して送信されるビデオデータの量を低減することができる。
【００２８】
ビデオ符号器デバイス３２は、符号化ユニット３６を呼び出して、入力フレーム３４を符号化する。フレーム間引きユニット３７は、符号化フレーム３８から１つまたは複数のフレームを除去するために、圧縮領域においてフレーム間引きを実行する。通信ユニット３９は、符号化フレーム３８を変調し、通信チャネル３５を介してビデオ復号器デバイス４２の通信ユニット４１に送信する。
【００２９】
ビデオ復号器デバイス４２は、復号ユニット４６を呼び出し、場合によってはフレームの通信中の情報損失によりフレームの１つまたは複数が破損した、符号化フレーム３８に対応する受信フレーム４４を復号する。出力フレーム４８は、ビデオ復号器デバイス４２によって、例えばディスプレイを介して出力され得る。出力フレーム４８の出力の前に後処理が実行されるが、簡単のために後処理構成要素は図２に示していない。図２に示す様々なユニットおよび要素は、上記でより詳細に説明した、図１中の同様の名称が付けられた要素と同様または同じとすることができる。
【００３０】
システム１０および３０は、ビデオ電話、ビデオストリーミング、ビデオブロードキャストなどのために構成され得る。従って、相互符号化、復号、多重化（ＭＵＸ）および逆多重化（ＤＥＭＵＸ）構成要素を符号化デバイス１２、３２および復号デバイス２２、４２の各々に設けることができる。いくつかの実装形態では、符号化デバイス１２、３２および復号デバイス２２、４２は、いわゆる無線ビデオ電話またはカメラ付き携帯電話など、ビデオストリーミング、ビデオブロードキャスト受信、および／またはビデオ電話のために装備された無線モバイル端末などのビデオ通信デバイスを備えることができる。
【００３１】
そのような無線通信デバイスは、無線通信、オーディオ符号化、ビデオ符号化、およびユーザインターフェース機能をサポートするための様々な構成要素を含む。例えば、無線通信デバイスは、１つまたは複数のプロセッサ、オーディオ／ビデオ符号器／復号器（ＣＯＤＥＣ）、メモリ、１つまたは複数のモデム、増幅器などの送信受信（ＴＸ／ＲＸ）回路、周波数変換器、フィルタなどを含むことができる。さらに、無線通信デバイスは、画像およびオーディオキャプチャデバイス、画像およびオーディオ出力デバイス、関連するドライバ、ユーザ入力メディアなどを含むことができる。図１および図２に示す構成要素は、本開示のインテリジェントフレーム間引き技術について説明するのに必要な構成要素にすぎず、符号化デバイス１２、３２および復号デバイス２２、４２は多くの他の構成要素を含むことができる。
【００３２】
符号化デバイス１２、３２および復号デバイス２２、４２または両方は、上述した無線または有線通信デバイスを備えるか、あるいはそのような無線または有線通信デバイスに組み込まれ得る。また、符号化デバイス１２、３２および復号デバイス２２、４２または両方は、無線または有線通信デバイスに組み込むことができる集積回路チップまたはチップセットなどの集積回路デバイス、あるいはデジタルメディアプレーヤ、携帯情報端末（ＰＤＡ）、デジタルテレビジョンなど、デジタルビデオアプリケーションをサポートする別のタイプのデバイスとして実装され得る。
【００３３】
システム１０および３０は、セッション開始プロトコル（ＳＩＰ）、ＩＴＵ−Ｔ Ｈ．３２３規格、ＩＴＵ−Ｔ Ｈ．３２４規格、または他の規格に従ってビデオ電話をサポートすることができる。符号化デバイス１２、３２は、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４、またはＭＰＥＧ−４、Ｐａｒｔ１０などのビデオ圧縮規格に従って符号化ビデオデータを生成することができる。図１および図２には示されていないが、符号化デバイス１２、３２および復号デバイス２２、４２は、一体化されたオーディオ符号器および復号器を備え、データストリームのオーディオ部分とビデオ部分の両方を処理するために適切なハードウェアおよびソフトウェア構成要素を含むことができる。
【００３４】
図１および図２に示す様々なビデオフレームは、イントラフレーム（Ｉフレーム）、予測フレーム（Ｐフレーム）、および双方向予測フレーム（Ｂフレーム）を含むことができる。Ｉフレームは、空間符号化技術を使用してすべてのビデオ情報を完全に符号化するフレームであるが、ＰフレームおよびＢフレームは、時間符号化技術に基づいて符号化される予測符号化フレームの例である。符号化フレームは、フレームを形成する一連のビデオブロックを表す情報を含むことができる。ビデオデータの１６×１６マクロブロック、より小さいマクロブロックパーティション、または他のブロックを含むことができるビデオブロックは、例えば、輝度（Ｙ）、クロミナンス赤（Ｃｒ）およびクロミナンス青（Ｃｂ）色チャネルの画素値を定義するビットを含むことができる。予測フレームであるフレームは、一般にビデオシーケンス中の他のインター符号化されたフレームの復号のための参照フレームとして、すなわち、別のフレームの動き推定および動き補償のための参照として役立つ。符号化規格に応じて、どのフレームも他のフレームのデータを予測するために使用される予測フレームとされ得る。ただし、いくつかの規格では、ＩフレームおよびＰフレームのみを予測フレームとすることがあり、Ｂフレームは他のフレームのデータを予測するために使用できない非予測フレームを含む。
【００３５】
符号化プロセスの後、ビデオブロックの画素値を定義するビットを周波数領域における画素値を集合的に表す変換係数に変換することができる。圧縮フレームの圧縮ビデオブロックは、残差データを表す変換係数のブロックを含むことができる。圧縮ビデオブロックは、またビデオブロックのタイプを識別するシンタックスを含み、インター符号化ブロックでは動きベクトルの大きさおよび方向を含む。動きベクトルは予測ブロックを識別し、予測ブロックはビデオブロックを復号するために画素領域中の残差データと組み合わせることができる。
【００３６】
電力消費量は、電力が限られたデバイス上のビデオ再生にとって重大な問題である。図３は、そのような電力が限られた復号デバイス５０の例示的なブロック図である。デバイス５０は、復号ユニット５２と、内部メモリバッファ５４と、後処理ユニット５６と、ディスプレイユニット５８とを含む。さらに、デバイス５０は電力節約のためフレームを間引くために本開示の技術のうちの１つまたは複数を実行するフレーム間引きユニット５５を含む。デバイス５０は、バッテリ電源式デバイスとすることができ、その場合、１つまたは複数のバッテリ（図示せず）は図３に示す様々なユニットに電力供給する。デバイス５０は、また別のデバイスから符号化データのビットストリームを受信する通信ユニット（図示せず）を含むことができる。
【００３７】
復号ユニット５２は、例えば、デバイス５０に関連する通信ユニットからビットストリームを受信する。復号および再構成プロセス中に、復号ユニット５２は外部メモリ（図示せず）から任意の参照フレームをフェッチし、内部メモリバッファ５４に保存することができる。復号ユニット５２とは異なる集積回路上に形成され得るいわゆる「外部メモリ」とは対照的に、メモリバッファ５４は、復号ユニット５２と同じ集積回路上に形成できる限り「内部」と呼ばれる。ただし、メモリの場所およびフォーマットは、異なる例および実装形態では異なる可能性がある。
【００３８】
ビットストリームを受信すると、ビットストリームパーサ６２は圧縮領域において符号化ビデオブロックを含むビットストリームを構文解析（parse）する。例えば、ビットストリームパーサ６２は、ビットストリームの符号化シンタックスおよび符号化係数を識別することができる。エントロピー復号器６４は、例えばコンテンツ適応型可変長符号化（ＣＡＶＬＣ）技術、コンテキスト適応型バイナリ算術符号化（ＣＡＢＡＣ）技術、または他の可変長符号化技術を実行することによってビットストリームのエントロピー復号を実行する。逆量子化および逆変換ユニット６６は、データを周波数領域から画素領域に戻して変換し、画素値を逆量子化することができる。
【００３９】
予測復号器６８は、イントラビデオブロックの空間ベースの復号およびインタービデオブロックの時間ベースの復号など、予測ベースの復号技術を実行する。予測復号器６８は、例えばシンタックスによって識別できる、ビデオブロックのイントラモードに基づいて、空間ベースの予測データを生成する様々な空間ベースの構成要素を含むことができる。予測復号器６８は、また例えば動きベクトルまたは他のシンタックスに基づいて時間ベースの予測データを生成する、動き推定および動き補償ユニットなどの様々な時間ベースの構成要素を含むことができる。予測復号器６８は、シンタックスに基づいて予測ブロックを識別し、受信ビットストリーム中に含まれるデータの符号化残差ブロックに予測ブロックを追加することによって、元のビデオブロックを再構成する。予測復号器６８は、フレームを再構成するためにフレームのビデオブロックのすべてを予測的に復号することができる。
【００４０】
後処理ユニット５６は、再構成されたフレームに対して任意の後処理を実行する。後処理ユニット５６は、多種多様な後処理タスクのいずれかのための構成要素を含むことができる。後処理タスクは、スケーリング、混合（blending）、クロッピング、回転、鮮鋭化（sharpening）、ズーミング、フィルタ処理、フリッキング除去、リンギング除去、デブロッキング、サイズ変更、デインターレーシング、ノイズ除去（de-noising）、またはビデオフレームの再構成の後に所望され得る任意の他のイメージング効果などを含むことができる。後処理ユニット５６による後処理の後、画像フレームをメモリバッファ５４に一時的に記憶し、ディスプレイユニット５８上に表示することができる。
【００４１】
本開示によれば、デバイス５０はフレーム間引きユニット５５を含む。フレーム間引きユニット５５は、間引くことが可能な１つまたは複数のフレームを識別する。特に、フレーム間引きユニット５５は、例えば、ビットストリームパーサ６２によって構文解析された、受信され構文解析されたビットストリームを検査する。このポイントにおいて、受信ビットストリームは依然として圧縮領域にある。この場合も、そのようなデータは符号化フレームに関連するシンタックスおよび場合によっては変換係数を含むことができる。フレーム間引きユニット５５は、符号化データに基づいて類似度メトリックを生成することができる。フレーム間引きユニット５５は、例えば、典型的には類似度メトリックがしきい値のうちの１つまたは複数を超えるかどうかを判断するために類似度メトリックを１つまたは複数のしきい値と比較することによって、類似度メトリックがしきい値を満たすかどうかを判断するために、類似度メトリックを１つまたは複数のしきい値と比較することができる。このようにして、類似度メトリックは現フレームがビデオシーケンス中の前の間引かれなかったフレームに十分類似しているかどうかをフレーム間引きユニット５５が定量化することができる機構であり、この機構は大幅な品質劣化を生じることなしに現フレームを間引くことができるか否かを示すことができる。
【００４２】
フレーム間引きは、予測復号器６８による１つまたは複数のフレームの復号の間引きを含むことができる。この場合、フレーム間引きユニット５５は、フレーム間引きユニット５５によって識別された１つまたは複数のフレームの復号を中断するための制御信号を予測復号器６８に送信することができる。代替的に、フレーム間引きはフレームの復号の後の１つまたは複数のフレームの後処理の間引きを含むことができる。この場合、フレーム間引きユニット５５は、フレーム間引きユニット５５によって識別された１つまたは複数のフレームの後処理を中断するための制御信号を後処理ユニット５６に送信することができる。これらの場合の各々では、ディスプレイユニット５８による１つまたは複数の間引かれたフレームの表示も中断される。ディスプレイユニット５８によるフレーム間引きを引き起こすために、必要に応じてディスプレイユニット５８に制御信号を供給することもできる。ただし、例えばフレームの復号または後処理を中断することによってそのフレームの処理がより初期に中断された場合は、特にディスプレイユニット５８に対して制御信号が必要とされないことがある。それでも、本開示は予測復号器６８、後処理ユニット５６またはディスプレイユニット５５におけるフレーム間引きを企図し、そのようなフレーム間引きを引き起こすために、これらのユニットのいずれかにフレーム間引きユニット５５から制御信号を供給することができる。
【００４３】
いくつかの例では、フレーム間引きユニット５５はフレーム間引きのための良好な候補を識別し、その良好な候補を予測復号器６８、後処理ユニット５６、または両方に通知することができる。この場合、予測復号器６８および／または後処理ユニット５６は、例えば、利用可能な電力に基づいてフレームを間引くべきか否かに関する判断を実際に実行することができる。従って、フレーム間引きユニット５５はフレーム間引きのための良好な候補を識別し、予測復号器６８、後処理ユニット５６または両方などの他のユニットによるインフォームドフレーム間引き決定を可能にすることができる。
【００４４】
時々、フレームのビデオブロックが予測復号器６８によって再構成された後になるまで、フレーム間引きを実行すべきかどうかが決定されないか知られないことがある。そのような場合、後処理ユニット５６におけるフレーム間引きは、必要とされる大幅な電力節約を依然として達成することができる。本開示の技術によれば、フレーム間引きユニット５５はフレームを復号し、再構成する前に、そのようなフレームがフレーム間引きのための良好な候補であるかどうかを判断することができる。これらの判断は、フレーム復号の前に、または場合によってはフレーム復号の後に使用できる。フレーム間引きユニット５５は、そのようなフレームの処理におけるごく初期に圧縮領域におけるデータに対して動作する。電力節約が必要な場合、フレーム間引きユニット５５によるフレーム間引きのための良好な候補の識別を後の処理の任意の段階で使用することができる。いずれの場合も、フレーム間引き決定のために圧縮領域において動作する方が非圧縮領域において動作するよりも、使用する電力が少なくて済む。従って、データの展開後にフレーム間引きが行われる場合でさえ、フレーム間引き決定を非圧縮データに基づいて行うことが望ましいことがある。
【００４５】
一例では、予測復号器６８によって再構成されるデータのフレームは、１．５ｘフレームレートにおいて３２０画素×２４０画素のフレームを含むことができる（ｘは実数）。ユニット５６の後処理がＱＶＧＡからＶＧＡへのスケーリングを実行すると仮定するならば、後処理ユニット５６の出力は、３ｘフレームレートにおいて６４０画素×４８０画素のフレームを含むことができる。この場合、後処理にかなりの電力を消費することがある。従って、特に予測復号プロセスの後までフレームを間引くべきかどうかが知られないときは、フレームの予測復号の後に後処理を中断し、フレームを間引くことが依然として望ましいことがある。さらに、ディスプレイユニット５８によるフレームの表示もかなりの量の電力を消費するので、予測復号プロセスの後までフレームを間引くべきかどうかが知られないときでさえ、表示されるフレームの数を減らすことは、デバイス５０における電力消費量を低減するための良好な方法となることができる。
【００４６】
一例では、復号器ユニット５２はＩＴＵ−Ｔ Ｈ．２６４規格に準拠し、受信ビットストリームはＩＴＵ−Ｔ Ｈ．２６４対応ビットストリームを含むことができる。ビットストリームパーサ６２は、受信ビットストリームを構文解析してビットストリームからシンタックスを分離し、可変長復号器６４は、ビットストリームの可変長復号を行って残差ビデオブロックに関連する量子化変換係数を生成する。量子化変換係数は、ダイレクトメモリアクセス（ＤＭＡ）を介してメモリバッファ５４に記憶され得る。メモリバッファ５４は、コーデックプロセッサコアの一部を含むことができる。動きベクトルおよび他の制御またはシンタックス情報も、例えばいわゆるａＤＳＰ  ＥＸＰインタフェースを使用してメモリバッファに書き込まれ得る。
【００４７】
逆量子化および逆変換ユニット６６は、データを逆量子化し、データを画素領域に変換する。予測復号器６８は、動き推定補償（ＭＥＣ）を行い、場合によってはデブロックフィルタ処理を実行することができる。次いで、予測復号器６８は再構成されたフレームをメモリバッファ６８に書き戻す。全プロセス中、デバイス５０は本明細書で説明するように１つまたは複数のフレームを間引くことによって電力を節約するようにプログラムされ得る。ビデオ復号器５２の電力消費量は、表示フレームレートにほぼ比例することがある。
【００４８】
復号され、後処理され、および／または表示されるフレームがより少ないと、より多くの電力が節約される。しかしながら、より少ないフレームが表示されると、ビデオ品質劣化が生じる。言い換えれば、残りのビデオ特性が同様であると仮定すれば、より低いフレームレートを有する再生シーケンスは、通常、比較的より高いフレームレートにおけるシーケンスに対してより低い品質を有する。本開示の技術は、フレーム間引きが行われるときのそのような品質低下を低減するかまたはなくすことができる。
【００４９】
本明細書で説明する技術の１つの基本目標は、視覚的品質への大幅な不利益を招くことなしに表示フレームレートを低減することによって電力を節約することである。品質劣化を制限するために、提案する節電フレーム選択方式では、フレーム間引き決定を行うために類似度メトリックを使用する。
【００５０】
品質劣化をなくすことに関してフレーム間引きを有効にするために、フレーム間引き技術は以下の規則の一部または全部に従うことができる。予測復号器６８によるフレーム間引きでは、数個の基本規則が存在し得る。第１に、フレームが他のフレームを予測するために使用されない非参照フレームであり、そのフレームを破棄しても品質劣化が生じない（例えば、ジャーキネスがない）場合、予測復号器６８はフレーム間引きユニット５５の指示でそのフレームを間引くことができる。第２に、フレームが別のフレームを予測するために使用される参照フレームであるが、ひどく破損している場合、予測復号器６８はフレーム間引きユニット５５の指示でそのフレームを間引くことができる。他の場合、予測復号器６８はフレームを再構成するためにフレームのビデオブロックのすべてを復号し、再構成することができる。
【００５１】
フレーム表示では、やはり基本規則が存在し得る。例えば、フレーム間引きユニット５５はビデオシーケンスの隣接フレーム、例えば、前に表示されたフレームまたは後で表示されるフレームに対する表示すべきフレームの類似度を検査することができる。表示すべきフレームが隣接の間引かれなかったフレームに極めて類似している場合、復号ユニット６８による復号を回避し、後処理ユニット５６による後処理を回避し、および／またはディスプレイユニット５８による表示すべきフレームの表示を回避することができる。以下でさらに詳細に論じる類似度メトリックは、この類似度検査を可能にすることができ、場合によっては予測復号器６８および後処理ユニット５６のためのフレーム間引き決定を可能にするために使用できる。ただし、規定された数のフレームを超えて連続的に間引かないことが望ましいことがあり、従って、デバイス５０の構成要素はフレームレートの下限しきい値を定義することができる。この場合、フレーム間引きによりフレームレートがフレームレートのこの下限しきい値を下回るならば、フレーム間引きユニット５５はいかなるフレーム間引きも生じさせることができない。また、所定のフレームレートにおいてさえ、全体的なフレームレートが比較的高いままである場合でさえこれはジャーキネスを生じ得るので、規定された数のフレームを間引かないことが望ましいこともある。フレーム間引きユニット５５は、そのような場合を判断し、ビデオ品質を促進する方法でフレーム間引きを制御することができる。
【００５２】
フレーム間引きユニット５５の包含によって、ある程度までデバイス５０の電力消費量が増す。従って、フレーム間引き決定によって生じる当該電力消費を緩和するために、表示すべきフレームと前に表示されたフレームとの間の類似度検査は比較的単純でなければならない。この検査を単純に保つ１つの方法は、圧縮領域パラメータのみに基づいて類似度比較を実行することである。この場合、表示すべきフレームと前に表示されたフレームとの間の類似度検査は、ビデオブロックタイプを示すデータなどの圧縮シンタックス要素、および動きベクトルの大きさおよび方向に基づいて行われ得る。類似度検査のために残差データが検査される場合、類似度検査は非圧縮画素値ではなく、変換領域における圧縮変換係数に基づいて行われ得る。開示する技術は、フレーム中の非ゼロ係数の数を計数しさえすればよいことがある。なぜならば、これはフレームが隣接フレームに類似しているかどうかに関する有用な入力を与えることができるからである。従って、非ゼロ係数の実測値はフレーム間引きユニット５５に対して重要でなく、むしろフレーム間引きユニット５５は単に非ゼロ係数の数を計数することができる。
【００５３】
２つの隣接フレーム間の差異は、通常、動きまたはシーンの変化によって生じる。前フレームに類似したコンテンツを有するフレームを間引くことによって、知覚的品質劣化を制限することができる。以下の情報のいかなる多様性も、フレーム間引きユニット５５がフレーム間引きのための良好な候補を識別するための類似度検査を可能にするために使用され得る。以下のファクタのうちの１つまたは複数に基づいて、類似度メトリックを定義することができる。
【００５４】
フレームタイプおよびビデオブロックタイプは、隣接フレーム間の類似度を定量化し、インテリジェントフレーム間引き決定を可能にする類似度メトリック中に含めることのできる２つのファクタである。例えば、いかなるＩフレームについても保持する（すなわち、間引きを回避する）のが常に賢明なことがある。また、いずれかのＰまたはＢフレームがイントラマクロブロックの大きい割合を有する場合、これは通常そのようなＰまたはＢフレームがフレーム間引きのための不良候補であり、前フレームとは異なるコンテンツを有し得ることを意味する。
【００５５】
ＭＰＥＧ−２またはＭＰＥＧ−４符号化では、間引かれたマクロブロックの大きい割合は、現フレームが前フレームに極めて類似していることを示し得る。符号化フレーム内の間引かれたマクロブロックは、残差データが送信されない「間引かれた」と示されたブロックである。間引かれたマクロブロックは、シンタックスによって定義され得る。これらのタイプのブロックでは、残差データの助けなしに復号器において補間、外挿、または他のタイプのデータ再構成が実行され得る。しかしながら、ＩＴＵ−Ｔ Ｈ．２６４では、多数の間引かれたマクロブロックは、これらのマクロブロックの動きは隣接マクロブロックに類似していることのみを意味する。この場合、隣接マクロブロックの動きは、間引かれたマクロブロックに帰することができる。本開示によれば、動きの滑らかさを検出するために、間引かれたマクロブロックの数および対応する動き方向が考慮され得る。ビデオシーケンスがスローであるが、パニングする動きを定義している場合、人間の目はフレーム間引きの影響に容易に気づくことがある。従って、スローのパニング動きは、一般にビデオフレーム間引きを呼び出すための不良シナリオである。
【００５６】
動きタイプは、フレーム間引き決定を可能にするためにフレーム間引きユニット５５が使用することもできる。動きタイプについて、フレーム間引きユニット５５はフレームを間引くべきかどうか判断するのを助けるために動きベクトル大きさと動きベクトル方向とを検査することができる。通常、スローの動きシーケンスは、フレーム間引きに対してより敏感でない。しかしながら、上述したようにスローのパニングシーケンスはフレーム間引きに対して敏感である。量子化レベルが高いほど自ずとゼロ値係数がより多くなり、非ゼロ係数がより少なくなるので、フレーム間引きユニット５５はフレーム間引き決定を行う際に各非イントラマクロブロックの非ゼロ係数の数を考慮し、非ゼロ係数の数の検査をマクロブロックの量子化パラメータ値と組み合わせることができる。
【００５７】
所定のマクロブロックについて、量子化パラメータ値が大きくなく、非ゼロ係数の数が小さい場合、これはマクロブロックがそのコロケート予測ブロックに極めて類似していることを示す傾向がある。マクロブロックの量子化パラメータ値は小さいが、非ゼロ係数の数が大きい場合、それは動きベクトルがあまり信頼できないか、またはこのマクロブロックがそのコロケート予測ブロックと極めて異なることを意味する。フレームの異なるビデオブロックに関連する量子化パラメータの分布は、そのフレームに対してフレーム間引きを使用すべきかどうか判断するのを助けるために、フレーム間引きユニット５５によって使用され得る。特定のマクロブロックに対して量子化パラメータがあまりに高い場合、そのマクロブロックの圧縮領域から得られた情報は、類似度検査を助けることができるほど十分に正確でないことがある。従って、十分低い量子化パラメータで符号化されたマクロブロックのみが考慮され、類似度メトリック計算において使用されるように、量子化パラメータに量子化パラメータしきい値を課すことが望ましいことがある。
【００５８】
フレームレートは、フレーム間引きを使用すべきかどうか判断するのを助けるためにフレーム間引きユニット５５が使用できる別のファクタである。フレームレートがより高いほど、デバイス５０はフレームを復号、後処理および表示するためにより多くの電力を消費する。ビットストリームが高フレームレート（例えば、３０フレーム毎秒以上）を有する場合、選択的フレーム間引きにより、ビットストリームが低フレームレート（例えば、３０フレーム毎秒未満）を有するときよりも多くの電力を節約することができる。言い換えれば、フレームレートが高いほど、デバイスの電力を節約するためのより多くの柔軟性をフレーム間引きユニット５５に与えることができる。例えば、フレームレートの下限が１５フレーム毎秒である場合、フレーム間引きユニット５５は、３０フレーム毎秒の元のビデオシーケンスで動作して節約できるよりも６０フレーム毎秒の元のビデオシーケンスで動作するときに、デバイス５０の電力を節約するためのより多くの柔軟性を有することができる。
【００５９】
フレーム間引きを使用すべきかどうか判断するのを助けるために、フレーム間引きユニット５５は補足情報を使用することもできる。図３の図では、補足情報はフレーム間引きユニット５５への随意の入力として示されている。一例として、１つまたは複数のフレームが破損しているかどうかを示すために、（データを通信するために使用される変調に関連する制御層情報などの）上位層情報をビデオフレームとともに送信することができる。（例えば、そのような補足情報によって）フレームが破損している（と判断された）場合、フレーム間引きユニットデバイス５０は、そのフレームを復号、後処理、および／または表示するのではなく、フレーム間引きを選好することができる。
【００６０】
上述したこれらのファクタ全体を考慮すると、フレーム間引きユニット５５は類似度メトリック（「ＳＭ」）を定義し、使用することができる。特に、現フレームがフレーム間引きのための良好な候補であるかどうかを判断するために、類似度はビデオシーケンスの表示すべき現ビデオフレームと前のビデオフレームとの間の類似度を定量化する。類似度メトリックが１つまたは複数のしきい値を満たすとき、現フレームは間引かれる。類似度メトリックおよびしきい値は、一般に類似度メトリックの値が所定のしきい値の値を超えるとき、類似度メトリックの値が所定のしきい値を満たすように定義される。しかしながら、代替的に類似度メトリックおよびしきい値は他の方法で定義され得、例えば類似度メトリックの値が所定のしきい値の値未満のとき、類似度メトリックの値が所定のしきい値を満たすように定義され得る。
【００６１】
類似度メトリックは、フレームのビデオブロックに関連する割合に基づくことができる。例えば、類似度メトリックは現ビデオフレーム中のイントラビデオブロックの割合と、動きベクトル大きさしきい値を超える動きベクトルを有する現ビデオフレーム中のビデオブロックの割合と、動きベクトル方向しきい値によって定量化された際に方向が十分類似している動きベクトルを有する現ビデオフレーム中のビデオブロックの割合と、１つまたは複数の非ゼロ係数しきい値よりも少ない非ゼロ変換係数を含む現ビデオフレーム中のビデオブロックの割合とに基づくことができる。さらに、１つまたは複数の非ゼロ係数しきい値は、現ビデオフレーム中のビデオに関連する１つまたは複数の量子化パラメータの関数とされ得る。
【００６２】
一例では、フレーム間引きユニット５５によって生成される類似度メトリック（ＳＭ）は、
ＳＭ＝Ｗ１＊ＩｎｔｒａＭＢｓ％＋Ｗ２＊ＭＶｓ＿Ｍａｇｎｉｔｕｄｅ％＋Ｗ３＊ＭＶｓ＿Ｓａｍｅｄｉｒｅｃｔｉｏｎ％＋Ｗ４＊Ｎｚ％
からなる。
【００６３】
Ｗ１、Ｗ２、Ｗ３およびＷ４は、類似度メトリックの様々な項に対して定義され、適用される重み係数である。ＩｎｔｒａＭＢｓ％は、現ビデオフレーム中のイントラビデオブロックの割合を定義することができる。ＭＶｓ＿Ｍａｇｎｉｔｕｄｅ％は、動きベクトル大きさしきい値を超える現ビデオフレームに関連する動きベクトルの割合を定義することができる。フレーム間引きユニット５５は、ＭＶｓ＿Ｍａｇｎｉｔｕｄｅ％を定義するためにあらかじめ定義された動きベクトル大きさしきい値を超える大きさを有する動きベクトルを計数することができる。
【００６４】
ＭＶｓ＿Ｓａｍｅｄｉｒｅｃｔｉｏｎ％は、動きベクトル方向しきい値によって定量化された際に互いに十分類似している現ビデオフレームに関連する動きベクトルの割合を定義することができる。動きベクトル大きさしきい値と同様に、動きベクトル方向しきい値はあらかじめ定義され得る。動きベクトル方向しきい値は、フレーム内の動きベクトルに関連する類似度のレベル、例えば２つ以上の動きベクトルが同様の方向を有すると見なされ得る角度差を確定する。
【００６５】
Ｎｚ％は、１つまたは複数の非ゼロ係数しきい値よりも少ない非ゼロ変換係数を含む現ビデオフレーム中のビデオブロックの割合を定義することができる。類似度メトリックに関連する他のしきい値と同様に、非ゼロ係数しきい値はあらかじめ定義され得る。さらに、非ゼロ係数しきい値は、現ビデオフレーム中のビデオブロックに関連する１つまたは複数の量子化パラメータの関数とされ得る。１つまたは複数の量子化パラメータによって定義されたしきい値にｎＺが依存することを示すために、Ｎｚ％の代わりに項ｆQP（ｎＺ）％を使用することができる。
【００６６】
重み係数Ｗ１、Ｗ２、Ｗ３およびＷ４は、１つまたは複数のテストビデオシーケンスにおけるフレーム間引きの分析に基づいてあらかじめ定義され得る。場合によっては、Ｗ１、Ｗ２、Ｗ３およびＷ４は、１つまたは複数のテストビデオシーケンスにおけるフレーム間引きの分析に基づいて、異なるタイプのビデオ動きに対して異なる値を有するようにあらかじめ定義される。従って、フレーム間引きユニット５５は、ビデオシーケンスのビデオ動きの範囲を検査し、そのような動きに基づいて重み係数を選択することができる。テストシーケンスは、１つまたは複数の重み係数Ｗ１、Ｗ２、Ｗ３およびＷ４を経験的に定義するために、場合によっては異なる動きレベルに対して異なる係数を定義するために使用され得る。このようにして、人間の観察者に対して同様に見えるビデオフレームを識別することが可能である対称性メトリックに関して効果的な対称性メトリックを促進する方法で、重み係数を定義することができる。類似度メトリックの様々な項および重み係数は、上述した様々な係数および考慮事項が考慮され得る。
【００６７】
所望される場合、類似度メトリックは現ビデオフレーム内で間引かれたビデオブロックを含む現ビデオフレーム中のビデオブロックの割合に基づくこともできる。さらに、類似度メトリックを定義するために上述した他の係数または値を使用することができる。いずれの場合も、類似度メトリックは現ビデオフレームと前のビデオフレーム（または他の隣接するビデオフレーム）との間の類似度を定量化する。類似度メトリックの値が増加するにつれて、この増加は類似度に対応することができる。従って、類似度メトリックの値が高いほど、フレーム間引きのためのより良好な候補に対応することができる。
【００６８】
本開示によれば、類似度メトリックの値が第１の類似度しきい値Ｔ1よりも大きい場合、フレーム間引きユニット５５は、フレームのタイプにかかわらずこのフレームを間引くことができる。この場合、フレーム間引きユニット５５は、そのフレームの復号を間引かせるための制御信号を予測復号器６８に送信するか、またはそのフレームの後処理を間引かせるための制御信号を後処理ユニット５６に送信することができる。後処理が間引かれるとき、ディスプレイユニット５８を駆動するためにフレームが後処理ユニット５６から送信されることはない。復号が間引かれるとき、フレームが後処理ユニット５６またはディスプレイユニット５８に送信されることはない。
【００６９】
類似度メトリックがしきい値Ｔ1よりも小さい場合、フレーム間引きユニット５５はさらに類似度メトリックが第２の類似度しきい値Ｔ2よりも大きいかどうかを確かめるために検査をすることができ、ただしＴ2＜Ｔ1である。類似度メトリックがしきい値Ｔ2未満である場合、これは現フレームが前フレーム（例えば、フレームのシーケンスの前の間引かれなかったフレーム）とまったく異なり、現フレームが参照フレームである場合でもその現フレームを間引くべきであることを示すことができる。しかしながら、類似度メトリックがしきい値Ｔ1未満であり、しきい値Ｔ2よりも大きい場合、フレーム間引きユニット５５は現フレームが参照フレームであるかどうかをさらに判断することができる。現フレームがしきい値Ｔ2よりも大きい類似度メトリックをもつ参照フレームである場合、デバイス５０はそのフレームを再構成し、後処理し、表示することができる。現フレームが参照フレームではなく、しきい値Ｔ1よりも小さくしきい値Ｔ2よりも大きい類似度メトリックを有する場合、デバイス５０はそのフレームの復号、再構成、後処理、および表示を回避することができる。この場合、現フレームが参照フレームではなく、しきい値Ｔ1よりも小さくしきい値Ｔ2よりも大きい類似度メトリックを有するとフレーム間引きユニット５５が判断した場合、フレーム間引きユニット５５は、そのフレームを予測復号器６８、後処理ユニット５６、およびディスプレイユニット５８に間引かせるための１つまたは複数の制御信号を送信することができる。このようにして、上限しきい値Ｔ1は非参照フレームを含むすべてのフレームに適用され、下限しきい値Ｔ2は非参照フレームのみに適用される。現在非参照フレームが隣接フレームと極めて異なるのでなければ、これにより参照フレームを間引く可能性がより低くなり、非参照フレームを間引く可能性がより高くなる。
【００７０】
場合によっては、フレーム間引きに関してより多くのインフォームド決定を行うために、電力情報をフレーム間引きユニット５５に与えることができる。例えば、デバイス５０の電力が低い場合、電力を節約するためにフレーム間引きを積極的に行うことがより望ましいことがある。一方、デバイス５０が十分な電力を有するかまたは外部電源によって現在再充電されている場合、フレーム間引きを実施することはあまり望ましくないことがある。図３には電源が示されていないが、電力情報は図３に示す「補足情報」の一部と見なすことができる。この場合、「補足情報」はデバイス５０にとって利用可能な現在の電力の測度（measure）、および場合によっては現在の電力使用率の測度を含むことができる。この場合、しきい値Ｔ1およびＴ2をデバイス５０にとって利用可能な電力に基づいて定義または調整することができる。利用可能な電力が、極めて高いフレームレートをサポートするのに十分である場合、フレーム間引きを起こりにくくするために、しきい値Ｔ1およびＴ2を上げることができる。一方、利用可能な電力が低い場合、電力節約を促進するために、しきい値Ｔ1およびＴ2を下げることができる。このようにして、類似度メトリックと比較される１つまたは複数の類似度しきい値は、復号デバイス５０において利用可能なバッテリ電力に基づいて調整される調整可能なしきい値とされ得る。
【００７１】
さらに、場合によっては、復号デバイス５０はビデオシーケンスのフレームレートを判断することができる。この場合、フレーム間引きユニット５５はビデオシーケンスのフレームレートがフレームレートしきい値を超えるときのみ類似度メトリックを生成し、類似度メトリックがしきい値を満たすことを条件として現ビデオフレームを間引くことができる。このようにしてデバイス５０は、特定のフレームレートを下回ってフレーム間引きが回避されるようにフレームレートの下限が確定されるようにすることができる。従って、フレーム間引きユニット５５は現ビデオフレームを間引くことによりフレームレートがフレームレートしきい値を下回って低減されないときのみ、類似度メトリックがしきい値を満たすことを条件としてデバイス５０に現ビデオフレームを間引かせることができる。さらに、場合によってはフレーム間引き決定を行うためにフレーム間引きユニット５５はビデオシーケンスに関連するビットレートを使用することができる。この場合、ビットレートをビットレートしきい値と比較することができ、そのビットレートしきい値を下回る場合、フレーム間引きは回避される。特に、フレームが様々な量子化レベルで符号化されるかまたは様々な動きレベルを定義するとき、様々なフレームのビットレートがフレームごとに大幅に異なるので、ビットレートはフレームレートとは異なることがある。
【００７２】
上記のように図示の「補足情報」は、利用可能なバッテリ電力の指示を含むことができる。しかしながら、「補足情報」は破損したフレームの指示など、多種多様な他の情報を含むことができる。この場合、フレーム間引きユニット５５は現フレームが破損していることを示す現ビデオフレームに関連する補足情報を識別し、現フレームが破損していることをその補足情報が示すとき、デバイス５５に現ビデオフレームを間引かせることができる。フレーム破損は、例えば受信データが予想されるデータフォーマットに適合していないことを（図１の通信ユニット２１などの）通信ユニットが判断することによって判断されるか、または他の方法で判断され得る。
【００７３】
図３の説明は概して復号器に適用される。しかしながら、上述した類似度メトリックと同様の類似度メトリックは、ビデオシーケンスの送信において間引くべきフレームを識別するために符号化デバイスがフレーム間引きを使用する図２と同様のシステムにおいても使用され得る。符号化デバイスの場合、符号化デバイス中のフレーム間引きユニットは、例えば符号化デバイスが符号化ビデオシーケンスの送信の帯域幅制約を満たすことができるように、間引くべきフレームのインテリジェントな選択を可能にすることができる。
【００７４】
図４は、図１のビデオ復号器デバイス２２または図３の復号デバイス５０などの復号器デバイスにおいて実行できるフレーム間引き技術を示すフロー図である。図４の説明は、例示の目的のために図１のビデオ復号器デバイス２２に言及する。
【００７５】
図４に示すように、ビデオ復号器デバイス２２の通信ユニット２１は、圧縮ビデオフレームを含むビットストリームを受信する（４０１）。フレーム間引きユニット２６は、現フレームと隣接フレームとの間の差を定量化するために、上述した類似度メトリックなどの類似度メトリックを生成する（４０２）。例えば、隣接フレームは現フレームに時間的に隣接しているビデオシーケンス中の前フレームを含むことができる。類似度メトリックが類似度しきい値を超える場合、フレーム間引きユニット２６はビデオ復号器デバイス２２に現フレームの復号、後処理および／または表示を間引かせるための１つまたは複数の制御信号を送信する（４０３）。このようにして、類似度メトリックはビデオ復号器デバイス２２におけるインテリジェントなフレーム間引き決定を可能にする。
【００７６】
図５は、図２のビデオ符号器デバイス３２などの符号器デバイスにおいて実行され得るフレーム間引き技術を示すフロー図である。図５に示すように、ビデオ符号器デバイス３２の符号化ユニット３６はビデオフレームを圧縮して符号化ビットストリームを作成する（５０１）。フレーム間引きユニット３７は、圧縮領域において符号化ビットストリームの現フレームと隣接フレームとの間の差を定量化する類似度メトリックを生成する（５０２）。次いで、類似度メトリックが類似度しきい値を超える場合、フレーム間引きユニット３７はデバイス３２の通信ユニット３９に現フレームの送信を間引かせる（５０３）。このようにして、本開示の技術により、符号化デバイスがビデオ品質の大幅な劣化なしに符号化フレームレートを低減して帯域幅の効率的な使用を促進することが可能になる。
【００７７】
本開示の様々なフレーム間引き技術は、トランスコーディングアプリケーションにおいて使用され得る。この場合、圧縮ビットストリームを１つの規格（例えば、ＭＰＥＧ−２）に従って符号化することができるが、別の規格（例えば、ＩＴＵ−Ｔ Ｈ．２６４）に従って復号し、次いで再符号化することができる。この場合、復号器段におけるフレームレートパワーセービングの理由、または符号器段におけるリソースまたは帯域幅の制約のいずれかのために、本開示のフレーム間引き技術を使用していくつかのフレームの復号および／または再符号化を回避することができる。
【００７８】
図６は、例示的な類似度メトリックを生成し、類似度メトリックに基づいてフレーム間引きを実行する技術を示すフロー図である。図６の技術は、図２のデバイス３２のようなビデオ符号器デバイスによって、あるいは図１のデバイス２２または図３の復号デバイス５０などのビデオ復号器デバイスによって実行され得る。説明のために、図６の技術について図３の復号デバイス５０の観点から説明する。
【００７９】
図６に示すように、ビットストリームパーサ６２は圧縮ビデオフレームを含む符号化ビットストリームを構文解析する（６０１）。この構文解析（parsing）は、圧縮領域における符号化ビットストリームのシンタックスおよび／またはデータを識別する。フレーム間引きユニット５５は、現フレームと現フレームに隣接するフレームとの間の類似度を示す類似度メトリックを生成するために、圧縮領域における構文解析されたデータを使用する。特に、フレーム間引きユニット５５はイントラブロックを含むフレーム中のブロックの割合Ｐ１を判断する（６０２）。フレーム間引きユニット５５は、また動きベクトル大きさしきい値を超える動きベクトルを有するフレーム中のブロックの割合Ｐ２を判断し（６０３）、動きベクトル方向しきい値によって定量化された際に類似している動きベクトルを有するフレーム中のブロックの割合Ｐ３を判断する（６０４）。さらに、フレーム間引きユニット５５は非ゼロ係数しきい値よりも少ない非ゼロ変換係数を有するフレーム中のブロックの割合Ｐ４を判断する（６０４）。随意に、フレーム間引きユニット５５は、またフレーム中で間引かれたビデオブロックを含むフレーム中のブロックの割合Ｐ５を判断することができる（６０５）。
【００８０】
これらの割合（Ｐ１、Ｐ２、Ｐ３、Ｐ４およびＰ５）の一部または全部を使用して、フレーム間引きユニット５５は現フレームと隣接フレームとの間の差を定量化する類似度メトリックを計算する（６０６）。Ｐ１、Ｐ２、Ｐ３、Ｐ４およびＰ５を生成するために必要な情報のすべては、シンタックスおよび圧縮変換係数を含む、圧縮領域における符号化ビットストリームのデータを含むことができる。従って、画素領域へのデータの復号は類似度メトリックを生成するのに必要とされない。場合によっては、類似度メトリックはフレーム間引きユニット５５によって判断された異なる割合で割り当てられた重み係数を有することができる。１つの類似度メトリックのより詳細な例について上述した。
【００８１】
いずれの場合も、フレーム間引きユニットは類似度メトリックが類似度しきい値を超える場合にデバイス５０にフレームを間引かせることができる（６０７）。例えば、フレーム間引きユニット５５は予測復号器６８にフレームの復号を間引かせるための制御信号を予測復号器６８に送信するか、または後処理ユニット５６にフレームの後処理を間引かせるための制御信号を後処理ユニット５６に送信することができる。前者の場合、フレームの復号、後処理および表示は回避される。後者の場合、フレームの復号は実行されるが、フレームの後処理および表示は回避される。これらの場合の両方において、フレーム間引きによって電力節約が促進され、そのようなフレーム間引きのフレーム選択により、そのようなフレーム間引きによる品質劣化を低減することができる。
【００８２】
場合によっては、フレームが復号されているとき、電力を節約するためにフレーム間引きが必要とされるか否かが知られないことがある。しかしながら、復号の後に電力節約が必要とされる場合、復号されたフレームの後処理および表示を間引くことが望ましいことがある。フレーム間引き決定は、例えば非圧縮符号化データおよびシンタックスに基づいて、圧縮領域において行われ得る。その場合、そのデータの復号の後でも、フレームの後処理および表示のフレーム間引きが望ましいことがある。
【００８３】
図７は、図１のビデオ復号器デバイス２２または図３の復号デバイス５０などの復号器デバイスによって実行され得るフレーム間引き技術を示すフロー図である。図７の説明は、例示の目的のために図３の復号デバイス５０に言及する。
【００８４】
図７に示すように、復号デバイス５０のフレーム間引きユニット５５は、現フレームと現フレームに隣接するフレームとの間の類似度を示す類似度メトリックを計算する（７０１）。本明細書で説明するように、類似度メトリックは現フレームの圧縮データのみに、例えばビデオブロックタイプに関するシンタックス、動きベクトルの大きさおよび方向、符号化において使用される量子化パラメータ、ならびにビデオブロックに関連する量子化残差変換係数などの、圧縮領域におけるデータのみに基づくことができる。
【００８５】
フレーム間引きユニット５５は、類似度メトリックが第１のしきい値Ｔ１を満たすかどうかを判断する（７０２）。類似度メトリックが第１のしきい値Ｔ１を満たす場合（「ｙｅｓ」７０２）、フレーム間引きユニット５５はデバイス５０にフレームの復号を間引かせ（７０６）、従ってフレームの後処理および表示をも間引かせる（７０８）制御信号を予測復号器６８に送信する。特に、フレーム間引きユニット５５からの間引きコマンドに応答して、予測復号器６８はそのフレームの復号を間引く（７０６）。この場合、後処理ユニット５６およびディスプレイユニット５８はフレームのデータを受信せず、従ってフレームを後処理せず、そのフレームを表示しない（７０８）。
【００８６】
類似度メトリックが第１のしきい値Ｔ１を満たさない場合（「ｎｏ」７０２）、フレーム間引きユニット５５は類似度メトリックが第２のしきい値Ｔ２を満たすかどうかを判断する（７０４）。ここで、類似度メトリックが第２のしきい値Ｔ２を満たさない場合（「ｎｏ」７０４）、フレームは復号され、後処理され、表示される（７０７）。具体的には、類似度メトリックが第２のしきい値Ｔ２を満たさない場合（「ｎｏ」７０４）、フレームは予測復号器６８によって復号され、後処理ユニット５６によって後処理され、ディスプレイユニット５８によって表示され得る。
【００８７】
類似度メトリックが第２のしきい値Ｔ２を満たす場合（「ｙｅｓ」７０４）、フレーム間引きユニット５５はフレームが参照フレームであるかどうかを判断する。そうであれば（「ｙｅｓ」７０５）、フレームは復号され、後処理され、表示される（７０７）。具体的には、類似度メトリックが第２のしきい値Ｔ２を満たし（「ｙｅｓ」７０４）、フレームが参照フレームである（「ｙｅｓ」７０５）場合、フレームは予測復号器６８によって復号され、後処理ユニット５６によって後処理され、ディスプレイユニット５８によって表示され得る。
【００８８】
しかしながら、類似度メトリックは第２のしきい値Ｔ２を満たすが（「ｙｅｓ」７０４）、フレームが参照フレームではない（「ｎｏ」７０５）場合、デバイス５０にフレームの復号を間引かせ（７０６）、フレームの後処理および表示を間引かせる（７０８）。従って、類似度メトリックが第１のしきい値Ｔ１は満たさない（「ｎｏ」７０３）が、第２のしきい値を満たす（「ｙｅｓ」７０４）非参照フレームは、復号、後処理または表示されない。このようにして、上限しきい値Ｔ1は非参照フレームを含むすべてのフレームに適用され、下限しきい値Ｔ2は非参照フレームのみに適用される。現在非参照フレームが隣接フレームと極めて異なるのでなければ、これにより参照フレームを間引く可能性がより低くなり、非参照フレームを間引く可能性がより高くなる。参照フレームは他のフレームを符号化するために使用されるので、参照フレームのフレーム間引きはあまり望ましくないことがある。従って、参照フレームが上限しきい値Ｔ1を超える類似度メトリックを有するときのみ、参照フレームのフレーム間引きを行い、非参照フレームがしきい値Ｔ1またはＴ2のいずれかを超える類似度メトリックを有する場合、非参照フレームを間引くことができる。
【００８９】
類似度メトリックおよびしきい値は、一般に、類似度メトリックの値が所定のしきい値の値を超えるとき、類似度メトリックの値が所定のしきい値を満たすように定義される。しかしながら、代替的に類似度メトリックおよびしきい値は類似度メトリックの値が所定のしきい値の値未満のとき、類似度メトリックの値が所定のしきい値を満たすように定義され得る。
【００９０】
さらに他の例では、本開示の教示に基づいて間引かれる特定のフレーム、およびそのようなフレームがどのように間引かれるかに関する他の変形例を実装することができる。図７のフロー図は一例にすぎない。さらに、フレーム間引きは予測復号器６８による復号の後に後処理ユニット５６において、または予測復号器６８による予測復号および後処理ユニット５６による後処理の後にディスプレイユニット５８において行われ得る。これらの場合、圧縮領域におけるデータは復号され展開された領域におけるフレーム間引きを可能にする。
【００９１】
本明細書で説明した技術は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。モジュール、ユニット、またはコンポーネントとして説明する特徴は、集積論理デバイスに一緒に、または個別であるが相互運用可能な論理デバイスとして別々に実装され得る。場合によっては、様々な特徴は集積回路チップまたはチップセットなどの集積回路デバイスとして実装され得る。ハードウェアで実装した場合、本開示はプロセッサなどの装置、あるいは集積回路チップまたはチップセットなどの集積回路デバイスを対象とすることができる。代替または追加として、ソフトウェアで実装した場合、本技術は実行されると上記で説明した方法の１つまたは複数をプロセッサに実行させる命令を備えるコンピュータ可読媒体によって少なくとも部分的に実現され得る。例えば、コンピュータ可読媒体はそのような命令を記憶することができる。
【００９２】
コンピュータ可読媒体は、パッケージング材料を含むことがある、コンピュータプログラム製品の一部をなすことができる。コンピュータ可読媒体は、ランダムアクセスメモリ（ＲＡＭ）、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気または光学データ記憶媒体などのコンピュータデータ記憶媒体を備えることができる。本技術は、追加または代替として、命令またはデータ構造の形態でコードを搬送または伝達し、コンピュータによってアクセス、読取り、および／または実行できるコンピュータ可読通信媒体によって、少なくとも部分的に実現され得る。
【００９３】
コードまたは命令は、１つまたは複数のＤＳＰ、汎用マイクロプロセッサ、ＡＳＩＣ、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、または他の等価な集積またはディスクリート論理回路など、１つまたは複数のプロセッサによって実行できる。従って、本明細書で使用する「プロセッサ」という用語は、前述の構造、または本明細書で説明する技術の実装に好適な他の構造のいずれかを指す。さらに、いくつかの態様では本明細書で説明する機能を専用のソフトウェアモジュールまたはハードウェアモジュールの内部に与えることができる。本開示はまた、本開示で説明した技術の１つまたは複数を実装する回路を含む様々な集積回路デバイスのいずれかを企図する。そのような回路は、単一の集積回路チップ、またはいわゆるチップセット中の複数の相互運用可能な集積回路チップで提供され得る。そのような集積回路デバイスは様々な適用例において使用され得、適用例のいくつかは携帯電話ハンドセットなどの無線通信デバイスでの使用を含む。
【００９４】
開示する技術の様々な態様について説明した。これらおよび他の態様は以下の特許請求の範囲内に入る。
【図１】
2011530221.tif 000003
【図２】
2011530221.tif 000004
【図３】
2011530221.tif 000005
【図４】
2011530221.tif 000006
【図５】
2011530221.tif 000007
【図６】
2011530221.tif 000008
【図７】
2011530221.tif 000009
【国際調査報告】
2011530221.tif 000010
2011530221.tif 000011
2011530221.tif 000012
2011530221.tif 000013
2011530221.tif 000014
2011530221.tif 000015