(57)【要約】ここで開示される主題の実施例によれば、ビデオコンテンツシステムを制御する方法は、入力ビデオシーケンスから現在の入力フレームおよび前の入力フレームを取得し、入力ビデオシーケンスに対応する劣化ビデオシーケンスから現在の劣化フレームおよび前の劣化フレームを取得することと、現在の入力フレームおよび前の入力フレームから第１の差分値を計算し、現在の劣化フレームおよび前の劣化フレームから第２の差分値を計算することと、第１および第２の差分値を比較し、フレーム間品質スコアを生じさせることと、現在の劣化フレームおよび現在の入力フレームの画素領域に適用されるフレーム内品質測定を使用して、フレーム内品質スコアを計算することと、フレーム間品質スコアおよびフレーム内品質スコアに関連する品質基準に基づいて、ビデオコンテンツシステムに構成命令を提供することと、を含むことができる。【選択図】  図１
2014527778.tif 000002
【特許請求の範囲】
【請求項１】
入力ビデオシーケンスおよび対応する劣化ビデオシーケンスに基づいて、ビデオコンテンツシステムを制御する方法であって、前記入力ビデオシーケンスは、少なくとも現在の入力フレームおよび前の入力フレームを含み、前記劣化ビデオシーケンスは、少なくとも現在の劣化フレームおよび前の劣化フレームを含み、前記方法は、
前記現在の入力フレーム、前記前の入力フレーム、前記現在の劣化フレーム、および前記前の劣化フレームを取得することと、
前記現在の入力フレームおよび前記前の入力フレームから第１の差分値を計算し、前記現在の劣化フレームおよび前記前の劣化フレームから第２の差分値を計算することと、
前記第１および第２の差分値を比較し、フレーム間品質スコアを生じさせることと、
前記現在の劣化フレームおよび前記現在の入力フレームの画素領域に適用されるフレーム内品質測定を使用して、フレーム内品質スコアを計算することと、
前記フレーム間品質スコアおよび前記フレーム内品質スコアに関連する品質基準に基づいて、前記ビデオコンテンツシステムに構成命令を提供することと、
を含む、方法。
【請求項２】
前記劣化ビデオシーケンスは、前記入力ビデオシーケンスに対応する圧縮ビデオシーケンスであり、前記方法は、
圧縮パラメータ値を提供することを含み、
前記取得することは、前記圧縮パラメータ値に従って、現在の入力フレームから生成される候補圧縮フレームを取得することと、現在の入力フレームおよび候補圧縮フレームのそれぞれについて、前記前の入力フレームに対応する記憶された圧縮フレームを提供することとを含み、
前記第１の差分値を計算することは、前記現在の入力フレームおよび前記前の入力フレームから第１の差分値を計算することを含み、前記第２の差分値を計算することは、前記候補圧縮フレームおよび前記記憶された圧縮フレームから第２の差分値を計算することと、前記第１および第２の差分値を比較し、フレーム間品質スコアを生じさせることとを含み、
前記フレーム内品質スコアを計算することは、前記候補圧縮フレームおよび前記現在の入力フレームの前記画素領域に適用されるフレーム内品質測定を使用して、フレーム内品質を計算することを含み、
フレーム間品質およびフレーム内品質に関連する品質基準を満たさない場合、ビデオエンコーダに、更新された圧縮パラメータ値を使用して圧縮処理を繰り返すように指示して、更新された候補圧縮フレームを生じさせ、前記更新された候補圧縮フレームに基づいて、前記フレーム間品質スコアおよび前記フレーム内品質スコアを計算する、請求項１に記載の方法。
【請求項３】
前記フレーム内品質スコアおよび前記フレーム間品質スコアに基づいて、前記現在の候補圧縮フレームのフレーム品質スコアを計算することをさらに含み、前記品質基準は、前記フレーム品質スコアに関連する、請求項２１に記載の方法。
【請求項４】
前記現在の入力フレーム、前記前の入力フレーム、前記候補圧縮フレーム、および前記記憶された圧縮フレームのそれぞれを、対応するタイルに分割することと、
対応するタイルの各組のタイル内品質スコアおよびタイル間品質スコアを算出することと、
前記タイル内品質スコアおよび前記タイル間品質スコアの知覚的に駆動される加重を計算することと、
前記タイルスコアをプールし、前記フレーム品質スコアを生じさせることと、をさらに含む、請求項３３に記載の方法。
【請求項５】
前記フレーム内品質スコアを計算することはさらに、完全参照画素領域品質測定を使用することを含み、前記入力フレームは、画素領域参照である、請求項３３  ４に記載の方法。
【請求項６】
前記フレーム内品質スコアを計算することは、前記入力フレームと前記候補圧縮フレームとの間の画素的差分に基づいて、フレーム内品質スコアを計算することを含む、請求項５５に記載の方法。
【請求項７】
前記フレーム内品質スコアを計算することはさらに、前記圧縮フレームの画素の輝度パラメータ値に基づいて、前記フレーム内品質スコアを正規化することを含む、請求項６に記載の方法。
【請求項８】
前記フレーム内品質スコアを計算することはさらに、
現在の入力フレームタイルおよび対応する候補圧縮フレームタイルを分割し、複数のサブタイル対を生じさせることと、
前記複数のサブタイル対のそれぞれ１つのサブタイル内品質スコアを計算することと、
前記複数のサブタイル対のそれぞれ１つの知覚的に駆動される加重を計算し、複数の加重されたサブタイル内品質スコアを生じさせることと、
前記複数の加重されたサブタイル内品質スコアを、対応する複数のタイル内品質スコアにプールすることと、を含む、請求項４３７に記載の方法。
【請求項９】
前記フレーム間品質スコアを計算することはさらに、
現在の入力フレームタイル、前のフレームタイル、候補圧縮フレームタイル、および記憶された圧縮フレームタイルから成る１組の対応するタイルから、各タイルを２つ以上のサブタイルに分割し、２つ以上のサブタイル群を生じさせることと、
前記２つ以上のサブタイル群のそれぞれのサブタイル間スコアを計算することと、
前記２つ以上のサブタイル間スコアを、対応するフレーム間タイル品質スコアにプールすることと、を含む、請求項４１に記載の方法。
【請求項１０】
前記フレーム内品質スコアを計算することはさらに、前記現在の入力フレームに対する前記候補圧縮フレームのビデオ符号化ブロック境界に沿った追加のアーチファクトエッジの程度を定量化することに基づく、追加のアーチファクトエッジスコアを計算することを含み、前記追加のアーチファクトエッジの程度は、それぞれのビデオ符号化ブロック境界の両側の画素値の挙動に関連する、ビデオ符号化ブロック境界全体にわたる画素値の挙動に従って決定される、請求項３１９に記載の方法。
【請求項１１】
前記追加のアーチファクトエッジスコアを算出することはさらに、前記輝度パラメータ値および前記追加のアーチファクトエッジの程度の分散に基づくアーチファクトエッジ正規化係数に従って、前記追加のアーチファクトエッジスコアを正規化することを含む、請求項１０１０に記載の方法。
【請求項１２】
前記フレーム内品質スコアを計算することはさらに、前記現在の入力フレームおよび前記対応する候補圧縮フレームのテクスチャ値間の関係に基づいて、テクスチャ歪スコアを算出することを含み、各テクスチャ値は、前記現在の入力フレームの複数の予め定義された画素群のそれぞれ１つの中の、および前記対応する候補圧縮フレームのそれぞれの画素群における、画素値の分散に対応する、請求項３３１１に記載の方法。
【請求項１３】
前記テクスチャ歪スコアを算出することは、１つ以上のテクスチャ歪感度閾値を、前記現在の入力フレームおよび前記対応する候補圧縮フレームの前記テクスチャ値間の関係に適用し、前記テクスチャ歪感度閾値に基づく非線形テクスチャ歪スコアマッピングを生じさせることを含む、請求項１２に記載の方法。
【請求項１４】
前記１つ以上のテクスチャ歪感度閾値を適用することは、前記算出された画素的差分に従って前記１つ以上のテクスチャ歪感度閾値を適合させることを含む、請求項１３１３に記載の方法。
【請求項１５】
前記テクスチャ歪スコアを計算することはさらに、前記輝度パラメータ値に従って、および前記アーチファクトエッジ正規化係数に従って、前記テクスチャ歪スコアを正規化することを含む、請求項１２１４に記載の方法。
【請求項１６】
前記フレーム内品質スコアを計算することはさらに、
前記現在の入力フレームに対応するエッジマップを取得することと、
前記現在の入力フレームの各エッジ画素について、エッジ画素の値と前記エッジ画素付近の１つ以上の画素との間の偏差に基づいて、エッジ強度スコアを提供することと、
前記候補圧縮フレームの各対応する画素について、前記対応する画素の値と前記対応する画素付近の１つ以上の画素との間の偏差に基づいて、エッジ強度スコアを提供することと、
前記エッジ画素の前記エッジ強度スコアと、前記対応する画素の前記エッジ強度スコアとの関係に基づいて、エッジ損失スコアを算出することと、を含む、請求項３に記載の方法。
【請求項１７】
前記フレーム内品質スコアを計算することはさらに、
前記現在の入力フレームに対応するエッジマップを取得することと、
前記候補圧縮フレームに対応するエッジマップを取得することと、
前記現在の入力フレームに対応する前記エッジマップと、前記候補圧縮フレームに対応する前記エッジマップとの差分に従うエッジ画素の損失に基づいて、エッジ損失スコアを算出することと、を含む、請求項３に記載の方法。
【請求項１８】
前記フレーム内品質スコアを計算することはさらに、前記現在の入力フレームと前記候補圧縮フレームとの画素領域差分の空間分散に基づいて、前記フレーム内品質スコアを因数分解することを含む、請求項３に記載の方法。
【請求項１９】
前記フレーム内品質スコアを計算することはさらに、
各候補圧縮フレームタイルについて、前記対応するサブタイル対の前記画素差分スコアの中の分散に基づいて、タイル空間分散スコアを計算することと、
前記候補圧縮フレームについて、前記タイル空間分散スコアをプールし、フレーム空間分散スコアを生じさせることと、
前記フレーム空間分散スコアに従って、前記フレーム内品質スコアを因数分解することと、を含む、請求項１８に記載の方法。
【請求項２０】
入力ビデオシーケンスおよび対応する劣化ビデオシーケンスに基づいて、ビデオコンテンツシステムを制御するためのデバイスであって、前記入力ビデオシーケンスは、現在の入力フレームおよび前の入力フレームを含み、前記劣化ビデオシーケンスは、少なくとも現在の劣化フレームおよび前の劣化フレームを含み、前記デバイスは、
前記現在の入力フレーム、前記前の入力フレーム、前記現在の劣化フレーム、および前記前の劣化フレームのそれぞれを入力として受け取るように構成される、インターフェースと、
前記現在の入力フレームおよび前記前の入力フレームからの第１の差分値を計算し、前記現在の劣化フレームおよび前記前の劣化フレームからの第２の差分値を計算するように構成される、プロセッサと、
前記第１および第２の差分値を比較し、フレーム間品質スコアを生じさせるように適合される、品質劣化評価モジュールと、
圧縮品質評価モジュールは、前記現在の入力フレームおよび前記現在の劣化フレームの前記画素領域に適用されるフレーム内品質測定を使用して、フレーム内品質スコアを計算するように適合され、
前記フレーム間品質スコアおよび前記フレーム内品質スコアに関連する品質基準に基づいて、前記ビデオコンテンツシステムに構成命令を提供するように構成される、ビデオコンテンツシステム構成器と、
を備える、デバイス。
【請求項２１】
前記劣化ビデオシーケンスは、前記入力ビデオシーケンスに対応する圧縮ビデオシーケンスであり、前記デバイスは、
前の入力フレームおよび前記前の入力フレームに対応する前の圧縮フレームを保持するように適合される、バッファを備え、
前記ビデオコンテンツシステム構成器は、ビデオエンコーダに、圧縮パラメータ値に従って前記現在の入力フレームを圧縮するように指示し、候補圧縮フレームを生じさせるように適合され、
前記インターフェースは、前記現在の入力フレームおよび前記候補圧縮フレームを受け取るように適合され、
前記プロセッサは、前記現在の入力フレームおよび前の入力フレームから第１の差分値を計算し、前記候補圧縮フレームおよび前記前の圧縮フレームから第２の差分値を計算するように構成され、
前記品質劣化評価モジュールは、前記候補圧縮フレームおよび前記現在の入力フレームの前記画素領域に適用されるフレーム内品質測定を使用して、フレーム内品質スコアを計算するように適合され、
前記品質劣化評価モジュールは、前記第１および第２の差分値を比較し、フレーム間品質スコアを生じさせるように適合され、
フレーム間品質スコアおよびフレーム内品質スコアに関連する品質基準を満たさない場合、前記ビデオコンテンツシステム構成器は、前記ビデオエンコーダに、更新された圧縮パラメータ値を使用して、前記現在の入力フレームの前記ビデオ圧縮を繰り返すように指示し、更新された候補圧縮フレームを生じさせ、前記更新された候補圧縮フレームに基づいて、前記フレーム間品質スコアおよび前記フレーム内品質スコアを計算するように適合される、請求項２０に記載のデバイス。
【請求項２２】
前記プロセッサはさらに、前記フレーム内品質スコアおよび前記フレーム間品質スコアに基づいて、前記現在の入力フレームのフレーム品質スコアを計算するように適合され、前記品質基準は、前記フレーム品質スコアに関連する、請求項２１２０に記載のデバイス。
【請求項２３】
前記現在の入力フレーム、前記前の入力フレーム、前記候補圧縮フレーム、および前記記憶された圧縮フレームのそれぞれを２つ以上のタイルに分割するように適合される、フレーム分割モジュールをさらに備え、前記プロセッサは、
対応するタイルの各組のタイル内品質スコアおよびフレーム間品質スコアを算出し、
前記タイル内品質スコアおよび前記タイル間品質スコアの知覚的に駆動される加重を計算し、
タイルスコアをプールし、前記フレーム品質スコアを生じさせるように適合される、請求項２２２０２０に記載のデバイス。
【請求項２４】
前記品質劣化評価モジュールは、完全参照画素領域品質測定を使用して、前記フレーム内品質スコアを計算するように適合され、前記入力フレームは、画素領域参照である、請求項２２２０２３に記載のデバイス。
【請求項２５】
前記品質劣化評価モジュールは、前記入力フレームと前記候補圧縮フレームとの間の画素的差分に基づいて、前記フレーム内品質スコアを計算するように適合される、請求項２４２４に記載のデバイス。
【請求項２６】
前記品質劣化評価モジュールは、前記圧縮フレームの画素の輝度パラメータ値に基づいて、前記フレーム内品質スコアを正規化するように適合される、請求項２５２５に記載のデバイス。
【請求項２７】
現在の入力フレームタイルおよび対応する候補圧縮フレームタイルを分割し、複数のサブタイル対を生じさせるように適合される、分割モジュールをさらに備え、
前記品質劣化評価モジュールは、
前記複数のサブタイル対のそれぞれ１つのサブタイル内品質スコアを計算し、
前記複数のサブタイル対のそれぞれ１つの知覚的に駆動される加重を計算し、複数の加重されたサブタイル内品質スコアを生じさせ、
前記複数の加重されたサブタイル内品質スコアを、対応する複数のタイル内品質スコアにプールするように適合される、請求項２３２０２６に記載のデバイス。
【請求項２８】
現在の入力フレームタイル、前の入力フレームタイル、候補圧縮フレームタイル、および記憶された圧縮フレームタイルから成る１組の対応するタイルから、各タイルを２つ以上のサブタイルに分割し、２つ以上のサブタイル組を生じさせるように適合させることができる、分割モジュールをさらに備え、
前記品質劣化評価モジュールは、
前記２つ以上のサブタイル組のそれぞれのサブタイル間スコアを計算し、
前記２つ以上のサブタイル間スコアを、対応するフレーム間タイル品質スコアにプールするように適合される、請求項２３２０２７に記載のデバイス。
【請求項２９】
前記品質劣化評価モジュールは、前記現在の入力フレームに対する前記候補圧縮フレームのビデオ符号化ブロック境界に沿った追加のアーチファクトエッジの程度を定量化することに基づく、追加のアーチファクトエッジスコアを算出するように適合され、前記追加のアーチファクトエッジの程度は、それぞれのビデオ符号化ブロック境界の両側の画素値の挙動に関連して、ビデオ符号化ブロック境界全体にわたる画素値の挙動に従って決定され、前記フレーム内品質スコアは、前記算出された追加のアーチファクトエッジスコアと関連付けられる、請求項２２２０２８に記載のデバイス。
【請求項３０】
前記品質劣化評価モジュールは、前記輝度パラメータ値および前記追加のアーチファクトエッジの程度の分散に基づくアーチファクトエッジ正規化係数に従って、前記追加のアーチファクトエッジスコアを正規化するように適合される、請求項２９に記載のデバイス。
【請求項３１】
前記品質劣化評価モジュールは、前記現在の入力フレームおよび前記対応する候補圧縮フレームのテクスチャ値間の関係に基づいて、テクスチャ歪スコアを計算するように適合され、各テクスチャ値は、前記現在の入力フレームの複数の予め定義された画素群のそれぞれ１つの中の、および前記対応する候補圧縮フレームのそれぞれの画素群における、画素値の分散に対応し、前記フレーム内品質スコアは、前記算出されたテクスチャ歪スコアと関連付けられる、請求項２２２０３０に記載のデバイス。
【請求項３２】
前記品質劣化評価モジュールは、１つ以上のテクスチャ歪感度閾値を、前記現在の入力フレームのテクスチャ値と、前記対応する候補圧縮フレームのテクスチャ値との前記関係に適用し、前記テクスチャ歪感度閾値に基づく非線形テクスチャ歪スコアマッピングを生じさせるように適合され、前記テクスチャ歪スコアは、前記非線形テクスチャ歪スコアマッピングと関連付けられる、請求項３１３１に記載のデバイス。
【請求項３３】
前記品質劣化評価モジュールは、前記算出された画素的差分に従って、前記１つ以上のテクスチャ歪感度閾値を適合させるように適合される、請求項３２に記載のデバイス。
【請求項３４】
前記品質劣化評価モジュールは、前記輝度パラメータ値に従って、および前記アーチファクトエッジ正規化係数に従って、前記テクスチャ歪スコアを正規化するように適合される、請求項３２  ３１３３に記載のデバイス。
【請求項３５】
前記品質劣化評価モジュールは、
前記現在の入力フレームに対応するエッジマップを取得し、
前記候補圧縮フレームに対応するエッジマップを取得し、
前記現在の入力フレームに対応する前記エッジマップと前記候補圧縮フレームに対応する前記エッジマップとの差分に従うエッジ画素の損失に基づいて、エッジ損失スコアを算出するように適合される、請求項２２２０３４に記載のデバイス。
【請求項３６】
前記品質劣化評価モジュールは、前記現在の入力フレームと前記候補圧縮フレームとの画素領域差分の空間分散に基づいて、前記フレーム内品質スコアを因数分解するように適合される、請求項２２２０３５に記載のデバイス。
【請求項３７】
前記品質劣化評価モジュールは、
前記対応するサブタイル対の前記画素差分スコアの中の分散に基づいて、各候補圧縮フレームタイルのタイル空間分散スコアを計算し、
前記候補圧縮フレームの前記タイル空間分散スコアをプールし、フレーム空間分散スコアを生じさせ、
前記フレーム空間分散スコアに従って、前記フレーム内品質スコアを因数分解するように適合される、請求項２２２７３６に記載のデバイス。
【請求項３８】
機械によって読み出し可能なプログラム記憶デバイスであって、ビデオシーケンスからのビデオフレームの圧縮を制御する方法を行って、入力ビデオシーケンスからビデオフレームを圧縮するために、前記機械によって実行可能な命令のプログラムを明白に具現化し、前記シーケンスは、少なくとも現在の入力フレームおよび前のフレームを含み、前記方法は、
圧縮パラメータ値を提供することと、
前記圧縮パラメータ値に従って、現在の入力フレームから生成される候補圧縮フレームを取得することと、
現在の入力フレームおよび候補圧縮フレームのそれぞれについて、前記前の入力フレームに対応する記憶された圧縮フレームを提供することと、
前記現在の入力フレームおよび前記前の入力フレームから第１の差分値を計算し、前記候補圧縮フレームおよび前記記憶された圧縮フレームから第２の差分値を計算することと、
前記第１および第２の差分値を比較し、フレーム間品質スコアを生じさせることと、
前記候補圧縮フレームおよび前記現在の入力フレームの前記画素領域に適用されるフレーム内品質測定を使用して、フレーム内品質スコアを計算することと、
フレーム間品質およびフレーム内品質に関連する品質基準を満たさない場合、前記ビデオエンコーダに、更新された圧縮パラメータ値を使用して圧縮処理を繰り返すように指示して、更新された候補圧縮フレームを生じさせ、前記更新された候補圧縮フレームに基づいて、前記フレーム間品質スコアおよび前記フレーム内品質スコアを計算することと、
を含む、デバイス。
【請求項３９】
入力ビデオシーケンスからビデオフレームを圧縮するために、ビデオシーケンスからのビデオフレームの圧縮を制御するための、その中に具現化されるコンピュータが読み出し可能なプログラムコードを有するコンピュータが使用可能な媒体を備える、コンピュータプログラム製品であって、前記シーケンスは、少なくとも現在の入力フレームおよび前のフレームを備え、前記コンピュータプログラム製品は、
前記コンピュータに、圧縮パラメータ値を提供させるための、コンピュータが読み出し可能なプログラムコードと、
前記コンピュータに、前記圧縮パラメータ値に従って現在の入力フレームから生成される候補圧縮フレームを取得させるための、コンピュータが読み出し可能なプログラムコードと、
前記コンピュータに、前記現在の入力フレームおよび候補圧縮フレームのそれぞれについて、前の入力フレームに対応する記憶された圧縮フレームを提供させるための、コンピュータが読み出し可能なプログラムコードと、
前記コンピュータに、前記現在の入力フレームおよび前記前の入力フレームから第１の差分値を計算させ、前記候補圧縮フレームおよび前記記憶された圧縮フレームから第２の差分値を計算させるための、コンピュータが読み出し可能なプログラムコードと、
前記コンピュータに、前記第１および第２の差分値を比較させ、フレーム間品質スコアを生じさせるための、コンピュータが読み出し可能なプログラムコードと、
前記コンピュータに、前記候補圧縮フレームおよび前記現在の入力フレームの前記画素領域に適用されるフレーム内品質測定を使用して、フレーム内品質スコアを計算させるための、コンピュータが読み出し可能なプログラムコードと、
前記コンピュータに、フレーム間品質およびフレーム内品質に関連する品質基準を満たさない場合に、前記ビデオエンコーダに、更新された圧縮パラメータ値を使用して圧縮処理を繰り返すように指示して、更新された候補圧縮フレームを生じさせ、前記更新された候補圧縮フレームに基づいて、前記フレーム間品質スコアおよび前記フレーム内品質スコアを計算させるための、コンピュータが読み出し可能なプログラムコードと、
を含む、コンピュータプログラム製品。
【請求項４０】
前記ビデオコンテンツシステム構成器は、前記ビデオコンテンツシステムのそれぞれの操作またはアセットに関連する構成パラメータを含む、構成命令を提供するように適合される、請求項２０２０に記載のデバイス。
【請求項４１】
前記構成命令は、前記ビデオコンテンツシステムのそれぞれの操作またはアセットの前記構成に適用される修正の程度を示す、請求項２０４０に記載のデバイス。
【請求項４２】
前記構成命令を提供することは、前記ビデオコンテンツシステムのそれぞれの操作またはアセットに関連する、構成パラメータを提供することを含む、請求項１４１に記載の方法。
【請求項４３】
前記構成命令を提供することは、前記ビデオコンテンツシステムのそれぞれの操作またはアセットの前記構成に適用される修正の程度に関する指示を提供することを含む、請求項１４２に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオコンテンツシステムの制御および構成の分野に関する。
【発明の概要】
【０００２】
ここで開示される主題の機能要素の多くは、例えば、カスタムＶＬＳＩ回路もしくはゲートアレイ等を備えるハードウェア回路、ＦＰＧＡ等のプログラム可能なハードウェアデバイス、または無形のコンピュータが読み出し可能な媒体に記憶され、種々のプロセッサによって実行可能なソフトウェアプログラムコード、およびそれらの任意の組み合わせのような、種々の形態で実現することができる。ここで開示される主題の特定の構成要素は、ソフトウェアコードの１つの特定のセグメントによって、または複数のセグメントによって形成することができ、ここで開示されるそれぞれの構成要素に起因する制限に従って、互いに結合して集合的に作用する、または振舞うことができる。例えば、構成要素は、オブジェクト、プロシージャ、および機能等の複数のコードセグメントを通じて分散することができ、また、ここで開示される構成要素を提供するために同時に動作する複数のプログラムまたはプログラムファイルを起源とすることができる。
【０００３】
同じような様式で、ここで開示される構成要素（複数可）は、操作データで具現化することができ、または操作データは、ここで開示される構成要素（複数可）によって使用することができる。一例として、そのような操作データは、有形のコンピュータが読み出し可能な媒体に記憶することができる。操作データは、単一のデータセットとすることができ、または、異なるネットワークノード上もしくは異なる記憶デバイス上の、異なる場所に記憶されるデータの集合体とすることができる。
【０００４】
本出願の主題による方法または装置は、上または下で説明される異なる態様の特徴もしくはそれらと同等なものを、それらの任意の組み合わせで有することができ、また、下で提示される「発明を実施するための形態」で説明される方法または装置の任意の１つまたは複数の特徴もしくはそれらと同等なものと組み合わせることもできる。
【０００５】
ここで開示される主題の実施例は、入力ビデオシーケンスおよび対応する劣化ビデオシーケンスに基づいて、ビデオコンテンツシステムを制御するための方法およびデバイスに関する。入力ビデオシーケンスは、少なくとも現在の入力フレームおよび前の入力フレームを含むことができ、劣化ビデオシーケンスは、少なくとも現在の劣化フレームおよび前の劣化フレームと含むことができる。入力ビデオシーケンスおよび対応する劣化ビデオシーケンスに基づいて、ビデオコンテンツシステムを制御する方法は、現在の入力フレーム、前の入力フレーム、現在の劣化フレーム、および前の劣化フレームを取得することと、現在の入力フレームおよび前の入力フレームから第１の差分値を計算し、現在の劣化フレームおよび前の劣化フレームから第２の差分値を計算することと、第１および第２の差分値を比較し、フレーム間品質スコアを生じさせることと、現在の劣化フレームおよび現在の入力フレームの画素領域に適用することができるフレーム内品質測定を使用して、フレーム内品質スコアを計算することと、フレーム間品質スコアおよびフレーム内品質スコアに関連する品質基準に基づいて、ビデオコンテンツシステムに構成命令を提供することと、を含むことができる。
【０００６】
ここで開示される主題の実施例によれば、劣化ビデオシーケンスは、入力ビデオシーケンスに対応する圧縮ビデオシーケンスとすることができ、本方法は、圧縮パラメータ値を提供することを含むことができ、取得することは、圧縮パラメータ値に従って、現在の入力フレームから生成される候補圧縮フレームを取得することと、現在の入力フレームおよび候補圧縮フレームのそれぞれについて、前の入力フレームに対応する記憶された圧縮フレームを提供することとを含み、第１の差分値を計算することは、現在の入力フレームおよび前の入力フレームから第１の差分値を計算することを含み、第２の差分値を計算することは、候補圧縮フレームおよび記憶された圧縮フレームから第２の差分値を計算することと、第１および第２の差分値を比較し、フレーム間品質スコアを生じさせることと、を含み、フレーム内品質スコアを計算することは、候補圧縮フレームおよび現在の入力フレームの画素領域に適用することができるフレーム内品質測定を使用して、フレーム内品質を計算することを含み、フレーム間品質およびフレーム内品質に関連する品質基準を満たさない場合、ビデオエンコーダに、更新された圧縮パラメータ値を使用して圧縮処理を繰り返すように指示して、更新された候補圧縮フレームを生じさせ、更新された候補圧縮フレームに基づいて、フレーム間品質スコアおよびフレーム内品質スコアを計算する。
【０００７】
ここで開示される主題の実施例によれば、本方法はさらに、フレーム内品質スコアおよびフレーム間品質スコアに基づいて、現在の候補圧縮フレームのフレーム品質スコアを計算することを含むことができ、品質基準は、フレーム品質スコアに関連し得る。
【０００８】
ここで開示される主題の実施例によれば、本方法はさらに、現在の入力フレーム、前の入力フレーム、候補圧縮フレーム、および記憶された圧縮フレームのそれぞれを、対応するタイルに分割することと、対応するタイルの各組のタイル内品質スコアおよびタイル間品質スコアを算出することと、タイル内品質スコアおよびタイル間品質スコアの知覚的に駆動される加重を計算することと、タイルスコアをプールし、フレーム品質スコアを生じさせることと、を含むことができる。
【０００９】
ここで開示される主題の実施例によれば、フレーム内品質スコアを計算することはさらに、完全参照画素領域品質測定を使用することを含むことができ、入力フレームは、画素領域参照とすることができる。
【００１０】
ここで開示される主題の実施例によれば、フレーム内品質スコアを計算することは、入力フレームと候補圧縮フレームとの間の画素的差分に基づいて、フレーム内品質スコアを計算することを含むことができる。
【００１１】
ここで開示される主題の実施例によれば、フレーム内品質スコアを計算することはさらに、候補圧縮フレームまたは入力フレームのいずれかの画素の輝度パラメータ値に基づいて、フレーム内品質スコアを正規化することを含むことができる。
【００１２】
ここで開示される主題の実施例によれば、フレーム内品質スコアを計算することはさらに、現在の入力フレームタイルおよび対応する候補圧縮フレームタイルを分割し、複数のサブタイル対を生じさせることと、複数のサブタイル対のそれぞれ１つのサブタイル内品質スコアを計算することと、複数のサブタイル対のそれぞれ１つの知覚的に駆動される加重を計算し、複数の加重されたサブタイル内品質スコアを生じさせることと、複数の加重されたサブタイル内品質スコアを、対応する複数のタイル内品質スコアにプールすることと、を含むことができる。
【００１３】
ここで開示される主題の実施例による、フレーム間品質スコアを計算することは、現在の入力フレームタイル、前のフレームタイル、候補圧縮フレームタイル、および記憶された圧縮フレームタイルから成る１組の対応するタイルから、各タイルを２つ以上のサブタイルに分割し、２つ以上のサブタイル群を生じさせることと、２つ以上のサブタイル群のそれぞれのサブタイル間スコアを計算することと、２つ以上のサブタイル間スコアを、対応するフレーム間タイル品質スコアにプールすることと、を含むことができる。
【００１４】
ここで開示される主題の実施例によれば、フレーム内品質スコアを計算することは、現在の入力フレームに対する候補圧縮フレームのビデオ符号化ブロック境界に沿った追加のアーチファクトエッジの程度を定量化することに基づくことができる、追加のアーチファクトエッジスコアを計算することを含むことができ、追加のアーチファクトエッジの程度は、それぞれのビデオ符号化ブロック境界の両側の画素値の挙動に関連する、ビデオ符号化ブロック境界全体にわたる画素値の挙動に従って決定することができる。
【００１５】
ここで開示される主題の実施例によれば、追加のアーチファクトエッジスコアを算出することはさらに、輝度パラメータ値および追加のアーチファクトエッジの程度の分散に基づくことができるアーチファクトエッジ正規化係数に従って、追加のアーチファクトエッジスコアを正規化することを含むことができる。
【００１６】
ここで開示される主題の実施例によれば、フレーム内品質スコアを計算することはさらに、現在の入力フレームおよび対応する候補圧縮フレームのテクスチャ値間の関係に基づいて、テクスチャ歪スコアを算出することを含むことができ、各テクスチャ値は、現在の入力フレームの複数の予め定義された画素群のそれぞれ１つの中の、および対応する候補圧縮フレームのそれぞれの画素群における、画素値の分散に対応する。
【００１７】
ここで開示される主題の実施例によれば、テクスチャ歪スコアを算出することは、１つ以上のテクスチャ歪感度閾値を、現在の入力フレームおよび対応する候補圧縮フレームのテクスチャ値間の関係に適用し、テクスチャ歪感度閾値に基づくことができる、非線形テクスチャ歪スコアマッピングを生じさせることを含むことができる。
【００１８】
ここで開示される主題の実施例によれば、１つ以上のテクスチャ歪感度閾値を適用することは、算出された画素的差分に従って１つ以上のテクスチャ歪感度閾値を適合させることを含むことができる。
【００１９】
ここで開示される主題の実施例によれば、テクスチャ歪スコアを計算することはさらに、輝度パラメータ値に従って、およびアーチファクトエッジ正規化係数に従って、テクスチャ歪スコアを正規化することを含むことができる。
【００２０】
ここで開示される主題の実施例によれば、フレーム内品質スコアを計算することはさらに、現在の入力フレームに対応するエッジマップを取得することと、現在の入力フレームの各エッジ画素について、エッジ画素の値と、エッジ画素付近の１つ以上の画素との間の偏差に基づいて、エッジ強度スコアを提供することと、候補圧縮フレームの各対応する画素について、対応する画素の値と、対応する画素付近の１つ以上の画素との間の偏差に基づいて、エッジ強度スコアを提供することと、エッジ画素のエッジ強度スコアと、対応する画素のエッジ強度スコアとの関係に基づいて、エッジ損失スコアを算出することと、を含むことができる。
【００２１】
ここで開示される主題の実施例によれば、フレーム内品質スコアを計算することは、現在の入力フレームに対応するエッジマップを取得することと、候補圧縮フレームに対応するエッジマップを取得することと、現在の入力フレームに対応するエッジマップと、候補圧縮フレームに対応するエッジマップとの差分に従うエッジ画素の損失に基づいて、エッジ損失スコアを算出することと、を含むことができる。
【００２２】
ここで開示される主題の実施例によれば、フレーム内品質スコアを計算することは、現在の入力フレームと候補圧縮フレームとの画素領域差分の空間分散に基づいて、フレーム内品質スコアを因数分解することを含むことができる。
【００２３】
ここで開示される主題の実施例によれば、フレーム内品質スコアを計算することは、各候補圧縮フレームタイルについて、対応するサブタイル対の画素差分スコアの中の分散に基づいて、タイル空間分散スコアを計算することと、候補圧縮フレームについて、タイル空間分散スコアをプールし、フレーム空間分散スコアを生じさせることと、フレーム空間分散スコアに従って、フレーム内品質スコアを因数分解することと、を含むことができる。
【００２４】
ここで開示される主題の実施例によれば、構成命令を提供することは、ビデオコンテンツシステムのそれぞれの操作またはアセットに関連し得る、構成パラメータを提供することを含むことができる。
【００２５】
ここで開示される主題の実施例によれば、構成命令を提供することは、ビデオコンテンツシステムのそれぞれの操作またはアセットの構成に適用される修正の程度に関する指示を提供することを含むことができる。
【００２６】
ここで開示される主題の他の態様によれば、入力ビデオシーケンスおよび対応する劣化ビデオシーケンスに基づいて、ビデオコンテンツシステムを制御するためのデバイスが提供される。入力ビデオシーケンスは、現在の入力フレームおよび前の入力フレームを含み、劣化ビデオシーケンスは、少なくとも現在の劣化フレームおよび前の劣化フレームを含む。ここで開示される主題の実施例によれば、入力ビデオシーケンスおよび対応する劣化ビデオシーケンスに基づいて、ビデオコンテンツシステムを制御するためのデバイスは、現在の入力フレーム、前の入力フレーム、現在の劣化フレーム、および前の劣化フレームのそれぞれを入力として受け取るように構成される、インターフェースと、現在の入力フレームおよび前の入力フレームから第１の差分値を計算し、現在の劣化フレームおよび前の劣化フレームから第２の差分値を計算するように構成される、プロセッサと、第１および第２の差分値を比較し、フレーム間品質スコアを生じさせるように適合される、品質劣化評価モジュールと、圧縮品質評価モジュールは、現在の入力フレームおよび現在の劣化フレームの画素領域に適用することができるフレーム内品質測定を使用して、フレーム内品質スコアを計算するように適合させることができ、フレーム間品質スコアおよびフレーム内品質スコアに関連する品質基準に基づいて、ビデオコンテンツシステムに構成命令を提供するように構成される、ビデオコンテンツシステム構成器と、を含むことができる。
【００２７】
ここで開示される主題の実施例によれば、劣化ビデオシーケンスは、入力ビデオシーケンスに対応する圧縮ビデオシーケンスとすることができ、本デバイスは、前の入力フレームおよび前の入力フレームに対応する前の圧縮フレームを保持するように適合される、バッファを含むことができ、ビデオコンテンツシステム構成器は、ビデオエンコーダに、圧縮パラメータ値に従って現在の入力フレームを圧縮するように指示し、候補圧縮フレームを生じさせるように適合させることができ、インターフェースは、現在の入力フレームおよび候補圧縮フレームを受け取るように適合させることができ、プロセッサは、現在の入力フレームおよび前の入力フレームから第１の差分値を計算し、候補圧縮フレームおよび前の圧縮フレームから第２の差分値を計算するように構成することができ、品質劣化評価モジュールは、候補圧縮フレームおよび現在の入力フレームの画素領域に適用することができるフレーム内品質測定を使用して、フレーム内品質スコアを計算するように適合させることができ、品質劣化評価モジュールは、第１および第２の差分値を比較し、フレーム間品質スコアを生じさせるように適合させることができ、フレーム間品質スコアおよびフレーム内品質スコアに関連する品質基準を満たさない場合、ビデオコンテンツシステム構成器は、ビデオエンコーダに、更新された圧縮パラメータ値を使用して、現在の入力フレームのビデオ圧縮を繰り返すように指示し、更新された候補圧縮フレームを生じさせ、更新された候補圧縮フレームに基づいて、フレーム間品質スコアおよびフレーム内品質スコアを計算するように適合させることができる。
【００２８】
ここで開示される主題の実施例によれば、プロセッサはさらに、フレーム内品質スコアおよびフレーム間品質スコアに基づいて、現在の入力フレームのフレーム品質スコアを計算するように適合させることができ、品質基準は、フレーム品質スコアに関連し得る。
【００２９】
ここで開示される主題の実施例によれば、本デバイスは、現在の入力フレーム、前の入力フレーム、候補圧縮フレーム、および記憶された圧縮フレームのそれぞれを２つ以上のタイルに分割するように適合される、フレーム分割モジュールを含むことができ、プロセッサは、対応するタイルの各組のタイル内品質スコアおよびフレーム間品質スコアを算出し、タイル内品質スコアおよびタイル間品質スコアの知覚的に駆動される加重を計算し、タイルスコアをプールし、フレーム品質スコアを生じさせるように適合させることができる。
【００３０】
ここで開示される主題の実施例によれば、品質劣化評価モジュールは、完全参照画素領域品質測定を使用して、フレーム内品質スコアを計算するように適合させることができ、入力フレームは、画素領域参照とすることができる。
【００３１】
ここで開示される主題の実施例によれば、品質劣化評価モジュールは、入力フレームと候補圧縮フレームとの間の画素的差分に基づいて、フレーム内品質スコアを計算するように適合させることができる。
【００３２】
ここで開示される主題の実施例によれば、品質劣化評価モジュールは、候補圧縮フレームまたは入力フレームのいずれかの画素の輝度パラメータ値に基づいて、フレーム内品質スコアを正規化するように適合させることができる。
【００３３】
ここで開示される主題の実施例によれば、本デバイスは、現在の入力フレームタイルおよび対応する候補圧縮フレームタイルを分割し、複数のサブタイル対を生じさせるように適合させることができる、分割モジュールを含むことができ、品質劣化評価モジュールは、複数のサブタイル対のそれぞれ１つのサブタイル内品質スコアを計算し、複数のサブタイル対のそれぞれ１つの知覚的に駆動される加重を計算し、複数の加重されたサブタイル内品質スコアを生じさせ、複数の加重されたサブタイル内品質スコアを、対応する複数のタイル内品質スコアにプールするように適合させることができる。
【００３４】
ここで開示される主題の実施例によれば、本デバイスはさらに、現在の入力フレームタイル、前の入力フレームタイル、候補圧縮フレームタイル、および記憶された圧縮フレームタイルから成る１組の対応するタイルから、各タイルを２つ以上のサブタイルに分割し、２つ以上のサブタイル組を生じさせるように適合させることができる、分割モジュールを含むことができ、品質劣化評価モジュールは、２つ以上のサブタイル組のそれぞれのサブタイル間スコアを計算し、２つ以上のサブタイル間スコアを、対応するフレーム間タイル品質スコアにプールするように適合させることができる。
【００３５】
ここで開示される主題の実施例によれば、品質劣化評価モジュールは、現在の入力フレームに対する候補圧縮フレームのビデオ符号化ブロック境界に沿った追加のアーチファクトエッジの程度を定量化することに基づくことができる、追加のアーチファクトエッジスコアを算出するように適合させることができ、追加のアーチファクトエッジの程度は、それぞれのビデオ符号化ブロック境界の両側の画素値の挙動に関連して、ビデオ符号化ブロック境界全体にわたる画素値の挙動に従って決定することができ、フレーム内品質スコアは、算出された追加のアーチファクトエッジスコアと関連付けることができる。
【００３６】
ここで開示される主題の実施例によれば、品質劣化評価モジュールは、輝度パラメータ値および追加のアーチファクトエッジの程度の分散に基づくことができるアーチファクトエッジ正規化係数に従って、追加のアーチファクトエッジスコアを正規化するように適合させることができる。
【００３７】
ここで開示される主題の実施例によれば、品質劣化評価モジュールは、現在の入力フレームおよび対応する候補圧縮フレームのテクスチャ値間の関係に基づいて、テクスチャ歪スコアを計算するように適合させることができ、各テクスチャ値は、現在の入力フレームの複数の予め定義された画素群のそれぞれ１つの中の、および対応する候補圧縮フレームのそれぞれの画素群における、画素値の分散に対応し、フレーム内品質スコアは、算出されたテクスチャ歪スコアと関連付けることができる。
【００３８】
ここで開示される主題の実施例によれば、品質劣化評価モジュールは、１つ以上のテクスチャ歪感度閾値を、現在の入力フレームのテクスチャ値と、対応する候補圧縮フレームのテクスチャ値との関係に適用し、テクスチャ歪感度閾値に基づくことができる、非線形テクスチャ歪スコアマッピングを生じさせることを含むように適合させることができ、テクスチャ歪スコアは、非線形テクスチャ歪スコアマッピングと関連付けることができる。
【００３９】
ここで開示される主題の実施例によれば、品質劣化評価モジュールは、算出された画素的差分に従って、１つ以上のテクスチャ歪感度閾値を適合させるように適合させることができる。
【００４０】
ここで開示される主題の実施例によれば、品質劣化評価モジュールは、輝度パラメータ値に従って、およびアーチファクトエッジ正規化係数に従って、テクスチャ歪スコアを正規化するように適合させることができる。
【００４１】
ここで開示される主題の実施例によれば、品質劣化評価モジュールは、現在の入力フレームに対応するエッジマップを取得し、候補圧縮フレームに対応するエッジマップを取得し、現在の入力フレームに対応するエッジマップと候補圧縮フレームに対応するエッジマップとの差分に従うエッジ画素の損失に基づいて、エッジ損失スコアを算出するように適合させることができる。
【００４２】
ここで開示される主題３５の実施例によれば、品質劣化評価モジュールは、現在の入力フレームと候補圧縮フレームとの画素領域差分の空間分散に基づいて、フレーム内品質スコアを因数分解するように適合させることができる。
【００４３】
ここで開示される主題の実施例によれば、品質劣化評価モジュールは、対応するサブタイル対の画素差分スコアの中の分散に基づいて、各候補圧縮フレームタイルのタイル空間分散スコアを計算し、候補圧縮フレームのタイル空間分散スコアをプールし、フレーム空間分散スコアを生じさせ、フレーム空間分散スコアに従って、フレーム内品質スコアを因数分解するように適合させることができる。
【００４４】
ここで開示される主題２０の実施例によれば、ビデオコンテンツシステム構成器は、ビデオコンテンツシステムのそれぞれの操作またはアセットに関連し得る構成パラメータを含む、構成命令を提供するように適合させることができる。
【００４５】
ここで開示される主題の実施例によれば、構成命令は、ビデオコンテンツシステムのそれぞれの操作またはアセットの構成に適用される修正の程度を示す。
【００４６】
ここで開示される主題の他の態様によれば、ビデオシーケンスからのビデオフレームの圧縮を制御する方法を行って、入力ビデオシーケンスからビデオフレームを圧縮するために、機械によって実行可能な命令のプログラムを明白に具現化する、機械によって読み出し可能なプログラム記憶デバイスが提供される。ここで開示される主題の実施例によれば、本方法は、圧縮パラメータ値を提供することと、圧縮パラメータ値に従って、現在の入力フレームから生成される候補圧縮フレームを取得することと、現在の入力フレームおよび候補圧縮フレームのそれぞれについて、前の入力フレームに対応する記憶された圧縮フレームを提供することと、現在の入力フレームおよび前の入力フレームから第１の差分値を計算し、候補圧縮フレームおよび記憶された圧縮フレームから第２の差分値を計算することと、第１および第２の差分値を比較し、フレーム間品質スコアを生じさせることと、候補圧縮フレームおよび現在の入力フレームの画素領域に適用することができるフレーム内品質測定を使用して、フレーム内品質スコアを計算することと、フレーム間品質およびフレーム内品質に関連する品質基準を満たさない場合、ビデオエンコーダに、更新された圧縮パラメータ値を使用して圧縮処理を繰り返すように指示して、更新された候補圧縮フレームを生じさせ、更新された候補圧縮フレームに基づいて、フレーム間品質スコアおよびフレーム内品質スコアを計算することと、を含むことができる。
【００４７】
ここで開示される主題による本発明のさらに別の態様によれば、入力ビデオシーケンスからビデオフレームを圧縮するために、ビデオシーケンスからのビデオフレームの圧縮を制御するための、その中に具現化されるコンピュータが読み出し可能なプログラムコードを有するコンピュータが使用可能な媒体を備える、コンピュータプログラム製品が提供される。ここで開示される主題の実施例によれば、コンピュータプログラム製品は、コンピュータに、圧縮パラメータ値を提供させるための、コンピュータが読み出し可能なプログラムコードと、コンピュータに、圧縮パラメータ値に従って現在の入力フレームから生成される候補圧縮フレームを取得させるための、コンピュータが読み出し可能なプログラムコードと、コンピュータに、現在の入力フレームおよび候補圧縮フレームのそれぞれについて、前の入力フレームに対応する記憶された圧縮フレームを提供させるための、コンピュータが読み出し可能なプログラムコードと、コンピュータに、現在の入力フレームおよび前の入力フレームから第１の差分値を計算させ、候補圧縮フレームおよび記憶された圧縮フレームから第２の差分値を計算させるための、コンピュータが読み出し可能なプログラムコードと、コンピュータに、第１および第２の差分値を比較させ、フレーム間品質スコアを生じさせるための、コンピュータが読み出し可能なプログラムコードと、コンピュータに、候補圧縮フレームおよび現在の入力フレームの画素領域に適用することができるフレーム内品質測定を使用して、フレーム内品質スコアを計算させるための、コンピュータが読み出し可能なプログラムコードと、コンピュータに、フレーム間品質およびフレーム内品質に関連する品質基準を満たさない場合に、ビデオエンコーダが更新された圧縮パラメータ値を使用して圧縮処理を繰り返すように指示させ、更新された候補圧縮フレームを生じさせ、更新された候補圧縮フレームに基づいて、フレーム間品質スコアおよびフレーム内品質スコアを計算させるための、コンピュータが読み出し可能なプログラムコードと、を含むことができる。
【図面の簡単な説明】
【００４８】
本発明を理解し、それが実際にどのように実行され得るのかを確認するために、ここで、添付図面を参照して、好ましい実施形態を単に限定的でない実施例として説明する。
【００４９】
【図１】ここで開示される主題の実施例による、ビデオシーケンスからのビデオフレームの圧縮を制御するためのデバイスのブロック図である。
【図２】ここで開示される主題の実施例による、ビデオシーケンスからのビデオフレームの圧縮を制御する方法のフローチャート図である。
【図３】タイル化処理を追加した、図２で示されるビデオフレームの圧縮を制御する方法のフローチャート図である。
【図４】ここで開示される主題の実施例による、ビデオフレームの圧縮を制御する方法の一部として実現することができる、完全参照画素領域品質測定の計算のフローチャート図である。
【図５】ここで開示される主題の実施例による、ビデオフレームの圧縮を制御する方法の一部として実現することができる、時間的整合性品質測定の計算のフローチャート図である。
【図６】共通の（垂直な）ブロック境界を共有する２つのブロックの画素値のグラフ図である。
【図７】ここで開示される主題のいくつかの実施例による、ビデオフレームの圧縮を制御する方法の一部として使用することができる追加のアーチファクトエッジ測定の一部として使用することができる、閾値化関数の概略図である。
【図８】ここで開示される主題のいくつかの実施例による、ビデオフレームの圧縮を制御する方法の一部として使用することができるテクスチャ歪測定の一部として実現することができる、閾値化関数の概略図である。
【図９Ａ】｛ｉ，ｊ｝の画素を取り囲む画素の概略的な列挙の実施例である。
【図９Ｂ】｛ｉ，ｊ｝の画素を取り囲む画素の画素値（エッジ画素は太字）の概略図である。
【図９Ｃ】｛ｉ，ｊ｝の画素を取り囲む画素について計算される絶対差分値（最大値は太字）の該略図であり、対角エッジの事例を実証し、ここで、ＥＤｏｒｇ（ｉ，ｊ）＝３である。
【００５０】
図示の簡潔さおよび明確さのために、図に示される要素は必ずしも一定の縮尺で描かれていないことが認識されるであろう。例えば、いくつかの要素の寸法は、明確にするために、他の要素と比較して誇張され得る。さらに、適切であるとみなされる場合、対応するまたは類似する要素を示すために、図面の間で参照番号が繰り返され得る。
【発明を実施するための形態】
【００５１】
以下の詳細な説明では、ここで開示される主題の完全な理解を提供するために、多数の具体的な詳細が述べられる。しかしながら、ここで開示される主題は、これらの具体的な詳細を伴わずに実践され得ることが、当業者によって理解されるであろう。他の事例において、ここで開示される主題を不明確にしないように、よく知られている方法、手順、および構成要素は、詳細に説明されていない。
【００５２】
別途具体的に提示されない限り、以下の議論から明らかなように、明細書の議論全体を通して、種々の機能用語は、コンピューティングデバイスのレジスタおよび／またはメモリ内で電子的な量等の物理量として表されるデータを、コンピューティングデバイスのメモリ、レジスタ、または他のそのような有形の情報記憶、伝送、もしくは表示デバイス内で同様に物理量として表される他のデータに操作および／または変換する、コンピュータもしくはコンピューティングデバイス、または同様の電子コンピューティングデバイスの作用および／または処理を指す。
【００５３】
画像処理分野、ならびにデジタルビデオコンテンツシステムおよびデジタルビデオ処理の分野における従来の用語の一覧を下に提供する。下の用語のそれぞれについて、当技術分野における用語の従来の意味のそれぞれに従って、簡単な定義が提供される。下で提供される用語は、当技術分野で知られており、以下の定義は、単に便宜上の目的で、限定的でない例として提供される。故に、特許請求の範囲における対応する用語の解釈は、別途提示されない限り、下の定義に限定されるものではなく、特許請求の範囲で使用される用語は、それらの最も広い合理的な解釈が与えられるべきである。
【００５４】
ここで開示される主題の実施例の説明の全体を通して、および特許請求の範囲において、「ビデオコンテンツシステム」または「デジタルビデオコンテンツシステム」という用語に言及する。ビデオコンテンツシステムまたはデジタルビデオコンテンツシステムは、１つ以上のビデオシーケンス（または少なくともビデオシーケンスに対応するデジタルデータ）を送る、受け取る、表示する、または作成するように構成されるシステムである。ここで開示される主題のいくつかの実施例において、ビデオコンテンツシステムは、入力ビデオシーケンスを処理するように構成される。ビデオコンテンツシステムによって実行することができる処理の例としては、符号化、圧縮、および再圧縮のうちの１つ以上が挙げられるが、それらに限定されない。なおさらなる例として、ビデオコンテンツシステムは、ビデオシーケンスの処理の種々のパラメータを修正することができ、出力（処理されたビデオシーケンス）の品質は、使用される処理パラメータによって影響を及ぼされる。
【００５５】
ここで開示される主題のさらなる実施例において、ビデオコンテンツシステムによる処理に加えて、またはそれに代わるものとして、ビデオコンテンツシステムは、１つ以上のビデオシーケンスを１人以上のユーザに分散させるように構成することができる。なおさらなる一例として、ビデオコンテンツシステムによるビデオシーケンスの分散には、限られた量のリソースが割り当てられ、ビデオコンテンツシステムは、ビデオシーケンスを分散させるために使用されるべきリソースの割り当てを修正させることができる。
【００５６】
ビデオコンテンツシステムは、ＲＡＷデジタルデータを、例えばＹＵＶ領域で、入力として受け取ることができ、また、デジタルデータを符号化または圧縮するように構成することができ、例えば、ビデオコンテンツシステムは、ビデオ圧縮システムとすることができる。さらなる一例として、ビデオコンテンツシステムは、符号化または圧縮ビデオシーケンスを入力として受け取ることができ、また、符号化または圧縮された入力ビデオシーケンスを復号化および符号化、または再圧縮するように構成することができる。ビデオコンテンツシステムは、符号化または圧縮処理の一部として、種々の符号化または圧縮パラメータを適用するように構成することができ、符号化または圧縮処理を通して導入される品質劣化のレベルは、符号化または圧縮パラメータに関連する。
【００５７】
ビデオコンテンツシステムは、入力ビデオシーケンスを分散させるように構成することができる。ビデオコンテンツシステムは、ビデオシーケンスを処理して、ビデオシーケンスの分散に割り当てられる、またはそれに利用可能であるリソースの程度に従ってビデオシーケンスを適応させるように構成することができる。その分散のためのビデオシーケンスのビデオコンテンツシステムによる処理は、劣化ビデオシーケンスを生成することができる。ビデオシーケンスに導入される品質劣化のレベルは、ビデオシーケンスの分散に割り当てられるリソースの程度に関連し得る。
【００５８】
ここで開示される主題の実施例の説明の全体を通して、および特許請求の範囲において、「ビデオシーケンス」という用語に言及する。ビデオシーケンスは、一連のビデオフレームである。
【００５９】
ここで開示される主題の実施例の説明の全体を通して、および特許請求の範囲において、「劣化ビデオシーケンス」という用語に言及する。「劣化ビデオシーケンス」とは、何らかの処理を受けた、または例えば伝送エラーを含む任意の他の理由で品質劣化を受けた、ビデオシーケンスであり、処理前のビデオシーケンスと比較して、その知覚される視覚的品質が低下している。
【００６０】
ここで開示される主題の実施例の説明の全体を通して、および特許請求の範囲において、「ビデオ圧縮」および「ビデオ符号化」または簡単に「圧縮」および「符号化」と言う用語に言及する。別途本文が暗示しない限り、本明細書で使用される「圧縮」という用語は、より一般的な「符号化」という用語と置き換えることができる。
【００６１】
ここで開示される主題の態様によれば、ビデオコンテンツシステムを制御するシステムおよび方法が提供される。ここで開示される主題の実施例によれば、ビデオコンテンツシステムを制御するためのデバイスは、入力ビデオシーケンスおよび対応する劣化ビデオシーケンスを受け取ることができる。入力ビデオシーケンスは、少なくとも現在の入力フレームおよび前の入力フレームを含むことができる。劣化シーケンスは、少なくとも現在の劣化フレームおよび前の劣化フレームを含むことができる。
【００６２】
ここで開示される主題の実施例によれば、ビデオコンテンツシステムを制御するためのデバイスは、インターフェースと、プロセッサと、品質劣化評価モジュールと、ビデオコンテンツシステム構成器とを含むことができる。
【００６３】
インターフェースは、現在の入力フレーム、前の入力フレーム、現在の劣化フレーム、および前の劣化フレームのそれぞれを入力として受け取るように構成することができる。プロセッサは、現在の入力フレームおよび前の入力フレームから第１の差分値を計算し、現在の劣化フレームおよび前の劣化フレームから第２の差分値を計算するように構成することができる。品質劣化評価モジュールは、第１および第２の差分値を比較し、比較に基づいて、フレーム間品質スコアを提供するように適合させることができる。品質劣化評価モジュールは、現在の入力フレームおよび現在の劣化フレームの画素領域に適用されるフレーム内品質測定を使用して、フレーム内品質スコアを計算するように適合させることができる。ビデオコンテンツシステム構成器は、フレーム間品質スコアおよびフレーム内品質スコアに関連する品質基準に基づいて、ビデオコンテンツシステムに構成命令を提供するように構成することができる。
【００６４】
ここで開示される主題のさらなる態様は、入力ビデオシーケンスおよび対応する劣化ビデオシーケンスに基づく、ビデオコンテンツシステムの方法に関する。ここで開示される主題のさらに他の態様は、入力ビデオシーケンスおよび対応する劣化ビデオシーケンスに基づいてビデオコンテンツシステムを制御する方法を行うために、機械によって実行可能な命令のプログラムを明白に具現化する、機械によって読み出し可能なプログラム記憶デバイスに関する。ここで開示される主題のなおさらなる態様は、入力ビデオシーケンスおよび対応する劣化ビデオシーケンスに基づいてビデオコンテンツシステムを制御するための、その中に具現化されるコンピュータが読み出し可能なプログラムコードを有するコンピュータが使用可能な媒体を備える、コンピュータプログラム製品に関する。
【００６５】
ここで開示される主題の実施例によれば、ビデオコンテンツシステムの制御は、劣化ビデオシーケンスの品質に従って実行される。劣化ビデオシーケンスの品質は、知覚品質測定で測定される。劣化ビデオシーケンスの品質を評価するために使用することができる知覚品質測定の例は、本明細書で開示される。劣化ビデオシーケンスは、出力または分散の候補とすることができる。劣化ビデオシーケンスは、出力または分散があるまでバッファリングすることができ、そのプロビジョニングまたは分散は、品質基準が、ビデオシステムを制御するためのデバイスによって評価され、該デバイスによって実現される品質基準を満たすことを条件とすることができる。さらなる例において、ビデオコンテンツシステムによる劣化ビデオシーケンスの処理（例えば、符号化、圧縮等）または分散のある態様は、ビデオコンテンツシステムを制御するためのデバイスからの結果または命令に従って処理中に、およびそれらを受け取った時点で修正することができる。
【００６６】
上で述べられるように、および下でさらに説明するように、ビデオコンテンツシステムを制御するためのデバイスによって、劣化ビデオシーケンスの品質を評価するために計算され、使用される品質スコアは、参照ビデオシーケンスと比較したときの劣化ビデオシーケンスの相対的品質に基づくことができる。これに関し、ここで開示される主題の実施例によれば、ビデオコンテンツシステムを制御するためのデバイスは、劣化ビデオシーケンスの品質を評価するための参照ビデオシーケンスとして使用されるビデオシーケンスを入力として受け取ることができることが認識されるであろう。さらなる一例として、参照ビデオシーケンスとして使用される入力ビデオシーケンスは、ビデオコンテンツシステムによる処理の前のビデオシーケンス（またはビデオシーケンスに対応するデータ）である。換言すれば、ビデオコンテンツシステムによる処理の前のビデオシーケンスは、処理されたビデオシーケンスの品質を評価するための参照として使用することができる。
【００６７】
他の例において、劣化ビデオシーケンスに対応する入力ビデオシーケンスは、ビデオコンテンツシステムの外部のソースから取得される。例えば、ビデオコンテンツシステムは、劣化ビデオシーケンスだけを記憶または送達することができ、入力（非劣化）シーケンスは、別個の参照ファイルの（入力）ビデオシーケンスの劣化を評価するために参照として使用される、別個のファイルで提供され得る。劣化の原因は、様々であり、例えば、符号化、ビットレートの低下、伝送エラー等が挙げられる。これに関し、ここで開示される主題のいくつかの実施例において、入力（非劣化）シーケンスは、品質評価の目的で、および場合によりこの目的のためだけに取得することができる。ここで開示される主題のいくつかの実施例において、入力（非劣化シーケンス）は、劣化シーケンス（現在の劣化フレームおよび前の劣化フレームの双方）と異なるソースから取得することができることが認識されるであろう
【００６８】
さらに、ここで開示される主題の実施例によれば、劣化ビデオシーケンスは、ビデオコンテンツシステムの候補出力ビデオシーケンスである、バッファリングされたビデオシーケンスとすることができる。この実施例において、候補（劣化）出力ビデオシーケンスは、それが出力として提供される前に評価することができる。候補出力ビデオシーケンスが、ビデオコンテンツシステムを制御するためのデバイスによって実現される品質基準を満たさない場合、候補出力ビデオシーケンスは、置き換えるか、または追加的に（１回以上の追加的な回数）処理および調整することができる。
【００６９】
ここで開示される主題のさらなる実施例において、劣化ビデオシーケンスは、同一ではないが、ビデオコンテンツシステムの出力として提供されるビデオシーケンスを表す。例えば、ビデオコンテンツシステムは、ビデオストリームを分散させる（例えば、通信する）ことができ、進行中のビデオストリームの品質をサンプリングすることができ、そしてサンプリングしたビデオフレームは、ビデオコンテンツシステムを制御するためのデバイスによって実現される品質評価処理で、劣化ビデオシーケンスとして使用することができる。さらに別の実施例において、ビデオコンテンツシステムを制御するためのデバイスによってその品質が評価される劣化ビデオフレームは、品質評価の結果として実現される構成修正によってその品質が影響を及ぼされる、同じビデオシーケンスまたはビデオストリームの一部ではない。
【００７０】
さらなる一例として、ビデオコンテンツシステムを制御するためのデバイスによって実現される評価処理は、ビデオシーケンスの分散と並行して行うことができる。したがって、例えば、劣化ビデオシーケンスとして使用されるサンプリングされるビデオフレームの品質は、ビデオストリームの分散を進行しながら評価することができる。劣化ビデオシーケンスが品質基準を満たさない場合は、ビデオストリームの分散またはビデオストリームの符号化パラメータの構成を調整することができ、修正した構成は、以降のフレームの分散に影響を及ぼし得る。換言すれば、劣化ビデオシーケンスの品質の評価は、あるビデオシーケンスの一部である第１の組のビデオフレームに関して実行することができ、ビデオコンテンツシステムを制御するためのデバイスによる品質評価の結果と関連付けられるビデオコンテンツシステムの構成は、ビデオストリーム（劣化ビデオフレームと同じまたは異なるビデオストリーム）の以降のビデオフレームの品質に影響を及ぼす。
【００７１】
ここで開示される主題の実施例によれば、ビデオコンテンツシステムを制御するためのデバイスによって使用される入力ビデオシーケンスは、各劣化ビデオフレームについて、対応する入力／参照ビデオフレームがあるように、劣化ビデオシーケンスとの１：１（フレーム対フレーム）の対応関係を提供することができる。ここで開示される主題のさらなる実施例によれば、入力ビデオシーケンスは、一部分だけが劣化ビデオシーケンスと比較され、逆もまた同様であり、また、一部分の入力ビデオシーケンスに基づいて、劣化ビデオシーケンスの品質を評価するために、いくつかのサンプリングスキームまたは対応スキームを使用することができる。他の実施例において、劣化ビデオシーケンスは、入力ビデオシーケンスと比較して、より低いフレームレートまたはフレームカウントを有し、劣化ビデオフレームと入力ビデオフレームとの対応関係は、例えば、ビデオフレームに埋め込まれるメタデータに従って、ビデオシーケンス特性もしくはパラメータ、例えばタイムスタンプを説明するデータに従って、または任意の他の同期データもしくは基準データを使用して決定される。
【００７２】
下で説明されるように、入力ビデオシーケンスと劣化ビデオシーケンスとの対応関係のレベル、および対応関係が決定される手法に関わらず、ここで開示される主題の実施例によれば、ビデオコンテンツシステムを制御するためのデバイスは、劣化ビデオシーケンスの完全参照品質評価を実現することができる。「完全参照品質評価」という用語は、当技術分野で知られており、評価処理を説明するために使用され、この場合、任意の劣化ビデオフレームについて、対応する現在の入力フレームが利用可能であり、前のフレームが任意の前の劣化フレームの評価に関与している場合、対応する前の入力フレームが利用可能であり、品質評価は、下で提供されるここで開示される主題の実施例で説明されるように、結果として生じるフレーム対およびフレーム群を処理することに基づく。この「完全参照」という用語の簡単な定義は、当技術分野における用語の従来の意味に従って提供される。この定義は、限定的でなく、便宜上の目的で提供される。故に、「完全参照品質評価」という用語の解釈は、本明細書の定義に限定されず、むしろそれは、その最も広い合理的な解釈が与えられるべきである。
【００７３】
一例として、ビデオコンテンツシステムを制御するためのデバイスによって実現される品質評価処理、および該デバイスによって提供されるそれぞれの構成命令は、劣化ビデオシーケンス（例えば、符号化、圧縮、または分散ビデオシーケンス）の視覚品質の制御を可能にすることができる。これに関し、ビデオコンテンツシステムは、一般的に、システムの作業点を制御するために修正または調整することができる、１組の構成パラメータを実現することが認識されるであろう。「作業点」という用語は、当技術分野で知られており、システムの構成設定を説明するために使用される。例えば、ビデオ圧縮システムの場合、作業点は、ビットレートの設定および他のエンコーダの設定（プロファイル、符号化ツール、符号化モード等）を含むことができる。この「作業点」という用語の簡単な定義は、当技術分野における用語の従来の意味に従って提供される。この定義は、限定的でなく、便宜上の目的で提供される。故に、「作業点」という用語の解釈は、本明細書の定義に限定されず、むしろそれは、その最も広い合理的な解釈が与えられるべきである。ここで開示される主題の実施例によれば、ビデオコンテンツシステムは、劣化ビデオシーケンスの劣化レベルに影響を及ぼす、ある処理、機能、パラメータ、または構成を修正するように、またはシステムと関連付けられ、劣化ビデオシーケンスの劣化レベルに影響を及ぼす、あるリソース（例えば、分散リソース）の割り当てを修正するように構成することができる。
【００７４】
例えば、ビデオコンテンツシステムは、ビデオコンテンツ分散システムとすることができ、分散のための入力ビデオシーケンスを符号化するために使用され得るビデオエンコーダを含むことができる。ビデオ符号化処理のパラメータは、および場合によっては作業モードも、調整可能とすることができ、ビデオコンテンツシステムを制御するためのデバイスからの命令に従って修正することができる。さらなる一例として、ビデオコンテンツシステムの調整可能なパラメータは、エンコーダレート制御モジュールに供給することができる、目標ビットレートを含むことができる。例えば、ビデオコンテンツシステムの調整可能なパラメータの別の例は、例えば基礎となる符号化仕様または規格（例えば、Ｈ．２６４）で定義されるような、プロファイル選択および／またはレベル等の、符号化モード設定であり得る。ビデオコンテンツシステムの調整可能なパラメータのさらに別の例は、種々のユーザに対する帯域幅の割り当て、または異なるユーザに対するチャネルの割り当て等の、ビデオコンテンツシステムのリソースの割り当てを制御するパラメータであり得る。
【００７５】
ここで開示される主題の実施例によれば、ビデオコンテンツシステムを制御するためのデバイスは、フレーム間品質スコアおよびフレーム内品質スコアに基づく品質測定を使用し、候補劣化ビデオシーケンスからの複数のビデオフレームについて計算される、劣化ビデオシーケンス（例えば、ビデオクリップ）の品質を評価するように構成することができる。種々のフレーム間およびフレーム内品質測定を含む、ビデオコンテンツシステムを制御するためのデバイスによって実現することができる、可能なプロシージャの例は、下で詳述される。
【００７６】
さらに、ここで開示される主題の実施例によれば、また下で説明されるように、１フレームあたり１組のフレーム間品質スコアおよびフレーム内品質スコアはまた、大域的品質スコアを提供するために、ビデオコンテンツシステムを制御するためのデバイスによってプールすることもできる。一例として、任意の標準ノルムまたは平均化操作は、品質スコアのプーリングに使用することができる。さらなる一例として、フレーム品質スコアの最小値を計算することができる。
【００７７】
ビデオコンテンツシステムを制御するためのデバイスによって算出される品質スコアに基づいて、対応する構成命令、例えば構成パラメータをビデオコンテンツシステムに提供することができ、構成命令は、ビデオコンテンツシステムが、構成命令に従って動作またはリソースの割り当てを調整することを可能にし得る。ビデオコンテンツシステムによる調整は、劣化ビデオシーケンスの劣化レベルを、例えばビデオコンテンツシステムを制御するためのデバイスによって実現される品質基準を満たすレベルに変化させることができる。一例として、劣化ビデオシーケンスの品質が、ビデオコンテンツシステムを制御するためのデバイスによって、所望の範囲または閾値未満であると特徴付けられる場合、デバイスは、ビデオコンテンツシステムに、対応するビデオコンテンツ分散セッションに対するビットレートの割り当てを増加させ、それによって、ビデオシーケンスの品質劣化を低減させるのに有効である、構成命令を提供することができる。別の例では、劣化ビデオシーケンスの品質が、ビデオコンテンツシステムを制御するためのデバイスによって、所望の範囲または閾値を超えると特徴付けられる場合、デバイスは、ビデオコンテンツシステムに、ビデオコンテンツシステム内でまたはそれと関連して動作するビデオエンコーダに提供される目標ビットレートを減少させるのに有効である、構成命令を提供することができる。
【００７８】
便宜上、ビデオコンテンツシステムを制御するためのデバイスの実施例は、ビデオ圧縮システムを参照してここで説明される。したがって、ここで開示される主題の実施例は、一例として、ビデオコンテンツシステムを制御するためのデバイスの圧縮品質評価の実現例を参照して説明される。さらなる一例として、また便宜上の目的で、ビデオコンテンツシステムを制御するためのデバイスの圧縮品質評価の実現は、「ビデオシーケンスからのビデオフレームの圧縮を制御するためのデバイス」と称される。この開示で行われる、ビデオシーケンスからのビデオフレームの圧縮を制御するためのデバイスに対する言及は、ビデオコンテンツシステムを制御するためのデバイスに対する言及と置き換えることができることが認識されるであろう。さらに、圧縮処理または符号化処理を参照して、またはそれに関して本明細書で論じられる、ここで開示される主題の実施例は、ビデオコンテンツシステムによって実現することができる他の品質劣化処理に適用することができるように、当業者によって容易に適合させることができること、および符号化処理または圧縮処理に関して本明細書で提供される、ここで開示される主題の実施例はまた、ビデオコンテンツシステムによって実現される他の処理によって導入される品質劣化を制御するために容易に使用することができることが認識されるであろう。
【００７９】
ここで開示される主題の以下の実施例において、ビデオコンテンツシステムによって行われる処理は、入力ビデオシーケンスの圧縮であり、圧縮の結果は、対応する圧縮ビデオシーケンスである。入力ビデオシーケンスは、２つ以上の入力ビデオフレームまたは対応するデジタルデータで構成することができる（例えば、入力データは、ＲＡＷ形式とすることができる）。２つ以上の入力ビデオフレームは、少なくとも、現在圧縮されており、かつその圧縮が現在評価されているフレームである、現在の入力フレーム、および現在の入力フレームに先行するフレームである、前の入力フレームで構成することができる。入力ビデオシーケンスを構成する２つ以上の入力フレームは、ＲＡＷ形式、例えばＹＵＶ領域内とすることができ、または符号化もしくは圧縮されたビデオフレーム、例えばＭＰＥＧ−４またはＨ．２６４フレームとすることができることが認識されるであろう。
【００８０】
さらなる一例として、劣化ビデオシーケンスは、２つ以上のビデオフレームから成る一連の符号化または圧縮ビデオフレームとすることができる。圧縮ビデオシーケンスの知覚品質は、一般に、入力ビデオシーケンスと比較して劣化する可能性があるが、劣化シーケンスのフレームのいくつかは、入力ビデオシーケンスの対応するフレームと比較して、ほぼ同じ品質（非劣化）を有することができることが認識されるであろう。例えば、圧縮ビデオシーケンスのいくつかのフレームについて、エンコーダは、非常に高度な圧縮を適用するか、またはいかなる圧縮も適用しないことができる。なおさらなる一例として、圧縮ビデオシーケンスの知覚品質は、一般に、入力ビデオシーケンス（圧縮されている場合もあり、またはそうでない場合もある）と比較して、圧縮ビデオシーケンスのより高い圧縮のため、入力ビデオシーケンスと比較して劣化する可能性がある。
【００８１】
なおさらなる一例として、所与の現在の入力ビデオフレームについて、ビデオシーケンスからのビデオフレームの圧縮を制御するためのデバイスは、候補圧縮フレームの知覚品質を評価するように構成することができる。さらなる一例として、初期候補圧縮フレームは、いくつかの初期量子化器パラメータを使用して、ビデオエンコーダによって生成することができる。例えば、ビデオエンコーダは、比較的高度な量子化器パラメータを使用することができる。入力ビデオフレームおよび対応する初期候補圧縮フレームは、ビデオエンコーダを制御するためのデバイスによって取得することができ、デバイスは、下で詳細に説明される処理で、初期候補圧縮フレームの品質を評価することができる。初期候補圧縮フレームが、ビデオエンコーダを制御するためのデバイスによって実現される品質基準を満たさないと判定される場合、デバイスは、ビデオエンコーダに、更新された圧縮パラメータ値を使用して現在の入力フレームをもう１度圧縮させるのに有効である命令を、ビデオエンコーダに出力することができる。更新された圧縮パラメータ値は、ビデオエンコーダを制御するためのデバイスによって提供することができ、または例えば予め定義されたアルゴリズムに従って、デバイスの外部で選択もしくは決定することができる。繰り返し圧縮処理（異なる圧縮パラメータ値を伴う）の結果として、更新された候補圧縮フレームが生成される。現在の入力フレームの品質評価処理は、この時点で繰り返され、この時点は、更新された候補圧縮フレームに基づく。品質評価処理、および品質評価処理によって指示される現在の入力の繰り返し圧縮は、例えば、現在の候補圧縮フレームについて、デバイスによって実現される品質基準を満たすまで、必要に応じて何度でも繰り返すことができる。一部の場合において、初期候補圧縮フレームは、品質基準を満たすことができ、評価処理は、初期候補圧縮フレームで終了することができることが認識されるであろう。
【００８２】
ここで開示される主題の実施例による、ビデオシーケンスからのビデオフレームの圧縮を制御するためのデバイスの構成を下で説明する。該デバイスの構成は、候補圧縮フレームを維持し、必要であれば、いくつかの候補圧縮フレームについて、品質基準を満たすまで、候補圧縮フレームを更新された候補圧縮フレームと置き換え、次いで、エンコーダに、出力圧縮フレームとしてその候補圧縮フレームを使用するように指示するためのプロビジョニングを含む、反復的な圧縮品質評価処理を可能にする。
【００８３】
ここで開示される主題の実施例によれば、現在の入力フレームについて、ビデオエンコーダを制御するためのデバイスは、前の入力フレームをバッファリングすることができ、または外部メモリもしくは記憶リソースに、前の入力フレームをバッファリングさせることができ、該入力フレームは、現在の入力フレームに先行する入力ビデオシーケンスからのフレームである。前の入力フレームは、その入力フレームに関して圧縮評価処理が既に実現され、圧縮出力フレームが既に提供されている入力フレームとすることができる。例えば、前の入力フレームに対応する前の圧縮フレームは、ここで開示される主題の実施例による、ビデオエンコーダを制御するためのデバイスの制御下で生成されたものであり得る。さらなる一例として、前の入力フレームに対応する前の圧縮フレームはまた、バッファリングすることもでき、そして、現在の入力フレームについて実現される品質評価処理で、ビデオエンコーダを制御するためのデバイスによる使用のために利用することができる。
【００８４】
ビデオエンコーダを制御するためのデバイスによって実現される評価処理で使用される、前の入力フレームは、入力ビデオシーケンスの現在の入力フレームの直前にあるフレームとするか、または以前に圧縮された任意の他のフレームとすることができ、ビデオエンコーダを制御するためのデバイスからの命令に従って、かつ該デバイスによって実現される品質評価処理に基づいて圧縮されたフレーム（この実施例において、前の入力フレームは、圧縮前のフレームである）を含むことが認識されるであろう。他の実施例では、２つ以上の前のフレームを、ビデオコントローラを制御するためのデバイスによって実現される品質評価処理で参照として使用され、例えば、平均の前の入力フレームは、複数の前の入力フレームに基づいて計算することができ、また、平均の前の圧縮フレームは、対応する圧縮フレームに基づいて計算することができる。
【００８５】
以下、ビデオシーケンスからのビデオフレームの圧縮を制御するためのデバイスに関する、およびビデオシーケンスからのビデオフレームの圧縮を制御する方法に関するさらなる詳細が、添付図面に対する一例として提供される。
【００８６】
ここで図１を参照すると、該図は、ここで開示される主題の実施例による、ビデオシーケンスからのビデオフレームの圧縮を制御するためのデバイスのブロック図である。ここで開示される主題の実施例によれば、現在の入力ビデオシーケンスからのビデオフレームの圧縮を制御するためのデバイス１００は、インターフェースモジュール１０と、バッファ２０と、符号化構成器３０と、プロセッサ４０と、圧縮品質評価モジュール５０とを含むことができる。図１で示される構成に類似する構成は、ここで開示される主題の実施例による、ビデオコンテンツシステムを制御するためのデバイスによって使用することができることが認識されるであろう。
【００８７】
ここで開示される主題の実施例によれば、ビデオシーケンスは、少なくとも現在の入力フレーム１１２および前の入力フレーム１２２を含むことができる。現在の入力フレーム１１２は、インターフェース１０を通してデバイス１００で受け取ることができる。現在の入力フレーム１１２は、符号化または圧縮フレームとすることができ、インターフェースモジュール１０は、現在の入力フレーム１１２を復号化するために、デコーダを含むことができる。別の実施例によれば、現在の入力フレーム１１２は、デバイス１００の外部で復号化され、現在のビデオフレーム１１２は、デバイス１００で、ＲＡＷ画素として、例えばＹＵＶ領域で受け取る。限定的でない例として、デバイス１００は、圧縮ビデオシーケンスに適用される再圧縮処理を制御するために使用することができる。さらなる実施例において、デバイス１００は、未処理のビデオシーケンスを制御するために、またはビデオシーケンスの変換復号化を制御するために使用することができる。すなわち、入力ビデオシーケンスは、例えばＨ．２６３で符号化され、デバイス１００は、Ｈ．２６３ビデオシーケンスの、例えばＨ．２６４形式のビデオシーケンスへの変換復号化を制御するために使用される。
【００８８】
ここで開示される主題のいくつかの実施例において、インターフェースモジュール１０は、例えば、デバイス１００に供給されるか、または別様にはそこで受け取られる入力、およびデバイスの出力１３２を連動させることを必要としない場合に、デバイス１００から省略することができる。ここで開示される主題の他の実施例において、インターフェース１０は、デバイス１００の、エンコーダ、デコーダ、ストリーマ、または外部バッファ等の外部機能エンティティとの接続および／または通信を可能にする、基本的な連動動作のために実現し、使用することができる。
【００８９】
上で述べられるように、デバイス１００は、バッファ２０を含むことができる。ここで開示される主題の実施例によれば、バッファ２０は、前の入力フレーム１２２、および前の入力フレーム１２２に対応する前の圧縮フレーム１２４を保持するように適合させることができる。前の圧縮フレーム１２４は、本明細書において「記憶された圧縮フレーム」とも称される。上で述べられるように、ここで開示される主題のいくつかの実施例において、前の入力フレーム１２２は、現在の入力フレーム１１２の直前にある入力ビデオシーケンスのフレームとすることができる。しかしながら、ここで開示される主題のさらなる実施例において、「前の」という用語は、必ずしもフレームの時間的順序を指すとは限らないこと、および前の入力フレームまたは候補圧縮フレームが、必ずしも、それぞれ、時間的順序で現在の入力フレームの直前にあるフレーム、または時間的順序で現在の候補圧縮フレームの直前にあるフレームであるとは限らないことを認識されたい。これに関し、ここで開示される主題のさらなる実施例によれば、「前の」という用語は、例えばＢフレームが使用されるときに、符号化順序で、現在の（入力または圧縮候補）フレームの前にあるフレームに関連し得るが、必ずしも時間的に先行するフレームであるとは限らないことが認識されるであろう。記憶された圧縮フレーム１２４は、この時点で前の入力フレーム１２２が現在の入力フレームとなった、符号化（または圧縮）処理の生成物とすることができる。
【００９０】
ここで開示される主題の実施例によるデバイス１００は、前の入力フレーム１１４の符号化を含む、入力ビデオシーケンスの符号化処理を制御するために使用することができ、その処理の結果は、前の圧縮フレーム１２４であり得る。デバイス１００はまた、入力フレーム１１２の符号化処理を制御するために使用することもでき、その処理の結果は、デバイス１００によって実現される品質基準を満たす、候補圧縮フレーム１２２であり得る。さらなる一例として、下でさらに詳細に説明するように、デバイス１００による命令に従って符号化／圧縮される圧縮フレーム（複数可）は、場合により復号化された後に、デバイス１００に提供することができ、また、ビデオシーケンスの以降のフレーム（複数可）の符号化／圧縮構成を決定するために使用することができる。他の実施例において、前の圧縮フレーム１２４は、任意の他の符号化／圧縮処理の結果とすることができ、その符号化／圧縮は、必ずしもデバイス１００の動作と関連付けられるとは限らない。
【００９１】
ここで開示される主題の実施例によるデバイス１００は、出力フレームが品質基準、例えば知覚品質基準を満たすように、ビデオフレームの圧縮を制御するために使用することができることが認識されるであろう。ここで開示される主題のいくつかの実施例において、下でさらに詳細に説明するように、圧縮または再圧縮ビデオフレームの品質は、前の入力フレームおよび対応する前の圧縮フレームを使用して、ビデオフレームのシーケンスの一部として、デバイス１００によって評価することができる。
【００９２】
ここで開示される主題の実施例によれば、符号化構成器３０は、ビデオエンコーダ（図示せず）に動作可能に接続することができる。ここで開示される主題のいくつかの実施例において、ビデオエンコーダは、デバイス１００の外部で実現することができ、符号化構成器は、場合によりインターフェースモジュール１０を通して、外部ビデオエンコーダと通信することができる。他の実施例において、ビデオエンコーダは、デバイス１００の一部として実現することができる。
【００９３】
ここで開示される主題の実施例によれば、符号化構成器３０は、ビデオエンコーダに、圧縮パラメータ値に従って現在の入力フレーム１１２を圧縮するように指示し、候補圧縮フレーム１２２を生じさせるように適合させることができる。さらなる一例として、符号化構成器３０は、現在の入力フレーム１１２を圧縮するために使用される圧縮パラメータ値を決定するように適合させることができる。
【００９４】
これに関し、多くのビデオエンコーダにおける圧縮パラメータは、エンコーダのオペレータによって提供される外部パラメータ、および／またはエンコーダ内のレート制御モジュールのいずれかによって設定することができることが認識されるであろう。ここで開示される主題の実施例によれば、符号化構成器３０は、量子化器パラメータ（「ＱＰ」）、ビットレートパラメータ、所与のエンコーダにおける予め構成されたパラメータ組を示す圧縮レベルのうちの１つ以上の圧縮パラメータの値を決定するように適合させることができる。さらなる一例として、上の圧縮パラメータのいずれかを、圧縮処理を構成および制御するために、デバイス１００によって使用することができる。便宜上の目的で、ここで開示される主題のいくつかの実施例は、ここではＱＰに関して説明されるが、ＱＰに関して本明細書で提供される実施例はまた、他のタイプの圧縮パラメータに提供することもできることに留意されたい。したがって、ここで開示される主題の実施例によれば、レート制御モジュールによって量子化器の値を設定する方法は、様々である。しばしば、エンコーダは、目標ビットレートを目指しており、したがって、フレームの量子化器は、場合により推定されるフレームの複雑さに関する考慮点を組み合わせながら、これまで得られたビットレートに基づいて、現在のバッファ状態の指示に従って設定され、次いで、マクロブロック特性に従ってマクロブロック毎に適合させる。ここで開示される主題のいくつかの実施例において、デバイス１００は、マクロブロック毎にＱＰを適合させるように、エンコーダの（またはエンコーダと関連付けられる）レート制御モジュールと連携して動作することができるが、デバイス１００によって実現される目標品質基準から導き出される値によってフレームＱＰ値（平均ＱＰとしても知られている）を上書きする可能性がある。フレームは、最初に、適切なＱＰ値の評価によって符号化することができる。初期ＱＰパラメータの例としては、任意のパラメータ、前のフレームを圧縮するために使用されるＱＰ、または前のフレームについて選択されるＱＰのいくつかの統計分析に基づく評価が挙げられる。ここで開示される主題の実施例によれば、デバイス１００によって品質が低過ぎると判断される場合、量子化は、デバイス１００からの適切な指示に基づいて細かく（すなわち、より小さい値に）することができ、また、品質が、デバイス１００によって実現される目標範囲を超える場合、デバイスは、エンコーダに、より大まかな量子化を使用して（新しい）候補圧縮フレームを生成するように指示することができ、したがって、量子化パラメータが増加する。ここで開示される主題の実施例によれば、品質基準を満たす「十分に良好な」候補圧縮フレームを選択するために、いくつかの集束基準または最適化基準を実現することができ、処理は、必ずしも最良の結果が達成されるまで継続するとは限らない。これに関し、ここで開示される主題の実施例によれば、２分法、割線に基づく検索等が挙げられるが、それらに限定されない、任意の既知の検索方法または求根方法で、目標ＱＰ値に集束させることができることが認識されるであろう。候補圧縮フレーム１１４は、例えばキャッシュ（図示せず）またはバッファ２０に一時的に保存または記憶することができる。
【００９５】
ここで図２を参照すると、該図は、ここで開示される主題の実施例による、ビデオシーケンスからのビデオフレームの圧縮を制御する方法のフローチャートである。上で述べられるように、ここで開示される主題の実施例によれば、ビデオシーケンスからのビデオフレームの圧縮を制御する方法の説明が、ビデオコンテンツシステムを制御する方法の一例として提供される。ビデオコンテンツシステムは、ビデオシーケンスの分散と関連付けられる処理を含む、種々の品質劣化処理を実現することができ、ビデオフレームの圧縮を制御する方法の実施例は、必要な変更を加えて、ビデオコンテンツシステム、および具体的には、ビデオコンテンツシステムによって実現される品質劣化処理を制御するために使用することができる。
【００９６】
便宜上、ビデオフレームの圧縮を制御する方法のここで開示される主題の実施例は、以下、図１で示されるビデオフレームの圧縮を制御するためのデバイスを参照して説明するものとする。図１で示されるビデオフレームの圧縮を制御するためのデバイスの種々の構成要素に対する、本明細書で説明される動作の帰属は、一例として行われる。図１で示されるビデオフレームの圧縮を制御するためのデバイスの１つ以上の構成要素を省略できること、組み合わせることができること、さらなる構成要素をデバイスに追加できること、および本明細書で説明される動作を、対応する構成要素またはそのようなデバイスによって実行できることが認識されるであろう。また、ビデオフレームの圧縮を制御する方法は、図１に関するものを含む、本明細書で説明されるビデオフレームの圧縮を制御するためのデバイスが挙げられるが、それに限定されない、任意の好適なデバイスまたはシステム上で実現することができることも認識されるであろう。他の実施例において、ビデオフレームの圧縮を制御する方法は、プロセッサ、メモリ、および有形の記憶デバイスを含む、標準的なまたは特別に構築されたコンピュータ制御のシステム上で実現することができる。ビデオフレームの圧縮を制御する方法は、コンピュータが読み出し可能なプログラムコードで具現化することができる。コンピュータが読み出し可能なプログラムコードは、有形の記憶デバイス上に記憶することができ、本明細書で説明される操作を行うためにプロセッサによって実行することができる。ビデオフレームの圧縮を制御する方法をその上で実現することができるコンピュータ制御のシステムは、独立型のコンピュータ制御のシステムとすることができ、または複数の相互接続されたコンピュータ制御のデバイスにわたって分散させることができる。
【００９７】
以下、開示される主題の実施例によるビデオフレームの圧縮を制御する方法の実施例の説明に移るが、いくつかの点で、圧縮品質評価処理は、所与の入力ビデオフレームに関して開始することができる。ここで開示される主題の実施例によれば、評価処理は、それぞれの出力圧縮フレームの相対的知覚品質が圧縮品質基準を満たすように、現在の入力フレーム１１２を圧縮するための圧縮パラメータ値を選択するために使用することができる。
【００９８】
１つの限定的でない実施例によれば、圧縮品質評価処理は、現在の入力フレーム１１２をデバイス１００で受け取る（ブロック２０５）ときに開始することができる。現在の入力フレーム１１２は、エンコーダによって符号化または圧縮されようとしているフレームとすることができ、圧縮品質評価処理は、エンコーダが、デバイス１００によって実現される品質基準を満たすそれぞれの出力圧縮フレームを提供することを可能にするように、このフレームの圧縮を制御するために利用することができる。
【００９９】
圧縮品質評価処理を開始するために他のトリガーを使用できること、およびどのイベントが圧縮品質評価処理をトリガーしても、現在の入力フレーム１１２を表す何らかのデータは、デバイス１００によって受け取られ、圧縮品質評価処理で使用されることが認識されるであろう。
【０１００】
ここで開示される主題の実施例によれば、現在の入力フレーム１１２を表すデータは、実際のビデオフレーム、または元々のフレームからサンプリングされるデータを含む、フレームを表す何らかの他のデータとすることができる。フレームを表すデータは、符号化すること、またはＲＡＷ形式とすることができ、フレームは、圧縮されてもよく、圧縮されなくてもよい。
【０１０１】
図２の説明を再開すると、ブロック２１０で、例えば符号化構成器３０によって、初期圧縮パラメータ値を取得することができる。初期圧縮パラメータ値は、予め設定することができ、または計算もしくは選択することができる。例えば、初期圧縮パラメータ値は、デバイス１００のオペレータによって、手動で選択することができる。さらなる実施例において、初期圧縮パラメータ値は、フレーム解像度、画素値エネルギーまたは分散等の現在の入力ビデオフレーム１１２の特性に従って、前のフレームと比較した差分絶対値和、前の入力ビデオフレーム１２２の特性に従って、または入力ビデオシーケンスの特性に従って、計算または選択することができる。
【０１０２】
下でさらに論じられるように、ここで開示される主題の実施例によれば、デバイス１００によって所与の現在の入力フレーム１１２に関して実現される圧縮品質評価処理は、反復処理とすることができ、また、デバイス１００によって制御される圧縮処理の一部として、符号化構成器３０は、圧縮処理の各反復について、エンコーダに圧縮パラメータ値（複数可）を提供することができる。構成器３０は、任意の既知のまたは未だ発明されていない、圧縮品質評価処理の各反復について、圧縮パラメータ値を選択または計算するための告発、最適化、および／または検索アルゴリズムを使用することができる。圧縮パラメータ値を決定するためのアルゴリズムの例としては、全数検索、２分法、ニュートン−ラフソン法、割線法、その他のもの等の求根アルゴリズムを使用する検索が挙げられるが、それらに限定されない。ここで開示される主題のさらなる実施例によれば、符号化構成器３０によって使用される圧縮パラメータ値は、予め設定され、各反復時に、予め設定された一連の圧縮パラメータ値からそれぞれの圧縮パラメータ値が選択される。ここで開示される主題のなおさらなる実施例によれば、デバイスのオペレータはそれでも、符号化構成器３０によって使用され、デバイス１００のオペレータによって少なくとも部分的に手動で設定することができる、圧縮パラメータ値の設定に部分的に関与する。
【０１０３】
量子化器パラメータ値が取得されると、符号化構成器３０は、ビデオエンコーダに符号化命令１３２を提供するように適合させることができる（ブロック２２５）。符号化命令は、ビデオエンコーダに、現在の圧縮パラメータ値を使用して現在の入力フレームを符号化させるように構成することができる。ブロック２３０で、候補圧縮ビデオフレーム１１４をデバイス１００で受け取ることができる。候補圧縮フレーム１１４は、デバイス１００から受け取る命令１３２に従って現在の入力フレーム１１２を圧縮することによってビデオエンコーダが生成した、ビデオフレームとすることができる。例えば、候補圧縮フレーム１１４は、デバイス１００によって提供される圧縮パラメータ値に従う現在の入力フレーム１１２の圧縮の結果とすることができる。
【０１０４】
現在の入力フレーム１１２、前の入力フレーム１２２、現在の候補圧縮フレーム１１４、および前の圧縮フレーム１２４のうちのいずれか１つに対して本明細書で行われる参照は、それぞれのビデオフレームに対応し、それを表すデータに関連し得ることが認識されるであろう。例えば、符号化ビデオフレームであり得る実際のビデオフレームの代わりに、デバイス１００に供給されるデータ（該データに関してビデオフレームの圧縮を評価する方法が実現される）を、実際のビデオフレームに対応するＲＡＷデジタルデータとすることができる。他の実施例において、デバイス１００は、デコーダ（図示せず）を含み、符号化フレームのシーケンスを表す符号化ビデオフレームまたはビットストリームを受け取り、内部的にビデオフレームを復号化することができる。
【０１０５】
現在の入力ビデオフレーム１１２および現在の候補圧縮ビデオフレーム１１４に基づいて、圧縮品質評価モジュール５０は、場合によりプロセッサ３０と連携して、フレーム内品質スコアを計算することができる。例えば、圧縮品質評価モジュール５０は、現在の候補圧縮ビデオフレーム１１４および現在の入力フレーム１１２の画素領域に適用されるフレーム内品質測定を使用して、フレーム内品質スコアを計算することができる（ブロック２３５）。フレーム内品質スコアの計算に関するより多くの詳細は、下で提供される、ここで開示される主題の実施例において提供される。
【０１０６】
所与の現在の入力ビデオフレーム１１２（入力ビデオシーケンスの第２のフレームから始まる）について、前の入力フレーム１２２を取得することができ（ブロック２１５）、本明細書で前の圧縮フレームとも称される、記憶された圧縮フレーム１２４を取得することができる（ブロック２２０）。ここで開示される主題の実施例によれば、前の圧縮フレーム１２４は、前の入力フレーム１２２に対応する圧縮フレームである。上で述べられるように、前の圧縮フレーム１２４は、デバイス１００のバッファ２０内に記憶することができる。前の入力フレーム１２２も、必ずしもそうとは限らないが、バッファ２０内に記憶することができる。例えば、前の入力フレーム１２２は、この時点で前の入力フレーム１２２が現在の入力フレームとなった、圧縮品質評価処理の以前の反復の一部として、またはそれと関連して、バッファ２０に記憶することができる。同様に、前の入力フレーム１２２に対応する前の圧縮フレーム１２４は、この時点で前の圧縮フレーム１２４が現在の圧縮フレームとなった、圧縮品質評価処理の以前の反復の一部として、またはそれと関連して、バッファ２０に記憶することができる。
【０１０７】
現在の入力フレーム１１２、前の入力フレーム１２２、現在の候補圧縮フレーム１１４、および前の圧縮フレーム１２４に対応するデータ入力を使用して、フレーム間品質スコアを計算することができる。ここで開示される主題の実施例によれば、圧縮品質評価モジュール５０がフレーム間品質スコアを計算することを可能にするために、プロセッサ３０を利用して、現在の入力フレームおよび前の入力フレームから第１の差分値を計算し、候補圧縮フレームおよび前の圧縮フレームから第２の差分値を計算することができる（ブロック２４０）。圧縮品質評価モジュール５０は、場合によりプロセッサ３０と連携して、第１および第２の差分値間の比較に基づいて、現在の候補圧縮フレームのフレーム間品質スコアを決定するように適合させることができる（ブロック２４５）。
【０１０８】
計算したフレーム内品質スコアおよびフレーム間品質スコアに基づいて、品質評価モジュール５０は、場合によりプロセッサ３０と連携して、現在の候補圧縮フレーム１１４の総品質スコアを計算することができる（ブロック２５０）。品質基準は、品質評価モジュール５０によって実現することができ、品質評価モジュール５０は、現在の候補圧縮フレーム１１４が品質基準を満たすかどうかを判定するために、品質基準を使用して、現在の候補圧縮フレーム１１４の総合品質スコアを評価することができる（ブロック２５５）。目標品質は、所定の品質レベルを取得するために設定することができ、例えば、目標品質は、品質評価処理の一部として実現される知覚的に損失のない品質測定によって決定される、知覚的に損失のない再圧縮に対して調整することができる。さらなる実施例では、一定の知覚品質で特定の目標ビットレートを提供するために、品質基準を特定のビデオシーケンスに適合させることができる。
【０１０９】
ここで開示される主題の実施例によれば、符号化構成器３０は、更新された圧縮パラメータ値を取得するために（ブロック２６０）、品質基準を満たさない現在の候補圧縮フレーム１１４に応答することができ、ブロック２２５〜２５５は、更新された圧縮パラメータ値に従って、および対応する（新しい）現在の候補圧縮フレームに従って繰り返すことができる。ここで開示される主題の実施例によれば、更新された圧縮パラメータ値は、以前の圧縮パラメータ値に基づいて計算される。ここで開示される主題の実施例の１つの実施例によれば、更新された圧縮パラメータ値は、段階的修正を伴う品質評価処理の以前の反復で使用された値に基づくことができ、例えば、以前の反復で使用された圧縮パラメータ値からｄｅｌｔａＱＰを追加する（または差し引く）ことができ、ここで（追加の場合）ｄｅｌｔａＱＰは、品質が「低過ぎる」場合には負であり、品質が「高過ぎる」場合には正である。ｄｅｌｔａＱＰ係数はまた、適合させることもでき、その場合、ｄｅｌｔａＱＰは、例えば、目標品質からの隔たりに従って適合させることができる。さらなる実施例において、品質評価処理は、２分法、ニュートン−ラフソン法、割線法、またはその他のもの等の、既知の求根アルゴリズムを使用する反復検索を含むことができる。
【０１１０】
ここで開示される主題の実施例によれば、現在の候補圧縮フレーム１１４が品質評価モジュール５０によって実現される品質基準を満たすときに、符号化構成器は、ビデオエンコーダに、それぞれの現在の入力フレーム１１２の出力フレームとして、現在の候補圧縮フレーム１１４を提供するように指示するように構成される（ブロック２６５）。したがって、ここで開示される主題のいくつかの実施例において、ビデオフレームの圧縮を制御する方法は、ビデオエンコーダが、所与の入力フレームについて、圧縮フレームのフレーム間およびフレーム内の相対的知覚品質の組み合わせとして測定されるその総合的な品質が所望の品質基準を満たす、それぞれの圧縮ビデオフレームを提供することを可能にする。ここで開示される主題のさらなる実施例によれば、ビデオフレームの圧縮を制御する方法はさらに、ビデオエンコーダが、所与の入力フレームについてほぼ最大の圧縮レートを提供する一方で、それぞれの圧縮ビデオフレームの総合的な相対的知覚品質を、所望の品質基準を満たすレベルに維持することを可能にする。
ここで図３を参照すると、該図は、タイル化処理を追加した、図２で示されるビデオフレームの圧縮を制御する方法のフローチャート図である。ブロック２０５〜２３０は、本質的に図２と変わらない。ブロック３０５で、現在の入力フレーム１１２および現在の候補圧縮フレーム１１４が、複数のタイルに分割される。ここで開示される主題の実施例によれば、デバイス１００は、ビデオフレームを予め定義されたサイズのタイルに分割するように適合される、フレーム分割モジュール６０を含むことができる。さらなる限定的でない例として、タイル次元は、いくつかの複数の符号化ブロックサイズとすることができ、例えば、６４×６４、８０×８０、１２８×１２８とすることができる。さらなる一例として、タイルは、正方形とすることができるが、他の形状また形態を有することもできる。なおさらなる一例として、例えば、より小さいタイルをより小さいフレームに使用できるように、タイルサイズは、フレーム解像度に従って適合させることができる。さらなる一例として、タイルサイズは、複数の符号化ブロックサイズ全体に対する可能な丸めを伴って、所与のフレームに合致するタイルの数に従って算出することができる。
【０１１１】
現在の入力フレーム１１２からのタイルは、複数のタイル対を提供するために、現在の候補圧縮フレーム１１４からの対応するタイルと照合される（ブロック３１０）。例えば、現在の入力フレーム１１２の所与の領域上に画定される現在の入力フレームからの所与のタイルは、現在の候補圧縮フレーム１１４の対応する領域上に画定される現在の候補圧縮フレームからのタイルと照合される。
【０１１２】
タイルが対にされると、各タイル対について、タイル内品質スコアが計算される（ブロック３１５）。例えば、圧縮品質評価モジュール５０は、各現在のタイル対の画素領域に適用されるタイル内品質測定を使用して、タイル内品質スコアを計算することができる。フレーム内品質スコアの計算に関するさらなる詳細は、下で論じられる、ここで開示される主題の実施例において提供される。
【０１１３】
前の入力フレーム１２２および前の圧縮フレーム１２４はまた、分割することもでき（ブロック３２０）、現在の入力フレーム１１２、前の入力フレーム１２２、現在の候補圧縮フレーム１１４、および前の圧縮フレーム１２４からの対応するタイルを群にすることができる（ブロック３２５）。一例として、タイルの各群について、第１の差分値を、現在の入力フレームのタイルおよび前の入力フレームからのそれぞれのタイルから計算することができ、第２の差分値を、候補圧縮フレームのそれぞれのタイルおよび前の圧縮フレームのそれぞれのタイルから計算することができる（ブロック３３０）。さらなる一例として、それぞれの第１および第２の差分値間の比較に基づいて、現在の候補圧縮フレームのタイルについて、タイル間品質スコアを計算することができる（ブロック３３５）。
【０１１４】
ここで開示される主題の実施例によれば、例えばタイルスコアプーリングモジュール７０の一部として実現される知覚加重モジュール７２によって、知覚的に駆動される加重を、現在の候補圧縮フレーム１１４について計算されたタイル内品質スコアおよびタイル間品質スコアの少なくともいくつかに印加することができる（ブロック３４０）。ここで開示される主題の実施例によれば、知覚加重モジュール７２は、特に暗い、または特に飽和したタイルに、より多いまたはより少ない加重を提供するように適合させることができる。さらなる一例として、知覚加重モジュール７２は、機能が不十分なタイル（最も低い品質スコアを有するタイル）に、より多いまたはより少ない加重を与えるように適合させることができる。なおさらなる一例として、知覚加重モジュール７２は、適切な場所に基づくタイルの加重を使用して、フレームの中のタイルの場所に依存して、異なるタイルに、異なる強調を与えるように適合させることができ、例えば、知覚加重モジュール７２は、フレームの中央にあるタイルを強調する加重を印加することができる。現在の候補圧縮フレームについて計算される少なくともいくつかのタイル内品質スコアおよびタイル間品質スコアに対する加重の印加を含む、ビデオフレームの圧縮を制御する方法の実現例は、下で提供される。
【０１１５】
ここで開示される主題の実施例によれば、所与の現在の候補圧縮フレームについて計算されるタイル内品質スコアおよびタイル間品質スコアは、現在の候補圧縮フレーム１１４についてフレーム品質スコアを提供するために、場合により知覚加重の後に、ともにプールすることができる（ブロック３４５）。ブロック２５５〜２６５は、フレーム品質スコアに関して適用され、上で説明した図２の対応するブロックに類似する。
【０１１６】
ここで開示される主題の実施例によれば、フレーム内品質スコアの計算は、画素領域品質測定を計算することを含むことができる。さらなる一例として、完全参照画素領域品質測定を使用することができる。なおさらなる一例として、フレーム内品質スコアを計算することは、現在の入力フレーム１１２と現在の候補圧縮フレーム１１４との間の画素的差分に基づくことができる。
【０１１７】
ここで開示される主題の実施例によれば、デバイスは、ビデオフレーム１００の圧縮を制御するための、内部的品質評価モジュール８０を有することができる。内部的品質評価モジュール８０は、フレーム内領域またはタイル間領域で、および候補圧縮フレーム１１４対現在の入力フレーム１１２に関して、またはタイル対（候補圧縮フレームからのタイルに対する現在の入力フレームからのそれぞれのタイル）に関して動作するように構成される。故に、内部的品質評価モジュール８０は、現在の候補圧縮フレーム１１４および現在の入力フレーム１１２、またはタイル対（候補圧縮フレームからのタイルおよび現在の入力フレームからのそれぞれのタイル）を入力として受け取ることができ、そして、完全参照画素領域品質測定を使用して、フレーム内品質スコアまたはタイル内スコアを計算することができる。
【０１１８】
一例として、タイルは、圧縮品質評価モジュール５０の一部として実現される、分割モジュール６０によって生成することができ、タイルスコアは、同じく圧縮品質評価モジュール５０の一部として実現することができる、スコアプーリングモジュール７０によってプールすることができる。
【０１１９】
以下、内部的品質評価モジュール８０の種々のモジュールの説明が提供される。ここで開示される主題の実施例によれば、下で説明される内部的品質評価モジュール８０のモジュールの１つ以上を、デバイス１００がフレーム内品質スコアを計算することを可能にするために使用することができ、次に、フレーム品質スコアを計算するために使用することができる。フレーム内品質スコアを計算するために使用されるように本明細書で説明される、モジュールのいくつかおよび／または品質測定のいくつかを特に含む、フレーム品質スコアを計算するために使用されるように本明細書で説明される、モジュールのいくつかおよび／または品質測定のいくつかは、随意であることが認識されるであろう。また、内部的品質評価モジュール８０および内部的品質評価モジュール８０の一部として実現されるモジュール、ならびに一例として本明細書で説明される対応する品質測定の計算プロシージャは、モジュールに提供される入力に従って、およびどの計算プロシージャが実現されるかに基づいて構成することができることも認識されるであろう。
【０１２０】
上で述べられるように、便宜上、および一例として、内部的品質評価モジュール８０は、いくつかの内部的品質測定を計算するためにそれぞれ動作可能である、複数のモジュールを有するように本明細書で説明される。内部的品質評価モジュール８０が２つ以上のモジュールを含む場合、内部的品質評価モジュール８０のモジュールによって提供される２つ以上の内部的品質測定は、組み合わせることができ、例えば標準的なコンピュータハードウェア上で実現することができる。さらに、下で説明されるように、内部的品質評価モジュール８０のモジュールによって提供される内部的品質測定が、所与のフレーム対が内部的品質測定を複数の対応するタイル対に適用するように構成される場合、タイル対のスコアは、フレーム全体（またはフレーム対）の品質測定を提供するためにプールすることができる。
【０１２１】
以下、完全参照画素領域品質測定を算出するための、ここで開示される主題の実施例に従って実現することができる１組の操作が説明される。便宜上、完全参照画素領域品質測定は、内部的品質評価モジュール８０および画素的差分評価モジュール１２０の実現例に従って説明される。しかしながら、完全参照画素領域品質測定の計算の実現例を含む、ここで開示される主題によるビデオフレームの圧縮を制御する方法のいくつかの実施例は、図１で示され、それを参照して本明細書で説明される実施例によって限定されず、完全参照画素領域品質評価は、内部的品質評価モジュール８０および画素的差分評価モジュール１２０によって実行されることに留意されたい。
【０１２２】
ここで開示される主題の実施例によれば、内部的品質評価モジュール８０は、少なくとも画素的差分評価モジュール１２０を含むことができる。同様に、ここで開示される主題の実施例によれば、フレーム内品質スコアの計算は、少なくとも完全参照画素領域品質測定の計算を含むことができる。以下、画素的差分評価モジュール１２０によって実現することができる完全参照画素領域品質測定の計算が、一例として説明される。
【０１２３】
ここで開示される主題のいくつかの実施例において、画素的差分評価モジュール１２０は、現在の候補圧縮フレーム１１４を入力として受け取ることができ、現在の入力フレーム１１２および完全参照画素領域品質測定は、完全なフレームに基づいて計算することができる。ここで開示される主題のさらなる実施例において、画素的差分評価モジュール１２０は、フレーム対に対応する複数のタイル対を入力として受け取ることができ、完全参照画素領域品質測定は、異なるタイル対毎に計算することができ、タイル対品質スコアは、フレーム内品質スコアを提供するために、場合により処理された後に、組み合わせる、またはプールすることができる。
【０１２４】
ここで開示される主題のさらに他の実施例によれば、所与のタイル対について、画素的差分評価モジュール１２０を、複数のタイル対を入力として受け取るように構成することができる。画素的差分評価モジュール１２０は、各入力タイル対（またはそのいくつかのサブセット）を複数の対応するサブタイル対にさらに分割するように構成することができる。画素的差分評価モジュール１２０は、複数のサブタイル対のそれぞれ１つのサブタイル内品質スコアを計算するように構成することができる。画素的差分評価モジュール１２０は、複数のサブタイルスコアを処理するように構成することができ、それぞれのタイル品質スコアを提供するために、複数のサブタイルスコアをプールすることができる。サブタイルスコア（場合により処理された）のプーリングの結果とし生じるタイルスコアは、画素的差分評価モジュール１２０の出力として提供することができる。ここで開示される主題の実施例によれば、画素的差分評価モジュール１２０は、入力タイル対を対応する複数のサブタイル対に分割するために利用することができる、分割モジュール１２２を含むことができる。画素的差分評価モジュール１２０はまた、複数サブタイルスコアを対応するタイルスコアにプールするように構成される、タイルスコアプーリングモジュール１２４も含むことができる。さらに、ここで開示される主題の実施例によれば、画素的差分評価モジュール１２０は、候補圧縮フレームまたは入力フレームのいずれかの画素の輝度パラメータ値に基づいて、フレーム内品質スコアを正規化するよう構成される、輝度正規化モジュール１２５を含むことができる。
【０１２５】
ここで図４を参照すると、該図は、ここで開示される主題の実施例による、ビデオフレームの圧縮を制御する方法の一部として実現することができる、完全参照画素領域品質測定の計算のフローチャート図である。図４において、入力として提供されるタイル対に適用される、完全参照画素領域品質測定を計算する処理は（ブロック４０５）、限定的でない実施例として示され、該処理は、タイル対を複数のサブタイル対に分割することと、現在の候補圧縮フレームのそれぞれのタイルの画素領域品質測定を出力として提供するために、それぞれの複数のサブタイル画素領域品質測定をプールすることとを含む。
【０１２６】
入力タイル対は、それぞれの複数のサブタイル対を提供するために、さらに分割することができる（ブロック４１０）。タイル対の分割は、タイル分割モジュール１２２によって実行することができる。各サブタイル対は、現在の候補圧縮フレームおよび現在の入力フレームのそれぞれの領域を含むことができる。ここで開示される主題の実施例によれば、サブタイル対について、サブタイルの画素的スコアを計算することができる。サブタイルの画素的スコアは、複数のサブタイル対のそれぞれ１つについて計算することができる（ブロック４１５）。例えば、ブロック４１５は、入力タイル対に対応する複数のサブタイル対のそれぞれについて繰り返すことができる。
【０１２７】
随意に、画素的差分評価モジュール１２０は、適応フィルタをサブタイルスコアに適用することができる。適応フィルタは、最も低いサブタイルスコアに従って構成することができ、また、サブタイルの画素的スコアに適用することができる（ブロック４２０）。さらに、随意の実現例として、画素的差分評価モジュール１２０は、（ブロック４２０でのフィルタリングの後に）知覚加重を残りのサブタイルスコアに適用するように構成される知覚加重モジュール１２６を含み、サブタイルスコアの加重平均を計算することができる（ブロック４２５）。代替例として、サブタイルスコアは、画素的タイルスコアを提供するために、別の方法で組み合わせることができる。
【０１２８】
最後に、画素的タイルスコアは、出力として提供することができる（ブロック４３０）。画素的差分評価モジュール１２０は、サブタイル品質スコアをプールして対応するタイルスコアを提供するために使用される、サブタイルスコアプーリングモジュール１２４を含むことができる。上で述べられるように、画素的差分評価モジュール１２０の出力は、総合タイル内品質スコアまたはフレーム内品質スコアを提供するために、他の内部的品質評価スコアと組み合わせることができる。
【０１２９】
以下、ここで開示される主題の実施例による画素的差分評価の計算の１つの可能な実現例の説明が提供される。ここで開示される主題の実施例による画素的差分評価の計算の可能な実現例の一部として、候補圧縮フレームタイルについて、差分画像ＴＤを算出することができる。差分画像は、現在の入力フレームのそれぞれのタイルからのタイルの画素毎の減算ＴＲ、現在の候補圧縮フレームからのタイルの画素毎の減算ＴＴとして計算される。
【０１３０】
タイル対の画素的差分品質スコアの構成要素ＳＰＷＤを評価するために、ピーク信号対雑音比またはＰＳＮＲを使用することができる。タイル対の画素的差分品質スコアの構成要素の可能な評価の数学的表現は、式（１）で提供され、式中、ＭＡＸ１は、最大の可能な画素値、例えば画素平面あたり８ビットの場合２５５であり、Ｍ、Ｎは、タイルの次元である。
【数１】
2014527778.tif 000003
【０１３１】
タイル全体にわたって連帯的にＰＳＮＲを算出することは、タイルが実質的に「空白」の背景に詳細設定される小さい面積から成るときに、精度が損なわれる可能性がある。したがって、ここで開示される主題の実施例の一部として、タイル対は、複数のサブタイルにさらに分割することができる。例えば、タイル対は、４×４、すなわち１６個の同じサイズのサブタイルにさらに分割することができ、そして、式（１）で表されたようなＰＳＮＲの計算を、複数のサブタイルのそれぞれ１つに適用することができる。同一のサブタイルについて、ＰＳＮＲスコアは、ゼロ除算の危険性を回避するために、予め定義されたある値に設定することができることが認識されるであろう。例えば、同一のサブタイルについて、ＰＳＮＲスコアは、ＰＳＮＲ＝１０００に設定することができる。
【０１３２】
「空白」の背景に設定される「不十分」な振る舞いのサブタイルを強調するために、フィルタをサブタイル品質スコアに適用することができる。例えば、ｐｓｎｒＳＴ、ＰＳＮＲサブタイル値全体をプールする際に使用される以下の閾値を実現することができる。
ｐｓｎｒＭｉｎを最小値のｐｓｎｒＳＴ（ｉ，ｊ）に設定する。
ｐｓｎｒＴｈｒを０．９５×５０〜２．５×ｐｓｎｒＭｉｎの間の最小値に設定する。
【０１３３】
ここで開示される主題の実施例では、５０のＰＳＮＲを「完全である」とみなすことができるので、０．９５×５０という値は、高い絶対的品質を示すことができ、（ｐｓｎｒＭｉｎ＜ｐｓｎｒＴｈｒ）である場合、ＰｓｎｒＶは、ｐｓｎｒＭｉｎと、ｐｓｎｒＴｈｒ未満であるｐｓｎｒＳＴ（ｉ，ｊ）の全構成要素の平均との平均に設定され、そうでない場合、ｐｓｎｒＶは、ｐｓｎｒＭｉｎに設定される。上のフィルタリングおよび平均化は、タイルスコアの計算から、良好に振舞う、すなわちＰＳＮＲの値が高いサブタイルを除外するように排除するように働き、低い品質、すなわちＰＳＮＲの値が低い場合は、サブタイルが存在することが認識されるであろう。
【０１３４】
上で提供される値は、単なる一例に過ぎず、ここで開示される主題の実施例は、本明細書で提示されるパラメータの他の適切な値で実現することができることが認識されるであろう。
【０１３５】
本明細書でＴＨＲＰＳＮＲと表記される、ある閾値を超えると、ＰＳＮＲ差分は知覚できないようになる。本開示の発明者らは、閾値ＴＨＲＰＳＮＲが、それぞれのフレーム、タイル、またはサブタイルの平均輝度に、少なくともある程度依存し得ることを発見した。したがって、ここで開示される主題の実施例によれば、現在の入力フレームの最大ルミナンス値（しかし、現在の候補圧縮フレームの最大ルミナンス値も使用することができる）の関数である、ＴＨＲＰＳＮＲは、以下のように実現することができる。
【数２】
2014527778.tif 000004
式中、ｍａｘＶは、タイルの最大のルミナンス値である。
【０１３６】
式２はまた、同等なルックアップテーブルとしても実現することができることが認識されるであろう。
【０１３７】
ここで開示される主題の実施例によれば、算出されたＰＳＮＲに基づくサブタイル品質スコアは、クリップすることができる。ＰＳＮＲに基づくサブタイル品質スコアはまた、［０，１］の範囲にあるように計算することもできる。クリッピングおよびスケーリングは、式（３）で示される。
【数３】
2014527778.tif 000005
【０１３８】
上で述べられるように、ここで開示される主題の実施例によれば、現在の候補圧縮フレームの品質を評価することの一部として、フレーム間品質スコアを計算することができる。フレーム間品質スコアは、フレーム内品質スコアとともに、所与の現在の候補圧縮フレームの知覚品質を評価するために、ここで開示される主題の実施例に従って使用され、候補圧縮フレームの評価は、ビデオフレームの圧縮を制御するために使用することができる。
【０１３９】
以下、ここで開示される主題の一例として、時間的整合性品質測定を実現する、フレーム間品質評価処理が説明される。便宜上、またさらなる一例として、本明細書での下の説明は、ビデオフレームの圧縮を制御するためのデバイスの１つの可能な構成を参照して行われ、相互的品質評価モジュール９０は、フレーム間品質スコア、またはフレーム間品質スコアを計算するために使用することができるタイル間品質スコアを提供するために、フレーム間領域またはタイル間領域で動作するように構成される。ここで開示される主題のさらに他の実施例において、下で説明されるように、相互的品質評価モジュール９０は、タイル間品質スコアおよびフレーム間品質スコアを計算するために使用することができる、サブタイル間品質スコアを提供するために、サブタイル間領域で動作することができる。
【０１４０】
なおさらなる一例として、下の説明において、相互的品質評価モジュール９０は、フレーム間品質スコア、またはタイル間品質スコア（フレーム間品質スコアを算出するために使用することができる）もしくはサブタイル間品質スコアを算出するために使用することができる、時間的整合性品質測定を実現するように構成される、時間的整合性評価モジュール９２を含む。同様に、ここで開示される主題の実施例によれば、フレーム間品質スコアの計算は、少なくとも時間的整合性品質測定の計算を含むことができる。以下、時間的整合性評価モジュール９２によって実現することができる、時間的整合性品質測定の計算が、一例として説明される。
【０１４１】
なおさらなる一例として、フレーム間品質スコアを計算することは、２つの差分値に基づくことができる。第１の差分値は、現在の入力フレーム１１２と前の入力フレーム１２２との画素的差分に基づき、第２の差分値は、現在の候補圧縮フレーム１１４と前の圧縮フレーム１２４との間の画素的差分に基づく。
【０１４２】
ここで開示される主題の実施例によれば、ビデオフレーム１００の圧縮を制御するためのデバイスは、相互的品質評価モジュール９０を有することができる。相互的品質評価モジュール９０は、フレーム間領域またはタイル間領域で動作するように構成することができる。相互的品質評価モジュール９０は、現在の候補圧縮フレームの時間的整合性を評価するように構成される、時間的整合性評価モジュール９２を含むことができる。下で説明されるように、ここで開示される主題のいくつかの実施例において、時間的整合性評価モジュール９２は、現在の候補圧縮フレームの複数のタイルのそれぞれの時間的整合性スコアを計算する、タイルレベル毎の時間的整合性品質測定を実現するように構成することができ、また、ここで開示される主題のさらなる実施例において、時間的整合性評価モジュール９２は、現在の候補圧縮フレームの複数のタイルの１つの一部である複数のサブタイルのそれぞれ１つの時間的整合性スコアを計算する、サブタイルレベル毎の時間的整合性品質測定を実現するように構成することができる。複数の時間的整合性サブタイルスコアおよび／または複数の時間的整合性タイルスコアは、それぞれ、対応する時間的整合性タイルスコアおよび／または時間的整合性フレームスコアを提供するために、組み合わせることができる。
【０１４３】
ここで開示される主題のいくつかの実施例において、所与の現在の候補圧縮フレーム１１４について、時間的整合性評価モジュール９２は、現在の入力フレーム１１２、前の入力フレーム１２２、現在の候補圧縮フレーム１１４、および前の圧縮フレーム１２４から成る一群のフレームを入力として受け取ることができ、そして、該群の完全なフレームに基づいて、時間的整合性品質測定を計算することができる。
【０１４４】
便宜上、上記の４つのフレームは、本明細書において、「一群のフレーム」または「フレーム群」と称される。一群のフレームは、４以上の任意の数（偶数）で構成することができることが認識されるであろう。時間的整合性が、それぞれ、現在の候補圧縮フレームおよび現在の入力フレームのそれぞれと、２つ以上の前の圧縮フレームおよび前の入力フレームとの比較に基づいて評価されるときに、群は、６つ以上のフレームを含むことができる。
【０１４５】
さらなる便宜ために、一群のフレームの各フレームからの対応するタイル（合計で４つ以上のタイル）から成る１組のタイルは、本明細書において、「一群のタイル」または「タイル群」と称され、一群のタイルの各タイルからの対応するサブタイルから成る１組のサブタイルは、本明細書において、「一群のサブタイル」または「サブタイル群」と称される。
【０１４６】
各タイル群は、それぞれのフレームの所与の領域と関連付けることができ、各サブタイル群は、それぞれのタイルの所与の領域およびそれぞれのフレームの所与の領域と関連付けることができる。
【０１４７】
ここで開示される主題の実施例によれば、一群のフレーム／タイル／サブタイルにおいて、前のフレーム／タイル／サブタイルは、２つを超えるフレーム／タイル／サブタイルを含むことができる（２つのフレーム／タイル／サブタイルは、対応する前の圧縮フレーム／タイル／サブタイル、および対応する前の入力フレーム／タイル／サブタイルである）ことを認識されたい。
【０１４８】
上で述べられるように、一例として、タイルは、圧縮品質評価モジュール５０の一部として実現される分割モジュール６０によって生成することができ、タイル品質スコアは、同じく圧縮品質評価モジュール５０の一部として実現することができるスコアプーリングモジュール７０によってプールすることができる。タイルをサブタイルに分割することはまた、分割モジュール６０等の、デバイス１００の中心的構成要素によって実行することもでき、または、タイルをサブタイルに分割することは、相互的品質評価モジュール９０によって、または相互的品質評価モジュール９０の一部として実現されるいくつかの構成要素によって行うことができる。同じような様式で、サブタイルスコアは、相互的品質評価モジュール９０によって、または相互的品質評価モジュール９０の一部として実現されるいくつかの構成要素によって、またはスコアプーリングモジュール７０によって、処理し、プールすることができる。上で述べられるように、知覚加重モジュール７２は、スコアプーリングモジュール７０の一部として実現することができ、上で説明したように、あるタイルまたはフレームの領域に、より多いまたはより少ない加重を提供するために使用することができる。
【０１４９】
ここで開示される主題の実施例によれば、圧縮品質評価モジュールはまた、現在の入力フレームがある特性を有するか、またはあるタイプであるときに、所与の圧縮候補フレームについて計算される品質スコア全体の係数を修正または実現するように構成される、画素差分分散因数分解モジュール７４も含むことができる。さらに、ここで開示される主題の実施例によれば、画素差分分散因数分解モジュール７４は、非常に疎な背景の中に置かれる高周波数成分を特徴とする、現在の圧縮候補フレームに関する修正または因数分解を実現するように構成することができる。画素差分分散因数分解モジュール７４によって適用することができる修正または因数分解に関するさらなる詳細は、下で提供される。
【０１５０】
ここで図５を参照すると、該図は、ここで開示される主題の実施例による、ビデオフレームの圧縮を制御する方法の一部として実現することができる、時間的整合性品質測定の計算のフローチャート図である。図５では、入力として提供されるサブタイル群に適用される、完全参照画素領域品質測定を計算する処理が、限定的でない実施例として示される（ブロック５０５）。一例として、所与のタイル群の各タイルは、複数の対応するサブタイル群を提供するために分割することができる。さらなる一例として、サブタイル群の各サブタイルは、ｍ×ｎ（例えば、８×８）画素ブロックで構成することができる。ここで開示される主題の実施例によれば、８×８サブタイル画素ブロックを使用することができる。入力フレームのシーケンスがＨ．２６４規格を使用して符号化される場合は、Ｈ．２６４でサポートされるマクロブロックおよび動き分割スキームが、一般に、それぞれ整列させた８×８の領域毎に、一貫したモードおよび動き判定を提供するので、８×８のブロックサイズが望ましくなり得るか、または有利であり得ることが認識されるであろう。
【０１５１】
ここで開示される主題の実施例によれば、時間的整合性評価モジュール９２は、所与のタイル群と関連付けられる、および／または所与のフレーム群と関連付けられる複数のサブタイル群のそれぞれ１つに関して、時間的整合性品質測定の計算を実現するように構成することができることが認識されるであろう。
【０１５２】
ブロック５１０で、ここで開示される主題の実施例によれば、時間的整合性評価モジュール９２は、群からのサブタイル対のそれぞれ１つの間の差分測定値を計算するように構成することができる。サブタイルの群からのサブタイル対は、対応する入力サブタイルおよび圧縮サブタイルである。例えば、一群のサブタイルが、現在の候補圧縮サブタイル、現在の入力サブタイル、前の圧縮サブタイル、および前の入力サブタイルで構成される場合、時間的整合性評価モジュール９２は、現在の候補圧縮サブタイルと前の圧縮サブタイルとの第１の差分測定値、および現在の入力サブタイルと前の入力サブタイルとの第２の差分測定値を計算するように構成することができる。
【０１５３】
さらなる一例として、差分測定値の算出は、サブタイル対の画素間の絶対差分（「ＡＤ」）の算出を含むことができる。ここで開示される主題のさらなる実施例によれば、整合性評価モジュール９２は、サブタイル対の画素全体（例えば、ｍ×ｎの画素ブロック全体）の絶対差分の合計（ＳＡＤ）を算出するように構成することができる。ＡＤまたはＳＡＤの計算は、それぞれのサブタイル対に対応する２つの（または２つ以上の）差分スコア（ＡＤまたはＳＡＤスコア）を生じることが認識されるであろう。
【０１５４】
ここで開示される主題の実施例によれば、ブロック５１０での算出によって受け取る差分スコアの結果は、どちらの差分スコアも知覚有意性閾値未満であるかどうかを判定するために、時間的整合性評価モジュール９２によって評価することができる（ブロック５１５）。ここで開示される主題の実施例によれば、提案される時間的整合性の計算は、差分スコアの結果間の関係の計算を含むことができる。ここで開示される主題のさらなる実施例において、提案される時間的整合性の計算は、差分スコアの結果間の比率の計算を含むことができる。関係または比率の計算は、ある閾値よりも小さい（１を大幅に下回る）差分スコアに敏感であり得ることが認識されるであろう。限定的でない例として、ブロック５１５で使用される有意な閾値は、ＳＡＤ値について、０．２５程度とすることができる。
【０１５５】
ここで開示される主題の実施例によれば、ブロック５１５で、差分スコアの全て（例えば、どちらも）が知覚有意性閾値未満であると判定される場合、サブタイルの時間的整合性スコアは、予め定義された値に設定することができる。ここで開示される主題のさらなる実施例によれば、ブロック５１５で、差分スコアの全て（例えば、どちらも）が知覚有意性閾値未満であると判定される場合、サブタイル群の（または対応する現在の候補圧縮サブタイルの）時間的整合性スコアは、例えば時間的整合性評価モジュール９２によって実現することができる、差分スコアがどちらも有意性閾値未満であるときの時間的整合性スコアを計算するための、第１の式に従って決定することができる（ブロック５２０）。
【０１５６】
さらに、ここで開示される主題の実施例によれば、ブロック５１５で、差分スコアの少なくとも１つが知覚有意性閾値を超えると判定される場合、差分スコア間の関係を決定することができ（ブロック５２５）、時間的整合性スコアの算出は、差分スコア間の関係に従って構成することができる（ブロック５３０）。なおさらに、ここで開示される主題の実施例によれば、差分スコア間の関係が決定され、それに応じて時間的整合性スコアの算出が構成されると、選択された構成に従って、サブタイル群について（または対応する現在の候補圧縮サブタイルについて）時間的整合性スコアを算出することができる（ブロック５３５）。
【０１５７】
以下、サブタイルの所与の群の可能な時間的整合性スコアの計算処理の説明が、一例として提供される。ここで開示される主題の実施例によれば、時間的整合性スコアの算出は、各サブタイル対の双方の差分測定値の絶対値に従って、ならびにこれらの値間の関係に従って構成することができる。例えば、現在の入力サブタイルと前の入力サブタイルとの間の差分に対応する差分値は、有意性閾値未満であると判定されるが、現在の候補圧縮サブタイルと前の圧縮サブタイルとの間の差分に対応する差分値は、有意性閾値を超える場合、時間的整合性スコアの算出は、時間的整合性スコアが、現在の候補圧縮サブタイルと前の圧縮サブタイルとの間の差分に対応する差分値に反比例的に依存するように構成することができる。これに対して、上に記載されるどちらの差分値も有意性閾値を超える場合、時間的整合性スコアは、別の方法で構成することができる。ここで開示される主題の実施例によれば、どちらの差分値も有意性閾値を超えるときに、時間的整合性スコアの構成は、差分値の相対的サイズに依存することができる。
【０１５８】
時間的変動の増加、すなわち、圧縮サブタイル（現在の候補サブタイルおよび前の圧縮サブタイル）間の差分値が、対応する入力サブタイルよりも時間的変動が多いことを示す場合は、知覚的に乱れており、特に、時間的変動が減少した場合、すなわち、再圧縮または他の処理の後に時間的変動が低減される場合よりも知覚的に乱れている。故に、ここで開示される主題のいくつかの実施例において、時間的整合性の算出は、時間的変動が増加する場合に、ペナルティが増加するように、または取得したスコアが減少するように構成することができる。したがって、時間的整合性スコアの算出は、２つの差分スコアのうちのどちらがより大きいかに依存して、異なるように構成することができる。
【０１５９】
さらに、ここで開示される主題の実施例によれば、圧縮サブタイル対の差分スコアが入力サブタイル対の差分スコアよりも大きい場合、品質スコアの算出は、２つの差分スコアの比率と非直線関係を有することができ、これに対して、入力サブタイル対の差分スコアが圧縮サブタイル対の差分スコアよりも大きい場合、品質スコアの算出は、直線関係を介して導き出すことができる。
【０１６０】
上の説明される構成の限定的でない実施例は、以下のように実現することができる。
【０１６１】
入力サブタイル対および圧縮サブタイル対の双方のどちらの差分スコアも有意性閾値未満である場合（例えば、有意性閾値は、０．２５であり得る）、１に従ってスコアを設定する。
【０１６２】
ここで開示される主題の実施例によれば、差分（例えば、ＳＡＤ）値がどちらも有意性閾値未満であるときに、時間的整合性スコアを１に設定するのではなく、その代わりに、時間的整合性スコアは、本質的に以下の式に従って算出することができる。
【数４】
2014527778.tif 000006
ＳＡＤｒは、サブタイルの時間的整合性スコアであり、ＳＡＤｏｒｇは、入力サブタイル対について算出される第１の差分値であり、ＳＡＤｃｍｐは、圧縮サブタイル対について算出される第２の差分値である。加えて、式（４）が使用される場合、取得した時間的整合性スコアのクリッピングを実現することができ、クリッピングは、以下のように、タイルの最大輝度値に従って適用することができる。
【数５】
2014527778.tif 000007
式中、ｍａｘＶは、ＴＩＬＥの最大輝度値であり、ｍａｘＣＦｔは、時間的整合性スコアがこの値未満に下がらないように、時間的整合性スコアをクリップするために使用される値であり、ＳＡＤｒは、サブタイル毎の時間的整合性スコアであり、Ｓｔｃは、時間的整合性タイルスコアである。式（４）の使用が、暗いフレームにおけるかなり小さい変化に対して時間的スコアを過剰に敏感にさせることから、式（５）を使用することができ、式（５）は、この過剰な敏感性を補償することを意図することが認識されるであろう。
【０１６３】
入力サブタイル対の差分スコアだけが有意性閾値未満である場合、時間的整合性スコアの算出は、圧縮サブタイル対の差分値の逆数に依存するように構成する。例えば、以下の式を使用することができ、
【数６】
2014527778.tif 000008
式中、ＳＡＤｒは、サブタイルの時間的整合性スコアであり、ＳＡＤｃｍｐは、圧縮サブタイル対について算出される第２の差分値である。
【０１６４】
どちらの差分スコアも有意性閾値を超える場合、時間的整合性スコアの算出は、比率に依存して算出するように構成し、分母は、２つの差分値のうちの大きい方であり、分子は、２つの差分値のうちの小さい方であり、比率は、α乗を取ることができ、ここで、αは、２つの差分値のうちのどちらがより大きいかに依存する（例えば、時間的変動の減少についてはα＝１であり、時間的変動の増加についてはα＝２である）。
【０１６５】
これらのどちらの場合（入力サブタイル対の差分スコアだけが有意性閾値未満である場合、およびどちらの差分値スコアも有意性閾値を超える場合）においても、時間的構成要素のスコアは、式
【数７】
2014527778.tif 000009
に従って計算することができる。
【０１６６】
ここで開示される主題の実施例によれば、時間的整合性の算出処理は、総合フレーム品質スコアに適用することができるフレームスコアの正規化手段を含むことができる。ここで開示される主題の実施例によれば、フレームスコアの正規化手段は、フレーム品質スコアの算出処理が、例えばシーケンスの第１のフレームを含む、異なるタイプのフレームに関して良好に動作することを可能にするために実現することができる。シーケンスの第１のフレームの例を参照すると、このフレームについて、時間的整合性スコア（例えば、１に設定され得る）を算出することができないことが認識されるであろう。シーンの変化（例えば、新しいシーンの第１のフレーム）について、約１の時間的整合性スコアを予想することもできる。ここで開示される主題のいくつかの実施例において、全てのフレームタイプ−「測定可能な」時間的整合性を伴うもの、およびそれを伴わないものの双方−について、スコアを等しくするために、正規化係数を適用することができる。
【０１６７】
ここで開示される主題の実施例によれば、フレームスコアの正規化手段は、予め定義された正規化係数に従って正規化を実現するように構成することができる。ここで開示される主題のなおさらなる実施例によれば、フレームスコアの正規化手段は、複数の構成を有することができ、それぞれの予め定義された複数のフレームタイプについて、複数の正規化係数を使用することができる。したがって、例えば、フレームスコアの正規化手段は、第１のフレームタイプについて第１の正規化係数を使用し、第２のフレームタイプについて第２の正規化係数を使用するように構成することができる。さらに他の実施例によれば、正規化係数は、所与の現在の入力フレームの予め定義された特性に従って、または前の入力フレームの予め定義された特性に従って設定または修正することができる。正規化係数を修正することができるフレームのタイプの例としては、例えば、ＩＮＴＲＡコード化（Ｉ）フレームに対するＩＮＴＥＲコード化（Ｐ）フレーム、クリップの第１のフレームと以降の全てのフレームとの対比が挙げられる。正規化の例は、下で提供される。
【０１６８】
ここで開示される主題の実施例によれば、フレームスコアの正規化手段は、シーンの第１のフレームについて、等化係数ＥｑＦａｃｔ＝（約）０．９５を使用することができる。本出願人は、等化係数ＥｑＦａｃｔ＝０．９５による試験において良好な結果を達成した。
【０１６９】
ここで開示される主題の実施例によれば、Ｉフレームおよび具体的にはシーンの変化に関して、時間的構成要素スコアは、フレームの視覚品質の評価にほとんど関与し得ない一方で、元々のクリップおよび再圧縮クリップのＳＡＤは、それを適用する際にいかなる損害もないので、どちらも非常に高く、したがって、１に近い比率を提供するので、導入された任意の僅かなシフトを修正する等化を伴うことが理解されるであろう。
【０１７０】
限定的でない実施例として、提案される時間的整合性品質測定の試験中の、発明者らによるある観察の説明が提供される。この観察は、発明者らがここで開示される主題の実施例の一部であるとみなした、あるパラメータおよび構成を反映するが、他の実施例および種々の環境下でのいくつかの結果は、必ずしもここで説明される観察に限定されるとは限らない。ここで開示される主題の実施例によれば、時間的整合性品質測定の適用は、一般に、所望に応じて、唇の動きおよび顔の表情等の局所的な動きの領域において、静的な背景領域よりも低い時間的整合性品質値を示した。
【０１７１】
時間的整合性品質測定の計算の実現例を含む、ここで開示される主題による、ビデオフレームの圧縮を制御する方法のいくつかの実施例は、図１で示され、本明細書で説明される、相互的品質評価モジュール９０および時間的整合性評価モジュール９２の実施例によって限定されないことに留意されたい。
【０１７２】
フレーム間品質スコアの計算に関する、ここで開示される主題のある実施例を説明してきたが、以下、ここで開示される主題の実施例に従って、随意にフレーム内品質スコアの計算の一部として実現することができる、内部的品質測定の説明が提供される。上で述べられるように、ここで開示される主題の実施例によれば、フレーム内品質スコアの計算は、少なくとも完全参照画素領域品質測定の計算を含むことができる。下で説明される内部的品質測定は、それぞれ、完全参照画素領域品質測定の計算に加えて、フレーム内品質スコアの計算の一部として実現することができる。さらなる一例として、下で説明される内部的品質測定の１つ以上の任意の組み合わせは、完全参照画素領域品質測定の計算に加えて、フレーム内品質スコアの計算の一部として実現することができる。
【０１７３】
ここで開示される主題の実施例によれば、フレーム内品質スコアの計算の一部として、追加のアーチファクトエッジの測定を実現することができ、対応する追加のアーチファクトエッジスコアを算出することができる。ここで開示される主題の実施例によれば、内部的品質評価モジュール１２０は、追加のアーチファクトエッジ評価モジュール１３０を含むことができ、該モジュールは、（対応する現在の入力フレームと比較して）現在の候補圧縮フレームの追加のアーチファクトエッジの程度を決定するための、１対のフレーム（現在の入力フレームおよび現在の候補圧縮フレーム）を処理し、追加のアーチファクトエッジの程度を定量化するスコアを提供するように適合される。
【０１７４】
ここで開示される主題の実施例によれば、追加のアーチファクトエッジ測定スコアは、現在の入力フレーム１１２に対する現在の候補圧縮フレーム１１４のビデオ符号化ブロック境界に沿った追加のアーチファクトエッジの程度を定量化することに基づくことができる。ここで開示される主題のさらなる実施例によれば、追加のアーチファクトエッジの程度は、それぞれのビデオ符号化ブロック境界の両側の画素値の挙動に関連する、ビデオ符号化ブロック境界全体にわたる画素値の挙動に従って決定することができる。ここで開示される主題のなおさらなる実施例によれば、追加のアーチファクトエッジの程度は、現在の候補圧縮フレーム１１４と現在の入力フレーム１１２との間の（画素的）差分に対応する差分フレームに関して、および差分フレームのそれぞれのビデオ符号化ブロック境界の両側の画素値の挙動に関連する、対応する差分フレームのビデオ符号化ブロック境界全体にわたる画素値の挙動に従って決定することができる。
【０１７５】
ここで開示される主題のなおさらなる実施例によれば、追加のアーチファクトエッジの測定は、輝度パラメータ値および追加のアーチファクトエッジの程度の分散に基づくアーチファクトエッジ正規化係数に従って、追加のアーチファクトエッジスコアを正規化することを含むことができる。いくつかの実施例において、追加のアーチファクトエッジスコアの正規化は、追加のアーチファクトエッジ評価モジュール１３０の一部として実現することができる、アーチファクトエッジ正規化モジュール１３２によって実行することができる。
【０１７６】
以下、追加のアーチファクトエッジの測定に関するさらなる詳細が、一例として提供される。ここで開示される主題のいくつかの実施例によれば、本明細書で説明される他の品質測定と同様に、フレーム対は、複数のタイル対に分割することができる。所与のタイル対について、差分タイルを計算することができ、追加のアーチファクトエッジ品質測定を、差分タイルに適用することができる。各タイル対は、それぞれのフレーム対と関連付けることができ、各フレーム対について、複数のタイルの追加のアーチファクトエッジスコアを決定することができる。各タイル対について、追加のアーチファクトエッジの程度は、差分タイルのそれぞれのビデオ符号化ブロック境界の両側の画素値の挙動に関連する、対応する差分タイルのビデオ符号化ブロック境界全体にわたる画素値の挙動に従って決定することができる。
【０１７７】
ここで開示される主題の実施例によれば、所与のタイル対の追加のアーチファクトエッジの程度を算出することは、差分タイルの水平および垂直ブロック境界を識別することを含むことができる。さらなる一例として、追加のアーチファクトエッジの程度の算出の一部として、ブロックは、圧縮フレーム（例えば、現在の候補圧縮フレーム）を符号化するときにエンコーダにより使用されたｆｘｇブロックに対応する。したがって、例えば、Ｈ．２６４符号化について、ブロックサイズは、１６×１６のＨ．２６４マクロブロックサイズに対応する。
【０１７８】
さらなる一例として、所与のブロック境界（水平または垂直の境界）について、ブロック間の変化またはブロックの境界全体にわたる勾配を評価することができ、ブロックの境界の両側のブロック（複数可）内の局所ブロック内勾配を評価することができる。例えば、ブロックの境界の両側のブロック（複数可）内の局所ブロック内勾配を評価することは、例えば、ブロック境界の直左の値と、その左側の画素との差分を評価することを含むことができる。ここで開示される主題の実施例によれば、ブロック間の変化または勾配は、（これが境界ブロックでない限り）境界の両側の画素の画素値に基づいて計算することができる。ここで開示される主題のさらなる実施例によれば、局所ブロック内勾配は、境界の両側のブロックのブロック境界に最も近い画素の画素値に基づいて計算される。
【０１７９】
ここで開示される主題の実施例によれば、さらなる所与のタイル対の追加のアーチファクトエッジの程度を算出することの一部として、ブロック間変化値を、それぞれの局所ブロック内の値と比較することができる。ここで開示される主題の実施例によれば、ブロック間変化値とそれぞれの局所ブロック内の値との比較は、例えば１６×１６のマクロブロックグリッドに沿って、および追加のアーチファクトエッジの存在を確認する水平または垂直のブロックエッジ上の各点について、差分画像タイルを走査することによって行うことができる。「アーチファクトエッジ」という用語は、エッジ、すなわち、対応する入力フレームには存在しなかった、その両側の勾配よりも「かなり」大きい（例えば、差分が、ある閾値を超える）局所勾配を指す。
【０１８０】
一例として、ここで図６を参照すると、該図は、共通の（垂直な）ブロック境界を共有する２つのブロックの画素値のグラフ図である。例証のために、ブロック間勾配値とそれぞれのブロック内勾配値との比較に関する計算は、以下、図６で示されるブロックを参照して説明される、ＡおよびＢブロック間の垂直エッジについて、Ａ１，１６とＢ１，１との間の追加のアーチファクトエッジの程度の計算は、ブロック境界全体にわたる差分画像の画素間の変化を、ブロック境界の両側の画素の平均変化で除算した比率を計算することを含むことができる。ここで開示される主題の実施例によれば、ゼロ除算を回避するために、小さい定数（例えば、０．０００１）を分母に加えることができる。これは、式（６）で公式化される。
【数８】
2014527778.tif 000010
【０１８１】
式（６）での計算は、一例として提供され、ブロック間勾配値およびブロック内勾配値は、それぞれ、任意の数の画素、およびブロックエッジの両側の画素だけでなく、ならびに／またはブロックエッジに最も近い２つの画素を使用して計算することができることが認識されるであろう。
【０１８２】
ここで開示される主題の実施例によれば、追加のアーチファクトエッジの値のソフト閾値化は、追加のアーチファクトエッジスコアの算出の一部として実現することができる。さらなる一例として、ソフト閾値化は、ブロックノイズアーチファクトの範囲の認識を可能にすることができる。したがって、ここで開示される主題の実施例によれば、下限閾値ＴＨＲ＿ＬＡＡＥおよび上限閾値ＴＨＲ＿ＨＡＡＥを考慮すると、追加のアーチファクトエッジのスコアマップ、すなわち、水平境界点および垂直境界点のそれぞれについて［０，１］の範囲の値を含むスコアマップは、以下のように作成することができる。
【０１８３】
式（６）で算出される追加のアーチファクトエッジの値が下限閾値ＴＨＲ＿ＬＡＡＥ未満である場合、追加のアーチファクトエッジ（ＡＡＥ）スコアは、０（アーチファクトでない）に設定される。
【０１８４】
追加のアーチファクトエッジ値が、下限閾値ＴＨＲ＿ＬＡＡＥと上限閾値ＴＨＲ＿ＨＡＡＥとの間にある場合、追加のアーチファクトエッジスコアは、追加のアーチファクトエッジの程度に直線的に比例する［０，１］の範囲の値に設定することができ、すなわち、次式のようになる。
【数９】
2014527778.tif 000011
【０１８５】
追加のアーチファクトエッジ値が上限閾値ＴＨＲ＿ＨＡＡＥを超える場合、追加のアーチファクトエッジスコアは、１に設定される。
【０１８６】
一例として、それぞれ、下限閾値２および上限閾値５について、図７で示される閾値化関数を取得することができ、図中、Ｘ軸は、追加のアーチファクトエッジの値を表し、Ｙ軸は、結果として生じる局所スコア値を表す。算出値を保存するために、式（４）で説明される比率の半分を算出することができ、２／２および５／２という閾値を使用することができることに留意されたい。
【０１８７】
ここで開示される主題の実施例によれば、ＳＡＡＥによって本明細書で表される追加のアーチファクトエッジスコアは、各エッジ点で追加のアーチファクトエッジスコアを含む、追加のアーチファクトエッジスコアマップの平均として算出することができる。一例として、下の式（８）は、アーチファクトエッジスコアマップから追加のアーチファクトエッジスコアを算出するために使用することができる、計算の一例を提供する。式（８）において、ＰおよびＱは、スコアマップの次元、すなわち、それぞれ、１つの横列および縦列のエッジ点の数である。
【数１０】
2014527778.tif 000012
【０１８８】
式（８）によって表される計算は、知覚的に認識できるエッジの存在に関して良好な指示を提供することができ、劣化の程度を定量化するためにさらなる処理が必要とされ得ることが認識されるであろう。例えば、エッジの両側のブロックが「平坦」であり、ブロックエッジに変化がある、非常に乱れた、認識できるエッジは、式（８）に従って、１の追加のアーチファクトエッジスコアを受け取ることができ、該スコアは、同じく上限閾値ＴＨＲ＿ＨＡＡＥを超える、それほど乱れていないブロックノイズアーチファクトを生じ得るスコアである。
【０１８９】
したがって、ここで開示される主題の実施例によれば、ペナルティを、追加のアーチファクトエッジスコア計算に加えることができる。さらなる一例として、質的閾値よりも大きく、かつその数が量的閾値よりも大きい、追加のアーチファクトエッジ値の場合に、ペナルティを適用することができる。
【０１９０】
ここで開示される主題のなおさらなる実施例によれば、例えばあるタイルに過剰にペナルティを課すことを回避するために、ペナルティの印加を制御するように、さらなる手段を実現することができる。ここで開示される主題の実施例によれば、ペナルティは、どちらも暗く（例えば、ｍａｘＶ＜＜１２８）、「タイル」のフレーム等の「問題がある」分散を有するタイルに、ペナルティが２度課され得、したがって、それらの品質が非常に高いときであっても低いスコアを有するタイルに適用することができる。さらなる一例として、ペナルティ制御手段は、特に暗いだけでなく、追加のアーチファクトエッジの特に高い値も有するブロックに関して、ペナルティの適用を制御するように構成することができる。
【０１９１】
したがって、追加のアーチファクトエッジスコアの補正係数の許容範囲は、評価タイルの最大ルミナンス値であるｍａｘＶに基づいて設定することができる。追加のアーチファクトエッジスコアの補正係数の許容範囲を設定するために使用することができる、このｍａｘＶ値は、式（２）の説明と関連して既に上で説明した最大ルミナンス値と同じ値とすることができ、この場合、式（２）の値も現在の計算で使用することができる。ここで開示される主題の実施例によれば、追加のアーチファクトエッジスコアの補正係数の許容範囲は、例えば、以下の式（９）を使用して決定することができる。
【数１１】
2014527778.tif 000013
【０１９２】
ここで開示される主題のさらなる実施例によれば、式（９）を、追加のアーチファクトエッジスコアの補正係数の許容範囲を制御するために使用する場合、補正係数は、一例として、式（１０）を使用して算出することができる。
【数１２】
2014527778.tif 000014
【０１９３】
追加のアーチファクトエッジ値が非常に高い場合、結果として約１０００の追加のアーチファクトエッジスコアマップ値を得ることができ、したがって、１未満の補正係数を取得することができることが認識されるであろう。
【０１９４】
補正係数の計算に続いて、例えば以下のように、追加のアーチファクトエッジスコアの構成要素を、算出された補正係数を使用して修正することができる。
ＳＡＡＥ＝ＳＡＡＥ×ＡＡＥ＿ＣＦ  式（１１）
【０１９５】
この実施例において、追加のアーチファクトエッジスコアは、［０，１］の範囲であり、１は、目標の画像タイルの中にいかなる追加のアーチファクトエッジもないことを示し、０に向かって値が小さくなるにつれて、より多くの追加のアーチファクトエッジが存在するようになることが分かった。
【０１９６】
ここで開示される主題の実施例によれば、フレーム内品質スコアの計算の一部として、テクスチャ歪測定を実現することができ、テクスチャ歪スコアを算出することができる。ここで開示される主題の実施例によれば、テクスチャ歪測定スコアは、現在の入力フレーム１１２に対する現在の候補圧縮フレーム１１４と関連付けられるテクスチャ値に基づくことができる。
【０１９７】
ここで開示される主題の実施例によれば、テクスチャ歪測定は、現在の候補圧縮フレーム１１４および対応する現在の入力フレーム１１２のテクスチャ値間の関係に基づくことができる。ここで開示される主題の実施例によれば、内部的品質評価モジュール１２０は、テクスチャ歪評価モジュール１４０を含むことができ、該テクスチャ歪評価モジュールは、（対応する現在の入力フレームと比較される）現在の候補圧縮フレームのテクスチャ歪の程度を決定するための、１対のフレーム（現在の入力フレームおよび現在の候補圧縮フレーム）を処理するように、およびテクスチャ歪の程度を定量化するスコアを提供するように適合させることができる。ここで開示される主題のさらなる実施例によれば、各テクスチャ値は、候補圧縮フレーム１１４の複数の予め定義された画素群のそれぞれ１つの中の、および対応する現在の入力フレーム１１２のそれぞれの画素群における、画素値の分散に対応する。
【０１９８】
ここで開示される主題のさらなる実施例によれば、テクスチャ歪測定は、テクスチャ歪感度閾値を実現することを含むことができる。さらなる一例として、テクスチャ歪測定は、テクスチャ歪感度閾値を、現在の入力フレームおよび対応する候補圧縮フレームのテクスチャ値間の関係に適用することを含むことができる。なおさらなる一例として、テクスチャ歪感度閾値は、テクスチャ歪感度閾値に基づく、非線形テクスチャ歪スコアマッピングを提供するように構成することができる。さらなる一例として、テクスチャ歪感度閾値の１つ以上は、画素的差分に従って適合させることができる。なおさらなる一例として、テクスチャ歪感度閾値の１つ以上を決定する、または適合させるために使用される画素的差分は、例えば図２〜図４を参照して上で説明した画素的品質評価処理の結果として、それぞれのタイルについて算出した画素的差分スコアに基づくことができる。複数の予め定義された画素群のテクスチャ歪評価処理の一部として、タイル全体の閾値を設定するための画素的品質評価処理の結果として、それぞれのタイルについて算出した、同じ画素的差分スコアを使用することが認識されるであろう。
【０１９９】
ここで開示される主題の実施例によれば、テクスチャ歪評価モジュール１４０は、テクスチャ歪評価処理の一部として使用されるテクスチャ歪感度閾値の１つ以上を決定する、または適合させるように適合される、テクスチャ歪閾値構成器１４２を含むことができる。一例として、テクスチャ歪閾値構成器１４２は、上で述べられるように、画素的品質評価処理の結果に従って使用されるテクスチャ歪閾値を決定するように構成することができる。
【０２００】
以下、テクスチャ歪測定に関するさらなる詳細が、一例として提供される。ここで開示される主題のいくつかの実施例によれば、本明細書で説明される他の品質測定と同様に、フレーム対は、複数のタイル対に分割することができる。ここで開示される主題の実施例によれば、テクスチャ歪測定の実現の一部として、タイル対は、複数のサブタイルにさらに分割することができる。サブタイルは、Ｍ×Ｎの次元を有することができる。例えば、サイズ４×４のサブタイルを使用することができる。
【０２０１】
ここで開示される主題の実施例によれば、所与のサブタイル対について平均画素値を計算することができる。例証のために、ＩＲ（ｍ，ｎ）およびＩＴ（ｍ，ｎ）が使用され、ここで、ＩＴは、現在の候補圧縮フレームからのサブタイルと関連付けられ、ＩＲは、現在の入力フレームからの対応するサブタイルと関連付けられ、平均画素値の計算は、一例として、式（１２）によって表される。
【数１３】
2014527778.tif 000015
【０２０２】
次いで、対応するサブタイル対分散値を、例えば式（１３）によって表される計算を使用して計算する。
【数１４】
2014527778.tif 000016
【０２０３】
サブタイル対分散値の計算の後に、分散比、および１の補数の算出を行うことができる。この計算は、式（１４）によって表される。
【数１５】
2014527778.tif 000017
式中、Ｃは、０による除算を回避するために使用される定数である。例えば、Ｃ＝２である。原則として、Ｃが大きくなるにつれて、ほぼ０のより僅かな分散の変化が無視されることが認識されるであろう。
【０２０４】
ここで、各サブタイル対について、局所テクスチャ歪スコアを、例えば、一例として式（１５）によって表される計算を使用して、分散比の関数として算出することができる。
【数１６】
2014527778.tif 000018
比率についてＴＨＲｔｄＨおよびＴＨＲｔｄＬによって表される、上限閾値および下限閾値を定義する定数、およびＴＨＲｔｄＯによって表される、比率＝１からの許容オフセットまたは許容偏差は、以前に算出した画素的差分スコアに従って設定される。この計算は、一例として、式（１６）によって表される。
【数１７】
2014527778.tif 000019
【０２０５】
ここで開示される主題の実施例によれば、式（１６）によって表される計算は、閾値化関数をもたらすことができる。テクスチャ歪測定の一部として実現することができる、閾値化関数の実施例のグラフ図は、図８で提示される。
【０２０６】
テクスチャ歪測定の計算、総合テクスチャ歪スコアの計算は、Ｗ×Ｈのタイル対内のＭ×Ｎのブロックの全てにわたる、式（１５）によるＳＴＤの値を平均することによって計算することができる。この計算は、一例として、式（１７）によって表される。
【数１８】
2014527778.tif 000020
【０２０７】
さらなるテクスチャ歪測定の計算の一部として、修正を総合テクスチャ歪スコアに適用することができる。ここで開示される主題の実施例によれば、補正係数の計算は、テクスチャ歪評価モジュール１４０の一部として実現される、テクスチャ歪正規化モジュール１４４によって実行することができる。ここで開示される主題の実施例によれば、総合テクスチャ歪スコアに適用される修正は、タイルの大部分の一貫したテクスチャ損失と関連付けられる、乱れアーチファクトを強調するように構成することができる。さらなる一例として、修正は、現在の入力タイルおよび現在の候補圧縮タイルの平均分散の比率に基づく補正係数に従って構成することができる。テクスチャ歪測定計算の一部として実現することができる修正を構成するために使用することができる補正係数の計算の実施例は、式（１８）および式（１９）によって提供される。
【数１９】
2014527778.tif 000021
【数２０】
2014527778.tif 000022
【０２０８】
ここで開示される主題の実施例によれば、テクスチャ歪測定の計算は、複数の乱れアーチファクトがある現在の候補圧縮タイルの過剰な修正を防止するために、補正係数の計算の一部として実現される、閾値ＴＤ＿ＣＦｍａｘを含むことができる。さらなる一例として、画素的差分測定および追加のアーチファクトエッジ測定のための補正係数の計算に対応する手法に従って、または該手法で、ＴＤ＿ＣＦｍａｘを決定することができる。例えば、ＴＤ＿ＣＦｍａｘは、式（２０）に従って決定することができる。
【数２１】
2014527778.tif 000023
【０２０９】
下でさらに説明するように、テクスチャ歪スコアは、０．５の累指数を伴う総合圧縮候補フレーム／タイル品質スコアに組み合わせることができ、よって、補正係数ＴＤ＿ＣＦを０．２５に限定すると、総合タイル圧縮候補フレーム／タイル品質スコアの実際の補正係数は、ｓｑｒｔ（０．２５）＝０．５に限定することができる。テクスチャ歪測定の計算の最後の段階として、総合テクスチャ歪スコアは、例えば、式（２１）によって表される計算に従って修正することができる。
ＳＴＤ＝ＳＴＤ×ＴＤ＿ＣＦ  式（２１）
【０２１０】
式（２１）の結果は、［０，１］の範囲のスコアであり、１は、目標の画像タイルの中にいかなる認識できるテクスチャ歪もないことを示す。
【０２１１】
ここで開示される主題の実施例によれば、フレーム内品質スコア計算の一部として、エッジ損失測定を実現することができ、エッジ損失スコアを算出することができる。エッジ損失測定の計算は、内部的品質評価モジュール８０の一部として実現される、エッジ損失評価モジュール１５０によって実行することができる。ここで開示される主題の実施例によれば、エッジ損失スコアの計算は、現在の入力フレームに対応するエッジマップを取得し、エッジマップに基づいて現在の入力フレームに対応するエッジ損失スコアを計算することを含むことができる。例えば、エッジ損失スコアの計算は、現在の入力フレームに対応するエッジマップを取得することと、現在の入力フレームの各エッジ画素について、エッジ画素の値と、エッジ画素付近の１つ以上の画素との間の偏差に基づいて、エッジ強度スコアを計算することと、候補圧縮フレームの各対応する画素について、対応する画素の値と、対応する画素付近の１つ以上の画素との間の偏差に基づいて、エッジ強度スコアを計算こととを含むことができ、エッジ損失スコアは、エッジ画素のエッジ強度スコアと、対応する画素のエッジ強度スコアとの関係に基づいて算出される。
【０２１２】
ここで開示される主題のさらなる実施例によれば、エッジ損失スコアの計算は、現在の入力フレームに対応するエッジマップを取得することと、候補圧縮フレームに対応するエッジマップを取得することとを含むことができる。例えば、エッジ損失スコアの計算は、現在の入力フレームに対応するエッジマップを取得することと、候補圧縮フレームに対応するエッジマップを取得することと、現在の入力フレームに対応するエッジマップと、候補圧縮フレームに対応するエッジマップとの差分に従うエッジ画素の損失に基づいて、エッジ損失スコアを算出することとを含むことができる。
【０２１３】
以下、エッジ損失測定に関するさらなる詳細が、一例として提供される。ここで開示される主題のいくつかの実施例によれば、本明細書で説明される他の品質測定と同様に、フレーム対は、複数のタイル対に分割することができ、エッジ損失測定をタイル対に適用することができ、また、所与のフレームと関連付けられるタイルのエッジ損失スコアをともにプールすることができる。
【０２１４】
ここで開示される主題の実施例によれば、エッジ損失測定は、各現在の入力フレームについて、または現在の入力フレームの各タイルについて、２進数のエッジマップの計算を含むことができる。さらに一例として、エッジマップの計算は、予備的な前処理段階として実現することができる。なおさらなる一例として、２進数のエッジマップは、エッジマップにおいてエッジ画素に１の値を提供することによって生成される。さらに他の一例として、Ｃａｎｎｙエッジ検出、Ｓｏｂｅｌエッジ検出、ログラプラシアンエッジ検出、Ｐｒｅｗｉｔｔ  Ｒｏｂｅｒｔｓエッジ検出、または他のエッジ検出アルゴリズムを使用することができる。
【０２１５】
ここで開示される主題の実施例によれば、エッジマップにおいてエッジ画素に２進数指示を提供することに加えて、各エッジ画素について、エッジの「方向」を決定することができる。さらなる一例として、エッジ画素の方向を決定することは、場所｛ｉ，ｊ｝のエッジの場合、｛ｉ，ｊ｝の画素値と、周囲の画素（例えば、８つの周囲の画素）のそれぞれとの絶対差分を算出することと、絶対差分を比較することと、｛ｉ，ｊ｝の画素との最も大きい絶対差分を生成した画素の場所に従って、ＥＤｏｒｇ（ｉ，ｊ）を設定することとを含むことができる。｛ｉ，ｊ｝の画素を取り囲む画素の概略的な列挙の実施例は、図９Ａで図示され、該図は、図９Ｂのそれぞれの画素値（エッジ画素は太字）および図９Ｃの対応する絶対差分値（最大値は太字）の概略図と組み合わせて、対角エッジの事例を実証し、ここで、ＥＤｏｒｇ（ｉ，ｊ）＝３である。
【０２１６】
ここで開示される主題の実施例によれば、エッジ損失測定の計算の１つの実現例において、エッジ損失スコア（またはＥＬＦ）を算出するために、以下のデータを取得することができる。
【０２１７】
Ｆｃｍｐ：現在の候補圧縮フレーム／タイル。
【０２１８】
Ｆｏｒｇ：現在の入力フレーム／タイル。
【０２１９】
ＥＭｏｒｇ：Ｆｏｒｇに対応する２進数のエッジマップ。
【０２２０】
ＥＤｏｒｇ：それぞれのエッジ画素を取り囲む画素を表す０〜７の範囲の値によって示される、各エッジ点の「方向」。
【０２２１】
上のデータを使用して、各タイルについて、エッジ損失スコアを算出することができる。エッジ損失スコアは、エッジ画素の中のエッジ損失の程度（例えば、パーセント）の指示として使用することができる。エッジ損失は、定義することができ、以下のアルゴリズムを使用して算出することができる。
Ｎｅ＝０、Ｎｅｌｆ＝０に設定する。Ｎｅは、エッジの数を表し、Ｎｅｌｆは、タイルの各画素のエッジ損失点の数を表す。エッジ画素の場合は、
Ｎｅ＝Ｎｅ＋１に設定し、
エッジ絶対差分値を算出する。エッジ画素（フレームの画素の値）と（フレームの）画素との間の絶対差分は、ＥＡＤｏｒｇ（ｉ，ｊ）、（ＥＡＤｃｍｐ（ｉ，ｊ）を取得するために、現在の入力タイルおよび現在の候補圧縮タイルの双方において、ＥＤｏｒｇの対応する値によって示される。
【０２２２】
図９Ａ〜９Ｃで示される画素ブロックによる実施例において、上のアルゴリズムの適用は、次のように変換される。
【数２２】
2014527778.tif 000024
【０２２３】
さらに別の実施例では、タイルのエッジ画素の損なわれたエッジの程度の情報Ｎｅｌｆを、以下のように計算することができる。画素あたりのエッジ損失測定は、次のように算出することができる。
【数２３】
2014527778.tif 000025
式中、Ｃは、ゼロ除算を回避するために、小さい定数、例えば、Ｃ＝０．０００１である。
【０２２４】
次いで、各エッジ画素について、Ｎｅｌｆは、以下のように更新される。所定のエッジ損失基準（例えば、エッジ損失基準は、エッジ損失測定≦０．５または類似の基準とすることができる）によって指示されるところによりエッジ損失が潜在的にある場合において、予め定義されたエッジ除去基準（例えば、除去基準は、ＥＡＤｃｍｐ＝＝０とすることができる）または類似の基準によって示されるところによりエッジが完全に除去された場合、以下のように、Ｎｅｌｆを累積的に計算する。
【数２４】
2014527778.tif 000026
【０２２５】
別の場合、エッジが部分的にだけ損なわれた場合、Ｎｅｌｆは、以下のように累積的に計算される。
【数２５】
2014527778.tif 000027
これは、完全に損なわれたエッジについて、画素値が非常に高い（例えば、明るい画素）場合、より大きい寛大さがあることを意味する。別の場合、誤りは、以前の実施例のように常時１であるのではなく、エッジ損失の程度に直接関連する。
【０２２６】
上の計算は、タイルの全てのエッジ画素について実行される。次の計算は、タイルの全てのエッジ画素を「走査」した後に適用される。
【数２６】
2014527778.tif 000028
【０２２７】
別の実施例において、式２３〜式２５で表される上の計算は、あるエッジ画素だけについて行う一方で、他のエッジ画素を除外することができる。ここで開示される主題の実施例によれば、エッジ画素選択基準は、画像の中の発見エッジの予め定義された１つ（または複数）の特性と関連付けることができる。一例として、下で説明されるエッジスコアは、エッジ画素選択基準に含むことができ、各エッジ画素のエッジスコアに従って、上で述べられる式２３〜式２５と関連付けられる計算を適用するかどうかを決定するために、閾値を実現することができる。さらなる実施例において、エッジ画素選択基準は、エッジの長さの測定値と関連付けることができ、ある（例えば、予め定義された）数未満の画素を含むエッジの一部である画素について、式２３〜式２５と関連付けられる計算を、それぞれのエッジ画素について回避することができる。さらに他の実施例において、エッジ画素選択基準は、エッジの「強さ」の測定値と関連付けることができ、例えば、エッジの両側の画素値間の数値的な絶対差分の関数として測定することができる。エッジの「強さ」に基づく基準は、ある（例えば、予め定義された）閾値を含むことができ、エッジの「強さ」の測定値がある値未満である場合は、式２３〜式２５と関連付けられる計算を、それぞれのエッジ画素について回避することができる。
【０２２８】
ここで開示される主題の実施例によれば、エッジ損失測定の計算は、限定範囲内のエッジ損失スコアを提供するように構成することができる。例えば、上の実施例において、エッジ損失測定の計算は、［０．４，１］の範囲でエッジ損失スコアを提供するように構成され、１は、いかなる損失もないことを示し、０．４は、かなりのエッジ損失を示す。この実施例において、スコアは、適切な品質劣化を支持するように０．４以下に限定され、よって、エッジが良好に保存されないときであっても、知覚的に損失がないわけではないが、それでもいくつかの応用に許容可能な総合的な、品質を取得することができる。ここで開示される主題のさらなる実施例において、エッジ損失測定は、ソフト閾値化を含むように構成することができ、該ソフト閾値化は、上で説明されるハード閾値化の代わりに、エッジ損失スコアの計算の一部として実現することができることが認識されるであろう。一例として、エッジ損失測定の計算の一部として実現されるソフト閾値は、０．５以下の下限境界を使用して構成することができる。
【０２２９】
発明者らは、（下で説明するように）エッジ損失スコアの構成要素をタイルスコアの計算に導入することで、総合的なフレーム品質スコアを平均で約０．９倍低下させることができることを発見した。総合フレーム品質スコアの低下は、全ての以前のスコアに、一般に１より小さい別の構成要素を乗算した結果とすることができる。スコアの構成要素が多くなるにつれて、同じ実際の品質について取得されるスコアが低くなる。したがって、ここで開示される主題の実施例によれば、エッジ損失測定が品質評価処理の一部として実現される場合、総合フレーム品質スコアを正規化することができる。例えば、総合フレーム品質スコアは、以下のように正規化することができる。
【数２７】
2014527778.tif 000029
式中、ＢＢｖＣＱは、総合フレーム品質スコアを表す。
【０２３０】
フレーム間品質測定およびフレーム内品質測定の実施例の計算と関連する、ここで開示される主題の実施例を説明してきたが、以下、フレーム内品質スコアおよびフレーム間品質スコアに基づく、現在の候補圧縮フレームのフレーム品質スコアの計算の説明が提供される。ここで開示される主題の実施例によれば、フレーム内品質スコアおよびフレーム間品質スコアから計算されるフレーム品質スコアは、品質基準を満たすかどうかを判定するために、品質基準に対して評価することができる。品質基準を満たさない場合、更新された量子化器パラメータ値を使用して圧縮処理を繰り返し、更新された候補圧縮フレームを生じさせることができる。フレーム間品質スコアおよびフレーム内品質スコアの計算を含む、本明細書で説明される品質評価処理は、ある現在の候補圧縮フレームが品質基準を満たすまでの間、更新された候補圧縮フレームについて繰り返すことができ、更新された候補圧縮フレームを再度評価することができる。ここで開示される主題の実施例によれば、品質基準を満たすときに、圧縮品質評価モジュールは、エンコーダに、出力として現在の候補圧縮フレームを提供するように指示するように構成することができる。
【０２３１】
以下、フレーム内品質スコアおよびフレーム間品質スコアをプールするまたは組み合わせるための計算の、可能な実現例の説明が提供される。上で述べられるように、フレーム内品質スコアは、少なくとも画素的差分品質測定と関連付けることができる。上でも述べたように、画素的品質測定に加えて、フレーム内品質スコアも、随意に、内部的品質測定、すなわち、追加のアーチファクトエッジ測定、テクスチャ歪測定、またはエッジ損失測定のうちの１つ以上と関連付けることができる。ここで開示される主題の実施例によれば、フレーム内品質スコアは、必ずしも明示的に算出されることを必要とせず、１つまたは複数の内部的品質測定のスコアをプーリング関数に直接供給することができる。さらなる一例として、スコアのプーリングは、タイルレベルで行うことができ、結果として生じるタイルスコアは、現在の候補圧縮フレームの総合フレーム品質スコアを提供するために、組み合わせることができる。
【０２３２】
ここで開示される主題の実施例によれば、総合タイルスコアを算出するために使用されるプーリング関数は、プールされるタイル品質測定のそれぞれの累指数を含むことができる。ここで開示される主題のさらなる実施例によれば、累指数は、予め定義することができる。例えば、総合タイルスコアを算出するために使用することができるプーリング関数は、一例として式２８として下で提供される。
【数２８】
2014527778.tif 000030
式中、ＢＢｖＣＱは、総合タイル品質スコアを表し、ＳＰＷＤは、タイルについて算出した画素的差分スコアを表し、ＳＡＡＥは、追加のアーチファクトエッジスコアを表し、ＳＴＤは、テクスチャ歪スコアを表し、ＳＴＣは、時間的整合性スコアを表し、ＳＥＬＦは、エッジ損失スコアを表す。一例として、累指数は、α＝１．５、β＝１、γ＝０．５、μ＝１、η＝０．５である。
【０２３３】
したがって、現在の圧縮候補フレーム（または対応するフレーム群）と関連付けられる、全てのタイルの総合タイルスコアを算出することができる。現在の圧縮候補フレームと関連付けられる全てのタイルの総合タイルスコアが算出されると、総合フレーム品質スコアを提供するために、タイルスコアをプールすることができる。フレーム品質スコアは、現在の圧縮候補フレームに関連する。
【０２３４】
以下、ここで開示される主題のいくつかの実施例の一部として使用することができる、種々のタイルサイズ構成の限定的でない説明が提供される。
【０２３５】
ここで開示される主題の実施例によれば、異なる画像サイズのスコアの頑健性を増加させるために、適応タイル次元選択スキームを実現することができる。ここで開示される主題の実施例によれば、タイル次元選択スキームは、１６の倍数であるタイルサイズ（マクロブロックサイズ）を選択するように構成することができる。ここで開示される主題のさらなる実施例によれば、タイル次元選択スキームは、６４×６４以上のサイズであるタイルサイズを選択するように構成することができる。発明者らは、６４×６４よりも小さいタイルは、結果として生じるＰＳＮＲサブタイルのサイズが小さい場合があるため、不安定な結果を生じさせる可能性があり、また、追加のアーチファクトエッジ測定が、評価処理の一部として実現される場合は、６４×６４よりも小さいタイルにおいて、少ない数の利用可能な１６×１６エッジが存在する可能性もあり、これが、追加のアーチファクトエッジの評価を妨げる可能性があることを発見した。
【０２３６】
発明者らはまた、ほぼフルＨＤ（１９２０×１０８０画素）の解像度について、最大タイルサイズを１２８にすべきであることも発見した。より大きいタイルの場合、タイルの中の画素数に起因して、品質測定の感度が低下する可能性があり得る。
【０２３７】
ここで開示される主題のいくつかの実施例において、タイルサイズは、正方形である必要はないことが認識されるであろう。しかしながら、ここで開示される主題の他の実施例では、正方形のタイルが使用される。
【０２３８】
ここで開示される主題のさらなる実施例では、各現在の候補圧縮フレームを評価するために、１フレームあたり約５０のタイルが使用されるが、ここで開示される主題のなおさらなる実施例は、この特定の１フレームあたりのタイル数に限定されない。
【０２３９】
可能なフレーム分割スキームを例示するために、以下、計算の限定的でない例が提供される。これは、少なくとも６つの横列、８つの縦列を伴う、４：３の標準的なアスペクト比を有するビデオフレームの分割を決定するため使用することができる。
【数２９】
2014527778.tif 000031
式中、
【数３０】
2014527778.tif 000032
は、タイル次元を表し、Ｆｗｉｄｔｈは、フレーム幅を表し、Ｆｈｅｉｇｈｔは、フレーム高さを表す。
【０２４０】
【数３１】
2014527778.tif 000033
は、次いで、１６のグリッドにスナップされ、以下のようにクリップされる。
【数３２】
2014527778.tif 000034
式（３０）
【０２４１】
所与のフレームのタイル（各タイル次元は、ＴｉｌｅＤｉｍ×ＴｉｌｅＤｉｍである）のそれぞれについて品質スコアが算出されると、単一のフレームスコアを提供するために、タイルスコアをプールすることができる。発明者らは、画像タイルのスコアを計算し、次いで結果をプールすることで、異なる画像サイズおよびコンテンツに対して頑健であるフレーム品質測定が得られることを発見した。
【０２４２】
ここで開示される主題のいくつかの実施例によれば、総合フレームスコアを提供するためにタイルスコアをプールすることは、
Ｓｍｉｎで表される最も低いタイルスコア（最も悪い振る舞いのタイルのスコア）を見出すことと、
例えば、次のように、タイルスコアの閾値が算出に含まれるように設定することとを含むことができる。
ＴＨＲｓ＝ｍｉｎ（０．９５，２．５×Ｓｍｉｎ）  式（３１）
Ｓｍｉｎ≧ＴＨＲｓである場合、すなわち、いかなるスコアも０．９５未満でない場合、フレームスコアは、Ｓｍｉｎに設定され、そうでない場合、フレームのスコアは、Ｓｍｉｎと、ＴＨＲｓ未満である全てのタイルスコアの平均との平均として算出される。
【０２４３】
提案されるプーリングプロシージャは、現在の候補圧縮フレームの最も悪いタイルを強調する（またはより高い加重を与える）ために使用することができることが認識されるであろう。また、最も悪いタイルは、一般的に、主観的な観察者が注目する場所であることも認識されるであろう。提案されるプーリングプロシージャはまた、スコアのフレームへの統合を提供する一方で、高い品質の「外れ値」、すなわち、最も悪い状態のタイルと比較して特に高い品質を伴うタイルを除外することもできる。
【０２４４】
上で説明されるフレーム品質評価処理に加えて、追加または他の測定を、ビデオシーケンスの圧縮を制御する方法に含むことができ、ビデオシーケンスの圧縮を制御するためのデバイスによって実現することができる。そのような追加または他の測定は、具体的特徴を伴う特定のフレームに関して動作するように構成することができる。非常に疎な背景、「タイトル」フレーム、または暗いフェードインフレームおよびフェードアウトフレームの中に置かれる高周波数成分を特徴とするフレームは、そのようなフレームの特定の特性のため、他のまたは追加の処理および評価を必要とするフレームの例である。
【０２４５】
ここで開示される主題の実施例によれば、そのようなフレームでは、詳細の不足のため、人間視覚システム（ＨＶＳ）は、コンテンツが存在する小さい領域に重点を置く傾向があり、その挙動は、候補圧縮フレームの品質の主観的な評価に影響を及ぼし得る。ここで開示される主題の実施例によれば、品質評価処理の一部として、フレームタイルのサブタイルのＰＳＮＲ値の「分散」の程度に依存するペナルティを、フレーム品質スコアに加えることができる。さらなる一例として、ペナルティは、以下のように算出することができる。
【０２４６】
フレームのタイルのそれぞれについて、
【数３３】
2014527778.tif 000035
式中、（ｋ，ｌ）は、タイル指標であり、（ｉ，ｊ）は、サブタイル指標である。ｐｓｎｒＭｉｎＭａｘＲ（ｋ，ｌ）は、最小および最大サブタイルＰＳＮＲ値間の比率を表し、下の算出に必要とされ、ｐｓｎｒＳＴ（ｉ、ｊ）は、上で定義されるサブタイルＰＳＮＲを表し、ＴＲは、参照（元々の）タイルを表し、Ｔは、目標（再圧縮）タイルを表す。
【０２４７】
次いで、総合フレームスコアＳＦを算出した後に、例えば以下のように、対応する大域的補正係数（Ｇ＿ＣＦ）によって、修正することができる。
Ｒｍａｘを、ｍａｘ（ＰｓｎｒＭｉｎＭａｘＲ（ｋ，ｌ））に設定する。Ｒｍａｘは、フレームの中の最も大きいＰＳＮＲの最小／最大の比率である。
Ｒｍａｘが（−１）を超える場合は、以下のようにスコア補正係数を算出することができる。
Ｒａｖｇを、（−１）に等しくない、全てのＰｓｎｒＭｉｎＭａｘＲ（ｋ，ｌ）値の平均に設定する。
Ｇ＿ＣＦ＝０．６＋０．７５×Ｒａｖｇ  式（３３）
補正係数を［０．６５，１］の範囲にクリップする。
ＳＦ＝Ｇ＿ＣＦ×ＳＦ  式（３４）
【０２４８】
また、本発明によるデバイスは、好適にプログラムされたコンピュータとすることができることも理解されるであろう。同様に、本発明は、本発明の方法を実行するための、コンピュータによって読み出し可能なコンピュータプログラムを目的とする。本発明はさらに、本発明の方法を実行するための、機械によって実行可能な命令のプログラムを明白に具現化する、機械が読み出し可能なメモリを目的とする。
【図６】
2014527778.tif 000036
【図７】
2014527778.tif 000037
【図１】
2014527778.tif 000038
【図２】
2014527778.tif 000039
【図３】
2014527778.tif 000040
【図４】
2014527778.tif 000041
【図５】
2014527778.tif 000042
【図８】
2014527778.tif 000043
【図９Ａ】
2014527778.tif 000044
【図９Ｂ】
2014527778.tif 000045
【図９Ｃ】
2014527778.tif 000046
【手続補正書】
【提出日】平成26年5月1日(2014.5.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力ビデオシーケンスおよび対応する劣化ビデオシーケンスに基づいて、ビデオコンテンツシステムを制御する方法であって、前記入力ビデオシーケンスは、少なくとも現在の入力フレームおよび前の入力フレームを含み、前記劣化ビデオシーケンスは、少なくとも現在の劣化フレームおよび前の劣化フレームを含み、前記方法は、
前記現在の入力フレーム、前記前の入力フレーム、前記現在の劣化フレーム、および前記前の劣化フレームを取得することと、
前記現在の入力フレームおよび前記前の入力フレームから第１の差分値を計算し、前記現在の劣化フレームおよび前記前の劣化フレームから第２の差分値を計算することと、
前記第１および第２の差分値を比較し、フレーム間品質スコアを生じさせることと、
前記現在の劣化フレームおよび前記現在の入力フレームの画素領域に適用されるフレーム内品質測定を使用して、フレーム内品質スコアを計算することと、
前記フレーム間品質スコアおよび前記フレーム内品質スコアに関連する品質基準に基づいて、前記ビデオコンテンツシステムに構成命令を提供することと、
を含む、方法。
【請求項２】
前記劣化ビデオシーケンスは、前記入力ビデオシーケンスに対応する圧縮ビデオシーケンスであり、前記方法は、
圧縮パラメータ値を提供することを含み、
前記取得することは、前記圧縮パラメータ値に従って、現在の入力フレームから生成される候補圧縮フレームを取得することと、現在の入力フレームおよび候補圧縮フレームのそれぞれについて、前記前の入力フレームに対応する記憶された圧縮フレームを提供することとを含み、
前記第１の差分値を計算することは、前記現在の入力フレームおよび前記前の入力フレームから第１の差分値を計算することを含み、前記第２の差分値を計算することは、前記候補圧縮フレームおよび前記記憶された圧縮フレームから第２の差分値を計算することと、前記第１および第２の差分値を比較し、フレーム間品質スコアを生じさせることとを含み、
前記フレーム内品質スコアを計算することは、前記候補圧縮フレームおよび前記現在の入力フレームの前記画素領域に適用されるフレーム内品質測定を使用して、フレーム内品質を計算することを含み、
フレーム間品質およびフレーム内品質に関連する品質基準を満たさない場合、ビデオエンコーダに、更新された圧縮パラメータ値を使用して圧縮処理を繰り返すように指示して、更新された候補圧縮フレームを生じさせ、前記更新された候補圧縮フレームに基づいて、前記フレーム間品質スコアおよび前記フレーム内品質スコアを計算する、請求項１に記載の方法。
【請求項３】
前記フレーム内品質スコアおよび前記フレーム間品質スコアに基づいて、前記現在の候補圧縮フレームのフレーム品質スコアを計算することをさらに含み、前記品質基準は、前記フレーム品質スコアに関連する、請求項２に記載の方法。
【請求項４】
前記現在の入力フレーム、前記前の入力フレーム、前記候補圧縮フレーム、および前記記憶された圧縮フレームのそれぞれを、対応するタイルに分割することと、
対応するタイルの各組のタイル内品質スコアおよびタイル間品質スコアを算出することと、
前記タイル内品質スコアおよび前記タイル間品質スコアの知覚的に駆動される加重を計算することと、
前記タイルスコアをプールし、前記フレーム品質スコアを生じさせることと、をさらに含む、請求項３に記載の方法。
【請求項５】
前記フレーム内品質スコアを計算することはさらに、完全参照画素領域品質測定を使用することを含み、前記入力フレームは、画素領域参照である、請求項３に記載の方法。
【請求項６】
前記フレーム内品質スコアを計算することは、前記入力フレームと前記候補圧縮フレームとの間の画素的差分に基づいて、フレーム内品質スコアを計算することを含む、請求項５に記載の方法。
【請求項７】
前記フレーム内品質スコアを計算することはさらに、前記圧縮フレームの画素の輝度パラメータ値に基づいて、前記フレーム内品質スコアを正規化することを含む、請求項６に記載の方法。
【請求項８】
前記フレーム内品質スコアを計算することはさらに、
現在の入力フレームタイルおよび対応する候補圧縮フレームタイルを分割し、複数のサブタイル対を生じさせることと、
前記複数のサブタイル対のそれぞれ１つのサブタイル内品質スコアを計算することと、
前記複数のサブタイル対のそれぞれ１つの知覚的に駆動される加重を計算し、複数の加重されたサブタイル内品質スコアを生じさせることと、
前記複数の加重されたサブタイル内品質スコアを、対応する複数のタイル内品質スコアにプールすることと、を含む、請求項４に記載の方法。
【請求項９】
前記フレーム間品質スコアを計算することはさらに、
現在の入力フレームタイル、前のフレームタイル、候補圧縮フレームタイル、および記憶された圧縮フレームタイルから成る１組の対応するタイルから、各タイルを２つ以上のサブタイルに分割し、２つ以上のサブタイル群を生じさせることと、
前記２つ以上のサブタイル群のそれぞれのサブタイル間スコアを計算することと、
前記２つ以上のサブタイル間スコアを、対応するフレーム間タイル品質スコアにプールすることと、を含む、請求項４に記載の方法。
【請求項１０】
前記フレーム内品質スコアを計算することはさらに、前記現在の入力フレームに対する前記候補圧縮フレームのビデオ符号化ブロック境界に沿った追加のアーチファクトエッジの程度を定量化することに基づく、追加のアーチファクトエッジスコアを計算することを含み、前記追加のアーチファクトエッジの程度は、それぞれのビデオ符号化ブロック境界の両側の画素値の挙動に関連する、ビデオ符号化ブロック境界全体にわたる画素値の挙動に従って決定される、請求項３に記載の方法。
【請求項１１】
前記追加のアーチファクトエッジスコアを算出することはさらに、前記輝度パラメータ値および前記追加のアーチファクトエッジの程度の分散に基づくアーチファクトエッジ正規化係数に従って、前記追加のアーチファクトエッジスコアを正規化することを含む、請求項１０に記載の方法。
【請求項１２】
前記フレーム内品質スコアを計算することはさらに、前記現在の入力フレームおよび前記対応する候補圧縮フレームのテクスチャ値間の関係に基づいて、テクスチャ歪スコアを算出することを含み、各テクスチャ値は、前記現在の入力フレームの複数の予め定義された画素群のそれぞれ１つの中の、および前記対応する候補圧縮フレームのそれぞれの画素群における、画素値の分散に対応する、請求項３に記載の方法。
【請求項１３】
前記テクスチャ歪スコアを算出することは、１つ以上のテクスチャ歪感度閾値を、前記現在の入力フレームおよび前記対応する候補圧縮フレームの前記テクスチャ値間の関係に適用し、前記テクスチャ歪感度閾値に基づく非線形テクスチャ歪スコアマッピングを生じさせることを含む、請求項１２に記載の方法。
【請求項１４】
前記１つ以上のテクスチャ歪感度閾値を適用することは、前記算出された画素的差分に従って前記１つ以上のテクスチャ歪感度閾値を適合させることを含む、請求項１３に記載の方法。 
【請求項１５】
前記テクスチャ歪スコアを計算することはさらに、前記輝度パラメータ値に従って、および前記アーチファクトエッジ正規化係数に従って、前記テクスチャ歪スコアを正規化することを含む、請求項１２に記載の方法。
【請求項１６】
前記フレーム内品質スコアを計算することはさらに、
前記現在の入力フレームに対応するエッジマップを取得することと、
前記現在の入力フレームの各エッジ画素について、エッジ画素の値と前記エッジ画素付近の１つ以上の画素との間の偏差に基づいて、エッジ強度スコアを提供することと、
前記候補圧縮フレームの各対応する画素について、前記対応する画素の値と前記対応する画素付近の１つ以上の画素との間の偏差に基づいて、エッジ強度スコアを提供することと、
前記エッジ画素の前記エッジ強度スコアと、前記対応する画素の前記エッジ強度スコアとの関係に基づいて、エッジ損失スコアを算出することと、を含む、請求項３に記載の方法。
【請求項１７】
前記フレーム内品質スコアを計算することはさらに、
前記現在の入力フレームに対応するエッジマップを取得することと、
前記候補圧縮フレームに対応するエッジマップを取得することと、
前記現在の入力フレームに対応する前記エッジマップと、前記候補圧縮フレームに対応する前記エッジマップとの差分に従うエッジ画素の損失に基づいて、エッジ損失スコアを算出することと、を含む、請求項３に記載の方法。
【請求項１８】
前記フレーム内品質スコアを計算することはさらに、前記現在の入力フレームと前記候補圧縮フレームとの画素領域差分の空間分散に基づいて、前記フレーム内品質スコアを因数分解することを含む、請求項３に記載の方法。
【請求項１９】
前記フレーム内品質スコアを計算することはさらに、
各候補圧縮フレームタイルについて、前記対応するサブタイル対の前記画素差分スコアの中の分散に基づいて、タイル空間分散スコアを計算することと、
前記候補圧縮フレームについて、前記タイル空間分散スコアをプールし、フレーム空間分散スコアを生じさせることと、
前記フレーム空間分散スコアに従って、前記フレーム内品質スコアを因数分解することと、を含む、請求項１８に記載の方法。  
【請求項２０】
入力ビデオシーケンスおよび対応する劣化ビデオシーケンスに基づいて、ビデオコンテンツシステムを制御するためのデバイスであって、前記入力ビデオシーケンスは、現在の入力フレームおよび前の入力フレームを含み、前記劣化ビデオシーケンスは、少なくとも現在の劣化フレームおよび前の劣化フレームを含み、前記デバイスは、
前記現在の入力フレーム、前記前の入力フレーム、前記現在の劣化フレーム、および前記前の劣化フレームのそれぞれを入力として受け取るように構成される、インターフェースと、
前記現在の入力フレームおよび前記前の入力フレームからの第１の差分値を計算し、前記現在の劣化フレームおよび前記前の劣化フレームからの第２の差分値を計算するように構成される、プロセッサと、
前記第１および第２の差分値を比較し、フレーム間品質スコアを生じさせるように適合される、品質劣化評価モジュールと、
圧縮品質評価モジュールは、前記現在の入力フレームおよび前記現在の劣化フレームの前記画素領域に適用されるフレーム内品質測定を使用して、フレーム内品質スコアを計算するように適合され、
前記フレーム間品質スコアおよび前記フレーム内品質スコアに関連する品質基準に基づいて、前記ビデオコンテンツシステムに構成命令を提供するように構成される、ビデオコンテンツシステム構成器と、
を備える、デバイス。
【請求項２１】
前記劣化ビデオシーケンスは、前記入力ビデオシーケンスに対応する圧縮ビデオシーケンスであり、前記デバイスは、
前の入力フレームおよび前記前の入力フレームに対応する前の圧縮フレームを保持するように適合される、バッファを備え、
前記ビデオコンテンツシステム構成器は、ビデオエンコーダに、圧縮パラメータ値に従って前記現在の入力フレームを圧縮するように指示し、候補圧縮フレームを生じさせるように適合され、
前記インターフェースは、前記現在の入力フレームおよび前記候補圧縮フレームを受け取るように適合され、
前記プロセッサは、前記現在の入力フレームおよび前の入力フレームから第１の差分値を計算し、前記候補圧縮フレームおよび前記前の圧縮フレームから第２の差分値を計算するように構成され、
前記品質劣化評価モジュールは、前記候補圧縮フレームおよび前記現在の入力フレームの前記画素領域に適用されるフレーム内品質測定を使用して、フレーム内品質スコアを計算するように適合され、
前記品質劣化評価モジュールは、前記第１および第２の差分値を比較し、フレーム間品質スコアを生じさせるように適合され、
フレーム間品質スコアおよびフレーム内品質スコアに関連する品質基準を満たさない場合、前記ビデオコンテンツシステム構成器は、前記ビデオエンコーダに、更新された圧縮パラメータ値を使用して、前記現在の入力フレームの前記ビデオ圧縮を繰り返すように指示し、更新された候補圧縮フレームを生じさせ、前記更新された候補圧縮フレームに基づいて、前記フレーム間品質スコアおよび前記フレーム内品質スコアを計算するように適合される、請求項２０に記載のデバイス。
【請求項２２】
前記プロセッサはさらに、前記フレーム内品質スコアおよび前記フレーム間品質スコアに基づいて、前記現在の入力フレームのフレーム品質スコアを計算するように適合され、前記品質基準は、前記フレーム品質スコアに関連する、請求項２１に記載のデバイス。
【請求項２３】
前記現在の入力フレーム、前記前の入力フレーム、前記候補圧縮フレーム、および前記記憶された圧縮フレームのそれぞれを２つ以上のタイルに分割するように適合される、フレーム分割モジュールをさらに備え、前記プロセッサは、
対応するタイルの各組のタイル内品質スコアおよびフレーム間品質スコアを算出し、
前記タイル内品質スコアおよび前記タイル間品質スコアの知覚的に駆動される加重を計算し、
タイルスコアをプールし、前記フレーム品質スコアを生じさせるように適合される、請求項２２に記載のデバイス。
【請求項２４】
前記品質劣化評価モジュールは、完全参照画素領域品質測定を使用して、前記フレーム内品質スコアを計算するように適合され、前記入力フレームは、画素領域参照である、請求項２２に記載のデバイス。
【請求項２５】
前記品質劣化評価モジュールは、前記入力フレームと前記候補圧縮フレームとの間の画素的差分に基づいて、前記フレーム内品質スコアを計算するように適合される、請求項２４に記載のデバイス。
【請求項２６】
前記品質劣化評価モジュールは、前記圧縮フレームの画素の輝度パラメータ値に基づいて、前記フレーム内品質スコアを正規化するように適合される、請求項２５に記載のデバイス。
【請求項２７】
現在の入力フレームタイルおよび対応する候補圧縮フレームタイルを分割し、複数のサブタイル対を生じさせるように適合される、分割モジュールをさらに備え、
前記品質劣化評価モジュールは、
前記複数のサブタイル対のそれぞれ１つのサブタイル内品質スコアを計算し、
前記複数のサブタイル対のそれぞれ１つの知覚的に駆動される加重を計算し、複数の加重されたサブタイル内品質スコアを生じさせ、
前記複数の加重されたサブタイル内品質スコアを、対応する複数のタイル内品質スコアにプールするように適合される、請求項２３に記載のデバイス。
【請求項２８】
現在の入力フレームタイル、前の入力フレームタイル、候補圧縮フレームタイル、および記憶された圧縮フレームタイルから成る１組の対応するタイルから、各タイルを２つ以上のサブタイルに分割し、２つ以上のサブタイル組を生じさせるように適合させることができる、分割モジュールをさらに備え、
前記品質劣化評価モジュールは、
前記２つ以上のサブタイル組のそれぞれのサブタイル間スコアを計算し、
前記２つ以上のサブタイル間スコアを、対応するフレーム間タイル品質スコアにプールするように適合される、請求項２３に記載のデバイス。
【請求項２９】
前記品質劣化評価モジュールは、前記現在の入力フレームに対する前記候補圧縮フレームのビデオ符号化ブロック境界に沿った追加のアーチファクトエッジの程度を定量化することに基づく、追加のアーチファクトエッジスコアを算出するように適合され、前記追加のアーチファクトエッジの程度は、それぞれのビデオ符号化ブロック境界の両側の画素値の挙動に関連して、ビデオ符号化ブロック境界全体にわたる画素値の挙動に従って決定され、前記フレーム内品質スコアは、前記算出された追加のアーチファクトエッジスコアと関連付けられる、請求項２２に記載のデバイス。
【請求項３０】
前記品質劣化評価モジュールは、前記輝度パラメータ値および前記追加のアーチファクトエッジの程度の分散に基づくアーチファクトエッジ正規化係数に従って、前記追加のアーチファクトエッジスコアを正規化するように適合される、請求項２９に記載のデバイス。
【請求項３１】
前記品質劣化評価モジュールは、前記現在の入力フレームおよび前記対応する候補圧縮フレームのテクスチャ値間の関係に基づいて、テクスチャ歪スコアを計算するように適合され、各テクスチャ値は、前記現在の入力フレームの複数の予め定義された画素群のそれぞれ１つの中の、および前記対応する候補圧縮フレームのそれぞれの画素群における、画素値の分散に対応し、前記フレーム内品質スコアは、前記算出されたテクスチャ歪スコアと関連付けられる、請求項２２に記載のデバイス。
【請求項３２】
前記品質劣化評価モジュールは、１つ以上のテクスチャ歪感度閾値を、前記現在の入力フレームのテクスチャ値と、前記対応する候補圧縮フレームのテクスチャ値との前記関係に適用し、前記テクスチャ歪感度閾値に基づく非線形テクスチャ歪スコアマッピングを生じさせるように適合され、前記テクスチャ歪スコアは、前記非線形テクスチャ歪スコアマッピングと関連付けられる、請求項３１に記載のデバイス。
【請求項３３】
前記品質劣化評価モジュールは、前記算出された画素的差分に従って、前記１つ以上のテクスチャ歪感度閾値を適合させるように適合される、請求項３２に記載のデバイス。
【請求項３４】
前記品質劣化評価モジュールは、前記輝度パラメータ値に従って、および前記アーチファクトエッジ正規化係数に従って、前記テクスチャ歪スコアを正規化するように適合される、請求項３１に記載のデバイス。
【請求項３５】
前記品質劣化評価モジュールは、
前記現在の入力フレームに対応するエッジマップを取得し、
前記候補圧縮フレームに対応するエッジマップを取得し、
前記現在の入力フレームに対応する前記エッジマップと前記候補圧縮フレームに対応する前記エッジマップとの差分に従うエッジ画素の損失に基づいて、エッジ損失スコアを算出するように適合される、請求項２２に記載のデバイス。
【請求項３６】
前記品質劣化評価モジュールは、前記現在の入力フレームと前記候補圧縮フレームとの画素領域差分の空間分散に基づいて、前記フレーム内品質スコアを因数分解するように適合される、請求項２２に記載のデバイス。
【請求項３７】
前記品質劣化評価モジュールは、
前記対応するサブタイル対の前記画素差分スコアの中の分散に基づいて、各候補圧縮フレームタイルのタイル空間分散スコアを計算し、
前記候補圧縮フレームの前記タイル空間分散スコアをプールし、フレーム空間分散スコアを生じさせ、
前記フレーム空間分散スコアに従って、前記フレーム内品質スコアを因数分解するように適合される、請求項２２に記載のデバイス。
【請求項３８】
機械によって読み出し可能なプログラム記憶デバイスであって、ビデオシーケンスからのビデオフレームの圧縮を制御する方法を行って、入力ビデオシーケンスからビデオフレームを圧縮するために、前記機械によって実行可能な命令のプログラムを明白に具現化し、前記シーケンスは、少なくとも現在の入力フレームおよび前のフレームを含み、前記方法は、
圧縮パラメータ値を提供することと、
前記圧縮パラメータ値に従って、現在の入力フレームから生成される候補圧縮フレームを取得することと、
現在の入力フレームおよび候補圧縮フレームのそれぞれについて、前記前の入力フレームに対応する記憶された圧縮フレームを提供することと、
前記現在の入力フレームおよび前記前の入力フレームから第１の差分値を計算し、前記候補圧縮フレームおよび前記記憶された圧縮フレームから第２の差分値を計算することと、
前記第１および第２の差分値を比較し、フレーム間品質スコアを生じさせることと、
前記候補圧縮フレームおよび前記現在の入力フレームの前記画素領域に適用されるフレーム内品質測定を使用して、フレーム内品質スコアを計算することと、
フレーム間品質およびフレーム内品質に関連する品質基準を満たさない場合、前記ビデオエンコーダに、更新された圧縮パラメータ値を使用して圧縮処理を繰り返すように指示して、更新された候補圧縮フレームを生じさせ、前記更新された候補圧縮フレームに基づいて、前記フレーム間品質スコアおよび前記フレーム内品質スコアを計算することと、
を含む、デバイス。
【請求項３９】
入力ビデオシーケンスからビデオフレームを圧縮するために、ビデオシーケンスからのビデオフレームの圧縮を制御するための、その中に具現化されるコンピュータが読み出し可能なプログラムコードを有するコンピュータが使用可能な媒体を備える、コンピュータプログラム製品であって、前記シーケンスは、少なくとも現在の入力フレームおよび前のフレームを備え、前記コンピュータプログラム製品は、
前記コンピュータに、圧縮パラメータ値を提供させるための、コンピュータが読み出し可能なプログラムコードと、
前記コンピュータに、前記圧縮パラメータ値に従って現在の入力フレームから生成される候補圧縮フレームを取得させるための、コンピュータが読み出し可能なプログラムコードと、
前記コンピュータに、前記現在の入力フレームおよび候補圧縮フレームのそれぞれについて、前の入力フレームに対応する記憶された圧縮フレームを提供させるための、コンピュータが読み出し可能なプログラムコードと、
前記コンピュータに、前記現在の入力フレームおよび前記前の入力フレームから第１の差分値を計算させ、前記候補圧縮フレームおよび前記記憶された圧縮フレームから第２の差分値を計算させるための、コンピュータが読み出し可能なプログラムコードと、
前記コンピュータに、前記第１および第２の差分値を比較させ、フレーム間品質スコアを生じさせるための、コンピュータが読み出し可能なプログラムコードと、
前記コンピュータに、前記候補圧縮フレームおよび前記現在の入力フレームの前記画素領域に適用されるフレーム内品質測定を使用して、フレーム内品質スコアを計算させるための、コンピュータが読み出し可能なプログラムコードと、
前記コンピュータに、フレーム間品質およびフレーム内品質に関連する品質基準を満たさない場合に、前記ビデオエンコーダに、更新された圧縮パラメータ値を使用して圧縮処理を繰り返すように指示して、更新された候補圧縮フレームを生じさせ、前記更新された候補圧縮フレームに基づいて、前記フレーム間品質スコアおよび前記フレーム内品質スコアを計算させるための、コンピュータが読み出し可能なプログラムコードと、
を含む、コンピュータプログラム製品。
【請求項４０】
前記ビデオコンテンツシステム構成器は、前記ビデオコンテンツシステムのそれぞれの操作またはアセットに関連する構成パラメータを含む、構成命令を提供するように適合される、請求項２０に記載のデバイス。
【請求項４１】
前記構成命令は、前記ビデオコンテンツシステムのそれぞれの操作またはアセットの前記構成に適用される修正の程度を示す、請求項２０に記載のデバイス。
【請求項４２】
前記構成命令を提供することは、前記ビデオコンテンツシステムのそれぞれの操作またはアセットに関連する、構成パラメータを提供することを含む、請求項１に記載の方法。
【請求項４３】
前記構成命令を提供することは、前記ビデオコンテンツシステムのそれぞれの操作またはアセットの前記構成に適用される修正の程度に関する指示を提供することを含む、請求項１に記載の方法。
【国際調査報告】
2014527778.tif 000047
2014527778.tif 000048