(57)【特許請求の範囲】
【請求項１】
ビデオシーケンスの非キーフレームを前記ビデオシーケンスの近傍のキーフレームを介し後処理する方法であって、
ダウンサンプリングされた再構成されたキーフレームを生成するため、再構成されるキーフレームをダウンサンプリングするステップと、
アップサンプリングされた再構成されたキーフレームを生成するため、前記ダウンサンプリングされた再構成されたキーフレームをアップサンプリングするステップと、
前記再構成されたキーフレームと前記アップサンプリングされた再構成されたキーフレームとの間の差分を生成するステップと、
エッジエンハンスされた非キーフレームを生成するために、前記再構成された非キーフレームを補償するため、再構成された非キーフレームに前記差分を加えるステップと、
ダウンサンプリングされたエッジエンハンスされた非キーフレームとダウンサンプリングされた非キーフレームとの間の差分に基づき更新された非キーフレームを生成するため、前記エッジエンハンスされた非キーフレームを更新するステップと、
を有し、
前記ダウンサンプリングされたエッジエンハンスされた非キーフレームは、前記エッジエンハンスされた非キーフレームをダウンサンプリングすることによって生成され、前記再構成された非キーフレームは、前記ダウンサンプリングされた非キーフレームをアップサンプリングすることによって生成される方法。
【請求項２】
前記再構成されたキーフレームと前記アップサンプリングされた再構成されたキーフレームとの間の差分は、前記再構成された非キーフレームに加える前にフィルタリングされる、請求項１記載の方法。
【請求項３】
ビデオシーケンスの非キーフレームを前記ビデオシーケンスのキーフレームを介し処理する方法であって、
ダウンサンプリングされた再構成されたキーフレームを生成するため、再構成されたキーフレームをダウンサンプリングするステップと、
ダウンサンプリングされた非キーフレームとダウンサンプリングされた再構成されたキーフレームとの間の差分を生成するステップと、
アップサンプリングされた差分を生成するため、前記差分をアップサンプリングするステップと、
エッジエンハンスされた非キーフレームを生成するために、前記再構成されたキーフレームに前記アップサンプリングされた差分を加えるステップと、
ダウンサンプリングされたエッジエンハンスされた非キーフレームと前記ダウンサンプリングされた非キーフレームとの間の差分に基づき更新された非キーフレームを生成するため、前記エッジエンハンスされた非キーフレームを更新するステップと、
を有し、
前記ダウンサンプリングされたエッジエンハンスされた非キーフレームは、前記エッジエンハンスされた非キーフレームをダウンサンプリングすることによって生成される方法。
【請求項４】
前記キーフレームは、前記非キーフレームの近傍のキーフレームである、請求項３記載の方法。
【請求項５】
前記差分を生成するステップ、前記アップサンプリングするステップ及び前記加えるステップは、前記ビデオシーケンスの復号化段階で実行される、請求項３記載の方法。
【請求項６】
ビデオシーケンスの非キーフレームを前記ビデオシーケンスの近傍のキーフレームを介し処理する方法であって、
前記非キーフレームと前記キーフレームとの間の差分を生成するステップと、
ダウンサンプリングされた差分を生成するため、前記差分をダウンサンプリングするステップと、
アップサンプリングされた差分を生成するため、前記ダウンサンプリングされた差分をアップサンプリングするステップと、
前記キーフレームを再構成するステップと、
エッジエンハンスされた非キーフレームを生成するため、前記再構成されたキーフレームに前記アップサンプリングされた差分を加えるステップと、
ダウンサンプリングされたエッジエンハンスされた非キーフレームとダウンサンプリングされた非キーフレームとの間の差分に基づき更新された非キーフレームを生成するため、前記エッジエンハンスされた非キーフレームを更新するステップと、
を有し、
前記ダウンサンプリングされたエッジエンハンスされた非キーフレームは、前記エッジエンハンスされた非キーフレームをダウンサンプリングすることによって生成され、前記ダウンサンプリングされた非キーフレームは、前記非キーフレームをダウンサンプリングすることによって生成される方法。
【請求項７】
前記キーフレームは、前記非キーフレームの近傍のキーフレームである、請求項６記載の方法。
【請求項８】
前記アップサンプリングするステップ及び前記加えるステップは、前記ビデオシーケンスの復号化段階において実行される、請求項６記載の方法。
【請求項９】
ビデオシーケンスの非キーフレームを前記ビデオシーケンスのキーフレームを介し後処理する方法であって、
ダウンサンプリングされた再構成されたキーフレームを生成するため、複数の再構成されたキーフレームをダウンサンプリングするステップと、
アップサンプリングされた再構成されたキーフレームを生成するため、前記ダウンサンプリングされた再構成されたキーフレームをアップサンプリングするステップと、
前記再構成されたキーフレームと各自のアップサンプリングされた再構成されたキーフレームとの間の差分を生成するステップと、
エッジエンハンスされた非キーフレームを生成するために、前記再構成された非キーフレームを補償するため、再構成された非キーフレームに前記差分の和を加えるステップと、
ダウンサンプリングされたエッジエンハンスされた非キーフレームとダウンサンプリングされた非キーフレームとの間の差分に基づき更新された非キーフレームを生成するため、前記エッジエンハンスされた非キーフレームを更新するステップと、
を有し、
前記ダウンサンプリングされたエッジエンハンスされた非キーフレームは、前記エッジエンハンスされた非キーフレームをダウンサンプリングすることによって生成され、前記再構成された非キーフレームは、前記ダウンサンプリングされた非キーフレームをアップサンプリングすることによって生成される方法。
【請求項１０】
前記キーフレームは、前記非キーフレームの前の１以上のキーフレーム及び／又は前記非キーフレームの後の１以上のキーフレームを有する、請求項９記載の方法。
【請求項１１】
前記差分は、加重パラメータに基づき重み付けされた差分である、請求項９記載の方法。
【請求項１２】
前記加重パラメータは、各差分のキーフレームと前記非キーフレームとの間の時間距離に依存する、請求項１１記載の方法。
【請求項１３】
前記加重パラメータは、固定的パラメータである、請求項１１記載の方法。
【請求項１４】
前記加重パラメータは、現在の非キーフレームとリファレンスキーフレームとの間の差分に依存する、請求項１１記載の方法。
【請求項１５】
前記加重パラメータは、適応的である、請求項１１記載の方法。
【請求項１６】
前記差分の和を加えるステップは、前記キーフレームの適応的に選択されたサブセットを参照して生成される前記差分の和に限定される、請求項９記載の方法。
【請求項１７】
前記再構成された非キーフレームはさらに、以前に後処理された非キーフレームを考慮することによって補償される、請求項９記載の方法。
【請求項１８】
ビデオシーケンスの非キーフレームを前記ビデオシーケンスのキーフレームを介し後処理する方法であって、
ダウンサンプリングされた再構成されたキーフレームを生成するため、再構成されたキーフレームをダウンサンプリングするステップと、
ダウンサンプリングされた再構成された各キーフレームについて、ダウンサンプリングされた非キーフレームと前記ダウンサンプリングされた再構成されたキーフレームとの間の差分を生成するステップと、
アップサンプリングされた差分を生成するため、各差分をアップサンプリングするステップと、
変更されたアップサンプリングされた差分を生成するため、アップサンプリングされた各差分に再構成された各キーフレームを加えるステップと、
エッジエンハンスされた非キーフレームを生成するため、前記変更されたアップサンプリングされた差分を一緒に加えるステップと、
ダウンサンプリングされたエッジエンハンスされた非キーフレームと前記ダウンサンプリングされた非キーフレームとの間の差分に基づき更新された非キーフレームを生成するため、前記エッジエンハンスされた非キーフレームを更新するステップと、
を有し、
前記ダウンサンプリングされたエッジエンハンスされた非キーフレームは、前記エッジエンハンスされた非キーフレームをダウンサンプリングすることによって生成される方法。
【請求項１９】
前記変更されたアップサンプリングされた差分は、加重パラメータに基づき重み付けされた変更されたアップサンプリングされた差分である、請求項１８記載の方法。
【請求項２０】
前記加重パラメータは、各差分のキーフレームと前記非キーフレームとの間の時間距離に依存する、請求項１９記載の方法。
【請求項２１】
前記加重パラメータは、固定的パラメータである、請求項１９記載の方法。
【請求項２２】
前記加重パラメータは、現在の非キーフレームとリファレンスキーフレームとの間の差分に依存する、請求項１９記載の方法。
【請求項２３】
前記加重パラメータは、適応的である、請求項１９記載の方法。
【請求項２４】
前記更新するステップは、
前記ダウンサンプリングされたエッジエンハンスされた非キーフレームと前記ダウンサンプリングされた非キーフレームとの間の差分が閾値未満であるか評価するステップと、
前記ダウンサンプリングされたエッジエンハンスされた非キーフレームと前記ダウンサンプリングされた非キーフレームとの間の差分が閾値未満である場合、前記エッジエンハンスされた非キーフレームに前記更新された非キーフレームを設定するステップと、
前記ダウンサンプリングされたエッジエンハンスされた非キーフレームと前記ダウンサンプリングされた非キーフレームとの間の差分が閾値未満でない場合、前記再構成された非キーフレームに前記更新された非キーフレームを設定するステップと、
を有する、請求項１乃至２３何れか一項記載の方法。
【請求項２５】
前記更新するステップは、
前記再構成された非キーフレームに第１フレームを設定し、前記ダウンサンプリングされた非キーフレームにダウンサンプリングされた第１フレームを設定するステップであって、前記第１フレームは前記ダウンサンプリングされた第１フレームをアップサンプリングすることによって生成される、前記第１フレームを設定するステップと、
前記エッジエンハンスされた非キーフレームに第２フレームを設定し、前記ダウンサンプリングされたエッジエンハンスされた非キーフレームにダウンサンプリングされた第２フレームを設定するステップとであって、前記ダウンサンプリングされた第２フレームは前記第２フレームをダウンサンプリングすることによって生成される、前記第２フレームを設定するステップと、
前記ダウンサンプリングされた第１フレームと前記ダウンサンプリングされた第２フレームとの間の差分が閾値未満であるか評価するステップと、
前記ダウンサンプリングされた第１フレームと前記ダウンサンプリングされた第２フレームとの間の差分が閾値未満である場合、前記第２フレームに前記更新された非キーフレームを設定するステップと、
前記ダウンサンプリングされた第１フレームと前記ダウンサンプリングされた第２フレームとの間の差分が閾値未満でない場合、前記再構成された非キーフレームに前記更新された非キーフレームを設定するステップと、
前記第２フレームに前記第１フレームを更新し、前記ダウンサンプリングされた第２フレームに前記ダウンサンプリングされた第１フレームを更新するステップと、
前記更新された非キーフレームに前記第２フレームを更新し、ダウンサンプリングされた更新された非キーフレームに前記ダウンサンプリングされた第２フレームを更新するステップとであって、前記ダウンサンプリングされた更新された非キーフレームは前記更新された非キーフレームをダウンサンプリングすることによって生成される、前記第２フレームを更新するステップと、
前記評価するステップ、前記更新された非キーフレームを設定するステップ、前記第１フレームを更新するステップ及び前記第２フレームを更新するステップを、１以上の基準が充足されるまで繰り返すステップと、
を有する、請求項１乃至２３何れか一項記載の方法。
【請求項２６】
前記閾値は、連続する繰り返しの間に単調減少する、請求項２５記載の方法。
【請求項２７】
前記更新するステップは、
アップサンプリングされた差分を生成するため、前記ダウンサンプリングされたエッジエンハンスされた非キーフレームと前記ダウンサンプリングされた非キーフレームとの間の差分をアップサンプリングするステップと、
前記更新された非キーフレームを生成するため、前記アップサンプリングされた差分と前記エッジエンハンスされた非キーフレームとを加えるステップと、
を有する、請求項１乃至２３何れか一項記載の方法。
【請求項２８】
前記更新するステップは、
前記エッジエンハンスされた非キーフレームに第１フレームを設定し、前記ダウンサンプリングされたエッジエンハンスされた非キーフレームにダウンサンプリングされた第１フレームを設定するステップであって、前記ダウンサンプリングされた第１フレームは前記第１フレームをダウンサンプリングすることによって生成される、前記ダウンサンプリングされた第１フレームを設定するステップと、
アップサンプリングされた差分を生成するため、前記ダウンサンプリングされた第１フレームと前記ダウンサンプリングされた非キーフレームとの間の差分をアップサンプリングするステップと、
スケーリングされたアップサンプリングされた差分を生成するため、前記アップサンプリングされた差分とステップサイズとを乗算するステップと、
前記更新された非キーフレームを生成するため、前記スケーリングされたアップサンプリングされた差分を加えるステップと、
前記更新された非キーフレームに前記第１フレームを設定し、ダウンサンプリングされた更新された非キーフレームに前記ダウンサンプリングされた第１フレームを設定するステップとであって、前記ダウンサンプリングされた更新された非キーフレームは前記更新された非キーフレームをダウンサンプリングすることによって生成される、前記第１フレームを設定するステップと、
前記差分をアップサンプリングするステップ、前記乗算するステップ、前記加えるステップ及び前記第１フレームを設定するステップを繰り返すステップと、
を有する、請求項１乃至２３何れか一項記載の方法。
【請求項２９】
前記ステップサイズは、連続する繰り返しの間に単調減少する、請求項２８記載の方法。
【請求項３０】
前記繰り返すステップは、設定された回数実行される、請求項２５又は２８記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、参照することによってその全体がここに援用される、２０１０年１月１５日に出願された米国仮特許出願第６１／２９５，４２５号に対する優先権を主張する。
【０００２】
本開示は、ビデオストリームのスケーラビリティに関する。特に、それはメタデータによる時間スケーリングのためのエッジエンハンスメントに関する。
【背景技術】
【０００３】
ビデオ再生機能は、デバイスクラス間で広く変動する。当該範囲の１つのエンドには、毎秒１２０個の高品位フレームを再生するテレビディスプレイがある。ローエンドには、毎秒１５個の低解像度フレームしか表示できない携帯電話がある。再生装置の制限に加えて、コンテンツを配信するのに利用されるネットワークの帯域幅はまた、フレームレート及び画像解像度の上限を規定するかもしれない。例えば、ＶｅｒｉｚｏｎのＦＩＯＳなどのベストな住宅用米国ブロードバンド接続は、第２の高品位ビデオ毎に高品質の６０フレームの圧縮されたストリームを容易に搬送できる。多くの携帯オペレータは、フレーム毎に１７６×１４４ピクセル（ＱＣＩＦ）のみの毎秒１５フレーム（ｆｐｓ）のみを許容する２．５Ｇ又はより低速なデータネットワークを依然として有している。
【０００４】
各状況について別の圧縮ストリームを有するのでなく、各ディスプレイシステムがそれの能力について適切な品質レベルを復号化できるように、同一のストリームに追加的な情報を含むことがしばしば好ましい。例えば、モバイルハンドセットは、２０ｆｐｓのＱＣＩＦを検出することが可能である一方、同一のストリームを読むＰＣは、追加的な情報を復号化し、７２０×４８０プログレッシブ（４８０ｐ）の３０ｆｐｓを生成することが可能である可能性がある。
【０００５】
これらの追加的なレイヤを有するビットストリームはスケーラブルであると言われ、一般的な概念はスケーラビリティと呼ばれる。追加的なレイヤに対するオーバヘッドを最小限に維持することが望ましい。理想的には、最高品質のコンテンツが要求するよりビットより多くはなく、実際、以降に示されるように、最高品質のコンテンツの忠実性に対して大きな低減なくより低い品質が要求するものにかなり近いスケーラブルなビットストリームのサイズを有することが可能である。
【０００６】
現在のプラクティスでは、いわゆるＨ．２６４符号化技術が様々な状況において利用可能である。しかしながら、当該規格は、それ自体は十分に広い方法でスケーラビリティをサポートしていない。従って、スケーラブルシステムに対するチャレンジの１つは、より高い品質レベルしかエンハンストデコーダに利用可能でない場合であっても、標準的なＨ．２６４デコーダがある品質レベルによりストリームを再生することが可能であることを確保することである。規格準拠性の上記要件は、ＭＰＥＧ−２などの従来のエンコーダ及びまだ特定されていない将来のエンコーダを含む他の何れか特定の規格にも適用可能である。
【０００７】
帯域幅制約及び表示制約に加えて、処理パワーもまた重要なファクタである。携帯電話などのモバイル装置は、本来的にバッテリ、サイズ及びコストによって計算能力において制限がある。また、大部分のテレビシステム（セットトップボックスを含む）は、多数の専用のハードウェアと最小限のプログラム可能な処理能力とを備えた埋め込みシステムとして設計されている。従って、何れかのスケーラブルビットスリー六がハードウェアにおいてサポートされる必要があり、数年の準備期間がかかるか、又は少ない計算量を要求する必要がある。
【０００８】
帯域幅、処理パワー、表示能力及び規格準拠性の制約を考慮することは、従来技術において満足に解決されなかった困難な問題である。
【発明の概要】
【０００９】
第１の態様によると、画像の非キーフレームを前記画像の近傍のキーフレームを介し後処理する方法であって、ダウンサンプリングされた再構成されたキーフレームを生成するため、再構成されるキーフレームをダウンサンプリングするステップと、アップサンプリングされた再構成されたキーフレームを生成するため、前記ダウンサンプリングされた再構成されたキーフレームをアップサンプリングするステップと、前記再構成されたキーフレームと前記アップサンプリングされた再構成されたキーフレームとの間の差分を生成するステップと、前記再構成された非キーフレームを補償するため、再構成された非キーフレームに前記差分を加えるステップとを有する方法が提供される。
【００１０】
第２の態様によると、画像の非キーフレームを前記画像のキーフレームを介し処理する方法であって、ダウンサンプリングされた再構成されたキーフレームを生成するため、再構成されたキーフレームをダウンサンプリングするステップと、前記ダウンサンプリングされた非キーフレームとダウンサンプリングされた再構成されたキーフレームとの間の差分を生成するステップと、アップサンプリングされた差分を生成するため、前記差分をアップサンプリングするステップと、前記再構成されたキーフレームに前記アップサンプリングされた差分を加えるステップとを有する方法が提供される。
【００１１】
第３の態様によると、画像の非キーフレームを前記画像の近傍のキーフレームを介し処理する方法であって、前記非キーフレームと前記キーフレームとの間の差分を生成するステップと、ダウンサンプリングされた差分を生成するため、前記差分をダウンサンプリングするステップと、アップサンプリングされた差分を生成するため、前記ダウンサンプリングされた差分をアップサンプリングするステップと、前記キーフレームを再構成するステップと、前記再構成されたキーフレームに前記アップサンプリングされた差分を加えるステップとを有する方法が提供される。
【００１２】
第４の態様によると、画像の非キーフレームを前記画像のキーフレームを介し後処理する方法であって、ダウンサンプリングされた再構成されたキーフレームを生成するため、複数の再構成されたキーフレームをダウンサンプリングするステップと、アップサンプリングされた再構成されたキーフレームを生成するため、前記ダウンサンプリングされた再構成されたキーフレームをアップサンプリングするステップと、前記再構成されたキーフレームと各自のアップサンプリングされた再構成されたキーフレームとの間の差分を生成するステップと、前記再構成された非キーフレームを補償するため、再構成された非キーフレームに前記差分の和を加えるステップとを有する方法が提供される。
【００１３】
第５の態様によると、画像の非キーフレームを前記画像のキーフレームを介し後処理する方法であって、ダウンサンプリングされた再構成されたキーフレームを生成するため、再構成されたキーフレームをダウンサンプリングするステップと、ダウンサンプリングされた再構成された各キーフレームについて、ダウンサンプリングされた非キーフレームと前記ダウンサンプリングされた再構成されたキーフレームとの間の差分を生成するステップと、アップサンプリングされた差分を生成するため、各差分をアップサンプリングするステップと、変更されたアップサンプリングされた差分を生成するため、アップサンプリングされた各差分に再構成された各キーフレームを加えるステップと、補償された非キーフレームを生成するため、前記変更されたアップサンプリングされた差分を一緒に加えるステップとを有する方法が提供される。
【００１４】
第６の態様によると、画像の非キーフレームを前記画像のキーフレームを介し後処理する方法であって、再構成されたキーフレームを提供するステップと、アップサンプリングされた差分を生成するため、再構成された各キーフレームと非キーフレームとの間のダウンサンプリングされた差分をアップサンプリングするステップと、変更されたアップサンプリングされた差分を生成するため、再構成された各キーフレームにアップサンプリングされた各差分を加えるステップと、補償された非キーフレームを生成するため、前記変更されたアップサンプリングされた差分を一緒に加えるステップとを有する方法が提供される。
【００１５】
第７の態様によると、画像の非キーフレーム部分を前記画像の復号化中に更新するか否か評価する方法であって、第１非キーフレーム部分を提供するステップと、キーフレーム部分と前記キーフレーム部分のアップサンプリングされたバージョンとの間の差分キーフレーム部分を提供するステップと、第２非キーフレーム部分を生成するため、前記第１非キーフレーム部分に前記差分キーフレーム部分を加えるステップと、前記第２非キーフレーム部分をダウンサンプリングするステップと、前記ダウンサンプリングされた第２非キーフレーム部分とダウンサンプリングされた第１非キーフレーム部分との間の差分部分が閾値未満であるか評価するステップと、前記差分部分が前記閾値未満である場合、前記第２非キーフレーム部分に前記非キーフレーム部分を更新するステップと、前記差分部分が前記閾値未満でない場合、前記第１非キーフレーム部分を維持するステップとを有する方法が提供される。
【００１６】
第８の態様によると、画像の非キーフレーム部分を前記画像の復号化中に更新する方法であって、第１非キーフレーム部分を提供するステップと、キーフレーム部分と前記キーフレーム部分のアップサンプリングされたバージョンとの間の差分キーフレーム部分を提供するステップと、第２非キーフレーム部分を生成するため、前記第１非キーフレーム部分に前記差分キーフレーム部分を加えるステップと、前記第２非キーフレーム部分をダウンサンプリングするステップと、ダウンサンプリングされた第１非キーフレーム部分と前記ダウンサンプリングされた第２非キーフレーム部分との間の差分を生成するステップと、前記差分をアップサンプリングするステップと、更新された非キーフレーム部分を生成するため、前記第２非キーフレーム部分に前記アップサンプリングされた差分を加えるステップとを有する方法が提供される。
【００１７】
第９の態様によると、画像の非キーフレーム部分に前記画像の復号化処理中に時間エッジ補償を適用するか否か評価する方法であって、前記画像のキーフレーム部分を提供するステップと、ダウンサンプリングされたキーフレーム部分を生成するため、前記キーフレーム部分をダウンサンプリングするステップと、アップサンプリングされたキーフレーム部分を生成するため、前記ダウンサンプリングされたキーフレーム部分をアップサンプリングするステップと、前記アップサンプリングされたキーフレーム部分と未補償の非キーフレーム部分との差分が閾値未満であるか評価するステップと、前記差分が前記閾値未満である場合、前記キーフレーム部分と前記アップサンプリングされたキーフレーム部分との間の差分を前記非キーフレーム部分に加えることによって、前記非キーフレーム部分を補償するステップと、前記差分が前記閾値未満でない場合、前記非キーフレーム部分を未補償に維持するステップとを有する方法が提供される。
【００１８】
第１０の態様によると、画像の非キーフレームに前記画像の復号化処理中に時間エッジ補償を適用するか否か評価する方法であって、前記画像の第１及び第２キーフレーム部分を提供するステップと、ダウンサンプリングされた第１及び第２キーフレーム部分を生成するため、前記画像の第１及び第２キーフレーム部分をダウンサンプリングするステップと、アップサンプリングされた第１及び第２キーフレーム部分を生成するため、前記ダウンサンプリングされた第１及び第２キーフレーム部分をアップサンプリングするステップと、前記アップサンプリングされた第１キーフレーム部分と未補償の非キーフレーム部分との間の第１差分が閾値未満であるか評価するステップと、前記アップサンプリングされた第２キーフレーム部分と前記未補償の非キーフレーム部分との間の第２差分が前記閾値未満であるか評価するステップと、前記第１差分と前記第２差分とが前記閾値未満である場合、前記第１キーフレーム部分と前記アップサンプリングされた第１キーフレーム部分との間の差分と、前記第２キーフレーム部分と前記アップサンプリングされた第２キーフレーム部分との間の差分との和を前記非キーフレーム部分に加えることによって、前記非キーフレーム部分を補償するステップと、前記第１差分が前記閾値未満であり、前記第２差分が前記閾値未満でない場合、前記第１キーフレーム部分と前記アップサンプリングされた第１キーフレーム部分との間の差分を前記非キーフレーム部分に加えることによって、前記非キーフレーム部分を補償するステップと、前記第１差分が前記閾値未満でなく、前記第２差分が前記閾値未満である場合、前記第２キーフレーム部分と前記アップサンプリングされた第２キーフレーム部分との間の差分を前記非キーフレーム部分に加えることによって、前記非キーフレーム部分を補償するステップと、前記第１差分と前記第２差分とが前記閾値未満でない場合、前記非キーフレーム部分を未補償に維持するステップとを有する方法が提供される。
【００１９】
第１１の態様によると、画像の非キーフレーム部分を前記画像の復号化中に更新するか否か評価する方法であって、第１非キーフレーム部分を提供するステップと、各キーフレーム部分と前記キーフレーム部分のアップサンプリングされたバージョンとの間の複数の差分キーフレーム部分を提供するステップと、複数の第２非キーフレーム部分を生成するため、各非キーフレーム部分に各差分キーフレーム部分を加えるステップと、各第２非キーフレーム部分をダウンサンプリングするステップと、ダウンサンプリングされた各第２非キーフレーム部分とダウンサンプリングされた第１非キーフレーム部分との間の１以上の差分部分が閾値未満であるか評価するステップと、１以上の差分部分が前記閾値未満である場合、前記非キーフレーム部分を更新し、そうでない場合、前記第１非キーフレーム部分を維持するステップとを有する方法が提供される。
【００２０】
第１２の態様によると、画像の非キーフレーム部分を前記画像の復号化中に更新する方法であって、第１非キーフレーム部分を提供するステップと、キーフレーム部分と前記キーフレーム部分のアップサンプリングされた各バージョンとの間の複数の差分キーフレーム部分を提供するステップと、第２非キーフレーム部分を生成するため、前記第１非キーフレーム部分に前記差分キーフレーム部分を加えるステップと、前記第２非キーフレーム部分をダウンサンプリングするステップと、ダウンサンプリングされた第１非キーフレーム部分と前記ダウンサンプリングされた第２非キーフレーム部分との間の差分を生成するステップと、前記差分をアップサンプリングするステップと、更新された非キーフレーム部分を生成するため、前記第２非キーフレーム部分に前記アップサンプリングされた差分を加えるステップとを有する方法が提供される。
【００２１】
第１３の態様によると、画像の再構成されたフレームを前記画像の近傍フレームを介しエンハンスする方法であって、ダウンサンプリングされた再構成されたフレームを生成するため、エンハンスされる前記フレームの再構成された近傍フレームをダウンサンプリングするステップと、アップサンプリングされた再構成されたフレームを生成するため、前記ダウンサンプリングされた再構成されたフレームをアップサンプリングするステップと、前記再構成されたフレームと前記アップサンプリングされた再構成されたフレームとの間の差分を生成するステップと、前記エンハンスされる再構成されたフレームに前記差分を加えるステップとを有する方法が提供される。
【００２２】
第１４の態様によると、画像のフレームを前記画像の近傍フレームを介しエンハンスする方法であって、ダウンサンプリングされた再構成されたフレームを生成するため、前記エンハンスされるフレームの再構成された近傍フレームをダウンサンプリングするステップと、エンハンスされるダウンサンプリングされたフレームと前記ダウンサンプリングされた再構成されたキーフレームとの間の差分を生成するステップと、アップサンプリングされた差分を生成するため、前記差分をアップサンプリングするステップと、前記再構成された近傍フレームに前記アップサンプリングされた差分を加えるステップとを有する方法が提供される。
【００２３】
第１５の態様によると、画像のフレームを前記画像の近傍フレームを介しエンハンスする方法であって、前記エンハンスされるフレームと前記近傍フレームとの間の差分を生成するステップと、ダウンサンプリングされた差分を生成するため、前記差分をダウンサンプリングするステップと、アップサンプリングされた差分を生成するため、前記ダウンサンプリングされた差分をアップサンプリングするステップと、前記近傍フレームを再構成するステップと、前記再構成された近傍フレームに前記アップサンプリングされた差分を加えるステップとを有する方法が提供される。
【００２４】
第１６の態様によると、画像のフレームを前記画像の近傍フレームを介しエンハンスする方法であって、ダウンサンプリングされた再構成された近傍フレームを生成するため、複数の再構成された近傍フレームをダウンサンプリングするステップと、アップサンプリングされた再構成された近傍フレームを生成するため、前記ダウンサンプリングされた再構成された近傍フレームをアップサンプリングするステップと、前記再構成された近傍フレームと前記アップサンプリングされた再構成された各近傍フレームとの間の差分を生成するステップと、再構成されたフレームをエンハンスするため、前記再構成されたフレームに前記差分の和を加えるステップとを有する方法が提供される。
【００２５】
第１７の態様によると、画像のフレームを前記画像の近傍フレームを介しエンハンスする方法であって、ダウンサンプリングされた再構成された近傍フレームを生成するため、再構成された近傍フレームをダウンサンプリングするステップと、ダウンサンプリングされた再構成された各近傍フレームについて、エンハンスされるダウンサンプリングされたフレームと前記ダウンサンプリングされた再構成された近傍フレームとの間の差分を生成するステップと、アップサンプリングされた差分を生成するため、各差分をアップサンプリングするステップと、変更されたアップサンプリングされた差分を生成するため、アップサンプリングされた各差分に再構成された各近傍フレームを加えるステップと、エンハンスされたフレームを生成するため、前記変更されたアップサンプリングされた差分を一緒に加えるステップとを有する方法が提供される。
【００２６】
第１８の態様によると、画像のフレームを前記画像の近傍フレームを介しエンハンスする方法であって、再構成された近傍フレームを提供するステップと、アップサンプリングされた差分を生成するため、再構成された各近傍フレームとエンハンスされるフレームとの間のダウンサンプリングされた差分をアップサンプリングするステップと、変更されたアップサンプリングされた差分を生成するため、再構成された各近傍フレームにアップサンプリングされた各差分を加えるステップと、エンハンスされたフレームを生成するため、前記変更されたアップサンプリングされた差分を一緒に加えるステップとを有する方法が提供される。
【００２７】
さらなる態様によると、本出願の方法の何れかによる画像の１以上のフレームを処理するシステムが開示される。
【００２８】
他の態様によると、画像の１以上のフレームを処理するため、本出願の方法の何れか１つの利用が開示される。
【００２９】
さらなる他の態様によると、本出願の方法の何れか１つをコンピュータに実行させる命令セットを有するコンピュータ可読媒体が開示される。
【図面の簡単な説明】
【００３０】
【図１】図１は、メタデータを用いて時間スケーラビリティを実現するシステムの概略図を示す。
【図２】図２は、メタデータが時間スケーラビリティを加えるのに利用される概略図を示す。
【図３】図３は、キーフレームに関する情報が非キーフレームのメタデータ符号化に利用される図２に類似した概略図を示す。
【図４】図４は、キーフレームからのサイド情報が補間フレームを予測するのに利用されるとき、非キーフレームを記述するのに利用される図３によるメタデータの一例を示す。
【図５】図５は、ダウンサンプリング及びアップサンプリングによる消失したエッジ情報の具体例を示す。
【図６】図６は、エッジエンハンスされた非キーフレームの計算によるブロック図を示す。
【図７】図７は、本開示の実施例による画像改良の具体例を示し、図７に用いられるダウンサンプリングレシオは４×４である。
【図８】図８は、図６の実施例の計算の代替を示す。
【図９】図９は、図６の実施例の計算の代替を示す。
【図１０Ａ】図１０Ａは、双方向時間エッジ補償によるブロック図を示す。
【図１０Ｂ】図１０Ｂは、双方向時間エッジ補償によるブロック図を示す。
【図１０Ｃ】図１０Ｃは、双方向時間エッジ補償によるブロック図を示す。
【図１１】図１１は、Ｔｙｐｅ−Ｉ  Ａｓｓｉｓｔｅｄ  Ｆｒａｍｅメタデータの双方向時間エッジ計算の具体例を示す。
【図１２】図１２は、閾値による制約付きの時間エッジ補償を計算するフローチャートを示す。
【図１３】図１３は、訂正による制約付き時間エッジ補償を計算するフローチャートを示す。
【図１４】図１４は、１つのリファレンスキーフレームによる条件付き時間エッジ補償を用いて各ピクセルを計算するフローチャートを示す。
【図１５】図１５は、双方向条件付き時間エッジ補償を用いて各ピクセルを計算するフローチャートを示す。
【図１６】図１６は、エッジマップフィルタリングによる時間エッジ補償を計算するフローチャートを示す。
【図１７】図１７は、動き補償されたエッジマップによる時間エッジ補償を計算するフローチャートを示す。
【図１８】図１８は、ダウンサンプリングレシオが４×４である時間エッジエンハンスメント後処理技術を利用した及び利用しない結果を示すテーブルである。
【発明を実施するための形態】
【００３１】
本開示は、時間スケーラビリティを解決する。時間スケーラビリティは、所与の状況について適切なフレームレートの選択を可能にする特徴（例えば、デコーダなどによって）として規定される。
【００３２】
多数の規格は、ストリームのコンテンツが記述されるフィールドを提供する機構を有する。大部分のデコーダは、単にそのようなフィールドをスキップする。典型的な利用は、ビデオが撮影された位置、ビデオに示される人々の名前、又はビデオの作成に関与した人々の名前を含む。この情報のハイレベルな性質のため、それはしばしばメタデータと呼ばれる。
【００３３】
メタデータを追加するためのシンタックスは何れかのタイプのデータを可能にするため、本開示で説明される追加的な情報は、メタデータとしてビデオストリームに埋め込まれてもよい。このため、本開示で用いられるメタデータという用語は、単にビデオのコンテンツに関する上位のデータでなく、ビデオの何れかの追加的な説明を表す。
【００３４】
本開示の実施例は、ビデオストリームの時間スケーラビリティの領域に関する。すなわち、エンコーダは、受信するデコーダが状態に応じてフルフレームレート又は低減されたレートによりビデオを再生することを選択可能となるように、少量の情報を圧縮されたストリームに追加する。以下の説明に示されるように、メタデータは、時間スケーラビリティを実現することを支援可能である。本開示の実施例による後処理方法はさらに、時間エッジ情報を加えることによって、視覚的品質を向上させることが可能である。
【００３５】
図１は、メタデータ及び後処理を利用して時間スケーラビリティを導入及び利用する変換システム（１００）を示す。変換システム（１００）は、以下の段階の１以上を有することが可能である。第１段階では、オリジナルソースフレームレートｆＳによるフレームが、ターゲットフレームレートｆＴに変換される。任意的なフレームレートの変換ブロック（１１０）が言及される。何れか既存のフレームレート変換方法が、この段階に適用可能である。第２段階では、レートｆＴのシーケンスが、キーフレームのシーケンスと非キーフレームのシーケンスとの２つのタイプのフレームシーケンスに分割される。キーフレームは、低減されたレートによりデコーダにおいて以降に再生されるメインビットストリームにおけるフレームである。非キーフレームは、以降に詳細に説明されるように、付加情報を含み、フルフレームレートを実現するため、デコーダにおいて再構成されたキーフレームと一緒に再生可能である。キーフレームは、Ｈ．２６４／ＡＶＣなどの従来のビデオ符号化方法を用いて符号化される（１２０）。非キーフレームは、メタデータによって表現される（１３０）。以降に詳細に説明される図２及び３は、メタデータ生成ブロック（１３０）の具体例を示す。図２の実施例では、メタデータは、非キーフレームのダウンサンプリングされたバージョンである。図３の実施例では、メタデータは、キーフレームからのサイド情報と非キーフレームとの間の差分のダウンサンプリングされたバージョンである。従って、メタデータは、フレームに関する特定の情報を記述し、フルフレームを符号化するより低いビットレートにより符号化可能である。メタデータは。キーフレームに加えて何れのものとすることが可能であり、フルレートシーケンスを再構成するのに役立つ。典型的なメタデータは、非キーフレームに関する情報を含む。デコーダでは、キーフレームは、対応するビデオデコーダを用いて復号化される（１４０）。非キーフレームのメタデータは、非キーフレームを再構成するのを支援するため抽出される（１５０）。以降に詳細に説明される図２及び３は、メタデータ解析ブロック（１４０）の具体例を示す。本開示のいくつかの実施例では、メタデータを介して再構成が実行可能であるが、再構成された非キーフレームがメタデータなしに又はほとんどなく生成される実施例もまた可能である。
【００３６】
一実施例では、キーフレームは、オリジナルソースフレームのすべてがキーフレームとして分類され、ｆＫ＝ｆＳ（ただし、ｆＫはキーフレームのフレームレートである）となるように分類可能である。この場合、メタデータ生成ブロック（１３０）は、フレームレート変換により生成されるフレームに従って毎秒（ｆＴ−ｆＳ）フレームでデータを受信する。ｆＫの他の値が可能であり、特にメタデータは、オリジナルソースにあったフレームについて生成されてもよい。すなわち、すべてのソースフレームがキーフレームとして分類されることは必要とされない。
【００３７】
以下のパラグラフはまず、図２及び３を参照して、メタデータの生成及び解析（図１のブロック（１３０）及び（１５０）を参照）の２つの実施例を説明する。以降において、時間エッジエンハンスメントを用いて非キーフレームの視覚的品質を向上させる第３段階の後処理を提供するエッジエンハンスメント後処理方法が説明される（図４を参照）。
【００３８】
図２は、メタデータの生成及び解析の第１実施例（２００）を示す。キーフレーム（２１０）は、Ｈ．２６４／ＡＶＣなどのビデオ符号化方法を用いて符号化され（２２０）、図１を参照してすでに説明されたような対応するビデオデコーダを用いて復号化される。非キーフレーム（２４０）は、メタデータとして表され、タイプＩ支援されたフレームとして以下において言及される。オリジナルフル解像度非キーフレームは、ｆとして示すことができる。支援されたフレームは、
【数１】
0005529293.tif 000002
として示されるダウンサンプリングされたフレームである。Ｄ（・）は、ダウンサンプリング演算子を示す。ダウンサンプリングフィルタ（２５０）は、バイリニア、バイキュービック、ニアレストネイバ及びＬａｎｃｚｏｓ−ｋｅｒｎｅｌリサンプリングフィルタとすることが可能である。例えば、ニアレストネイバフィルタリングは、最近傍のピクセル値を現在位置に割り当てる。バイリニアフィルタリングの一例は、４つの最近傍（上下左右の近傍などのＡ，Ｂ，Ｃ，Ｄ）の加重和を導出し、それを現在位置Ｘのピクセル値として利用する。
【００３９】
【数２】
0005529293.tif 000003
ここで、ｐｉは位置ｉ（ｉ＝Ｘ，Ａ，Ｂ，Ｃ，Ｄ）におけるピクセル値を示し、ｗｉは位置ｉの対応するウェイトを示す。
【００４０】
ダウンサンプリングされたフレームは、デコーダに直接送信可能であるか、又はビデオ圧縮方法を利用して符号化可能である（２６０）。ダウンサンプリングされたフレームの解像度はオリジナルのフル解像度フレームよりはるかに小さいため、それはかなり低いビットレート及び復号化コンプレクシティしか要求しない。デコーダでは、復号化（２７０）されたダウンサンプリングフレーム
【数３】
0005529293.tif 000004
が、
【数４】
0005529293.tif 000005
を再構成するためアップサンプリング（２８０）される。Ｕ（・）は、アップサンプリング演算子を示す。アップサンプリングフィルタ（２８０）は、エンコーダ段階において用いられるダウンサンプリングフィルタの対応するフィルタとすることが可能である。例えば、ダウンサンプリングフィルタがバイリニアである場合、アップサンプリングフィルタもまたバイリニアである。ダウンサンプリングフィルタがバイキューブである場合、アップサンプリングフィルタもまたバイキューブとすることができる。
【００４１】
図３は、メタデータの生成及び解析の第２実施例（３００）を示す。キーフレーム（３１０）は、Ｈ．２６４／ＡＶＣなどのビデオ符号化方法を用いて符号化され（３２０）、対応するビデオデコーダを用いて復号化される（３３０）。非キーフレーム（３４０）は、タイプＩＩ支援されたフレームと呼ばれるメタデータとして表される。エンコーダでは、補間されたフレーム（３５０）が、サイド情報としてキーフレームから生成される。このとき、オリジナルフレームとサイド情報フレームとの間の差分フレーム（３６０）がダウンサンプリングされ（３７０）、メタデータとして表される。メタデータは、デコーダに直接送信されるか、又はいくつかの画像／ビデオ符号化方法によって圧縮可能である（３８０）。デコーダでは、メタデータが解析され（３８５）、ダウンサンプリングされた差分フレームがオリジナルサイズにアップサンプリングされる（３９０）。キーフレームはエンコーダとデコーダとの双方において利用可能であるため、サイド情報フレーム（３９１）は、エンコーダと同様に同一のアルゴリズムを用いて生成される。最終的に、サイド情報フレーム（３９１）とアップサンプリングされた差分フレーム（３９２）とが、非キーフレーム（３９５）を再構成するため追加される。
【００４２】
図３の構成により生成されるようなサイド情報生成（４００）の一例が、リニア補間が補間されたフレーム（４３０）を生成するため、近傍の前のキーフレーム（４１０）と次のキーフレーム（４２０）とに適用される図４において示される。このとき、オリジナルの非キーフレーム（４５０）と補間されたフレーム（４３０）との間の差分フレーム（４４０）が導出され、メタデータを生成するためダウンサンプリングされる（４６０）。
【００４３】
サイド情報の他の実施例は、
【数５】
0005529293.tif 000006
として定式化可能な動き補償時間補間方法を用いて生成可能である。ｐＩ（ｘ，ｙ）は、位置（ｘ，ｙ）における補間フレームのピクセル値を示し、ｐＲ（ｘ，ｙ）は、リファレンスフレームのピクセル値を示す。この場合、以前に再構成されたキーフレームは、リファレンスフレームとして利用できる。補間フレームのすべてのピクセル又はすべてのブロックは、動きベクトル（Δｘ，Δｙ）と関連付けされる。動きベクトルは、補間フレームとリファレンスフレームとの間のオブジェクトの動きの軌跡を記述する。補間フレームは、式（２）と同様に、動きベクトルのシフトによってリファレンスフレームから再構成可能である。動きベクトルは、再構成されたフレームの動き推定によって導出可能である。動きベクトルはまた、ソースフレームのビットストリームにおける動きベクトルから導出可能である。複数のキーフレームが、サイド情報の生成において利用可能である。さらに、サイド情報は、キーフレームだけでなく非キーフレームからも抽出可能である。
【００４４】
以前の図１〜４において説明されたメタデータによるフレームレート変換方法は、ダウンサンプリングされたコンテンツをメタデータとして送信する。デコーダにおけるアップサンプリング処理は、ぼけと他のアーチファクトを導く可能性がある。以下のパラグラフでは、時間エッジ補償を利用してメタデータによるフレームレート変換のためエッジ情報をエンハンスする後処理方法が説明される。この方法の実施例は、非キーフレームの品質を向上させるため受信したキーフレームからのエッジ情報を利用する。
【００４５】
図１〜４に示されるものを含む以前の圧縮技術は、非キーフレームの記述が低減された解像度によるものであるため、近傍フレームからのサイド情報もまた低解像度で利用されるべきであることを仮定していた。出願人は、高周波数情報をフル解像度近傍フレームに以降に適用する効果を述べた。この利用は、高周波数が属する位置を決定することを困難にするフレーム間の動きの可能性のため、直感に反したものである。
【００４６】
いくつかの実施例によると、本開示の時間エッジ補償方法は、近傍のキーフレームのエッジを利用して、非キーフレームの消失したエッジ情報を補償する。非キーフレームの高周波数コンテンツは、ダウンサンプリング及び以降のアップサンプリング処理中に消失した。近傍のキーフレームにおける同様のダウンサンプリング及びアップサンプリングがデコーダにおいて実行される。キーフレームの高周波数コンテンツが、再構成された非キーフレームを補償するのに利用される。
【００４７】
図５の一例となる図（５００に示されるように、フル解像度非キーフレームはｆとして示され、ダウンサンプリングされたフレームは、
【数６】
0005529293.tif 000007
として示される。アップサンプリングされた再構成は、
【数７】
0005529293.tif 000008
として示される。同様に、近傍のキーフレームの復号化されたフル解像度のバージョン、ダウンサンプリングされたバージョン及びアップサンプリングされたバージョンはそれぞれ、
【数８】
0005529293.tif 000009
として示される。典型的には、近傍のキーフレームは、時間インデックスにおける現在のフレームの次のキーフレームである。時間インデックスは、フレームの撮影時間によるフレーム番号インデックスである。図５に示されるように、シャープなエッジは、キーフレームと非キーフレームとの双方についてダウンサンプリング及びアップサンプリング処理中に消失する。差分画像
【数９】
0005529293.tif 000010
（可視化の容易のため増幅された）は、消失したエッジマップと呼ばれる。当該マップは、ダウンサンプリング及びアップサンプリング中に消失した高周波数コンテンツを示す。図５に示されるように、近傍フレームについて、差分画像は、相対的に複雑な動きのあるシーケンスに対してさえ互いに類似している。これは、近傍のキーフレームの消失した高周波数コンテンツがアップサンプリングされた非キーフレームのものに高い相関があることを示す。
【００４８】
この観察に基づき、本開示の実施例による時間エッジ補償方法は、デコーダにおいて
【数１０】
0005529293.tif 000011
のエッジ情報を補償するため、消失したエッジマップを適用する。
【数１１】
0005529293.tif 000012
図６の構成（６００）に示されるように、再構成されたキーフレームｇは、ｆから
【数１２】
0005529293.tif 000013
を生成する同一のフィルタ（１６０）を用いてダウンサンプリングされたフレーム
【数１３】
0005529293.tif 000014
を生成するためダウンサンプリング可能である（６１０）。すなわち、本開示の実施例によると、デコーダの図６のフィルタ（６１０）は、エンコーダにおける図２のブロック（２５０）又は図３のブロック（３７０）と同一とすることができる。ダウンサンプリングされたフレーム
【数１４】
0005529293.tif 000015
は、
【数１５】
0005529293.tif 000016
から
【数１６】
0005529293.tif 000017
を生成する同一のフィルタを用いて、
【数１７】
0005529293.tif 000018
としてオリジナルサイズにアップサンプリング可能である（６２０）。すなわち、本開示の実施例によると、デコーダにおける図６のフィルタ（６２０）は、エンコーダにおける図２のブロック（２８０）又は図３のブロック（３９０）と同一とすることができる。第１加算器（６３０）は、エッジマップ
【数１８】
0005529293.tif 000019
を生成する。第２加算器（６４０）は、エッジマップ
【数１９】
0005529293.tif 000020
を用いて
【数２０】
0005529293.tif 000021
を補償し、エッジエンハンスとされた非キーフレーム
【数２１】
0005529293.tif 000022
を生成する。上述されたように、キーフレームｇは非キーフレームｆの近傍キーフレームである。例えば、シーケンスのＮ番目のフレームが非キーフレームであり、シーケンスの（Ｎ−１）番目のフレームがキーフレームである場合、（Ｎ−１）番目のフレームはＮ番目の非キーフレームの近傍のキーフレームである。
【００４９】
図７は、図５及び６において上述された時間エッジエンハンスメント実施例の３つの具体例を示す。ｍｏｂｉｌｅ  ＣＩＦ（インセットａ，ｂ）、ｔｅｍｐｅｔｅ  ＣＩＦ（インセットｃ，ｄ）及びｐａｎｓｌｏｗ  ７２０ｐ（インセットｅ，ｆ）の各シーケンスは、４×４のレシオまでダウンサンプリングされ、オリジナルサイズにアップサンプリングされる。ｍｏｂｉｌｅ  ＣＩＦシーケンスでは、後処理
【数２２】
0005529293.tif 000023
なしにアップサンプリングされた画像（インセットａを参照）はぼやけ、カレンダーの数字は、ハイライト部分（７１０）に示されるように、判読できない。時間エッジエンハンスメント後処理の後、再構成
【数２３】
0005529293.tif 000024
（インセットｂを参照）は、数字のより明確なビュー（７２０）を示す。ｔｅｍｐｅｔｅ  ＣＩＦシーケンスにおいて、花のテクスチャは、ぼけのあるバージョン
【数２４】
0005529293.tif 000025
と比較して（インセットｃ及びビュー（７４０）を参照）、
【数２５】
0005529293.tif 000026
により完全に再構成される。（インセットｄ及びビュー（７３０）を参照）。同様に、ｐａｎｓｌｏｗ  ７２０ｐシーケンスのダッシュボードの直線は、ダウンサンプリング（インセットｅ及びビュー（７５０））によって歪められ、エッジエンハンスメントにより訂正された（インセットｆ及びビュー（７６０））。
【００５０】
図８，９は、図６の教示に基づく本開示のさらなる実施例を示す。
【００５１】
特に、式（３）の後処理
【数２６】
0005529293.tif 000027
は、
【数２７】
0005529293.tif 000028
として再定式化できる。
【００５２】
式（４）において、アップサンプリングされたキーフレーム
【数２８】
0005529293.tif 000029
と非キーフレーム
【数２９】
0005529293.tif 000030
との間の相違が後処理に適用される。あるいは、図８に示されるように、ダウンサンプリングされたキーフレーム
【数３０】
0005529293.tif 000031
とダウンサンプリングされた非キーフレーム
【数３１】
0005529293.tif 000032
との間の差分画像が生成される。次のステップにおいて、差分画像
【数３２】
0005529293.tif 000033
がアップサンプリングされ（８２０）、再構成されたキーフレームに加えられる。
【００５３】
【数３３】
0005529293.tif 000034
デコーダにおいて図８の後処理ブロックに示されるように、メタデータはまた、式（３）により以前に指定されたアプローチと同様に
【数３４】
0005529293.tif 000035
である。この場合、再構成されたキーフレームｇは、デコーダにおいて
【数３５】
0005529293.tif 000036
にダウンサンプリングされる（８３０）。このとき、差分
【数３６】
0005529293.tif 000037
は、ｆとしてオリジナルサイズにアップサンプリングされ（８２０）、
【数３７】
0005529293.tif 000038
として示される。その後、それは、エッジエンハンストされた再構成された非キーフレーム
【数３８】
0005529293.tif 000039
を形成するため、再構成されたキーフレームｇに加えられる。
【００５４】
他方、図９の実施例によると、オリジナル非キーフレームとキーフレームＤ（ｆ−ｇ）との間のダウンサンプリングされた差分画像が送信され（９１０）、デコーダにおいてアップサンプリングされ（９２０）、再構成されたキーフレームに加えることができる。
【００５５】
【数３９】
0005529293.tif 000040
図９に示されるように、メタデータＤ（ｆ−ｇ）（９１０）は、キーフレームｇと非キーフレームｆとの間の差分画像のダウンサンプリングされたバージョンである。このとき、Ｄ（ｆ−ｇ）は、
【数４０】
0005529293.tif 000041
としてオリジナルサイズにアップサンプリングされ（９２０）、
【数４１】
0005529293.tif 000042
として示される。その後、アップサンプリングされた差分は、エッジエンハンストされた非キーフレーム
【数４２】
0005529293.tif 000043
を再構成するため、再構成されたキーフレームｇに加えられる（９３０）。一般に、差分（ｆ−ｇ）のダウンサンプリングは、メタデータのサイズを低減するため、エンコーダにおいて行われる。しかしながら、そのようなダウンサンプリングはまた、メタデータのデータレートが関係ない場合には、デコーダにおいて実行可能である。
【００５６】
図６〜９の実施例は、時間エッジ補償のため、１つの近傍キーフレームｇからのエッジ情報しか利用しない。例えば、前のキーフレームと後のキーフレームなどの２つの近傍キーフレームに基づく双方向時間エッジ補償が提供される実施例が説明される。以下のパラグラフでは、１つの前のキーフレームと１つの後のキーフレームとを有する実施例が説明される。しかしながら、当業者は、２つの前のキーフレーム又は２つの後のキーフレームなどの他の実施例がまた可能であることを理解するであろう。
【００５７】
後の（又は第２近傍）キーフレームは、ｈとして示される。ダウンサンプリングされたバージョン
【数４３】
0005529293.tif 000044
とアップサンプリングされたバージョン
【数４４】
0005529293.tif 000045
とを生成するため、同様のダウンサンプリング及びアップサンプリング処理が適用可能である。双方向時間エッジ補償は、
【数４５】
0005529293.tif 000046
として定義できる。
【００５８】
図１０Ａにおいて、本開示のさらなる実施例による双方向時間エッジ補償を示す概略図が示される。前の（又は第１近傍）キーフレームｇは、
【数４６】
0005529293.tif 000047
にダウンサンプリングされる（１０１０）。ダウンサンプリングされたフレーム
【数４７】
0005529293.tif 000048
は、ｇとしてオリジナルサイズにアップサンプリングされ（１０２０）、
【数４８】
0005529293.tif 000049
として示される。第１加算器（１０３０）は、エッジマップ
【数４９】
0005529293.tif 000050
を生成する。その後、エッジマップは、
【数５０】
0005529293.tif 000051
を生成するため、１／２と乗算される（１０４０）。同一の処理（１０５０，１０６０，１０７０，１０８０）が、
【数５１】
0005529293.tif 000052
を生成するため、次のキーフレームｈに適用される。これら２つのアイテムは、エッジエンハンスとされた非キーフレームを生成するため、再構成された非キーフレーム
【数５２】
0005529293.tif 000053
に加えられる（１０９０）。
【００５９】
図１０Ａにおいて、エッジマップのウェイトは、例えば、１／２である。エッジマップのウェイトは、他の方法により定義できる。例えば、ウェイトは、ターゲット非キーフレームとソースキーフレームとの間の時間距離に反比例することが可能である。例えば、キーフレームｇが（Ｎ−１）番目のフレームであり、非キーフレームｆがＮ番目のフレームであり、キーフレームｈが（Ｎ＋１）番目のフレームである場合、ｇとｆとの間の時間距離は１であり、ｆとｈとの時間距離は１であり、ウェイトはそれぞれ１／２とすることができる。他方、キーフレームｇが（Ｎ−１）番目のフレームであり、非キーフレームｆがＮ番目のフレームであり、キーフレームｈが（Ｎ＋２）番目のフレームである場合、ｇとｆとの間の時間距離は１であり、ｆとｈとの間の時間距離は２であり、ブロック（１０４０）と（１０８０）とのウェイトはそれぞれ、２／３と１／３とすることが可能である。重み付けパラメータは、現在の非キーフレームとリファレンスキーフレームとの間の差分に依存して定義できる。
【００６０】
式（５）及び（６）に示されるアプローチに基づく同様の拡張（図８，９を参照）はまた、以下の式（７ｂ），（７ｃ）に従って図１０Ｂ，１０Ｃに示されるように、双方向時間エッジエンハンスメントに適用可能である。
【００６１】
【数５３】
0005529293.tif 000054
図１１は、Ｔｙｐｅ−Ｉ  Ａｓｓｉｓｔｅｄ  Ｆｒａｍｅメタデータの双方向時間エッジ補償の一例を示す（図２に示される符号化／復号化処理を参照）。ダウンサンプリングされたバージョンは、現在のフレームのメタデータとして利用され、ダウンサンプリングレシオは、例えば、４×４である。すなわち、ダウンサンプリングされたピクチャのサイズは、オリジナルフレームの１／１６である。前後のキーフレームは、Ｈ．２６４／ＡＶＣを用いて符号化及び復号化され、図１０Ａの再構成されたキーフレームｇ，ｈに対応する。現在のフレームは非キーフレームであり、メタデータはダウンサンプリングされたフレーム
【数５４】
0005529293.tif 000055
である。メタデータをアップサンプリングすることによって取得された再構成された非キーフレームは、図１０Ａにおける
【数５５】
0005529293.tif 000056
に対応するメタデータはまた、Ｈ．２６４／ＡＶＣを用いて符号化及び復号化される。再構成されたキーフレームは、高周波数エッジ情報を生成するため、ダウンサンプリング及びアップサンプリングされる。式（７Ａ）〜（７Ｃ）に示されるような双方向エッジ補償は、メタデータのエッジ情報を向上させるため、アップサンプリングされた非キーフレームに適用される。
【００６２】
双方向エッジ補償はさらに、Ｋ個のキーフレーム（Ｋ≧２）を用いた複数フレーム時間エッジ補償に拡張可能である。これらＫ個のキーフレームからのエッジマップの加重和は、非キーフレームのエッジを向上させるため利用可能である。典型的には、キーフレームは、同様のエッジを有するため、非キーフレームに近いものである。他の実施例では、Ｌ個（Ｌ≦Ｋ）のキーフレームが、目標を達成するため、Ｋ個のキーフレームから適応的に選択可能である。この適応的選択は、再構成されたＬ個のキーフレームのダウンサンプリング／アップサンプリング前に、又はＫ個の再構成されたキーフレームをアップサンプリングした後に実行可能である。適応的選択は、Ｋ個のキーフレームと現在の非キーフレームとを比較し、Ｌ個の最近接キーフレームを選択することによって実行可能である。すなわち、メトリックは、フレームの類似度を決定し、現在のフレームに類似したエッジを有することが可能なＬ個のキーフレームを選択するよう設定される。さらに、Ｋ個のフレームは、キーフレームと以前に後処理された非キーフレームとの双方を有することが可能である。
【００６３】
アップサンプリングと後処理とは共に、ダウンサンプリングされた情報に基づきオリジナル情報を復元する。これは、以下の最適化問題として表すことができる。
【００６４】
【数５６】
0005529293.tif 000057
本開示の以前のセクションの後処理の実施例（図６，８，９，１０を参照）は、結果として得られるフレームが未処理のフレームにどの程度近いか考慮することなく、キーフレームから導出された消失したエッジマップがアップサンプリングされた非キーフレームに適用されるため、制約条件のない最適化とみなすことができる。これは、保存されるべきエリアにおける過剰処理を導く可能性がある。理想的には、後処理されたフレームは、
【数５７】
0005529293.tif 000058
のアップサンプリングされたバージョンとして依然としてみなされるべきである。すなわち、後処理された非キーフレームが同一のダウンサンプリングフィルタを用いてダウンサンプリングされる場合、それは、
【数５８】
0005529293.tif 000059
に極めて近いダウンサンプリングされた画像を依然として生成すべきである。この制約条件付きの時間エッジ補償のケースでは、最適化問題は、
【数５９】
0005529293.tif 000060
として定式化できる。ただし、Ｔは許容閾値である。
【００６５】
このような制約は、本開示において提案されるすべての再構成スキームに適用可能である。例えば、式（４）の後処理スキームは、このような制約条件付きの後処理を示すのに利用される。
【００６６】
追加的な処理ラウンドの説明を容易にするため、オリジナルのダウンサンプリングされたバージョンは、
【数６０】
0005529293.tif 000061
として定義できる。デコーダにおけるアップサンプリングされたバージョンは、
【数６１】
0005529293.tif 000062
として示される。式（４）と同様に、第１ラウンド再構成は、
【数６２】
0005529293.tif 000063
である。この再構成は、例えば、
【数６３】
0005529293.tif 000064
を生成するのに利用されるものと同じダウンサンプリングフィルタなどを利用して、
【数６４】
0005529293.tif 000065
にダウンサンプリングされる。同様に、ｋ番目のラウンド再構成は、
【数６５】
0005529293.tif 000066
であり、それのダウンサンプリングされたバージョンは、
【数６６】
0005529293.tif 000067
である。この問題は、
【数６７】
0005529293.tif 000068
として定式化できる。
【００６７】
オリジナルソースｆはデコーダにおいて未知であるため、最適化は近似により解くことができる。３つの制約条件付き最適化が以下の実施例において示される。
【００６８】
制約条件付きの最適化のための第１の方法は、図１２に示されるように、
【数６８】
0005529293.tif 000069
の間のピクセル差分に基づき、後処理された結果を更新する。第１加算器（１２１０）は、第１ラウンド再構成ｆ（１）を取得するため、再構成された非キーフレーム
【数６９】
0005529293.tif 000070
とエッジマップとを加える。
【００６９】
第１ラウンド再構成は、
【数７０】
0005529293.tif 000071
を生成する同一のフィルタを用いて、
【数７１】
0005529293.tif 000072
にダウンサンプリングされる（１２２０）。ダウンサンプリングされたバージョンの対応する位置のピクセル差分が閾値Ｔ未満である場合、エッジ補償は、受け入れられ（１２３０）、ｆ（２）＝ｆ（１）である。そうでない場合、エッジエンハンスメントはドリフトとみなされ、オリジナルのアップサンプリングされたフレームは、再構成
【数７２】
0005529293.tif 000073
として復元される。
【００７０】
スケールファクタは、α×αとして示すことができる。スケールファクタは、オリジナルキーフレームのサイズとメタデータのサイズとの間のレシオとして定義される。例えば、オリジナルキーフレームが（３５２×２８８）ＣＩＦ（Ｃｏｍｍｏｎ  Ｉｎｔｅｒｍｅｄｉａｔｅ  Ｖｉｄｅｏ  Ｆｏｒｍａｔ）を有し、非キーフレームが、メタデータを生成するため（１７６×１４４）のＱＣＩＦ（Ｑｕａｒｔｅｒ  ＣＩＦ）ビデオフォーマットにダウンサンプリングされる場合、スケールファクタは、２×２である。ｆ（２）の位置（ｉ，ｊ）のエッジ補償の決定は、
【数７３】
0005529293.tif 000074
の間の位置
【数７４】
0005529293.tif 000075
におけるピクセル差分に基づく。ここで、
【数７５】
0005529293.tif 000076
は、ｘのフロア演算
【数７６】
0005529293.tif 000077
を表し、Ｚは整数の集合である。図１２を参照して説明される更新は、
【数７７】
0005529293.tif 000078
として定式化できる。
【００７１】
連続的な精緻化のさらなる繰り返しは、それが収束するまで品質をさらに向上させるのに利用可能である。例えば、以下の式（１２）では、固定数又は単調減少系列Ｔｋが、閾値として利用される。繰り返しアルゴリズムは、ダウンサンプリングされたフレームの制約と共にエッジ情報を利用する。
【００７２】
【数７８】
0005529293.tif 000079
当該アルゴリズムは、フレーム内のダウンサンプリングされたすべてのピクセル差分が閾値Ｔｋ未満になると停止する。実際、デコーダにおける低い後処理コンプレクシティを維持するため、大部分のケースにおいて十分である精緻化の１又は２つののラウンドが利用可能である。
【００７３】
制約条件付き最適化のための第２の方法は、図１３に示されるように、アップサンプリングされた差分
【数７９】
0005529293.tif 000080
を訂正項として再構成ｆ（１）に加える。第１加算器（１３１０）は、図１２においてすでに説明されたものと同様に、
【数８０】
0005529293.tif 000081
を生成する同一のフィルタを用いて、
【数８１】
0005529293.tif 000082
にダウンサンプリングされる（１３２０）第１ラウンドの再構成ｆ（１）を取得するため、再構成された非キーフレーム
【数８２】
0005529293.tif 000083
とエッジマップとを加える。しかしながら、この場合、第２加算器（１３３０）は、
【数８３】
0005529293.tif 000084
を生成するためアップサンプリングされる（１３４０）差分のサブサンプリングフレーム
【数８４】
0005529293.tif 000085
を提供する。最終的に、ｆ（２）が取得されるように、
【数８５】
0005529293.tif 000086
がｆ（１）に加えられる（１３５０）。このようにして、ドリフトされたエッジエンハンスメントが低減される。
【００７４】
【数８６】
0005529293.tif 000087
このアプローチは、連続的な精緻化繰り返しバージョンに拡張可能である。以下の式（１４）では、ステップサイズΔｋは、収束速度を制御するため差分フレーム
【数８７】
0005529293.tif 000088
と乗算される。例えば、Δｋは、単調減少系列（Δ／ｋ又はΔ／２ｋ）とすることが可能である。ただし、Δは固定されたステップサイズである。
【００７５】
【数８８】
0005529293.tif 000089
過剰処理を回避するための第３の方法は、時間エッジ補償を条件付きで適用することである。時間エッジ補償が適用されるべきか判断するための判定が実行される。現在のキーフレームがリファレンス非キーフレームと高い相関があるエリアでは、時間エッジ補償が適用される。そうでない場合、時間エッジ補償は無効とされる。一実施例は、
【数８９】
0005529293.tif 000090
として定式化できる。
【００７６】
図１４に示されるように、時間エッジ補償を適用するか否かの判定がピクセルレベルの差分に基づき行われる。近傍のキーフレームｇは、
【数９０】
0005529293.tif 000091
にダウンサンプリングされる（１４２０）。ダウンサンプリングされたフレーム
【数９１】
0005529293.tif 000092
は、ｇとしてオリジナルサイズにアップサンプリングされ（１４３０）、
【数９２】
0005529293.tif 000093
として示される。判定ブロック（１４１０）は、
【数９３】
0005529293.tif 000094
の間の絶対的な距離を計算する。
【００７７】
【数９４】
0005529293.tif 000095
が閾値Ｔ以上である場合、時間エッジ補償が無効とされ（１４４０）、
【数９５】
0005529293.tif 000096
である。
【００７８】
【数９６】
0005529293.tif 000097
が閾値Ｔ未満である場合、時間エッジ補償が適用され（１４５０）、
【数９７】
0005529293.tif 000098
である。
【００７９】
条件付き時間エッジ補償の他の実施例が、２つのリファレンス非キーフレームが利用可能であるケースに適用可能であり、
【数９８】
0005529293.tif 000099
として定式化できる。
【００８０】
図１５において、双方向の条件付き時間エッジ補償のためのフローチャートが示される。前のキーフレームｇは、
【数９９】
0005529293.tif 000100
にダウンサンプリングされる（１５１０）。ダウンサンプリングされたフレーム
【数１００】
0005529293.tif 000101
は、ｇとしてオリジナルサイズにアップサンプリングされ（１５２０）、
【数１０１】
0005529293.tif 000102
として示される。次のキーフレームｈは、
【数１０２】
0005529293.tif 000103
にダウンサンプリングされる（１５３０）。ダウンサンプリングされたフレーム
【数１０３】
0005529293.tif 000104
は、オリジナルサイズにアップサンプリングされ（１５４０）、
【数１０４】
0005529293.tif 000105
として示される。この判定（１５５０，１５６０，１５７０）は、２つの条件
【数１０５】
0005529293.tif 000106
に基づき行われる。
【００８１】
0005529293.tif 000107
の双方が閾値Ｔ以上である場合、時間エッジ補償は無効とされ（１５８０）、
【数１０７】
0005529293.tif 000108
である。
【００８２】
【数１０８】
0005529293.tif 000109
が閾値以上であり、
【数１０９】
0005529293.tif 000110
が閾値より小さい場合、キーフレームｈからの時間エッジ情報が、補償（１５８５）
【数１１０】
0005529293.tif 000111
において利用される。
【００８３】
【数１１１】
0005529293.tif 000112
が閾値より小さく、
【数１１２】
0005529293.tif 000113
が閾値以上である場合、キーフレーム
【数１１３】
0005529293.tif 000114
からの時間エッジ情報が、補償（１５９０）
【数１１４】
0005529293.tif 000115
において利用される。
【００８４】
【数１１５】
0005529293.tif 000116
の双方が閾値より小さい場合、双方向時間エッジ補償が適用される（１５９５）。
【００８５】
【数１１６】
0005529293.tif 000117
本開示に適用可能なさらなる追加的な実施例が、図１６，１７を参照して次のパラグラフにおいて説明される。
【００８６】
キーフレームから導出されるエッジマップは、圧縮アーチファクト（リンギング／輪郭／ブロッキングアーチファクトなど）などのノイズ及びアーチファクトの各種ソースを含む。エッジマップフィルタリングは、提案された後処理方法の品質を向上させることが可能なノイズを削除又は低減するのに利用可能である。フィルタは、ローパスフィルタ、Ｋａｌｍａｎフィルタ、デブロッキングフィルタ、デコンボリューションフィルタ、Ｂａｙｅｓｉａｎフィルタ、バイラテラルフィルタなどとすることが可能である。図１６において、例えば、図６の時間エッジの実施例を利用したフローチャートが示される。再構成されたキーフレームｇは、ダウンサンプリングされたフレーム
【数１１７】
0005529293.tif 000118
を生成するためダウンサンプリングされる（１６１０）。その後、それは、オリジナルサイズにアップサンプリングされ（１６２０）、
【数１１８】
0005529293.tif 000119
として示される。第１加算器（１６３０）は、エッジマップ
【数１１９】
0005529293.tif 000120
を生成する。エッジマップは、フィルタリングされたエッジマップを生成するため、エッジマップフィルタリング（１６４０）にわたされる。第２加算器（１６５０）は、フィルタリングされたエッジマップを用いて
【数１２０】
0005529293.tif 000121
を補償し、エッジエンハンストされた非キーフレームを生成する。
【００８７】
消失したエッジマップにおける動きを考慮することによって、さらなる改善が実現可能である。動き補償は、非キーフレームのエッジ情報の予測を生成するため、キーフレーム
【数１２１】
0005529293.tif 000122
のエッジ情報について適用可能である。図１７に示されるように（例えば、図６の実施例が再び参照される）、再構成されたキーフレームｇが、ダウンサンプリングされたフレーム
【数１２２】
0005529293.tif 000123
を生成するためダウンサンプリングされる（１７１０）。その後、それは、
【数１２３】
0005529293.tif 000124
にアップサンプリングされる（１７２０）。第１加算器（１７３０）は、エッジマップ
【数１２４】
0005529293.tif 000125
を生成する。エッジマップは、動き補償されたエッジマップを生成するため処理される（１７４０）。エッジマップの動きベクトルは、動き補償された時間補間と同様の方法により導出可能である。第２加算器（１７５０）は、動き補償されたエッジマップを用いて
【数１２５】
0005529293.tif 000126
を加え、エッジエンハンストされた非キーフレームを生成する。例えば、図８の実施例を参照して、フィルタリング／動き補償が、第１加算器とアップサンプラ（８２０）との間で、又はアップサンプラ（８２０）と第２加算器（８４０）との間で適用可能である。図９の実施例を参照して、フィルタリング／動き補償は、アップサンプラ（９２０）の前後に適用可能である。図１０の実施例を参照して、フィルタリング／動き補償は、乗算器（１０４０），（１０８０）の前後に適用可能である。
【００８８】
図７は、上述されたように、主題の比較による具体例を示した。図１８は、ＰＳＮＲ（Ｐｅａｋ  Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ  Ｒａｔｉｏ）を用いた時間エッジエンハンスメントありとなしの客観的な品質比較を示す。本例では、Ｔｙｐｅ−Ｉ  Ａｓｓｉｓｔｅｄ  Ｆｒａｍｅメタデータが利用され、ダウンサンプルレシオは４×４である。キーフレームと非キーフレームとの双方が、Ｈ．２６４／ＡＶＣを用いて符号化及び復号化される。当該処理は、図１１の図に続く。式（４）に指定される一方向時間エッジ補償と、式（７）に指定される双方向時間エッジ補償との双方が、後処理のないケース
【数１２６】
0005529293.tif 000127
と比較される。
【００８９】
メタデータに基づく技術の圧縮効率性に関して、メタデータのビットレートは、ソースシーケンスの符号化構造及び特性に依存する。一般に、メタデータのビットレートは、メタデータの解像度にほぼ比例する。圧縮されたストリームのフレーム数は、メタデータにより表されるフレーム数に等しい。メタデータは、圧縮されたストリームと同一の符号化構造に符号化される。圧縮されたストリームは、ソースフレームをフル解像度に符号化し、メタデータは、サブサンプリングされた解像度にソースフレームを符号化する。メタデータが２×２のダウンサンプリングレシオにより表される場合、メタデータは、圧縮されたストリームのビットレートの約２５％を追加する。メタデータが４×４のダウンサンプリングレシオにより表される場合、メタデータは、圧縮されたストリームの約６．２５％のビットレートを追加する。このパーセンテージは、メタデータを符号化するのにより多くのＢフレームが利用される場合、さらに減少可能である。本開示によるエッジエンハンスメント方法は、追加的なメタデータを送信することなく視覚的品質を向上させることが可能である。図７において、ダウンサンプリングレシオ４×４の具体例が示された。データのオーバヘッドは、特に結果としての効果を取得するためデコーダ及びポストプロセッサに要求される低いコンプレクシティを考慮して、画質の向上が与えられるときに許容されることは、当業者に理解されるであろう。
【００９０】
本開示はまた、キーフレーム／非キーフレームの区別に限定されない実施例に関する。例えば、本出願の説明及び図面に示される実施例はまた、現在のフレームがそれの高周波数成分又はエッジを処理チェーンにおいて消失した場合に適用可能であり、その後、近傍フレームが十分な高周波数成分又はエッジを利用可能にすることを仮定すると、それは近傍フレームの対応する成分によりエンハンスされる。
【００９１】
本開示に説明される方法及びシステムは、ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせにより実現されてもよい。ブロック、モジュール又はコンポーネントとして説明される特徴は、一緒になって（例えば、集積論理デバイスなどの論理デバイスなどに）又は別々に（例えば、別々の接続された論理デバイスなど）により実現されてもよい。本開示の方法のソフトウェア部分は、実行されると、少なくとも部分的に開示された方法を実行する命令を有するコンピュータ可読媒体から構成されてもよい。コンピュータ可読媒体は、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）及び／又はＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）などから構成されてもよい。命令は、プロセッサ（例えば、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）又はフィールドプログラマブルロジックアレイ（ＦＰＧＡ）など）により実行されてもよい。
【００９２】
上述された具体例は、本開示のメタデータによる時間スケーリングのエッジエンハンスメントの実施例を生成及び利用する方法の完全な開示及び説明を当業者に提供するために与えられたものであり、発明者がそれらの開示とみなすものの範囲を限定することを意図するものでない。本開示を実行するための上述されたモードの改良は、ビデオの分野の当業者により利用されてもよく、以下の請求項の範囲内であると意図される。明細書に記載されたすべての特許及び刊行物は、本開示が属する分野における当業者のレベルを示すものであってもよい。本開示において引用されたすべての参考文献は、各参考文献が個々に参照することによってそのすべてが援用されるような同一の範囲を参照することによって援用される。
【００９３】
本開示は特定の方法又はシステムに限定されず、もちろん、変更可能であることが理解されるべきである。また、ここで用いられる用語は、特定の実施例を説明するためのものであり、限定的であることを意図するものでないことが理解されるべきである。本明細書及び添付した請求項に用いられるように、単数形の“ある”及び“その”という表現は、コンテンツが明らかにそうでないことを示さない場合、複数の参照を含む。“複数の”という用語は、コンテンツが明らかにそうでないことを示さない場合、２以上の参照を含む。そうでないと定義されていない場合、ここに用いられるすべての技術的及び科学的用語は、本開示が属する当業者によって通常理解されるものと同じ意味を有する。
【００９４】
本開示のいくつかの実施例が説明された。にもかかわらず、本開示の趣旨及び範囲から逸脱することなく各種変更が可能であることが理解されるであろう。従って、他の実施例は以下の請求項の範囲内である。
【００９５】
従って、本発明は、ここに開示された、現在存在する及び／又は以降に開発された要素（本発明の各種パーツ又は特徴及びこれらの均等）から適切に構成されるか、又は実質的に構成されてもよい。さらに、ここに例示的に開示される本発明は、ここに具体的に開示されているか否かに関係なく、何れかの要素がなくても実施されてもよい。明らかに、本発明の多数の変更及び変形は、上記教示に基づき可能である。従って、本発明は、添付した請求項の範囲内において、ここに具体的に記載された以外により実施されてもよいことが理解されるべきである。
【００９６】
従って、本発明は、限定されることなく、本発明のいくつかの部分の構成、特徴及び機能を開示した以下のＥＥＥ（Ｅｎｕｍｅｒａｔｅｄ  Ｅｘａｍｐｌｅ  Ｅｍｂｏｄｉｍｅｎｔｓ）を含む、ここに開示された形式の何れかにより実現されてもよい。
ＥＥＥ１．画像の非キーフレームを前記画像の近傍のキーフレームを介し後処理する方法であって、
ダウンサンプリングされた再構成されたキーフレームを生成するため、再構成されるキーフレームをダウンサンプリングするステップと、
アップサンプリングされた再構成されたキーフレームを生成するため、前記ダウンサンプリングされた再構成されたキーフレームをアップサンプリングするステップと、
前記再構成されたキーフレームと前記アップサンプリングされた再構成されたキーフレームとの間の差分を生成するステップと、
前記再構成された非キーフレームを補償するため、再構成された非キーフレームに前記差分を加えるステップと、
を有する方法。
ＥＥＥ２．前記再構成されたキーフレームと前記アップサンプリングされた再構成されたキーフレームとの間の差分は、前記再構成された非キーフレームに加える前にフィルタリングされる、請求項１記載の方法。
ＥＥＥ３．前記再構成されたキーフレームと前記アップサンプリングされた再構成されたキーフレームとの間の差分は、前記再構成された非キーフレームに加える前に動き補償される、請求項１記載の方法。
ＥＥＥ４．画像の非キーフレームを前記画像のキーフレームを介し処理する方法であって、
ダウンサンプリングされた再構成されたキーフレームを生成するため、再構成されたキーフレームをダウンサンプリングするステップと、
前記ダウンサンプリングされた非キーフレームとダウンサンプリングされた再構成されたキーフレームとの間の差分を生成するステップと、
アップサンプリングされた差分を生成するため、前記差分をアップサンプリングするステップと、
前記再構成されたキーフレームに前記アップサンプリングされた差分を加えるステップと、
を有する方法。
ＥＥＥ５．前記キーフレームは、前記非キーフレームの近傍のキーフレームである、請求項４記載の方法。
ＥＥＥ６．前記差分を生成するステップ、前記アップサンプリングするステップ及び前記加えるステップは、前記画像の復号化段階で実行される、請求項４記載の方法。
ＥＥＥ７．画像の非キーフレームを前記画像の近傍のキーフレームを介し処理する方法であって、
前記非キーフレームと前記キーフレームとの間の差分を生成するステップと、
ダウンサンプリングされた差分を生成するため、前記差分をダウンサンプリングするステップと、
アップサンプリングされた差分を生成するため、前記ダウンサンプリングされた差分をアップサンプリングするステップと、
前記キーフレームを再構成するステップと、
前記再構成されたキーフレームに前記アップサンプリングされた差分を加えるステップと、
を有する方法。
ＥＥＥ８．前記キーフレームは、前記非キーフレームの近傍のキーフレームである、請求項７記載の方法。
ＥＥＥ９．前記アップサンプリングするステップ及び前記加えるステップは、前記画像の復号化段階において実行される、請求項７記載の方法。
ＥＥＥ１０．画像の非キーフレームを前記画像のキーフレームを介し後処理する方法であって、
ダウンサンプリングされた再構成されたキーフレームを生成するため、複数の再構成されたキーフレームをダウンサンプリングするステップと、
アップサンプリングされた再構成されたキーフレームを生成するため、前記ダウンサンプリングされた再構成されたキーフレームをアップサンプリングするステップと、
前記再構成されたキーフレームと各自のアップサンプリングされた再構成されたキーフレームとの間の差分を生成するステップと、
前記再構成された非キーフレームを補償するため、再構成された非キーフレームに前記差分の和を加えるステップと、
を有する方法。
ＥＥＥ１１．前記キーフレームは、前記非キーフレームの前の１以上のキーフレーム及び／又は前記非キーフレームの後の１以上のキーフレームを有する、請求項１０記載の方法。
ＥＥＥ１２．前記差分は、加重パラメータに基づき重み付けされた差分である、請求項１０記載の方法。
ＥＥＥ１３．前記加重パラメータは、各差分のキーフレームと前記非キーフレームとの間の時間距離に依存する、請求項１２記載の方法。
ＥＥＥ１４．前記加重パラメータは、固定的パラメータである、請求項１２記載の方法。
ＥＥＥ１５．前記加重パラメータは、現在の非キーフレームとリファレンスキーフレームとの間の差分に依存する、請求項１２記載の方法。
ＥＥＥ１６．前記加重パラメータは、適応的である、請求項１２記載の方法。
ＥＥＥ１７．前記差分の和を加えるステップは、前記キーフレームの適応的に選択されたサブセットを参照して生成される前記差分の和に限定される、請求項１０記載の方法。
ＥＥＥ１８．前記再構成された非キーフレームはさらに、以前に後処理された非キーフレームを考慮することによって補償される、請求項１０記載の方法。
ＥＥＥ１９．画像の非キーフレームを前記画像のキーフレームを介し後処理する方法であって、
ダウンサンプリングされた再構成されたキーフレームを生成するため、再構成されたキーフレームをダウンサンプリングするステップと、
ダウンサンプリングされた再構成された各キーフレームについて、ダウンサンプリングされた非キーフレームと前記ダウンサンプリングされた再構成されたキーフレームとの間の差分を生成するステップと、
アップサンプリングされた差分を生成するため、各差分をアップサンプリングするステップと、
変更されたアップサンプリングされた差分を生成するため、アップサンプリングされた各差分に再構成された各キーフレームを加えるステップと、
補償された非キーフレームを生成するため、前記変更されたアップサンプリングされた差分を一緒に加えるステップと、
を有する方法。
ＥＥＥ２０．前記変更されたアップサンプリングされた差分は、加重パラメータに基づき重み付けされた変更されたアップサンプリングされた差分である、請求項１９記載の方法。
ＥＥＥ２１．前記加重パラメータは、各差分のキーフレームと前記非キーフレームとの間の時間距離に依存する、請求項２０記載の方法。
ＥＥＥ２２．前記加重パラメータは、固定的パラメータである、請求項２０記載の方法。
ＥＥＥ２３．前記加重パラメータは、現在の非キーフレームとリファレンスキーフレームとの間の差分に依存する、請求項２０記載の方法。
ＥＥＥ２４．前記加重パラメータは、適応的である、請求項２０記載の方法。
ＥＥＥ２５．画像の非キーフレームを前記画像のキーフレームを介し後処理する方法であって、
再構成されたキーフレームを提供するステップと、
アップサンプリングされた差分を生成するため、再構成された各キーフレームと非キーフレームとの間のダウンサンプリングされた差分をアップサンプリングするステップと、
変更されたアップサンプリングされた差分を生成するため、再構成された各キーフレームにアップサンプリングされた各差分を加えるステップと、
補償された非キーフレームを生成するため、前記変更されたアップサンプリングされた差分を一緒に加えるステップと、
を有する方法。
ＥＥＥ２６．前記変更されたアップサンプリングされた差分は、加重パラメータに基づき重み付けされた変更されたアップサンプリングされた差分である、請求項２５記載の方法。
ＥＥＥ２７．前記加重パラメータは、各差分のキーフレームと前記非キーフレームとの間の時間距離に依存する、請求項２６記載の方法。
ＥＥＥ２８．前記加重パラメータは、固定的パラメータである、請求項２６記載の方法。
ＥＥＥ２９．前記加重パラメータは、現在の非キーフレームとリファレンスキーフレームとの間の差分に依存する、請求項２６記載の方法。
ＥＥＥ３０．前記加重パラメータは、適応的である、請求項２６記載の方法。
ＥＥＥ３１．画像の非キーフレーム部分を前記画像の復号化中に更新するか否か評価する方法であって、
第１非キーフレーム部分を提供するステップと、
キーフレーム部分と前記キーフレーム部分のアップサンプリングされたバージョンとの間の差分キーフレーム部分を提供するステップと、
第２非キーフレーム部分を生成するため、前記第１非キーフレーム部分に前記差分キーフレーム部分を加えるステップと、
前記第２非キーフレーム部分をダウンサンプリングするステップと、
前記ダウンサンプリングされた第２非キーフレーム部分とダウンサンプリングされた第１非キーフレーム部分との間の差分部分が閾値未満であるか評価するステップと、
前記差分部分が前記閾値未満である場合、前記第２非キーフレーム部分に前記非キーフレーム部分を更新するステップと、
前記差分部分が前記閾値未満でない場合、前記第１非キーフレーム部分を維持するステップと、
を有する方法。
ＥＥＥ３２．前記キーフレームは、前記非キーフレームの近傍フレームである、請求項３１記載の方法。
ＥＥＥ３３．前記キーフレーム部分は、前記キーフレームのピクセルであり、
前記非キーフレーム部分は、前記非キーフレームのピクセルである、請求項３１又は３２記載の方法。
ＥＥＥ３４．前記評価するステップは、減少する閾値により繰り返し実行される、請求項３１乃至３３何れか一項記載の方法。
ＥＥＥ３５．画像の非キーフレーム部分を前記画像の復号化中に更新する方法であって、
第１非キーフレーム部分を提供するステップと、
キーフレーム部分と前記キーフレーム部分のアップサンプリングされたバージョンとの間の差分キーフレーム部分を提供するステップと、
第２非キーフレーム部分を生成するため、前記第１非キーフレーム部分に前記差分キーフレーム部分を加えるステップと、
前記第２非キーフレーム部分をダウンサンプリングするステップと、
ダウンサンプリングされた第１非キーフレーム部分と前記ダウンサンプリングされた第２非キーフレーム部分との間の差分を生成するステップと、
前記差分をアップサンプリングするステップと、
更新された非キーフレーム部分を生成するため、前記第２非キーフレーム部分に前記アップサンプリングされた差分を加えるステップと、
を有する方法。
ＥＥＥ３６．前記キーフレームは、前記非キーフレームの近傍フレームである、請求項３５記載の方法。
ＥＥＥ３７．前記キーフレーム部分は、前記キーフレームのピクセルであり、
前記非キーフレーム部分は、前記非キーフレームのピクセルである、請求項３５又は３６記載の方法。
ＥＥＥ３８．画像の非キーフレーム部分に前記画像の復号化処理中に時間エッジ補償を適用するか否か評価する方法であって、
前記画像のキーフレーム部分を提供するステップと、
ダウンサンプリングされたキーフレーム部分を生成するため、前記キーフレーム部分をダウンサンプリングするステップと、
アップサンプリングされたキーフレーム部分を生成するため、前記ダウンサンプリングされたキーフレーム部分をアップサンプリングするステップと、
前記アップサンプリングされたキーフレーム部分と未補償の非キーフレーム部分との差分が閾値未満であるか評価するステップと、
前記差分が前記閾値未満である場合、前記キーフレーム部分と前記アップサンプリングされたキーフレーム部分との間の差分を前記非キーフレーム部分に加えることによって、前記非キーフレーム部分を補償するステップと、
前記差分が前記閾値未満でない場合、前記非キーフレーム部分を未補償に維持するステップと、
を有する方法。
ＥＥＥ３９．前記キーフレームは、前記非キーフレームの近傍フレームである、請求項３８記載の方法。
ＥＥＥ４０．前記キーフレーム部分は、前記キーフレームのピクセルであり、
前記非キーフレーム部分は、前記非キーフレームのピクセルである、請求項３８又は３９記載の方法。
ＥＥＥ４１．前記評価するステップは、減少する閾値により繰り返し実行される、請求項３８乃至４０何れか一項記載の方法。
ＥＥＥ４２．画像の非キーフレームに前記画像の復号化処理中に時間エッジ補償を適用するか否か評価する方法であって、
前記画像の第１及び第２キーフレーム部分を提供するステップと、
ダウンサンプリングされた第１及び第２キーフレーム部分を生成するため、前記画像の第１及び第２キーフレーム部分をダウンサンプリングするステップと、
アップサンプリングされた第１及び第２キーフレーム部分を生成するため、前記ダウンサンプリングされた第１及び第２キーフレーム部分をアップサンプリングするステップと、
前記アップサンプリングされた第１キーフレーム部分と未補償の非キーフレーム部分との間の第１差分が閾値未満であるか評価するステップと、
前記アップサンプリングされた第２キーフレーム部分と前記未補償の非キーフレーム部分との間の第２差分が前記閾値未満であるか評価するステップと、
前記第１差分と前記第２差分とが前記閾値未満である場合、前記第１キーフレーム部分と前記アップサンプリングされた第１キーフレーム部分との間の差分と、前記第２キーフレーム部分と前記アップサンプリングされた第２キーフレーム部分との間の差分との和を前記非キーフレーム部分に加えることによって、前記非キーフレーム部分を補償するステップと、
前記第１差分が前記閾値未満であり、前記第２差分が前記閾値未満でない場合、前記第１キーフレーム部分と前記アップサンプリングされた第１キーフレーム部分との間の差分を前記非キーフレーム部分に加えることによって、前記非キーフレーム部分を補償するステップと、
前記第１差分が前記閾値未満でなく、前記第２差分が前記閾値未満である場合、前記第２キーフレーム部分と前記アップサンプリングされた第２キーフレーム部分との間の差分を前記非キーフレーム部分に加えることによって、前記非キーフレーム部分を補償するステップと、
前記第１差分と前記第２差分とが前記閾値未満でない場合、前記非キーフレーム部分を未補償に維持するステップと、
を有する方法。
ＥＥＥ４３．前記第１及び第２キーフレームは、前記非キーフレームの近傍フレームである、請求項４２記載の方法。
ＥＥＥ４４．前記キーフレーム部分は、前記キーフレームのピクセルであり、
前記非キーフレーム部分は、前記非キーフレームのピクセルである、請求項４２又は４３記載の方法。
ＥＥＥ４５．前記評価するステップは、減少する閾値により繰り返し実行される、請求項４２乃至４４何れか一項記載の方法。
ＥＥＥ４６．画像の非キーフレーム部分を前記画像の復号化中に更新するか否か評価する方法であって、
第１非キーフレーム部分を提供するステップと、
各キーフレーム部分と前記キーフレーム部分のアップサンプリングされたバージョンとの間の複数の差分キーフレーム部分を提供するステップと、
複数の第２非キーフレーム部分を生成するため、各非キーフレーム部分に各差分キーフレーム部分を加えるステップと、
各第２非キーフレーム部分をダウンサンプリングするステップと、
ダウンサンプリングされた各第２非キーフレーム部分とダウンサンプリングされた第１非キーフレーム部分との間の１以上の差分部分が閾値未満であるか評価するステップと、
１以上の差分部分が前記閾値未満である場合、前記非キーフレーム部分を更新し、そうでない場合、前記第１非キーフレーム部分を維持するステップと、
を有する方法。
ＥＥＥ４７．画像の非キーフレーム部分を前記画像の復号化中に更新する方法であって、
第１非キーフレーム部分を提供するステップと、
キーフレーム部分と前記キーフレーム部分のアップサンプリングされた各バージョンとの間の複数の差分キーフレーム部分を提供するステップと、
第２非キーフレーム部分を生成するため、前記第１非キーフレーム部分に前記差分キーフレーム部分を加えるステップと、
前記第２非キーフレーム部分をダウンサンプリングするステップと、
ダウンサンプリングされた第１非キーフレーム部分と前記ダウンサンプリングされた第２非キーフレーム部分との間の差分を生成するステップと、
前記差分をアップサンプリングするステップと、
更新された非キーフレーム部分を生成するため、前記第２非キーフレーム部分に前記アップサンプリングされた差分を加えるステップと、
を有する方法。
ＥＥＥ４８．前記差分キーフレームを加えるステップは、加重和である、請求項４７記載の方法。
ＥＥＥ４９．画像の再構成されたフレームを前記画像の近傍フレームを介しエンハンスする方法であって、
ダウンサンプリングされた再構成されたフレームを生成するため、エンハンスされる前記フレームの再構成された近傍フレームをダウンサンプリングするステップと、
アップサンプリングされた再構成されたフレームを生成するため、前記ダウンサンプリングされた再構成されたフレームをアップサンプリングするステップと、
前記再構成されたフレームと前記アップサンプリングされた再構成されたフレームとの間の差分を生成するステップと、
前記エンハンスされる再構成されたフレームに前記差分を加えるステップと、
を有する方法。
ＥＥＥ５０．前記エンハンスされる再構成されたフレームに前記差分を加えるステップは、前記再構成されたフレームに高周波数成分を加えることによって、前記再構成されたフレームをエンハンスする、請求項４９記載の方法。
ＥＥＥ５１．画像のフレームを前記画像の近傍フレームを介しエンハンスする方法であって、
ダウンサンプリングされた再構成されたフレームを生成するため、前記エンハンスされるフレームの再構成された近傍フレームをダウンサンプリングするステップと、
エンハンスされるダウンサンプリングされたフレームと前記ダウンサンプリングされた再構成されたキーフレームとの間の差分を生成するステップと、
アップサンプリングされた差分を生成するため、前記差分をアップサンプリングするステップと、
前記再構成された近傍フレームに前記アップサンプリングされた差分を加えるステップと、
を有する方法。
ＥＥＥ５２．前記再構成された近傍フレームに前記アップサンプリングされた差分を加えるステップは、前記画像のフレームに高周波数成分を加えることによって、前記画像のフレームをエンハンスする、請求項５１記載の方法。
ＥＥＥ５３．画像のフレームを前記画像の近傍フレームを介しエンハンスする方法であって、
前記エンハンスされるフレームと前記近傍フレームとの間の差分を生成するステップと、
ダウンサンプリングされた差分を生成するため、前記差分をダウンサンプリングするステップと、
アップサンプリングされた差分を生成するため、前記ダウンサンプリングされた差分をアップサンプリングするステップと、
前記近傍フレームを再構成するステップと、
前記再構成された近傍フレームに前記アップサンプリングされた差分を加えるステップと、
を有する方法。
ＥＥＥ５４．前記再構成された近傍フレームに前記アップサンプリングされた差分を加えるステップは、前記画像のフレームに高周波数成分を加えることによって、前記画像のフレームをエンハンスする、請求項５３記載の方法。
ＥＥＥ５５．画像のフレームを前記画像の近傍フレームを介しエンハンスする方法であって、
ダウンサンプリングされた再構成された近傍フレームを生成するため、複数の再構成された近傍フレームをダウンサンプリングするステップと、
アップサンプリングされた再構成された近傍フレームを生成するため、前記ダウンサンプリングされた再構成された近傍フレームをアップサンプリングするステップと、
前記再構成された近傍フレームと前記アップサンプリングされた再構成された各近傍フレームとの間の差分を生成するステップと、
再構成されたフレームをエンハンスするため、前記再構成されたフレームに前記差分の和を加えるステップと、
を有する方法。
ＥＥＥ５６．前記再構成されたフレームに前記差分の和を加えるステップは、前記再構成されたフレームに高周波数成分を加えることによって、前記再構成されたフレームをエンハンスする、請求項５５記載の方法。
ＥＥＥ５７．画像のフレームを前記画像の近傍フレームを介しエンハンスする方法であって、
ダウンサンプリングされた再構成された近傍フレームを生成するため、再構成された近傍フレームをダウンサンプリングするステップと、
ダウンサンプリングされた再構成された各近傍フレームについて、エンハンスされるダウンサンプリングされたフレームと前記ダウンサンプリングされた再構成された近傍フレームとの間の差分を生成するステップと、
アップサンプリングされた差分を生成するため、各差分をアップサンプリングするステップと、
変更されたアップサンプリングされた差分を生成するため、アップサンプリングされた各差分に再構成された各近傍フレームを加えるステップと、
エンハンスされたフレームを生成するため、前記変更されたアップサンプリングされた差分を一緒に加えるステップと、
を有する方法。
ＥＥＥ５８．前記変更されたアップサンプリングされた差分を加えるステップは、前記フレームに高周波数成分を加えることによって、前記フレームをエンハンスする、請求項５７記載の方法。
ＥＥＥ５９．画像のフレームを前記画像の近傍フレームを介しエンハンスする方法であって、
再構成された近傍フレームを提供するステップと、
アップサンプリングされた差分を生成するため、再構成された各近傍フレームとエンハンスされるフレームとの間のダウンサンプリングされた差分をアップサンプリングするステップと、
変更されたアップサンプリングされた差分を生成するため、再構成された各近傍フレームにアップサンプリングされた各差分を加えるステップと、
エンハンスされたフレームを生成するため、前記変更されたアップサンプリングされた差分を一緒に加えるステップと、
を有する方法。
ＥＥＥ６０．前記変更されたアップサンプリングされた差分を加えるステップは、前記フレームに高周波数成分を加えることによって、エンハンスされたフレームを生成する、請求項５９記載の方法。
ＥＥＥ６１．請求項１乃至６０何れか一項の方法による画像の１以上のフレームを処理するシステム。
ＥＥＥ６２．画像の１以上のフレームを処理するため、請求項１乃至６０何れか一項の方法の利用。
ＥＥＥ６３．請求項１乃至６０何れか一項記載の方法をコンピュータに実行させる命令セットを有するコンピュータ可読媒体。
【図１】
0005529293.tif 000128
【図２】
0005529293.tif 000129
【図３】
0005529293.tif 000130
【図４】
0005529293.tif 000131
【図５】
0005529293.tif 000132
【図６】
0005529293.tif 000133
【図７】
0005529293.tif 000134
【図８】
0005529293.tif 000135
【図９】
0005529293.tif 000136
【図１０Ａ】
0005529293.tif 000137
【図１０Ｂ】
0005529293.tif 000138
【図１０Ｃ】
0005529293.tif 000139
【図１１】
0005529293.tif 000140
【図１２】
0005529293.tif 000141
【図１３】
0005529293.tif 000142
【図１４】
0005529293.tif 000143
【図１５】
0005529293.tif 000144
【図１６】
0005529293.tif 000145
【図１７】
0005529293.tif 000146
【図１８】
0005529293.tif 000147