(57)【要約】【課題】時間スケーラビリティを可能にするハイブリッド映像圧縮におけるフレーム予測のための方法および装置。【解決手段】本発明はディジタルマルチメディアで用いるための時間スケーリングフレームを提供するための方法および装置を指向している。本方法は、イントラ符号フレームおよび／またはインター符号フレームと共に除外可能な一方向性予測時間スケーリングフレーム通信を用いることを含む。本方法は、例えば電力制限、データレート制限、計算上の制限またはチャネル状態を満足するために、送信または復号から時間スケーリングフレームを選択的に除外する能力を含む。提示された例は、除外可能な時間スケーリングフレームを除去する決定が可能な符号器、トランスコーダおよび復号器を含む。【選択図】      図１Ａ
2011041317.tif 000002
【特許請求の範囲】
【請求項１】
マルチメディアフレームを符号化する方法であって、
他のいずれのフレームを予測するためにも使用されない除外可能な時間スケーリングフレームを一方向に予測することによって、除外可能な時間スケーリングフレームを符号化することを含む方法。
【請求項２】
前記他のフレームから予測されたものではないイントラ符号化フレームを符号化することをさらに含む請求項１に記載の方法。
【請求項３】
前記少なくとも１つのイントラ符号化または予測フレームから予測された予測フレームを符号化することをさらに含む請求項２に記載の方法。
【請求項４】
前記予測フレームを符号化することは、前記予測フレームを前方予測することを含む請求項３に記載の方法。
【請求項５】
メモリに前記符号化フレームを格納することをさらに含む請求項１に記載の方法。
【請求項６】
前記除外可能な時間スケーリングフレームとして識別するための付加データを持つ除外可能な時間スケーリングフレームを符号化することをさらに含む請求項１に記載の方法。
【請求項７】
前記符号化フレームをネットワークを通じて伝送することをさらに含む請求項３に記載の方法。
【請求項８】
前記符号化されたイントラ符号化フレームおよび符号化された予測フレームをネットワークを通じて伝送し、前記符号化された除外可能な時間スケーリングフレームを伝送から除去することをさらに含む請求項３に記載の方法。
【請求項９】
前記動きベクトルおよび残留誤差データを持つ予測フレームを符号化することと、
前記動きベクトルおよび残留誤差データを持つ前記除外可能な時間スケーリングフレームを符号化することと、をさらに含む請求項３に記載の方法。
【請求項１０】
前記伝送されたフレームを受信することと、
前記受信したフレームを復号することと、をさらに含む請求項７に記載の方法。
【請求項１１】
前記伝送されたフレームを受信することと、
前記受信したイントラ符号化フレームおよび前記受信した予測フレームを復号することと、をさらに含み、前記受信した除外可能な時間スケーリングフレームを除去する請求項７に記載の方法。
【請求項１２】
前記伝送されたフレームを受信することと、
前記受信した除外可能な時間スケーリングフレームを予め定められた識別子により識別することと、をさらに含む請求項７に記載の方法。
【請求項１３】
前記除外可能な時間スケーリングフレームを符号化するステップは、前記除外可能な時間スケーリングフレームを前方予測することを含む請求項１に記載の方法。
【請求項１４】
前記除外可能な時間スケーリングフレームを符号化するステップは、前記除外可能な時間スケーリングフレームを後方予測することを含む請求項１に記載の方法。
【請求項１５】
マルチメディアフレームを符号化する装置であって、
他のいずれのフレームを予測するためにも使用されない除外可能な時間スケーリングフレームを一方向に予測することによって、前記除外可能な時間スケーリングフレームを符号化する手段を含む装置。
【請求項１６】
他のフレームから予測されたものではないイントラ符号化フレームを符号化する手段をさらに含む請求項１５に記載の装置。
【請求項１７】
少なくとも１つのイントラ符号化または予測フレームから予測される予測フレームを符号化する手段をさらに含む請求項１６に記載の装置。
【請求項１８】
前記予測フレームを符号化する手段は、前方予測の手段を含む請求項１７に記載の装置。
【請求項１９】
メモリに前記符号化フレームを格納する手段をさらに含む請求項１５に記載の装置。
【請求項２０】
前記除外可能な時間スケーリングフレームとして識別するための付加データを持つ除外可能な時間スケーリングフレームを符号化する手段をさらに含む請求項１５に記載の装置。
【請求項２１】
前記符号化フレームをネットワークを通じて伝送する手段をさらに含む請求項１７に記載の装置。
【請求項２２】
前記符号化されたイントラ符号化フレームおよび符号化された予測フレームをネットワークを通じて伝送する手段と、
前記符号化された除外可能な時間スケーリングフレームを伝送から除去する手段とをさらに含む請求項１７に記載の装置。
【請求項２３】
動きベクトルおよび残留誤差データを持つ予測フレームを符号化する手段と、そして
動きベクトルおよび残留誤差データを持つ前記除外可能な時間スケーリングフレームを符号化する手段とをさらに含む
請求項１７に記載の装置。
【請求項２４】
前記除外可能な時間スケーリングフレームを符号化する手段は、前記除外可能な時間スケーリングフレームを前方予測する手段を含む請求項１５に記載の装置。
【請求項２５】
前記除外可能な時間スケーリングフレームを符号化する手段は、前記除外可能な時間スケーリングフレームを後方予測する手段を含む請求項１５に記載の装置。
【請求項２６】
マルチメディアフレームを符号化する電子デバイスであって、
他のいずれのフレームを予測するためにも使用されない除外可能な時間スケーリングフレームを一方向に予測することによって、前記除外可能な時間スケーリングフレームを符号化するように構成された電子デバイス。
【請求項２７】
他のフレームから予測されたものではないイントラ符号化フレームを符号化するようにさらに構成された請求項２６に記載の電子デバイス。
【請求項２８】
少なくとも１つのイントラ符号化または予測フレームから予測された予測フレームを符号化するようにさらに構成された請求項２７に記載の電子デバイス。
【請求項２９】
前記予測フレームを前方予測を用いて符号化するようにさらに構成された請求項２８に記載の電子デバイス。
【請求項３０】
メモリに前記符号化フレームを格納するようにさらに構成された請求項２６に記載の電子デバイス。
【請求項３１】
前記除外可能な時間スケーリングフレームとして識別するための付加データを持つ前記除外可能な時間スケーリングフレームを符号化するようにさらに構成された請求項２６に記載の電子デバイス。
【請求項３２】
前記符号化フレームをネットワークを通じて伝送するようにさらに構成された請求項２８に記載の電子デバイス。
【請求項３３】
前記符号化されたイントラ符号化フレームおよび符号化された予測フレームをネットワークを通じて伝送し、前記符号化された除外可能な時間スケーリングフレームを伝送から除去するようにさらに構成された請求項２８に記載の電子デバイス。
【請求項３４】
前記動きベクトルおよび残留誤差データを持つ前記予測フレームを符号化し、前記動きベクトルおよび残留誤差データを持つ前記除外可能な時間スケーリングフレームを符号化するようにさらに構成された請求項２８に記載の電子デバイス。
【請求項３５】
前記除外可能な時間スケーリングフレームを前方予測を用いて符号化するようにさらに構成された請求項２６に記載の電子デバイス。
【請求項３６】
前記除外可能な時間スケーリングフレームを後方予測を用いて符号化するようにさらに構成された請求項２６に記載の電子デバイス。
【請求項３７】
計算機にマルチメディアフレームを符号化する方法を実行させるための命令を有する計算機読み出し可能な媒体であって、
他のフレームから予測されたものではないイントラ符号化フレームを符号化することと、
少なくとも１つのイントラ符号化または予測フレームから予測された予測フレームを符号化することと、そして
他のいずれのフレームを予測するためにも使用されない除外可能な時間スケーリングフレームを一方向に予測することによって、前記除外可能な時間スケーリングフレームを符号化することとを含む、
計算機読み出し可能な媒体。
【請求項３８】
マルチメディアフレームを復号する方法であって、
符号化フレームデータを受信することと、
他のいずれのフレームを予測するためにも使用されない一方向に予測された除外可能な時間スケーリングフレームを識別することと、
受信した符号化フレームデータを少なくとも１つの除外可能な時間スケーリングフレームを復号から除去するように復号することと、を含む方法。
【請求項３９】
他のフレームから予測されたものではないイントラ符号化フレームを受信することと、
前記イントラ符号化フレームを復号することと、をさらに含む請求項３８に記載の方法。
【請求項４０】
少なくとも１つの符号化フレームから予測された予測フレームを受信することと、
前記予測フレームを復号することと、をさらに含む請求項３９に記載の方法。
【請求項４１】
前方予測された前記除外可能な時間スケーリングフレームを受信することをさらに含む請求項３８に記載の方法。
【請求項４２】
後方予測された前記除外可能な時間スケーリングフレームを受信することをさらに含む請求項３８に記載の方法。
【請求項４３】
前記受信するステップは、無線ネットワークを通じて受信することである請求項３８に記載の方法。
【請求項４４】
前方予測された前記予測フレームを受信することをさらに含む請求項４０に記載の方法。
【請求項４５】
前記受信した除外可能な時間スケーリングフレームを予め定められた識別子で識別することをさらに含む請求項３８に記載の方法。
【請求項４６】
マルチメディアフレームを復号するための装置であって、
符号化フレームデータを受信する手段と、
他のいずれのフレームを予測するためにも使用されない一方向に予測された除外可能な時間スケーリングフレームを識別する手段と、そして
受信した符号化フレームデータを、少なくとも１つの前記除外可能な時間スケーリングフレームを復号から除去するように復号する手段と、を含む装置。
【請求項４７】
他のフレームから予測されたものではないイントラ符号化フレームを受信する手段と、
前記イントラ符号化フレームを復号する手段と、をさらに含む請求項４６に記載の装置。
【請求項４８】
少なくとも１つの符号化フレームから予測された予測フレームを受信する手段と、
前記予測フレームを復号する手段と、をさらに含む請求項４７に記載の装置。
【請求項４９】
前方予測された前記除外可能な時間スケーリングフレームを受信する手段をさらに含む請求項４６に記載の装置。
【請求項５０】
後方予測された前記除外可能な時間スケーリングフレームを受信する手段をさらに含む請求項４６に記載の装置。
【請求項５１】
前記受信する手段は、無線ネットワークを通じて受信する手段を含む請求項４６に記載の装置。
【請求項５２】
前方予測された前記予測フレームを受信する手段をさらに含む請求項４８に記載の装置。
【請求項５３】
受信した前記除外可能な時間スケーリングフレームを予め定められた識別子で識別する手段をさらに含む請求項４６に記載の装置。
【請求項５４】
マルチメディアフレーム復号のための電子デバイスであって、
符号化フレームデータを受信し、他のいずれのフレームを予測するためにも用いられない一方向に予測された任意の除外可能な時間スケーリングフレームを識別し、受信した前記符号化フレームデータを少なくとも１つの前記除外可能な時間スケーリングフレームを復号から除去するように復号するように構成された電子デバイス。
【請求項５５】
他のフレームから予測されたものではないイントラ符号化フレームを受信し、前記イントラ符号化フレームを復号するようにさらに構成された請求項５４に記載の電子デバイス。
【請求項５６】
少なくとも１つの符号化フレームから予測された予測フレームを受信し、前記予測フレームを復号するようにさらに構成された請求項５５に記載の電子デバイス。
【請求項５７】
前方予測された前記除外可能な時間スケーリングフレームを受信するようにさらに構成された請求項５４に記載の電子デバイス。
【請求項５８】
後方予測された前記除外可能な時間スケーリングフレームを受信するようにさらに構成された請求項５４に記載の電子デバイス。
【請求項５９】
前記符号化フレームデータを無線ネットワークを通じて受信するようにさらに構成された請求項５４に記載の電子デバイス。
【請求項６０】
前方予測された前記予測フレームを受信するようにさらに構成された請求項５６に記載の電子デバイス。
【請求項６１】
受信した前記除外可能な時間スケーリングフレームを先験的識別子で識別するようにさらに構成された請求項５６に記載の電子デバイス。
【請求項６２】
計算機にマルチメディアフレームを復号する方法を実行させるための命令を有する計算機読み出し可能な媒体であって、
符号化フレームデータを受信することと、
他のいずれのフレームを予測するためにも使用されない一方向に予測された除外可能な時間スケーリングフレームを識別することと、
受信した符号化フレームデータを少なくとも１つの除外可能な時間スケーリングフレームを復号から除去するように復号することと、を含む媒体。
【請求項６３】
マルチメディアフレームを時間的にスケーリングする方法であって、
第１のネットワークを通じて符号化フレームを受信することと、
少なくとも１つの符号化フレームから一方向に予測され、かつ他のいずれのフレームを予測するためにも用いられない除外可能な時間スケーリングフレームを前記第１のネットワークを通じて受信することと、
受信した前記符号化フレームを第２のネットワークを通じて送信することと、
送信から除外可能な時間スケーリングフレームを除去することと、を含む方法。
【請求項６４】
前記受信するステップは、無線ネットワークを通じて受信することを含む請求項６３に記載の方法。
【請求項６５】
前記送信するステップは、無線ネットワークを通じて送信することを含む請求項６３に記載の方法。
【請求項６６】
マルチメディアフレームを時間的にスケーリングする装置であって、
第１のネットワークを通じて符号化フレームを受信する手段と、
少なくとも１つの符号化フレームから一方向に予測され、かつ他のいずれのフレームを予測するためにも用いられない除外可能な時間スケーリングフレームを前記第１のネットワークを通じて受信する手段と、
アクセスした符号化フレームを第２のネットワークを通じて送信する手段と、
送信から前記除外可能な時間スケーリングフレームを除去する手段とを含む装置。
【請求項６７】
前記受信する手段は、無線ネットワークを通じて受信する手段を含む請求項６６に記載の装置。
【請求項６８】
前記送信する手段は、無線ネットワークを通じて送信する手段を含む請求項６６に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願］
米国特許法第１１９条の下での優先権主張。
【０００２】
本特許出願は、２００４年４月７日出願の米国仮出願番号60/560,433 "METHOD AND APPARATUS FOR PREDICTION FRAME IN HYBRID VIDEO COMPRESSION TO ENABLE TEMPORAL SCALABILITY"（時間スケーラビリティを可能にするハイブリッド映像圧縮におけるフレーム予測のための方法と装置）および２００４年１１月４日出願の米国仮出願番号60/625,700 "METHOD AND APPARATUS FOR PREDICTION FRAME IN HYBRID VIDEO COMPRESSION TO ENABLE TEMPORAL SCALABILITY"（時間スケーラビリティを可能にするハイブリッド映像圧縮におけるフレーム予測のための方法と装置）に対する優先権を主張する。これらはこの文書の譲受人に譲渡され、これによって、ここに参照として明白に組み込まれている。
【０００３】
［発明の分野］
本発明は時間スケーラビリティを提供するように符号化されたディジタルデータを配信するための方法、装置、およびシステムに関する。
【背景技術】
【０００４】
インターネットと無線通信の爆発的成長と大きな成功、およびマルチメディアサービスに対する増え続ける需要のために、インターネット並びに移動／無線チャンネル上のストリーミング媒体は非常に大きく注目されてきた。異種のインターネットプロトコル（ＩＰ）ネットワークにおいて、映像はサーバにより提供され、１つ以上のクライアントによって送出されるかもしれない。有線接続はダイヤルアップ、統合サービスディジタル通信網（ＩＳＤＮ）、ケーブル、ディジタル加入者線プロトコル（全体としてｘＤＳＬと呼ばれる）、ファイバー、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、その他を含む。伝送モードは、ユニキャストまたはマルチキャストのいずれかであるかもしれない。携帯情報端末（ＰＤＡ）、ラップトップ、デスクトップ、セットトップボックス、テレビ、ＨＤＴＶ、携帯電話その他を含む種々の個別のクライアントデバイスは、同時に同じ内容に対して異なる帯域幅のビットストリームを要求する。接続帯域幅は、時間と共に急速に変化するかもしれず（９．６ｋｂｐｓから１００Ｍｂｐｓ以上）、サーバの反応より速いかもしれない。
【０００５】
移動／無線通信はこれらの異種のＩＰネットワークと同様である。これらのチャンネルはマルチパスフェージング、シャドウイング、シンボル間干渉、および雑音妨害により、しばしば激しく劣化するため、移動／無線チャンネル上のマルチメディアコンテンツの伝送は非常に難しい。移動性およびトラヒック競合のような他のいくつかの理由も、帯域幅変動の原因となる。チャンネル雑音および利用しているユーザ数はチャネル環境の時変特性を決定する。環境状態に加えて、受信先ネットワークは移動体のローミングと同様に地理的な位置により、第２、第３世代セルラネットワークから広帯域データのみのネットワークに変るかもしれない。利用可能な帯域幅に影響するこれらのすべての変数は、マルチメディアコンテンツ伝送の適応速度調整を、動作中であっても、必要とする。したがって、異種の有線／無線ネットワーク上の映像伝送に成功するには効率的な符号化および、損失には許容力がある一方、ネットワーク状態、デバイス特性並びにユーザの好みに対する適応性が必要である。
【０００６】
異なるユーザ要求を満たし、チャンネル変動に適応するために、１つのバージョンが、伝送帯域幅、ユーザの表示装置並びに計算機の能力に基づく１つの制約が満足するような、複数の独立したバージョンのビットストリームを発生させるということはあり得る。しかし、これはサーバの記憶装置およびマルチキャストにとって効率的ではない。ハイエンドユーザに対応する単一のマクロビットストリームがサーバで形成されるスケーラブル符号化には、ローエンドの用途のためのビットストリームはマクロビットストリームのサブセットとして埋め込まれているだけである。そのような単一のビットストリームは、選択的に副ビットストリームを送信することによって、種々の用途の環境に対して適合されるかもしれない。スケーラブル符号化がもたらす別の利点は、誤りを発生しやすいチャンネル上のロバスト性のある映像伝送に対するものである。誤り防止および誤り補正を容易に行うことができる。より信頼性のある伝送チャンネルまたはより良い誤り防止は、最も重要な情報を含む基本層ビットに適用されるかもしれない。
【０００７】
ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４（全体をＭＰＥＧ−ｘと呼ぶ）、Ｈ．２６１、Ｈ．２６２、Ｈ．２６３、およびＨ．２６４（全体をＨ．２６ｘと呼ぶ）のようなハイブリッド符号器には、空間的、時間的およびＳＮ比（ＳＮＲ）のスケーラビリティがある。ハイブリッド符号化において、動き補償予測（ＭＣＰ）により時間冗長度が除外される。映像は通常一連の画像群（ＧＯＰ）に分割され、各ＧＯＰはイントラ符号化フレーム（Ｉ）（intra-coded frame (I)）で始まり、前方予測フレーム（Ｐ）(forward predicted frame (P))および双方向予測フレーム（Ｂ）(bidirectional predicted frame (B))および双方向予測フレーム（Ｂ）の配列が続く。Ｐ−フレームおよびＢ−フレーム共にインターフレームである。ＢフレームはほとんどのＭＰＥＧ様符号器において時間スケーラビリティの鍵である。しかし、ＭＰＥＧ−４のシンプルプロファイルおよびＨ．２６４のベースラインプロファイルなどのプロファイルは、Ｂフレームをサポートしていない。
【０００８】
ＭＰＥＧ−４においては、プロファイルおよびレベルが、特定のビットストリームを復号するために必要な復号器の能力に基づいてシンタックスおよびセマンティクスのサブセットを定義する手段を与える。プロファイルはビットストリームのシンタックス全体の定義されたサブセットである。レベルはビットストリーム中のパラメータに課された定義された一組の制約である。任意の与えられたプロファイルに対して、レベルは一般に復号器の処理負荷およびメモリ能力に対応している。したがって、プロファイルとレベルはビットストリームへの制限を指定し、従って、ビットストリームを復号する能力に対して制限を与える。一般に、与えられたレベルで与えられたプロファイルにより指定されるすべてのシンタックス要素のすべての許容された値を適切に復号することができる場合、復号器はそのレベルでそのプロファイルに適合すると考えられるべきである。
【発明の概要】
【０００９】
本発明の目的は、ＭＰＥＧ−４のシンプルプロファイルおよびＨ．２６４のベースラインプロファイルにも適合する、簡易であるが効果的な時間スケーラビリティを提供する方法と装置を提供することである。ＭＰＥＧ−４規格はＩＳＯ／ＩＥＣ１４４９６−２に説明されている。Ｈ．２６４規格は［ＩＳＯ／ＩＥＣ１４４９６−１０］に説明されている。
【００１０】
時間スケーラビリティを、ＭＰＥＧ−ｘもしくはＨ．２６ｘのような映像圧縮並びに配信方式に提供するための符号化方式、および、時間スケーラビリティをＭＰＥＧ−４のシンプルプロファイル並びにＨ．２６４ベースラインプロファイル準拠デバイスに提供するための符号化方式を説明する。
【００１１】
一例において、符号器またはトランスコーダは、複数ユーザに対して可変データレートおよび映像品質を提供するように適応されるかもしれない単一のビットストリームを生成するかもしれない。１つのビットストリームは動作中に生成されるかもしれないし、メモリに格納されているかもしれない。例えば帯域幅要求を満足するか、環境雑音のようなチャンネル状態を満足するか、または品質可変の映像を配信するために、映像ストリームから時間スケーリングフレーム（temporal scaling frame）を除去するかもしれない。
【００１２】
他の例において、復号器は、例えば、電池容量または復号時間を温存するために時間スケーリングフレームの復号を省略する選択をするかもしれない。
【図面の簡単な説明】
【００１３】
【図１Ａ】従来のＭＰＥＧ−４シンプルプロファイルデータストリームを示す図。
【図１Ｂ】時間スケーラビリティを可能にする従来の符号化データストリームを示す図。
【図２】本発明に従う前方予測時間スケーラビリティ方式の例を示す図。
【図３】本発明に従う後方予測時間スケーラビリティ方式の例を示す図。
【図４】本発明の前方予測一方向時間スケーリングフレームを用いた、表示用および符号化処理のフレーム順序の例を示す図。
【図５】ストリーミング画像を符号化し復号する一般的な通信システムのブロックダイアグラム。
【図６】トランス符号化デバイスのブロックダイアグラム。
【図７】本発明に従う時間スケーリングを含む符号化処理の一例を示すフローチャート。
【図８】本発明に従う時間スケーリングを含む映像配信処理の一例のフローチャート。
【発明を実施するための形態】
【００１４】
いくつかの通信システムにおいて、伝送されるべきデータは、利用可能な帯域幅をより効率的に使用するために圧縮される。例えば、動画像専門家グループ（ＭＰＥＧ）はディジタルデータ配信システムに関連するいくつかの規格を開発した。ＭＰＥＧ−４規格は、通常大きなデータ損失のある、低データレートから高データレートのチャネル用に開発された。類似の規格はＩＳＯ／ＩＥＣ  ＭＰＥＧと共にＩＴＵ−Ｔ映像符号化専門家グループ（ＶＣＥＧ）によって開発されたＨ．２６４である。
【００１５】
ＭＰＥＧ−ｘならびにＨ．２６ｘ規格は、固定長または可変長情報源符号化法を用いて映像、音声並びに他の情報の圧縮並びに配信によく適合したデータ処理並びに操作手法を説明している。特に、上で参照した規格および他のハイブリッド符号化規格並びに方法は、イントラフレーム符号化法（例えば、ランレングス符号化、ハフマン符号化およびそれに類似したもの）およびインターフレーム符号化法（例えば、前方並びに後方予測符号化、動き補償およびそれに類似したもの）を用いて映像情報を圧縮するだろう。特に、映像処理システムの場合において、ハイブリッド映像処理システムは、イントラフレームおよび／またはインターフレーム動き補償符号化を用いた映像フレームの予測に基づく圧縮符号化によって特徴づけられる。
【００１６】
イントラ符号化フレーム、前方並びに後方予測フレーム、および一方向予測時間スケーリングフレームを含む映像ストリームを符号化する方法、装置、およびシステムを説明する。時間スケーリングは、映像配信中に、送信デバイス、中間デバイスまたは受信デバイスで行われるかもしれない。
【００１７】
イントラフレーム符号化は他の画像（フィールドまたはフレーム）を参照することなく画像を符号化することを意味するが、イントラ符号化フレームは他のフレームのための参照として用いられるかもしれない。用語「イントラフレーム」、「イントラ符号化フレーム」、および「Ｉフレーム」はすべて本出願を通じて用いられるイントラ符号化で形成される映像オブジェクトの例である。
【００１８】
インター、または予測符号化は他の画像（フィールドまたはフレーム）を参照して画像を符号化することを意味する。イントラ符号化フレームに較べ、インター符号化または予測フレームは、より大きい効率で符号化されるかもしれない。本出願を通じて使用されるインターフレームの例は、予測フレーム（前方または後方予測のいずれかであり、「Ｐフレーム」とも呼ばれる）、双方向の予測フレーム（「Ｂフレーム」とも呼ばれる）および一方向予測時間スケーリングフレーム（「Ｐ＊フレーム」とも呼ばれる）である。インター符号化の他の用語は、ハイパス符号化、残差符号化、動き補償内挿および当業者に周知のその他のものを含む。
【００１９】
典型的なＭＰＥＧ復号器において、予測符号化された画素ブロック（すなわち、１つ以上の動きベクトル（motion vector）および残留誤差成分を含むブロック）は参照フレーム（イントラフレームまたは他の予測フレームが参照フレームとして利用されるかもしれない）に関して復号される。図１ＡはＭＰＥＧ−４シンプルプロファイルデータストリームを示す図である。これはＧＯＰに対するフレームの依存関係を示している。ＧＯＰ１０は初期Ｉフレーム１２およびそれに続く複数の予測Ｐフレーム１４から構成される。Ｐフレームの先行ＩまたはＰフレームへの依存性は、前方予想フレームのみをサポートするシステム（ＭＰＥＧ−４シンプルプロファイルおよびＨ．２６４ベースラインプロファイルに準拠するようなシステム）に与えられた時間スケーラビリティを制限するかもしれない。Ｐフレーム１４のいずれかを除外することは、他のＰフレームの復号において重大となるかもしれない情報の損失を招くかもしれない。Ｐフレームの除外は、例えば、映像のジッタを招き、または復号器が次のＧＯＰの開始を示す次のＩフレーム１６まで復号を続けることを不可能とするかもしれない。
【００２０】
時間スケーラビリティ問題の１つの解は、従来技術で用いられる双方向の予測フレームである。図１Ｂは時間スケーラビリティを可能にする通常の符号化データストリームを示す図である。これはＧＯＰのフレーム依存関係を示している。ＧＯＰ２０はＩフレーム２２Ａ、前方予測Ｐフレーム（forward predicted P frame）２４、および双方向予測Ｂフレーム２６で構成される。各Ｂフレームは、Ｉフレーム２２Ａまたは前方予測Ｐフレーム２４（後方予測Ｐフレームも用いられるかもしれないが本例では示さない）を基準とする前方並びに後方動きベクトルおよび残留誤差を組み合わせるかもしれない。Ｉフレーム２２Ｂは次のＧＯＰの始まりを示す。図１Ｂに示すように、ただ１つのＢフレーム２６がＩフレーム２２ＡとＰフレーム２４の間、または２つのＰフレーム２４の間に入っている。時間スケーラビリティにおいて、より大きな柔軟性を提供するために、いくつかのＢフレームが参照フレーム間に挿入されるかもしれない。他のフレームは参照フレームとしてＢフレームに依存しないため、他のフレームの復号に関して情報の損失無しにＢフレームを除外できるかもしれない。Ｂフレーム２６のこの特性により、Ｂフレーム２６をビットストリームに挿入することができるかもしれない。ビットストリームにおけるＢフレームは、チャネルの状態、帯域幅制限、電池容量、およびその他の考慮すべき事項に適合するために、符号器、トランスコーダまたは復号器のオプションとして除外されるかもしれない。例えば、参照フレーム間に３つのＢフレームがある場合、３つすべてのＢフレームを除外して、フレームレートを３／４だけ低減させるかもしれないし、または中央のＢフレームを保持して他の２つＢフレームを除外することによりフレームレートを１／２だけ低下させるかもしれない。データレートはそれに従って減少するかもしれない。
【００２１】
双方向予測は前方（一方向）予測単独に較べ、圧縮がよりよくなっているが、弊害がある。双方向予測は計算上の要求の増加が必要である。双方向予測フレームは、余分な符号化の複雑さを伴うかもしれない。マクロブロック整合（最も計算的に大きい符号化処理）を各目標マクロブロックに対して２回実行しなければならないかもしれないからである。１回は過去の参照フレームに対して、もう１回は未来の参照フレームに対してである。Ｂフレームの導入は、計算の複雑さが復号器側で増加し、スケジューリングを複雑にするかもしれない。この複雑さの増加が、ＭＰＥＧ−４シンプルプロファイルおよびＨ．２６４ベースラインプロファイルが双方向予測をサポートしない主な理由である。これらのプロファイルは携帯電話、ＰＤＡ並びに類似物のような電池並びに処理電力の効率的使用が必要なデバイスのために開発された。本発明は、そのような電力制限のあるデバイスに時間スケーラビリティを提供する効果的な方法を提供する。
【００２２】
本発明は、ＭＰＥＧ−４のシンプルプロファイルとＨ．２６４のベースラインプロファイル内のいずれのシンタックスも変更することなく時間スケーラビリティを提供する、一方向予測時間スケーリングフレームを含む。一方向予測時間スケーリングフレームは通常のＢフレームが用いるような前方および後方予測の代わりに前方または後方予測だけを用いる。さらに、他の予測フレームは一方向予測時間スケーリングフレームを参照しないかもしれない。他のフレームが時間スケーリングフレームに依存しないかもしれないため、時間スケーリングフレームは、残りのフレームに影響をすることなく、ビットストリームから除外されるかもしれない。その結果、ＭＰＥＧ−４のシンプルプロファイルまたはＨ．２６４のベースラインプロファイルに余分なシンタックスを導入する必要がないかもしれない。フレームを、標準的な予測フレームとは対照的に、一方向予測時間スケーリングフレームとして識別するために、単一付加ビットが追加されるかもしれない。
【００２３】
図２は本発明に従う前方予測時間スケーラビリティ方式の例を示す図である。ＧＯＰ２００はＩフレーム２１０Ａ、Ｐフレーム２１２、および時間スケーラビリティフレーム２１４を含む。図２に示すように、連続したＰフレーム２１２の間の一方向予測時間スケーリングＰ＊フレーム２１４として単一の前方予測フレームが用いられるかもしれない。複数の一方向時間スケーリングフレームが１つの参照フレームに依存するかもしれないことを理解するべきである。連続したＰフレーム２１２の間に複数の時間スケーリングフレームを置くことにより、データレート要求を満たすための適応性をより大きくできるかもしれない。Ｉフレーム２１０Ｂは次のＧＯＰの始まりを示す。
【００２４】
図３は本発明に従う後方予測時間スケーラビリティ方式の例を示す図である。ＧＯＰ３００はＩフレーム３１０Ａ、Ｐフレーム３１２、および時間スケーリングフレーム３１４を含む。図３に示すように、連続したＰフレーム３１２の間の一方向予測時間スケーリングＰ＊フレーム３１４として単一の後方予測フレームが用いられるかもしれない。Ｉフレーム３１０Ｂは次のＧＯＰの始まりを示す。後方および前方の両方の場合に見られるように、他のフレームはそれぞれ時間スケーリングフレーム２１４および３１４を参照しない。フレームがそれらを参照しないため、時間スケーリングフレームは他のフレームに影響することなく符号化、伝送または復号から除去されるかもしれない。これは、伝送／復号から除外された一方向予測時間スケーリングフレームの数に従って、品質および／またはデータレートのゆるやかな低下をもたらすかもしれない。
【００２５】
一方向予測時間スケーリングフレームがＢフレームより必要計算が少ないため、一方向予測時間スケーリングフレームは、電力制限または計算的に制限されたデバイスへの使用に対しては有利であるかもしれない。一方向予測時間スケーリングフレームが後続のＰフレームを予測するためには用いられないため、Ｐフレームの符号化効率は、Ｐフレームだけを用いる時と比べて、落ちるかもしれない。この符号化効率の低下は、時間スケーラビリティを持つことの付加的利点を考えれば、許容されるかもしれない。図２および図３に示す一方向予測時間スケーリングフレームの例は、ただ１つのフレームを参照している。しかし、一方向予測時間スケーリングフレームが２つ以上のフレームを参照するかもしれないことが理解されるかもしれない。２つ以上の先行または後続フレームを参照することは、計算の複雑さを増加させるが、残留誤差の大きさを減少させるかもしれない。
【００２６】
前方予測一方向時間スケーリングフレームを双方向フレームの代わりに用いると、計算上の利点に加え、短い遅延時間が実現されるかもしれない。双方向フレームは、それらが後方予測されるフレームより後側で符号化される。これは、Ｂフレームが表示される前に付加的遅延があることを意味するかもしれない。図４に本発明の前方予測一方向時間スケーリングフレームを用いた表示および符号化処理のフレーム配列の例を示す。図４に示すように、双方向予測フレームと異なり、本発明の一方向予測時間スケーリングフレームは、リモートデバイスで表示される順序と同じ順序で符号化され伝送されるかもしれない。前方予測一方向時間スケーリングフレームを順番通りに符号化し伝送することによってＢフレームを用いるときに起こる付加的な遅延を避けることができる。これはテレビ会議のような用途に対して付加的利点となるかもしれない。
【００２７】
図５はストリーミング画像を符号化し、復号するための一般的な通信システムのブロックダイアグラムである。システム５００は符号化デバイス５０５および復号デバイス５１０を含む。符号化デバイス５０５はさらにイントラ符号化部品５１５、予測符号化部品５２０、時間スケーリング部品５２５およびメモリ部品５３０をさらに含む。符号化デバイス５０５は外部ソース５３５からのデータにアクセスすることができる。外部ソース５３５は、例えば、外部メモリ、インターネットまたは生の映像および／またはオーディオフィードであるかもしれない。外部ソース５３５に含まれるデータは生（符号化されない）または符号化された状態にあるかもしれない。イントラ符号化部品５１５はイントラ符号化フレームを符号化するために用いられる。予測符号化部品５２０は、一方向予測時間スケーリングフレームを含むすべての種類の予測フレームを符号化するために用いられる。また、予測符号化部品５２０は、予測フレームを符号化するために用いられる論理回路を含むことに加えて、参照フレームを選択するために用いられる論理回路、および時間スケーリングフレームを他のフレームによる参照から除外するために用いられる論理回路を含む。予測符号化部品５２０は符号化のために生のまたは符号化データにアクセスするかもしれない。符号化データは、標準的ＰフレームまたはＩフレームを一方向予測時間スケーリングフレームで置き換えるためにアクセスされるかもしれない。符号化データ（イントラ符号化またはインター符号化されたいずれかのデータ）にアクセスすると、イントラ符号化部品５１５および予測符号化部品５２０に含まれる論理回路は符号化データを復号し、その結果再構築した生データを発生させる。この再構築された生データは、つぎに、一方向予測時間スケーリングフレーム（または、任意の他の形式のフレーム）として符号化されるかもしれない。
【００２８】
符号化の後に、符号化フレーム（encoded frame）はメモリ部品５３０または外部メモリに格納される。外部メモリは外部ソース５３５または別のメモリ部品（図示しない）と同様のものかもしれない。符号化フレームはネットワーク５４０を通じて送信（Ｔｘ）される。ネットワーク５４０は、有線または無線であるかもしれない。時間スケーリング部品５２５は、送信する前に時間スケーリングが求められているどうかを決定するための論理回路を含む。時間スケーリング部品５２５は、時間スケーリングが求められていると決定された場合、時間スケーリングフレームを識別し、送信からそれらを除去するための論理回路を含むかもしれない。符号化デバイスによって実行される符号化処理は、後段でより完全に説明される。
【００２９】
復号デバイス５１０はイントラ復号部品５４５、予測復号部品５５０、時間スケーリング部品５５５および、メモリ部品５６０を含む符号化デバイス５０５に類似した部品を含む。復号デバイス５１０はネットワーク５４０を通じて、または外部記憶装置５６５から伝送された符号化データを受信するかもしれない。イントラ復号部品５４５は、イントラ符号化データを復号するために用いられる。予測復号部品５５０は、一方向予測時間スケーリングフレームを含む予測データを復号するために用いられる。時間スケーリング部品５５５は、復号する前に時間スケーリングが求められているかどうかを決定するための論理回路を含む。本例では、時間スケーリング部品５５５は、時間スケーリングが求められていると決定された場合、時間スケーリングフレームを識別し、復号からそれらを除去するための論理回路も含むかもしれない。復号後、復号されたフレームは表示部品５７０上に表示されるか、または内部メモリ５６０もしくは外部記憶装置５６５に格納されるかもしれない。表示部品５７０は、電話またはＰＤＡ上の表示画面のような、復号デバイスの構成部分であるかもしれない。表示部品５７０は、また、外部周辺機器であるかもしれない。復号デバイスによって実行される復号処理は、後段でより完全に説明される。
【００３０】
復号デバイスを一方向予測時間スケーリングフレームをサポートするようにする変更は小さいかもしれない。Ｈ．２６４は複数参照の符号化をサポートしているため、ベースライン復号器が少なくとも２つの参照フレームをサポート可能な場合、復号器を一方向予測時間スケーリングフレームをサポートするように変更する必要はないかもしれない。ＭＰＥＧ−４のシンプルプロファイルに準拠する復号器は、バッファ内に１つの参照フレームしか許容しないかもしれない。そのため、一方向前方予測時間スケーリングフレームの復号後、参照フレーム用バッファ内の参照フレームは、バッファ内の参照フレームを復号直後の時間スケーリングフレームで置き換えられずに、後続のＰフレームのために保持されるだろう。
【００３１】
符号化デバイスおよび復号デバイスに加え、時間スケーリングがトランスコーダとして知られている中間的デバイスで行われるかもしれない。図６を参照して、トランス符号化デバイスのブロックダイアグラムを示す。トランス符号化デバイス６００は第１のネットワーク６０５と第２のネットワーク６２０の間に位置している。トランス符号化デバイス６００は、図５で示した符号化デバイス５０５のようなデバイスから符号化データを第１のネットワークを通じて受信する。トランス符号化デバイス６００はメモリ部品６１５内に受信データを格納する。また、トランス符号化デバイス６００は時間スケーリング部品６１０を含む。時間スケーリング部品６１０は、第２のネットワーク６２０上で送信する前に時間スケーリングが求められているかを決定するための論理回路を含む。時間スケーリング部品６１０は、時間スケーリングが求められていると決定された場合、時間スケーリングフレームを識別し、伝送信号からそれらを除去する論理回路を含むかもしれない。トランス符号化デバイス６００によって実行されるトランス符号化処理は、後段でより完全に説明される。
【００３２】
図７は本発明に従う時間スケーリングを含む符号化処理の一例を示すフローチャートである。符号化処理は図５に示したデバイス５０５のような符号器で行われる。ディジタル映像データ７１０は複数のフレームで構成されるＧＯＰへ符号化される。ＧＯＰは７２０で符号化されるイントラ符号化フレームで始まるかもしれない。イントラ符号化フレームは、少なくともいくつかの後続する（または、他のＧＯＰからフレームを参照するかもしれないオープンＧＯＰで後方予測する場合は、先行する）インターフレームの参照点として利用される。符号化処理７００は前方または後方予測フレームを含むかもしれない予測フレームの符号化７３０も含む。予測フレームは、前のイントラ符号化されたまたは予測フレームを参照するかもしれない動きベクトルまたは残留誤差のような動き補償データを含むかもしれない。予測フレームは、また他の予測フレーム（標準的および時間スケーリングフレームの双方）に対する参照フレームとして利用されるかもしれない。７４０で一方向予測時間スケーリングフレームを符号化することにより時間スケーラビリティが可能となる。これらのフレームは、イントラ符号化されたまたは予測フレームを参照する動き補償を含むかもしれない予測フレーム（７３０）に類似の方法で計算されるかもしれない。しかし、時間スケーリングフレーム自体は、他のフレームによる参照から除外される（すなわち、時間スケーリングフレームが任意の他のフレームを予測するために用いられることはない）。時間スケーリングフレームデータは、そのフレームを時間スケーリングフレームとして識別する付加情報も含むかもしれない。他のフレームは時間スケーリングフレームの存在に依存しないため、他のフレームに悪影響を与えずに、時間スケーリングフレームを除外することができる。７５０で符号化フレームは後で配信するためにメモリ内に格納されるかもしれない。符号化フレームは、格納ステップ７５０を使わずに符号化後に配信されるかもしれない。
【００３３】
符号化処理７００は、映像データ７１０がなくなるまで複数のＧＯＰを符号化し続けるかもしれない。複数のＧＯＰは異なる目的を満足するために異なる形式のフレームの異なる数のフレームで構成されるかもしれない。１つのＧＯＰ内に多くの時間スケーリングフレームを符号化すること（７４０）は、そのＧＯＰの配信または復号の品質または複雑さを調整する際により大きい柔軟性を提供する。
【００３４】
図８は本発明に従う時間スケーリングを含む映像配信処理の一例のフローチャートである。図８の左側は、図５に示す符号化デバイス５０５のような映像送信元における処理に対応する。右側は、図５に示す復号デバイス５１０のような受信先デバイスにおける処理に対応する。有線／無線ネットワークは、２つの側を接続するかもしれない。また有線または無線ネットワークの組合せであるかもしれない。新しいネットワークへの変換は図６に示したトランス符号化デバイス６００のようなトランス符号化デバイスを含むかもしれない。図８の処理８００は、メモリからの映像フレームデータ検索８１０で始まる。このメモリは予め作成された永久メモリであるかもしれない。または、伝送時に計算されるフレームデータを保持するためのダイナミックメモリであるかもしれない。
【００３５】
８２０で映像データを時間的にスケーリングするかどうかの決定がなされる。この決定において考慮される事項は、例えば、最大値より低いレベルの品質を提供すること、データレートをネットワークの１つの最大容量より低くすること、トラヒックを制御すること、送信元デバイスもしくは受信先デバイスの電池容量を保持すること、または符号化並びに／もしくは復号化の時間を制限することであるかもしれない。時間スケーリングが実行される場合、８３０で時間スケーリングフレームが識別され、選択的にデータストリームから除外される。どのフレームも時間スケーリングフレームを参照しないため、一方向予測時間スケーリングフレームのいずれかを除外することは、いずれの他のフレームにも影響を与えないだろう。識別は、例えば、１に設定したときはそのフレームを時間スケーリングフレームをして識別する単一付加ビットまたはフラグを含む多くの形態を取るかもしれない。この付加ビットまたはフラグは規格準拠のシンタックスまたは固有の方法を用いて符号化されるかもしれない。ビットストリームが規格（およびプロファイル）準拠となる場合、時間スケーリングフレームは相互の予め定められた符号器−サーバ通信（ネットワーク適応の場合）または相互の予め定められた符号器−復号器識別子（デバイスの複雑さ／電力適応の場合）によって識別されるかもしれない。相互の予め定められた識別子（priori identifier）は、例えば、フレームの位置（例えば奇数フレーム番号または偶数フレーム番号）、復号もしくは表示のタイムスタンプ、またはフレーム順序であるかもしれない。識別の他の形態は、フレームが他のフレームに参照されたかに関するビットストリーム内情報を用いる復号器を含むかもしれない。除外されない映像フレームは有線／無線ネットワークを通じて受信先デバイスに送信される。マルチキャスト配信の場合には複数受信先デバイスが、またはユニキャスト配信の場合は単一受信先デバイスがあるかもしれない。
【００３６】
受信先デバイス、すなわち図５の復号デバイス５１０のような復号器において、または中間ネットワークデバイス、すなわち図６のデバイス６００のようなルータもしくはトランスコーダにおいて、符号化された映像データがネットワークから取得される（８５０）。データの取得後、８６０で受信先デバイスまたは中間ネットワークデバイスはそれぞれ時間スケーリングを行うか否かを決定するかもしれない。時間スケーリングする理由は、特に中間ネットワークルータに対しては、ネットワーク容量またはネットワーク負荷に関して、映像源での理由と同様であるかもしれない。時間スケーリングする理由は、例えば、特にＰＤＡ、携帯電話および類似のもののような資源を制限されたデバイスに対する電池容量の保存も含むかもしれない。時間スケーリングが選ばれた場合、時間スケーリングフレームは識別され、例えばデータレートまたは復号時間のような目標パラメータを満足するために除去される。時間スケーリングフレームを除去した後、残りのフレームは、８８０でそれらの形式で決定される方法（例えばイントラ符号化の復号、前方予想復号など）で復号されるかもしれない。
【００３７】
上で検討した時間スケーリングの決定と除外処理は、符号化デバイス５０５（図５）のような符号器、トランス符号化デバイス６００（図６）のようなトランスコーダ、または復号デバイス５１０（図５）のような復号器で実行されるかもしれない。これらの３つのデバイスの１つ以上が、同じビットストリーム内の時間スケーリングフレームの除外の決定に関係するかもしれない。
【００３８】
説明が簡単になるように図７−８に示した方法は連続した行為として示し、説明しているが、本発明に従ういくつかの行為がここに示し説明した順序と異なる順序で、および／または他の行為と同時に発生するかもしれないため、本発明は行為の順序に限定されないことが理解される筈である。
【００３９】
本発明を、一方向予測時間スケーリングフレームのための参照フレームとしてイントラフレームおよび前方予測フレームを利用することに関連して完全に説明したが、後方予測フレームのような他のフレームが参照フレームとして同様に利用されるかもしれないことは明白である。
【００４０】
本発明を、ＭＰＥＧ−ｘおよびＨ．２６ｘ形式の圧縮方法に関連して完全に説明したが、他の映像圧縮方法が本発明の方法を実施するかもしれないことは明白である。
【００４１】
本発明の態様は以下の記述を含むが、それらに限定されない。
【００４２】
除外可能な時間スケーリングフレーム（removable temporal scaling frame）を、その除外可能な時間スケーリングフレームを一方向予測することによって符号化することを含み、その除外可能な時間スケーリングフレームは他のいずれのフレームを予測するためにも用いられない、マルチメディアフレーム符号化方法。
【００４３】
除外可能な時間スケーリングフレームを、その除外可能な時間スケーリングフレームを一方向予測することによって符号化する手段を含み、その除外可能な時間スケーリングフレームは他のいずれのフレームを予測するためにも用いられない、マルチメディアフレーム符号化装置。
【００４４】
除外可能な時間スケーリングフレームを、その除外可能な時間スケーリングフレームを一方向予測することによって符号化するように構成された電子デバイスであり、その除外可能な時間スケーリングフレームは他のいずれのフレームを予測するためにも用いられない、マルチメディアフレーム符号化用電子デバイス。
【００４５】
他のフレームからの予測ではないイントラ符号化フレームを符号化することと、少なくとも１つのイントラ符号化フレームまたは予測フレームから予測された予測フレームを符号化することと、除外可能な時間スケーリングフレームをその除外可能な時間スケーリングフレームを一方向予測することによって符号化することであって、その除外可能な時間スケーリングフレームは他のいずれのフレームを予測するためにも用いられないことを含む、マルチメディアフレーム符号化方法を計算機に実行させるための命令を有する計算機読み出し可能な媒体。
【００４６】
符号化フレームデータを受信することと、他のいずれのフレームを予測するためにも用いられない一方向に予測された除外可能な時間スケーリングフレームを識別することと、受信した符号化フレームデータを少なくとも１つの除外可能な時間スケーリングフレームを復号から除去するように復号することとを含む、マルチメディアフレーム復号方法。
【００４７】
符号化フレームデータを受信する手段と、他のいずれのフレームを予測するためにも用いられない一方向に予測された除外可能な時間スケーリングフレームを識別する手段と、受信した符号化フレームデータを、少なくとも１つの除外可能な時間スケーリングフレームを復号から除去するように、復号する手段とを含む、マルチメディアフレーム復号のための装置。
【００４８】
マルチメディアフレームを復号するための電子デバイスであって、符号化フレームデータを受信し、他のいずれのフレームを予測するためにも用いられない一方向に予測された任意の除外可能な時間スケーリングフレームを識別し、受信した符号化フレームデータを、少なくとも１つの除外可能な時間スケーリングフレームを復号から除去するように、復号するように構成された電子デバイス。
【００４９】
符号化フレームデータを受信することと、他のいずれのフレームを予測するためにも用いられない一方向に予測された除外可能な時間スケーリングフレームを識別することと、受信した符号化フレームデータを、少なくとも１つの除外可能な時間スケーリングフレームを復号から除去するように、復号することとを含む、マルチメディアフレーム復号方法を計算機に実行させるための命令を有する計算機読み出し可能な媒体。
【００５０】
第１のネットワークを通じて符号化フレームを受信することと、第１のネットワークを通じて除外可能な時間スケーリングフレームを受信することであって、その除外可能な時間スケーリングフレームが少なくとも１つの符号化フレームから一方向に予測され、かつその除外可能な時間スケーリングフレームが他のいずれのフレームを予測するためにも用いられず、受信した符号化フレームを第２のネットワークを通じて送信することと、除外可能な時間スケーリングフレームを送信から除去することとを含む、マルチメディアフレームを時間的にスケーリングする方法。
【００５１】
第１のネットワークを通じて符号化フレームを受信する手段と、第１のネットワークを通じて除外可能な時間スケーリングフレームを受信する手段であって、その除外可能な時間スケーリングフレームが少なくとも１つの符号化フレームから一方向に予測され、かつその除外可能な時間スケーリングフレームが他のいずれのフレームを予測するためにも用いられず、受信した符号化フレームを第２のネットワークを通じて送信する手段と、除外可能な時間スケーリングフレームを送信から除去する手段とを含む、マルチメディアフレームを時間的にスケーリングするための装置。
【００５２】
当業者は、情報と信号が種々の技術と技法のいずれかを用いて表されるかもしれないことを理解するだろう。例えば、上の説明中に参照されたかもしれないデータ、命令、指示、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁場もしくは磁気粒子、光学場もしくは光学粒子、またはそれらのいずれかの組合せで表されるかもしれない。
【００５３】
当業者は、ここに開示された例に関連して説明された種々の説明的論理ブロック、モジュール、およびアルゴリズムステップが電子的ハードウェア、計算機ソフトウェア、または双方の組合わせとして実施されるかもしれないことをさらに理解するだろう。ハードウェアとソフトウェアのこの互換性を明白に示すために、上では、種々の説明的部品、ブロック、モジュール、回路、およびステップをそれらの機能として一般的に説明した。そのような機能がハードウェアとして実施されるかソフトウェアとして実施されるかは、特定の用途および全体システムに課せられた設計上の制約に依存する。当業者は、説明した機能を各特定用途に対して種々の方法で実施するかもしれないが、そのような実施の決定が本発明の範囲を逸脱する原因になると解釈されるべきではない。
【００５４】
ここに開示された例に関連して説明した種々の説明的論理ブロック、モジュール、および回路は、汎用プロセッサ、ディジタル信号プロセッサ（ＤＳＰ）、特定用途向ＩＣ（ＡＳＩＣ）、プログラマブルゲートアレイ（ＦＰＧＡ）もしくは他のプログラム可能論理回路、個別ゲートもしくはトランジスタ論理回路、個別ハードウェア部品、またはここに説明した機能を実行するために設計されたそれらのいずれかの組み合わせで実施または実行されるかもしれない。汎用プロセッサはマイクロプロセッサであるかもしれないが、代替的には、プロセッサは通常のプロセッサ、コントローラ、マイクロコントローラまたは状態機械であるかもしれない。プロセッサは、また、計算デバイスの組合せ、例えばＤＳＰとマイクロプロセッサの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと関連した１つ以上のマイクロプロセッサ、またはそのような他のいずれかの構成、として実施されるかもしれない。
【００５５】
ここに開示された例に関連して説明した方法またはアルゴリズムのステップは、ハードウェア、プロセッサで実行されるソフトウェア、またはその２つの組合せで直接具体化されるかもしれない。ソフトウェアモジュールはＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、可搬型ディスク、ＣＤ−ＲＯＭ、または当業者に周知の他のいずれかの形式の記憶媒体にあるかもしれない。代表的記憶媒体は、プロセッサが記憶媒体から情報を読み出し、記憶媒体に情報を書き込むことができるように、プロセッサに結合される。代替的には、記憶媒体はプロセッサの一部であるかもしれない。プロセッサおよび記憶媒体は特定用途向ＩＣ（ＡＳＩＣ）にあるかもしれない。ＡＳＩＣは無線モデムにあるかもしれない。代替的には、プロセッサおよび記憶媒体は個別部品として無線モデムにあるかもしれない。
【００５６】
開示された例のこれまでの説明は、通常の当業者が本発明を製造しまたは使用することを可能にするように提供されている。これらの例への種々の変更は当業者に容易に明らかになるだろう。また、ここに定義した原理は本発明の精神または範囲から逸脱することなく他の例に適用されるかもしれない。
【００５７】
イントラ符号化フレーム、前方および後方予測フレーム、および一方向予測時間スケーリングフレームを含む映像ストリームを符号化し、トランス符号化し、および復号する方法、装置、およびシステムを説明した。
【図１Ａ】
2011041317.tif 000003
【図１Ｂ】
2011041317.tif 000004
【図２】
2011041317.tif 000005
【図３】
2011041317.tif 000006
【図４】
2011041317.tif 000007
【図５】
2011041317.tif 000008
【図６】
2011041317.tif 000009
【図７】
2011041317.tif 000010
【図８】
2011041317.tif 000011
【手続補正書】
【提出日】平成22年11月22日(2010.11.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
マルチメディアフレームを符号化する方法であって、
他のいずれかのフレームを予測するために使用されない、除外可能な時間スケーリングフレームであって該除外可能な時間スケーリングフレームとして識別するための付加データを持つ該除外可能な時間スケーリングフレームを表示順序に関して一方向に予測することによって、該除外可能な時間スケーリングフレームを符号化することと、
符号化されたフレームをネットワークを通じて伝送し、該付加データに従って、該符号化された除外可能な時間スケーリングフレームを該伝送から除去することと、を含む方法。
【請求項２】
メモリに該符号化フレームを格納することをさらに含む請求項１に記載の方法。
【請求項３】
該動きベクトルおよび残留誤差データを持つ該除外可能な時間スケーリングフレームを符号化することと、をさらに含む請求項１に記載の方法。
【請求項４】
該伝送されたフレームを受信することと、
該受信したフレームを復号することと、をさらに含む請求項１に記載の方法。
【請求項５】
該伝送されたフレームを受信することと、
該受信したフレームを復号することと、
該受信した除外可能な時間スケーリングフレームを除去することと、をさらに含む請求項１に記載の方法。
【請求項６】
該伝送されたフレームを受信することと、
該受信した除外可能な時間スケーリングフレームを該付加データにより識別することと、をさらに含む請求項１に記載の方法。
【請求項７】
マルチメディアフレームを符号化する装置であって、
他のいずれかのフレームを予測するために使用されない、除外可能な時間スケーリングフレームであって該除外可能な時間スケーリングフレームとして識別するための付加データを持つ該除外可能な時間スケーリングフレームを表示順序に関して一方向に予測することによって、該除外可能な時間スケーリングフレームを符号化する手段と、
符号化されたフレームをネットワークを通じて伝送し、該付加データに従って、該符号化された除外可能な時間スケーリングフレームを該伝送から除去する手段と、を含む装置。
【請求項８】
メモリに符号化フレームを格納するための手段をさらに含む請求項７に記載の装置。
【請求項９】
動きベクトルおよび残留誤差データを持つ該除外可能な時間スケーリングフレームを符号化するための手段と、をさらに含む請求項７に記載の装置。
【請求項１０】
マルチメディアフレームを符号化するための電子機器であって、
他のいずれかのフレームを予測するために使用されない、除外可能な時間スケーリングフレームであって該除外可能な時間スケーリングフレームとして識別するための付加データを持つ該除外可能な時間スケーリングフレームを表示順序に関して一方向に予測することによって、該除外可能な時間スケーリングフレームを符号化するように構成され、
符号化されたフレームをネットワークを通じて伝送し、該符号化データに従って、該符号化された除外可能な時間スケーリングフレームを該伝送から除去するようにさらに構成された電子機器。
【請求項１１】
メモリに該符号化フレームを格納するようにさらに構成された請求項１０に記載の電子機器。
【請求項１２】
動きベクトルおよび残留誤差データを持つ該除外可能な時間スケーリングフレームを符号化するようにさらに構成された請求項１０に記載の電子機器。
【請求項１３】
マルチメディアフレームを復号する方法であって、
いずれか他のフレームを予測するために使用されず、表示順序に関して一方向に予測されたいずれかの除外可能な時間スケーリングフレームであって該除外可能な時間スケーリングフレームとして識別するための付加データを持つ該除外可能な時間スケーリングフレームを含む符号化フレームデータを受信することと、
該時間スケーリングフレームを識別することと、
該受信した符号化フレームデータを、前記付加データに従って、少なくとも１つの除外可能な時間スケーリングフレームを復号から除去するように復号することと、を含む方法。
【請求項１４】
該符号化フレームデータを受信することは、無線ネットワークを通じて受信することである請求項１３に記載の方法。
【請求項１５】
該受信した除外可能な時間スケーリングフレームを該付加データにより識別することをさらに含む請求項１３に記載の方法。
【請求項１６】
マルチメディアフレームを復号するための装置であって、
いずれか他のフレームを予測するために使用されず、表示順序に関して一方向に予測されたいずれかの除外可能な時間スケーリングフレームであって該除外可能な時間スケーリングフレームとして識別するための付加データを持つ該除外可能な時間スケーリングフレームを含む符号化フレームデータを受信するための手段と、
該時間スケーリングフレームを識別するための手段と、
該受信した符号化フレームデータを、該付加データに従って、少なくとも１つの除外可能な時間スケーリングフレームを復号から除去するように復号するための手段と、を含む装置。
【請求項１７】
該符号化フレームデータを受信するための手段が、無線ネットワークを通じて受信するための手段を含む請求項１６に記載の装置。
【請求項１８】
該受信した除外可能な時間スケーリングフレームを該付加データにより識別するための手段をさらに含む請求項１６に記載の装置。
【請求項１９】
マルチメディアフレーム復号のための電子機器であって、
表示順序に関して一方向に予測されたいずれかの除外可能な時間スケーリングフレームであって該除外可能な時間スケーリングフレームとして識別するための付加データを持つ該除外可能な時間スケーリングフレームを含む符号化フレームデータを受信し、
該時間スケーリングフレームを識別し、
該受信した符号化フレームデータを、該付加データに従って、少なくとも１つの除外可能な時間スケーリングフレームを復号から除去するように、復号するように構成された電子機器。
【請求項２０】
該符号化フレームデータを無線ネットワークを通じて受信するようにさらに構成された請求項１９に記載の電子機器。
【請求項２１】
該受信した除外可能な時間スケーリングフレームを該付加データにより識別するようにさらに構成された請求項１９に記載の電子機器。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
イントラ符号化フレーム、前方および後方予測フレーム、および一方向予測時間スケーリングフレームを含む映像ストリームを符号化し、トランス符号化し、および復号する方法、装置、およびシステムを説明した。
［付記］  以下に、本発明の好ましい態様を列挙する。
［１］マルチメディアフレームを符号化する方法であって、
他のいずれのフレームを予測するためにも使用されない除外可能な時間スケーリングフレームを一方向に予測することによって、除外可能な時間スケーリングフレームを符号化することを含む方法。
［２］他のフレームから予測されたものではないイントラ符号化フレームを符号化することをさらに含む１に記載の方法。
［３］少なくとも１つのイントラ符号化または予測フレームから予測された予測フレームを符号化することをさらに含む２に記載の方法。
［４］予測フレームを符号化することが予測フレームを前方予測することを含む３に記載の方法。
［５］メモリに符号化フレームを格納することをさらに含む１に記載の方法。
［６］除外可能な時間スケーリングフレームとして識別するための付加データを持つ除外可能な時間スケーリングフレームを符号化することをさらに含む１に記載の方法。
［７］符号化フレームをネットワークを通じて伝送することをさらに含む３に記載の方法。
［８］符号化されたイントラ符号化フレームおよび符号化された予測フレームをネットワークを通じて伝送し、符号化された除外可能な時間スケーリングフレームを伝送から除去することをさらに含む３に記載の方法。
［９］動きベクトルおよび残留誤差データを持つ予測フレームを符号化することと、そして
動きベクトルおよび残留誤差データを持つ除外可能な時間スケーリングフレームを符号化することとをさらに含む３に記載の方法。
［１０］伝送されたフレームを受信することと、そして
受信したフレームを復号することをさらに含む７に記載の方法。
［１１］伝送されたフレームを受信することと、そして
受信したイントラ符号化フレームおよび受信した予測フレームを復号することとさらに含み、受信した除外可能な時間スケーリングフレームを除去することとをさらに含む７に記載の方法。
［１２］伝送されたフレームを受信することと、そして
受信した除外可能な時間スケーリングフレームを先験的な識別子により識別することとをさらに含む７に記載の方法。
［１３］除外可能な時間スケーリングフレームを符号化するステップが、除外可能な時間スケーリングフレームを前方予測することを含む１に記載の方法。
［１４］除外可能な時間スケーリングフレームを符号化するステップが、除外可能な時間スケーリングフレームを後方予測することを含む１に記載の方法。
［１５］マルチメディアフレームを符号化する装置であって、
他のいずれのフレームを予測するためにも使用されない除外可能な時間スケーリングフレームを一方向に予測することによって、除外可能な時間スケーリングフレームを符号化するための手段を含む装置。
［１６］他のフレームから予測されたものではないイントラ符号化フレームを符号化するための手段をさらに含む１５に記載の装置。
［１７］少なくとも１つのイントラ符号化または予測フレームから予測される予測フレームを符号化するための手段をさらに含む１６に記載の装置。
［１８］予測フレームを符号化するための手段が、前方予測のための手段を含む１７に記載の装置。
［１９］メモリに符号化フレームを格納するための手段をさらに含む１５に記載の装置。
［２０］除外可能な時間スケーリングフレームとして識別するための付加データを持つ除外可能な時間スケーリングフレームを符号化するための手段をさらに含む１５に記載の装置。
［２１］符号化フレームをネットワークを通じて伝送する手段をさらに含む１７に記載の装置。
［２２］符号化されたイントラ符号化フレームおよび符号化された予測フレームをネットワークを通じて伝送するための手段と、
符号化された除外可能な時間スケーリングフレームを伝送から除去するための手段とをさらに含む１７に記載の装置。
［２３］動きベクトルおよび残留誤差データを持つ予測フレームを符号化するための手段と、そして
マルチメディアフレームを符号化する装置動きベクトルおよび残留誤差データを持つ除外可能な時間スケーリングフレームを符号化するための手段とをさらに含む
１７に記載の装置。
［２４］除外可能な時間スケーリングフレームを符号化するための手段が、除外可能な時間スケーリングフレームを前方予測するための手段を含む１５に記載の装置。
［２５］除外可能な時間スケーリングフレームを符号化するための手段が、除外可能な時間スケーリングフレームを後方予測するための手段を含む１５に記載の装置。
［２６］マルチメディアフレームを符号化するための電子機器であって、
他のいずれのフレームを予測するためにも使用されない除外可能な時間スケーリングフレームを一方向に予測することによって、除外可能な時間スケーリングフレームを符号化するように構成された電子機器。
［２７］他のフレームから予測されたものではないイントラ符号化フレームを符号化するようにさらに構成された２６に記載の電子機器。
［２８］少なくとも１つのイントラ符号化または予測フレームから予測された予測フレームを符号化するようにさらに構成された２７に記載の電子機器。
［２９］予測フレームを前方予測を用いて符号化するようにさらに構成された２８に記載の電子機器。
［３０］メモリに符号化フレームを格納するようにさらに構成された２６に記載の電子機器。
［３１］除外可能な時間スケーリングフレームとして識別するための付加データを持つ除外可能な時間スケーリングフレームを符号化するようにさらに構成された２６に記載の電子機器。
［３２］符号化フレームをネットワークを通じて伝送するようにさらに構成された２８に記載の電子機器。
［３３］符号化されたイントラ符号化フレームおよび符号化された予測フレームをネットワークを通じて伝送し、符号化された除外可能な時間スケーリングフレームを伝送から除去するようにさらに構成された２８に記載の電子機器。
［３４］動きベクトルおよび残留誤差データを持つ予測フレームを符号化するように、および動きベクトルおよび残留誤差データを持つ除外可能な時間スケーリングフレームを符号化するようにさらに構成された２８に記載の電子機器。
［３５］除外可能な時間スケーリングフレームを前方予測を用いて符号化するようにさらに構成された２６に記載の電子機器。
［３６］除外可能な時間スケーリングフレームを後方予測を用いて符号化するようにさらに構成された２６に記載の電子機器。
［３７］計算機にマルチメディアフレームを符号化する方法を実行させるための命令を有する計算機読み出し可能な媒体であって、
他のフレームから予測されたものではないイントラ符号化フレームを符号化することと、
少なくとも１つのイントラ符号化または予測フレームから予測された予測フレームを符号化することと、そして
他のいずれのフレームを予測するためにも使用されない除外可能な時間スケーリングフレームを一方向に予測することによって、除外可能な時間スケーリングフレームを符号化することとを含む、
計算機読み出し可能な媒体。
［３８］マルチメディアフレームを復号する方法であって、
符号化フレームデータを受信することと、
他のいずれのフレームを予測するためにも使用されない一方向に予測された除外可能な時間スケーリングフレームを識別することと、そして
受信した符号化フレームデータを、少なくとも１つの除外可能な時間スケーリングフレームを復号から除去するように復号することとを含む方法。
［３９］他のフレームから予測されたものではないイントラ符号化フレームを受信し、そして
そのイントラ符号化フレームを復号することとをさらに含む３８に記載の方法。
［４０］少なくとも１つの符号化フレームから予測された予測フレームを受信し、そして
その予測フレームを復号することとをさらに含む３９に記載の方法。
［４１］前方予測された除外可能な時間スケーリングフレームを受信することをさらに含む３８に記載の方法。
［４２］後方予測された除外可能な時間スケーリングフレームを受信することをさらに含む３８に記載の方法。
［４３］受信のステップが無線ネットワークを通じて受信することである３８に記載の方法。
［４４］前方予測された予測フレームを受信することをさらに含む４０に記載の方法。
［４５］受信した除外可能な時間スケーリングフレームを先験的識別子で識別することをさらに含む３８に記載の方法。
［４６］マルチメディアフレームを復号するための装置であって、
符号化フレームデータを受信するための手段と、
他のいずれのフレームを予測するためにも使用されない一方向に予測された除外可能な時間スケーリングフレームを識別するための手段と、そして
受信した符号化フレームデータを、少なくとも１つの除外可能な時間スケーリングフレームを復号から除去するように復号するための手段とを含む装置。
［４７］他のフレームから予測されたものではないイントラ符号化フレームを受信するための手段と、そして
そのイントラ符号化フレームを復号するための手段とをさらに含む４６に記載の装置。
［４８］少なくとも１つの符号化フレームから予測された予測フレームを受信するための手段と、そして
その予測フレームを復号するための手段とをさらに含む４７に記載の装置。
［４９］前方予測された除外可能な時間スケーリングフレームを受信するための手段をさらに含む４６に記載の装置。
［５０］後方予測された除外可能な時間スケーリングフレームを受信するための手段をさらに含む４６に記載の装置。
［５１］受信するための手段が、無線ネットワークを通じて受信するための手段を含む４６に記載の装置。
［５２］前方予測された予測フレームを受信するための手段をさらに含む４８に記載の装置。
［５３］受信した除外可能な時間スケーリングフレームを先験的識別子で識別するための手段をさらに含む４６に記載の装置。
［５４］マルチメディアフレーム復号のための電子機器であって、
符号化フレームデータを受信し、他のいずれのフレームを予測するためにも用いられない一方向に予測された任意の除外可能な時間スケーリングフレームを識別し、および受信した符号化フレームデータを、少なくとも１つの除外可能な時間スケーリングフレームを復号から除去するように復号するように構成された電子機器。
［５５］他のフレームから予測されたものではないイントラ符号化フレームを受信し、そのイントラ符号化フレームを復号するようにさらに構成された５４に記載の電子機器。
［５６］少なくとも１つの符号化フレームから予測された予測フレームを受信し、その予測フレームを復号するようにさらに構成された５５に記載の電子機器。
［５７］前方予測された除外可能な時間スケーリングフレームを受信するようにさらに構成された５４に記載の電子機器。
［５８］後方予測された除外可能な時間スケーリングフレームを受信するようにさらに構成された５４に記載の電子機器。
［５９］符号化フレームデータを無線ネットワークを通じて受信するようにさらに構成された５４に記載の電子機器。
［６０］前方予測された予測フレームを受信するようにさらに構成された５６に記載の電子機器。
［６１］受信した除外可能な時間スケーリングフレームを先験的識別子で識別するようにさらに構成された５６に記載の電子機器。
［６２］計算機にマルチメディアフレームを復号する方法を実行させるための命令を有する計算機読み出し可能な媒体であって、
符号化フレームデータを受信することと、
他のいずれのフレームを予測するためにも使用されない一方向に予測された除外可能な時間スケーリングフレームを識別することと、そして
受信した符号化フレームデータを、少なくとも１つの除外可能な時間スケーリングフレームを復号から除去するように復号することとを含む媒体。
［６３］マルチメディアフレームを時間的にスケーリングする方法であって、
第１のネットワークを通じて符号化フレームを受信することと、
少なくとも１つの符号化フレームから一方向に予測され、かつ他のいずれのフレームを予測するためにも用いられない除外可能な時間スケーリングフレームを第１のネットワークを通じて受信することと、
受信した符号化フレームを第２のネットワークを通じて送信することと、そして
送信から除外可能な時間スケーリングフレームを除去することとを含む方法。
［６４］受信ステップが無線ネットワークを通じて受信することを含む６３に記載の方法。
［６５］送信ステップが無線ネットワークを通じて送信することを含む６３に記載の方法。
［６６］マルチメディアフレームを時間的にスケーリングするための装置であって、
第１のネットワークを通じて符号化フレームを受信するための手段と、
少なくとも１つの符号化フレームから一方向に予測され、かつ他のいずれのフレームを予測するためにも用いられない除外可能な時間スケーリングフレームを第１のネットワークを通じて受信するための手段と、
アクセスした符号化フレームを第２のネットワークを通じて送信するための手段と、そして
送信から除外可能な時間スケーリングフレームを除去するための手段とを含む装置。
［６７］受信するための手段が無線ネットワークを通じて受信するための手段を含む６６に記載の装置。
［６８］送信するための手段が無線ネットワークを通じて送信するための手段を含む６６に記載の装置。
【外国語明細書】
2011041317000001.pdf