(57)【要約】この開示は効率的な統計的多重化のためのマルチメディアコンテンツのサイズ変更の技術を記述する。選択されたセグメントに関連する符号化モジュールが、現在のデータセグメントのサイズ変更の要求に応じてデータセグメントをサイズ変更するために、符号化される動き情報の量を調節する。例えば、選択されたデータセグメントに関連する符号化モジュールは、符号化される動き情報の量を減らすために2つ以上の動きベクトルを合成する。他の例として、符号化モジュールは、データセグメント内の少なくとも1つのフレームの1つ以上のピクセルブロック用に符号化モードを再選択する。【選択図】    図４
2009525705.tif 000002
【特許請求の範囲】
【請求項１】
デジタルマルチメディアデータストリームを符号化する方法であって、
前記方法は、
前記デジタルマルチメディアデータストリームに関連するデータセグメントをサイズ変更する要求を受け取ることと、
前記要求に応じて、前記データセグメントの符号化される動き情報の量を調節して、前記データセグメントをサイズ変更することと、
を備える。
【請求項２】
前記符号化される動き情報の量の調節により前記データセグメントをサイズ変更することは、前記符号化される動き情報の量を減らすことにより前記データセグメントをサイズ変更することを備える、請求項１に記載の方法。
【請求項３】
前記符号化される動き情報の量を減らすことは、前記データセグメント内の少なくとも１つのフレームの２つ以上のピクセルブロックに関連する動き情報を合成することを備える、請求項２に記載の方法。
【請求項４】
前記データセグメントの最初のパス符号化中に生成された情報に基づいて、1つ以上のピクセルブロックのための符号化モード再選択することをさらに備える、請求項１に記載の方法。
【請求項５】
前記ピクセルブロックのためのモードを再選択することは、前記データセグメントの品質には最小の影響で、前記データセグメントのビットレートを最高に縮小することとなる前記1つ以上のピクセルブロックの符号化モードの再選択を備える、請求項４に記載の方法。
【請求項６】
前記1つ以上のピクセルブロックのための符号化モードを再選択することは、前記ピクセルブロックに関連する複数のイントラモードまたは複数のインターモードのうちの１つを再選択することを備える、請求項４に記載の方法。
【請求項７】
前記1つ以上のピクセルブロックのための符号化モードを再選択することは、1つ以上のインターモードピクセルブロックの前方予測モード、後方予測モード、および双方向予測モードのうちの１つを再選択することを備える、請求項４に記載の方法。
【請求項８】
前記符号化される動き情報の量の調節は、前記符号化される動き情報の量を増加させることを備える、請求項１に記載の方法。
【請求項９】
前記データセグメントのサイズ変更は、前記データセグメントをさらにサイズ変更する要求に応じて、1つ以上の符号化変数を調節することをさらに備える、請求項１に記載の方法。
【請求項１０】
前記1つ以上の符号化変数の調節は、前記データセグメントを符号化するビットレート、前記データセグメントを符号化する量子化パラメータおよび前記データセグメントを符号化するフレームレートのうちの1つを調節することを備える、請求項９に記載の方法。
【請求項１１】
前記データセグメントはリアルタイムデータセグメントを備える、請求項１に記載の方法。
【請求項１２】
デジタルマルチメディアデータストリームを符号化するための装置であって、
前記装置は、
前記デジタルマルチメディアデータストリームに関連するデータセグメントをサイズ変更する要求を受け取るインターフェースと、
前記要求に応じて、前記データセグメントの符号化される動き情報の量を調節することにより、前記データセグメントをサイズ変更するリサイジングモジュールと、
を備える。
【請求項１３】
前記リサイジングモジュールは、前記符号化される動き情報の量を減らすために前記データセグメントをサイズ変更する、請求項１２に記載の装置。
【請求項１４】
前記リサイジングモジュールは、前記動き情報の量を減らすために、前記データセグメント内の少なくとも1つのフレームの２つ以上のピクセルブロックに関連した動き情報を合成する、請求項１３に記載の装置。
【請求項１５】
前記リサイジングモジュールは、前記データセグメントの最初のパス符号化中に生成された情報に基づいて、１つ以上のピクセルブロックの符号化モードを再選択する、請求項１２に記載の装置。
【請求項１６】
前記リサイジングモジュールは、前記データセグメントの品質に最も小さい影響で、前記データセグメントのビットレートに最も高い縮小をもたらすところの前記1つ以上のピクセルブロックの符号化モードを再選択する、請求項１５に記載の装置。
【請求項１７】
前記リサイジングモジュールは、前記ピクセルブロックに関連する複数のイントラモードまたは複数のインターモードのうちの1つを再選択する、請求項１５に記載の装置。
【請求項１８】
前記リサイジングモジュールは、前記1つ以上のピクセルブロックの前方予測モード、後方予測モードおよび双方向予測モードのうちの１つを再選択する、請求項１５に記載の装置。
【請求項１９】
前記リサイジングモジュールは、前記符号化される動き情報の量を増加させる、請求項１２に記載の装置。
【請求項２０】
前記リサイジングモジュールは、前記データセグメントをさらにサイズ変更する要求に応じて、1つ以上の符号化変数を調節する、請求項１２に記載の装置。
【請求項２１】
前記リサイジングモジュールは、前記データセグメントを符号化するビットレート、前記データセグメントを符号化する量子化パラメータおよび前記データセグメントを符号化するフレームレートのうちの1つを調節する、請求項２０に記載の装置。
【請求項２２】
前記データセグメントはリアルタイムデータセグメントを備える、請求項１２に記載の装置。
【請求項２３】
デジタルマルチメディアデータストリームを符号化する装置であって、
前記装置は、
前記デジタルマルチメディアデータに関連したデータセグメントをサイズ変更する要求を受け取るための手段と、
前記要求に応じて、前記データセグメントの符号化される動き情報の量を調節することにより、前記データセグメントをサイズ変更するための手段と、
を備える。
【請求項２４】
前記サイズ変更する手段は、符号化される動き情報の量を減らす、請求項２３に記載の装置。
【請求項２５】
前記サイズ変更する手段は、前記データセグメント内の少なくとも1つのフレームの２つ以上のピクセルブロックに関連した動き情報を合成する、請求項２４に記載の装置。
【請求項２６】
前記サイズ変更する手段は、前記データセグメントの最初のパス符号化中に生成された情報に基づいて、１つ以上のピクセルブロックのモードを再選択する、請求項２３に記載の装置。
【請求項２７】
前記サイズ変更する手段は、前記データセグメントの品質に最も小さな影響で、前記データセグメントのビットレートに最も高い縮小をもたらすところの1つ以上のピクセルブロックの符号化モードを再選択する、請求項２６に記載の装置。
【請求項２８】
前記サイズ変更する手段は、前記ピクセルブロックに関連する複数のイントラモードあるいは複数のインターモードのうちの1つを再選択する、請求項２６に記載の装置。
【請求項２９】
前記サイズ変更する手段は、1つ以上のインターモードのピクセルブロックの前方予測モード、後方予測モードおよび双方向予測モードのうちの１つを再選択する、請求項２６に記載の装置。
【請求項３０】
前記サイズ変更する手段は、前記符号化される動き情報の量を増加させる、請求項２３に記載の装置。
【請求項３１】
前記サイズ変更する手段は、前記要求に応じて、前記データセグメントをさらにサイズ変更するために1つ以上の符号化変数を調節する、請求項２３に記載の装置。
【請求項３２】
前記サイズ変更する手段は、前記データセグメントを符号化するビットレート、前記データセグメントを符号化するフレームレートおよび前記データセグメントを符号化する量子化パラメータのうちの1つを調節する、請求項３１に記載の装置。
【請求項３３】
前記データセグメントはリアルタイムデータセグメントを備える、請求項２３に記載の装置。
【請求項３４】
デジタルビデオデータを処理するためのプロセッサであって、
前記プロセッサは、
デジタルマルチメディアデータストリームに関連するデータセグメントをサイズ変更する要求を受け取り、
前記要求に応じて、前記データセグメントのために符号化される動き情報の量の調節により、前記データセグメントをサイズ変更する、
ように適応される。
【請求項３５】
前記プロセッサは、前記符号化される動き情報量を減らすように適応される、請求項３４に記載のプロセッサ。
【請求項３６】
前記プロセッサは、前記データセグメント内の少なくとも1つのフレームの２つ以上のピクセルブロックに関連する動き情報を合成するように適応される、請求項３５に記載のプロセッサ。
【請求項３７】
前記プロセッサは、前記データセグメントの最初のパス符号化中に生成された情報に基づいて、１つ以上のピクセルブロックの符号化モードを再選択するように適応される、請求項３４に記載のプロセッサ。
【請求項３８】
前記プロセッサは、前記データセグメントの品質に最も小さな影響で、前記データセグメントのビットレートに最も高い縮小をもたらすところの1つ以上のピクセルブロックの符号化モードを再選択するように適応される、請求項３７に記載のプロセッサ。
【請求項３９】
前記プロセッサは、前記ピクセルブロックに関連した複数のイントラモードあるいは複数のインターモードのうちの1つを再選択するように適応される、請求項３７に記載のプロセッサ。
【請求項４０】
前記プロセッサは、1つ以上のインターモードピクセルブロックの前方予測モード、後方予測モードおよび双方向予測モードのうちの1つを再選択するように適応される、請求項３７に記載のプロセッサ。
【請求項４１】
前記プロセッサは、前記符号化される動き情報の量を増加させるように適応される、請求項３４に記載のプロセッサ。
【請求項４２】
前記プロセッサは、前記データセグメントをさらにサイズ変更する要求に応じて、1つ以上の符号化変数を調節するように適応される、請求項３４に記載のプロセッサ。
【請求項４３】
前記プロセッサは、前記データセグメントを符号化するビットレート、前記データセグメントを符号化するフレームレートおよび前記データセグメントを符号化する量子化パラメータのうちの1つを調節するように適応される、請求項４２に記載のプロセッサ。
【請求項４４】
デジタルビデオデータを処理するためのコンピュータプログラム製品であって、前記製品はコンピュータが読み取り可能な媒体を備え、
前記媒体は、少なくとも1台のコンピュータをして、
デジタルマルチメディアデータストリームに関連したデータセグメントをサイズ変更する要求を受け取らせ、
前記要求に応じて、前記データセグメントのための符号化される動き情報の量の調節により前記データセグメントをサイズ変更させる、
命令を有する。
【請求項４５】
前記符号化される動き情報の量の調節により前記データセグメントを前記コンピュータにサイズ変更させる命令は、前記コンピュータに前記符号化される動き情報の量を減らさせる命令を含む、請求項４４に記載のコンピュータプログラム製品。
【請求項４６】
前記コンピュータに前記符号化される動き情報の量を減らさせる命令は、前記コンピュータに前記データセグメント内の少なくとも1つのフレームの２つ以上のピクセルブロックに関連した動き情報を合成させる命令を含む、請求項４５に記載のコンピュータプログラム製品。
【請求項４７】
前記コンピュータが読み取り可能な媒体は、前記データセグメントの最初のパス符号化中に生成された情報に基づいて、1つ以上のピクセルブロックの符号化モードを前記コンピュータに再選択させる命令をさらに含む、請求項４４に記載のコンピュータプログラム製品。
【請求項４８】
前記コンピュータに前記符号化モードを再選択させる命令は、前記コンピュータに、前記データセグメントの品質に最も小さな影響で、前記データセグメントのビットレーに最も高い縮小をもたらすところの１つ以上のピクセルブロックの符号化モードを再選択させる命令を含む、請求項４７に記載のコンピュータプログラム製品。
【請求項４９】
前記コンピュータに前記符号化モードを再選択させる命令は、前記コンピュータに前記ピクセルブロックに関連した複数のイントラモードあるいは複数のインターモードのうちの1つを再選択させる命令を含む、請求項４７に記載のコンピュータプログラム製品。
【請求項５０】
前記コンピュータに前記符号化モードを再選択させる命令は、前記コンピュータに１つ以上のインターモードピクセルブロックの前方予測モード、後方予測モードおよび双方向予測モードのうちの1つを再選択させる命令を含む、請求項４７に記載のコンピュータプログラム製品。
【請求項５１】
前記コンピュータに前記符号化される動き情報の量を調節させる命令は、前記コンピュータに前記符号化される動き情報の量を増加させる命令を含む、請求項４４に記載のコンピュータプログラム製品。
【請求項５２】
前記コンピュータ読取り可能な媒体は、前記データセグメントをさらにサイズ変更する要求に応じて、前記コンピュータに1つ以上の符号化変数を調節させる命令をさらに含む、請求項４４に記載のコンピュータプログラム製品。
【請求項５３】
前記コンピュータに前記1つ以上の符号化変数を調節させる命令は、前記コンピュータに、前記データセグメントを符号化するビットレート、前記データセグメントを符号化するフレームレート、および前記データセグメントを符号化する量子化パラメータのうちの１つを調節させる命令を含む、請求項５２に記載のコンピュータプログラム製品。
【発明の詳細な説明】
【優先権の主張】
【０００１】
本願は、２００６年１月３１日に出願された「マルチメディアコンテンツ再／符号化」(MULTIMEDIA CONTENT RE/ENCODING AND STATISTICAL MULTIPLEXING)と題する米国仮出願第６０／７６３，９９５号の利益を主張し、当該仮出願の全内容は参照によってここに組込まれる。
【技術分野】
【０００２】
本開示はマルチメディアの符号化および復号化に関し、特に、効率的な統計多重化(statistical multiplexing)のためのマルチメディアのリサイジング(multimedia resizing)に関する。
【背景技術】
【０００３】
無線通信ネットワークのようなデータネットワークは、単一のターミナル用にカスタマイズされたサービスと、多数のターミナルに提供されるサービスの間でトレードオフしなければならない。例えば、リソースが限定されている多数のポータブルデバイス(加入者)へのマルチメディアコンテンツの配信は複雑な問題である。したがって、ネットワーク管理者、コンテンツ業者およびサービスプロバイダーにとって、ネットワークデバイス上でのプレゼンテーションのために、コンテンツおよび／またはその他のサービスを迅速かつ効率的に配信する方法を有することが非常に重要である。
【０００４】
コンテンツ／メディア配信システムは、リアルタイムサービスと非リアルタイムサービスを１つの伝送フレーム中に詰め込み、そのフレームをネットワーク上のデバイスに配信する。例えば、通信ネットワークは、ネットワークサーバと1つ以上のモバイルデバイスとの間の通信を提供するために、直交周波数分割多重（ＯＦＤＭ）を利用することができる。この技術は、配信ネットワークを介して配達・伝送されるサービスが詰め込まれたデータスロットを有する伝送フレームを提供する。
【発明の開示】
【概要】
【０００５】
一般に、本開示は効率的な統計多重化のためのマルチメディアコンテンツのリサイジング(resizing)の技術について記述する。より具体的には、データセグメントのリサイズの要求に応じて、符号化モジュールはデータセグメントのビットレートを縮小するためにデータセグメントをサイズ変更する。ここで使用される用語「ビットレート」は、マルチメディア・データセグメントを表わすために単位時間当たり使用されるビット数を指す。しばしば、ビットレートはキロビット／秒（ｋｂｉｔｓ／ｓ）で指定される。このように、データセグメントのビットレートはデータセグメントのサイズに相当する。したがって、データセグメントのビットレートの縮小は、データセグメントのサイズを縮小する。
【０００６】
本開示の技術に従って、符号化モジュールは符号化される動き情報(motion information)の量を調節することによってデータセグメントをリサイズする。例えば、符号化モジュールは符号化される動き情報の量を減少する。言い換えれば、サイズ変更されるデータセグメントに関連した符号化モジュールは、動き情報を符号化するためにより少ないビット数を使用し、それにより、データセグメントのサイズを縮小する。本開示の1つの態様では、選択されたデータセグメントに関連する符号化モジュールは、２つ以上の動きベクトルを合成する。他の例として、符号化モジュールは、符号化される動き情報の量を減らすために、データセグメント内の少なくとも1つのフレームの1つ以上のピクセルブロック用に符号化モードを選び直す。符号化される動き情報の量の調節に加えて、符号化モジュールは、データセグメントのビットレートをさらに縮小するために、データセグメントが再符号化されるビットレートあるいはデータセグメントを再符号化するために使用された量子化パラメータのような1つ以上の符号化変数を調節する。
【０００７】
1つの態様では、マルチメディアデータストリームを符号化する方法は、デジタルマルチメディアデータストリームに関連するデータセグメントをリサイズする要求を受け取ることと、この要求に応じて当該データセグメントについて符号化される動き情報の量を調整することによって当該データセグメントをリサイズすることを備える。
【０００８】
他の態様では、デジタル・マルチメディア・データストリームを符号化するための装置は、ディジタル・マルチメディア・データストリームに関連するデータセグメントをリサイズする要求を受け取るインターフェースと、この要求に応じて当該データセグメントについて符号化される動き情報の量を調節することによって当該データセグメントをリサイズするリサイズ化モジュールを備える。
【０００９】
さらなる態様では、デジタル・マルチメディア・データストリームを符号化するための装置は、デジタル・マルチメディア・データストリームに関連するデータセグメントのリサイズ要求を受け取るための手段と、この要求に応じて当該データセグメントについて符号化される動き情報の量を調節することによって当該データセグメントをリサイズするための手段を備える。
【００１０】
他の態様では、デジタルビデオデータを処理するためのプロセッサは、デジタル・マルチメディア・データストリームに関連するデータセグメントをリサイズする要求を受け取り、この要求に応じて当該データセグメントについて符号化される動き情報の量を調節することによって当該データセグメントをリサイズするように適応される。
【００１１】
ここに記述された技術は、ハードウェア、ソフトウェア、ファームウェアあるいはそれらの任意のコンビネーションで実行される。もしソフトウェアで実行されるならば、技術の全体もしくは一部は、それがプロセッサによって実行された時、ここに記述された方法の1つ以上を実行する命令を備えたコンピュータ読取り可能な媒体を含むコンピュータプログラム製品によって実現される。従って、本開示は、さらに、少なくとも1台のコンピュータをして、デジタル・マルチメディア・データストリームに関連したデータセグメントをリサイズする要求を受け取らせ、その要求に応じてデータセグメントについて符号化される動き情報の量を調節することによってデータセグメントをリサイズさせる命令を含むコンピュータ読取り可能な媒体を備えたデジタルビデオデータを処理するためのコンピュータプログラム製品を意図している。
【００１２】
1つ以上の態様の詳細は、添付の図面と以下の記載の中で述べられる。本開示の他の特徴、目的および利点は、記述と図面、およびクレームから明白になる。
【詳細な説明】
【００１３】
一般に、本開示は効率的な統計多重化のためのマルチメディアコンテンツのリサイズのための技術を記載している。より具体的には、データセグメントをリサイズする要求に応じて、符号化モジュールは、データセグメントのビットレートを縮小するためにデータセグメントをリサイズする。ここで使用される用語「ビットレート」は、マルチメディアデータのセグメントを表わすために単位時間当たりに使用されるビット数を指す。しばしば、ビットレートはキロビット／秒（ｋｂｉｔｓ／ｓ）で指定される。このように、データセグメントのビットレートはデータセグメントのサイズに相当する。したがって、データセグメントのビットレートの縮小は、データセグメントのサイズを縮小する。
【００１４】
本開示技術に従って、符号化モジュールは、符号化される動き情報の量を調節することによってデータセグメントをリサイズする。例えば、符号化モジュールは、符号化される動き情報の量を減少する。言い換えれば、リサイズされるデータセグメントに関連する符号化モジュールは、動き情報を符号化するためにより少ないビット数を使用し、それにより、データセグメントのサイズを縮小する。本開示の1つの態様では、選択されたデータセグメントに関連する符号化モジュールは、２つ以上の動きベクトルを合成する。他の例として、符号化モジュールは、符号化される動き情報の量を減らすために、データセグメント内の少なくとも１つのフレームの1つ以上のピクセルブロックに対して符号化モードを選び直す。符号化される動き情報の量の調節に加えて、符号化モジュールは、さらにまた、データセグメントのビットレートを縮小するために、データセグメントが再符号化されるビットレートあるいはデータセグメントを再符号化するために使用された量子化パラメータのような1つ以上の符号化変数を調節する。
【００１５】
図1は、典型的な符号化及び復号化システム10を示すブロックダイヤグラムである。符号化及び復号化システム10はマルチメディア符号化デバイス12およびマルチメディア復号化デバイス14を含む。マルチメディア符号化デバイス12はマルチメディアデータを符号化し、符号化されたデータを結合し、結合したデータを送信チャネル16経由でマルチメディア復号化デバイス14に送信する。マルチメディア符号化デバイス12は、マルチメディアデータの1本以上のチャネルをブロードキャストするために使用されるブロードキャストネットワークコンポーネントの一部を形成することができる。マルチメディア符号化デバイス12は、例えば、無線基地局、サーバ、あるいはマルチメディア復号化デバイス14のような、符号化されたマルチメディアデータの1つ以上のチャネルを1つ以上の無線装置にブロードキャストするために使用されるあらゆるインフラストラクチャーノードの一部を形成することができる。
【００１６】
マルチメディア符号化デバイス12は、マルチメディアデータの1つ以上のフローを含み、符号化されたフローを組み合わせ、組み合わされたフローを送信チャネル16経由でマルチメディア復号化デバイスに送信する多くのサービスを符号化することができる。
【００１７】
サービスは、ニュース、スポーツ、天候、財務情報、映画のようなリアルタイム及び非リアルタイムマルチメディアコンテンツやサービス、および／またはアプリケーション、プログラム、スクリプト、電子メール、ファイル転送、その他のタイプの適切なコンテンツやサービスを含む。本開示の1つの態様では、マルチメディア符号化デバイス12は、ある期間に亘って受け取られたデータフローの部分を符号化し、組み合わせて、送信する。例として、マルチメディア符号化デバイス12は、フロー上で１秒に１回の基準で作動する。言い換えれば、マルチメディア符号化デバイス12は、複数のフローのデータの1秒のセグメントを符号化し、データのスーパーフレームを形成するためにデータの1秒のセグメントを組み合わせ、そのスーパーフレームを、送信機22を介して送信チャネル16上で送信する。ここで使用されるように、用語「スーパーフレーム」は、1秒の期間または窓(window)のような所定の期間または窓の間に集められたデータセグメントのグループを指す。データセグメントは、データの1つ以上のフレームを含む。本開示技術は1秒のデータセグメントの文脈で記述されているが、本開示技術は、異なる期間（それが固定された期間であってもなくても）に受け取られたデータセグメントのために、もしくは個別のフレームやデータフレームのセットのために、他のデータセグメントを組み合わせて送信するためにも利用され得る。言い換えれば、スーパーフレームは1秒より大きいか小さい時間間隔、さらには可変の期間をカバーするように定義することができる。
【００１８】
マルチメディア復号化デバイス14は、マルチメディア符号化デバイス12によって送信された、符号化されたマルチメディアデータを受け取るユーザ装置を含む。例として、復号化デバイス14は、デジタルテレビ、無線通信装置、ポータブルデジタルアシスタント（ＰＤＡ）、ラップトップコンピュータやデスクトップコンピュータ、商標「ｉＰｏｄ」の下で売られているようなデジタル音楽・ビデオ装置の一部として、あるいは携帯電話、衛星あるいは地球を基地とした無線電話のような無線電話の一部として実行され得る。図１では簡単のために１つのマルチメディア復号化デバイス14だけが示されているが、マルチメディア符号化デバイス12は、結合されたデータフローを、1つを超えるマルチメディア復号化デバイスに送信することができる。
【００１９】
送信チャネル16は、任意の有線もしくは無線の媒体、またはその組み合わせであってよい。1つの態様では、送信チャネル16は固定帯域幅チャネルである。言い換えれば、結合したデータフローの送信に利用可能な送信チャネル資源の量は制限されている。したがって、マルチメディア符号化デバイス12が送信チャネル16経由で送信できるデータのビット数は、送信に利用可能な送信チャネル資源の量によって制限される。無線関係においては、例えば、マルチメディア符号化デバイス12が送信チャネル16経由で送信できるデータのビット数は、エアーリンクあるいはエアーインターフェースの利用可能な資源量によって制限される。送信チャネル16は、グローバル移動体通信システム（ＧＳＭ）、符号分割多元接続（ＣＤＭＡ）、ＣＤＭＡ−２０００、広帯域ＣＤＭＡ（Ｗ−ＣＤＭＡ）、ＣＤＭＡ  １ｘ  最適化された発展データ（ＥＶ−ＤＯ）、周波数分割多元接続（ＦＤＭＡ）、時分割多元接続（ＴＤＭＡ）あるいは様々なＩＥＥＥ８０１．１１ｘ標準によって定義された無線ネットワーキングを促進するために開発された標準の広いファミリーのような1つ以上の無線アクセス技術を含むことができる。
【００２０】
マルチメディア符号化デバイス12は、一定の品質レベルもしくはビットレートでデータフローの各々を出力することを試みることができる。ここに記述された技術は、どちらの場合においても適用可能である。一定の品質を維持しようとする場合には、例えば、マルチメディア符号化デバイス12は、目標品質レベルに基づいてデータフローのビットレートを選択する。ビットレートを決定するために使用される目標品質レベルは、あらかじめ選択されているか、ユーザによって選択することができるか、ユーザもしくは別のプロセスからの入力を要求する自動プロセスあるいは半自動プロセスを通じて選択されるか、または、あらかじめ決められた基準に基づいて符号化デバイスもしくはシステムによってダイナミックに選択される。目標品質レベルは、例えば符号化するアプリケーションのタイプ、あるいはマルチメディアデータを受け取っているクライアント装置のタイプに基づいて選択することができる。目標品質レベルでデータフローの各々を出力するに必要なビット数が、存在する利用可能な送信チャネル資源のビット量を超過する場合は、マルチメディア符号化デバイス12は、複数のフローのために最も高い全体的品質を確保しようとして、フロー中のビットアロケーションを管理する。
【００２１】
図１に示されるように、マルチメディア符号化デバイス１２は符号器モジュール18A-18N(まとめて「符号器モジュール18」)、非リアルタイム（ＮＲＴ）サービスモジュール19、多重化モジュール20および送信機22を含む。符号器モジュール18は、1つ以上のソースからデジタルマルチメディアデータフローを受け取る。符号器モジュール18は、例えば、符号器モジュール18に結合されたメモリ、あるいはイメージ捕獲装置からマルチメディアデータフローを受け取る。マルチメディアデータフローは、ライブのリアルタイムビデオ、オーディオ、あるいはコード化されてブロードキャストもしくはオンデマンドで伝送されるビデオ・オーディオのフローを含むことができ、あるいは、あらかじめ記録され格納されたビデオ、オーディオ、あるいはコード化されてブロードキャストもしくはオンデマンドで伝送されるビデオ・オーディオのフローを含むことができる。
【００２２】
符号器モジュール18は、データセグメントに関連して、符号器モジュール18のリアルタイムサービスに関連する品質情報やレート情報のような配信要求を多重化モジュール20に送る。ＮＲＴサービスモジュール19は、さらにＮＲＴサービスに関連して、優先要求や潜時要求のような配信要求を送る。符号器モジュール18およびＮＲＴサービスモジュール19は、多重化モジュール20からの要求に応じて多重化モジュール20に配信要求を送る。符号器モジュール18およびＮＲＴサービスモジュール19は、いくつかの異なる通信プロトコルに従って、1本以上の制御チャネルを使用して多重化モジュール20と通信する。1つの態様では、多重化モジュール20は、基礎をなす移送メカニズムとしてのメッセージトランスポート層（ＭＴＬ）を利用するプロトコルを用いて通信することができる。
【００２３】
多重化モジュール20は、例えば、品質情報、レート情報、優先要求、潜時要求などの配信要求を解析し、符号化モジュール18が現在のスーパーフレームに含むことを望むデータセグメントを送信するに十分な送信チャネル資源があるかどうかを判断する。言い換えれば、多重化モジュール20は、符号器モジュール18およびＮＲＴサービスモジュール19が現在のスーパーフレーム中に含めることを望んでいるデータセグメントが固定帯域幅のチャネル内に適合するかどうかを判断する。
【００２４】
多重化モジュール20は、例えば、選択された品質レベルの１つに対応するサイズおよび／またはビットレートで各々のデータセグメントを送るために必要な送信チャンネル資源の量を決定する。多重化モジュール20は、データセグメントを送るための十分な送信チャネル資源があるかどうかを決定するために、データセグメントの送信に必要な送信チャネル資源の量を合計し、全てのデータセグメントによって要求されるトータルの送信チャネル資源と利用可能な送信チャネル資源の量とを比較する。もし、多重化モジュール20が複数のデータセグメントが利用可能な帯域幅内に適合しないと判断する場合、例えば、必要な送信チャネル資源の合計が利用可能な送信チャネル資源を超過する場合は、多重化モジュール20は、サイズ変更されるセグメントを1つ以上選択する。多重化モジュール20は、対応する縮小サイズにおいて品質に与えるインパクト量が最小であるところのサイズ変更されるべきデータセグメントの選択を試みる。
【００２５】
多重化モジュール20は、縮小されたビットアロケーションもしくは縮小されたビットレートに従ってデジタル・マルチメディア・データフローをサイズ変更するために、選択されたデータセグメントに関連する符号化モジュール18に要求を送る。さらに、多重化モジュール20は、ＮＲＴサービスの1つ以上をサイズ変更するために、ＮＲＴモジュール19に要求を送る。多重化モジュール20は、選択されたセグメントに関連する符号器モジュール18およびＮＲＴモジュール19に、制御チャネル経由でリサイズ要求を送る。リサイズ要求は、例えば、選択されたデータセグメントに対するビット数での最大サイズを指定し、あるいはそのデータセグメントのための縮小されたビットレートを指定する。
【００２６】
選択されたデータセグメントに関連する符号化モジュール18は、それぞれのデータセグメントに関連するリサイズ要求を受け取り、マルチメディアデータのセグメントをリサイズする。符号化モジュール18およびＮＲＴサービスモジュール19は、いくつかの異なる方法によって、データセグメントをリサイズすることができる。リアルタイムサービスに関して、選択されたデータセグメントに関連する符号化モジュール18は、データセグメントをリサイズするために、符号化される動き情報の量を調整する。例えば、符号器モジュール18は、符号化される動き情報の量を減少させる。言い換えれば、選択されたデータセグメントに関連する符号器モジュール18は、動き情報を符号化するためにより少ないビット数を使用し、それにより、データセグメントのサイズを縮小する。1つの態様では、選択されたデータセグメントに関連する符号器モジュール18は、符号化される動き情報の量を減らすために2つ以上の動きベクトルを合成する。他の例として、符号器モジュール18は、データセグメント内の少なくとも1つのフレームの1つ以上のピクセルブロックに対する符号化モードを再び選択することができる。以下により詳細に記述されるように、ピクセルブロックに対する符号化モードの再選択は、動きベクトルの合成と同様の効果を有する。他の例において、符号器モジュール18は、リサイズ要求が利用可能な付加的な帯域幅があることを示す場合は、例えば、データセグメント内のフレームの1つ以上のピクセルブロックに対する符号化モードを再び選択することによって、符号化される動き情報の量を増加させることができる。
【００２７】
符号化モードは、例えば、1つ以上の予測モードを含むことができる。Ｈ．２６４のコンテキストでは、例えば、符号化モードは、同じブロックサイズのイントラ予測モードだけでなく、マクロブロックレベルのインターモード(例えば、インター16x16、インター16x8、インター8x16、インター8x8)あるいは8x8サブパーティションモード(例えば、インター8x8、インター8x4、インター4x8、インター4x4)のような予測モードを含む。さらに、符号化モードは、インターモードの各々のための前方、後方、もしくは双方向の予測モード選択を含むことができる。
【００２８】
選択されたデータセグメントに関連する符号化モジュール18は、さらに符号化される動き情報の量の調整に加えて、1つ以上の符号化変数を調整することができる。言い換えれば、符号器モジュール18は1つ以上の符号化変数を調節し、さらにデータセグメントをさらにサイズ変更するために符号化される動き情報の量を減少することができる。例えば、選択されたデータセグメントに関連する符号器モジュール18は、データセグメントが再符号化されるビットレートを調節する。上述したように、選択されたデータセグメントに関連する符号器モジュール18は、リサイズ要求で指定されるときのビットレートを縮小することができる。あるいは、符号器モジュール18は、データセグメントに割り付けられたビット数に基づく、縮小されたビットレートを決定することができる。他の例として、選択されたデータセグメントに関連する符号器モジュール18は、データセグメントを再符号化するために使用される量子化パラメータ（ＱＰ）、あるいはそれに続くデータセグメントを符号化するときのフレームレートを調整することができる。符号器モジュール18は、調整された符号化変数を使用して、データセグメントあるいはサイズを調整されたデータセグメントを再符号化する。このように、選択されたデータセグメントに関連する符号化モジュール18は、リサイズ要求で指定されたサイズまたはレートを満たすためにデータセグメントをリサイズする。
【００２９】
多重化モジュール20は、それが現在のスーパーフレームを生成する準備ができている場合、符号化されたデータセグメントを収集する。多重化モジュール20は、例えば、制御チャネル経由で符号器モジュール18に転送要求を送ることができる。この要求に応じて、符号器モジュール18はマルチメディアデータの符号化されたセグメントを多重化モジュール20に送る。多重化モジュール20は、スーパーフレームを形成するためにマルチメディアデータのフローを組み合わせて、そのスーパーフレームを送信チャンネル16経由で1つ以上の復号化デバイスに送信するために送信機22に送る。このように、多重化モジュール20は、全てのデータセグメントが固定帯域幅チャンネル16の中に適合し、その一方で、複数のデータフローの全体として最高の品質を確保するように、フロー中のビットアロケーションを管理する。
【００３０】
本開示技術はまた、非リアルタイムサービスあるいはリアルタイムサービスと非リアルタイムサービスのコンビネーションに適用され得る。例えば、多重化モジュール20は、ＮＲＴサービスモジュール19からの非リアルタイムサービスのために、優先要求や潜時要求のような配信要求を受け取り、サービスが固定帯域幅チャンネル内に適合するかどうか判断するためにリアルタイム及び非リアルタイムサービスの双方配信要求を解析する。多重化モジュール20は、さらに非リアルタイムサービスの1つ以上のリサイズを要求することができる。このように、多重化モジュール20は、リアルタイムサービスと非リアルタイムサービスの間の仲裁役を果たすことができる。しかしながら、例示の目的のために、本開示はリアルタイムサービスの文脈における符号化技術の使用について記述する。
【００３１】
マルチメディア符号化デバイス12中のコンポーネントは、ここに記述された技術を実行するために適合する典型的なものである。しかしながら、もし望まれれば、マルチメディア符号化デバイス12は他の多くのコンポーネントを含むことができる。例えば、マルチメディア符号化デバイスは、1つより多くのＮＲＴサービスモジュール19を含むことができる。さらに、本開示技術は、図1のそのようなシステム中での使用、あるいはブロードキャストシステム中での使用に必ずしも制限されない。本技術は、制限された帯域幅を備える送信チャネル上の送信用の複数のマルチメディアデータフローを符号化するために符号化技術が使用されるあらゆるマルチメディア符号化環境において適用され得る。マルチメディア符号化デバイス12の図示されたコンポーネントは、符号器/復号器（ＣＯＤＥＣ）の一部として統合され得る。
【００３２】
マルチメディア符号化デバイス12中のコンポーネントは、1台以上のプロセッサ、デジタル信号プロセッサ、特定用途向けＩＣ（ＡＳＩＣ）、フィールドプログラマブル・ゲートアレイ（ＦＰＧＡ）、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェアあるいはそれらの任意の組み合わせとして実行され得る。
【００３３】
さらに、マルチメディア符号化デバイス12は、ＭＰＥＧ（ＭＰＥＧ−４）、国際電気通信連合標準化セクター（ＩＴＵ−Ｔ）(例えばＨ．２６３、ＩＴＵ−Ｔ  Ｈ．２６４)によって開発された標準の１つ以上あるいは他のコーディング標準のようなマルチメディア・コーディング標準に従うことができる。モジュールとしての異なる特徴の描写は、マルチメディア符号化デバイス12の異なる機能的な態様を強調するよう意図されたものであって、個別のハードウェアやソフトウェア・コンポーネントによってそのようなモジュールを実現しなければならないことを必ずしも示唆するものではない。むしろ、1つ以上のモジュールに関連した機能性は、共通もしくは個別のハードウェアあるいはソフトウェア・コンポーネント内に統合することができる。したがって、その開示はマルチメディア符号化デバイス12の例に限定されるべきではない。
【００３４】
図2は、他の例示的な符号化・復号化システムを示すブロックダイヤグラムである。符号化・復号化システム30は、図1の符号化・復号化システム10と実質的には同じである。しかし、マルチメディアデータの選択されたセグメントのサイズ変更は、データの選択されたセグメントに関連するリサイジングモジュール32A-32N（集合的に「リサイジングモジュール32」)によって実行される。したがって、図1の符号器モジュール18の機能性は、符号化モジュール34A-34N（集合的に「符号化モジュール34」)とリサイジングモジュール32の間で分割される。言い換えれば、符号化モジュール34は、データセグメントに利用可能な帯域幅の割り付けと、割り付が失敗した場合のリサイズされるべき１つ以上のデータセグメントの選択に使用される各データセグメントに関連した、少なくとも品質およびレート情報のような配信要求を多重化モジュール20に供給する。
【００３５】
リサイジングモジュール32は、データセグメントをリサイズするために多重化モジュール20から要求を受け取り、リサイジングモジュール32がリサイズ要求中で指定している要求に従って、データセグメントをサイズ変更する。特に、選択されたデータセグメントに関連するリサイジングモジュール32は、例えば、ここで開示された技術に従って1つ以上の動きベクトルを合成することにより、符号化されるべき動き情報の量を減らし、こうしてデータセグメントのサイズを縮小する。符号化される動き情報の量を減らすことに加えて、リサイジングモジュール32は、データセグメントのサイズを縮小するために、1つ以上の符号化変数（例えばビットレート、フレームレートもしくはＱＰ）を調節することができる。
【００３６】
図3は、図1のマルチメディア符号化デバイス12のような、マルチメディア符号化デバイスでの使用のための典型的な符号器モジュール40を示すブロックダイヤグラムである。
【００３７】
符号器モジュール40は、例えば、図1の符号化デバイス12の符号器モジュール18のうちのいずれか1つを表わすものである。符号器モジュール40は多重化モジュールインターフェース42、コンテンツ分類モジュール44、品質レート情報生成モジュール46および符号化モジュール48を含む。符号化モジュール48は、さらに、サイズ変更のために選択されたデータセグメントをリサイズするリサイジングモジュール50を含む。
【００３８】
符号器モジュール40は、ソースからのマルチメディアデータの1つ以上のフローを受け取る。符号器モジュール40は、例えば、符号器モジュール40に結合されたメモリあるいはイメージ捕獲装置からのマルチメディアデータのフローを受け取ることができる。マルチメディアデータのフローはライブのリアルタイムビデオ、オーディオ、もしくは放送として符号化され送信されるビデオあるいはオーディオを備えることができ、または、あらかじめ記録され格納されたビデオ、オーディオ、もしくは放送として、あるいはオンデマンドとして符号化され送信されるビデオ、オーディオを備えることができる。
【００３９】
符号器モジュール40は固定ビットレートか品質水準で作動するように構成され得る。例えばいくつかの場合、符号器モジュール40は、データの内容にかかわらず、データフローの一定の認められた品質メトリックを維持するよう試みる。言い換えれば、符号器モジュール40は、目標品質水準で全てのデータフローを出力するよう試みる。一定もしくは類似の認められた品質水準を維持するために、符号器モジュール40は異なるコンテンツのデータセグメントに対して異なるビットレートを選ぶことができる。この目的のためにコンテンツ分類モジュール44は、それらのコンテンツに基づいてデータセグメントを分類する。コンテンツ分類モジュール44は、セグメントのデータの複雑さ（例えば、空間的な複雑さおよび／または一時的な複雑さ）に基づいてデータセグメントを分類する。1つの典型的なコンテンツ分類法は、共に出願中で共通譲り受け人の、「CONTENT CLASSIFICATION FOR MULTIMEDIA PROCESSING」と題する米国特許出願11/373,577号（2006年3月10日に出願）に記述され、その全内容は参照によってここに組込まれる。例えば、コンテンツ分類モジュール44は、動き情報（例えば動きベクトル）を「高」「中」「低」（ｘ軸上で）のカテゴリーに分類し、また、テキスチャー情報 (texture information)（例えば一定の割当値(constant ration values)）を「高」「中」「低」（ｙ軸上で）のカテゴリーに分類して、その交点でコンテンツの分類が表示される。この分類は、例えば、特別の品質−レート曲線に関係する。
【００４０】
コンテンツ分類モジュール44は、データセグメントを分類に基づいて1つ以上の配信要求に関連づける。コンテンツ分類モジュール44は、例えば、データセグメントを、品質−レート曲線、品質−レート表あるいはそれに類するもののような、品質とレートの各情報に関連づける。品質−レート曲線は、ビットレートの機能として、ピーク信号対雑音比（ＰＳＮＲ）のような品質メトリックをモデル化する。符号器モジュール40は、オフラインで計算された品質−レート曲線で形成される。あるいは、品質−レート情報生成モジュール46は、例えば下記の対数関数を使用して品質−レート曲線をモデル化し、品質−レート曲線を生成する。
【００４１】
Q＝ａ* ln(r)＋b
ここで、Qは品質メトリック、rはビットレート、ａとbは多くの標本データポイントを使用して計算された定数である。品質−レート情報生成モジュール46は、変化するコンテンツを備えたデータフローの品質−レート特性を表わす、複数の品質−レート曲線を保持する。例として、品質−レート情報生成モジュール46は、品質−レート曲線を、コンテンツフロー中での動きとテキスチャーの変化レベルに関連した8つの異なるクラスで保持する。一定のＰＳＮＲが一定の認められた品質を必ずしも意味しないという事実を説明するために、品質−レート情報生成モジュール46は、平均的見解スコア(mean opinion scores)（ＭＯＳ）のようなＰＳＮＲ以外の品質メトリックを使用する品質−レート曲線を保持する。あるいは、品質−レート情報生成モジュール46は、一定のＰＳＮＲが一定の認められた品質を必ずしも意味しないという事実を説明するために、品質−レート曲線を調節することができる。例えば、品質−レート情報生成モジュール46は、共に出願中で、同じ譲受人の、「CONTENT CLASSIFICATION FOR MULTIMEDIA PROCESSING」と題する米国特許出願11/373,577号（2006年3月10日に出願され、その全内容は参照によってここに組み入れられる）に詳述されているように、オフセットによって従来の品質−レート曲線を調節することができる。
【００４２】
あるいは、品質−レート情報生成モジュール46は、オフセットによって各コンテンツ曲線に関連した目標品質水準を調節することができる。例えば、高い動き、高いテキスチャーコンテンツを含んでいるデータセグメントは、目標品質水準に関して多少低い品質で符号化される。一方、低い動き、低いテキスチャーコンテンツを含んでいるデータセグメントは、目標品質水準に関して少し高い品質で符号化される。それぞれのコンテンツクラスが、全体的な目標品質水準に関連してそれ自身の調整された品質水準を有するため、符号器モジュール40は、符号器モジュール40で現在の品質水準を測定するために、各々のコンテンツクラスの品質水準を正規化(normalize)する。符号器モジュール40は下のような一次方程式によってこの正規化を達成することができる：
Ｑnorm＝Ｑr−Ｑk
ここで、Ｑnormは正規化された品質水準、Ｑrは記録された品質水準、また、Ｑkは曲線ｋの品質水準中での調節オフセットである。品質正規化が一次関数でない場合、ランク決定は品質標準正規化後に行なわれる。
【００４３】
他の例において、コンテンツ分類モジュール44は、データセグメントをあらかじめ計算された品質−レート表に関連づけ、この品質−レート表は、セグメントと各品質水準におけるセグメントのサイズに関連する1つ以上の品質水準を示している。そうするために、コンテンツ分類モジュール44は、品質−レート曲線にデータセグメントを関連させ、それは品質−レート表の特定の1つに相当する。品質−レート情報生成モジュール46は、品質−レート曲線、調整された品質−レート曲線あるいは品質−レート表をあらかじめ計算し、あらかじめ計算された品質およびレート情報をメモリ（図示せず）に格納する。コンテンツ分類モジュール44は、必要に応じて、あらかじめ計算された品質およびレート情報にアクセスする。あるいは、品質−レート情報生成モジュール46は、リアルタイムでデータセグメントの品質およびレート情報を生成する。例えば、品質−レート情報生成モジュール46は、データセグメントに関連した品質−レート曲線に基づいて品質−レート表を作成する。
【００４４】
符号器モジュール40は、現在のスーパーフレーム内に含められるデータセグメントの各々に関連して、配信要求（例えば、品質およびレート情報）を多重化モジュールインターフェース42を介して多重化モジュール20（図1）に送る。品質及びレート情報は、多重化モジュール20が、現在のスーパーフレームのサイズをモニターし、また現在のスーパーフレーム内のデータセグメントに適合するためにサイズ変更が要求される場合は、どのデータセグメントをリサイズするか決定するのを支援する。符号器モジュール40は、多重化モジュール20からの要求に応じて多重化モジュール20に品質およびレート情報を送る。上述されるように、品質およびレート情報はデータセグメントに関連した品質−レート曲線、もしくは品質−レート表を含む。
【００４５】
符号器モジュール40に関連したデータセグメントのうちのどれかをリサイズする必要がある場合、多重化モジュール20は符号器モジュール40にリサイズ要求を送る。リサイズ要求に応じて、リサイジングモジュール50は、データセグメントのサイズを縮小するためにマルチメディアデータのセグメントをサイズ変更する。この開示の技術に従って、リサイジングモジュール50は、符号化される動き情報の量を調節する。例えば、リサイジングモジュール50は、データセグメントに関連した動き情報の量を減らす。上述されるように、データセグメントの各々は1つ以上のデータフレームを含む。データフレームは、複数のピクセルブロックに分割され得る。しばしば「マクロブロック」と呼ばれるいくつかのピクセルブロックは、ピクセルサブブロックのグルーピングを含む。例として、16x16 マクロブロックは、4つの8x8ピクセルサブブロックを含む。Ｈ．２６４標準は、様々な異なるサイズ（例えば、16x16、16x8、8x16、8x8、4x4、8x4、4x8）を備えたブロックの符号化を許容する。サブブロックの各々は、その特定のサブブロックの動き領域を記述する少なくとも1つの動きベクトルを含む。データセグメントに関連した動き情報の量を減らし、そしてデータセグメントのサイズを縮小するために、リサイジングモジュール50は、マクロブロックのための単一の動きベクトルを生成するために、これらのサブブロックの動きベクトルを合成する。さらに、リサイジングモジュール50は、フレームのための単一の動きベクトルを生成するために、マクロブロックに関連した動きベクトルを合成する。
【００４６】
リサイジングモジュール50は、このように動きベクトルの数を減らし、結果、符号化されるべき情報量、そしてデータのセグメントのサイズを減らす。
【００４７】
この開示の1つの態様では、リサイジングモジュール50は、新しいビットバジェットに基づいて、つまり、リサイズ要求の中で示された最大ビット数またはビットレートに基づいて、データセグメント内の少なくとも1つのフレームの１つ以上のピクセルブロックのために符号化モードを再選択する。上述のように、リサイジングモジュール50は新しいビットバジェットに基づいて符号化予測モードを再選択することができる。Ｈ．２６４のコンテキストでは、例えば、リサイジングモジュール50は、データセグメント内の１つ以上のフレームピクセルブロックのイントラ予測モードと同様に、インター予測モード（例えば、インター16x16、インター16x8、インター8x16、インター8x8)あるいは8x8サブ分割予測モード(例えば、インター8x8、インター8x4、インター4x8、インター4x4)を再選択することができる。加えて、符号化モードは、さらに各インターモードのために前方向、後方向、あるいは双方向の予測モード選択を含むことができる。あるいは、またはさらに、リサイジングモジュール50は、選択された各インターモードのために前方、後方、あるいは双方向の予測モードを再選択することができる。言い換えれば、リサイジングモジュール50は、マクロブロック、サブブロックあるいはピクセルの他の分割のためにモード決定をやり直す。
【００４８】
1つの態様では、リサイジングモジュール50は、最初のパス符号化中に生成された情報に基づいて符号化モードを再選択する。特に、符号化モジュール48は、最初のパス符号化中に各モードを横断的に調べ、各モードに対応するサブブロックの各々のための動きベクトルを生成する。言い換えれば、符号化モジュール48は、特別のモードに対応する異なる運動ベクトルの各々と共に、各サブブロックについて多くの異なる動きベクトルを生成する。最初のパス符号化中に、符号化モジュール48は、ピクセルブロック用に１つのモードを選択し、選択されたモード用に動きベクトルを符号化する。最初のパス符号化中に生成されたモード情報、つまり、モードの各々に関連した動きベクトルは、再選択の間にリサイジングモジュール50による使用のためにメモリ(図示せず)に格納される。
【００４９】
リサイズ要求に応じて、リサイジングモジュール50は、多重化モジュールによって指定された新しいビットバジェットにしたがって、最初のパスのモードからよりよいモードを選ぼうとして、1つ以上のサブブロック用にモードを再選択する。例えば、リサイジングモジュール50は、2つの動きベクトルを必要とするオリジナルのイントラ16x8モードに代えて単一の動きベクトルを持っているインター16x16モードを使用するためにモードを再選択する。このように、1つ以上のピクセルブロックの符号化モードの再選択は、動き情報の合成と類似の結果を有する。リサイジングモジュール50は、新しく選択されたモード、例えば、上記の例におけるインター16x16モード、のために生成され、最初のパス符号化中にメモリに格納された動き情報を検索する。このように、再符号化中のモード決定のやり直しは、1つ以上の動きベクトルの合成と類似の結果を有する。あるいは、リサイジングモジュール50は、古いモードに関連した動き情報を使って、再選択されたモードのための動き情報を生成する。例えば、リサイジングモジュールは、新しいインター16x16モードの動きベクトルを生成するために、イントラ16x8モードの動き情報を合成する。リサイジングモジュール50は、品質−レート最適化ルールに基づいてモード決定を再選択する。言い換えれば、リサイジングモジュール50は、データセグメントの品質には小さな影響であるがビットレートセービングには重要な影響を及ぼすモードを再選択する。
【００５０】
動き予測はリサイズの間に必要ではないので(それは行なわれるかも知れないが)、計算上の複雑さは、最初のパスと比較してマージナルである。このように、リサイジングモジュール50は、ともに合成する動きベクトルを選択するために、モード決定をやり直す。
【００５１】
表1は、最初のパスのモードを使用して再符号化されたデータサイズと4つのデータセグメントのためにモード決定をやり直した後に再符号化されたデータサイズを比較して結果を含む。異なるセグメントは、動画、音楽、ニュースおよびスポーツのセグメントと識別される。表1は、3つのタイプの符号化の結果(カラム１)、トータルビットレート、つまりサイズ(カラム２)、ベース層対エンハンスメント層比率(カラム３)、Pフレーム中の動き情報の割合(カラム４)、ベース層Ｌｕｍａ  ＰＳＮＲ(カラム５)およびエンハンスメント層Ｌｕｍａ  ＰＳＮＲ(カラム６)を示す。3つのタイプの符号化の結果は、最初のパス(各セグメントの第1列)の符号化の結果、最初のパス(各セグメントの第2列)のモードを使用した再符号化の結果、および上述の再選択されたモード決定を使った再符号化の結果(各セグメントの3番目の列)である。再符号化の量子化パラメータは、最初のパスの中で使用される量子化パラメータより６つ増加する。
【表１】
2009525705.tif 000003
【００５２】
表1の結果の中で例証されるように、モード決定（ＭＤ）をやり直した後の再符号化は、最初のパスモードを使用した再符号化よりもレートを著しく縮小することができる。ベース層対エンハンスメント層比率（Ｂ：Ｅ）を見ると、Ｐフレーム中の動き情報のサイズのために、再符号化が最初のパスモードで実行される場合は1:1を得るのは難しいことが分かる。さらに、より大きなベース層は、ベース層ＰＳＮＲ中で示されるように、ベース層品質について利益を生んでいない。このように、最初のパスで決定されたモードは、異なるビットバジェットには最適ではない。したがって、モード決定をやり直すことは、著しくデータセグメントのサイズを縮小するかもしれない。
【００５３】
動き情報の量を減らすことに加えて、リサイジングモジュール50は、さらに、選択されたデータセグメントのサイズを縮小するために、1つ以上の符号化変数を調節することができる。符号化変数は、選択されたデータセグメントが再符号化されるビットレート、選択されたデータセグメントが再符号化されるQPなどを含むことができる。例えば、リサイジングモジュール50は、選択されたデータセグメントのサイズを縮小するために、縮小されたビットレートでデータセグメントを再符号化する。ある場合には、縮小されたビットレートが、リサイズ要求内に指定される。あるいは、レート制御モジュール52は、リサイズ要求で指定された最大サイズのような他の情報に基づいて、縮小されたビットレートを選択することができる。あるいは、さらに、リサイジングモジュール５０は、調整された量子化パラメータを使用したデータセグメント再符号化のような、データセグメントのリサイズのための他の調節を行うことができる。
【００５４】
ある場合には、データセグメントのリサイズがデータセグメントの品質水準を目標品質水準より下げるかもしれない。しかしながら、上述されるように、多重化モジュール２０は、すべてのデータセグメントの全体的性能が確保されるように、再符号化されるセグメントを選択する。リサイズされたデータセグメントの品質水準が符号器モジュール40に関連した最小の品質水準を下まわる場合、リサイジングモジュール50は、リサイズされたデータセグメントの品質水準が最小の品質水準以上となるように、データセグメントをリサイズする。例えば、もし、リサイズ要求の中に含まれたビットレートが符号器モジュール40に関連する最小品質水準より下の品質水準でデータセグメントが符号化されるという結果をもたらす場合は、レート制御モジュール52はデータセグメントが最小の品質水準で符号化されるように、より高いビットレートを選択する。
【００５５】
符号器モジュール40は、現在のスーパーフレームに含められるべき符号化されたデータセグメントを送るために、多重化モジュール20から要求を受け取る。多重化モジュール20からの要求に応じて、符号器モジュール40は、データの符号化されたデータセグメントを多重化モジュール20に送る。上述のように、符号器モジュール40は、オリジナルのビットレートでのサイズ変更が選択されなかったデータセグメントを送り、また、縮小されたビットレートでサイズ変更するために選択されたデータセグメントを送る。
【００５６】
符号器モジュール40中のコンポーネントは、ここに記述された技術を実施するために適用可能な典型的なものである。しかしながら、もし望まれるなら、符号器モジュール40は他の多くのコンポーネントを含むことができる。符号器モジュール40中のコンポーネントは、1台以上のプロセッサ、デジタル信号プロセサ、ＡＳＩＣ、ＦＰＧＡ、個別ロジック、ソフトウェア、ハードウェア、ファームウェアあるいはそれらの任意の組み合わせとして実施できる。さらに、符号器モジュール40は、ＭＰＥＧ−４およびＩＴＵ−Ｔ  Ｈ．２６３、ＩＴＵ−Ｔ  Ｈ．２６４あるいは他のコーディング標準のようなマルチメディア・コーディング標準に従うことができる。モジュールとしての異なる特徴の描写は符号器モジュール40の異なる機能的な態様を強調するために意図されたものであって、そのようなモジュールを個別のハードウェアやソフトウェア・コンポーネントによって実現しなければならないことを必ずしも示唆するものではない。むしろ、1つ以上のモジュールに関連した機能性は、共通もしくは個別のハードウェア、あるいはソフトウェア・コンポーネント内に統合され得る。したがって、その開示は符号器モジュール40の例に制限されるものではない。
【００５７】
図４は、この開示技術に従って符号化マルチメディアデータを符号化する、図３の符号器モジュール40のような符号器モジュールの典型的なオペレーションを例証するフローチャートである。符号器モジュール40は、ソースからマルチメディアデータの1つ以上のフローを受け取る（６０）。符号器モジュール40は、例えば、符号器モジュール40に結合されたメモリあるいはイメージ捕獲装置からのマルチメディアデータのフローを受け取る。マルチメディアデータのフローはライブのリアルタイムコンテンツ、非リアルタイムコンテンツあるいはリアルタイムコンテンツと非リアルタイムコンテンツの組み合わせを含むことができる。
【００５８】
符号器モジュール40は、それらのコンテンツに基づいてデータセグメントを分類する（６２）。コンテンツ分類モジュール44(図３)は、例えば、受け取ったデータセグメントをセグメントデータの複雑さ(例えば空間的複雑さおよび／または一時的複雑さ)に基づいて分類する。コンテンツ分類モジュール44は、さらに、分類に基づいてデータセグメント品質およびレートの情報と関連づける（６４）。例として、コンテンツ分類モジュール44は、複数の品質−レート曲線のうちの1つにデータセグメントを関連させる。上記述されるように、品質−レート曲線はあらかじめ計算され、メモリに格納される。他の例として、コンテンツ分類モジュール44は、複数のあらかじめ計算された品質−レート表のうちの1つにデータセグメントを関連させる。
【００５９】
符号器モジュール40は、データセグメント用に追加の品質およびレート情報を生成する（６６）。例えば、品質−レート情報生成モジュール46は、データセグメントの各々のための品質−レート表を生成することができる。上述するように、品質−レート表は、データセグメントに関係する1つ以上の品質水準と、各品質水準におけるデータセグメントのサイズを示す。
【００６０】
符号器モジュール40は、データセグメントに関連した品質およびレート情報を多重化モジュール20に送る（６８）。符号器モジュール40は、例えば、多重化モジュールからの要求に応じてデータセグメントに関連した品質およびレート情報を送る。符号器モジュール40は、例えば、品質−レート曲線および／またはデータセグメントに関連した品質−レート表を送る。上に詳述されるように、多重化モジュールは、現在のスーパーフレームのサイズをモニターし、かつ多重化モジュールがどのデータセグメントをサイズ変更する必要があるかの決定を支援するために、品質およびレート情報を使用する。
【００６１】
符号器モジュール40に関連したデータセグメントのうちのどれかをサイズ変更する必要がある場合、符号器モジュール40は多重化モジュール20からリサイズ要求を受け取る（７０）。多重化モジュール20からのリサイズ要求は、縮小されたビットレートか最大サイズ（例えば、データセグメントのビット数で）を含むことができる。リサイズ要求に応じて、リサイジングモジュール50は、データセグメントのサイズを縮小するために、符号化されたデータセグメントをリサイズする（７２）。この開示技術に従って、選択されたデータセグメントに関連する符号器モジュール18は、符号化されることになっている動き情報の量を減らし、それにより、データセグメントのサイズを縮小する。例えば、選択されたデータセグメントに関連した符号器モジュール18は2つ以上の動きベクトルを合成する。ここに記述されるように、符号器モジュール18は、符号化される動き情報のサイズを縮小するために、新しいビットバジェット(つまりサイズ)に基づいて1つ以上のピクセルブロックの符号化モードを再選択することができる。符号化モードを再選択することは合成する動きベクトルと同じ結果を持つ。さらに、リサイジングモジュール50は、データセグメントのサイズを縮小するために、1つ以上の符号化変数を調節することができる。リサイジングモジュール50は、例えば、データセグメントのサイズを縮小するために、縮小されたビットレート、より高いＱＰでデータセグメントを再符号化する。
【００６２】
符号器モジュール40は、現在のスーパーフレーム内に含められるデータセグメントの符号化されたコンテンツを送るために、多重化モジュール20から要求を受け取る（７４）。多重化モジュールからの要求に応じて、符号器モジュールは、データセグメントの符号化されコンテンツを多重化モジュール20に送る（７６）。上述のように、符号器モジュール40は、オリジナルのサイズではサイズ変更に選択されなかったデータセグメントを送り、また、縮小されたサイズでのサイズ変更に選択されたデータセグメントを送る。
【００６３】
図５は、ここに記述された態様のうちの1つに従って動き情報の量を減らす、符号器モジュール40(図３)のような符号器モジュールの典型的なオペレーションを例証するフローチャートである。最初に、符号化モジュール48は、データセグメント内のピクセルフレームブロックを選択する（８０）。符号化モジュール48は、選択されたピクセルブロック用の各モードの動き情報を生成する（８２）。例えば、符号化モジュール48は、前方向の予測モード、後方向の予測モードおよび双方向予測モードのための動き情報を生成する。符号化モジュール48は、各モードのために生成された動き情報を、サイズ変更中に使用するために、メモリに格納する（８６）。符号化モジュール48は、最初のパス符号化に使用されるピクセルブロック用にモードのうちの1つを選択する（８４）。符号化モジュール48は、例えば、品質−レート最適化ルールに基づいて、最初のパス符号化中にピクセルブロックのモードを選ぶことができる。言い換えれば、符号化モジュール48は、目標品質水準を達成するためにモードを選択する。
【００６４】
符号化モジュール48は、データセグメントのフレーム内にさらなるピクセルブロックがあるかどうかを判断する（８８）。データセグメントのフレーム内に追加のピクセルブロックがある場合、符号化モジュール48は、次のピクセルブロックを選択し、選択されたピクセルブロック用の各モードの動き情報を生成し、各々のモードために生成された動き情報をメモリ中に格納し、最初のパス符号化中に使用されるピクセルブロックのためのモードの1つを選ぶ。追加のピクセルブロックがない場合、符号化モジュールはデータセグメントのリサイズ要求の受け取りを待つ（９０）。
【００６５】
データセグメントのリサイズ要求を受けて、リサイジングモジュール50は、1つ以上のピクセルブロック用にモードを再選択する（９２）。リサイジングモジュール50は、例えば、2つの動きベクトルを必要とするオリジナルのイントラ16x8モードに代えて、単1の動きベクトルを持つインター16x16モードを使用するために、符号化モードを再選択する。リサイジングモジュール50は、インター 16x16モードのために生成され、最初のパス符号化中にメモリに格納された動き情報を検索する。したがって、再符号化中にモード決定をやり直すことは、1つ以上の動きベクトルの合成と類似の結果を有する。リサイジングモジュール50は、品質−レート最適化ルールに基づいてモード決定を再選択する。言い換えれば、リサイジングモジュール50は、データセグメントの品質には小さな影響であっても、ビットレートセービングには重要な影響を及ぼすモードを再選択する。
【００６６】
リサイジングモジュール50は、縮小された動き情報でデータセグメントを再符号化する（９６）。このように、リサイジングモジュール50は、データセグメントに関連した動き情報の量を減らすことにより、データセグメントをサイズ変更する。上述されるように、リサイジングモジュール50は、データセグメントをさらにサイズ変更するために、1つ以上の符号化変数をさらに調節する。例えば、リサイジングモジュール50は、データセグメントが再符号化されるビットレートを縮小するか、あるいはデータセグメントの再符号化中に使用される量子化パラメータを増加させる。
【００６７】
ここに記述した教示に基づいて、当業者は、ここに示された態様が他の態様とは独立して実施されるかもしれないし、これらの態様の２つ以上が様々な方法で組み合わせられるかもしれないことを認識するべきである。ここに記述された技術は、ハードウェア、ソフトウェア、ファームウェアあるいはそれらの任意の組み合わせの中で実施され得る。もし、ハードウェア中で実施されれば、技術はディジタル・ハードウェア、アナログ・ハードウェアあるいはその組み合わせ使用して実現され得る。もし、ソフトウェア中で実施されれば、技術の少なくとも一部分は、コンピュータが読み取り可能な媒体上に格納もしくは送信された命令あるいはコードによって実現される。コンピュータが読み取り可能な媒体はコンピュータ記憶媒体、通信媒体、あるいはその両方を含み、また、ある場所から他の場所へのコンピュータプログラムの転送を促進するあらゆる媒体を含むことができる。記憶媒体はコンピュータによってアクセスすることができるあらゆる利用可能な媒体であってよい。
【００６８】
制限ではなく例示として、そのようなコンピュータが読み取り可能な媒体は、同期ＤＲＡＭ（ＳＤＲＡＭ）のようなＲＡＭ、読み出し専用メモリ（ＲＯＭ）、不揮発性のランダム・アクセス・メモリー（ＮＶＲＡＭ）、ＲＯＭ、ＥＥＰＲＯＭ、ＦＬＡＳＨメモリ、ＣＤ−ＲＯＭまたは他の光ディスク記憶装置、ディスク記憶装置あるいは他の磁気記憶装置、あるいは、所望のプログラムコードを命令やデータ構造の形式で持ち運びあるいは格納して使用することができ、コンピュータによってアクセスできる他の有形の媒体を含むことができる。
【００６９】
さらに、いかなる接続も適切にコンピュータが読み取り可能な媒体と名付けられる。例えば、ソフトウェアがウェブサイト、サーバあるいは他の遠隔のソースから同軸ケーブル、光ファイバケーブル、撚り対線、デジタル加入者線(DSL)あるいは赤外線、ラジオおよびマイクロ波のような無線技術を使用して送信される場合、同軸ケーブル、光ファイバケーブル、撚り対線、DSLあるいは赤外線、ラジオおよびマイクロ波のような無線技術は、媒体の定義に含まれる。ここに使用されたディスクは、データを磁気的にあるいは例えばレーザで光学的に再生する、コンパクトディスク（ＣＤ）、レーザディスク、光ディスク、ディジタル・バーサタイル・ディスク（ＤＶＤ）、フロッピディスクおよびブルーレイ・ディスクを含む。上記のものの組み合わせもコンピュータが読み取り可能な媒体の範囲内に含まれるべきである。
【００７０】
コンピュータプログラム製品は、ここに示されたように、コンピュータが読み取り可能な媒体がパッケージされたパッケージ材料など、コンピュータが読み取り可能な媒体およびそれに関連するいかなる材料も含む。コンピュータプログラム製品のコンピュータが読み取り可能な媒体に関連するコードは、コンピュータ、例えば、1つ以上のデジタル信号プロセサ（ＤＳＰ）、汎用マイクロプロセッサー、ＡＳＩＣ、ＦＰＧＡあるいは他の等価の集積化もしくは個別のロジック回路のような1台以上のプロセッサによって実行され得る。いくつかの態様では、ここに記述された機能性は、符号化と復号化のために構成された専用ソフトウェアモジュールやハードウェアモジュール内で、もしくは、結合されたＣＯＤＥＣに組み入れられて提供され得る。
【００７１】
種々の態様が記述された。これらの態様およびその他の態様はクレームの範囲内である。
【図面の簡単な説明】
【００７２】
【図１】図1は、典型的な符号化及び復号化システムを示すブロックダイヤグラム。
【図２】図2は、他の典型的な符号化及び復号化システムを示すブロックダイヤグラム。
【図３】図3は、マルチメディア符号化デバイス内での使用のための典型的な符号器モジュールを示すブロックダイヤグラム。
【図４】図4は、本開示技術に従ってマルチメディアデータを符号化する符号器モジュールの典型的なオペレーションを示すフローチャート。
【図５】図5は、この開示の態様のうちの1つに従って動き情報の量を減らす符号器モジュールの典型的なオペレーションを示すフローチャート。
【図１】
2009525705.tif 000004
【図２】
2009525705.tif 000005
【図３】
2009525705.tif 000006
【図４】
2009525705.tif 000007
【図５】
2009525705.tif 000008
【国際調査報告】
2009525705.tif 000009
2009525705.tif 000010