(57)【要約】画像データを符号化および復合化する方法および装置が提供される。本方法は、画像フレームシーケンスにおいてある数の順次画像を選択して、高品質または低レーテンシなどの所望の符号化性能を達成すること、画像フレームシーケンスにおける画像データについて３次元離散コサイン変換を実施して、３次元係数マトリックを提供すること、および係数を処理して、伝送のための符号化ビットシーケンスを提供することを含む。前記符号化および復号化技法を組み入れた車両配信システムも提供される。車両配信システムは、ネットワークに結合されて車両内にデータを配信する、１または２以上の符号器ノードおよび１または２以上の復号器ノードを含む。
2006517076.tif 000002
【特許請求の範囲】
【請求項１】
画像データを符号化する方法であって、
画像フレームシーケンスにおいてある数の順次画像フレームを選択して、所望の符号化性能を達成すること；
前記画像フレームシーケンスにおける画像データについて３次元離散コサイン変換を実施して、３次元係数行列を提供すること；および
前記係数を処理して、符号化ビットシーケンスを提供することを含む、前記方法。
【請求項２】
選択することが、画像フレームシーケンス内で比較的多数の順次画像フレームを選択して高画像品質を達成することを含む、請求項１に記載の方法。
【請求項３】
選択することが、画像フレームシーケンス内で比較的少数の順次画像フレームを選択して、低符号化レーテンシを達成することを含む、請求項１に記載の方法。
【請求項４】
選択することが、画像フレームシーケンスにおいて２、４、または８の順次画像フレームを選択することを含む、請求項１に記載の方法。
【請求項５】
３次元離散コサイン変換を実施することが、
画像フレームシーケンスを表わす画像データをサブブロックに分割し、該サブブロックのそれぞれが、前記画像フレームシーケンスにおける画像フレーム数に等しい深さを有するようにすること、および
前記サブブロックのそれぞれにおける画像データについて３次元離散コサイン変換を実施して、前記サブブロックのそれぞれに対して３次元サブブロック係数行列を提供することを含む、請求項１に記載の方法。
【請求項６】
係数を処理することが、サブブロック係数の行列を量子化して、量子化係数の行列を提供することを含む、請求項５に記載の方法。
【請求項７】
画像データを処理することが、３次元量子化行列および量子化率に基づいてサブブロック係数の行列を量子化して、量子化係数の行列を提供することを含む、請求項５に記載の方法。
【請求項８】
係数を処理することが、走査テーブルに従って量子化係数を配列して、順序係数を提供することをさらに含む、請求項６に記載の方法。
【請求項９】
係数を処理することが、符号化ビットシーケンスを提供するための、順序係数の可変長符号化をさらに含む、請求項８に記載の方法。
【請求項１０】
係数を処理することが、符号化ビットシーケンスを提供するための、可変長符号化テーブルを使用する順序係数の可変長符号化を含む、請求項８に記載の方法。
【請求項１１】
可変長符号化が、エスケープ符号を使用して、符号化ビットシーケンスを定義することをさらに含む、請求項１０に記載の方法。
【請求項１２】
画像データを符号化する装置であって、
画像フレームシーケンスにおいてある数の順次画像フレームを選択して、所望の符号化性能を達成する手段、
前記画像フレームシーケンスにおける画像データについて３次元離散コサイン変換を実施して、３次元係数行列を提供する手段、および
前記係数を処理して、符号化ビットシーケンスを提供する手段を含む、前記装置。
【請求項１３】
画像データを符号化する方法であって、
画像フレームシーケンスにおいてある数の順次画像フレームを選択して、所望の符号化成績を達成すること、
前記画像フレームシーケンスを表わす画像データをサブブロックに分割して、該サブブロックのそれぞれが前記画像フレームシーケンスにおける画像フレーム数に等しい深さを有するようにすること、
前記サブブロックのそれぞれにおける画像データについて３次元離散コサイン変換を実施して、前記サブブロックのそれぞれに対して、３次元サブブロック係数行列を提供すること、および
前記サブブロック係数を処理して、符号化ビットシーケンスを提供することを含む、前記方法。
【請求項１４】
サブブロック係数を処理することが、前記サブブロック係数を量子化して、量子化係数を提供すること、走査テーブルに従って量子化係数を配列し、順序係数を提供すること、および符号化ビットシーケンスを提供するための前記順序係数の可変長符号化を含む、請求項１３に記載の方法。
【請求項１５】
画像データを車両内の第１の位置から第２の位置に伝送する方法であって、
画像フレームシーケンスにおいてある数の順次画像フレームを選択して所望の性能を達成すること、
前記画像フレームシーケンスを表わす画像データについて３次元離散コサイン変換を実施して、３次元係数行列を提供すること、
前記係数を処理して、符号化ビットシーケンスを提供すること、
前記符号化ビットシーケンスを車両内の前記第１の位置から前記第２の位置へ伝送すること、および
前記符号化ビットシーケンスを前記第２の位置で復号して、伝送画像フレームシーケンスを提供することを含む、前記方法。
【請求項１６】
選択することが、ある数のＤＶＤ画像フレームを選択することを含む、請求項１５に記載の方法。
【請求項１７】
選択することが、ある数のカメラ画像フレームを選択することを含む、請求項１５に記載の方法。
【請求項１８】
選択することが、ある数のナビゲーション画像フレームを選択することを含む、請求項１５に記載の方法。
【請求項１９】
選択することが、ある数のテレビジョン画像フレームを選択することを含む、請求項１５に記載の方法。
【請求項２０】
選択することが、ある数のテレビ会議画像フレームを選択することを含む、請求項１５に記載の方法。
【請求項２１】
３次元離散コサイン変換を実施することが、
画像フレームシーケンスを表わす画像データをサブブロックに分割して、該サブブロックのそれぞれが前記画像シーケンスにおける画像フレームの数に等しい深さを有するようにすること、および
前記サブブロックのそれぞれにおける画像データについて３次元離散コサイン変換を実施して、前記サブブロックのそれぞれに対して、３次元サブブロック係数行列を提供することを含む、請求項１５に記載の方法。
【請求項２２】
復号することが、
量子化係数を提供するための符号化ビットシーケンスの可変長復号、
非量子化係数を提供するための前記量子化係数の逆量子化、および
前記非量子化係数について逆方向３次元離散コサイン変換を実施して、画像フレームシーケンスを表わす画像データを提供することを含む、請求項１５に記載の方法。
【請求項２３】
車両内の第１の位置から第２の位置に伝送すべき処理画像データを処理する方法であって、
画像フレームシーケンスを表わす画像データについて３次元離散コサイン変換を実施して３次元係数行列を提供すること、および
前記係数を処理して、車両内の前記第１の位置から前記第２の位置への伝送のための符号化ビットシーケンスを提供することを含む、前記方法。
【請求項２４】
ビットシーケンスを復号する方法であって、
量子化係数を提供するための、画像データを表わす符号化ビットシーケンスの可変長復号、
非量子化係数を提供するための前記量子化係数の逆量子化、および
前記非量子化係数について逆方向３次元離散コサイン変換を実施して、画像フレームシーケンスを表わす画像データを提供することを含む、前記方法。
【請求項２５】
車両内でビデオ信号を配信するための装置であって、
前記車両内でデータを配信するためのネットワーク、
前記ネットワークに結合されて、ビデオ源からビデオ信号を受信し、該ビデオ信号から抽出された画像データについて３次元離散コサイン変換を実施して３次元係数行列を提供するとともに、前記係数を処理して前記ネットワーク上での配信のための符号化ビットシーケンスを提供する、符号器ノード、および
前記ネットワークに結合されて、前記符号化ビットシーケンスを復号して受信ビデオ信号を提供する復号器ノードを含む、前記装置。
【請求項２６】
符号器ノードに結合されて、配信のためのビデオ信号を提供する、ＤＶＤプレーヤーをさらに含む、請求項２５に記載の装置。
【請求項２７】
符号器ノードに結合されて、配信のためのビデオ信号を提供する、カメラをさらに含む、請求項２５に記載の装置。
【請求項２８】
符号器ノードに結合されて、配信のためのビデオ信号を提供する、車両ナビゲーションシステムをさらに含む、請求項２５に記載の装置。
【請求項２９】
符号器ノードが、ビデオ信号を画像データに変換するためのビデオアナログ・ディジタル変換器、３次元離散コサイン変換を実施するとともに係数を処理して符号化ビットシーケンスを提供するディジタル信号プロセッサ、および符号化されたビットシーケンスをネットワーク上で伝送するためのネットワークドライバデバイスを含む、請求項２５に記載の装置。
【請求項３０】
復号器ノードに結合されて、受信ビデオ信号を表示するビデオ表示スクリーンをさらに含む、請求項２５に記載の装置。
【請求項３１】
復号器ノードに結合されたオーディオデバイスをさらに含む、請求項３０に記載の装置。
【請求項３２】
復号器ノードが、符号化ビットシーケンスを受信するためのネットワークドライバ、前記符号化ビットシーケンスを復号してディジタル値を提供するディジタル信号プロセッサ、および前記ディジタル値を受信ビデオ信号に変換するためのビデオディジタル・アナログ変換器を含む、請求項２５に記載の装置。
【請求項３３】
ネットワークが光ファイババスシステムを含む、請求項２５に記載の装置。
【請求項３４】
ネットワークが電気バスシステムを含む、請求項２５に記載の装置。
【請求項３５】
ビデオ源をネットワークにインターフェイスするための符号器ノードであって、
ビデオ信号をアナログ信号に変換するためのビデオアナログ・ディジタル変換器、
画像データについて３次元離散コサイン変換を実施して３次元係数行列を提供する手段および前記係数を処理して符号化ビットシーケンスを提供する手段を含むディジタル信号プロセッサ、ならびに
前記ネットワーク上で前記符号化ビットシーケンスを伝送するためのネットワークドライバデバイスを含む、前記符号器ノード。
【請求項３６】
実施する手段が、画像データをサブブロックに分割する手段、および前記サブブロックのそれぞれにおける画像データについて３次元離散コサイン変換を実施し、前記サブブロックのそれぞれに対して、３次元サブブロック係数行列を提供する手段を含む、請求項３５に記載の符号器ノード。
【請求項３７】
処理する手段が、サブブロック係数を量子化して量子化係数を提供する手段、走査テーブルに従って前記量子化係数を配列して順序係数を提供する手段、および符号化ビットシーケンスを提供するための順序係数の可変長符号化の手段を含む、請求項３６に記載の符号器ノード。
【請求項３８】
車両内でビデオ信号を配信するための装置であって、
車両内でデータを配信するためのネットワーク；
前記ネットワークに結合されて第１のビデオ源から第１のビデオ信号を受信し、前記第１のビデオ信号から抽出された画像データについて３次元離散コサイン変換を実施して３次元係数行列を提供するとともに、前記係数を処理してネットワーク上での配信のための第１の符号化ビットシーケンスを提供する第１の符号器ノードであって、前記第１のビデオ信号から抽出される画像データが、第１の深さを有する第１の画像フレームシーケンスを含む、前記第１の符号器ノード；
前記ネットワークに結合されて、前記第１の符号化ビットシーケンスを復号して第１の受信ビデオ信号を提供する第１の復号器ノード；
前記ネットワークに結合されて、第２のビデオ源から第２のビデオ信号を受信し、前記第２のビデオ信号から抽出された画像データについて３次元離散コサイン変換を実施して３次元係数行列を提供するとともに、前記係数を処理して第２の符号化ビットシーケンスを提供する第２の符号器ノードであって、前記第２のビデオ信号から抽出される画像データが、前記第１の深さと異なる第２の深さを有する画像フレームシーケンスを含む、前記第２の符号器ノード；および
前記ネットワークに結合されて、前記第２の符号化ビットシーケンスを復号して第２の受信ビデオ信号を提供する第２の復号器ノードを含む、前記装置。
【請求項３９】
第２の深さが、第１の深さと異なる、請求項３８に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
発明の分野
本発明は、ディジタル、同期ネットワークを介してビデオを配信するための、ビデオ圧縮技術に関する。この技術は、特に、車両内にビデオを配信するのに有用であるが、この応用に限定されるわけではない。本発明は、また、このビデオ圧縮技術を組み入れた車両配信システムにも関する。
【０００２】
発明の背景
今日、車両内でのドライバ情報システムおよび娯楽情報（infotainment）システムに使用される主要ネットワーク技術は、すべてバンド幅の限界の問題があり、このような限界のために、それらのシステムはディジタルビデオ応用には多かれ少なかれ不適当になっている。この結果として、自動車メーカーおよびティアワン（tier-1）サプライヤは、ディジタルネットワークを介してオーディオ、コントロールおよびある種のパケットベース通信（例えば、ＴＣＰ／ＩＰまたはそれに類似）を配信するとともに、アナログ同軸ケーブルを介して並列にビデオを配信するシステムを設計しなければならなくなっている。ビデオが、その他のメディアおよびコントロールデータと共に、ディジタル通信バスを介して配信できれば、もちろんのこと、システムのかなりなコスト低減となるであろう。
ＭＰＥＧおよびＩＴＵ−Ｔ標準に基づくシステムは、アルゴリズム複雑さ、低い予測性および高コストを含む、いくつかの理由で不適当になりがちである。さらに、これらの圧縮技法は、比較的長い、非決定的なレーテンシ（undeterministic latency）を有するのが特徴であり、このために、それらの技法はリアルタイム用途に対して有効ではなくなっている。
【０００３】
発明の概要
我々は、時間領域データに変換を適用し、それによって低複雑度かつ低レーテンシの、高度に決定的で対称性のビデオコーデックを生成する方法を提案する。アルゴリズムの低複雑度によって、異なるプラットフォーム間のより安価な移植（porting）、競合技術よりもはるかに低い計算機能力要求、またＭＰＥＧまたはＩＴＵ−Ｔ標準コードよりもかなり小さなコードフットプリント（code footprint）がもたらされる。これによって、ＭＰＥＧまたはＩＴＵ−Ｔアルゴリズムは通常、ＡＳＩＣまたは相当に高能力のプログラム可能デバイス（例えば、超並列長命令語ＤＳＰ）を必要とするのに対して、汎用ディジタル信号プロセッサ（ＤＳＰ）を使用しての「エンド・ツー・エンド」ソフトウエア解決策が可能となる。したがって、我々の解決策は、代替案よりもより安価で、より柔軟性がある。
【０００４】
一観点において、本発明は、対称性を有し高度に決定的で低複雑度の時間変換設計を利用するビデオ圧縮方法を構成する。これは、先に空間領域で変換された時間データの高解像度変換を実施することによって達成される。利用される時間的冗長性の量は、高度に構成可能であり、様々な使用事例の要求を最適に満たすために使用される。
現在、自動車娯楽情報システム市場は、車両内の同期ディジタルネットワークを介して低帯域、低レーテンシ、高品質ビデオ伝送を提供する解決策を探求している。この解決策は、低コストで、異なるプラットフォームへ容易に移植可能（portable）であり、かつ異なる目的およびリア／フロント・ビュー・カメラ、ＤＶＤビデオおよび車両ナビゲーション情報などのビデオ源に対して高度に構成可能である必要がある。
【０００５】
本発明は、プラットフォーム独立で、異なる要件セットを含む、異なる使用事例に対して高度に構成可能である、対象性を有し高度に決定的で低複雑度の時間変換ビデオ圧縮技法を使用することによってこれらの要求を満たす、ビデオコーデックに対する解決策を提供する。
ディジタルネットワーク上でのリア／フロント・ビュー・カメラビデオ伝送に対する固有の要求は、リアルタイム、決定的低レーテンシ、および低帯域幅である。
本発明は、時間圧縮の適当な構成を選択することによって、リアルタイムの決定的低レーテンシビデオ伝送を提供する。低帯域幅は、適当な空間圧縮および特定の要求に専用のその他の圧縮アルゴリズムパラメータを選択することによって達成される。
【０００６】
ディジタルネットワーク上でのＤＶＤビデオ伝送に対する固有の要求は、高視覚品質および低帯域幅である。
本発明は、特定の要求に対して専用化された、高時間圧縮およびその他のアルゴリズムパラメータを選択することによって、低帯域幅、高視覚品質ビデオ伝送を提供する。
ディジタルネットワーク上での車両ナビゲーション情報ビデオ伝送システムに対する固有の要求は、リアルタイム、決定的低レーテンシ、および高視覚品質である。
【０００７】
本発明は、時間圧縮の適当な構成を選択することによってリアルタイム、決定的低レーテンシビデオ伝送を提供する。低帯域幅は、適当な空間圧縮および特定の要求に専用化されたその他の圧縮アルゴリズムパラメータを選択することによって達成される。
本発明の一観点によれば、画像データを符号化する方法が提供される。この方法は、画像フレームシーケンスにおいてある数の順次画像フレームを選択して、所望の符号化性能を達成すること、前記画像フレームシーケンスにおいて画像データについて３次元離散コサイン変換を実施して、３次元係数行列を提供すること、および前記係数を処理して、符号化ビットシーケンスを提供することを含む。
【０００８】
本発明の別の観点では、画像データを符号化する装置が提供される。この装置は、画像フレームシーケンスにおいてある数の順次画像フレームを選択して、所望の符号化性能を達成する手段、前記画像フレームシーケンスにおける画像データについて３次元離散コサイン変換を実施して、３次元係数行列を提供する手段、および前記係数を処理して、符号化ビットシーケンスを提供する手段を含む。
【０００９】
本発明のさらに別の観点によれば、画像データを符号化する方法が提供される。この方法は、画像フレームシーケンスにおいてある数の順次画像フレームを選択して、所望の符号化成績を達成すること、前記画像フレームシーケンスを表わす画像データをサブブロックに分割して、該サブブロックのそれぞれが前記画像フレームシーケンスにおける画像フレーム数に等しい深さを有するようにすること、前記サブブロックのそれぞれにおける画像データについて３次元離散コサイン変換を実施して、前記サブブロックのそれぞれに対して、３次元サブブロック係数行列を提供すること、および前記サブブロック係数を処理して、符号化ビットシーケンスを提供することを含む。
【００１０】
本発明にさらに別の観点によれば、画像データを車両内の第１の位置から第２の位置に伝送する方法が提供される。この方法は、画像フレームシーケンスにおいてある数の順次画像フレームを選択して所望の性能を達成すること、前記画像フレームシーケンスを表わす画像データについて３次元離散コサイン変換を実施して、３次元係数行列を提供すること、前記係数を処理して、符号化ビットシーケンスを提供すること、前記符号化ビットシーケンスを車両内の前記第１の位置から前記第２の位置へ伝送すること、および前記符号化ビットシーケンスを前記第２の位置で復号して、伝送画像フレームシーケンスを提供することを含む。
【００１１】
本発明のさらに別の観点によれば、車両内の第１の位置から第２の位置に伝送すべき処理画像データを処理する方法が提供される。この方法は、画像フレームシーケンスを表わす画像データについて３次元離散コサイン変換を実施して３次元係数行列を提供すること、および前記係数を処理して、車両内の前記第１の位置から前記第２の位置へ伝送するための符号化ビットシーケンスを提供することを含む。
本発明のさらに別の観点によれば、ビットシーケンスを復号する方法が提供される。この方法は、量子化係数を提供するための、画像データを表わす符号化ビットシーケンスの可変長復号、非量子化係数を提供するための前記量子化係数の逆量子化、および前記非量子化係数について逆方向３次元離散コサイン変換を実施して、画像フレームシーケンスを表わす画像データを提供することを含む。
【００１２】
本発明のさらに別の観点によれば、車両内でビデオ信号を配信するための装置が提供される。この装置は、前記車両内でデータを配信するためのネットワーク；ネットワークに結合されてビデオ源からビデオ信号を受信し、該ビデオ信号から抽出された画像データについて３次元離散コサイン変換を実施して３次元係数行列を提供するとともに、前記係数を処理して前記ネットワーク上での配信のための符号化ビットシーケンスを提供する符号器ノード；および前記ネットワークに結合されて、前記符号化ビットシーケンスを復号して受信ビデオ信号を提供する復号器ノードを含む。
【００１３】
本発明のさらに別の観点によれば、ビデオ源をネットワークにインターフェイスするための符号器ノードが提供される。この符号器ノードは、ビデオ信号をアナログ信号に変換するためのビデオアナログ・ディジタル変換器；画像データについて３次元離散コサイン変換を実施して３次元係数行列を提供する手段および前記係数を処理して符号化ビットシーケンスを提供する手段を含むディジタル信号プロセッサ；ならびに前記ネットワーク上で前記符号化ビットシーケンスを伝送するためのネットワークドライバデバイスを含む。
【００１４】
本発明のさらに別の観点によれば、車両内でビデオ信号を配信するための装置が提供される。この装置は、車両内でデータを配信するためのネットワーク；前記ネットワークに結合されて第１のビデオ源から第１のビデオ信号を受信し、前記第１のビデオ信号から抽出された画像データについて３次元離散コサイン変換を実施して３次元係数行列を提供するとともに、前記係数を処理して第１の符号化ビットシーケンスを提供する第１の符号器ノードであって、前記第１のビデオ信号から抽出される画像データが、第１の深さを有する第１の画像フレームシーケンスを含む、前記第１の符号器ノード；前記ネットワークに結合されて、前記第１の符号化ビットシーケンスを復号して第１の受信ビデオ信号を提供する第１の復号器ノード；前記ネットワークに結合されて第２のビデオ源から第２のビデオ信号を受信し、前記第２のビデオ信号から抽出された画像データについて３次元離散コサイン変換を実施して３次元係数行列を提供するとともに、前記係数を処理して第２の符号化ビットシーケンスを提供する第２の符号器ノードであって、前記第２のビデオ信号から抽出される画像データが、前記第１の深さと異なる第２の深さを有する画像フレームシーケンスを含む、前記第２の符号器ノード；および前記ネットワークに結合されて、前記第２の符号化ビットシーケンスを復号して第２の受信ビデオ信号を提供する第２の復号器ノードを含む。
【００１５】
詳細な説明
本発明がより詳細に理解されるように、参照により本明細書に組み入れてある添付の図面を参照する。
ビデオ圧縮方法は、先に変換された空間データから受け取る係数の離散コサイン変換を実施する。利用される時間的冗長量は、変換されるフレーム数によって制御される。これは、システムを、「ビットレート／レーテンシ（bit rate over latency）」、「レーテンシ／ビットレート（latency over bit rate）」その他の、様々な要件に適合させるために使用される重要設計パラメータである。
時間変換からの出力は、数式を使用して得られる量子化マトリックを用いて量子化される。量子化量、および結果としての圧縮比は、再構成可能なスケーリング率を用いて実行時に制御することができる。
量子化出力は、経験的データから選択される走査テーブルを使用して、３次元的に走査されて、（ゼロ）ランレングス符号化（ＲＬＥ：Run-Length Encoding）アルゴリズムに供給される。
【００１６】
ＲＬＥからの出力は、可変長符号化（ＶＬＣ：Variable Length Coding）テーブルを使用して符号化された可変長であり、満杯になると伝送される出力バッファー（またはレーテンシ問題を避けるために符号化される最後のフレーム）に記号的にコピーされる。
復号器は、コーデックがほぼ最適な対称特性を有することから、上述の動作の逆を実行する。
符号化および復号アルゴリズムは、復号器が符号器によって先に生成されたバッファーを処理するのと同時に、作動するように設計されている。
同期性を維持しレーテンシを最小化することに重点が置かれている、スケーラブルな専用の後処理アルゴリズムのスーツが利用可能であり、かつ符号器によって制御可能である。基本アルゴリズムは、非ブロック化、平均化および異なるウインドウと決定基準を有するメジアンフィルタである。これらの事後処理アルゴリズムには、ＭＰＥＧおよびＩＴＵ−Ｔビデオ圧縮標準に通常使用されている、動き推定および動き補償アルゴリズムが無いために、この解法に応用可能である。
【００１７】
誤り耐性（error resiliency）は、低ビットエラーネットワークの性能によって引き出される設計によって達成され、それによってオーバヘッドを最小化する。
本発明を使用することのできる応用の例としては：
・（車、列車および航空機を含む）マルチメディア通信用のディジタル同期データバスを使用する、車両内のリア／フロント・ビュー・カメラ
・（車、列車および航空機を含む）マルチメディア通信用のディジタル同期データバスを使用する、車両内でのＤＶＤおよびビデオ応用、
・（車、列車および航空機を含む）マルチメディア通信用のディジタル同期データバスを使用する、車両内でのＴＶチューナー応用、
・同期ディジタルネットワークを介するグラフィックデータの配信を行う必要のある応用（例えば、車両におけるナビゲーションコンピュータ、ビデオゲームコンソール出力またはドライバ情報表示（レーダ、赤外線））、
・（車、列車および航空機を含む）マルチメディア通信用のディジタル同期データバスを使用する、車両内テレビ会議がある。
【００１８】
システムは、データの流れに従って、順番に記述してある。
順方向３ＤＤＣＴ（３次元離散コサイン変換（Three-Dimensional Discrete Cosine Transform））：
圧縮方式における準備ステップは、空間／時間領域データから周波数情報を抽出するための直交変換を使用することである。収集されたピクチャーフレームのシーケンス、例えば１、２、４、または８は、３次元ブロックを表し、これは、８×８の辺と、収集されたフレーム数によって与えられる深さとを有するサブブロックに分割される。使用する直交変換は、離散コサイン変換（ＤＣＴ）である。自然ビデオコンテンツに存在する時間冗長性を利用するために、よく知られている空間領域における情報の２ＤＤＣＴに加えて、時間領域でのＤＣＴが実施される。
【００１９】
【数１】
2006517076.tif 000003
ここで、
Σｉは、指標ｉ：ｘ＝０．．７についての合計、
Σｊは、指標ｊ：ｙ＝０．．７についての合計、
Σｋは、指標ｋ：ｚ＝０，０．．１，０．．３，または０．．７についての合計、
α（ｑ）：ｑ＝０に対して１／√２、
α（ｑ）：その他の場合は１であり、
ｘ、ｙ、ｚは、３次元空間の指標であり、ｆ（ｘ，ｙ，ｚ）は対応する位置におけるピクセル値である。
【００２０】
時間冗長性の利用のレベルは、符号化前に収集されるフレーム数（この例では、１，２，４または８）によって構成され、これが、所望の帯域幅対レーテンシ要件にシステムを適合させるのに使用される。１つの画像フレームの深さが、２次元離散コサイン変換の特殊な場合に変えられることが理解されるであろう。
式（１）の変換を行うと、３次元係数行列が得られる。（空間次元において）８×８画像サブブロックに対して、この変換によって、８×８の辺と画像フレームシーケンスの選択された深さに等しい深さを有する係数行列、すなわち８×８×深さの次元の行列が得られる。８×８×深さのサブブロックは、計算複雑度を制限するために使用される。しかしながら、本発明は、この点に限定されるものではなく、より大きな、または小さなサブブロックを使用すること、または原理的に画像シーケンスをサブブロックに分割することなく完全画像を処理してもよい。
【００２１】
実際のビデオデータから取った、時間深さが２の場合についての例を、信号チェインを介して追跡する。
オリジナル：フレーム０：
【表１】
2006517076.tif 000004
フレーム１：
【表２】
2006517076.tif 000005
【００２２】
この入力で式（１）の値を求め、（深さを表わす）ｋを［０，１］に等しく設定すると、３次元係数行列が得られる。
ＤＣＴ後：
【表３】
2006517076.tif 000006
【００２３】
量子化：
変換された係数は、その後に量子化ステップに送られて、そこで個々の係数が、量子化行列から得られる量子化率（quantization factor）によって除算される。この行列とともに、量子化率は、実行中の量子化の制御、例えばビットレート制御を行うのに使用される。すなわち、以下の範囲：
ｕは［０，７］
ｖは［０，７］
ｗは［０，０］、［０，１］、［０，３］または［０，７］のすべてに対して、
【数２】
2006517076.tif 000007
ここで、「ｎｉｎｔ」は最も近い整数、ｋは量子化率であり、この場合には１に等しい。量子化行列ｑ（ｕ，ｖ，ｗ）は、３次元行列である。８×８×深さ画像サブブロックに対して、量子化行列は、８×８の辺と画像フレームシーケンスの選択された深さに等しい深さを有する。
【００２４】
先の例を続けると、量子化行列ｑ（ｕ，ｖ，ｗ）は次のようになる。
【表４】
2006517076.tif 000008
【００２５】
量子化ステップによって、３次元量子化係数行列が得られる。８×８×深さ画像サブブロックに対して、量子化係数行列は、８×８の辺と、画像フレームシーケンスの選択された深さに等しい深さを有する。
量子化後：
【表５】
2006517076.tif 000009
【００２６】
可変長符号化：
量子化ステップからの出力は、通常、多数のゼロを含む。その後の可変長符号化を効率的に実施するために、注意深く設計された走査テーブルに従ってこれらの係数が再配列される。
走査テーブルを用いて前記例を追跡すると：
【表６】
2006517076.tif 000010
ここで、係数は上記の量子化係数を収集すべき順序を表わす。走査テーブルにおける数は、平易読取り順序（plain reading order）、すなわち上下および左右方向の読取り順序で、量子化係数行列内の値を指示するのに使用される。
【００２７】
したがって、数０〜６３は、第１の８×８行列内における値を指示し、数６４〜１２７は、第２の８×８行列内の値を指示する。したがって、例えば、この走査順序によれば、収集された第５の要素は、読取り順序において３番目である。これによって、次のシーケンスが生成される：
【表７】
2006517076.tif 000011
【００２８】
引き続き前記例について、現在ビットストリームが、以下の可変長コードワード（codeword）に従って生成される。
ＤＣ成分は、ＤＣ予測が使用されるときを除いて、固定ビット数、この例においては１２ビットを用いて符号化される。これは、符号化ＤＣ係数における固有冗長性を利用する方式である。ＤＣ予測中に、現在と同位置における、先の深さサブブロックからのＤＣ成分の差分だけが送られて、ＡＣ成分と同じ符号表を用いて符号化される。注：ＤＣ成分は量子化されることはないので、この結果として情報損失は導入されない。ＤＣ成分はここでは「６」であり、これは「００００００００１１００」と符号化され、これは、サインビットのための余地を作るために１ビット左シフトさせたＤＣ成分の絶対値であり、これは、符号化数は正であるので、この場合には、「０」である。次の数、「０」が記されているが、符号化は行われず、その代わりに、アルゴリズムは次の値を探し、この場合にはそれは「−１」である。ここで、可変長符号器は、［「連続するゼロの数」，「その後の非ゼロの数の絶対値」］を表わす、ランサイズペア（run-size pair）［１，１］を有し、これは、可変長符号テーブル内の記入項目、具体的には「１１００」があり、符号化が行われる。元の数は「−１」であったので、サインビットは、最右端ビットに追加されて、シーケンスは「１１０１」となる。完成させるための、残りのビット生成をやや大まかに説明する。
【００２９】
先行するゼロのない「−２」は、次のランサイズペア：［０，２］を符号化する結果となる。サイン符号化の後に、この係数値は「１００１１」と符号化される。
その後の１２４個のゼロは、まったく符号化されない。その代わり、ＥＮＤ＿ＯＦ＿ＢＬＯＣＫ（「０１００１１」）という名称の記号がビットストリームに加えられて、復号器は、このシーケンスにはゼロだけが残っていることを正しく判断をする。
したがって、このサブブロックから加えられるビットシーケンスは、「００００００００１１００１１０１１００１１０１００１１」であり、圧縮率は１２８×８／２６＝３９．４となる。
不自然な状況、例えば、多数の連続するゼロに比較的大きな要素が続くなどの状況に対処するために、符号テーブルには、エスケープ符号化機構が付けられて、この機構によってすべての可能なランサイズペアが固有に符号化されることが保証される。
【００３０】
可変長符号化過程への入力の統計的特性は、動き推定／動き補償に基づく従来形ビデオ圧縮方法のそれとは異なっている。例えば、非常に長いランレングスのゼロが可能である。したがって、可変長符号化テーブルには、多数の自然ビデオシーケンスからの経験的データを使用して抽出される可変長符号化テーブルに加えて、さらに圧縮を増大させるための、専用マルチレベルエスケープ符号化機構が備えられている。
【００３１】
エスケープ符号化は以下の場合に分割される：
・全体最大限を超えるゼロのランおよび続く要素絶対値＝１、
・ゼロのランがゼロに等しく、要素が全体最大限を超える、
・ゼロのランが８未満であり、要素は１２８未満、
・残りの場合に対するエスケープ符号。
可変長符号器からのビットストリーム出力は、ネットワーク上での移送のために、固定サイズのバッファーにパケット化される。このバッファーサイズは構成可能であるとともに、ネットワーク移送プロトコルからの推奨に合致するように設計することができる。
【００３２】
復号器がビットストリームを受け取ると、固有記号の構文解析が行われる。現在の例においては、復号器は最初に、（ＤＣ予測は使用されないと仮定して）最初の１２ビットを調査して、「６」がＤＣ成分として伝送されたことを判断する。次いで、復号器はその後のビットストリームを構文解析して、「１１０１」に遭遇すると、これが最小固有後続シーケンスであると判断し、したがってそれを「１つの‘０’とそれに続く絶対値‘１’の要素」として復号する。最後のビットは‘１’であったので、要素は負サインであったと判断され、その結果、復号化シーケンスは０，１となり、ここで要素シーケンス６，０，−１を得る。同じ方法に従って、ビット「１００１１」は、「ゼロ‘０’とそれに続く絶対値‘２’の要素」として復号されて、最終ビットを‘−２’としてサインが補償される。次いで、ビットストリームにおける次の固有ビットシーケンスは「０１００１１」であり、これはＥＮＤ＿ＯＦ＿ＢＬＯＣＫと復号されるか、またはより言語的には、「このサブブロックの残りにはゼロだけがある」と復号されて、その結果、復号器は１２４個（１２８−４（すでに復号された記号））のゼロをシーケンスに加える。
【００３３】
復号器は、逆走査と前進から、本質的に上記の動作の逆を実行している。
逆量子化方程式は次式で与えられる：
次の範囲：
ｕは［０，７］
ｖは［０，７］
ｗは［０，０］、［０，１］、［０，３］または［０，７］のすべてに対して、
【数３】
2006517076.tif 000012
ここで、Ｑ（ｕ，ｖ，ｗ）は復号されたビットストリームを逆走査した後に得られる、サブブロックの要素である。
【００３４】
逆方向３Ｄ−ＤＣＴは次の式で与えられる：
【数４】
2006517076.tif 000013
ここで、
Σｉは指数ｉ：ｕ＝０．．７についての合計、
Σｊは指数ｊ：ｖ＝０．．７についての合計、
Σｋは指数ｋ：ｗ＝０、０．．１，０．．３または０．．７についての合計、
α（ｑ）：ｑ＝０に対して１／√２、
α（ｑ）：その他に対して１である。
【００３５】
ビットストリームの生成はビットストリームの構文解析および復号よりも困難であることから、復号器複雑度は、符号器よりもわずかに低いが、正確にいうと、２つのアルゴリズムは、計算上では同等に困難であると考えることができる。このことから、符号器が新規バッファーを生成するのと並列に、復号器に受信バッファーを処理させることによって、符号器および復号器の同時実行が可能となる。これらの事象のシーケンスを図に示してある。この方式に対する唯一の例外は、符号器は、時間深さ全体の処理を終了すると、バッファーの満杯状況とは無関係に、常に伝送バッファーを送ることである。これによって、そうでなければ発生する、増大するレーテンシを低減することになる。
【００３６】
本発明による符号化／復号化プロセスの簡略化フロー図を、図１に示してある。選択された数の画像フレームを含む、画像フレームシーケンス１０が取得される。上記で述べたように、画像フレームシーケンスの深さとも呼ばれる、画像フレームシーケンスにおける画像フレームの数が、所望の性能を与えるために選択される。画像フレームシーケンスは、順方向３次元離散コサイン変換１２、量子化１４および可変長符号化１６を実施することによって符号化される。この符号化プロセスの結果は、画像フレームシーケンス１０を表わす、符号化ビットシーケンスである。符号化ビットシーケンスは、ネットワーク２０上またはその他の伝送チャネル上で伝送される。受信されたビットシーケンスは、可変長復号３０、逆量子化３２および逆方向３次元離散コサイン変換を実施することによって、復号されて、受信画像シーケンス４０が生成される。受信画像フレームシーケンスの品質および受信画像フレームシーケンスの生成におけるレーテンシ（遅延）は、画像フレームシーケンスの選択された深さの関数である。
【００３７】
本発明の態様による、符号化情報のネットワークデータ伝送を示すタイミング図を図２に示してある。波形１００は、カメラ、ＤＶＤプレーヤーまたはその他のビデオ源によって生成される、一連の画像フレームのタイミングを表わしている。上記で説明したように、本発明による符号化は、選択された深さ、または画像フレーム数を有する画像フレームシーケンスの処理を含む。図２の例において、選択深さは４画像フレームである。したがって、画像フレームシーケンス１１０は、上述のように符号化された４つの画像フレームを含む。符号器は、ネットワーク上で宛先まで伝送される、ネットワークバッファーを満たす。このバッファーの伝送は、図２において波形１２０によって表わされている。画像フレームシーケンス１１０を表わす情報は、間隔１３０中に、ネットワーク上で伝送される。送信装置が１つのバッファーを送信する間に、符号器は、別のバッファーを符号化して満たし、それによって符号器および送信装置は同時に動作する。受信端において、復号器はデータバッファーをネットワークから受信して、上述のように復号を実施する。復号された情報は、画像フレームシーケンス１１０に対応する、画像フレームシーケンス１４０を生成する。復号器が１つの受信データバッファーを復号する間に、受信装置は別のバッファーを受信し、その結果として、受信装置および復号器は同時に動作する。
【００３８】
本発明の一態様による符号化プロセスのフロー図を図３に示してある。ステップ２００において、画像フレームシーケンスの深さは、所望の性能を与えるように選択される。上記で述べたように、比較的小さな深さは、比較的低いレーテンシを与えることができ、それに対して比較的大きな深さは高い画像品質を与えることができる。ステップ２０２において、画像フレームシーケンスは、通常８×８の辺および選択された深さに対応する深さを有する、サブブロックに分割される。ステップ２０４において、各サブブロックについて、３次元離散コサイン変換が実施される。その結果は、各サブブロックに対する３次元係数行列である。ステップ２０６において、各係数行列は、好ましくは３次元量子化行列および量子化率を使用して量子化される。ステップ２０８において、各量子化係数行列が走査テーブルに従って走査されて、順序化された係数の組がもたらされる。ステップ２１０において、この順序係数の可変長符号化が実施される。可変長符号化プロセスは、可変長符号化テーブルを利用して、順序係数を符号化ビットシーケンスに変換することができる。ステップ２１２において、符号化ビットシーケンスは、ネットワーク上またはその他の伝送チャネル上で伝送される。
【００３９】
本明細書において記述する符号化／復号化技法は、車両においてビデオ情報を配信するのに特に有用であるが、そのような応用に限定されるものではない。本発明の一態様による符号化／復号化プロセスを使用する車両配信システムのブロック図を図４に示してある。車両配信システムは、ビデオ情報を１つまたは複数の源から車両内の１つまたは複数の宛先に移送するためのネットワーク３００を利用する。一態様においては、ネットワーク３００は、ＭＯＳＴ  Ｃｏｏｐｅｒａｔｉｏｎによって開発されたＭＯＳＴネットワークと呼ばれる、光ファイババスシステムを利用することができる。ＭＯＳＴネットワークに関する情報は、www.mostcooperation.comにおいて入手可能である。別の態様においては、ネットワーク３００は、ＩＤＢ１３９４、Ｄ２Ｂまたはその他の銅電気バスシステムを利用することができる。様々な源ノードおよび宛先ノードがネットワーク３００に接続されている。図４の例においては、車両配信システムは、メディア源符号器ノード３１０、ナビゲーションシステム符号器ノード３１２およびリアビュービデオ取得符号器ノード３１４を含んでもよい。メディア源符号化ノード３１０は、ＤＶＤプレーヤー３２０とネットワーク３００の間のインターフェイスとしての役割を果すことができる。リアビュービデオ取得符号器ノード３１４は、カメラ３２２とネットワーク３００のインターフェイスとしての役割を果すことができる。車両配信システムには、ドライバ情報／ビデオ表示復号器ノード３４０、リアビデオ表示復号器ノード３４２およびリアビデオ表示復号器ノード３４４をさらに含めてもよい。これらの復号器ノードのそれぞれは、ネットワーク３００とビデオ表示スクリーン３５０のインターフェイス、およびネットワーク３００とスピーカ３５２またはヘッドセット３５４のインターフェイスとしての役割を果すことができる。
【００４０】
動作に際して、各符号器ノードは、上述のようにビデオ情報を符号化して、符号化情報をネットワーク３００上で伝送して、それをすべての復号器ノードに対して利用可能にすることができる。各復号器ノードは、受信情報を復号して、ビデオ表示スクリーン３５０用のビデオ信号ならびに任意選択でスピーカ３５２および／またはヘッドセット３５４用のオーディオ信号を生成することができる。伝送された信号は、１つまたは複数の宛先で受信することができる。一例においては、メディア源符号器ノード３１０は、ＤＶＤプレーヤー３２０からの符号化ビデオをネットワーク上に伝送することが可能であり、リアビデオ表示復号器ノード３４２、３４４の一方または両方が、車両の乗員が見るためにその情報を復号することができる。別の例においては、ナビゲーションシステム符号器ノード３１２は、符号化ナビゲーションビデオ情報を伝送し、それを、ドライバ情報／ビデオ表示復号器ノード３４０が受信して、車両のドライバが見るために復号することができる。さらに別の例においては、リアビュービデオ取得符号器ノード３１４は、カメラ３２２からの符号化ビデオ情報をネットワーク上に伝送し、その符号化ビデオ情報を、ドライバ情報／ビデオ表示復号器ノード３４０が、符号器ノード３１２からの符号化ナビゲーション情報の復号に加えて復号して「ピクチャ・イン・ピクチャ」を表示することができる。
【００４１】
本発明の一態様による符号器ノード４００のブロック図を図５に示してある。符号器ノード４００は、図４に示す符号器ノード３１０、３１２、３１４のそれぞれに対応させることができる。符号器ノード４００には、カメラ、ＤＶＤプレーヤーまたはナビゲーションコンピュータなどのビデオ源からのビデオ信号を受信するための、ビデオアナログ・ディジタル変換器４１０を含めることができる。このビデオアナログ・ディジタル変換器４１０は、ビデオ源がディジタルインターフェイスを有する場合には省略してもよいことが、理解されるであろう。ディジタルビデオ信号は、上述のようにビデオ信号を符号化するためのソフトウエアを含む、ディジタル信号プロセッサ４２０に供給される。例として挙げるだけであるが、ＤＳＰ４２０は、Ａｎａｌｏｇ  Ｄｅｖｉｃｅｓ，Ｉｎｃ．が製造、販売するＡＤＳＰ−２１５３２  Ｂｌａｃｋｆｉｎ  ＤＳＰとすることができる。符号器ノード４００には、両方ともＤＳＰに結合された、メモリ４２２およびフラッシュメモリ４２４を含めてもよい。符号化ビデオ情報は、ＤＳＰ４２０によってネットワークドライバデバイス４３０に供給され、このデバイスは、ネットワークプロトコルに従って、符号化情報をネットワーク３００に伝送するための回路を含む。ネットワークドライバデバイス４３０には、ネットワーク３００上に伝送すべき情報を保持するネットワークバッファーを含めてもよい。
【００４２】
本発明の一態様による復号器ノード５００のブロック図を図６に示してある。復号器ノード５００は、図４に示す復号器ノード３４０、３４２、３４４のそれぞれに対応させることができる。符号化情報は、ネットワーク上でネットワークドライバデバイス５１０によって受信される。ネットワークドライバデバイス５１０には、ネットワーク３００上で情報を受信するためのネットワークバッファーなどの、回路を含めてもよい。受信情報は、上述のように符号化情報を復号するためのソフトウエアを備える、ＤＳＰ５２０に供給される。ＤＳＰ５２０は、例えば、ＡＤＳＰ−２１５３２  Ｂｌａｃｋｆｉｎ  ＤＳＰとすることができる。復号ノード５００には、両方ともＤＳＰ５２０に結合された、メモリ５２２およびフラッシュメモリ５２４をさらに含めてもよい。復号化ビデオ情報は、ＤＳＰ５２０によって、ビデオディジタル・アナログ変換器５３０を介して、ビデオ表示スクリーン３５０に供給される。ここで、ビデオディジタル・アナログ変換器５３０は、ビデオ表示スクリーン３５０がディジタルインターフェイスを有する場合には、省略してもよいことが理解されるであろう。復号化オーディオ情報は、ＤＳＰ２０によって、オーディオディジタル・アナログ変換器５４０を介して、ヘッドセット３５４および／またはスピーカ３５２に供給される。
【００４３】
動作において、符号化ビデオ情報は、ネットワーク上で符号器ノード５００によって受信される。符号化情報は、上述のように復号されて、適当な端末装置に供給される。符号化情報は、ネットワークへのアクセスの可能な符号器ノードのいずれにも源を発することができる。
上述のように、画像フレームシーケンスにおける画像フレームの数は、画像フレームシーケンスの深さとも呼ばれるものであり、所望の性能をもたらすように選択される。受信画像フレームシーケンスの品質および受信画像フレームシーケンスを生成する際のレーテンシは、画像フレームシーケンスの選択される深さの関数である。比較的小さい深さは、比較的低いレーテンシをもたらすのに対して、比較的大きな深さは、高い画像品質をもたらす。画像フレームシーケンスの深さは、手操作または自動操作で選択するか、あるいは事前プログラムすることができる。例示の目的としては、１、２、４または８画像フレームの深さを選択することができる。しかしながら、本発明の範囲内で、その他の深さ値を利用することができる。
【００４４】
深さ選択の例を、図４を参照して説明する。一例において、メディア源符号器ノード３１０およびリアビデオ表示復号器ノード３４２は、比較的大きい深さでプログラムして、ＤＶＤプレーヤー３２０からの高品質ビデオを車両乗員に配信することができる。別の例において、リアビュービデオ取得符号化ノード３１４およびドライバ情報／ビデオ表示復号器ノード３４０は、比較的小さな深さでプログラムして、カメラ３２２から車両ドライバに低レーテンシでビデオを配信することができる。さらに、符号器ノード３１４によって処理される画像フレームシーケンスの深さは、車両が前進しているか、または後退しているかに応じて自動的に変えてもよく、それは画像の変化速度は、車両の前進移動に対しては後退に対するよりも大きくなる傾向にあるからである。さらに別の例においては、ドライバ情報／ビデオ表示復号器ノード３４０は、画像データがナビゲーションシステム符号器ノード３１２から受信されるか、またはリアビュービデオ取得符号器ノード３１４から取得されるかに応じて変化可能な、画像フレームシーケンス深さを有してもよい。復号器ノード３４０によって使用される深さは、符号化ビデオ情報より先に符号器ノードから伝送されるヘッダーに含まれる、深さ情報に応じて設定してもよい。さらに別の例においては、車両配信システムには、車両乗員が画像品質および／またはレーテンシを制御することを可能にする、制御入力を含めることができる。制御入力は、画像フレームシーケンスの適当な深さを選択する。
【００４５】
上記の例に基づいて、車両配信システムが、画像フレームシーケンスの第１の深さで動作する第１の符号器ノードおよび第１の復号器ノード、ならびに画像フレームシーケンスの第２の深さで同時に動作する第２の符号器ノードおよび第２の復号器ノードを有することができることは明白である。第１および第２の深さは、同じでも異なってもよい。各深さの選択は、特定の用途に対して所望の性能をもたらすように行われる。
本明細書に記述する符号化および復号化の方法には、実行時に再構成可能な微分時間圧縮深さ（differentiated temporal compression depth）を使用し、それによって低レーテンシ動作を可能にすることができる。この方法では、ＤＣＴを時間情報、すなわちフレーム単位ベースでピクセル値における差分に適用するときに、構成可能な量のピクチャーフレームを使用する。現在の選択は、１、２、４または８であり、したがって３Ｄ−ＤＣＴは、実行時に再構成されて変換を計算する。これによって、レーテンシ／ビットレートとビデオ品質との間の固有のトレードオフに対する多様な要件を満たすことのできる柔軟な解決策が得られる。
【００４６】
この方法には、ビットレートの低減のためのＤＣ成分の予測を使用することができる。連続する画像フレームシーケンスにおける同一サブブロックに対する、ＤＣ成分、すなわち変換行列内の要素Ｆ［０，０，０］は、いくらかの冗長情報を保持しており、これをさらに利用してピクチャー品質を維持したままビットレートを低減することができる。この方法は、ある時間にわたって同一サブブロックに対する、連続するＤＣ成分間の差分を計算して、その「デルタ情報」を実際のＤＣ成分の代わりに伝送する。また、この方式はある速度でリフレッシュされ、それによって伝送誤りが生じた場合に復号器が再同期される。この方法が最も適しているのは、少数の連続するフレームが使用される場合、すなわちＤＣ成分がビットストリームの大部分を占めるプロファイルにおいてである。
【００４７】
この方法では、その圧縮方法によって生成されるアーチファクトの決定的挙動と緊密に結合した視覚データの、事前および事後処理を使用することができる。使用する方法は、変換されるフレーム数に基づいて選択されるが、それは、低深さプロファイル（lower depth-profiles）に出現する一般的なアーチファクトは、「ブロッキング（blocking）」タイプであり、より多くのフレームが時間領域で使用される深さ（一般的には４または８）に対しては「リンギング（ringing）」であるからである。ブロッキングは、サブブロック境界間に見ることのできる不連続として現われて、チェック模様の外観を引き起こす。リンギングアーチファクトは、空間領域における、目に見える分離された周波数（visible isolated frequencies）で出現して、サブブロック境界内部により小型のチェック模様パターンを表示する。
【００４８】
量子化ステップは、実行時に再構成可能とすることができる。量子化ハーシュネスを、実行時に制御して、例えば、ビットレート制御を容易化することができる。
この方法では、ビットレート制御機構を使用することができる。ネットワーク移送およびレーテンシ問題の予測性を保証するために、ビットレート制御機構を使用することができる。
この方法は、ＲＬＥおよびＶＬＣ方式へのアプローチを定義する。経験データに基づくＲＬＥおよびＶＬＣテーブルを生成する方法を使用して、ほぼ最適のルックアップテーブルを達成することができる。
【００４９】
この方法は、ジグザグ走査順序（zig-zag scan order）設計へのアプローチを定義する。経験データに基づくジグザグ走査順序テーブルを生成する方法を使用して、ほぼ最適な走査テーブルを達成することができる。
この方法は、今日の娯楽情報およびドライバ情報アプリケーションをサポートするために車両内で使用されるもののような、同期ディジタルネットワークに適する、コーデックの対称アプローチを探索することができる。緊密に結合された事前および事後処理フィルタおよび専用ビットレート制御機構と組み合わせた、高度に決定的で、計算機能力式の実現によって、システムからほとんど一定のビットレート出力が生成される。これは、同期ディジタルネットワークの資源を最適利用するために使用することができる。
【００５０】
この方法は、また、同一計算機デバイス（ＤＳＰ、μＰ）上にビデオコーデックとして共存するための、ネットワークプロトコルおよびサービスを可能として、ＭＰＥＧおよびＩＴＵ−Ｔ標準と比較して、必要とする計算機能力は、低くかつ高度に予測可能である。このことによって、メモリおよびＩＣ間接続性などの外部インターフェイスに対する要件が緩和されて、より安価でより効率的なシステムが得られる。
この方法は、実行時再構成および構成識別を容易化するビットストリームフォーマットを定義することができる。この方法では、符号化ビットストリームの重要な情報を復号器に通信し、それによって復号器がそれ自体を再構成することを可能にすることに役立つヘッダーフォーマットを使用することができる。入力ビデオのフォーマット、フレームレート、カラースペースなどのビデオデータは、時間深さ、量子化率および誤り耐性のための同期ビットシーケンスと同様に、伝送することができる。
【００５１】
この方法では、軽量誤り後再同期方式（lightweight post-error resynchronization scheme）を使用してもよく、それは、今日の車両において使用されている低ビット誤り率ディジタルネットワークなどの物理層に使用するために簡素化がされている。この方法では、ビデオシーケンスの開始を指示するシーケンス開始コードを使用することができる。この特定のシーケンスは、固有符号化ビデオにおいて発生する最も可能性の低いビット組合せとして選択される。この方法では、また、符号化フレームの終端を指示する深さ終端符号を使用してもよく、復号器が仮定する深さ終端符号が、フレームの深さにおいて伝送される最後のビットシーケンスとして添付される。復号器が、このシーケンスをこの特定のビットストリーム場所において見つけない場合には、復号器はビット伝送誤りが発生したものと仮定して、受信ビットストリーム内でシーケンス開始符合の探索を開始して、それ自体を再同期する。
【００５２】
以上、本発明の少なくとも１つの態様のいくつかの観点について記述したが、当業者は様々な変更形態、修正形態、および改良形態を容易に思い付くであろうことを認識すべきである。そのような変更形態、修正形態、および改良形態は、本開示の一部であるとともに、本発明の趣旨と範囲に入ることを意味している。したがって、前記の説明および図面は、事例にすぎないものである。
【図面の簡単な説明】
【００５３】
【図１】本発明の一態様による、符号化／復号化プロセスのブロック図である。
【図２】本発明の一態様による、符号化／復号化プロセスを説明するタイミング図である。
【図３】本発明の一態様による、符号化プロセスを示すフロー図である。
【図４】本発明の一態様による符号化／復号化プロセスを使用する車両配信システムのブロック図である。
【図５】図４に示す符号器ノードの一態様を示すブロック図である。
【図６】図４に示す復号器ノードの一態様を示すブロック図である。
【図１】
2006517076.tif 000014
【図２】
2006517076.tif 000015
【図３】
2006517076.tif 000016
【図４】
2006517076.tif 000017
【図５】
2006517076.tif 000018
【図６】
2006517076.tif 000019
【手続補正書】
【提出日】平成18年4月3日(2006.4.3)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像データを符号化する方法であって、
画像フレームシーケンスにおいてある数の順次画像フレームを選択して、所望の符号化性能を達成すること；
前記画像フレームシーケンスにおける画像データについて３次元離散コサイン変換を実施して、３次元係数行列を提供すること；および
前記係数を処理して、符号化ビットシーケンスを提供することを含む、前記方法。
【請求項２】
３次元離散コサイン変換を実施することが、
画像フレームシーケンスを表わす画像データをサブブロックに分割し、該サブブロックのそれぞれが、前記画像フレームシーケンスにおける画像フレーム数に等しい深さを有するようにすること、および
前記サブブロックのそれぞれにおける画像データについて３次元離散コサイン変換を実施して、前記サブブロックのそれぞれに対して３次元サブブロック係数行列を提供することを含む、請求項１に記載の方法。
【請求項３】
係数を処理することが、サブブロック係数の行列を量子化して、量子化係数の行列を提供することを含む、請求項２に記載の方法。
【請求項４】
係数を処理することが、３次元量子化行列および量子化率に基づいてサブブロック係数の行列を量子化して、量子化係数の行列を提供すること、および走査テーブルに従って量子化係数を配列して、順序係数を提供することを含む、請求項２に記載の方法。
【請求項５】
係数を処理することが、符号化ビットシーケンスを提供するための、順序係数の可変長符号化をさらに含む、請求項４に記載の方法。
【請求項６】
係数を処理することが、符号化ビットシーケンスを提供するための、可変長符号化テーブルを使用する順序係数の可変長符号化を含む、請求項４に記載の方法。
【請求項７】
可変長符号化が、エスケープ符号を使用して、符号化ビットシーケンスを定義することをさらに含む、請求項６に記載の方法。
【請求項８】
画像データを符号化する装置であって、
画像フレームシーケンスにおいてある数の順次画像フレームを選択して、所望の符号化性能を達成する手段、
前記画像フレームシーケンスにおける画像データについて３次元離散コサイン変換を実施して、３次元係数行列を提供する手段、および
前記係数を処理して、符号化ビットシーケンスを提供する手段を含む、前記装置。
【請求項９】
画像データを車両内の第１の位置から第２の位置に伝送する方法であって、
画像フレームシーケンスにおいてある数の順次画像フレームを選択して所望の性能を達成すること、
前記画像フレームシーケンスを表わす画像データについて３次元離散コサイン変換を実施して、３次元係数行列を提供すること、
前記係数を処理して、符号化ビットシーケンスを提供すること、
前記符号化ビットシーケンスを車両内の前記第１の位置から前記第２の位置へ伝送すること、および
前記符号化ビットシーケンスを前記第２の位置で復号して、伝送画像フレームシーケンスを提供することを含む、前記方法。
【請求項１０】
３次元離散コサイン変換を実施することが、
画像フレームシーケンスを表わす画像データをサブブロックに分割して、該サブブロックのそれぞれが前記画像シーケンスにおける画像フレームの数に等しい深さを有するようにすること、および
前記サブブロックのそれぞれにおける画像データについて３次元離散コサイン変換を実施して、前記サブブロックのそれぞれに対して、３次元サブブロック係数行列を提供することを含む、請求項９に記載の方法。
【請求項１１】
復号することが、
量子化係数を提供するための符号化ビットシーケンスの可変長復号、
非量子化係数を提供するための前記量子化係数の逆量子化、および
前記非量子化係数について逆方向３次元離散コサイン変換を実施して、画像フレームシーケンスを表わす画像データを提供することを含む、請求項９に記載の方法。
【請求項１２】
ビットシーケンスを復号する方法であって、
量子化係数を提供するための、画像データを表わす符号化ビットシーケンスの可変長復号、
非量子化係数を提供するための前記量子化係数の逆量子化、および
前記非量子化係数について逆方向３次元離散コサイン変換を実施して、画像フレームシーケンスを表わす画像データを提供することを含む、前記方法。
【請求項１３】
車両内でビデオ信号を配信するための装置であって、
前記車両内でデータを配信するためのネットワーク、
前記ネットワークに結合されて、ビデオ源からビデオ信号を受信し、該ビデオ信号から抽出された画像データについて３次元離散コサイン変換を実施して３次元係数行列を提供するとともに、前記係数を処理して前記ネットワーク上での配信のための符号化ビットシーケンスを提供する、符号器ノード、および
前記ネットワークに結合されて、前記符号化ビットシーケンスを復号して受信ビデオ信号を提供する復号器ノードを含む、前記装置。
【請求項１４】
符号器ノードが、ビデオ信号を画像データに変換するためのビデオアナログ・ディジタル変換器、３次元離散コサイン変換を実施するとともに係数を処理して符号化ビットシーケンスを提供するディジタル信号プロセッサ、および符号化されたビットシーケンスをネットワーク上で伝送するためのネットワークドライバデバイスを含む、請求項１３に記載の装置。
【請求項１５】
復号器ノードが、符号化ビットシーケンスを受信するためのネットワークドライバ、前記符号化ビットシーケンスを復号してディジタル値を提供するディジタル信号プロセッサ、および前記ディジタル値を受信ビデオ信号に変換するためのビデオディジタル・アナログ変換器を含む、請求項１３に記載の装置。
【請求項１６】
ビデオ源をネットワークにインターフェイスするための符号器ノードであって、
ビデオ信号をアナログ信号に変換するためのビデオアナログ・ディジタル変換器、
画像データについて３次元離散コサイン変換を実施して３次元係数行列を提供する手段および前記係数を処理して符号化ビットシーケンスを提供する手段を含むディジタル信号プロセッサ、ならびに
前記ネットワーク上で前記符号化ビットシーケンスを伝送するためのネットワークドライバデバイスを含む、前記符号器ノード。
【請求項１７】
実施する手段が、画像データをサブブロックに分割する手段、および前記サブブロックのそれぞれにおける画像データについて３次元離散コサイン変換を実施し、前記サブブロックのそれぞれに対して、３次元サブブロック係数行列を提供する手段を含む、請求項１６に記載の符号器ノード。
【請求項１８】
処理する手段が、サブブロック係数を量子化して量子化係数を提供する手段、走査テーブルに従って前記量子化係数を配列して順序係数を提供する手段、および符号化ビットシーケンスを提供するための順序係数の可変長符号化の手段を含む、請求項１７に記載の符号器ノード。
【請求項１９】
車両内でビデオ信号を配信するための装置であって、
車両内でデータを配信するためのネットワーク；
前記ネットワークに結合されて第１のビデオ源から第１のビデオ信号を受信し、前記第１のビデオ信号から抽出された画像データについて３次元離散コサイン変換を実施して３次元係数行列を提供するとともに、前記係数を処理してネットワーク上での配信のための第１の符号化ビットシーケンスを提供する第１の符号器ノードであって、前記第１のビデオ信号から抽出される画像データが、第１の深さを有する第１の画像フレームシーケンスを含む、前記第１の符号器ノード；
前記ネットワークに結合されて、前記第１の符号化ビットシーケンスを復号して第１の受信ビデオ信号を提供する第１の復号器ノード；
前記ネットワークに結合されて、第２のビデオ源から第２のビデオ信号を受信し、前記第２のビデオ信号から抽出された画像データについて３次元離散コサイン変換を実施して３次元係数行列を提供するとともに、前記係数を処理して第２の符号化ビットシーケンスを提供する第２の符号器ノードであって、前記第２のビデオ信号から抽出される画像データが、前記第１の深さと異なる第２の深さを有する画像フレームシーケンスを含む、前記第２の符号器ノード；および
前記ネットワークに結合されて、前記第２の符号化ビットシーケンスを復号して第２の受信ビデオ信号を提供する第２の復号器ノードを含む、前記装置。
【請求項２０】
第２の深さが、第１の深さと異なる、請求項１９に記載の装置。
【国際調査報告】
2006517076.tif 000020
2006517076.tif 000021
2006517076.tif 000022