(57)【要約】Ｉ、Ｐ及びＢ画像の混合を有するＭＰＥＧビデオビットストリームが、装置（１１０及び１１２）間での転送のために、本質的にＩ画像を有する中間ビットストリームフォーマットを用いて変換符号化される。該中間ビットストリームにはユーザデータフィールドに追加の情報（１２２）が挿入され、何の画像が元のビットストリームにおいてＩ画像であったか、及びそうでなかったかを識別する。再びＩＰＢフォーマットに変換符号化する（１２６）場合に、画像品質の損失を、この元のビデオビットストリーム構造の知識を用いて、特には元のビットストリームにおいてＩ画像として符号化されていた画像をＩ画像として符号化することにより、最小化することができる。
2004534484.tif 000002
【特許請求の範囲】
【請求項１】
ビデオビットストリームを変換符号化する場合に画像品質の損失を最小化する方法において、
（ａ）符号化された画像のシーケンスを有する第１フォーマットの第１ビットストリームを入力するステップと、
（ｂ）前記第１ビットストリームを変換符号化して、第２ビットストリームを生成するステップと、
（ｃ）前記第１ビットストリームから導出された追加情報を前記第２ビットストリームに挿入するステップと、
（ｄ）前記第２ビットストリームを前記追加情報と共に第２フォーマットで送信するステップと、
（ｅ）前記第２ビットストリームを受信するステップと、
（ｆ）前記第２ビットストリームを、前記追加情報を前記第２ビットストリームに関する画像構造を規定するために使用して、第３フォーマットの第３ビットストリームに変換符号化するステップと、
を有していることを特徴とする方法。
【請求項２】
請求項１に記載の方法において、前記第２ビットストリームのビットレートが前記第１又は第３ビットストリームのビットレートよりも高いことを特徴とする方法。
【請求項３】
前記ステップ（ｂ）において、前記第２ビットストリームがイントラ符号化された画像のみとして符号化されることを特徴とする請求項１又は請求項２に記載の方法。
【請求項４】
前記ステップ（ｃ）において、前記第１ビットストリームから導出された前記追加情報が画像シーケンス構造情報に関するものであることを特徴とする請求項１、２又は３に記載の方法。
【請求項５】
請求項１、２、３又は４に記載の方法において、前記追加情報が、画像又は画像のシーケンスの画像型式情報を更に含むことを特徴とする方法。
【請求項６】
前記ステップ（ｄ）において、前記追加情報が、前記第２ビットストリームにおける標準ビデオデータフォーマットのユーザデータフィールドとして定義されるフィールドに挿入されることを特徴とする請求項１ないし５の何れか一項に記載の方法。
【請求項７】
前記ステップ（ｅ）において、前記第１ビットストリームにおいてイントラ符号化された画像が、前記第３ビットストリームにおいてイントラ符号化された画像として優先的に変換符号化されることを特徴とする請求項１ないし６の何れか一項に記載の方法。
【請求項８】
請求項１ないし７の何れか一項に記載の方法において、前記第２ビットストリームに挿入された前記第１ビットストリームに関する前記追加情報が、“picture_header”フィールドの後の“user_data”フィールドに挿入されるＭＰＥＧ“group_start_code”並びに“closed_gop”及び“broken_link”フィールドの内容を含むことを特徴とする方法。
【請求項９】
請求項１ないし８の何れか一項に記載の方法において、前記ストリームに挿入される更なる情報が、“picture_header”フィールドの後の“user_data”フィールドに挿入されるＭＰＥＧ“picture_coding_type”フィールドの内容を含むことを特徴とする方法。
【請求項１０】
請求項１ないし９の何れか一項に記載の方法において、前記ステップ（ａ）ないし（ｄ）は第１ビデオ処理装置において実行される一方、前記ステップ（ｅ）ないし（ｆ）は前記第２ビットストリームの伝送のために前記第１装置に接続された第２装置において実行されることを特徴とする方法。
【請求項１１】
第１フォーマットの第１ビットストリームをデジタルインターフェースを介して伝送するために第２フォーマットの第２ビットストリームに変換符号化する方法において、該変換符号化する方法が、前記第１フォーマットにおける前記第１ビットストリームの構造に関する追加情報を前記第２ビットストリームに埋め込むステップを含んでいることを特徴とする方法。
【請求項１２】
請求項１１に記載の方法において、前記第２ビットストリームのビットレートが前記第１ビットストリームのビットレートよりも高いことを特徴とする方法。
【請求項１３】
請求項１１又は１２に記載の方法において、前記追加情報は、前記第２ビットストリームにおいてイントラ符号化画像として符号化された何の画像が前記第１ビットストリームにおいてイントラ符号化画像として符号化されていなかったかを特定することを特徴とする方法。
【請求項１４】
第２フォーマットの第２ビットストリームを第３フォーマットの第３ビットストリームに変換符号化する方法において、前記第２フォーマットの前記第２ビットストリームはデジタルインターフェースを介して受信されると共に前記第２ビットストリームに埋め込まれた情報を用いて前記第３フォーマットの前記第３ビットストリームに変換符号化され、前記情報は、前記第２ビットストリームが前に導出された第１フォーマットの第１ビットストリームの構造を規定していることを特徴とする方法。
【請求項１５】
請求項１４に記載の方法において、前記第２ビットストリームのビットレートが前記第３ビットストリームのビットレートよりも高いことを特徴とする方法。
【請求項１６】
請求項１４又は１５に記載の方法において、前記第３ビットストリームはインター符号化された画像及びイントラ符号化された画像の両方を含み、前記追加情報は、前記第２ビットストリームにおけるイントラ符号化画像として符号化された何の画像が前記第３ビットストリームにおいて、前記第２ビットストリームにおいてイントラ符号化画像として符号化された他の画像よりも優先して、イントラ符号化画像として符号化されるべきかを制御するために使用されることを特徴とする方法。
【請求項１７】
請求項１ないし１０及び１４ないし１６の何れか一項に記載の方法において、前記第３ビットストリームを請求項１ないし１０及び１４ないし１６の何れか一項に記載の方法を実施化する記録担体上に記録するステップを更に有していることを特徴とする方法。
【請求項１８】
一連のイントラ符号化画像として中間フォーマットで符号化されたビデオストリームを表す電子信号において、該信号が、前記イントラ符号化画像が導出された画像型式及び画像シーケンスを示す符号化された追加の履歴的機能的情報を更に有することを特徴とする電子信号。
【請求項１９】
請求項１８に記載の電子信号において、該電子信号が前記履歴的機能的情報を標準のビデオデータフォーマットのユーザデータフィールドにおいて符号化することを特徴とする電子信号。
【請求項２０】
請求項１ないし１７の何れか一項に記載の方法を実施するように特別に構成された手段を有することを特徴とする装置。
【請求項２１】
ビデオビットストリームを変換符号化する場合に画像品質の損失を最小化する装置において、
（ａ）符号化された画像のシーケンスを有する第１フォーマットの第１ビットストリームを入力する手段と、
（ｂ）前記第１ビットストリームを先ず変換符号化して、第２ビットストリームを生成する手段と、
（ｃ）前記第１ビットストリームから導出された追加情報を前記第２ビットストリームに挿入する手段と、
（ｄ）前記第２ビットストリームを前記追加情報と共に第２フォーマットで送信する手段と、
（ｅ）前記第２ビットストリームを受信する手段と、
（ｆ）前記第２ビットストリームを、前記追加情報を前記第２ビットストリームに関する画像構造を規定するために使用して、第３フォーマットの第３ビットストリームに変換符号化する手段と、
を有していることを特徴とする装置。
【請求項２２】
請求項２１に記載の装置において、前記先ず変換符号化する手段が、前記第２ビットストリームをイントラ符号化画像のみとして符号化することを特徴とする装置。
【請求項２３】
請求項２１又は２２に記載の装置において、前記追加情報を挿入する手段により挿入された前記追加情報が、前記第１ビットストリームから画像シーケンス構造情報に関して導出されることを特徴とする装置。
【請求項２４】
請求項２１、２２又は２３に記載の装置において、前記追加情報が、画像又は画像のシーケンスの画像型式情報を更に含んでいることを特徴とする装置。
【請求項２５】
請求項２１ないし２４の何れか一項に記載の装置において、前記第２ビットストリームを送信する手段は、前記追加情報を前記第２ビットストリームにおける標準のビデオデータフォーマットにおいてユーザデータフィールドとして定義されるフィールドに挿入することを特徴とする装置。
【請求項２６】
請求項２１ないし２５の何れか一項に記載の装置において、前記第２ビットストリームを変換符号化する手段は、前記第１ビットストリームにおいてイントラ符号化されていた画像を前記第３ビットストリームにおいてイントラ符号化画像として優先的に変換符号化することを特徴とする装置。
【請求項２７】
請求項２１ないし２６の何れか一項に記載の装置において、前記第２ビットストリームに挿入された前記第１ビットストリームに関する前記追加情報が、“picture_header”フィールドの後の“user_data”フィールドに挿入されるＭＰＥＧ“group_start_code”並びに“closed_gop”及び“broken_link”フィールドの内容を含むことを特徴とする装置。
【請求項２８】
請求項２１ないし２７の何れか一項に記載の装置において、前記ストリームに挿入される更なる情報が、“picture_header”フィールドの後の“user_data”フィールドに挿入されるＭＰＥＧ“picture_coding_type”フィールドの内容を含むことを特徴とする装置。
【請求項２９】
請求項２１ないし２８の何れか一項に記載の装置において、前記手段（ａ）ないし（ｄ）は第１ビデオ処理装置に含まれる一方、前記手段（ｅ）ないし（ｆ）は前記第２ビットストリームの伝送のために前記第１装置に接続された第２装置に含まれることを特徴とする装置。
【請求項３０】
デジタルインターフェースを介して伝送すべく第１フォーマットの第１ビットストリームを第２フォーマットの第２ビットストリームに変換符号化するために請求項１の前記ステップ（ａ）ないし（ｃ）を実行する装置において、該装置は、前記第２ビットストリームに、前記第１フォーマットの前記第１ビットストリームの構造に関する追加情報を導出して挿入することを特徴とする装置。
【請求項３１】
請求項３０に記載の装置において、前記追加情報は、前記第２ビットストリームにおいてイントラ符号化画像として符号化された何の画像が前記第１ビットストリームにおいてイントラ符号化画像として符号化されていなかったかを特定することを特徴とする装置。
【請求項３２】
第２フォーマットの第２ビットストリームを第３フォーマットの第３ビットストリームに変換符号化する請求項１の前記ステップ（ｅ）ないし（ｆ）を実行する装置において、前記第２フォーマットの前記第２ビットストリームはデジタルインターフェースを介して受信されると共に前記第２ビットストリームに埋め込まれた情報を用いて前記第３フォーマットの前記第３ビットストリームに変換符号化され、前記情報は、前記第２ビットストリームが前に導出された第１フォーマットの第１ビットストリームの構造を規定していることを特徴とする装置。
【請求項３３】
請求項３２に記載の装置において、前記第３ビットストリームはインター符号化された画像及びイントラ符号化された画像の両方を含み、前記追加情報は、前記第２ビットストリームにおけるイントラ符号化画像として符号化された何の画像が前記第３ビットストリームにおいて、前記第２ビットストリームにおいてイントラ符号化画像として符号化された他の画像よりも優先して、イントラ符号化画像として符号化されるべきかを制御するために使用されることを特徴とする装置。
【請求項３４】
請求項２１ないし２９及び３２ないし３３の何れか一項に記載の装置において、前記第３ビットストリームを請求項１ないし１７の何れか一項に記載の方法に従って記録担体上に記録する手段を更に有していることを特徴とする装置。
【請求項３５】
一連のイントラ符号化画像として中間フォーマットで符号化されたビデオストリームを表す電子信号を発生する装置において、該信号が、前記イントラ符号化画像が導出された画像型式及び画像シーケンスを示す符号化された追加の履歴的機能的情報を更に有することを特徴とする装置。
【請求項３６】
請求項３５に記載の装置において、前記電子信号が前記履歴的機能的情報を標準のビデオデータフォーマットのユーザデータフィールドにおいて符号化していることを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルビデオビットストリームを変換符号化する方法及び装置に関する。本発明は、特にＩＴＵ−Ｔ推奨H.222.0|ISO/IEC 13818-1に規定されたＭＰＥＧ−２規格に関して異なるビットレート間でビデオストリームを変換符号化する場合に用途を有する。
【背景技術】
【０００２】
上述したＭＰＥＧ−２規格は、マルチメディアの多重化、同期及びタイムベース復元のための包括的方法を指定している。ＭＰＥＧ−２規格は、画像間の内容の差の推定等の時間的冗長性を低減し及び圧縮を改善するための種々の方法を使用している。概念上の画像群（ＧＯＰ）は、典型的には、自身の情報のみを使用して符号化されたイントラ符号化された“Ｉ”画像、先行するＩ画像に基づき動きベクトルを使用して符号化された予測“Ｐ”符号化画像、及びシーケンス内の前及び後のＩ及び／又はＰ画像からの予測により符号化された双方向予測“Ｂ”画像を有している。
【０００３】
特定のアプリケーションに対しては、データストリームのフォーマットを、ビットストリームフォーマット間で変換することができる“変換符号器”の使用により変更することが望ましい。これは、例えば、縦続接続されたＭＰＥＧデコーダ／コーダ装置の使用により簡単に達成することができる。斯様な方法は、ＭＰＥＧストリームをデコードしてビデオシーケンスを得、次いで該シーケンスを要件に応じて再符号化する。しかしながら、この方法は、例えば当該ビデオストリームの最適には達しない再符号化及び累積的量子化エラーにより、元の符号化されたビデオストリームと較べて画像品質の不満足な劣化に繋がり得る。
【０００４】
変換符号化構成の既知の例は、国際特許出願公開第WO00/70877号を含み、該文献はＭＰＥＧ“プロファイル”間の変換を述べると共に、例えば“投稿品質”ビデオを生成するための高品質の或るフォーマットのビットストリームを、配信に適した他のフォーマットに変換符号化する。
【０００５】
変換符号化の一例は、ＭＰＥＧビデオストリームが或る媒体上に記憶されるためにデジタルインターフェースを介して転送される場合のような、ＭＰＥＧビデオストリームのビットレートの変更が必要とされる場合である。ＭＰＥＧ記憶装置においては、ビデオストリームは、典型的には、圧縮されたストリームの効率的な記憶のために、ＭＰＥＧのＩ、Ｐ及びＢ画像を用いて低いビットレートで記憶される。しかしながら、全てのビデオ画像が最高の品質のビデオ画像から符号化されているとは限らない。ストリームが一層高いビットレートのリンク（例えばＩＥＥＥ１３９４）を介して転送される場合、例えばＩ画像のみからなるような、異なるビットストリーム構造を使用することが望ましい。当該リンクの遠端側では、記憶に先立ち圧縮の目的で、当該ストリームをＩＢＰ画像群として再符号化することができる。この方法は、元々Ｂ又はＰ画像として符号化されていた画像がＩ画像として再符号化され、後の符号化されたＢ及びＰ画像が圧縮エラーを累積し、元のビデオストリームの損失性変換符号化に繋がることになる。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、ＭＰＥＧビデオストリームを変換符号化する方法であって、画像品質の損失を最小化するような方法を提供することにある。同様の問題は、同様に構成された（ビデオ）データストリームを何れかの２つのフォーマットの間で変換する場合に一般的に生じるものであるから、本発明は、ＭＰＥＧ−２準拠ストリームの厳格な制限を超えて適用可能であると理解される。
【課題を解決するための手段】
【０００７】
発明者は、高品質変換符号化を可能にするために、元のビデオビットストリーム構造についての知識を使用して最適な画像品質を得ることが可能であることに気が付いた。変換符号器が元の圧縮されたビデオストリームの機能的画像構造について知ることができるようにするために、元のＭＰＥＧビデオストリームの機能的構造を記述する情報が、送信ストリーム内で伝送され、一層高い品質の変換符号化されたストリームを作成するのに使用されるようにすることが提案される。
【０００８】
本発明は、第１態様においては、ビデオビットストリームを変換符号化する場合に画像品質の損失を最小化する方法であって、
（ａ）符号化された画像のシーケンスを有する第１フォーマットの第１ビットストリームを入力するステップと、
（ｂ）前記第１ビットストリームを変換符号化して、第２ビットストリームを生成するステップと、
（ｃ）前記第１ビットストリームから導出された追加情報を前記第２ビットストリームに挿入するステップと、
（ｄ）前記第２ビットストリームを前記追加情報と共に第２フォーマットで送信するステップと、
（ｅ）前記第２ビットストリームを受信するステップと、
（ｆ）前記第２ビットストリームを、前記追加情報を前記第２ビットストリームに関する画像構造を規定するために使用して、第３フォーマットの第３ビットストリームに変換符号化するステップと、
を有するような方法を提供する。
【０００９】
上記第１及び第３データフォーマットは本質的に同一であり得る一方、上記第２フォーマットは、利用可能なデータチャンネルを介しての伝送のために必要となる。
【００１０】
上記第２ビットストリームのビットレートは第１又は第３ビットストリームのものより高くすることができる。
【００１１】
上記ステップ（ｂ）において、第２ビットストリームはイントラ符号化画像のみとして符号化することができる。
【００１２】
上記ステップ（ｃ）において、上記第１ビットストリームから導出された上記追加情報は、画像シーケンス構造情報を含むことができるか、又は画像若しくは画像のシーケンスの画像型式情報を含むことができる。
【００１３】
上記ステップ（ｄ）において、上記追加情報は、第２ビットストリームにおける標準のビデオデータフォーマットのユーザデータフィールドとして定義されるフィールドに挿入することができる。
【００１４】
上記ステップ（ｅ）において、上記第１ビットストリームから導出された上記追加情報は、上記第３ビットストリームの変換符号化されたフォーマットを決定することができる。特に、第１ビットストリームにおいてイントラ符号化されていた画像は、第３ビットストリームにおいてイントラ符号化画像として優先的に変換符号化することができる。
【００１５】
ビデオビットストリームに使用される当該符号化方法は、規格団体により規定されるＭＰＥＧ−２フォーマット又は後継フォーマットに従うことができる。
【００１６】
上記ステップ（ｅ）において、前記第１ビットストリームフォーマットにおけるＩ画像の選択は、第３ビットストリームにおいてＩ画像として符号化されるべき画像の選択に影響を与えるように使用することができる。
【００１７】
上記第１ビットストリームに関する上記追加情報は、第２ビットストリームにおいてユーザデータフィールドに記憶することができる。この記憶された追加情報は、第１ビットストリームの符号化フォーマットを特定するビットストリーム符号化フィールドの内容を含むことができる。
【００１８】
前記第２ビットストリームに挿入された前記第１ビットストリームに関する前記追加情報の例は、ＭＰＥＧ“group_start_code”の存在、並びに“closed_gop”及び“broken_link”フィールドの内容を含み、これらは“picture_header”フィールドの後の“user_data”フィールドに挿入することができる。
【００１９】
本方法に使用することができると共に上記ストリームに挿入することができる更なる又は代わりの情報は、“picture_header”フィールドの後の“user_data”フィールドに挿入されるＭＰＥＧ“picture_coding_type”フィールドの内容を含む。ＭＰＥＧ以外のフォーマットも、本発明を実施するのに使用することが可能な類似の情報フィールドを提供するであろう。
【００２０】
前記ステップ（ａ）ないし（ｄ）は第１ビデオ処理装置において実行することができる一方、前記ステップ（ｅ）ないし（ｆ）は前記第２ビットストリームの伝送のために前記第１装置に接続された第２装置において実行される。
【００２１】
従って、本発明は、第１フォーマットの第１ビットストリームをデジタルインターフェースを介して伝送するために第２フォーマットの第２ビットストリームに変換符号化する方法であって、該変換符号化する方法が、前記第１フォーマットの前記第１ビットストリームの構造に関する追加情報を前記第２ビットストリームに埋め込む手段を含むような方法を更に提供する。
【００２２】
上記第２ビットストリームのビットレートは、上記第１ビットストリームのビットレートよりも高くすることができる。
【００２３】
前記追加情報は、前記第２ビットストリームにおいてイントラ符号化画像として符号化された何の画像が前記第１ビットストリームにおいてイントラ符号化画像として符号化されていなかったかを特定することができる。
【００２４】
同様に、本発明は、第２フォーマットの第２ビットストリームを第３フォーマットの第３ビットストリームに変換符号化する方法であって、前記第２フォーマットの前記第２ビットストリームが、デジタルインターフェースを介して受信されると共に前記第２ビットストリームに埋め込まれた第１フォーマットの第１ビットストリームの構造に関する情報を用いて前記第３フォーマットの前記第３ビットストリームに変換符号化されるような方法を提供する。
【００２５】
上記第２ビットストリームのビットレートは、上記第３ビットストリームのビットレートよりも高くすることができる。
【００２６】
前記第３ビットストリームがインター符号化された画像及びイントラ符号化された画像の両方を含む場合、前記追加情報は、前記第２ビットストリームにおけるイントラ符号化画像として符号化された何の画像が前記第３ビットストリームにおいて、前記第２ビットストリームにおいてイントラ符号化画像として符号化されている他の画像よりも優先して、イントラ符号化画像として符号化されるべきかを制御するために使用することができる。
【００２７】
本方法は、上述した方法の何れかを実施する記録担体上に前記第３ビットストリームを記録するステップを更に有することができる。
【００２８】
ここに記載された変換符号化する方法は、ソフトウェア若しくはハードウェアの解決策のみ、又はこれら両者の組み合わせを用いて実施することができる。
【００２９】
本発明の他の態様によれば、一連のイントラ符号化画像として中間フォーマットで符号化されたビデオストリームを表す電子信号であって、該信号が、前記イントラ符号化画像が導出された画像型式及び画像シーケンスを示す符号化された追加の履歴的機能的情報を更に有するような電子信号が提供される。該電子信号は、さもなければ変換符号化処理において失われるような画像シーケンス及び画像型式情報を含む前記ビデオストリーム構造に関しての履歴的機能的情報を有することができる。
【００３０】
上記履歴的機能的情報は、前に第２ビットストリームにおいてイントラ符号化画像として符号化されたどの画像が、未来において、第２ビットストリームでイントラ符号化画像として符号化された他の画像より優先的にイントラ符号化画像ビットストリームとして符号化されるべきかを制御するために使用することができる。
【００３１】
更に、本発明は、上述した本発明による方法の何れかを実施するように特別に構成された手段を有し、添付請求項に記載されたような装置も提供する。ここで、これら請求項を参照するものとし、これら請求項の開示内容は参照することにより本明細書に含まれるものとする。ここで述べる変換符号化方法は、ソフトウェア若しくはハードウェアのみの解決策、又はこれら両方の組み合わせを用いて実施することができる。
【００３２】
また、本発明は前記第３フォーマットの前記変換符号化されたビデオストリームを適切な記録担体手段上に記録するように構成された手段も提供する。
【発明を実施するための最良の形態】
【００３３】
以下、本発明の実施例を添付図面を参照して、例示のみとして説明する。
【００３４】
図１は、ＭＰＥＧ基本ストリーム（ＥＳ）フォーマットにおける圧縮されたビデオデータのフォーマットを図示し、画像シーケンス符号化及び表示順序に対する当該ビットストリームの重要なフィーチャ及び構造を示している。実際には、該ビデオデータはパケット化されると共に、オーディオ及び他のデータストリームとインターリーブされている。この移送メカニズムの詳細は本発明の理解には関係しないので、これ以上は説明しない。移送ストリーム内では、或るストリームを有する順次のパケットのペイロードが、図１にＥＳとして概略示したデータの連続した基本ストリームを形成すると言うだけで充分である。ビデオ基本ストリームES-VIDEOの場合、ビデオクリップの種々の画像シーケンスＳＥＱが存在し、各シーケンスは開始部にシーケンスヘッダＳＥＱＨを含んでいる。量子化マトリクス及びバッファサイズ等を含むデコーダの種々のパラメータが、該シーケンスヘッダで指定される。従って、当該ビデオストリームの正しい再生は、デコーダをシーケンスヘッダの位置において開始することによってのみ達成される。各シーケンスのデータ内には、各々が画像に対応するような、当該ビデオデータの１以上の“アクセス単位”が存在する。各画像には、画像開始コードＰＳＣが先行する。画像群ＧＯＰには群開始コードＧＳＣが先行することができ、全ては特定のシーケンスヘッダＳＥＱＨに後続する。
【００３５】
周知のように、ＭＰＥＧ−２及び他の近代的なデジタルフォーマットにおける画像は、時間的冗長性を低減し、且つ、データ圧縮を達成するために、一般的に、互いを参照することにより符号化される。動き補償は、隣接する画像又は複数の画像に関して既に復号された内容から、或る画像の内容の推定を可能にする。従って、画像群ＧＯＰは、他の画像に対する参照なしで符号化された、イントラ符号化された“Ｉ”画像；先行するＩ画像に基づく動きベクトルを使用して符号化された“Ｐ”（予測）符号化画像；並びにシーケンスにおける前及び後のＩ及び／又はＰ画像からの予測により符号化された双方向予測“Ｂ”画像を有することができる。Ｂ画像に要するデータの量はＰ画像に要するものより少なく、Ｐ画像に要するデータの量はＩ画像に要するものより少ない。一方、Ｐ及びＢ画像は他の画像を参照してのみ符号化されるから、所与のシーケンスの再生を開始するための実際の入力点を提供するのはＩ画像のみである。
【００３６】
ＧＯＰデータ、Ｉ及びＰ画像はビットストリームにおいて対応するＢ画像の前に符号化され、次いで復号の後に再順序配列されて、正しい提示順序を達成することが分かるであろう。これは、必要な隣接する参照フレームが、予測的に符号化されたＢ又はＰフレームに関してデータが到達する前に復号されていることを保証する。このように、図１に例におけるフレームＩ０、Ｂ１、Ｂ２、Ｐ３のシーケンスを提供するために、画像はＩ０、Ｐ３、Ｂ１、Ｂ２、Ｐ６、Ｂ４、Ｂ５、Ｉ８、Ｂ７等々の順序で符号化される。
【００３７】
図２は一例としての家庭用デジタルビデオ娯楽システムを図示し、デジタルＴＶチューナ１００と、デジタルビデオ信号を復号し、及び有料チャンネルへのアクセスを制御する等のセットトップボックス１０２と、ＤＶＤ又は将来のＤＶＲレコーダのようなデジタルビデオ再生及び記録装置１０４と、記憶媒体自体（レコーダブルＤＶＤディスク１０６）とを含んでいる。この例において、この構成においては通常のＴＶ装置１０８が衛星、ケーブル若しくは地上放送からの又はディスク１０６上の記録からの画像を表示するために使用されている。デジタルチューナ１００とセットトップボックス１０２との間では、ＭＰＥＧ伝送ストリーム（ＴＳ）フォーマット信号が複数のデジタルＴＶチャンネルを伝達し、これらの幾つかは特別な条件付きアクセス（有料ＴＶ）装置による復号のためにスクランブルされ得る。例えばＤＶＢ、ＡＴＳＣ及びＢ４ＳＢ等の標準のデジタル放送フォーマットは、ＭＰＥＧ−２伝送ストリームフォーマット内での特定のアプリケーションである。
【００３８】
セットトップボックス１０２は、上記伝送ストリームＴＳ内から所望の番組を復号して、ＴＶ装置１０８にアナログオーディオ及びビデオ信号を供給する。これらのアナログ信号は、勿論、通常のビデオレコーダ（ＶＣＲ）により記録することができる。一方、最高の品質及び機能のためには、ＤＶＤ又はＤＶＲレコーダのような直接デジタル対デジタルレコーダ１０４が好ましい。これは、IEEE1394（“ファイヤワイヤ”）のようなデジタルインターフェース１０９を介してセットトップボックス１０２に接続される。これは、選択された番組が、より大きなＴＳ多重から分離され、且つ、依然としてＴＳフォーマットで提供されるような“部分ＴＳ”を伝送する。他方、改善されたディレクトリ構造及びランダムアクセスのフィーチャを利用するために、プレーヤ／レコーダ１０４は、ディスク１０６上に記録するために上記ＴＳフォーマットを“プログラムストリーム”（ＰＳ）フォーマットに変換すると共に、ディスク１０６上に記録されたＰＳフォーマットストリームを、デジタルインターフェース１０９及びセットトップボックス１０２を介してＴＶ装置１０８上で再生するために部分ＴＳフォーマットに変換するように構成されている。
【００３９】
図３は、図２に示されるもののようなデジタルビデオシステムにおいて実施化される変換符号化処理の一例を示している。この一般化された例には、送信機１１０と、受信機１１２と、デジタルインターフェース１１４とが存在する。加えて、ＭＰＥＧ符号化されたＩＰＢフレームを供給する図２のデジタルＴＶチューナ１００のようなソースエンコーダ１１６が存在する。送信機１１０の機能は例えば図２のセットトップボックス１０２により構成することができ、ＭＰＥＧデコーダ１１８及びＭＰＥＧエンコーダ１２０を有している。この例における受信機１１２は、図２のレコーダ１０４と同様のもので、ＭＰＥＧデコーダ１２４、ＭＰＥＧエンコーダ１２６及び記憶装置１２８を有している。送信機１１０にはビデオビットストリーム情報を解析して中間ビデオビットストリームに符号化する追加の符号化手段１２２が設けられている。同様に、受信機１１２には、上記中間ビデオビットストリームから上記と同じ符号化されたストリーム情報を抽出するために追加の復号手段１３０が設けられている。送信機１１０の表示手段１３２は図２のテレビジョン装置とすることができ、受信機１１２の記憶手段１２８は記録可能型ＤＶＤディスク、磁気ハードディスク又は他の記録可能な媒体とすることができる。
【００４０】
この例において、上記ビデオビットストリームはＰＳフォーマット又はＴＳフォーマットの何れかに符号化することができ、ビットストリームのフォーマットは全システムにわたり同一に留まる必要はない。最終的ビデオビットストリームは記憶媒体１２８上に、例えばＰＳフォーマットビットストリームとして記録されるであろう。
【００４１】
図１及び図２に示されたもののようなＭＰＥＧ記憶装置においては、ビデオストリームは典型的にはＭＰＥＧ Ｉ、Ｐ及びＢ画像を用いて低いビットレートで記憶される。しかしながら、該ストリームが例えば規格IEEE1394（ファイヤワイヤ）等の高ビットレートデータリンクを介して伝送される場合は、リアルタイムで、典型的にはＩ画像のみを有するような異なるビットストリーム構造が使用されるであろうことが期待される。
【００４２】
図３の例において、ビデオストリームは、元々、ソースエンコーダ１１６により第１ビットレートでＩＰＢ画像として符号化されている。該ソースエンコーダ１１６は、図２に示す消費者向けシステムの外部の記録又は放送エンコーダであり得ることが分かる。該ビデオビットストリームは、デジタルインターフェース１１４を介して伝送する場合はＩ画像のみとして所望される。これを実施するために、上記元々の符号化されたビデオストリームはＭＰＥＧデコーダ１１８により復号され、ＭＰＥＧエンコーダ１２０によりＩ画像のみとして符号化される。該Ｉ画像のみのＭＰＥＧビットストリームはデジタルインターフェース１１４を介して受信機１１２に送信され、該受信機において、これらＩ画像はデコーダ１２４により復号されると共にエンコーダ１２６により符号化された、媒体１２８上に記憶するための一連のＩＰＢ画像として、低ビットレートに変換符号化される。ＴＳフォーマットとＰＳフォーマットとの間の差は、本発明にとっては重要ではなく、詳細に説明することは要しないであろう。ＰＳフォーマットとＴＳフォーマットとの間の変換符号化の例は、出願人の同時係属中の国際特許出願公開第WO01/50761号及び第WO01/50773号に提示されている。
【００４３】
ＭＰＥＧ符号化／復号において、符号化順序、即ち当該ビットストリームにおける符号化された画像の順序は、デコーダが該ビットストリームにおいて斯かる画像を受信し、これら画像を再構築する順序である。表示順序、即ち復号処理の出力における斯かる再構築された画像の提示順序は、上記符号化順と同一である必要はない。ＭＰＥＧ規格は、画像が再配列される規則を規定している。例えば、当該シーケンスが符号化されたＢ画像を含まない場合は、符号化順序は表示順序と同一となる。当該シーケンスにＢ画像が存在すると、或る規則に従って再配列が行われる。例えば、符号化順序における現画像がＢ画像である場合、出力画像は該Ｂ画像から再構築された画像となる。符号化順序における現画像がＩ画像又はＰ画像である場合、出力画像は前のＩ画像又はＰ画像（斯かる画像が存在する場合）から再構築された画像となる。当該シーケンスの開始時に何の画像も存在しないと、画像は出力されない。最後のＩ画像又はＰ画像から再構築された画像は、該画像が再構築された後、当該シーケンスにおける最後の符号化画像がビデオバッファリング検証子（ＶＢＶ：video buffering verifier）バッファから削除された際に即座に出力される。
【００４４】
ＭＰＥＧエンコーダ１２６は、エンコーダ１１６により生成されＭＰＥＧデコーダ１１８により復号されたビデオストリームの無損失コピーは再生しないであろう。しかしながら、当該処理のこの段階では圧縮の必要性がないので、ＭＰＥＧエンコーダ１２０は、Ｂ及びＰ画像を含め全ての画像タイプをＩ画像のみとして符号化する。このようにして、品質の損失は最小化される。次いで、デジタルインターフェース１１４を介して送信した後、上記Ｉ画像のみのストリームは画像ストリームに復号され、エンコーダ１２６により、１２８において記録するための一連のＩＰＢ画像に再符号化される。
【００４５】
上記からは、図２及び図３のデジタル家庭用ビデオシステムにおいてデジタルＴＶ放送から記録を行うための完全な処理が、第１フォーマットで符号化された第１ビットストリームを（１１６から）受信し、該第１ビットストリームを（１１８及び１２０において）第２フォーマットの第２ビットストリームに変換符号化し、最後に該第２ビットストリームを（１２４及び１２６において）１２８において記録するための第３フォーマットの第３ビットストリームに変換符号化するステップを含むことが分かるであろう。上記第１ビットストリームはソースデータストリームと呼ぶことができ、上記第３ビットストリームは最終目的データストリームと呼ぶことができる一方、上記第２ビットストリームはインターフェース１１４に準拠した形態の中間データストリームである。当該記録を表示器１３２を介して看取するためには、最終的な復号及び表示の前に、更なる復号及び中間ストリームフォーマットへの再符号化が必要であることが分かる。
【００４６】
１２０及び１２６における符号化処理は、媒体１２８から後の日に再生される際に、最終的なビデオ画像に品質の損失を生じさせるであろう。Ｐ及びＢ画像は、特に、これら画像の大きな圧縮により低品質のものである。品質の損失は、ソースストリームにおいてＰ又はＢ画像として符号化されていたフレームが最終目的ストリームにおいてＩ画像として記録される場合に、悪化される。結果としてのＩ画像は、後の日における最終目的ストリームの再生において隣接する画像の復号に対し参照として使用され、最終的な再生画像における広範囲の劣化に繋がる。
【００４７】
ここで提案される新規なシステムにおいては再生ビデオの画像品質を改善するために、当該システムの送信機１１０の側に、通常はデコーダ１１８により破棄されるであろう前記ソースビットストリームからの情報を保持する手段１２２が設けられ、この情報を、前記中間データストリームがエンコーダ１２０により符号化される場合に該中間データストリームに挿入する。対応するように、当該システムの受信機１１２側には、手段１２２により上記中間データストリームに挿入された上記情報を復元する手段１３０が設けられる。元々の符号化されたビットストリームに関する該復元された情報は、ＭＰＥＧエンコーダ１２６が以下に述べるように最適な品質のビデオビットストリームを符号化するのを保証するために使用することができる。
【００４８】
当該変換符号化処理にわたりＩ画像を追跡するのに要する上記追加情報を解析及び符号化する手段１２２は、図２のセットトップボックス１０２の一体部品として（例えばＭＰＥＧコーデックハードウェア又はソフトウェアの一部として）実施化することができる。同様に、上記追加情報を復元する手段１３０はプレーヤ／レコーダ１０４の一体部品として実施化することができる。
【００４９】
図４は、ソースビデオビットストリーム１４０を第１フォーマットから、第２フォーマットの中間ビデオビットストリーム１４４により第３フォーマットの最終目的ビデオビットストリーム１４２に変換符号化する一例を示している。この例において、ＭＰＥＧビデオビットストリームがデジタルインターフェース１１４を介して伝送される場合のように、第１及び第３フォーマットはＩＰＢシーケンスであり、第２フォーマットはＩ画像のみのシーケンスである。ビデオストリーム１４０、１４２，１４４は、ＧＯＰ１４６、１４８、１５０の構造及び結果としての画像提示順序１１５、１５２、１５６のみを示す程度詳細に図示されている。他の場所で詳細に示したように、ＧＯＰは群開始コード及び画像開始コードＧＳＣ及びＰＳＣの符号化を含んでいる。
【００５０】
図示の構成において、そして図３を参照すると、一連のＧＯＰ１４６は、図３におけるデコーダ１１８により第１ビデオストリームを復号する段階の前に、解析される。受信機１１２による後の使用のために、元のストリーム構造に関する所要の情報が解析される。この例においては、画像群の開始を識別する情報を含むフィールド及び画像型式（Ｉ、Ｂ又はＰ画像）が、後に詳述するように、識別及び収集される。
【００５１】
ここで、上記の復号されたビデオビットストリームは、デジタルインターフェース１１４を介して伝送するために、エンコーダ１２０によりＩ画像のみの系列１４８を有するビットストリーム１４４に符号化される。このビットストリームにおける符号化されたＩ画像の各々は、元のビデオストリーム１４０のＩ、Ｐ又はＢ画像から導出され及びこれら画像に対応することができる。斯かるＩ画像を符号化する段階において、上記手段１２２により第１ビデオビットストリーム１４０の元のＩ画像のシーケンスに関して収集された情報が、Ｉ画像のみのビットストリーム１４４に挿入される。
【００５２】
ＭＰＥＧ符号化されたビデオストリームは良好に規定されたビデオビットストリーム構文を有し、該構文は、とりわけ、開始コード値、ビデオシーケンス情報、ヘッダ情報及びユーザデータのようなパラメータを掲載する。ＭＰＥＧビデオストリームの意味と組み合わされると、適法なビットストリームを生成することができる。符号化データの問合せにより、符号化されたビデオストリームの構造を記述するデータを抽出することが可能である。加えて、ユーザが定義したデータフィールドを指定することができる。元のビデオストリームに関する所要の情報が一旦得られたら、該情報は前記中間ストリームと共に受信機１１２へ送信することができる。これは、上記情報を、符号化されたビデオ基本ストリームにおける他のフィールドに挿入することにより実施することができる。
【００５３】
従って、ＧＯＰ内でＩ、Ｐ及びＢ画像の順序を追跡し記憶することができる。これは、ＭＰＥＧストリーム内の“group_start_code”フィールド及び“picture_coding_type”フィールドの位置及び内容を追跡することにより実施することができる。上記フィールドgroup_start_codeは画像群ヘッダの開始を識別する。また、上記フィールドpicture_coding_typeは、画像がイントラ符号化画像（Ｉ）か、予測符号化画像（Ｐ）か又は双方向予測符号化画像（Ｂ）かを識別する。これらのフィールドの内容は、新たに符号化された画像（ここでは、全てＩ画像として符号化される）のうちのどれがソースビデオストリームでは元々Ｉ画像であったかを追跡するために、収集し及び送信することができる。
【００５４】
元のビットストリーム１４０から収集された上記情報は、指定されたユーザ定義フィールド“ユーザデータ”に記憶することができるが、ここでは、これらフィールドはＩ画像のみビットストリーム１４４においてＵ(I)、Ｕ(P)及びＵ(B)により示されている。ＭＰＥＧ規格は、ビデオビットストリーム内において斯様なフィールドの正確な位置を指定することができる。所要の情報を記憶するための１つの可能性のある位置は、picture_headerフィールドのuser_dataフィールドである。勿論、上記情報は他の適切なデータフィールドに記憶することもできる。ユーザデータフィールドは、ＭＰＥＧによれば、例えばgroup_of_pictures_headerにより定義される。しかしながら、本例における第２ビットストリームの構造は、一般的にgroup_of_pictures_headerフィールドは数が少なすぎるであろうことを意味している。
【００５５】
上記の新たに符号化されたＩ画像のみのストリームは、手段１３０により受信され復号され、該ストリームから元のストリーム構造が抽出されている。ＭＰＥＧデコーダ１２４は上記Ｉ画像のみのストリームを受信及び復号してビデオビットストリームを生成し、該ビデオビットストリームは次いでエンコーダ１２６により再符号化されて第３ビットストリーム１４２を生成する。ここで、元のビットストリーム１４０の構造に関して得られた前記追加情報（１２２）を、元のビットストリーム１４０からのＩ画像のみが最終ビットストリーム１４２においてＩ画像を符号化するために使用されることを保証し、かくして符号化されたビットストリーム１４２の最適品質を保証するために使用することができる。ここで、この最適品質ビットストリームは記憶媒体１２８上に記録することができる。
【００５６】
この実施例においては常にＩ画像をＩ画像から符号化する方針は明らかに理想ではあるが、エンコーダが場合に応じてこの規則から逸脱するようにさせるような他の要因も勿論あり得る。特に、ビットレートの制約及び編集点等は、エンコーダがＩ画像をＰ又はＢ画像として元々符号化されているフレームから符号化することを要する可能性がある。しかしながら、エンコーダがＩ画像をＩ画像から符号化する優先度を示すなら、品質の劣化は最小化することができる。
【００５７】
尚、当業者であれば、上述した実施例は例示のみとして提示されたもので、多くの更なる変更例及び変形例が本発明の趣旨及び範囲内で可能であることとが分かるであろう。例えば、本明細書に述べた変換符号化方法はソフトウェアのみ若しくはハードウェアのみの解決策、又はこれら両者の組み合わせを用いて実施化することができる。また、ＭＰＥＧ−２規格は圧縮されたビデオフォーマットの一例のみとして引用されたものである。また、私的ビデオストリーミングフォーマットを含む多くの他のフォーマット及びＭＰＥＧ−４のようなＭＰＥＧの代わりのバージョンも同様の符号化原理を有し、当業者であれば、本発明の原理を斯かるフォーマットに如何に適用することができるかが容易に分かるであろう。
【００５８】
最後に、図２に示された家庭用ビデオシステムは本発明を適用することができる一例としてのシステムに過ぎず、ＭＰＥＧソース１１６から記録媒体１２８へのビデオの伝送は一例としてのアプリケーションに過ぎないことが理解されるであろう。他の構成部品及び構成も等しく可能であり、請求項に記載した処理における装置の各々の役割は、請求項に記載された本発明の範囲から逸脱すること無しに、異なる時間でありえる。
【産業上の利用可能性】
【００５９】
【図面の簡単な説明】
【００６０】
【図１】図１は、ＭＰＥＧ準拠ビットストリームにおける画像シーケンスのフォーマットを図示する。
【図２】図２は、本発明の一実施例が適用される例示的なデジタルビデオ娯楽システムを図示する。
【図３】図３は、図２のデジタルビデオシステムにおける変換符号化処理の一例を更に詳細に示す。
【図４】図４は、図３の変換符号化処理における構造を図示する。
【図２】
2004534484.tif 000003
【図３】
2004534484.tif 000004
【国際公開パンフレット】
2004534484.tif 000005
2004534484.tif 000006
2004534484.tif 000007
2004534484.tif 000008
2004534484.tif 000009
2004534484.tif 000010
2004534484.tif 000011
2004534484.tif 000012
2004534484.tif 000013
2004534484.tif 000014
2004534484.tif 000015
2004534484.tif 000016
2004534484.tif 000017
2004534484.tif 000018
2004534484.tif 000019
2004534484.tif 000020
2004534484.tif 000021
2004534484.tif 000022
2004534484.tif 000023
2004534484.tif 000024
2004534484.tif 000025
2004534484.tif 000026
2004534484.tif 000027
2004534484.tif 000028
2004534484.tif 000029
【国際調査報告】
2004534484.tif 000030
2004534484.tif 000031
2004534484.tif 000032