(57)【要約】【課題】デジタル画像内の領域のサイズ、形状および位置を表示する方法、エンコーダおよびデコーダ等に関し、デコーダの復号化の開始時の領域の形状や増大率を表示する際に、符号化効率が低下するのを防止することを目的とする。【解決手段】１組のブロックに分割されるデジタル画像内の領域のサイズ、形状および位置を表示する方法において、デジタル画像の領域内のいくつかのブロックを表示するための少なくとも１つのサイズパラメータの値が定義され、上記領域内で当該ブロックが選択される順番を表示するための少なくとも１つの形状進化パラメータの値が選択される。好ましくは、デジタル画像内の領域のサイズ、形状および位置を表示するために、少なくとも１つのサイズパラメータおよび形状進化パラメータの値が符号化され、ビデオ・シーケンスのビットストリームが生成される。【選択図】図３
2010136428.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像内の領域のサイズ、形状および位置を表示する方法であって、前記デジタル画像は、１組のブロックに分割されており、前記方法は、
前記領域内のいくつかのブロックを表示するための少なくとも１つのサイズパラメータの値を定義するステップと、
前記領域内で当該ブロックが選択される順番を表示するための少なくとも１つの形状進化パラメータの値を選択するステップとを有することを特徴とする、デジタル画像内の領域のサイズ、形状および位置を表示する方法。
【請求項２】
前記デジタル画像内の前記領域のサイズ、形状および位置を表示するために、前記少なくとも１つのサイズパラメータおよび前記少なくとも１つの形状進化パラメータの値を符号化してビデオ・シーケンスのビットストリームを生成するステップを有することを特徴とする、請求項１に記載の方法。
【請求項３】
前記デジタル画像のパラメータ・セット内に、前記少なくとも１つの形状進化パラメータの値を含むステップを有することを特徴とする、請求項１または２に記載の方法。
【請求項４】
前記少なくとも１つのサイズパラメータは、サイズ変化率パラメータ（ＧＲＩＲ）およびサイズ変化の連続番号パラメータ（ＳＮＩＲ）を含むことを特徴とする、請求項１から３のいずれか一項に記載の方法。
【請求項５】
前記サイズ変化率パラメータの値および前記サイズ変化の連続番号パラメータの値の少なくとも１つに基づいて、前記領域内の符号化ブロックの数を決定するステップを有することを特徴とする、請求項４に記載の方法。
【請求項６】
前記デジタル画像のパラメータ・セット内に、前記サイズ変化率パラメータの値を含むステップと、
前記領域に属するスライス・ヘッダにおいて前記サイズ変化の連続番号パラメータの値を含むステップとを有することを特徴とする、請求項４または５に記載の方法。
【請求項７】
前記形状進化パラメータの値に基づいて、前記領域内の前記ブロックの位置を決定するステップを有することを特徴とする、請求項１から６のいずれか一項に記載の方法。
【請求項８】
ラスタ走査、逆ラスタ走査、右回りボックスアウト、左回りボックスアウト、左ワイプ、および右ワイプの少なくとも１つから、前記少なくとも１つの形状進化パラメータの値を選択するステップを有することを特徴とする、請求項１から７のいずれか一項に記載の方法。
【請求項９】
前記領域は、スライスの境界を横切ることに関して基本的な予測依存性を有しないブロックを含む少なくとも１つのスライスを有しており、
前記ブロックは、前記領域内で走査の順番に従って、前記スライスの形で選択されることを特徴とする、請求項１から８のいずれか一項に記載の方法。
【請求項１０】
デジタル画像を符号化してビットストリームを生成するためのエンコーダであって、該エンコーダは、少なくとも１つの画像を１組のブロックに分割するように構成され、前記エンコーダは、さらに、
前記画像内で少なくとも１つのブロックを含む領域を決定し、
前記領域内のいくつかのブロックを表示するための少なくとも１つのサイズパラメータの値を定義し、
前記領域内で当該ブロックが選択される順番を表示するための少なくとも１つの形状進化の値を選択し、
前記デジタル画像内の前記領域のサイズ、形状および位置を表示するために、前記少なくとも１つのサイズパラメータおよび前記少なくとも１つの形状進化パラメータの値を符号化して前記ビットストリームを生成するように構成されることを特徴とするエンコーダ。
【請求項１１】
前記エンコーダは、さらに、前記デジタル画像のパラメータ・セット内に、前記少なくとも１つの形状進化パラメータの値を含むように構成されることを特徴とする、請求項１０に記載のエンコーダ。
【請求項１２】
前記少なくとも１つのサイズパラメータは、サイズ変化率パラメータ（ＧＲＩＲ）およびサイズ変化の連続番号パラメータ（ＳＮＩＲ）を含むことを特徴とする、請求項１０または１１に記載のエンコーダ。
【請求項１３】
前記エンコーダは、さらに、
前記デジタル画像のパラメータ・セット内に、前記サイズ変化率パラメータの値を含み、
前記領域に属するスライス・ヘッダにおいて前記サイズ変化の連続番号パラメータの値を含むように構成されることを特徴とする、請求項１２に記載のエンコーダ。
【請求項１４】
前記エンコーダは、さらに、ラスタ走査、逆ラスタ走査、右回りボックスアウト、左回りボックスアウト、左ワイプ、および右ワイプの少なくとも１つから、前記少なくとも１つの形状進化パラメータの値を選択するように構成されることを特徴とする、請求項１０から１３のいずれか一項に記載のエンコーダ。
【請求項１５】
前記領域は、スライスの境界を横切ることに関して基本的な予測依存性を有しないブロックを含む少なくとも１つのスライスを有しており、
前記エンコーダは、さらに、前記領域内で走査の順番に従って、前記スライスの形で前記ブロックを選択するように構成されることを特徴とする、請求項１０から１４のいずれか一項に記載のエンコーダ。
【請求項１６】
デジタル画像を符号化してビットストリームを生成するために、コンピュータ読み取り可能な媒体に記憶されると共にデータ処理装置にて実行可能なコンピュータ・プログラム製品であって、該コンピュータ・プログラム製品は、少なくとも１つの画像を１組のブロックに分割するためのコンピュータ・プログラムコードを備えており、前記コンピュータ・プログラム製品は、さらに、
前記画像内で少なくとも１つのブロックを含む領域を決定するためのコンピュータ・プログラムコードと、
前記領域内のいくつかのブロックを表示するための少なくとも１つのサイズパラメータの値を定義するためのコンピュータ・プログラムコードと、
前記領域内で当該ブロックが選択される順番を表示するための少なくとも１つの形状進化の値を選択するためのコンピュータ・プログラムコードと、
前記デジタル画像内の前記領域のサイズ、形状および位置を表示するために、前記少なくとも１つのサイズパラメータおよび前記少なくとも１つの形状進化パラメータの値を符号化して前記ビットストリームを生成するためのコンピュータ・プログラムコードとを備えることを特徴とするコンピュータ・プログラム製品。
【請求項１７】
少なくとも１つの符号化されたデジタル画像を含むビットストリームを復号化するためのデコーダであって、前記少なくとも１つの符号化されたデジタル画像は、１組の符号化ブロックに分割されており、前記デコーダは、
前記ビットストリームから、前記デジタル画像内の領域でのいくつかの符号化ブロックを表示するための少なくとも１つのサイズパラメータの値と、前記領域内で当該符号化ブロックが選択される順番を表示するための少なくとも１つの形状進化パラメータの値とをデコードし、
前記サイズパラメータの値および前記形状進化パラメータの値に基づいて、前記デジタル画像内の前記領域のサイズ、形状および位置を決定し、
前記少なくとも１つのサイズ、形状および位置に従って、前記領域をデコードするように構成されることを特徴とするデコーダ。
【請求項１８】
前記デコーダは、前記デジタル画像のパラメータ・セットから、前記少なくとも１つの形状進化パラメータの値をデコードするように構成されることを特徴とする、請求項１７に記載のデコーダ。
【請求項１９】
前記少なくとも１つのサイズパラメータは、サイズ変化率パラメータ（ＧＲＩＲ）およびサイズ変化の連続番号パラメータ（ＳＮＩＲ）を含むことを特徴とする、請求項１７に記載のデコーダ。
【請求項２０】
前記デコーダは、前記サイズ変化率パラメータの値および前記サイズ変化の連続番号パラメータの値の少なくとも１つに基づいて、前記領域内の符号化ブロックの数を決定するように構成されることを特徴とする、請求項１９に記載のデコーダ。
【請求項２１】
前記デコーダは、さらに、
前記デジタル画像のパラメータ・セットから、前記サイズ変化率パラメータの値をデコードし、
前記領域に属するスライス・ヘッダから、前記サイズ変化の連続番号パラメータの値をデコードするように構成されることを特徴とする、請求項１９または２０に記載のデコーダ。
【請求項２２】
前記デコーダは、前記形状進化パラメータの値に基づいて、前記領域内の前記ブロックの位置を決定するように構成されることを特徴とする、請求項１７から２１のいずれか一項に記載のデコーダ。
【請求項２３】
前記少なくとも１つの形状進化パラメータの値は、ラスタ走査、逆ラスタ走査、右回りボックスアウト、左回りボックスアウト、左ワイプ、および右ワイプの少なくとも１つであることを特徴とする、請求項１７から２２のいずれか一項に記載のデコーダ。
【請求項２４】
前記領域は、スライスの境界を横切ることに関して基本的な予測依存性を有しないブロックを含む少なくとも１つのスライスを有しており、
前記デコーダは、前記領域内で走査の順番に従って、前記スライスの形で前記ブロックをデコードするように構成されることを特徴とする、請求項１７から２３のいずれか一項に記載のデコーダ。
【請求項２５】
少なくとも１つの符号化されたデジタル画像を含むビットストリームを復号化するために、コンピュータ読み取り可能な媒体に記憶されると共にデータ処理装置にて実行可能なコンピュータ・プログラム製品であって、前記少なくとも１つの符号化されたデジタル画像は、１組の符号化ブロックに分割されており、前記コンピュータ・プログラム製品は、
前記ビットストリームから、前記デジタル画像内の領域でのいくつかの符号化ブロックを表示するための少なくとも１つのサイズパラメータの値と、前記領域内で当該符号化ブロックが選択される順番を表示するための少なくとも一つの形状進化パラメータの値とをデコードするためのコンピュータ・プログラムコードと、
前記サイズパラメータの値および前記形状進化パラメータの値に基づいて、前記デジタル画像内の前記領域のサイズ、形状および位置を決定するためのコンピュータ・プログラムコードと、
前記少なくとも１つのサイズ、形状および位置に従って、前記領域をデコードするためのコンピュータ・プログラムコードとを備えることを特徴とするコンピュータ・プログラム製品。
【請求項２６】
少なくとも１つの符号化されたデジタル画像を含むビットストリームを有するビデオ信号であって、前記少なくとも１つの符号化されたデジタル画像は、１組の符号化ブロックに分割されており、前記ビデオ信号は、さらに、
前記デジタル画像内の領域でのいくつかのブロックを表示するための少なくとも１つのサイズパラメータの値と、
前記領域内で当該ブロックが選択される順番を表示するための少なくとも１つの形状進化パラメータの値とを有しており、
前記サイズパラメータおよび前記形状進化パラメータは、前記デジタル画像内の前記領域のサイズ、形状および位置を決定することを可能にすることを特徴とするビデオ信号。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオ符号化に関し、特に、デジタル画像内の領域の大きさ、形状および位置を示す方法に関するものである。
【背景技術】
【０００２】
ビデオ・ファイルは、複数の静止画像フレームから構成され、これらの静止画像フレームがビデオ・シーケンスとして高速で連続的に示されて（典型的には１秒当たり１５〜３０フレーム）、動画の印象を生じさせる。画像フレームは、一般に、実質的に同じままの画像情報によって定義される複数の静止背景被写体および多少変化する画像情報によって定義される少数の移動被写体を含む。このような場合、連続的に示される画像フレームに含まれる画像情報は、一般に非常に類似している。換言すれば、連続する画像フレームは多くの冗長を含む。より特定的にいえば、ビデオ・ファイルに含まれる冗長は、空間的冗長、時間的冗長およびスペクトル冗長に分割することができる。空間的冗長は、隣接する画像ピクセル間の相互関係を表し、空間的冗長は、後に続くフレームにおける特定の画像被写体の変化を表し、スペクトル冗長は、１つの画像フレーム内における異なる色成分間の相関関係を表す。
【０００３】
いくつかのビデオ符号化の方法は、前述のような連続する画像フレームの時間的冗長を利用している。この場合、いわゆる動き補償時間予測（motion-compensated temporal prediction）が使用される。ここでは、ビデオ・シーケンスにおける一部（典型的には大部分）の画像フレームの内容が、連続する画像フレーム間における画像フレーム内の特定の被写体またはエリアの変化を追跡することによって、上記シーケンスの他のフレームから予測され得る。ビデオ・シーケンスは、動き補償時間予測を使用せずに決定される画像情報を有する圧縮画像フレームを含む。この種のフレームは、ＩＮＴＲＡフレーム（イントラ・フレーム）またはＩフレームと呼ばれる。同様に、ビデオ・シーケンスに含まれかつ以前の画像フレームから予測される動き補償画像フレームは、ＩＮＴＥＲフレームまたはＰ（予測）フレームと呼ばれる。一般に、Ｐフレームの画像情報の決定には、少なくとも１つのＩフレーム、およびおそらくは１つまたは２つ以上の予め符号化されたＰフレームが使用される。１つのフレームが失われると、もはやそれに依存するフレームを正確に復号化することはできない。
【０００４】
例えば、ＪＶＴ（Joint Video Team）は、動き補償時間予測を利用するビデオ符号化規格である。このＪＶＴは、ＩＳＯ／ＩＥＣ動画専門家委員会（ＭＰＥＧ：Motion Picture Experts Group ）とＩＴＵ−Ｔ（国際電気通信連合電気通信規格部門：International Telecommunications Union, Telecommunications Standardization Sector）ビデオ符号化専門家委員会（ＶＣＥＧ：Video Coding Experts Group）の共同ビデオチーム（ＪＶＴ）の現行プロジェクトである。これは、ＩＴＵ−Ｔ  ＶＣＥＧのプロジェクトであるＨ．２６Ｌから受け継いでいる。
【０００５】
ＪＶＴ／Ｈ．２６Ｌにおいては、画像は、輝度成分および２つの色差（クロミナンス）成分（Ｙ、ＣＢおよびＣＲ）を用いて符号化される。これらのクロミナンス成分は、各々、輝度成分と比較して両方の座標軸に沿って半分の解像度でサンプリングがなされる。
【０００６】
符号化された各々の画像ならびに対応する符号化されたビットストリームは、階層構造で配列され、上から下に向かって画像層、画像セグメント層、マクロブロック（ＭＢ：macroblock）層およびブロック層からなる４つの層を有する。画像セグメント層は、ブロック・グループ層かまたはスライス層のいずれかであり得る。
【０００７】
各々のスライス用のデータは、スライス・ヘッダおよびこれに続く複数のマクロブロック（ＭＢ）用のデータにより構成される。複数のスライスは、符号化された画像内の領域を定義する。各々の領域は、標準的な走査順の中のある数のＭＢである。符号化された同じ画像内において、スライスの境界を横切ることに関して予測従属性はない。ただし、時間的予測は、一般にスライスの境界を横切ることができる。スライスは、残りの画像データから独立して復号することができる。したがって、スライスは、パケット損失の高いネットワークにおいてエラー回復力を向上させる。
【０００８】
各々のスライスは複数のＭＢに分割される。１つのＭＢは、１６×１６ピクセルの輝度データおよび空間的に対応する８×８ピクセルのクロミナンス・データに関係している。
【０００９】
ＪＶＴ／Ｈ．２６Ｌにおいて、画像内容の中心的高圧縮表現を提供するビデオ符号化層（ＶＣＬ：Video Coding Layer）、および特定のタイプのネットワークを経由して配信するために上記高圧縮表現を一まとめにするネットワーク適応層（ＮＡＬ：Network Adaptive Layer）は、概念的には分離されている。ＪＶＴ／Ｈ．２６Ｌビデオ・コーダは、ブロックを基礎とする動き補償ハイブリッド変換符号化に基づいている。以前の規格と同様に、相互運用を可能にするために復号化プロセスのみが精確に指定されており、その一方で、復号プロセスの実施に融通性を持たせるために、取り込み、予備処理、符号化、事後処理および表示のプロセスは全て指定範囲から除かれる。しかしながら、ＪＶＴ／Ｈ．２６Ｌは、以前の規格の設計に比べて符号化の効率を大幅に向上させることが可能な多くの新しい特徴を含む。
【００１０】
ＪＶＴ／Ｈ．２６Ｌは、基準画像選択と呼ばれる最近開発された方法を利用することができる。この基準画像選択は、基準の画像バッファに記憶される複数の画像の中から、動き補償のための基準画像を選択することができるような符号化技術である。ＪＶＴ／Ｈ．２６Ｌにおける基準画像選択は、マクロブロックごとの基準画像選択を可能にする。この基準画像選択は、圧縮効率およびエラー回復力を向上させるために使用することができる。
【００１１】
ビデオ符号化にて動き補償技術を使用することができるようにするために、任意のポイントからビデオの走査が行えるようにビデオ・シーケンスにおいてランダム・アクセス・ポイントが符号化されなければならない。ビデオ・シーケンスを走査するために使用されるアプリケーションに応じて、ビデオ・ストリームにおけるランダム・アクセス・ポイント間の望ましい時間間隔（time span ）は、０．５〜１０秒（ｓｅｃ）程度であろう。イントラ・フレームの符号化が、ランダム・アクセス・ポイントの符号化に関する従来の方法である。しかしながら、上記の基準画像選択の手法はイントラ・フレーム以前のフレームを参照することができるようにするので、イントラ・フレームはそのままではランダム・アクセス・ポイントの十分な条件ではない。さらに、ビデオ・シーケンスにおける頻繁なイントラ・フレームの符号化によって、より大きなコーデック処理容量が必要になり、かつ、より大きな帯域が使用される。
【００１２】
漸進的デコーダ・リフレッシュは、「ダーティー（dirty ）」・ランダム・アクセスを参照し、以前に符号化されたがおそらく未受信のデータが参照されて、正しい画像内容が複数の符号化画像において徐々に回復される。一般的に言って、漸進的デコーダ・リフレッシュのランダム・アクセスにより提供される画像内容の漸進的回復は、ＪＶＴ／Ｈ．２６Ｌビデオ符号化における望ましい特徴であると見なされる。漸進的デコーダ・リフレッシュの基本的な思想は、フレームのマクロブロックの一部を内部符号化として符号化することである。デコーダがランダム・ポイントで復号を開始するとき、動き補償のための基準フレームはデコーダにとっては未知であり、これらの基準フレームは、例えば中間レベルのグレイになるように初期化される。デコーダは内部符号化マクロブロックを再構築することができるが、動き補償プロセスにおいて未知のエリアを参照する内部符号化マクロブロックを正確に再構築することはできない。内部符号化マクロブロックの累積数が１フレームずつ増大するにつれて、最終的に完全に再構築された画像を得ることができる。しかしながら、このような動作を実行させるに際しては、いくつかの問題が発生する。
【００１３】
ここでは、基準画像を選択するために、動き補償プロセスにおいて、信頼できる復号が可能な内部符号化マクロブロックの領域外にある基準フレームのマクロブロックが参照されるかもしれない。
【００１４】
ＪＶＴ／Ｈ．２６Ｌにおいては、突然現れる境界線に対するフェードアウト（fade out）を行うために、４×４ブロックごとの境界を横切ってループ・フィルタリングが適用される。このようにして、隣接するマクロブロックにて不正確に再構築されたピクセルによって、高信頼エリア（reliable area ）が影響を受ける可能性がある。
【００１５】
動き補償プロセスにおいては、参照される非整数ピクセルの位置は、マルチタップ・フィルタを用いてピクセル値から補間される。現行のＪＶＴコーデックの設計において、ハーフ・ピクセル（half-pixel）の位置は、６タップのフィルタ（six-tap filter）を用いて補間される。それゆえに、信頼できる復号が可能なエリア内ではあるがその境界近くに存在するような参照されるべき非整数ピクセルの位置を補間するために、不正確に再構築されたピクセルを使用するおそれがある。
【００１６】
デコーダがフレームの復号を開始するとき、このデコーダは、内部符号化がなされた全てのマクロブロックが信頼できると仮定する。しかしながら、上記の全てのプロセスは、隣接するマクロブロックのグレイ画像の情報が、内部符号化マクロブロックにて信頼できる復号が可能な画像の情報と混ざり合うといったような効果を有する。これによって、あるフレームから別のフレームへと復号が進むときに、空間的および時間的に伝播するエラーが生じる。
【００１７】
漸進的デコーダ・リフレッシュの工程において、初期の領域に属するマクロブロックと、当該領域の形状および増大率とを示す際に、符号化効率が低下するといったようなさらなる問題が発生する。デコーダにて復号される画像の情報は、当該デコーダにて表示されることを必要とする。これによって、いくつかのオーバーヘッド・ビットが、ビデオ・シーケンスのビットストリーム内に常時含まれるようになる。前述のような全ての制約が信号により個別に知らされる場合、典型的なデコーダにおける上記のオーバーヘッド・ビットの量は、顕著に増大する。それゆえに、どのようにして復号開始時の初期の領域が進化していくかに関するパターンをデコーダに明確に示すためのより効率的な手法が必要になってくる。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】特表２００３−５２３６６７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１９】
したがって、本発明の目的は、上記のような符号化効率の低下の問題点を解消するための方法および当該方法を実施するための装置を提供することである。このような本発明の目的は、独立形式の請求項にて開示されている特徴を有する方法、エンコーダ、デコーダ、コンピュータ・ソフトウェア（コンピュータ・プログラム）製品、およびビデオ信号によって達成される。
【課題を解決するための手段】
【００２０】
本発明の好ましい実施態様は、従属形式の請求項にて開示されている。
【００２１】
本発明は、１組のブロックに分割されるデジタル画像内の領域のサイズ、形状および位置を示すことに基づいている。本発明のデジタル画像内の領域のサイズ、形状および位置を示す方法においては、初めに、上記領域内のいくつかのブロックを示すための少なくとも１つのサイズパラメータの値が定義され、次に、上記領域内で当該ブロックが選択される順番を示すための少なくとも１つの形状進化パラメータの値が選択される。
【００２２】
本発明の好ましい態様に従えば、上記デジタル画像内の上記領域のサイズ、形状および位置を示すために、上記少なくとも１つのサイズパラメータおよび上記少なくとも１つの形状進化パラメータの値が符号化され、ビデオ・シーケンスのビットストリームが生成される。
【００２３】
本発明の好ましい態様に従えば、上記デジタル画像のパラメータ・セット内に、上記少なくとも１つの形状進化パラメータの値が含まれる。
【００２４】
本発明の好ましい態様に従えば、上記少なくとも１つのサイズパラメータは、サイズ変化率パラメータおよびサイズ変化の連続番号パラメータを含む。
【００２５】
本発明の好ましい態様に従えば、上記サイズ変化率パラメータの値および上記サイズ変化のサイクルのパラメータの値の少なくとも１つに基づいて、上記領域内の符号化ブロックの数が決定される。
【００２６】
本発明の好ましい態様に従えば、上記デジタル画像のパラメータ・セット内に、上記サイズ変化率パラメータの値が含まれ、また一方で、上記領域に属するスライス・ヘッダにおいて上記サイズ変化の連続番号パラメータの値が含まれる。
【００２７】
本発明は、いくつかの利点をもたらす。上記のようなメカニズムを用いて、符号化されたビデオ・ストリームにランダム・アクセス・ポイントを付与し、これと同時に、イントラ・マクロブロックの有効範囲を完全にカバーすることなく確実に更新されることが可能な画像エリアの一部を示すことができる。本発明のさらなる利点は、形状が進化している領域のパターン標示に関連する符号化効率を改善することが可能になることである。さらなる利点は、復号可能な高信頼領域の境界または復号可能な高信頼領域の外側の領域において、復号を阻止することを可能にするための簡単な方法を提供することである。さらに、この方法は、ビデオ・シーケンス以外に、デジタルの静止画像にも適用されることが可能である。
【図面の簡単な説明】
【００２８】
【図１】ＪＶＴ／Ｈ．２６Ｌ設計の概念的構造を示すブロック図である。
【図２】高信頼領域の増大に関する好ましい実施態様を示す図である。
【図３】特定のリフレッシュ・パターンに従って高信頼領域にマクロブロックを追加する手順の例を示す図である。
【図４】ビデオ符号化のために定義されるマクロブロックに関連して符号化される画像を示す図である。
【図５】サブピクチャの実施に従って図４の画像に関して形成されるビデオ符号化スライスの主要な図である。
【図６】本発明の好ましい実施態様に係る移動通信装置を示すブロック図である。
【図７】本発明が適用され得るビデオ通信システムを示すブロック図である。
【発明を実施するための形態】
【００２９】
以下、添付図面を参照しながら、本発明の好ましい実施態様について詳細に説明する。
【００３０】
本発明は、領域ベースの動き補償時間予測を使用する全てのビデオ符号化方法に適用され得る。本発明は、特に、一般に有限帯域電気通信システムに使用される様々な低ビットレート・ビデオ符号化に適用され得る。この中には、例えば、ＩＴＵ−Ｔ規格Ｈ．２６３および現在規格化されているＨ．２６Ｌ（後に、おそらくＨ．２６４となるであろう）が含まれる。これらのシステムにおいて、本発明は、例えば移動局において適用され得る。
【００３１】
以下に１つの例としてＪＶＴ／Ｈ．２６Ｌビデオ符号化を使用する本発明の例を示す。ＪＶＴ／Ｈ．２６Ｌについては、本発明およびその好ましい実施態様を理解するために十分と思われるような詳細なレベルで説明する。ＪＶＴ／Ｈ．２６Ｌのさらに詳細な説明については、書類ＩＳＯ／ＩＥＣ  ＭＰＥＧおよびＩＴＵ−Ｔ  ＶＣＥＧ共同ビデオチーム（ＪＶＴ）、ＤＲＡＦＴ  ＩＳＯ／ＩＥＣ  １４４９６−１０：２００２（Ｅ）“ＪＶＴ  ワーキング  ドラフト  ２，リリース  ７（ＪＶＴ  Ｗｏｒｋｉｎｇ  ｄｒａｆｔ  ２，Ｒｅｌｅａｓｅ  ７）”を参照されたい。
【００３２】
ＪＶＴ／Ｈ．２６Ｌ設計の概念的構造について図１を参照しながら説明する。ＪＶＴ／Ｈ．２６Ｌにおいては、ビデオ画像内容の中心的高圧縮表現を提供するビデオ符号化層（ＶＣＬ）、および特定のタイプのネットワークを経由して配信するために上記高圧縮表現を一まとめにするネットワーク適応層（ＮＡＬ）は、概念的に分離されている。
【００３３】
ＶＣＬの主要なタスクは、効率良くビデオ・データを符号化することである。しかしながら、前述したように、エラーは効率的に符号化されたデータに悪影響を及ぼすので、発生する可能性のあるエラーについてのある程度の認識が含まれている。ＶＣＬは、予測符号化の連鎖に割り込んで、エラーの発生および伝播を補償するための措置を取ることができる。これを実行することができるような方法はいくつかある。すなわち、このような方法は、ＩＮＴＲＡフレームおよびＩＮＴＲＡ−ＭＢを導入することによって時間予測の連鎖に割り込む、スライス概念を導入することによって空間的なエラー伝播に割り込む、および、例えば複数のフレームにまたがる適応算術符号化を使用することなく個別に復号できるような可変の長さコードを導入する、等である。
【００３４】
ＶＣＬの出力は、符号化されたマクロブロックのストリームであり、各々のマクロブロックは単一ピースのデータとして現れる。データ区分化層（ＤＰＬ：Data Partitioning layer ）は、単一のスライスに属する１つのデータ・タイプ（例えば、ＤＣ係数、マクロブロック・ヘッダ、運動ベクトル）の全ての記号が１つの符号化ビットストリームに集められるように記号を再配列する。復号においてほぼ等しい主観的重要性および／またはシンタックス上の重要性を有する複数の記号は、１つの区分にまとめられる。
【００３５】
ＮＡＬは、ＶＣＬまたはＤＰＬデータのフォーマットを多様なネットワークを経由して配信するために当該ＶＣＬまたはＤＰＬデータのフォーマットをカストマイズする機能を提供する。ＮＡＬ設計は、選択されるネットワーク適応戦略に応じて、ビデオ符号化層およびデータ区分化層からデータ区分またはスライスのいずれか一方を受信することができる。データ区分は、主観的に重要性のより高いデータおよびシンタックス上の重要性のより高いデータを、これより重要性の低いデータとは別個に伝送することができるようにする。デコーダは、重要性の高い方のデータを受信するまでは重要性の低いデータを復号することができない。エラーが発生しやすいネットワークを経由してビットストリームを伝送しながら、重要性の低いデータより重要性の高いデータを保護するための手段を適用することが可能である。
【００３６】
さらに、ＮＡＬの出力を、様々なトランスポート・フォーマットに挿入することができる。ビデオ・データは、将来の走査のためにファイル・フォーマットで記憶され得る。さらに、ビデオ・データは、ＩＴＵ−Ｔ  Ｈ．２２３多重化フォーマットに従ってカプセル化することもできる。ＲＴＰトランスポート・フォーマットに関しては、ＲＴＰトランスポート・ストリームは画像層も画像ヘッダも全く含まない。その代わりに、従来は画像層およびシーケンス層に属していたデータが、主に帯域外で伝送される。この種のデータの多数の組み合わせを伝送することが可能であり、伝送された各々の組み合わせはパラメータ・セットと呼ばれて、列挙される。その後、伝送されたスライス・ヘッダにおいて、使用中のパラメータ・セットが識別される。
【００３７】
次に、好ましい実施態様に従った漸進的デコーダ・リフレッシュ周期の符号化について説明する。エンコーダは、独立型（standalone）エンコーダにおける構成パラメータ、またはリアルタイム画像通信システムにおける内部更新要求等のような外部信号に応じて、デコーダ・リフレッシュ周期の第１のフレームを決定することによって動作を開始する。エンコーダはまた、未圧縮画像の内容を分析して、例えばマスキングがなされたシーン遷移への応答として漸進的デコーダ・リフレッシュを符号化することもできる。
【００３８】
エンコーダは、独立型エンコーダの構成パラメータ等の外部指令に基づいて、または例えばマスキングがなされたシーン遷移に対する応答としての内部推論に基づいて、漸進的デコーダ・リフレッシュ周期の長さを決定する。エンコーダはまた、例えば速度制御の必要性に基づいて、遷移の符号化期間中のシーン遷移の予想される長さを調整することもできる。
【００３９】
「高信頼領域（reliable region ）」という用語は、漸進的デコーダ・リフレッシュ周期の開始から復号が開始されるときに正確に再構築される画像の領域を指すために使用される。高信頼領域は、相互に隣接するマクロブロックによって構成されることが好ましい。漸進的デコーダ・リフレッシュ周期内の各々の画像は、それ自身の高信頼領域を有する。１つの画像の高信頼領域に存在する各々のマクロブロックは、漸進的デコーダ・リフレッシュ周期にて引き続いて記憶される画像（符号化順に）の高信頼領域に属する。このようにして、高信頼領域は少なくとも画像間で同じままか、または当該高信頼領域は漸次増大することが好ましい（符号化順に）。
【００４０】
高信頼領域の形状は、マクロブロックが相互に隣接するという以外の制約によって制限されるべきではない。符号化／復号のために、高信頼領域の最も単純な形状は、マクロブロックの中身のある四角形である。好ましい実施態様に従えば、高信頼領域は、四角形の４つの辺の中で１つの辺に沿って複数のマクロブロック中の不完全な１マクロブロックの幅および高さ方向の行列で拡張されるようなマクロブロックの中身のある四角形である。
【００４１】
別の好ましい実施態様に従えば、高信頼領域は、マクロブロックの任意のエリアであって、ただし中身のあるエリアである。さらに別の好ましい実施態様に従えば、高信頼領域は、１つの四角形の穴を持つマクロブロックの中空の四角形であり、これは、ボックスイン・タイプ（box-in type ）の漸進的デコーダ・リフレッシュに使用することができる。別の好ましい実施態様に従えば、高信頼領域は、本発明の好ましい実施態様の高信頼領域と同様に形成される穴を有するマクロブロックの中空の四角形である。高信頼領域は、例えば２つの高信頼領域が螺旋運動で成長するように各々の高信頼領域の中で相互関係をもって存在することさえ可能である。
【００４２】
したがって、中空の高信頼領域の定義を高信頼領域に複数の穴があるように普遍化することができる。
【００４３】
本発明はまた、１つの画像に複数の高信頼領域があるように普遍化することもできる。この場合、その後のフレームの高信頼領域のブロックを予測するためにどの高信頼領域でも使用することができる。さらに、リフレッシュ周期を重ね合わせることによって、異なる周期の高信頼領域を互いに重なり合う周期内の画像においてネスティング（nest）することができる。高信頼領域はまた、符号化された１つの画像から次の画像に場所を移したり収縮したりすることができる。このような動作は、カメラ・パノラマ等のグローバル・モーションまたは例えば速度制御のおかげで妥当となり得る。
【００４４】
漸進的デコーダ・リフレッシュ・パターンは、どのような順番でマクロブロックが高信頼領域に追加されるかを明確に定義する。例えば、ワイプダウン（wipe-down ）においては、マクロブロックをラスタ走査順に高信頼領域に挿入することができる。エンコーダは、漸進的デコーダ・リフレッシュ・パターンのタイプを決定する。符号化仕様／規格において明示され、かつ、エンコーダおよびデコーダの両方において事前に既知の事前定義デフォルト・パターンがある場合もある。また一方で、この種のリフレッシュ・パターンをエンコーダからデコーダへ符号化画像ビットストリームの一部として送信することもできる。エンコーダは、選択されたリフレッシュ・タイプを信号としてデコーダに送信する。この送信は、帯域内信号方式または帯域外信号方式として行うことができる。
【００４５】
増大する高信頼領域の実施態様については、図２を参照して説明することができる。図２において、小さい四角形はマクロブロックを示し、小さい四角形の９×１１ブロックは１つの画像フレーム２００〜２０８を表す。各々のフレームにおいて厚いマクロブロックのエッジが高信頼領域を取り囲む。中程度のグレイのマクロブロックは高信頼領域の増大を示す。画像フレーム２００〜２０８は、時間順で示されている。
【００４６】
フレーム２００は、３×３マクロブロックの高信頼領域を含む。次のフレーム２０２においては、高信頼領域は、前の領域の４辺全てに沿って拡張されて、５×５マクロブロックの高信頼領域となる。ボックスアウト・リフレッシュ・パターン（box-out refresh pattern ）と呼ばれ得る同様の手順が、その後のフレーム２０４〜２０８に適用される。フレーム２０８において、高信頼領域は、フレームエリアの全て、すなわちフレームの全てのマクロブロックを包含するまでに拡張される。高信頼領域の空間的境界を示す厚いエッジは、マクロブロックの境界であることが好ましい。
【００４７】
エンコーダは、符号化される現在のフレームにおいて高信頼領域に追加されるマクロブロックの数を決定する。この決定は、予め定められたリフレッシュ率に基づいてなされるか、または、例えば支配的なネットワーク条件に従って調整することができる。選択されるべき数のマクロブロックは、主として、漸進的デコーダ・リフレッシュ・パターンに従って選択される。漸進的デコーダ・リフレッシュ周期の第１のフレームにおいて第１の高信頼領域に挿入されるマクロブロックは、内部符号化される。
【００４８】
好ましい実施態様に従えば、融通性と複雑さの折衷案として、最初は高信頼領域がマクロブロックの中身のある四角形であるように高信頼領域の形状の進化を限定することができる。高信頼領域は、四角形の４つの辺のうちで１つの辺に沿って明確な順番でマクロブロックを挿入することによって拡張することができる。高信頼領域が再び四角形になったら、四角形の別の辺をマクロブロック挿入の対象として選択することができる。拡張率は０マクロブロックでもよい。
【００４９】
漸進的デコーダ・リフレッシュ周期のその他のフレームについては、エンコーダは次のように進む。すなわち、新たに選択されたマクロブロックが、現在のフレームの高信頼領域に挿入される。高信頼領域のマクロブロックは、マクロブロック・モード選択および動き補償の手順を用いて符号化される。ただし、動き補償の手順において、運動ベクトルの探索範囲は限られているので、当該運動ベクトルは、その漸進的デコーダ・リフレッシュ周期内の以前のフレームの高信頼領域内にあるピクセルしか参照することができない。
【００５０】
高信頼領域の再構築は、この高信頼領域外にある再構築されたピクセル値に依存してはならない。したがって、結果として多少の符号化制約が生じる。例えば、ループ・フィルタリングおよび高信頼領域外のピクセル値からの端数ピクセル補間は、無効とされなければならない。この種の符号化従属性の遮断は、符号化データで信号化することが可能であり、データを復号するときに同様の動作を行うことができる。例えば、符号化データにおいて、ループ・フィルタリングを停止させなければならない境界を信号化することができる。その代わりに、エンコーダは、信頼できない領域を参照するようなこの種の符号化データの生成を避けることができる。例えば、信頼できない領域のピクセルが動き補間に使用されないように運動ベクトルを制限することができる。
【００５１】
あるリフレッシュ周期内にいくつかの少なくとも部分的に同時に存在する高信頼領域が存在する場合、漸進的デコーダ・リフレッシュ周期の第１のフレームにおいて第１の高信頼領域に挿入されるマクロブロックは、内部符号化される。次に、その後の高信頼領域は、必要であれば相互の間で符号化できるように別の高信頼領域のマクロブロックを参照することができる。基準画像選択のおかげで、相互に参照する高信頼領域の時間順は制限されない。ただし、上記の通り、ループ・フィルタリングおよび高信頼領域外のピクセル値からの端数ピクセル補間に関する同様の符号化制約が、別の高信頼領域を参照する際にも適用される。
【００５２】
さらに、マクロブロックの符号化および復号の走査順は、まずラスタ走査順で高信頼領域が符号化／復号されるように変更されることが好ましい。その後、高信頼領域に含まれない残りのマクロブロックがラスタ走査順に符号化／復号される。高信頼領域の境界はスライス境界として処理される。したがって、高信頼領域の境界を横切ってイン−スライス予測（in-slice prediction）が生じることはあり得ない。
【００５３】
さらに、高信頼領域が定義されるが上記の符号化制約の全てが適用されるわけではない符号化方法を適用することも可能である。この方法においては、画像全体のマクロブロックは標準的な順序（すなわち、分散スライスまたは同様の符号化法が使用されない場合に、ラスタ走査順）で符号化される。したがって、高信頼領域および残りの領域（すなわち高信頼領域に属さないマクロブロック）の符号化データは、相互にインターリーブ（interleave）がなされる。さらに、ある画像の高信頼領域の符号化パラメータの一部は、残りの領域の符号化パラメータに依存する。このような符号化パラメータの例としては、高信頼領域の境界付近の運動ベクトルが含まれる。このような運動ベクトルは、残りの領域の隣接する運動ベクトルから予測される。しかしながら、ループ・フィルタリングおよび高信頼領域外のピクセル値からの端数ピクセル補間に関する符号化制約が依然として適用される。このような方法は、ＩＲＥＧ−Ｄ法と呼ぶことができる。ここで、ＩＲＥＧは隔離領域を意味し、Ｄは隔離領域と残りの領域との間における符号化パラメータの一部の従属性を指している。
【００５４】
したがって、上記に開示されているような全ての符号化制約が適用される高信頼領域の符号化の方法は、ＩＲＥＧ−Ｉ符号化法と呼ぶことができる。ＩＲＥＧ−Ｉ法においては、高信頼領域のマクロブロックがまず符号化され、残りのマクロブロックはその後に符号化される。したがって、高信頼領域は、残りの領域の符号化データから分離可能な符号データの部分を構成する。略語ＩＲＥＧ−Ｉの文字Ｉは、隔離領域と残りの領域の間の符号化パラメータの独立性を示している。この方法は、いわゆるサブピクチャを使用することによって適用され得ることが好ましい。サブピクチャ使用の好ましい実施態様については、後にさらに詳しく説明する。
【００５５】
次に、好ましい実施態様に従った復号の手順について説明する。ビデオ・シーケンスの復号の手順が符号化の手順から独立していることは注目に値する。したがって、復号のためには、復号の対象であるビデオ・シーケンスが、本発明によって特徴付けられる特定の特性を含むことしか要求されない。したがって、復号が可能なビデオ・シーケンスは、上記の符号化の方法によって制限されない。
【００５６】
デコーダがビデオ・シーケンスと一緒に送信されるパラメータ・セットを受信すると、当該デコーダは、このパラメータ・セットが高信頼領域の使用を指示するか否かをチェックする。送信されたパラメータ・セットがＩＲＥＧ−Ｉの使用を指示している場合、デコーダは新しい画像の復号を開始するか、または現在の画像の復号を継続する。
【００５７】
新しい画像の復号が開始される場合、デコーダは、新しい高信頼領域が確立されるか否かをチェックする。新しい高信頼領域が確立される場合、高信頼領域の以前の形状、サイズおよび位置がリセットされる。新しい画像の復号が開始されると、高信頼領域の形状、サイズおよび位置は、受信されるパラメータに従って更新される。
【００５８】
高信頼領域の形状、サイズおよび位置が最新のものになったら、スライスの第１のマクロブロックのマクロブロック・アドレスは、どの高信頼領域にスライスが属するのか、またはスライスが残りの領域に属するのか否かを識別する。画像の高信頼領域がまず復号される。
【００５９】
各々のマクロブロックのループ・フィルタリングは、隣接するマクロブロックが異なる領域に属する（すなわち、隣接するマクロブロックの一方が高信頼領域に属し、他方が残りの領域に属するか、または異なる高信頼領域に属する）か否かがチェックされるように限定される。隣接するマクロブロックが異なる領域に属する場合、該当するマクロブロックの境界が、画像境界にあるかのようにフィルタリングされる。さらに、復号される高信頼領域外の領域からの内部予測が適用されず有利である。
【００６０】
送信されるパラメータ・セットがＩＲＥＧ−Ｄの使用を指示する場合、デコーダは、マクロブロックの位置の決定を除いて、前述のようなＩＲＥＧ−Ｉの場合と同様にスライスを復号する。空間的なマクロブロックの順序は通常通りであり、スライスは、多くの高信頼領域および残りの領域からのマクロブロックを同時に含む可能性がある。主なる差異は、領域境界を横切って内部予測および運動ベクトル予測が生じる可能性があることである。しかしながら、ループ・フィルタリングおよび高信頼領域外のピクセル値からの端数ピクセル補間に関する符号化制約が依然として適用される。
【００６１】
好ましい実施態様に従えば、上記の手順によって要求される変化は、符号化されたビデオ・シーケンスに関連して送信される新しいパラメータを追加することによって可能になる。パラメータは、ビデオ走査セッション前に送信するか、またはビデオ走査セッション中に伝送または更新することができる。例えば、下記のパラメータをパラメータ・セットに追加することができる。
【００６２】
１．隔離領域のタイプ（ＴＩＲ：Type of Isolated Region ）：隔離領域が使用されているか否か、および、どのようなタイプの隔離領域が使用されているかを識別する。
【００６３】
Ｎｏｎｅ（なし）：隔離領域は使用されていない。したがって、マクロブロックは標準的な符号化に従って符号化される。
【００６４】
ＩＲＥＧ−Ｄ：隔離領域の標準的なビットストリーム順バージョンが使用される。
【００６５】
ＩＲＥＧ−Ｉ：隔離領域の隔離ビットストリーム順バージョンが使用される。
【００６６】
２．同時隔離領域の数（ＮＳＩＲ）：ある画像内に同時にいくつの隔離領域が存在するかを信号で知らせる。この値はプロフィルおよびレベルによって制限される。各々の最初の隔離領域は、例えば０または１から始まる通し番号で一意に識別される。識別子はＩＲＥＧ  ＩＤと呼ばれる。各々のＩＲＥＧ  ＩＤについて、下記のパラメータが伝送される。
【００６７】
３．隔離領域の形状進化のタイプ（Shape Evolution Type of Isolated Regions）：隔離領域の位置、形状および変化の順序がこのパラメータによって定義される。下記の値が提案されている。
【００６８】
Ｒａｓｔｅｒ  Ｓｃａｎ（ラスタ走査順）：隔離領域の第１のマクロブロックは画像の左上端のマクロブロックである。隔離領域はラスタ走査順に増大する。
【００６９】
Ｒｅｖｅｒｓｅ  Ｒａｓｔｅｒ  Ｓｃａｎ（逆ラスタ走査順）：隔離領域の第１のマクロブロックは画像の右下端のマクロブロックである。隔離領域は逆ラスタ走査順に増大する。
【００７０】
Ｗｉｐｅ  ｒｉｇｈｔ（右ワイプ）：隔離領域の第１のマクロブロックは画像の左上端のマクロブロックである。隔離領域は上から下に増大する。ある列の下端マクロブロックの次のマクロブロックは、以前の列における右側の列の上端マクロブロックである。
【００７１】
Ｗｉｐｅ  ｌｅｆｔ（左ワイプ）：隔離領域の第１のマクロブロックは画像の右下端マクロブロックである。隔離領域は下から上に増大する。ある列の上端マクロブロックの次のマクロブロックは、以前の列における左側の列の下端マクロブロックである。
【００７２】
Ｂｏｘ  ｏｕｔ  ｃｌｏｃｋｗｉｓｅ（右回りボックスアウト）：隔離領域の第１のマクロブロックは制限されないことが好ましい。隔離領域は、以前に定義された隔離領域の周囲を右回りに増大する。
【００７３】
Ｂｏｘ  ｏｕｔ  ｃｏｕｎｔｅｒ-ｃｌｏｃｋｗｉｓｅ（左回りボックスアウト）：上記の場合と同様であるが、隔離領域は左回りに増大する。
【００７４】
Ｐｒｅ-ｄｅｆｉｎｅｄ  ｆｒｅｅ-ｆｏｒｍ（事前定義フリーフォーム）：このパラメータ値には、隔離領域の位置、形状および増大順を定義するマクロブロック番号のリストが添付される。この事前定義フリーフォームは、ビデオ走査セッション中最初にデコーダに通信されることが好ましい。マクロブロックは、番号０を持つ画像の左上端のマクロブロックから始めてラスタ走査順に番号が付けられる。隔離領域の形状は、以前に示された制限に従わなければならないことに注意すべきである。
【００７５】
Ｐｒｅ−ｄｅｆｉｎｅｄ  ｓｔａｔｉｃ  ｒｅｃｔａｎｇｌｅ（事前定義静的四角形）：このパラメータ値は、隔離領域がＩＲＥＧ  ＧＯＰ内で同じままであることを知らせる。この値は、隔離領域の左上端ならびに隔離領域の幅および高さに関係する。さらに、この事前定義値は、ビデオ走査セッション中最初にデコーダに通信されることが好ましい。
【００７６】
Ｄｙｎａｍｉｃ  ｒｅｃｔａｎｇｌｅ（動的四角形）：このパラメータは、ＩＲＥＧ−Ｉが使用されている場合にしか存在しない。この領域変化モードは、サブピクチャの符号化に使用される。ここでは、どのフレームの隔離領域も四角形であることに注意すべきである。隔離領域の位置、形状または増大順は、パラメータ・セットにおいて定義されず、同様のパラメータがスライス・ヘッダに含まれる。
【００７７】
４．隔離領域の増大率（ＧＲＩＲ：Growth Rate of Isolated Region）。このパラメータは、これ以前のパラメータの記述において言及される隔離領域に対し、画像ごとにいくつのマクロブロックが追加されるかを決定する。さらに、変動する増大率を示す特殊なパラメータ値も存在する。変動する増大率がパラメータ・セットにおいて指示される場合、実際のフレームごとの増大率はスライス・ヘッダにおいて指示される。
【００７８】
Ｃｏｎｓｔａｎｔ  ｒａｔｅ  ｏｆ  Ｎ（Ｎ＞＝１）ｍａｃｒｏｂｌｏｃｋｓ（定速Ｎマクロブロック（Ｎ＞＝１））：隔離領域は画像ごとにＮマクロブロックずつ増大する。
【００７９】
Ｐｒｅ-ｄｅｆｉｎｅｄ  ｒａｔｅ（事前定義率）：これらのパラメータ値の各々は、１つの画像において隔離領域に追加されるべきマクロブロックの数を定義する１組の値｛ａ1、ａ2、．．．、ａN｝と関連付けられる。ＮはＩＲＥＧ周期における画像の数に等しく、ａ1はマクロブロック数で表される隔離領域の初期サイズである。
【００８０】
変動率：スライス・ヘッダにおいて隔離領域の増大率（ＧＲＩＲ）によって指示される増大率。
【００８１】
あるリフレッシュ・パターンに従って高信頼領域にマクロブロックを挿入する手順の例は図３を参照することによって説明することができる。図３は、増大する高信頼領域の最初のいくつかの画像フレーム（３００〜３１０）を示しており、「右回りボックスアウト」と定義される形状進化のタイプおよび３マクロブロックの一定増大率（ＧＲＩＲ）を有する。第１のフレーム３００は、３つのマクロブロックから構成される（「右回りボックスアウト」に従った）Ｌ形高信頼領域を有する。次のフレーム３０２において、次の３つのマクロブロックが高信頼領域に追加される。形状進化のタイプが新しいブロックの位置を制御するので、３×２マクロブロックの高信頼領域が得られる。各々のフレーム３０４〜３１０において、右回りに高信頼領域の輪郭に沿って３つの新しいマクロブロックを追加することによって上記の手順が継続される。
【００８２】
前述したように、ＪＶＴ／Ｈ．２６Ｌの設計は、多様なネットワークを経由して配信するためにビデオ符号化層（ＶＣＬ）またはデータ区分化層（ＤＰＬ）のデータ・フォーマットをカストマイズすることができるようにする。データ区分は、主観的に重要性の低いデータおよびシンタックス上の重要性の低いデータとは別個に重要性のより高いデータを伝送することができるようにする。デコーダは、重要性のより高いデータを受信するまでは重要性の低いデータを復号することができない場合がある。例えば、ＲＰＴトランスポート・フォーマットを使用する場合、ＲＰＴトランスポート・ストリームは画像層または画像ヘッダを全く含まない。その代わりに、従来の画像およびシーケンス層に属するこのデータは帯域外で伝送される。この種のデータのたくさんの組み合わせを伝送することが可能であり、伝送される各々の組み合わせはパラメータ・セットと呼ばれて、列挙される。使用中のパラメータ・セットは、伝送されるスライス・ヘッダにおいて識別される。
【００８３】
したがって、好ましい実施態様に従えば、下記の条件パラメータを、好ましくは基準画像選択パラメータの前に、スライス・ヘッダに追加することができる。
【００８４】
１．隔離領域の連続番号（ＳＮＩＲ：Sequence Number of the Isolated Region）：このパラメータは、パラメータ・セットが隔離領域の使用を指示する場合に存在する。値０は、連続番号（ＳＮＩＲ）が、最近伝送されたＳＮＩＲ値ＳＮＩＲａ、対応する画像番号Ｐｎａおよび現在の画像番号ＰＮｂから、下記の通りに推論されることを示す。すなわち、ＳＮＩＲｂ＝ＰＮｂ−Ｐｎａ＋ＳＮＩＲａの関係から推論される。ここで、画像番号間の算術は重なりの可能性を考慮する。値１は、新しい高信頼領域の開始を示し、各々のＩＲＥＧ周期に少なくとも１回伝送される。０より大きい値は明示的に連続番号を示し、エラー回復力を改善するために使用することができる。
【００８５】
２．隔離領域の形状変化（ＳＣＩＲ：Shape Change of Isolated Region ）。このパラメータは、パラメータ・セットが隔離領域の変動増大率を指示する場合、または隔離領域の形状進化のタイプが動的四角形である場合に存在する。値０は、四角形の隔離領域の増大率または形状、サイズおよび位置が、同じ画像の他のスライスと同じであることを意味する。値１は、ＧＲＩＲおよびＩＲＩＲが、以前に記憶され伝送された画像と同じであることを示す。値２は、ＧＲＩＲまたはＩＲＩＲが続くことを示す。ＧＲＩＲおよびＩＲＩＲは、その画像の隔離領域ごとに繰り返される。
【００８６】
３．隔離領域の増大率（ＧＲＩＲ）：このパラメータは、パラメータ・セットが隔離領域の変動増大率を指示する場合のみ存在する。このパラメータは、符号化順に以前に記憶されているフレームの隔離領域と比べて隔離領域に追加されるマクロブロックの数を知らせる。
【００８７】
４．四角形隔離領域に関する情報（ＩＲＩＲ：Information about Rectangular Isolated Region ）：このパラメータのグループは、隔離領域の形状進化のタイプが動的四角形である場合に存在する。下記のコードワードが後に続く。
【００８８】
左端：隔離領域において左端のマクロブロックの座標（マクロブロック数の単位で）を意味する。画像の左端のマクロブロック列に値０が割り当てられる。
【００８９】
上端：隔離領域において上端のマクロブロックの座標（マクロブロック数の単位で）を意味する。画像の上端のマクロブロック行に値０が割り当てられる。
【００９０】
幅：隔離領域の幅を意味する。コードワードは下記の〔表１〕のように割り当てられる。
【００９１】
【表１】
2010136428.tif 000003
【００９２】
高さ：サブピクチャの高さを意味する。コードワードは幅と同様に割り当てられる。
【００９３】
ＪＶＴビデオ・コーデック・パラメータ・セットに関して詳しくは、ＩＳＯ／ＩＥＣ文書“ＶＣＥＧ−Ｎ５２”および“ＶＣＥＧ−Ｎ７２ｒ１”を参照されたい。
【００９４】
次に、好ましい実施態様に従った復号の手順について説明する。説明を簡単にするために、ここでは、（帯域内または帯域外で）ビデオ・シーケンスと一緒に送信されるパラメータ・セットが、上記に開示されているようなパラメータのうち少なくとも一部を含むものと仮定する。ただし、上記のパラメータは、どのようにして望ましい特性を得ることができるかについての単なる例にすぎないことに留意しなければならない。当業者にとっては、異なるパラメータのセットを用いて様々な方法で同じ結果に到達するような実施を行うことができることが明らかであろう。
【００９５】
デコーダがビデオ・シーケンスと一緒に送信されるパラメータ・セットを受信すると、当該デコーダは、パラメータ・セットが高信頼領域の使用を指示するか否かをチェックする。送信されるパラメータ・セットがＩＲＥＧ−Ｉの使用を指示する場合、デコーダは下記の通りにスライスを復号する。
【００９６】
復号の対象であるスライスの画像番号がその前に復号されたスライスの画像番号と異なる場合、または復号の対象であるスライスの時間基準がその前に復号されたスライスの時間基準と異なる場合、新しい画像の復号が開始される。そうでなければ、現在の画像の復号が継続される。
【００９７】
新しい画像の復号が開始される場合、デコーダは新しい高信頼領域が確立されるか否かをチェックする。パラメータ・セットのうち高信頼領域関係のパラメータのどれかが変更されていたら、デコーダは、新しい高信頼領域の開始であると推量する。同様にＳＮＩＲが１である場合、デコーダは新しい高信頼領域の開始であると推論する。新しい高信頼領域が確立される場合、高信頼領域の以前の形状、サイズおよび位置はリセットされる。新しい画像の復号が開始される場合、高信頼領域の形状、サイズおよび位置は下記の通りに更新される。
【００９８】
高信頼領域の形状進化のタイプが非四角形であり、かつ、増大率が一定である場合、高信頼領域の形状、サイズおよび位置は、一定数のマクロブロックが、ＳＮＩＲの回数がゼロ・サイズの高信頼領域に追加されるかのように計算される。
【００９９】
高信頼領域の形状進化のタイプが非四角形であり、かつ、増大率が事前に定義されている場合、ＳＮＩＲは、その前に記憶され伝送された画像の対応する高信頼領域に追加されるべきマクロブロックの数ａSNIRを指している。
【０１００】
高信頼領域の事前定義フリーフォーム・タイプが使用されるが、各々の画像によって個別に増大率が送信される場合、高信頼領域の形状およびサイズは、その前に記憶され伝送された画像の高信頼領域に事前定義の順にＧＲＩＲ個のマクロブロックを追加することによって形成される。
【０１０１】
形状進化のタイプが事前定義静的四角形である場合、そのサイズ、形状および位置はパラメータ・セットに示される。形状進化のタイプが動的四角形である場合、四角形の高信頼領域のサイズ、形状および位置は、スライス・ヘッダに示される。高信頼領域の形状、サイズおよび位置が最新のものになったら、そのスライスの第１のマクロブロックにおけるマクロブロック・アドレスは、どの高信頼領域にスライスが属するか、またはスライスが残りの領域に属するか否かを識別する。画像の高信頼領域がまず復号される。
【０１０２】
マクロブロックの符号化データが復号される前に、その空間的位置が計算される。空間的なマクロブロックの順序は標準的（ラスタ走査順または分散走査順）であるが、現在復号される高信頼領域外または残りの領域外のマクロブロック位置はスキップされる。
【０１０３】
各々のマクロブロックのループ・フィルタリングは下記の通りに制限される。すなわち、あるマクロブロックの左側の隣接するマクロブロックが異なる領域に属する場合（すなわち、互いに隣接するマクロブロックの一方が高信頼領域に属し、他方が残りの領域に属する、または異なる高信頼領域に属する場合）、このマクロブロックは、それが左端の画像境界上にあるかのようにフィルタリングされる。あるマクロブロック上の隣接するマクロブロックが異なる領域に属する場合、このマクロブロックは、画像の上端のマクロブロック行にあるかのごとくにフィルタリングされる。
【０１０４】
さらに、復号される高信頼領域外の領域からの内部予測が適用されないことが有利である。
【０１０５】
送信されるパラメータ・セットがＩＲＥＧ−Ｄの使用を指示する場合、デコーダは、マクロブロックの位置の決定を除いて、前述のようなＩＲＥＧ−Ｉの場合と同様にスライスを復号する。空間的なマクロブロックの順序は通常通りであり、スライスは、多くの高信頼領域および残りの領域からのマクロブロックを同時に含む可能性がある。主なる差異は、領域境界を横切って内部予測および運動ベクトル予測が生じる可能性があることである。しかしながら、ループ・フィルタリングおよび高信頼領域外のピクセル値からの端数ピクセル補間に関する符号化制約が依然として適用される。
【０１０６】
ＩＲＥＧ−Ｉ法の好ましい実施態様は、ＪＶＴ／Ｈ．２６Ｌにて提案されているようないわゆるサブピクチャに関連して実施することができる。サブピクチャは、画像層とスライス層との間にサブピクチャ符号化層を追加することによって生成することができる。サブピクチャ符号化層は、いわゆるサブピクチャ（ＳＰ）を形成し、これは、通常、バックグラウンド領域（ＢＲ）ＳＰを除いた状態の四角形のフォアグラウンド領域ＳＰ（ＦＲ  ＳＰ）である。ＢＲ  ＳＰは、四角形のＳＰのいずれにも当てはまらない画像領域から構成される。画像のフォアグラウンド領域ＳＰは、バックグラウンド領域ＳＰの前に符号化される。ＳＰ内のマクロブロックは走査順に符号化される。ＳＰは重なり合わない。すなわち、符号化画像全体が全てのＳＰによって構成される。本発明の上記実施態様に従えば、サブピクチャは、高信頼領域として使用することができる。サブピクチャの形状およびサイズは、例えば上記のパラメータによって制御することができる。
【０１０７】
図４は、ビデオ符号化のために定義されるマクロブロック（ＭＢ）に関連して符号化される画像４００を示している。この画像は、フォアグラウンド被写体と見なされる被写体を含む。四角形のフォアグラウンド領域サブピクチャ（ＦＲ  ＳＰ）４０２が、ＭＢ境界に沿ってフォアグラウンド被写体の周囲に描かれている。この画像は、フォアグラウンド被写体４０２の周囲にバックグラウンドも有する。ＦＲ  ＳＰ４０２を取り囲むバックグラウンドの部分は、バックグラウンド領域サブピクチャ４０１（ＢＲ  ＳＰ）と呼ばれる。この場合のように、バックグラウンドの一部もＦＲＳＰ  ４０２に属する可能性があることに留意しなければならない。図４は、０から７９まで昇順に番号が付けられるＭＢを示しており、ここで、第１のＭＢ（０）は左上隅にあり、番号は、右に向かって大きくなり、１行が終わると次の行の左端から継続する。
【０１０８】
図５は、サブピクチャの実施に従って図４の画像に関して形成されるビデオ符号化スライスの主要な図である。ここで、画像は、５マクロブロックのスライス・サイズを用いてビデオ符号化スライスに分割される。この場合、分割は最も重要なＦＲ  ＳＰから始まり、ＢＰ  ＳＰは、全てのＦＲ  ＳＰがスライスに分割された後に分割される（図４および図５においては、１つのＦＲ  ＳＰしかない）。スライスには、０から始まるスライス通し番号が付与される。スライス０は、ＦＲ  ＳＰ内の最初の行からの３ＭＢおよびＦＲ  ＳＰ内の第２の行の２つのＭＢを占めること、特に、ＦＲ  ＳＰの最後のスライスはＢＲ
ＳＰが符号化される前に閉じられることに留意しなければならない。次に、最後の１つのスライスを除いて各々のスライスが１つのスライスに許容される最大数のＭＢで構成されるように、ＢＲ  ＳＰのＭＢが走査順にスライスに分割される。スライスは、各々のＦＲ  ＳＰを単純にスキップする。一般に、スライスが大きくなると、画像を符号化するために必要な冗長量が小さくなる。
【０１０９】
好ましい実施態様に従えば、サブピクチャ・ベースの漸進的デコーダ・リフレッシュ法は、高信頼領域をフォアグラウンド・サブピクチャとして符号化するように実施することが可能である。フォアグラウンド・サブピクチャの外部境界を横切るループ・フィルタリングが停止するように、独立サブピクチャ符号化モードを使用することが可能である。画像全体内におけるフォアグラウンド・サブピクチャの形状および位置は、サブピクチャに属するマクロブロックが相互に隣接しなければならないという制約以外の制約によって制限されるべきではない。
【０１１０】
デコーダにランダム・アクセス・ポイントを付与することに加えて、本発明は、ビデオ伝送のエラー回復力を向上させるためにも適用され得る。上記に開示されている方法は、予め定められたマクロブロック内の更新パターンを伴うエラー認識符号化法（error-aware encoding method ）として使用することが可能である。フレーム・アルゴリズム当たりの更新マクロブロックの数は、選択される条件に応じて変わる可能性があるが、更新されるマクロブロックの順序は同じままである。この方法は、高信頼領域内の一部のマクロブロックを内部モードで決して更新しないように使用することも可能である。したがって、上記の手法は、適応マクロブロック内更新のカテゴリーに属する。
【０１１１】
損失認識内部更新のための隔離領域の使用は、第１の隔離領域が開始されるところから隔離領域を連続的に使用するような非常に直接的な方法で適用され得る。シーケンスの最初のフレームは完全に内部符号化されるので、第１の隔離領域は第２の符号化フレームから始まることが好ましい。エンコーダは、画像サイズおよび想定されるパケット損失率に従って適切な増大率を選択することができる。一般的に言って、適切な増大率（すなわち、リフレッシュ率）は、マクロブロックの損失率に等しい。例えば、パケット損失率が２０％である場合、８０マクロブロックの増大率が適切である。
【０１１２】
高信頼領域の符号化は、上記に開示されているように実施されるが、残りの領域に関していえば、残りの領域のピクセルは、その前に再構築されたフレームの空間的に対応するピクセルによって複製される。すなわち、残りの領域のマクロブロックは、内容がその前のフレームから不変であるかのように符号化される。
【０１１３】
デコーダのサイドにおいては、リフレッシュ周期中に空間的に更新された画像は、これが視覚的に心地よいと見なされる場合に見ることができる。
【０１１４】
この実施態様は、端末間の伝送遅延がフレーム内符号化に比べて明らかに減少するという利点を有する。量子化パラメータが一定なので、低ビットレート変動を維持しながら安定した画質を得ることができる。より安定した画質は、一般に、不快さがより少ないと見なされる。さらに、損失があった場合に、空間的および時間的なエラー補正を適用することができる。
【０１１５】
様々な種類のワイプおよびボクシング等の多種のリフレッシュ・パターンを使用することが可能である。特に、ボックスアウト・リフレッシュ・パターンが使用される場合、画像中央部がまず表示される。関心領域の観点から見て、中央部は重要性がより高いことが多い。
【０１１６】
イントラ・フレームを避ける結果として、エンドユーザーは、リフレッシュ要求後よりも速く応答画像が表示されると感じる。さらに、エンドユーザーは、画像表示速度の低下が軽減されたと感じる。
【０１１７】
上記の実施態様に従った手順は、いくつかの利点をもたらす。イントラ・フレームが独立して復号可能な画像グループ（ＧＯＰ）から始まるような、ランダム・アクセス・ポイントの従来の符号化法に比べると、本発明は、特に、事前に定義された画像エリアのイントラ・マクロブロックの有効範囲を完全にカバーすることなく高い信頼性で上記画像エリアを更新することを可能にするという利点を有する。このエリアは多くの画像符号化の間に漸進的に更新される。以前の画像の高信頼領域を、次の画像の高信頼領域の動き補償基準として使用することが可能である。高信頼領域の各々のマクロブロックについてのマクロブロック・モードの選択は、速度−歪み最適化を用いて行うことができる。このようにして、本発明は、速度−歪みの観点からして最適に高信頼領域の符号化を行うことを可能にする。
【０１１８】
本発明のこの特性は、任意の方向へのカメラ撮影等の比較的安定した全体的動きのシーケンスにおいて特に有用であるかもしれない。このような場合、第１のフレームにおいて画像の境界近くにあった領域が、次のフレームにおいては画像の真ん中に近づく。第１のフレームにおけるこの領域を内部符号化することができれば、次のフレームにおいて再び内部符号化する必要はない。
【０１１９】
さらに、符号化ストリームの瞬間ビットレート変動は、よりなだらかである。この事実は、バッファ・オーバーフローを避けるのに役立ち、プレデコーダ・バッファに必要とされるサイズを小さくすることを可能し、端末間の伝送遅延を減少させるであろう。
【０１２０】
エラーが生じやすい伝送の場合、いずれにしても画像当たりある程度の数のマクロブロックがイントラ・モードで符号化される。本発明は、ランダム・アクセスのためにもこれらのマクロブロックを再使用することができるようにしている。
【０１２１】
インフラ・フレームの少なくとも一部が失われるかまたはだめになった場合、受信側のデコーダは、空間的なエラー補正または空間的および時間的なエラー補正を使用すべきか否かを検出する手段をほとんど持たない。空間的に隣接する領域は内部符号化されているので、簡単な選択は空間的なエラー補正である。しかしながら、空間的および時間的なエラー補正であれば、より良い補正結果を生じているかもしれない。このような現象は、本発明に従った方法を適用すれば、すなわち、一度に画像の一部のみをイントラ・モードで更新すれば、回避され得る。
【０１２２】
会話型ビデオ・アプリケーションとは、テレビ電話、テレビ会議およびその他のこれに類似するアプリケーションを意味する。この系統のアプリケーションは、端末間の遅延を最小限に抑えるという目標を特徴とする。会話型アプリケーションは、ＩＳＤＮ（ＩＴＵ−Ｔ勧告Ｈ．３２０を参照のこと）、ＰＳＴＮ（ＩＴＵ−Ｔ  Ｈ．３２４を参照のこと）、固定ＩＰネットワーク（ＩＴＵ−Ｔ  Ｈ．３２３を参照のこと）およびパケット交換方式移動通信網（３ＧＰＰ  ＴＳ  ２６．２３５を参照のこと）等のように、様々なネットワークで動作し得る。一般に、ネットワークの少なくとも１つのリンクの最大スループット・ビットレートは限られている。ＩＳＤＮ等の一部のネットワークは伝送エラー率が低いが、インターネットおよび移動通信網等の他のネットワークは比較的伝送エラーが生じやすい。
【０１２３】
会話型アプリケーションにおいては、目標は端末間の遅延を最小限に抑えることであり、また一方で最大スループットは固定されるので、ビデオ・ビットレートを比較的一定に維持することがその目標となる。ビットレートの観点からすれば、一般に、内部符号化は、相互間符号化に比べてコスト高なので、一度にフレーム全体を内部符号化することは避けるべきである。
【０１２４】
デコーダは、シーケンスの開始の時点で、画像内更新要求の応答として画像のリフレッシュを予想する。本発明に従った方法においては、画像内全体ではなく、漸進的デコーダ・リフレッシュ周期を信号とし、符号化することができる。要望する場合には、このリフレッシュ周期中に部分的に更新される画像を見ることができる。この画像は視覚的に快適なものであるかもしれない。
【０１２５】
画像内全体の代わりに漸進的デコーダ・リフレッシュを使用することによって、ビットレートの変動が滑らかになり、端末間の伝送遅延が減少する。エンドユーザーは、セッションの初期化において画像がより速く表示されると感じる。受信画像が損なわれすぎている場合には、受信側の端末は遠端のエンコーダに画像内更新を要求する。このような場合、本発明が使用されると、エンドユーザーは画像表示速度の低下が軽減されたと感じる。
【０１２６】
漸進的量子化の精細化および漸進的解像度の精細化に比べて、本発明の方法は、画像内更新要求に対する応答としてより安定した画質を提供する。このように安定した画質は、一般に不快さが少ないと見なされる。
【０１２７】
本発明の主な利点は、空間的および時間的なエラー伝播を完全に停止させることである。このような特徴は、基準画像選択、ループ・フィルタリングおよび端数ピクセル補間を伴うＪＶＴ設計等の複雑な符号化法においてこれまでは得ることができなかった。
【０１２８】
このように、上記に開示されている方法は、予め定められた高信頼マクロブロック更新パターンを伴うエラー認識符号化法として使用することができる。予め定められたパターン・アルゴリズムにおいてフレーム当たりで更新されるマクロブロックの数は、選択される条件に応じて変わることが可能であるが、更新されるマクロブロックの順序は同じままであることに留意しなければならない。したがって、この方法は、同時に２つの利点を有する。すなわち、内部符号化によってエラー伝播を停止させながら、完全なランダム・アクセスの可能性を提供する。
【０１２９】
この方法は、他の領域よりも優れたエラー保護を有する高信頼領域を伝送することを可能にする。したがって、この方法は、この種のトランスポート優先順位付けが不可能な内部更新方法による従来の符号化よりも機能が優れている。高信頼領域は、伝送エラーに対して残りの符号化データよりも優れた保護を受けることができる。実際に、フォワード・エラー符号化等のより多くの冗長性を高信頼領域に適用することが可能である。代替的に、標準的なビデオ・データ伝送に使用されるチャネルより高いサービスの質（ＱｏＳ）を保証するチャネルを経由して、高信頼領域を送信することが可能である。ユニキャスト・ストリーミング（unicast streaming ）においては、サーバーは、漸進的ランダム・アクセス・ポジションからストリーミングを開始するよう要求されると、非信頼性領域（バックグラウンド・サブピクチャ）を全く伝送する必要がない。
【０１３０】
ニュース、映画予告編および音楽ビデオ等の多くのタイプのビデオ素材は、頻繁なシーン・カットを含む。時には、シーン・カットは唐突であるが、多くの場合、フェードまたはワイプ等の遷移が使用される。遷移における画像間の変化を表すためには動き補償は十分に強力な方法ではない場合があるので、シーン遷移の符号化は、圧縮効率の観点からして解消すべき問題である。
【０１３１】
シーン遷移は、例えば、突然の遷移、マスキング遷移、フェード遷移、および混成シーン遷移に分類することができる。突然の遷移は遷移期間がなく、２つの連続するシーンの内容が同時に存在する画像がないものである。マスキングがなされた遷移は、第２のシーンが空間的に徐々に第１のシーンから顕わになるものである。全ての画像は十分な強度で表示される。マスキングがなされたシーン遷移の符号化は、一般に、少なくとも１つのイントラ・フレームを含む。マスキングがなされたシーン遷移の例としては、ボックスイン、ボックスアウト、ワイプ、スプリットおよびディゾルブがある。フェード遷移は、２つのシーンの画像が半透明的に相互に上に置かれ、上にある画像の透明性が遷移期間で徐々に変化するものである。フェード遷移の例には、通常のクロスフェードおよびフェード・スルー・ブラック（ブラックからの遷移およびブラックへの遷移）がある。混成シーン遷移は、マスキング遷移およびフェード遷移の組み合わせである。
【０１３２】
本発明に従った方法はまた、シーン遷移、特にマスキングがなされたシーン遷移に適用される場合に利点をもたらす。本発明によって、画像内全体を符号化することなくランダムに遷移に対するアクセスを行うことができる。サブピクチャ・ベースの漸進的デコーダ・リフレッシュが使用中であり、ランダムに遷移に対するアクセスが行われる場合、遷移の第１のシーンの符号化データを送信したり、復号したり、表示したりする必要はない。さらに、マスキングがなされたシーン遷移は、突然のシーン変化が使用される場合よりも符号化ビデオ・ビットレートにおける変動が小さくなるように符号化することができる。
【０１３３】
ここでは、ビデオ・シーケンスへの漸進的デコーダ・リフレッシュ・ランダム・アクセス・ポイントを符号化するための方法が説明されている。具体的に言うと、この方法は、ビデオ・エンコーダにおいて行われる。ビデオ・エンコーダはそれ自体既知のビデオ・エンコーダでよい。使用されるビデオ・エンコーダは、例えば、ＩＴＵ−Ｔ勧告Ｈ．２６３またはＨ．２６Ｌに従ったビデオ・エンコーダとすることが可能である。この種のビデオ・エンコーダは、本発明に従って、少なくとも１つの内部符号化された符号化ブロックを含む第１の高信頼領域を決定し、かつ、この第１の高信頼領域と第１の高信頼領域外の符号化ブロックとの間に情報従属性が生じるのを防止するようにビデオ・シーケンスにおいてこの第１の高信頼領域を符号化するように構成される。
【０１３４】
これに対して、復号はビデオ・デコーダにおいて行われる。これはそれ自体既知のビデオ・デコーダでよい。使用されるビデオ・デコーダは、例えばＩＴＵ−Ｔ勧告Ｈ．２６３またはＨ．２６Ｌに従った低ビットレート・ビデオ・デコーダとすることが可能である。この種のデコーダは、本発明に従って、少なくとも１つの内部符号化された符号化ブロックを含むビデオ・シーケンスの第１の高信頼領域を決定する情報を受信し、かつ、上記第１の高信頼領域と第１の高信頼領域外の符号化ブロックの間に情報従属性が生じるのを防止するように上記のビデオ・シーケンスから第１の高信頼領域を復号するように構成される。
【０１３５】
ビデオ・ベースの電気通信システムの様々な部品、特に端末は、マルチメディア・ファイルの双方向転送、すなわちファイルの送受信を可能にする特性を含むことが可能である。これによって、エンコーダおよびデコーダを、エンコーダおよびデコーダ両方の機能を含むビデオ・コーデックとして実現することが可能である。
【０１３６】
上記のビデオ・エンコーダ、ビデオ・デコーダおよび端末における本発明の機能的な要素は、ソフトウェア、ハードウェアまたはその組み合わせとして有利に実施され得る点に注意すべきである。本発明の符号化および復号の方法は、特に、本発明の機能上のステップを実施するためのコンピュータ読み取り可能なコマンドを含むコンピュータ・ソフトウェアとして実施されることに非常に適している。エンコーダおよびデコーダは、記憶手段に記憶されかつパーソナル・コンピュータ（ＰＣ）または移動局等のコンピュータ様の装置によって符号化／復号機能を果たすために上記の装置によって実行可能なソフトウェア・コードとして実施されることが好ましい。
【０１３７】
図６は、本発明の好ましい実施態様に係る移動通信装置ＭＳのブロック図を示している。移動通信装置において、主制御装置ＭＣＵは、移動通信装置の各種の機能を担当するブロック、すなわちランダム・アクセス・メモリＲＡＭ、無線周波数部品ＲＦ、読み出し専用メモリＲＯＭ、ビデオ・コーデックＣＯＤＥＣおよびユーザー・インターフェイスＵＩを制御する。ユーザー・インターフェイスは、キーボードＫＢ、ディスプレイＤＰ、スピーカＳＰおよびマイクロフォンＭＦを含む。ＭＣＵは、マイクロプロセッサであるか、または代替的な実施態様においては、その他の種類のプロセッサ、例えばデジタル信号プロセッサである。ＭＣＵの動作命令は前もってＲＯＭに記憶されていると有利である。この動作命令（すなわち、コンピュータ・プログラム）に従って、ＭＣＵは、無線経路（ＡＥＲ）を経由してデータを送受信するためにＲＦブロックを使用する。ビデオ・コーデックＣＯＤＥＣは、ハードウェア・ベースであっても、または完全にまたは部分的にソフトウェア（ＳＷ）・ベースであってもよく、この場合にはビデオ・コーデックＣＯＤＥＣは、必要に応じてビデオ符号化および復号を実施するためにＭＣＵを制御するためのコンピュータ・プログラムを含む。ＭＣＵは、そのワーキング・メモリとしてＲＡＭを使用する。移動通信装置は、ビデオ・カメラ（図６のカメラ）によって運動画像を取り込み、ＭＣＵ、ＲＡＭおよびＣＯＤＥＣベースのソフトウェアを用いて運動画像を符号化し、パケット化することができる。その後、ＲＦブロックを用いて、符号化されたビデオを相手と交換する。
【０１３８】
図７は、複数の移動通信装置ＭＳ、移動通信網７１、インターネット７２、ビデオ・サーバー７３およびインターネットに接続される固定ＰＣを含む画像通信システム７０を示している。ビデオ・サーバーは、ビデオ・エンコーダを有し、天気予報またはニュース等のオンデマンド・ビデオ・ストリームを提供することが可能である。
【０１３９】
本発明の好ましい実施態様は、領域ベースの符号化構造に基づいている。
【０１４０】
本発明はまた、ビデオ・シーケンスを含むビデオ信号として実施され得る。ビデオ・シーケンスは、複数のビデオ・フレームから構成され、少なくとも１つのビデオ・フレームは１組の符号化ブロックに分割され、この符号化ブロックのうち少なくとも１つは内部符号化によって符号化される。このビデオ信号は、さらに、ビデオ・シーケンスの第１の高信頼領域を決定する情報を含み、この高信頼領域は少なくとも１つの内部符号化された符号化ブロックを含む。上記のビデオ信号は、さらに、第１の高信頼領域と第１の高信頼領域外の符号化ブロックとの間に情報従属性が生じるのを防止するように上記ビデオ・シーケンスから第１の高信頼領域を復号するための情報を含む。上記のビデオ信号は、リアルタイム伝送信号とするか、または、大容量メモリもしくはプレイバック・ビデオ・ディスク等の媒体を使用するコンピュータ読み取り可能なキャリアに記憶することが可能である。
【０１４１】
当業者には、技術の進歩につれて、本発明の基本概念を多様な方法で実施することが可能であることが明らかであろう。したがって、本発明およびその実施態様は、上記の例に限定されるものではなく、本願の特許請求の範囲内で変化し得る。
【図１】
2010136428.tif 000004
【図５】
2010136428.tif 000005
【図６】
2010136428.tif 000006
【図７】
2010136428.tif 000007
【図２】
2010136428.tif 000008
【図３】
2010136428.tif 000009
【図４】
2010136428.tif 000010
【手続補正書】
【提出日】平成22年2月9日(2010.2.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
デジタル画像内の領域のサイズ、形状および位置を示す方法であって、前記デジタル画像は、１組のブロックに分割されており、前記方法は、
少なくとも１つのスライスからなる前記領域内のいくつかのブロックを示すための少なくとも１つのサイズパラメータの値を定義するステップと、
前記領域内で当該ブロックが選択される順番を示すための少なくとも１つの形状進化パラメータの値を選択するステップと、
を有することを特徴とする、デジタル画像内の領域のサイズ、形状および位置を示す方法。
【請求項２】
前記デジタル画像内の前記領域のサイズ、形状および位置を示すために、前記少なくとも１つのサイズパラメータおよび前記少なくとも１つの形状進化パラメータの値を符号化してビデオ・シーケンスのビットストリームを生成するステップを有することを特徴とする、請求項１に記載の方法。
【請求項３】
前記デジタル画像のパラメータ・セット内に、前記少なくとも１つの形状進化パラメータの値を含むステップを有することを特徴とする、請求項１または２に記載の方法。
【請求項４】
前記少なくとも１つのサイズパラメータは、サイズ変化率パラメータ（ＧＲＩＲ）およびサイズ変化の連続番号パラメータ（ＳＮＩＲ）を含むことを特徴とする、請求項１から３のいずれか一項に記載の方法。
【請求項５】
前記サイズ変化率パラメータの値および前記サイズ変化の連続番号パラメータの値の少なくとも１つに基づいて、前記領域内の符号化ブロックの数を決定するステップを有することを特徴とする、請求項４に記載の方法。
【請求項６】
前記デジタル画像のパラメータ・セット内に、前記サイズ変化率パラメータの値を含むステップと、
前記領域に属するスライス・ヘッダにおいて前記サイズ変化の連続番号パラメータの値を含むステップと、
を有することを特徴とする、請求項４または５に記載の方法。
【請求項７】
前記形状進化パラメータの値に基づいて、前記領域内の前記ブロックの位置を決定するステップを有することを特徴とする、請求項１から６のいずれか一項に記載の方法。
【請求項８】
ラスタ走査、逆ラスタ走査、右回りボックスアウト、左回りボックスアウト、左ワイプ、および右ワイプの少なくとも１つから、前記少なくとも１つの形状進化パラメータの値を選択するステップを有することを特徴とする、請求項１から７のいずれか一項に記載の方法。
【請求項９】
前記ブロックを前記領域内で走査の順番に従って選択し、前記少なくとも１つのスライスに入れることを特徴とする、請求項１から８のいずれか一項に記載の方法。
【請求項１０】
前記少なくとも１つのスライスは、本質的に前記領域の境界内だけに予測依存性を有することを特徴とする請求項９に記載の方法。
【請求項１１】
デジタル画像を符号化してビットストリームを生成するためのエンコーダであって、該エンコーダは、少なくとも１つの画像を１組のブロックに分割するように構成され、前記エンコーダは、さらに、
前記画像内で、少なくとも１つのスライスからなる領域を決定し、
前記領域内のいくつかのブロックを示すための少なくとも１つのサイズパラメータの値を定義し、
前記領域内で当該ブロックが選択される順番を示すための少なくとも１つの形状進化パラメータの値を選択し、
前記デジタル画像内の前記領域のサイズ、形状および位置を示すために、前記少なくとも１つのサイズパラメータおよび前記少なくとも１つの形状進化パラメータの値を符号化して前記ビットストリームを生成するように構成されることを特徴とするエンコーダ。
【請求項１２】
前記エンコーダは、さらに、前記デジタル画像のパラメータ・セット内に、前記少なくとも１つの形状進化パラメータの値を含むように構成されることを特徴とする、請求項１１に記載のエンコーダ。
【請求項１３】
前記少なくとも１つのサイズパラメータは、サイズ変化率パラメータ（ＧＲＩＲ）およびサイズ変化の連続番号パラメータ（ＳＮＩＲ）を含むことを特徴とする、請求項１１または１２に記載のエンコーダ。
【請求項１４】
前記エンコーダは、さらに、
前記デジタル画像のパラメータ・セット内に、前記サイズ変化率パラメータの値を含み、
前記領域に属するスライス・ヘッダにおいて前記サイズ変化の連続番号パラメータの値を含むように構成されることを特徴とする、請求項１３に記載のエンコーダ。
【請求項１５】
前記エンコーダは、さらに、ラスタ走査、逆ラスタ走査、右回りボックスアウト、左回りボックスアウト、左ワイプ、および右ワイプの少なくとも１つから、前記少なくとも１つの形状進化パラメータの値を選択するように構成されることを特徴とする、請求項１１から１４のいずれか一項に記載のエンコーダ。
【請求項１６】
前記エンコーダは、前記領域内で走査の順番に従って前記ブロックを選択し、前記少なくとも１つのスライスに入れるように構成されることを特徴とする、請求項１１から１５のいずれか一項に記載のエンコーダ。
【請求項１７】
前記少なくとも１つのスライスは、本質的に前記領域の境界内だけに予測依存性を有することを特徴とする請求項１６に記載のエンコーダ。
【請求項１８】
デジタル画像を符号化してビットストリームを生成するためのコンピュータ・プログラムを記憶するコンピュータ可読記憶媒体であって、該コンピュータ・プログラムは、データ処理装置にて実行可能な少なくとも１つの画像を１組のブロックに分割するためのコンピュータ・プログラムコードを備えており、前記コンピュータ・プログラムは、さらに、データ処理装置にて実行可能な
前記画像内で少なくとも１つのスライスからなる領域を決定するためのコンピュータ・プログラムコードと、
前記領域内のいくつかのブロックを示すための少なくとも１つのサイズパラメータの値を定義するためのコンピュータ・プログラムコードと、
前記領域内で当該ブロックが選択される順番を示すための少なくとも１つの形状進化の値を選択するためのコンピュータ・プログラムコードと、
前記デジタル画像内の前記領域のサイズ、形状および位置を示すために、前記少なくとも１つのサイズパラメータおよび前記少なくとも１つの形状進化パラメータの値を符号化して前記ビットストリームを生成するためのコンピュータ・プログラムコードと、
を有することを特徴とするコンピュータ可読記憶媒体。
【請求項１９】
少なくとも１つの符号化されたデジタル画像を含むビットストリームを復号化するためのデコーダであって、前記少なくとも１つの符号化されたデジタル画像は、１組の符号化ブロックに分割されており、前記デコーダは、
前記ビットストリームから、前記デジタル画像内の領域でのいくつかの符号化ブロックを示すための少なくとも１つのサイズパラメータの値と、少なくとも１つのスライスにグループ化された前記領域内の前記符号化ブロックと、前記領域内で当該符号化ブロックが選択される順番を示すための少なくとも１つの形状進化パラメータの値とをデコードし、
前記サイズパラメータの値および前記形状進化パラメータの値に基づいて、前記デジタル画像内の前記領域のサイズ、形状および位置を決定し、
前記少なくとも１つのサイズ、形状および位置に従って、前記領域をデコードするように構成されることを特徴とするデコーダ。
【請求項２０】
前記デコーダは、前記デジタル画像のパラメータ・セットから、前記少なくとも１つの形状進化パラメータの値をデコードするように構成されることを特徴とする、請求項１９に記載のデコーダ。
【請求項２１】
前記少なくとも１つのサイズパラメータは、サイズ変化率パラメータ（ＧＲＩＲ）およびサイズ変化の連続番号パラメータ（ＳＮＩＲ）を含むことを特徴とする、請求項１９または２０に記載のデコーダ。
【請求項２２】
前記デコーダは、前記サイズ変化率パラメータの値および前記サイズ変化の連続番号パラメータの値の少なくとも１つに基づいて、前記領域内の符号化ブロックの数を決定するように構成されることを特徴とする、請求項２１に記載のデコーダ。
【請求項２３】
前記デコーダは、さらに、
前記デジタル画像のパラメータ・セットから、前記サイズ変化率パラメータの値をデコードし、
前記領域に属するスライス・ヘッダから、前記サイズ変化の連続番号パラメータの値をデコードするように構成されることを特徴とする、請求項２１または２２に記載のデコーダ。
【請求項２４】
前記デコーダは、前記形状進化パラメータの値に基づいて、復号ブロックの位置を決定するように構成されることを特徴とする、請求項１９から２３のいずれか一項に記載のデコーダ。
【請求項２５】
前記少なくとも１つの形状進化パラメータの値は、ラスタ走査、逆ラスタ走査、右回りボックスアウト、左回りボックスアウト、左ワイプ、および右ワイプの少なくとも１つであることを特徴とする、請求項１９から２４のいずれか一項に記載のデコーダ。
【請求項２６】
前記デコーダは、前記符号化ブロックをデコードして前記領域内で走査の順番に従って配置された前記復号ブロックに入れるように構成されることを特徴とする、請求項１９から２５のいずれか一項に記載のデコーダ。
【請求項２７】
前記少なくとも１つのスライスは、本質的に前記領域の境界内だけに予測依存性を有することを特徴とする請求項２６に記載のデコーダ。
【請求項２８】
少なくとも１つの符号化されたデジタル画像を含むビットストリームを復号するためのコンピュータ・プログラムを記憶するコンピュータ可読記憶媒体であって、前記少なくとも１つの符号化されたデジタル画像は、１組の符号化ブロックに分割されており、前記コンピュータ・プログラムは、データ処理装置にて実行可能な
前記ビットストリームから、前記デジタル画像内の領域でのいくつかの符号化ブロックを示すための少なくとも１つのサイズパラメータの値と、少なくとも１つのスライスにグループ化された前記領域内の前記符号化ブロックと、前記領域内で当該符号化ブロックが選択される順番を示すための少なくとも一つの形状進化パラメータの値とをデコードするためのコンピュータ・プログラムコードと、
前記サイズパラメータの値および前記形状進化パラメータの値に基づいて、前記デジタル画像内の前記領域のサイズ、形状および位置を決定するためのコンピュータ・プログラムコードと、
前記少なくとも１つのサイズ、形状および位置に従って、前記領域をデコードするためのコンピュータ・プログラムコードと、
を有することを特徴とするコンピュータ可読記憶媒体。