(57)【特許請求の範囲】
【請求項１】
画像グループを表す予測符号化オブジェクトベース画像信号を、前記画像グループを表す予測符号化ブロックベース画像信号にトランスコーディングする方法であって、
符号化シーン記述子および符号化オブジェクト記述子を前記予測符号化オブジェクトベース画像信号から抽出し、前記符号化シーン記述子を復号化してシーン記述子を生成するステップと、
前記予測符号化オブジェクトベース画像信号の、実際に可視のオブジェクト、または後に符号化される画像中の可視のオブジェクトを予測するために使用されるオブジェクトを表す部分のみが復号化されるように、符号化オブジェクト記述子を部分的に復号化して前記符号化オブジェクト記述子の符号化を記述する符号化情報を抽出し、それぞれの、部分的に復号化されたオブジェクト記述子を生成するステップと、
前記シーン記述子に応答して、前記部分的に復号化されたオブジェクト記述子から、前記画像の１つを現画像として表す、部分的に符号化されたブロックベース画像信号のフレームを生成するステップと、
符号化情報の少なくとも一部に応答して、前記部分的に符号化されたブロックベース画像信号を一様な符号化状態に予測符号化することにより、前記現画像を表す予測符号化ブロックベース画像信号のフレームを生成するステップと、を含む、方法。
【請求項２】
前記部分的に符号化されたブロックベース画像信号のフレームを生成するステップは、符号化情報から、ブロックごとに、ブロックに現れる各オブジェクト、ブロックに現れる各オブジェクトのタイル、および各タイルの符号化パラメータを識別する、前記現画像の可視性および符号化テーブルを生成するステップを含み、 前記予測符号化ブロックベース画像信号のフレームを生成する際、前記部分的に符号化されたブロックベース画像信号は、前記可視性および符号化テーブルに含まれる符号化情報に応答して予測符号化される、請求項１記載の方法。
【請求項３】
前記符号化情報は、前記オブジェクトが予測符号化されたか、それとも非予測符号化されたかを示す情報、前記オブジェクトの動き記述子、前記オブジェクトによる前記ブロックの占有率、前記オブジェクトの可視性を示す情報、および前記オブジェクトが部分的に復号化された復号化状態からなる群から選択される情報を含む、請求項２記載の方法。
【請求項４】
前記可視性および符号化テーブルを生成するステップは、前記現画像がブロックベース符号化のために分割される各ブロックについてエントリを含む可視性および符号化テーブルを生成し、前記エントリは、前記ブロックに現れる前記オブジェクトそれぞれについての符号化情報を含む、請求項２記載の方法。
【請求項５】
前記部分的に符号化されたブロックベース画像信号のフレームを生成するステップは、前記現画像がブロックベース符号化のために分割される各ブロックに現れる前記オブジェクトを識別するステップを含む、請求項１記載の方法。
【請求項６】
前記部分的に符号化されたブロックベース画像信号を予測符号化するステップは、 動きベクトルを使用して、前記部分的に符号化されたブロックベース画像信号のブロックを予測符号化するステップと、前記動きベクトルを前記ブロックに現れるオブジェクトの動き記述子に基づかせるステップと、を含む、請求項１記載の方法。
【請求項７】
前記現画像がブロックベース符号化のために分割される前記ブロックの１つを現ブロックとして採用し、該現ブロックがすべてインター／すべて内部／すべて可視のブロックであるかを判定するステップと、 前記現ブロックがすべてインター／すべて内部／すべて可視のブロックである場合、前記現ブロックに現れる前記オブジェクトそれぞれの前記動き記述子を前記現ブロックの前記動きベクトルとして使用して、前記現ブロックを符号化するコストを決定するステップと、 前記符号化コストが所定のコストよりも低い場合、前記動き記述子の１つを前記動きベクトルとして使用して前記現ブロックを符号化するステップと、をさらに含む、請求項６記載の方法。
【請求項８】
前記符号化コストが前記所定のコストよりも高い場合、 前記現ブロックについて追加動きベクトルを生成するステップと、 前記追加動きベクトルそれぞれを前記動きベクトルとして使用して、前記現ブロックの符号化コストを決定するステップと、 前記符号化コストが所定のコストよりも低い場合、前記追加動きベクトルの１つを前記動きベクトルとして使用して前記現ブロックを符号化するステップと、 そうではない場合、前記現ブロックを非予測符号化するステップと、をさらに含む、請求項７記載の方法。
【請求項９】
オブジェクトは、オブジェクトベース符号化のためにタイルに分割され、 前記現画像は、参照画像を使用して予測符号化される請求項１記載の方法であって、 前記現画像がブロックベース符号化のために分割されるブロックの１つのブロックであって、少なくとも１つのオブジェクトの少なくとも１つのタイルが現れるブロックを現ブロックとして採用するステップと、 前記現ブロックに現れる前記オブジェクトすべての前記タイルすべてが第１の条件として非予測符号化されているかどうかを判定するステップと、 前記現ブロックに現れる前記オブジェクトすべての前記タイルすべてが、前記参照画像に第２の条件として隠れている参照タイルを使用して予測符号化されるかどうかを判定するステップと、 前記第１の条件および前記第２の条件の少なくとも一方を満たす場合、前記現ブロックについて追加動きベクトルを生成し、前記追加動きベクトルが前現ブロックの符号化に使用可能であるかどうかをテストするステップと、 前記部分的に符号化されたブロックベース画像信号を一様な符号化状態に予測符号化する際、前記追加動きベクトルが使用可能である場合、前記現ブロックは前記追加動きベクトルを使用して予測符号化され、前記追加動きベクトルが使用不可能である場合、前記現ブロックは非予測符号化されるステップと、をさらに含む、方法。
【請求項１０】
オブジェクトは、オブジェクトベース符号化のためにタイルに分割され、 前記現画像は、提示順序において先行する参照画像および後続する参照画像を使用して、Ｂピクチャとして予測符号化され、前記現画像がブロックベース符号化のために分割されるブロックの１つのブロックであって、少なくとも１つのオブジェクトの少なくとも１つのタイルが現れるブロックを現ブロックとして採用するステップと、 前記現ブロックに現れるすべてのオブジェクトのすべてのタイルがいつ、前記参照画像の１つのみに隠れている参照タイルを使用して予測符号化されるかを符号化情報から条件として決定するステップと、 前記条件が満たされる場合、前記現ブロックを符号化する予測モードを、前記現ブロックが、前記参照画像のその他において可視の参照タイルを使用して符号化される符号化モードに変更するステップと、をさらに含む、請求項１記載の方法。
【請求項１１】
前記現ブロックに現れる前記オブジェクトすべての前記タイルが、前記後続する参照画像にだけ隠れている参照タイルを使用して予測符号化される場合、前記予測モードを変更するステップは、 前記現ブロックの前記符号化モードを逆方向および双方向の一方から順方向に変更するステップと、 前記オブジェクトが元々逆方向予測を使用して符号化されていた場合、前記後続する参照画像を参照する前記動きベクトルを前記先行する参照画像に外挿することにより、前記現ブロックに新しい動きベクトルを生成するステップと、前記オブジェクトが元々双方向予測を使用して符号化されていた場合、前記先行する参照画像を参照する動きベクトルのみを採用することにより、前記現ブロックに新しい動きベクトルを生成するステップと、前記新しい動きベクトルを使用する順方向予測を用いて前記現ブロックを符号化するステップと、を含み、 前記現ブロックに現れる前記オブジェクトすべての前記タイルが、前記先行する参照画像にだけ隠れている参照タイルを使用して予測符号化される場合、前記予測モードを変更するステップは、前記現ブロックの前記符号化モードを順方向および双方向の一方から逆方向に変更するステップと、前記オブジェクトが元々順方向予測を使用して符号化されていた場合、前記先行する参照画像を参照する前記動きベクトルを前記後続する参照画像に外挿することにより、前記現ブロックに新しい動きベクトルを生成するステップと、前記オブジェクトが元々双方向予測を使用して符号化されていた場合、前記後続する参照画像を参照する動きベクトルのみを採用することにより、前記現ブロックに新しい動きベクトルを生成するステップと、前記新しい動きベクトルを使用する逆方向予測を用いて前記現ブロックを符号化するステップと、を含む、請求項１０記載の方法。
【請求項１２】
オブジェクトは、オブジェクトベース符号化のためにタイルに分割され、 前記現画像は、提示順序において先行する参照画像を使用して、Ｐピクチャとして予測符号化され、 前記現画像がブロックベース符号化のために分割されるブロックの１つのブロックであって、少なくとも１つのオブジェクトの少なくとも１つのタイルが現れるブロックを現ブロックとして採用するステップと、 前記現ブロックに現れるすべてのオブジェクトのすべてのタイルがいつ、前記先行する参照画像に隠れている参照タイルを使用して予測符号化されるかを符号化情報から条件として決定するステップと、前記条件が満たされる場合、 前記現ブロックの符号化を、前記現ブロックが、前記画像のうち別のものにおいて可視の新しい参照タイルを使用して符号化される予測モードに変更するステップと、前記新しい参照タイルに関して前記現ブロックを符号化するための動きベクトルを生成するステップと、をさらに含む、請求項１記載の方法。
【請求項１３】
前記現画像において可視の前記オブジェクトのみの前記符号化オブジェクト記述子を部分的に復号化するよう選択するステップをさらに含む、請求項１記載の方法。
【請求項１４】
前記現画像において可視ではないが、後に符号化される画像に現れる前記オブジェクトのインスタンスを復号化する必要があるオブジェクトの前記符号化オブジェクト記述子を部分的に復号化するよう選択するステップをさらに含む、請求項１３記載の方法。
【請求項１５】
前記符号化オブジェクト記述子を選択するステップは、 前記シーン記述子に応答してオブジェクト可視性テーブルを生成するステップと、 前記オブジェクト可視性テーブルに応答して前記符号化オブジェクト記述子を選択するステップと、を含む、請求項１３記載の方法。
【請求項１６】
前記オブジェクトのうちの１つの部分が前記画像において可視であり、 前記符号化オブジェクト記述子を選択する際、前記画像において可視の前記オブジェクトのうちの前記１つの前記部分に対応する前記符号化オブジェクト記述子の一部のみが、部分復号化のために選択される、請求項１３記載の方法。
【請求項１７】
前記予測符号化オブジェクトベース画像信号は、Ｉ、Ｐ、およびＢ符号化オブジェクトのシーケンスで構成され、 前記予測符号化ブロックベース画像信号のフレームを生成する際、前記予測符号化ブロックベース画像信号は、前記予測符号化オブジェクトベース画像信号におけるＩ、Ｐ、およびＢ符号化オブジェクトのシーケンスとは異なるＩピクチャ、Ｐピクチャ、およびＢピクチャのシーケンスを使用して生成される、請求項１記載の方法。
【請求項１８】
前記予測符号化オブジェクトベース画像信号は、フレームレート、空間解像度、およびビットレートを含む符号化属性を有し、 前記予測符号化ブロックベース画像信号のフレームを生成する際、前記予測符号化ブロックベース画像信号は、前記予測符号化オブジェクトベース画像信号の符号化属性とは異なる符号化属性を使用して生成される、請求項１記載の方法。
【請求項１９】
画像グループを表す予測符号化オブジェクトベース画像信号を、前記画像グループを表す予測符号化ブロックベース画像信号にトランスコーディングするトランスコーダであって、 パーシャルデコーダであって、 符号化シーン記述子および符号化オブジェクト記述子を、前記予測符号化オブジェクトベース画像信号から抽出するデマルチプレクサ、 前記符号化シーン記述子を復号化してシーン記述子を生成するシーン記述子デコーダ、および前記予測符号化オブジェクトベース画像信号の、実際に可視のオブジェクト、または後に符号化される画像中の可視のオブジェクトを予測するために使用されるオブジェクトを表す部分のみが復号化されるように、前記符号化オブジェクト記述子を部分的に復号化して、各部分復号化オブジェクト記述子を生成し、かつ前記符号化オブジェクト記述子の符号化を記述する符号化情報を抽出するオブジェクト記述子デコーダ、を含む、パーシャルデコーダと、 前記シーン記述子に応答して動作して、前記部分復号化オブジェクト記述子から、前記画像の１つを現画像として表す、部分的に符号化されたブロックベース画像信号のフレームを生成するブロックベース画像信号生成器と、 前記符号化情報の少なくとも一部に応答して、前記部分的に符号化されたブロックベース画像信号を一様な符号化状態に予測符号化することにより、前記現画像を表す前記予測符号化ブロックベース画像信号のフレームを生成するように構成されるパーシャルエンコーダと、を備える、トランスコーダ。
【請求項２０】
前記現画像からの前記符号化情報を格納する可視性および符号化テーブルをさらに備え、 前記パーシャルエンコーダは、前記可視性および符号化テーブルに格納される前記符号化情報に応答して、前記部分的に符号化されたブロックベース画像信号を符号化する、請求項１９記載のトランスコーダ。
【請求項２１】
前記ブロックベース画像信号生成器は、前記現画像がブロックベース符号化のために分割される各ブロックに現れる前記オブジェクトを識別するように構成される、請求項１９記載のトランスコーダ。
【請求項２２】
前記パーシャルエンコーダは、 動きベクトルを使用して前記部分的に符号化されたブロックベース画像信号のブロックを符号化する変数コーダと、 前記ブロックに現れるオブジェクトの動き記述子に基づいて、前記動きベクトルを生成する符号化モードモジュールと、を備える、請求項１９記載のトランスコーダ。
【請求項２３】
前記デマルチプレクサは、前記現画像において可視の前記オブジェクトのみの前記符号化オブジェクト記述子を部分的に復号化するために、前記オブジェクト記述子をデコーダに供給するように選択するように構成される、請求項１９記載のトランスコーダ。
【請求項２４】
前記デマルチプレクサは、さらに、前記現画像において不可視であるが、後に符号化される画像に現れる前記オブジェクトのインスタンスを復号化するために必要な前記符号化オブジェクト記述子を、前記オブジェクト記述子デコーダに供給するよう選択するように構成される、請求項２３記載のトランスコーダ。
【請求項２５】
前記パーシャルデコーダは、オブジェクト可視性テーブルを含み、 前記デマルチプレクサは、前記オブジェクト可視性テーブルに応答して、前記オブジェクト記述子デコーダに供給する前記符号化オブジェクト記述子を選択するように構成される、請求項２３記載のトランスコーダ。
【請求項２６】
前記オブジェクトの１つの部分は前記画像において可視であり、 前記デマルチプレクサは、前記オブジェクト記述子デコーダに供給するために、前記画像において可視である前記オブジェクトのうちの１つの部分に対応する前記符号化オブジェクト記述子の一部のみを選択するように構成される、請求項２３記載のトランスコーダ。
【請求項２７】
画像グループを表す予測符号化オブジェクトベース画像信号を、前記画像グループを表す予測符号化ブロックベース画像信号にトランスコーディングするトランスコーディング方法を実行するようにコンピュータに命令するコンピュータプログラムが格納されたコンピュータ読み取り可能媒体であって、前記トランスコーディング方法は、符号化シーン記述子および符号化オブジェクト記述子を前記予測符号化オブジェクトベース画像信号から抽出し、前記符号化シーン記述子を復号化してシーン記述子を生成するステップと、前記予測符号化オブジェクトベース画像信号の、実際に可視のオブジェクト、または後に符号化される画像中の可視のオブジェクトを予測するために使用されるオブジェクトを表す部分のみが復号化されるように、符号化オブジェクト記述子を部分的に復号化して前記符号化オブジェクト記述子の符号化を記述する符号化情報を抽出し、各部分復号化オブジェクト記述子を生成するステップと、 前記シーン記述子に応答して、前記部分復号化オブジェクト記述子から、前記画像の１つを現画像として表す、部分的に符号化されたブロックベース画像信号のフレームを生成するステップと、符号化情報の少なくとも一部に応答して、前記部分的に符号化されたブロックベース画像信号を一様な符号化状態に予測符号化することにより、前記現画像を表す予測符号化ブロックベース画像信号のフレームを生成するステップと、を含む、コンピュータ読み取り可能媒体。
【請求項２８】
前記トランスコーディング方法において、 前記部分的に符号化されたブロックベース画像信号のフレームを生成するステップは、符号化情報から、ブロックごとに、ブロックに現れる各オブジェクト、ブロックに現れる各オブジェクトのタイル、および各タイルの符号化パラメータを識別する、前記現画像の可視性および符号化テーブルを生成するステップを含み、前記予測符号化ブロックベース画像信号のフレームを生成する際、前記部分的に符号化されたブロックベース画像信号は、可視性および符号化テーブルに含まれる符号化情報に応答して予測符号化される、請求項２７記載のコンピュータ読み取り可能媒体。
【請求項２９】
前記トランスコーディング方法において、前記部分的に符号化されたブロックベース画像信号のフレームを生成するステップは、前記現画像がブロックベース符号化のために分割される各ブロックに現れる前記オブジェクトを識別するステップを含む、請求項２７記載のコンピュータ読み取り可能媒体。
【請求項３０】
前記トランスコーディング方法において、前記部分的に符号化されたブロックベース画像信号を予測符号化するステップは、 動きベクトルを使用して、前記部分的に符号化されたブロックベース画像信号のブロックを予測符号化するステップと、 前記ブロックに現れるオブジェクトの動き記述子に基づいて前記動きベクトルを作成するステップと、を含む、請求項２７記載のコンピュータ読み取り可能媒体。
【請求項３１】
前記トランスコーディング方法は、前記現画像において可視の前記オブジェクトのみの前記符号化オブジェクト記述子を部分的に復号化するように選択するステップをさらに含む、請求項２７記載のコンピュータ読み取り可能媒体。
【請求項３２】
前記トランスコーディング方法は、前記現画像において不可視であるが、後に符号化される画像に現れる前記オブジェクトのインスタンスを復号化するために必要なオブジェクトの前記符号化オブジェクト記述子を部分的に復号化するように選択するステップをさらに含む、請求項２７記載のコンピュータ読み取り可能媒体。
【請求項３３】
前記パーシャルエンコーダにおいて、前記部分的に符号化されたブロックベース画像信号を予測符号化する際に、 動きベクトルを使用して、前記部分的に符号化されたブロックベース画像信号のブロックが予測符号化され、前記動きベクトルが前記ブロックに現れるオブジェクトの動き記述子に基づかされ、
前記現画像がブロックベース符号化のために分割される前記ブロックの１つが現ブロックとして採用され、該現ブロックがすべてインター／すべて内部／すべて可視のブロックであるかが判定され、前記現ブロックがすべてインター／すべて内部／すべて可視のブロックである場合、前記現ブロックに現れる前記オブジェクトそれぞれの前記動き記述子を前記現ブロックの前記動きベクトルとして使用して、前記現ブロックを符号化するコストが決定され、前記符号化コストが所定のコストよりも低い場合、前記動き記述子の１つを前記動きベクトルとして使用して前記現ブロックが符号化される、請求項１９記載のトランスコーダ。
【請求項３４】
前記符号化コストが前記所定のコストよりも高い場合、 前記現ブロックについて追加動きベクトルが生成され、前記追加動きベクトルそれぞれを前記動きベクトルとして使用して、前記現ブロックの符号化コストが決定され、前記符号化コストが所定のコストよりも低い場合、前記追加動きベクトルの１つを前記動きベクトルとして使用して前記現ブロックを符号化され、 そうではない場合、前記現ブロックが非予測符号化される、請求項３３記載のトランスコーダ。
【請求項３５】
前記パーシャルエンコーダにおいて、オブジェクトは、オブジェクトベース符号化のためにタイルに分割され、 前記現画像は、参照画像を使用して予測符号化され、前記現画像がブロックベース符号化のために分割されるブロックの１つのブロックであって、少なくとも１つのオブジェクトの少なくとも１つのタイルが現れるブロックが現ブロックとして採用され、前記現ブロックに現れる前記オブジェクトすべての前記タイルすべてが第１の条件として非予測符号化されているかどうかが判定され、前記現ブロックに現れる前記オブジェクトすべての前記タイルすべてが、前記参照画像に第２の条件として隠れている参照タイルを使用して予測符号化されるかどうかが判定され、前記第１の条件および前記第２の条件の少なくとも一方を満たす場合、前記現ブロックについて追加動きベクトルが生成され、前記追加動きベクトルが前現ブロックの符号化に使用可能であるかどうかがテストされ、前記部分的に符号化されたブロックベース画像信号を一様な符号化状態に予測符号化する際、前記追加動きベクトルが使用可能である場合、前記現ブロックは前記追加動きベクトルを使用して予測符号化され、前記追加動きベクトルが使用不可能である場合、前記現ブロックは非予測符号化される、請求項１９記載のトランスコーダ。
【請求項３６】
前記パーシャルエンコーダにおいて、オブジェクトは、オブジェクトベース符号化のためにタイルに分割され、 前記現画像は、提示順序において先行する参照画像および後続する参照画像を使用して、Ｂピクチャとして予測符号化され、前記現画像がブロックベース符号化のために分割されるブロックの１つのブロックであって、少なくとも１つのオブジェクトの少なくとも１つのタイルが現れるブロックが現ブロックとして採用され、 前記現ブロックに現れるすべてのオブジェクトのすべてのタイルがいつ、前記参照画像の１つのみに隠れている参照タイルを使用して予測符号化されるかが符号化情報から条件として決定され、前記条件が満たされる場合、前記現ブロックを符号化する予測モードが、前記現ブロックが、前記参照画像のその他において可視の参照タイルを使用して符号化される符号化モードに変更される、請求項１９記載のトランスコーダ。
【請求項３７】
前記パーシャルエンコーダにおいて、前記現ブロックに現れる前記オブジェクトすべての前記タイルが、前記後続する参照画像にだけ隠れている参照タイルを使用して予測符号化される場合、前記予測モードを変更することは、前記現ブロックの前記符号化モードを逆方向および双方向の一方から順方向に変更することと、 前記オブジェクトが元々逆方向予測を使用して符号化されていた場合、前記後続する参照画像を参照する前記動きベクトルを前記先行する参照画像に外挿することにより、前記現ブロックに新しい動きベクトルを生成することと、前記オブジェクトが元々双方向予測を使用して符号化されていた場合、前記先行する参照画像を参照する動きベクトルのみを採用することにより、前記現ブロックに新しい動きベクトルを生成することと、前記新しい動きベクトルを使用する順方向予測を用いて前記現ブロックを符号化することと、を含み、前記現ブロックに現れる前記オブジェクトすべての前記タイルが、前記先行する参照画像にだけ隠れている参照タイルを使用して予測符号化される場合、前記予測モードを変更することは、前記現ブロックの前記符号化モードを順方向および双方向の一方から逆方向に変更することと、 前記オブジェクトが元々順方向予測を使用して符号化されていた場合、前記先行する参照画像を参照する前記動きベクトルを前記後続する参照画像に外挿することにより、前記現ブロックに新しい動きベクトルを生成することと、前記オブジェクトが元々双方向予測を使用して符号化されていた場合、前記後続する参照画像を参照する動きベクトルのみを採用することにより、前記現ブロックに新しい動きベクトルを生成することと、前記新しい動きベクトルを使用する逆方向予測を用いて前記現ブロックを符号化することと、を含む、請求項３６記載のトランスコーダ。
【請求項３８】
前記パーシャルエンコーダにおいて、前記オブジェクトは、オブジェクトベース符号化のためにタイルに分割され、前記現画像は、提示順序において先行する参照画像を使用して、Ｐピクチャとして予測符号化され、 前記現画像がブロックベース符号化のために分割されるブロックの１つのブロックであって、少なくとも１つのオブジェクトの少なくとも１つのタイルが現れるブロックが現ブロックとして採用され、 前記現ブロックに現れるすべてのオブジェクトのすべてのタイルがいつ、前記先行する参照画像に隠れている参照タイルを使用して予測符号化されるかが符号化情報から条件として決定され、前記条件が満たされる場合、 前記現ブロックの符号化が、前記現ブロックが、前記画像のうち別のものにおいて可視の新しい参照タイルを使用して符号化される予測モードに変更され、前記新しい参照タイルに関して前記現ブロックを符号化するための動きベクトルが生成される、請求項１９記載のトランスコーダ。
【請求項３９】
前記部分的に符号化されたブロックベース画像信号を予測符号化するステップは、動きベクトルを使用して、前記部分的に符号化されたブロックベース画像信号のブロックを予測符号化するステップと、前記動きベクトルを前記ブロックに現れるオブジェクトの動き記述子に基づかせるステップと、を含み、前記トランスコーディング方法は、
前記現画像がブロックベース符号化のために分割される前記ブロックの１つを現ブロックとして採用し、該現ブロックがすべてインター／すべて内部／すべて可視のブロックであるかを判定するステップと、 前記現ブロックがすべてインター／すべて内部／すべて可視のブロックである場合、前記現ブロックに現れる前記オブジェクトそれぞれの前記動き記述子を前記現ブロックの前記動きベクトルとして使用して、前記現ブロックを符号化するコストを決定するステップと、 前記符号化コストが所定のコストよりも低い場合、前記動き記述子の１つを前記動きベクトルとして使用して前記現ブロックを符号化するステップと、をさらに含む、請求項２７記載のコンピュータ読み取り可能媒体。
【請求項４０】
前記トランスコーディング方法は、前記符号化コストが前記所定のコストよりも高い場合、 前記現ブロックについて追加動きベクトルを生成するステップと、 前記追加動きベクトルそれぞれを前記動きベクトルとして使用して、前記現ブロックの符号化コストを決定するステップと、 前記符号化コストが所定のコストよりも低い場合、前記追加動きベクトルの１つを前記動きベクトルとして使用して前記現ブロックを符号化するステップと、 そうではない場合、前記現ブロックを非予測符号化するステップと、をさらに含む、請求項３９記載のコンピュータ読み取り可能媒体。
【請求項４１】
前記トランスコーディング方法において、オブジェクトは、オブジェクトベース符号化のためにタイルに分割され、前記現画像は、参照画像を使用して予測符号化され、前記トランスコーディング方法は、前記現画像がブロックベース符号化のために分割されるブロックの１つのブロックであって、少なくとも１つのオブジェクトの少なくとも１つのタイルが現れるブロックを現ブロックとして採用するステップと、前記現ブロックに現れる前記オブジェクトすべての前記タイルすべてが第１の条件として非予測符号化されているかどうかを判定するステップと、前記現ブロックに現れる前記オブジェクトすべての前記タイルすべてが、前記参照画像に第２の条件として隠れている参照タイルを使用して予測符号化されるかどうかを判定するステップと、前記第１の条件および前記第２の条件の少なくとも一方を満たす場合、前記現ブロックについて追加動きベクトルを生成し、前記追加動きベクトルが前現ブロックの符号化に使用可能であるかどうかをテストするステップと、前記部分的に符号化されたブロックベース画像信号を一様な符号化状態に予測符号化する際、前記追加動きベクトルが使用可能である場合、前記現ブロックは前記追加動きベクトルを使用して予測符号化され、前記追加動きベクトルが使用不可能である場合、前記現ブロックは非予測符号化されるステップと、をさらに含む、請求項２７記載のコンピュータ読み取り可能媒体。
【請求項４２】
前記トランスコーディング方法において、オブジェクトは、オブジェクトベース符号化のためにタイルに分割され、前記現画像は、提示順序において先行する参照画像および後続する参照画像を使用して、Ｂピクチャとして予測符号化され、前記トランスコーディング方法は、前記現画像がブロックベース符号化のために分割されるブロックの１つのブロックであって、少なくとも１つのオブジェクトの少なくとも１つのタイルが現れるブロックを現ブロックとして採用するステップと、 前記現ブロックに現れるすべてのオブジェクトのすべてのタイルがいつ、前記参照画像の１つのみに隠れている参照タイルを使用して予測符号化されるかを符号化情報から条件として決定するステップと、 前記条件が満たされる場合、前記現ブロックを符号化する予測モードを、前記現ブロックが、前記参照画像のその他において可視の参照タイルを使用して符号化される符号化モードに変更するステップと、をさらに含む、請求項２７記載のコンピュータ読み取り可能媒体。
【請求項４３】
前記トランスコーディング方法において、前記現ブロックに現れる前記オブジェクトすべての前記タイルが、前記後続する参照画像にだけ隠れている参照タイルを使用して予測符号化される場合、前記予測モードを変更するステップは、前記現ブロックの前記符号化モードを逆方向および双方向の一方から順方向に変更するステップと、前記オブジェクトが元々逆方向予測を使用して符号化されていた場合、前記後続する参照画像を参照する前記動きベクトルを前記先行する参照画像に外挿することにより、前記現ブロックに新しい動きベクトルを生成するステップと、前記オブジェクトが元々双方向予測を使用して符号化されていた場合、前記先行する参照画像を参照する動きベクトルのみを採用することにより、前記現ブロックに新しい動きベクトルを生成するステップと、前記新しい動きベクトルを使用する順方向予測を用いて前記現ブロックを符号化するステップと、を含み、 前記現ブロックに現れる前記オブジェクトすべての前記タイルが、前記先行する参照画像にだけ隠れている参照タイルを使用して予測符号化される場合、前記予測モードを変更するステップは、前記現ブロックの前記符号化モードを順方向および双方向の一方から逆方向に変更するステップと、 前記オブジェクトが元々順方向予測を使用して符号化されていた場合、前記先行する参照画像を参照する前記動きベクトルを前記後続する参照画像に外挿することにより、前記現ブロックに新しい動きベクトルを生成するステップと、前記オブジェクトが元々双方向予測を使用して符号化されていた場合、前記後続する参照画像を参照する動きベクトルのみを採用することにより、前記現ブロックに新しい動きベクトルを生成するステップと、前記新しい動きベクトルを使用する逆方向予測を用いて前記現ブロックを符号化するステップと、を含む、請求項４２記載のコンピュータ読み取り可能媒体。
【請求項４４】
前記トランスコーディング方法において、オブジェクトは、オブジェクトベース符号化のためにタイルに分割され、 前記現画像は、提示順序において先行する参照画像を使用して、Ｐピクチャとして予測符号化され、前記トランスコーディング方法は、前記現画像がブロックベース符号化のために分割されるブロックの１つのブロックであって、少なくとも１つのオブジェクトの少なくとも１つのタイルが現れるブロックを現ブロックとして採用するステップと、 前記現ブロックに現れるすべてのオブジェクトのすべてのタイルがいつ、前記先行する参照画像に隠れている参照タイルを使用して予測符号化されるかを符号化情報から条件として決定するステップと、前記条件が満たされる場合、 前記現ブロックの符号化を、前記現ブロックが、前記画像のうち別のものにおいて可視の新しい参照タイルを使用して符号化される予測モードに変更するステップと、前記新しい参照タイルに関して前記現ブロックを符号化するための動きベクトルを生成するステップと、をさらに含む、請求項２７記載のコンピュータ読み取り可能媒体。
【発明の詳細な説明】
【０００１】
（発明の分野）
本発明は、従来の画像信号よりも少ないビットを使用して画像グループを表す符号化信号に関し、特に、画像グループを表す予測符号化オブジェクトベース画像信号を、画像グループを表す予測符号化ブロックベース画像信号にトランスコーディングして、従来のブロックベース画像信号デコーダが予測符号化オブジェクトベース画像信号を復号化することができるようにするトランスコーディング方法およびトランスコーダに関する。
【０００２】
（発明の背景）
動画を電子的に表す画像信号を使用する通信が、信号符号化を使用してこのような信号を伝送し格納することができる効率の増大に伴い、広く普及しつつある。信号符号化は、伝送帯域および記憶容量に存在する多くの制限の克服に極めて重要である。ＭＰＥＧ−１、ＭＰＥＧ−２、ＩＴＵ  Ｈ．２６１、およびＩＴＵ  Ｈ．２６３等、普及し成功している画像信号符号化技術のほとんどは、元の画像信号にブロックベースの処理を施すことによって元の画像信号を符号化する。ブロックベースの処理では、動画の少なくとも一部をなす画像グループの各画像が、それぞれピクセル値を有する画素（ピクセル）のアレイ、たとえば６４０×４８０ピクセルのアレイとして表現される。画像のピクセル値は集合的に画像信号のフレームを構成する。各画像は、規則正しい大きさにされ配置される正方形または方形のピクセルブロックに区分けされる。次に、ブロック離散コサイン変換（ブロックＤＣＴ）等の処理が、画像を構成する各ピクセル値ブロックに対して個々に適用されて、画像を表す画像信号を符号化する。画像は、画像が表すオブジェクトのサイズおよび形状に関係なく、ブロックに区分けされる。
【０００３】
動画を表す画像信号は、各画像を表す画像信号のフレームを構成する各ピクセル値ブロックにブロックＤＣＴを適用することによって単純に符号化することができ、かつ符号化されるが、かかる画像信号に存在する相当な時間冗長性をなくすことで、符号化の効率は実質的に増大する。ＭＰＥＧ−１およびＭＰＥＧ−２などの符号化方式では、時間冗長性が、動き補償を伴う予測符号化を利用することによって実質的になくなる。かかる符号化の結果、画像信号は、現画像と参照画像、すなわち現画像の予測符号化のベースをなす画像との間の差のみを表す。本開示において、動画を表し、動き補償を使用して予測符号化された画像信号は、さらに空間符号化が施されているという了解の下で、予測符号化画像信号と呼ばれる。ＭＰＥＧ−１およびＭＰＥＧ−２等従来のブロックベースの符号化方式では、ブロックベースの動き予測およびブロックベースの動き補償が使用される。この様式で符号化される画像信号を、予測符号化ブロックベース画像信号と呼ぶことにする。
【０００４】
最近、シーン中に配列された多数のオブジェクトとして画像を表すオブジェクトベース画像信号を生成する技術が開発された。オブジェクトベース画像信号では、単一の静止画像であっても、また動画を構成する連続している静止画像のグループの１つであってもよい画像が、現行のブロックベース表現の規則正しい大きさにされ配置されるブロックとは異なり、任意の形状を有するオブジェクトに分解される。各オブジェクトは、画像信号の一部によって表される。
【０００５】
このようなオブジェクトベース画像信号を符号化する技術も提案されており、その最たる例は最近のＭＰＥＧ−４規格で具現されるものである。符号化オブジェクトベース画像信号では、空間符号化が、オブジェクトを表す各信号部分に適用される。オブジェクトベース画像信号が動画を表す場合、オブジェクトを表す各信号部分はさらに、たとえばオブジェクトベースの動き予測およびオブジェクトベースの動き補償を使用して予測符号化されて、符号化の効率を増大する。
【０００６】
任意の形状の可動オブジェクトを表す信号部分に画像を分解すると、ユーザの画像中のオブジェクトとのインタラクション、より大きなコンテンツ作成の柔軟性、および潜在的に向上した符号化効率および忠実度等、多数の新しいまたは強化された機能性を可能にする画像信号のより自然な分解が提供される。オブジェクトベース画像信号を使用して画像を表すことの利点は、特に、コンテンツ制作者にとって魅力のあるものと思われる。
【０００７】
オブジェクトベース画像信号は、符号化、操作、および配信のために、ＭＰＥＧ−４等オブジェクトベースの符号化技術を必要とする。しかし、符号化されたオブジェクトベース画像信号を復号化する必要のある、ＭＰＥＧ−４デコーダ等オブジェクトベースのデコーダは、本質的に、従来のブロックベースのＭＰＥＧ−１またはＭＰＥＧ−２デコーダよりも複雑である。さらに、ＤＶＤ、デジタルＴＶ、およびＨＤＴＶの普及により、ＭＰＥＧ−２デコーダが広く使用されている。したがって、すでにＭＰＥＧ−１またはＭＰＥＧ−２デコーダをすでに有し、かつオブジェクトベース画像信号が提供する追加機能性を欲しない、または工面できないユーザの場合、ＭＰＥＧ−４オブジェクトベース画像信号をＭＰＥＧ−１またはＭＰＥＧ−２ブロックベース画像信号にトランスコーディングする必要性が生じる。さらに、番組コンテンツは、オブジェクトベース画像信号を使用して制作することができるが、オブジェクトベースのコンテンツを、ＤＶＤ、衛星、および地上デジタルテレビにおいて使用されるＭＰＥＧ−１またはＭＰＥＧ−２デコーダ等従来のブロックベースのデコーダしか持たない人々に配信したいことがある。したがって、予測符号化オブジェクトベース画像信号を、ＭＰＥＧ−１、ＭＰＥＧ−２、Ｈ．２６１、およびＨ．２６３などの予測ブロックベース符号化技術の標準的なデコーダに準拠する予測符号化ブロックベース画像信号にトランスコーディングする必要性が存在する。
【０００８】
図１は、ＭＰＥＧ−４または他の予測符号化オブジェクトベース画像信号をＭＰＥＧ−２または他の予測符号化ブロックベース画像信号にトランスコーディングすることができる従来のトランスコーダ１０のブロック図である。システムは、ＭＰＥＧ−４デコーダ１２およびＭＰＥＧ−２エンコーダ１４で構成される。ＭＰＥＧ−４デコーダの出力１８は、ＭＰＥＧ−２エンコーダの入力２０に接続される。ＭＰＥＧ−２デコーダの出力２２は、標準的なＭＰＥＧ−２デコーダに準拠する予測符号化ブロックベース画像信号を提供する。
【０００９】
ＭＰＥＧ−４デコーダの入力１６は、ＭＰＥＧ−４規格デコーダに準拠する予測符号化オブジェクトベース画像信号を受信する。ＭＰＥＧ−４デコーダは、予測符号化オブジェクトベース画像信号を復号化して、従来の画像信号を生成し、この画像信号を出力１８に供給する。従来の画像信号は、ＲＧＢ信号セット、ＹＩＱもしくはＹＵＶ信号セット、または他の適したある形態の従来の画像信号でありうる。
【００１０】
ＭＰＥＧ−２エンコーダは、入力２０において従来の画像信号を受信し、従来のブロックベースの空間符号化および時間符号化を従来の画像信号に適用する。ＭＰＥＧ−２エンコーダは、ＭＰＥＧ−２規格のデコーダに準拠する予測符号化ブロックベース画像信号を出力２２に送出する。
【００１１】
従来のトランスコーダ１０は、概念上は単純であるが、実行が複雑である。ＭＰＥＧ−２エンコーダが実行する空間符号化および時間符号化の処理は複雑であり、リアルタイムで実行するには相当な計算資源が必要である。計算資源に対する需要は、ＭＰＥＧ−２エンコーダが始めから動き予測を実行することから、特に深刻である。さらに、トランスコーダ１０が実行する復号化および後続する符号化は、画像の質をしばしば劣化させる。
【００１２】
代替の手法は、トランスコーディングを符号化領域で行うというものである。これにより、再符号化の少なくとも一部を実行する必要性がなくなる。符号化領域でのトランスコーディングには、処理の複雑性をかなり低減する潜在性、および従来のトランスコーディングで生じる生成損失（generation loss）を部分的にまたは完全になくす潜在性がある。
【００１３】
符号化領域においてブロックベース画像信号をトランスコーディングするいくつかの手法が、以下に記載されている。S. F. ChangとD. Messerschmittによる「Manipulation and Compositing of MC-DCT Compressed Video」（13IEEE J.ON SELECTED AREAS IN COMMUNICATIONS（１９９５年１月））、B. NatarajanとB. Vasudevによる「A Fast Approximate Algorithm for Scaling Down Digital Images in the DCT Domain」（IEEE INTL.CONF.ON IMAGE PROCESSING議事録（ワシントンＤＣ）（１９９５年１０月））、N. MerhavとB. Vasudevによる「Fast Algorithms for DCT-Domain Image Down Sampling and for Inverse Motion Compensation」（7IEEE TRANS. ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, 468-475（１９９７年６月））、B. ShenとI. Ishwarによる「Block-Based Manipulations on Transfrom-Compresed Images and Videos」（6 MULTIMEDIA SYSTEMS（１９９８年３月））、S. WeeとB. Vasudevによる「Splicing MPEG Video Streams in the Compressed Domain」（IEEE INTL.CONF.ON MULTIMEDIA SIGNAL PROCESSING議事録（プリンストン、ＮＪ）（１９９７年６月））。
【００１４】
しかし、上に引用した参考文献はいずれも、予測符号化オブジェクトベース画像信号を予測符号化ブロックベース画像信号にトランスコーディングし、かつ符号化領域で動作するトランスコーダについて記載していない。したがって、必要なのは、符号化領域で動作し、かつ予測符号化オブジェクトベース画像信号を対応する予測符号化ブロックベース画像信号にトランスコーディング可能なトランスコーダおよびトランスコーディング方法である。また、必要なのは、リアルタイムで、または数フレームの遅延を持ってのリアルタイムで動作するようなトランスコーダおよびトランスコーディング方法である。最後に、必要なのは、適度でかつ手頃な価格のハードウェア要件を有するようなトランスコーダおよびトランスコーディング方法である。
【００１５】
（発明の概要）
本発明は、画像グループを表す予測符号化オブジェクトベース画像信号を、画像グループを表す予測符号化ブロックベース画像信号にトランスコーディングする方法を提供する。本方法では、符号化シーン記述子および符号化オブジェクト記述子が、予測符号化オブジェクトベース画像信号から抽出され、符号化シーン記述子は復号化されてシーン記述子が生成される。符号化オブジェクト記述子は部分的に復号化されて、部分復号化オブジェクト記述子がそれぞれ生成される。部分的な復号化は、符号化オブジェクト記述子の符号化を記述する符号化情報を抽出する。シーン記述子に応答して、現画像として画像の１つを表す部分符号化ブロックベース画像信号のフレームが、部分復号化オブジェクト記述子から生成される。最後に、現画像を表す予測符号化ブロックベース画像信号のフレームが、符号化情報に応答して、部分符号化ブロックベース画像信号を均一の(一様な)符号化状態に予測符号化することによって生成される。
【００１６】
本発明はまた、画像グループを表す予測符号化オブジェクトベース画像信号を、画像グループを表す予測符号化ブロックベース画像信号にトランスコーディングするトランスコーダを提供する。トランスコーダは、パーシャルデコーダ（partial decoder）と、ブロックベース画像信号生成器と、パーシャルエンコーダ（partial encoder）と、を備える。パーシャルデコーダは、デマルチプレクサと、シーン記述子デコーダと、オブジェクト記述子デコーダと、を含む。デマルチプレクサは、符号化シーン記述子および符号化オブジェクト記述子を予測符号化オブジェクトベース画像信号から抽出する。シーン記述子デコーダは、符号化シーン記述子を復号化してシーン記述子を生成する。オブジェクト記述子デコーダは、符号化オブジェクト記述子を部分的に符号化して各部分復号化オブジェクト記述子を生成し、符号化オブジェクト記述子の符号化を記述する符号化情報を抽出する。ブロックベース画像信号生成器は、シーン記述子に応答して動作し、部分復号化オブジェクト記述子から、現画像として画像の１つを表す部分符号化ブロックベース画像信号のフレームを生成する。パーシャルエンコーダは、符号化情報の少なくとも一部に応答して、部分符号化ブロックベース画像信号を均一な符号化状態に予測符号化することにより、現画像を表す予測符号化ブロックベース画像信号のフレームを生成するように構成される。
【００１７】
最後に、本発明は、コンピュータに上記トランスコーディング方法を実行するよう命令するコンピュータプログラムが中に固定(格納)されたコンピュータ読み取り可能媒体を提供する。
【００１８】
本発明によるトランスコーダおよびトランスコーディング方法は、符号化領域で動作し、かつ予測符号化オブジェクトベース画像信号を対応する予測符号化ブロックベース画像信号にトランスコーディングする。符号化領域で動作することにより、相当量の復号化処理および符号化処理が従来の手法と比較して実行されないため、相当な処理資源が節約される。さらに、本発明によるトランスコーダおよびトランスコーディング方法は、予測符号化オブジェクトベース画像信号から抽出される符号化情報を使用して、予測符号化をブロックベース画像信号に適用する。これにより、資源集約的な動き予測を行う必要性が数個のブロック以外すべてについてなくなるため、さらなる処理が不要になる。したがって、本発明によるトランスコーダおよびトランスコーディング方法は、リアルタイムまたは略リアルタイムで動作することができ、また質素でかつ手頃なハードウェアを使用して実施することができる。
【００１９】
（発明の詳細な説明）
本発明を詳細に説明する前に、予測符号化ブロックベース画像信号および予測符号化オブジェクトベース画像信号を使用して動画を表す方法について手短に述べる。説明するコーダは、動画のすべてまたは一部を構成する静止画像のグループを表すデジタル画像信号に対して動作する。各画像は、画素（ピクセル）の方形アレイに区分けされる。たとえば、従来のＮＴＳＣテレビ信号のフレームによって表される各画像は、６４０×４８０ピクセルのアレイに区分けされる。デジタル画像信号の各フレームは、各ピクセルについてピクセル値を含む。ピクセル値は、少なくともピクセルのグレースケール値を定義し、さらに、ピクセルの色を指定することができる。ピクセル値は、従来、画像の左上角から始まってラスタスキャン順に配列される。
【００２０】
従来のブロックベースのコーダは、デジタル画像信号を受信し、ここから、より少ないビットを使用して画像グループを表す符号化画像信号を導出する。従来のブロックベースのコーダは、デジタル画像信号を、信号エネルギのほとんどがわずかな係数に集中する別の領域に変換する。最も一般的には、各画像は８×８ピクセルの二次元ブロックに区分けされ、対応する各ピクセル値ブロックの二次元離散コサイン変換（ＤＣＴ）が算出される。この変換はしばしば、８×８ブロックＤＣＴと呼ばれる。重複変換（lapped transform）およびウェーブレット変換等、他の普及している空間変換を代替として使用してもよい。
【００２１】
従来のブロックベースのコーダは、画像のコンテンツに関係なく各画像を８×８ピクセルブロックに区分けする。図２Ａは、人間の頭部３２、人間の体３４、窓３６、および背景３６を含む画像３０を示す。例示的な８×８ピクセルブロックを４０に示し、ブロック４０中の例示的なピクセルを４２に示す。その他のブロックのピクセルは、図面を簡明にするために示さない。ブロック４０は、３つのオブジェクト３２、３４、および３８の部分を含む。
【００２２】
図３Ａは、動画を表す画像信号用の従来のエンコーダ１００を示す。エンコーダは、減算ノード１０１と、変換プロセッサ（ＤＣＴ）１０２と、量子化器（Ｑ）１０３と、エントロピーコーダ１０４および１１２と、逆量子化器（ＩＱ）１０６、逆変換プロセッサ（ＩＤＣＴ）１０７、および加算ノード１０８から構成されるローカルデコーダ１０５と、フレーム記憶装置１０９と、動き補償器（ＭＣ）１１０と、動き予測器（ＭＥ）１１１と、マルチプレクサ（ＭＵＸ）１１３と、出力バッファ（ＢＵＦＦ）１１４と、から構成される。
【００２３】
動画を表す画像信号は、それぞれ静止画像を表すフレームで構成される。画像は、高速に連続して表示され、連続した動きという印象を与える。滑らかな動きという錯覚を達成するために必要な高画像レートにより、通常、連続画像の中に相当な時間冗長性が生じることになる。具体的には、連続画像は通常、隣接画像間で物理的に変位される同じ情報を含みうる。時間冗長性を低減するために、通常、予測符号化が、符号化中の画像、すなわち現画像と１つまたは複数の先に符号化された画像との間に適用される。１つまたは複数の先に符号化された画像は、現画像を符号化するためのベースとして使用される。次に、現画像は、現画像と先に符号化された画像に基づく予測との間の差を符号化することによって符号化される。
【００２４】
現画像と先に符号化された画像との間の動きを考慮に入れることにより、予測符号化の正確性が大幅に向上すると共に、符号化が必要な差の大きさが大幅に低減される。コーダ１００では、動き予測器１１１が、現画像と１つまたは複数の先に符号化された画像との間の動きを予測する。動き予測器が生成する動き予測に応答して、動き補償器１１０が、現画像符号化のベースを提供する参照画像を構築する。参照画像を構築する際、動き補償器は、現画像と先に符号化された画像との間の動きを考慮に入れるように、１つまたは複数の先に符号化した画像を変更する。先に符号化された２つ以上の画像が現画像符号化のベースとして使用される場合、通常、先に符号化された画像のうちの１つが、提示順において現画像の前にあり、先に符号化された画像のうちの他のものが現画像の後にある。しかし、提示順に関係なく、現画像は、先に符号化された画像が符号化された後でしか符号化することができない。
【００２５】
動き予測は通常、各画像を正方形のピクセルブロックに区分けし、現ブロックと呼ばれる各ブロックと現ブロックに最も密接にマッチングする先に符号化された画像のブロック間の動きを予測することによって行われる。マクロブロックと呼ばれる、動き予測が行われる各ブロックは通常、ＤＣＴが適用されるブロックの２倍の長さ寸法を有する。動き予測は、現画像中の現ブロックと、１つまたは複数の先に符号化された画像中の対応位置のプラスマイナスｎピクセル内にあるマクロブロックすべてとの間でマッチング演算を行うことを含むため、計算集約的なプロセスである。さらに、マッチング演算は、実際のマクロブロックからピクセル半分だけ変位した合成マクロブロックに拡張しうる。マッチング演算は、現ブロックに最も類似する１つまたは複数の先に符号化された画像中のマクロブロックのロケーションを決定する。ｎ＝１の場合、整数ピクセル精度の場合には９つのマッチング演算が必要であり、半ピクセル精度の場合には１７のマッチング演算が必要である。マッチング演算の数は、ｎの二乗に比例して増大する。
【００２６】
現ブロックとしての現画像の各ブロックごとに、動き予測器１１１は、現ブロックと、現ブロックに最も密接にマッチングする１つまたは複数の先に符号化された画像のブロックとの間の動きを表す動きベクトル（ＭＶ）を決定する。動き予測器は、現画像の動きベクトルを動き補償器１１０およびエントロピーコーダ１１２に供給するが、これらについてさらに詳細に以下に述べる。
【００２７】
エンコーダ１００は、通常、画像信号の最初のフレームを予測なしで符号化する。最初のフレームは、画像グループ中の最初の画像を表す画像信号のフレームである。ブロックベース画像信号の最初のフレームは、減算ノード１０１の一方の入力に供給される。最初のフレームが符号化される場合、減算ノード１０１の負の入力には信号が供給されないため、減算ノードが出力する信号は、ブロックベース画像信号の最初のフレームと同一である。変換プロセッサ１０２が、ブロック変換処理をフレーム中の８×８ピクセル値の各ブロックそれぞれに適用して、８×８変換係数の各ブロックを生成する。量子化器１０３は、人間の視覚系（ＨＶＳ）の心理的視覚特性を考慮に入れるように適切なファクタで各係数をスケーリングすることによって変換係数ブロックを量子化する。スケーリング後、各変換係数は、符号化された状態での現画像を表すために利用可能なビットの数に依存する量子化ステップサイズを使用して量子化される。量子化により、変換係数のうちの多くの値がゼロに低減される。
【００２８】
エントロピーコーダ１０４は、量子化器１０３によって生成された量子化変換係数のブロックにエントロピー符号化を施す。エントロピー符号化は、ランレングス符号化およびハフマン符号化を含む。ランレングス符号化は、ゼロではない量子化係数のロケーションおよび大きさ（amplitude）のみを符号化することで、変換係数の大部分がゼロに量子化されることを利用する。これにより、量子化変換係数のブロックを表すために必要なビットの数が低減される。量子化変換係数のブロックは通常、ジクザグ順に走査され、非ゼロレベルの係数の前の連続したゼロレベルの変換係数の数（すなわち、ランレングス）が符号化される。ランレングスの後には、非ゼロ係数のレベルを表すコードが続く。
【００２９】
エントロピコーダ１０４はさらに、これら量の統計的特性を利用するために、ランレングス符号化によって生成されたランレングスレベル対にハフマン符号化を適用する。これらにより、量子化変換係数の各ブロックを表すために必要なビットの数がさらに低減される。
【００３０】
今述べた処理により、通常、画像信号の最初のフレーム中のビット数よりもかなり少ないビットを使用して最初の画像を表す符号化画像信号のフレームが生成される。しかし、この処理は、２つ以上の非関連オブジェクトを含む、図２Ａに示すブロック４０等のブロックに適用される場合にはあまり有効ではない。
【００３１】
エントロピーコーダ１０４によって生成されるエントロピ符号化量子化変換係数のブロックは、マルチプレクサ１１３に供給される。現画像が予測なしで符号化される場合、これらブロックは、エンコーダ１００が実行する符号化のただ１つの出力を表す。したがって、これらブロックだけはバッファ１１４に渡され、バッファ１１４が予測符号化ブロックベース画像信号の最初のフレームをエンコーダの出力として生成する。バッファはさらに、量子化器１０３にフィードバックされる制御信号１１７を生成する。この制御信号は、バッファがアンダーフローおよびオーバーフローしないことを確実にするように、量子化のステップサイズを制御する。
【００３２】
画像信号の最初のフレームから量子化器１０３によって生成される量子化変換係数のブロックはさらに、ローカルデコーダ１０５に供給される。ローカルデコーダにおいて、逆量子化器１０６が、量子化変換係数ブロックに量子化器１０３が適用したものとは逆の量子化を適用する。逆変換プロセッサ１０７は、逆量子化の結果得られる変換係数ブロックを逆変換し、ピクセル値ブロックを加算ノード１０８に供給する。最初のフレームは予測なしで符号化されるため、動き補償器１１０は参照ブロックを加算ノードの入力１１６に供給せず、加算ノードの出力は入力と同一である。加算ノードは、最初の画像を再生したものを表す再生画像信号のフレームを生成する。このフレームは、フレーム記憶装置１０９のページに格納される。フレーム記憶装置に格納される再生画像信号によって表される現画像を再生したものは、符号化プロセスによって導入される損失により、現画像とはわずかに異なる。
【００３３】
画像信号の最初のフレームが符号化された後、画像信号の２番目のフレームが符号化される。画像信号の２番目のフレームは、符号化順での画像グループ中の２番目の画像を表す。画像グループ中の２番目および後続する画像を表す画像信号のフレームは通常、予測符号化される。２番目のフレームが符号化される場合、２番目の画像が現画像になり、最初の画像が現画像符号化用の参照画像になる。
【００３４】
ブロックベース画像信号の各フレームは、動き予測器１１１に供給される。動き予測器は、現画像と参照画像との間で動き予測を行い、現画像を予測符号化するための動きベクトルを決定する。現ブロックとしての現画像の各ブロックごとに、動き予測器は、現ブロックと現ブロックに最も密接にマッチングする参照画像のブロックとの間の空間変位を示す動きベクトルを生成する。動き予測器は、現画像の動きベクトルを動き補償器１１０およびエントロピーコーダ１１２に供給する。エントロピーコーダは、上述したエントロピー符号化を動きベクトルに適用し、符号化動きベクトルをマルチプレクサ１１３に供給する。
【００３５】
動き予測器１１１から受信する各動きベクトルに応答して、動き補償器１１０は、フレーム記憶装置１０９に動きベクトルにより示される再生された画像信号のブロックを供給させる。動き補償器は、再生された画像信号のブロックを使用して、現画像の参照画像を構築する。参照画像は、現画像の各ブロックごとに１つの参照ブロックから構成される。
【００３６】
エンコーダ１００が現画像の各ブロックを予測符号化すると、動き補償器１１０は、参照画像の対応するブロック、すなわち参照ブロックを減算ノード１０１に供給する。減算ノードは、現ブロックから参照ブロックを減算して、ＭＣ残余と呼ぶ動き補償誤差のブロックを生成する。
【００３７】
次に、上述したように、変換モジュール１０２、量子化器１０３、およびエントロピ符号化１０４を使用してＭＣ残余ブロックを符号化する。上述したものとは異なる量子化特徴を使用して、画像信号自体のブロックから導出される変換係数ブロックおよびＭＣ残余ブロックから導出される変換係数ブロックにおける異なるスペクトル分布を考慮に入れるように、変換後ＭＣ残余ブロックを量子化する。
【００３８】
ＭＣ残余ブロックからエントロピコーダ１０４によって生成されるエントロピー符号化量子化変換係数のブロックは、マルチプレクサ１１３に供給される。動きベクトルおよびＭＣ残余を多重化することから得られる信号ブロックは、バッファ１１４に伝達され、バッファ１１４は、エンコーダ１００の出力を構成する予測符号化ブロックベース画像信号のフレームを生成する。
【００３９】
動き補償器１１０はさらに、現ブロックの参照ブロックをローカルデコーダ１０５中の加算ノード１０８の入力１１６に供給する。加算ノードは、参照ブロックを逆変換プロセッサ１０７によって出力される再現されたＭＣ残余ブロックに加えて、現画像を再生したものを表す再生画像信号のフレームのブロックとしてピクセル値ブロックを生成する。再現画像信号は、最初の画像を表す再現画像信号が格納されるページとは異なるフレーム記憶装置１０９のページに格納される。
【００４０】
画像グループの３番目および後続する画像を表す画像信号のフレームは、今述べた順方向動き補償（Ｆ−ＭＣ）に加えて双方向動き補償（Ｂｉ−ＭＣ）または逆方向動き補償（Ｂ−ＭＣ）を使用して、予測符号化することができる。双方向動き補償が適用される場合、動き補償器１１０は、画像グループ中で一方は現画像の前方にあり他方は後方（提示順で）にある２つの画像を表す再生画像信号から、現画像の参照画像を表す画像信号を生成する。逆方向動き補償が適用される場合、動き補償器は、画像グループ中で現画像の後（提示順で）にある単一画像を表す再生画像信号から、現画像の参照画像を表す画像信号を生成する。
【００４１】
使用される動き補償が順方向か、逆方向か、それとも双方向かに関係なく、現ブロックの予測符号化に、現ブロックの非予測符号化よりも多くのビットが必要な場合、ＭＣ処理はオフにされ、現ブロックが非予測符号化される。あるいは、現画像全体の予測符号化に、予測なしでの現画像の符号化よりも多くのビットが必要な場合のみ、現画像全体の符号化に関してＭＣ処理をオフにしてもよい。
【００４２】
図３Ｂは、エンコーダ１００が生成する予測符号化ブロックベース画像信号用の例示的なデコーダ１２０を示す。デコーダは、バッファ（ＢＵＦＦ）１２１と、デマルチプレクサ（ＤＥＭＵＸ）１２２と、エントロピーデコーダ（ＥＮＴ．ＤＥＣ．）１２３および１２４と、逆量子化（ＩＱ）１２５と、逆変換プロセッサ（ＩＤＣＴ）１２６と、加算ノード１２７と、動き補償（ＭＣ）１２８と、フレーム記憶装置１２９と、から構成される。
【００４３】
バッファ１２１は、予測符号化ブロックベース画像信号をバッファリングする。デマルチプレクサ１２２は、予測符号化ブロックベース画像信号のフレームをバッファから除去し、予測符号化ブロックベース画像信号をその構成パーツに分ける。これらパーツは、エントロピー符号化量子化変換係数のブロックと、画像の殆どについてはエントロピー符号化動きベクトルのセットと、を含む。エントロピーデコーダ１２３は、エントロピー復号化をエントロピー符号化量子化変換係数のブロックに適用して、量子化変換係数のブロックを生成する。逆量子化器１２５は、逆量子化を量子化変換係数のブロックに適用して、変換係数のブロックを生成する。逆変換プロセッサ１２６は、現画像が予測符号化されている場合には、変換係数のブロックを逆変換して、ＭＣ残余ブロックを生成し、現画像が予測なしで符号化されている場合には、ピクセル値ブロックを生成する。
【００４４】
従来、画像グループ中の最初の画像は、予測なしで符号化される。したがって、予測符号化ブロックベース画像信号の最初のフレームが復号化される場合、動き補償器１２８は、参照ブロックを加算ノード１２７の入力１３０に供給せず、加算ノードの出力は入力と同一である。加算ノードは、ピクセル値ブロックを、最初の画像を再生したものを表す再生画像信号ブロックとして出力する。再生画像信号は、フレーム記憶装置１２９のページに格納される。次に、最初の画像を再生したものを表す画像信号のフレームが、フレーム記憶装置のページから読み出される。
【００４５】
予測符号化ブロックベース画像信号の２番目のフレームが復号化される場合、エントロピデコーダ１２４は、２番目の部分を形成する動きベクトルのセットを復号化し、動きベクトルのセットを動き補償器１２８に供給する。各動きベクトルは、フレーム記憶装置１２９に格納されている再生画像信号のブロックを示す。動き補償器１２８は、フレーム記憶装置１２９に、動きベクトルによって示される再生画像信号ブロックを供給させ、これらブロックを使用して、予測符号化ブロックベース画像信号の２番目のフレームを復号化するための参照画像を構築する。参照画像は、現画像の各ブロックごとに１つの参照ブロックで構成される。
【００４６】
デコーダ１２０が予測符号化ブロックベース画像信号の２番目のフレームを復号化する場合、動き補償器１２８は、現画像の各ブロックごとに参照ブロックを加算ノード１２７に供給する。加算ノードは、参照ブロックを逆変換プロセッサ１２６が出力する再生ＭＣ残余のブロックに加算して、ピクセル値ブロックを、２番目の画像を表す再生画像信号ブロックとして生成する。再生画像信号は、最初の画像を表す再生画像信号が格納されるページとは異なるフレーム記憶装置１２９のページに格納される。次に、２番目の画像を再生したものを表す画像信号のフレームが、フレーム記憶装置のページから読み出される。
【００４７】
今述べたものと同様の処理を使用して、画像グループ中の残りの画像を表す予測符号化ブロックベース画像信号のフレームを復号化する。予測符号化ブロックベース画像信号の３番目および後続するフレームを復号化するための参照画像は、フレーム記憶装置１２９の２つ以上のページに格納されている再生画像信号から生成することができる。
【００４８】
より詳細な説明および分析が、いくつかのソース、たとえば、J.L.Mitchell、W.Pennebaker、C.Fogg、およびD.LeGallの著「MPEG VIDEO COMPENSATION STANDARD」、Chapman & Hall （１９９７年）において見つけることができる。上記技術は、動画を表す画像信号の符号化のためのいくつかの国際規格のベースをなす。これら規格は、ＭＰＥＧ−１、ＭＰＥＧ−２、ＣＣＩＴＴ  Ｈ．２６１、およびＩＴＵ  Ｈ．２６３動画符号化規格を含む。
【００４９】
動画を表す画像信号の符号化に関して上述した技術は、ブロックベースまたは重複ブロックベースの処理を含む。各画像は、重複しうるピクセルのブロックに区分けされ、対応するピクセル値ブロックが独立して処理される。動画を表す画像信号についての従来のブロックＤＣＴ、重複変換、およびウェーブレットベースの符号化技術は、ブロックベースまたは重複ブロックベースのものとみなすことができる。ブロックベースの符号化は、許容可能なパフォーマンスを提供し、また実施が構造的に単純であるという点において有利である。しかし、ブロックベースの符号化は、画像の実際のコンテンツを利用せず、実際には完全に無視する。実際、ブロックベースの符号化は、原画像が静止した、または動く正方形ブロックで構成されるものと暗に想定しているが、これは実際にはありそうもないことである。したがって、ブロックベースの符号化は、画像に人工的な構造を課してから、この構造を符号化しようとするものである。
【００５０】
一方、オブジェクトベースの符号化は、画像に固有の構造を認識し、この構造を利用して、画像グループを表す画像信号が符号化される効率を増大させる。たとえば、画像は通常オブジェクトを含むため、画像は、静止していても、また動いていてもよい２次元または３次元のオブジェクトを用いて表すことができる。この手法は通常、上述したブロックベースの符号化方式よりも、画像の実際の構造を正確に表す。図２Ｂは、図２Ａに示す画像のオブジェクトベースの表現の例を示す。この表現では、静止画像３０が多数の二次元オブジェクトまたは領域に分解される。この例では、オブジェクトは、人間の頭部３２、人間の体３４、窓３６、および背景３８に相当する。
【００５１】
三次元（３Ｄ）オブジェクトで構成される動画は、いろいろな方法で３Ｄオブジェクトまたは領域に分解することができる。１つの方法は、シーン中の３Ｄオブジェクトを識別し、時間について各３Ｄオブジェクトを追跡する。この手法は通常、実装が複雑である。代替の方法は、画像グループの冒頭にある単一画像中の２Ｄオブジェクトまたは領域を識別し、時間についての２Ｄオブジェクトの進化を追跡する。より実用的な方法は、２Ｄオブジェクトを表す信号の時間に伴っての進化を追跡し、特に、オブジェクトの大きさおよびオブジェクトの形状が時間とともにどのように変化するかを追跡する。
【００５２】
包含するオブジェクトを用いて画像３０を表すと、画像をより自然に表現する機能が提供される。さらに、かつより重要なことに、画像をこの方法で表現すると、新しい機能性を提供することができる。たとえば、動画がオブジェクトベース画像信号によって表現される場合、画像中の個々のオブジェクトを個々に抽出、操作することができ、異なる処理をそれぞれに適用することが可能である。これにより、ユーザと画像の間のインタラクションが促進される。
【００５３】
画像のオブジェクトベースの表現はまた、向上した符号化効率でオブジェクトベース画像信号を符号化する機能も提供する。たとえば、オブジェクトベースの表現は、画像グループ中の各オブジェクトの形状および動きの高精度の定義を提供する。これは、ＭＣ予測のパフォーマンスにおける相当な利得を提供することができる。オブジェクトの内部が均質な特徴を有する場合、均質性を利用して、オブジェクトの内部を符号化する効率を増大させることができる。また、符号化オブジェクトベース画像信号の復号化に起因するアーチファクトは、符号化ブロックベース画像信号が復号化される場合に発生する高度に構造化され人工的なブロッキングおよびモスキート・ノイズ・アーチファクトよりも目に付きにくいであろう。
【００５４】
オブジェクトベース画像信号の符号化の符号化方式は、現在、一般的な研究コミュニティおよびＭＰＥＧ−４規格化プロセス双方における多くの研究の主題である。たとえば、第７回IEEE TRANS.ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY : SPECIAL ISSUE ON MPEG-4（１９９７年２月）、およびMPEG-4 OVERVIEW (http://drogo.stst.it/mpeg/standards-/mpeg-4/mpeg-4.htm（１９９９年３月）を参照のこと。
【００５５】
オブジェクトベース画像信号用のいくつかの異なる符号化方式は今後共存しうるが、現在の規格化努力は、ＭＰＥＧ−４規格に焦点をあてている。ＭＰＥＧ−４は、静止画像および動画を表すオブジェクトベース画像信号を符号化する規格を定義する。ＭＰＥＧ−４規格の基本的な枠組みの属性は、以下のように要約することができる。ＭＰＥＧ−１およびＭＰＥＧ−２と同様に、ＭＰＥＧ−４規格は、符号化画像信号のビットストリームシンタックスおよび規格デコーダの特徴を指定するだけで、エンコーダを指定していない。たとえば、規格は、エンコーダが画像信号を、個々のオブジェクトを表すオブジェクト記述子に細分する方法を定義していない。
【００５６】
ＭＰＥＧ−４規格では、動画のすべてのまたは一部を構成する画像グループ中の各画像が、任意の、すなわち四角くない形状を有する多数の二次元オブジェクトとして表現される。オブジェクトはシーンに配列される。画像グループ中の任意の画像は、すべてのシーンを示すことができるが、しかし、画像が動画の一部を構成する場合、またはインタラクティブ性が提供される場合、画像は、シーンの一部のみを示す傾向がより高い。画像グループを表すオブジェクトベース画像信号は、２つの主な部分、すなわちシーン記述子および１つまたは複数のオブジェクト記述子で構成される。シーン記述子は、シーン中のオブジェクトを列挙し、オブジェクトが初めに、シーン中にどのように配列されるかを記述する。シーン中の各オブジェクトは、各オブジェクト記述子によって記述される。いくつかの画像グループは、シーン記述子を持たず、代わりに先行する画像グループと同じシーン記述子を使用しうる。
【００５７】
静止画像では、オブジェクト記述子は、２つの主な構成要素、すなわちオブジェクトの形状を定義する形状記述子、およびオブジェクトの大きさ、すなわちオブジェクトの外観を記述する大きさ記述子を有する。たとえば、図２Ｂに示すオブジェクトベース画像３０において、人間の頭部３２は形状記述子および大きさ記述子によって表される。
【００５８】
動画では、オブジェクト記述子はさらに、第３の構成要素、すなわち、オブジェクトの動きを記述する動き記述子も含む。オブジェクトの形状記述子および大きさ記述子は双方とも、動画中の連続している画像の間で異なることができる。すべての記述子は、画像の提示に必要なビット数を低減するように符号化することができる。
【００５９】
オブジェクトベース画像信号の処理を簡明化するために、任意形状の各オブジェクトは、１６ピクセルの整数倍である辺を有するバウンディング・レクタングルに配置される。図２Ｃは、図２Ｂに示す画像３０中の人間の頭部（頭部）３２のバウンディング・レクタングル５４を示す。その他のオブジェクトは、図面を簡明化するために画像から省略されている。頭部３２の形状記述子および大きさ記述子は、バウンディング・レクタングルの座標系を用いて表現される。バウンディング・レクタングルの座標系は、画像の座標系と同じであってもよいが、異なることの方が多い。画像中のバウンディング・レクタングルの位置は、画像の座標系で表現される並進によって定義される。バウンディングレクタングル５４の原点の画像中の位置は、画像の座標系における横座標ｈｔおよび縦座標ｖｔで示される。
【００６０】
予測符号化オブジェクトベース画像信号から導出される予測符号化ブロックベース画像信号のブロックは、画像３０の座標系において定義される。例示的なブロックを６０で示す。ブロックの大部分は、図面を簡明化するために省略されている。
【００６１】
オブジェクトの形状記述子は、オブジェクトのバウンディング・レクタングルをカバーするマスクを用いてオブジェクトの形状を表現する。たとえば、頭部３２の形状記述子は、バウンディング・レクタングル５４をカバーするマスクを用いて頭部の形状を表現する。マスクは、各オブジェクトピクセルごとにｎビットワードで構成されるビットマップである。マスクのタイプは、オブジェクトが不透明であるかどうかに依存する。不透明なオブジェクトのマスクは、ｎ＝１であり、かつ各ビットの状態が、対応するオブジェクトピクセルがオブジェクトのサポート内にあるか、それとも外にあるかを定義する二値アルファマスクである。オブジェクトのサポートは、オブジェクトが定義される領域であり、一次元、二次元、または三次元を包含しうる。ＭＰＥＧ−４規格では、各オブジェクトが二次元で定義されるため、ＭＰＥＧ−４オブジェクトのサポートは二次元である。非不透明オブジェクトのマスクは、ｎ＞１であるグレースケールアルファマスクである。各オブジェクトピクセルのｎビットワードの値は、ピクセルを通過する光の減衰を定義する乗数である。オブジェクトのサポート外では、各ワードはゼロに対応する値を有する。
【００６２】
形状記述子は、多くの異なる方法で符号化することができる。たとえば、バウンディング・レクタングルは、１６×１６ピクセルの個別マクロブロックに区分けすることができる。各マクロブロックは、それぞれオブジェクトのサポートの完全に外側か、完全に内側か、部分的に内側にあり、かつ部分的に外側にある外部マクロブロック、内部マクロブロック、または境界マクロブロックに分類される。外部ブロックはすべて透明であり、オブジェクトが不透明である場合、内部ブロックはすべて不透明であり、そのように効率的に符号化することができる。境界ブロックは、コンテキストベース算術コーダを使用して符号化される。図２Ｃに示す例では、バウンディングレクタングル５４内にある１６ピクセルマクロブロック、たとえばマクロブロック５５はすべて、境界ブロックである。
【００６３】
動画では、ある画像から次の画像へのオブジェクトの形状記述子の進化を、形状動きベクトルのセットを使用して動き補償を形状記述子に適用し、かつコンテキストベース算術コーダを適宜選択されたコンテキストと共に使用して形状予測における誤差を符号化することによって、符号化することができる。
【００６４】
サポートの内側のオブジェクトの大きさ記述子は、多くの異なる方法で符号化することができる。たとえば、頭部３２のバウンディング・レクタングル５４を、図２Ｄに示すように、８×８ピクセルのブロックおよびブロックＤＣＴを使用して符号化されたピクセル値の対応するブロックに分割することができる。オブジェクトがオブジェクトベース画像信号中で分割されるブロックを、画像がブロックベースの符号化のために分割されるブロックと区別するために、オブジェクトが分割されるブロックをタイルと呼ぶことにする。例示的なタイルを５６に示す。オブジェクトのサポートの完全に内側にあるタイル５７等内部タイルは、従来通りブロックＤＣＴを使用して符号化することができる。タイル５８等境界タイルは、多くの方法で符号化することができる。たとえば、境界タイル内側にあるオブジェクトの大きさをまず、タイルを満たすように外挿することができる。次に、ブロックＤＣＴを使用してタイルを符号化することができる。あるいは、いわゆる形状適応ＤＣＴ（ＳＡＤＣＴ）を使用して境界タイルを符号化することもできる。さらなる代替として、オブジェクト全体の大きさを、ウェーブレット変換または形状適応ウェーブレット変換（ＳＡＷＴ）を使用して符号化することも可能である。タイル５９等外部タイルは、オブジェクトのサポートの完全に外側にあり、符号化されない。
【００６５】
ＭＰＥＧ−４規格では、オブジェクトの大きさ記述子をいくつかの異なる方法で符号化することができるが、ブロックＤＣＴ符号化を使用して内部タイルおよび境界タイルを符号化することが、実際に最も普及していると思われる。
【００６６】
図２ＥのＥ、Ｆ、およびＧはそれぞれ、画像３０がブロックベース符号化のために分割される例示的なブロック６１、６２、および６３を示し、さらに、各ブロック中に現れるタイルを示す。図２ＥのＥ中、内部タイル５７は、ブロック６１において専ら現れる。図２ＥのＦ中、内部タイル５７の一部および境界タイル６４の一部が、ブロック６２中に現れる。図２ＥのＧ中、内部タイル５７の一部と、境界タイル５８、６４、および６５の一部と、背景３８（図２Ｂ）の１つまたは複数のタイル（図示せず）と、がブロック６３中に現れる。したがって、画像３０を表す予測符号化オブジェクトベース画像信号は、この画像を表す予測符号化ブロックベース画像信号を生成するようにトランスコーディングされ、ブロック６１は、中に現れるタイル５７の一部から生成され、ブロック６２は、中に現れるタイル５７および６４の一部から生成され、ブロック６３は、中に現れるタイル５７、５８、６４、６５の一部および背景の１つまたは複数のタイルから生成される。上記タイルは、オブジェクトベース画像信号中で予測符号化することも、また非予測符号化することもできる。
【００６７】
動画におけるオブジェクトの大きさの進化は、ブロックベース画像信号の符号化に使用するものと同様の動き補償予測を使用して符号化することができる。動き補償予測は、ブロックベースの動き予測、またはより洗練されたパラメトリック動き予測を使用して行うことができる。例示的なタイプのブロックベース動き予測では、バウンディング・レクタングルが１６×１６ピクセルのマクロブロックに分割され、動き予測が、現ブロックとしての各マクロブロックに対して実行される。動き予測は、先に符号化された画像に現れるオブジェクトのインスタンス中の現ブロックに最も密接にマッチングするマクロブロックを識別する。動き補償予測のパフォーマンスを向上させるために、先に符号化された画像中に現れるオブジェクトのインスタンスを外挿して、バウンディング・レクタングルを満たすことができる。さらなる特徴としては、１６×１６ピクセルのマクロブロックを使用する動き予測から８×８ピクセルのブロックを使用する動き予測に切り換える機能を挙げることができ、さらに、重複ブロック動き補償予測を使用する機能を挙げることができる。
【００６８】
ブロックベースの動き予測モデルは、移動するオブジェクトを、各ブロックの動きがブロックを通して均一な平行移動である移動する正方形ブロックのアレイとして取り扱う。パラメトリック動き予測は、オブジェクトの見た目が、均一な並進よりも複雑に画像ごとに変化しうるものと認識する。このような変化としては、平行移動に加えて、回転、スケーリング、および遠近を挙げることができる。ＭＰＥＧ−４等オブジェクトベースの符号化のパラメトリック動き予測機能により、オブジェクトの動きを、アフィンまたは遠近等より洗練された動きモデルを使用して記述することが可能になる。この場合、前の画像中のオブジェクトが、適切な動きモデルを使用して変換され、サンプリング・グリッドへの内挿が行われ、次に、変換されたオブジェクトを参照として使用して予測を行う。パラメトリック動きモデルはオブジェクト全体に適用することができ、またオブジェクトを別個の領域に区分けし、適切な動きモデルを各領域に適用してもよい。
【００６９】
パラメトリック動きモデルは、多くのケースで自然に生じる。たとえば、動画を、たとえばコンピュータグラフィックスを使用して合成する場合、画像から画像へのオブジェクトにおける変化は、ワーピング関数によって明示的に定義することができる。ワーピング関数およびそのパラメータは、エンコーダに直接通信しても、またエンコーダがワーピング関数を予測してもよい。別の例では、ある動画シーケンスにおいて、同じ背景が多くの画像にとって共通でありうる。しかし、背景の見た目は、カメラの動きおよびカメラと背景の間にあるオブジェクトによるオクルージョンに起因して変化しうる。こういった場合、スプライトとしばしば呼ばれる、背景全体を符号化し、シーケンスの開始時に一度だけ背景を表す画像信号部分を伝送することは有益である。次に、画像から画像への背景の変化が、カメラの動きを考慮に入れる動きモデルを使用して符号化される。適切な動きモデルを使用すると、動き補償予測の効率、ひいては符号化効率を大幅に増大することができる。
【００７０】
図４Ａは、オブジェクトベース画像信号を予測符号化するため、および符号化オブジェクトベース画像信号を復号化するためのシステムの構造を示すブロック図である。システムは、伝送／格納パス１５４でリンクされるオブジェクトベースエンコーダ１５０と、オブジェクトベースデコーダ１５２と、で構成される。オブジェクトベースエンコーダは、セグメント化モジュール１５５と、Ｎ個のオブジェクト記述子エンコーダ１５６−１〜１５６−Ｎと、シーン記述子エンコーダ１５７と、マルチプレクサ１５８と、で構成される。オブジェクトベースデコーダは、デマルチプレクサ１６８と、Ｎ個のオブジェクト記述子デコーダ１６６−１〜１６６−Ｎと、シーン記述子デコーダ１６７と、画像コンポーザ１６５と、で構成される。
【００７１】
オブジェクトベースエンコーダ１５０では、セグメント化モジュール１５５がオブジェクトベース画像信号に対して動作してシーン記述子を抽出し、シーン記述子に応答して、シーン記述子により識別される各オブジェクトのオブジェクト記述子を抽出する。セグメント化モジュールは、各オブジェクトのオブジェクト記述子をオブジェクト記述子エンコーダ１５６−１〜１５６−Ｎのうちの１つに渡すとともに、シーン記述子をシーン記述子エンコーダ１５７に渡す。実際のエンコーダに設けられるオブジェクト記述子エンコーダの数は、複雑性と処理速度とのトレードオフによって決まる。シーン中のオブジェクトの数が、利用可能なオブジェクト記述子エンコーダの数を上回る場合、すべてのオブジェクトのオブジェクト記述子が符号化されるまで、オブジェクト記述子エンコーダのうちの少なくとも１つを２回以上使用する。例示的なオブジェクト記述子エンコーダについて、図４Ｂを参照して以下に述べる。
【００７２】
シーン記述子エンコーダ１５７は、セグメント化モジュール１５５から受信するシーン記述子を符号化する。
【００７３】
オブジェクト記述子エンコーダ１５６−１〜１５６−Ｎにより生成される符号化オブジェクト記述子ＣＯＤおよびシーン記述子エンコーダ１５７により生成される符号化シーンン記述子は、マルチプレクサ１５８に渡され、ここで、多重化されて、予測符号化オブジェクトベース画像信号のフレームが生成される。マルチプレクサは、予測符号化オブジェクトベース画像信号を伝送／格納パス１５４に供給する。
【００７４】
オブジェクトベースデコーダ１５２では、デマルチプレクサ１６８が、信号伝送／格納パス１５４から予測符号化オブジェクトベース画像信号の各フレームを受信し、予測符号化オブジェクトベース画像信号を各オブジェクトの符号化オブジェクト記述子および符号化シーン記述子に分離する。デマルチプレクサは、符号化シーン記述子をシーン記述子デコーダ１６７に供給し、シーン記述子デコーダ１６７は、符号化シーン記述子を復号化して再生シーン記述子を生成する。
【００７５】
デマルチプレクサ１６８はさらに、各オブジェクトの符号化オブジェクト記述子をオブジェクト記述子デコーダ１６６−１〜１６６−Ｎのうちの１つに供給する。各オブジェクト記述子デコーダは、１つのオブジェクトまたは直列動作している場合には２つ以上のオブジェクトの符号化オブジェクト記述子を復号化し、各再生オブジェクト記述子を生成する。実際のデコーダに設けられるオブジェクト記述子デコーダの数は、複雑性と処理速度とのトレードオフによって決まる。シーン中のオブジェクトの数が、オブジェクト記述子デコーダの数を上回る場合、すべてのオブジェクトのオブジェクト記述子が復号化されるまで、オブジェクト記述子デコーダのうちの少なくとも１つを２回以上使用する。例示的なオブジェクト記述子デコーダについて、図４Ｃを参照して以下に述べる。
【００７６】
オブジェクト記述子デコーダ１６６−１〜１６６−Ｎは、再生オブジェクト記述子を画像コンポーザ１６５に供給する。シーン記述子デコーダ１６７は、再生シーン記述子を画像コンポーザに供給する。画像コンポーザは、オブジェクトの再生オブジェクト記述子を、再生シーン記述子に従って配列して、現画像を再生したものを生成する。
【００７７】
図４Ｂは、図４Ａに示す例示的なオブジェクト記述子エンコーダ１５６−１の内部構造を示す。その他のオブジェクト記述子デコーダは、同様に構築される。オブジェクト記述子エンコーダは、図３Ａに示す従来のブロックベースのエンコーダ１００をベースとするが、さらに、形状エンコーダ２１７を備える。ブロックベースエンコーダ１００の要素に対応するオブジェクト記述子エンコーダの要素は、同じ参照符号に１００を付加したものを使用して示される。オブジェクト記述子エンコーダ１５６−１は、大きさ記述子、形状記述子、および動き記述子で構成されるオブジェクト記述子を受信する。オブジェクト記述子エンコーダは、動き補償予測を使用して、１つまたは複数の先に符号化されたオブジェクトのインスタンスの大きさ記述子から、現画像中のオブジェクトのインスタンスの大きさ記述子を予測する。先に符号化されたオブジェクトのインスタンスの大きさ記述子は、ローカルデコーダ２０５により復号化され、オブジェクト記憶装置２０９に格納されている。減算ノード２０１が、大きさ記述子の予測における誤差を決定し、変換コーダ２１５が予測誤差を符号化する。
【００７８】
オブジェクト記述子エンコーダ１５６−１と図３Ａに示す従来のブロックベースエンコーダ１００との主な相違は、オブジェクトがあらゆる任意の非正方形形状を有することができることである。したがって、オブジェクトの形状記述子は、オブジェクトの大きさ記述子および動き記述子から分けられ、形状エンコーダ２１７によって符号化される。結果得られる符号化形状記述子ＣＳＤはマルチプレクサ２１３に供給され、ここで、オブジェクトの符号化された大きさ記述子ＣＡＤおよび符号化された動き記述子ＣＭＤと多重化され、オブジェクトの符号化オブジェクト記述子ＣＯＤを生成する。
【００７９】
ＳＤで示すオブジェクトの形状記述子もまた、大きさエンコーダ２１５、動き補償器２１０、および動き予測器２１１に供給され、これらモジュールによって行われる演算に使用される。図示のオブジェクト記述子エンコーダ１５６−１の例は、ブロックベースの符号化技術、すなわちブロックベースの動き予測および動き補償、ならびにブロックＤＣＴを使用してオブジェクトの大きさ記述子を符号化する。あるいは、オブジェクト記述子エンコーダは、任意の非正方形形状用に特に設計された符号化技術を使用してもよい。
【００８０】
図４Ｃは、図４Ａに示す例示的なオブジェクト記述子デコーダ１６６−１の構造を示す。オブジェクト記述子デコーダは、図３Ｂに示す従来のブロックベースデコーダ１２０をベースとするが、さらに、形状デコーダ２３２およびマスクプロセッサ２３４を備える。ブロックベースデコーダ１２０に対応するオブジェクト記述子デコーダ１６６−１の要素は、同じ参照符号に１００を付加したものを使用して示される。
【００８１】
オブジェクト記述子デコーダ１６６−１において、デマルチプレクサ２２２が、オブジェクトの符号化オブジェクト記述子ＣＯＤを受信し、オブジェクトの符号化オブジェクト記述子をオブジェクトについての符号化形状記述子ＣＳＤ、符号化大きさ記述子ＣＡＤ、および符号化動き記述子ＣＭＤに分離する。デマルチプレクサは、符号化形状記述子を形状デコーダ２３２に供給する。形状デコーダは、符号化形状記述子を復号化して再生した形状記述子ＳＤを生成し、再生した形状記述子を大きさデコーダ２３３、動きデコーダ２２４、動き補償器２２８、およびマスクプロセッサ２３４に供給する。
【００８２】
デマルチプレクサは、符号化動き記述子を動きデコーダ２２４に供給する。動きデコーダは、符号化動き記述子を復号化して再生した動き記述子を生成し、再生した動き記述子を動き補償器２２８に供給する。再生した動き記述子は、たとえば、オブジェクトが分割される各タイルの動きベクトルで構成することができる。再生動き記述子に応答して、動き補償器は、オブジェクト記憶装置２２９に格納されているオブジェクトの再生インスタンスのうちの１つまたは複数の部分を選択し、サンプリンググリッドにワーピング（warping：変形）、内挿し、加算ノード２２７に供給する。
【００８３】
デマルチプレクサは、符号化大きさ記述子を大きさデコーダ２３３に供給する。ほとんどの画像中のオブジェクトのインスタンスについて、符号化大きさ記述子は、符号化動き補償予測誤差で構成される。大きさデコーダは、符号化大きさ記述子を復号化して、復号化大きさ記述子を生成する。ここでも、ほとんどの画像中のオブジェクトのインスタンスについて、復号化大きさ記述子は、大きさ記述子予測誤差で構成される。大きさ記述子は、復号化大きさ記述子を加算ノード２２７に供給する。加算ノードは、復号化大きさ記述子を、動き補償器により出力された、先に符号化された１つまたは複数のオブジェクトのインスタンスと加算し、結果得られるマスクされていない再生オブジェクト記述子をマスクプロセッサ２３４に供給する。
【００８４】
マスクプロセッサ２３４は、再生した形状記述子ＳＤを使用して、マスクされていない再現オブジェクト記述子に対してマスキング演算を行う。結果得られる再現オブジェクト記述子は、オブジェクト記憶装置２２９に格納される。再生した再現オブジェクト記述子ＯＤが、オブジェクト記憶装置から読み出される。
【００８５】
ＭＰＥＧ−２エンコーダ等のブロックベースエンコーダは、画像のほとんどを表す画像信号のフレームが、１つまたは複数の先に符号化された画像から導出される参照画像を使用して予測符号化される画像グループを表す予測符号化ブロックベース画像信号を生成する。ＭＰＥＧ−４エンコーダ等のオブジェクトベースエンコーダは、それぞれオブジェクトを表す多数のオブジェクト記述子を含む画像信号を生成する。各オブジェクトは、それ自体の１つまたは複数の先に符号化されたインスタンスから導出される参照を使用して予測符号化される。ブロックベースのエンコーダは、画像全体に適用される単一の予測ループを使用して動作するため、画像指向と考えることができる。さらに、ブロックベースエンコーダは、各画像に表示されるもののみを符号化する。一方、オブジェクトベースエンコーダは、オブジェクトベースである。エンコーダは、各オブジェクトを別個に符号化し、各オブジェクトについて１つの、複数の予測ループを使用して動作する。オブジェクトベースのデコーダが、シーンに表されるすべてのオブジェクトの符号化オブジェクト記述子を復号化した後、表示のために、オブジェクト記述子を構成して画像を形成する。しかし、オブジェクト記述子が復号化されるすべてのオブジェクトを、任意所与の画像に表示する必要はない。表示されるものとして実際に画像中に現れるものは、画像構成プロセスによって決定される。
【００８６】
本開示の譲受人に譲渡され、参照により本明細書に組み込まれる米国特許出願第０９／４０９，９３５号において、本発明者らのうちの１人(Apostolopoulos)が、符号化画像信号をオブジェクトベースの符号化からブロックベースの符号化にトランスコーディングするトランスコーディング方法およびトランスコーダを開示している。このトランスコーディング方法およびトランスコーダは、静止画像を表す符号化画像信号、またはすべての画像が予測なしで符号化される動画を表す符号化画像信号に対して動作する。
【００８７】
本開示は、予測符号化オブジェクトベース画像信号を予測符号化ブロックベース画像信号にトランスコーディングするトランスコーディング方法およびトランスコーダを記載する。予測符号化オブジェクトベース画像信号は、オブジェクトのうちの少なくとも１つのオブジェクト記述子が予測符号化される画像グループを表す。予測符号化ブロックベース画像信号は、画像のほとんどが予測符号化される画像グループを表す。予測符号化オブジェクトベース画像信号を予測復号化ブロックベース画像信号にトランスコーディングすることは、静止画像または独立して符号化される動画を表す非予測符号化画像信号、をオブジェクトベースの符号化からブロックベースの符号化にトランスコーディングするよりもはるかに難しい。これは、動画を表すオブジェクトベース画像信号の時間特性、および予測符号化により導入される時間依存性によるものである。
【００８８】
予測符号化に起因する時間依存性は、トランスコーディングの実行に必要な処理を低減するために、どんな対策をとることができるかの決定をより難しくする。たとえば、下半分が画像中に見えないオブジェクトを含む静止画像を表す画像信号をトランスコーディングする場合、オブジェクトの下半分を表す画像信号の部分をトランスコーディングする必要はない。これは、オブジェクトの下半分が画像中に見えないためである。オブジェクトの下の部分を表す信号部分をトランスコーディングしないことで、画像信号のトランスコーディングに必要な処理資源が低減される。今述べた画像が、動画の少なくとも一部を構成する画像グループ中の最初の画像であり、かつ画像グループ全体を表す画像信号をトランスコーディングする場合、オブジェクトの下半分が最初の画像で見えなくとも、上記オブジェクトの下半分を表す画像信号部分をトランスコーディングする必要がありうる。オブジェクトの下半分を表す画像信号部分は、オブジェクトの下半分が後の画像で見えるようになる場合にはトランスコーディングする必要があり、後の画像中のオブジェクトの下半分は、最初の画像に現れるオブジェクトの下半分を参照として使用して予測符号化される。より一般的に、オブジェクトの任意の非可視部分を表す画像信号部分は、オブジェクトの非可視部分が後に、別の画像を予測符号化するための参照として使用される場合、トランスコーディングする必要がある。
【００８９】
多くの用途において、オブジェクトおよび現画像後に符号化される画像の部分を予測するために後で必要になるオブジェクトの部分は、現画像および現画像の前に符号化された画像を表す符号化画像信号の部分を検査することによって決定することができない。しかし、用途によっては、この決定を時にシーン記述子を使用して行うことができるものがある。このような決定を行うことができる場合、それを使用して、現画像を生成し、現画像後に符号化される画像を符号化するために必要な現画像の部分のみがトランスコーディングされるように、現画像を表す符号化画像信号部分のトランスコーディングを制御することができる。これにより、処理資源を節約することができる。
【００９０】
アプリケーションによっては、現画像の先を読んで、現画像を表す符号化画像信号部分のどの部分が、現画像を生成するために、または現画像後に符号化される画像の符号化に使用するために、トランスコーディングする必要があるかを決定する機能を提供する。この機能は、符号化画像信号、または現画像グループを表す符号化画像信号部分を、トランスコーディング前に検査することができる場合に存在する。これは、たとえば、符号化画像信号が、トランスコーディング前に格納される場合に発生する。潜在的に先を読む能力により、処理の複雑性が大幅に低減される。
【００９１】
本発明は、以下の技術の１つまたは複数を適用することにより、予測符号化オブジェクトベース画像信号を予測符号化ブロックベース画像信号にトランスコーディングするために必要な処理資源を低減する。
【００９２】
１．予測符号化オブジェクトベース画像信号の、実際に可視のオブジェクト、または後に符号化される画像中の可視のオブジェクトを予測するために使用されるオブジェクトを表す部分のみが復号化されるように、可視の部分を選択的に復号化する。
【００９３】
２．予測符号化オブジェクトベース画像信号の一部を形成する動き情報を使用して、ブロックベース画像信号を予測符号化するための動きベクトルを効率的に予測することを助ける。
【００９４】
３．ＲＧＢ領域よりも高い符号化状態を有する、サブサンプリングされたＹＵＶ領域等符号化領域におけるトランスコーディング処理を実行する。
【００９５】
４．スプライトまたは背景オブジェクト特徴を利用する。
【００９６】
５．逆ＭＣ予測等、ＤＣＴ領域処理を使用する。
【００９７】
図５は、本発明によるトランスコーディング方法３００を示すフローチャートである。方法３００は、現画像が予測符号化される場合に実行される。現画像が独立して符号化される場合には、上述した米国特許出願第０９／４０９，９３５号に記載のトランスコーディング方法が代わりに採用される。
【００９８】
実行は、プロセス３０１で開始される。
【００９９】
プロセス３０２において、画像グループを表す、ＭＰＥＧ−４画像信号等の予測符号化オブジェクトベース画像信号を受信する。
【０１００】
プロセス３０３において、シーン記述子が、現画像を表すオブジェクトベース画像信号のフレームから抽出され、復号化される。次に、現画像をトランスコーディングするために、符号化オブジェクト記述子を部分的に復号化する必要のある復号化されたシーン記述子によって記述されるオブジェクトまたはオブジェクトの部分が、決定される。プロセス３０３は、好ましくは、オブジェクト可視性テーブルが、複合化されたシーン記述子に応答して生成されるプロセス３０４を含む。最も単純な形態において、オブジェクト可視性テーブルは、シーン記述子により記述される各オブジェクトについて、オブジェクトの符号化オブジェクト記述子を復号化する必要があるかどうかを示すエントリを含む。オブジェクトが現画像において全体的または部分的に可視である場合、またはオブジェクトの少なくとも一部が、画像グループ中の後の画像に現れるオブジェクトの１つまたは複数のオブジェクトのインスタンスを符号化するための参照としての役割を果たす場合、オブジェクトの符号化オブジェクト記述子を復号化する必要がある。より高いトランスコーディング効率を提供する形態では、オブジェクト可視性テーブルは、シーン記述子により記述される各オブジェクトの各タイルまたはマクロブロックについて、タイルまたはマクロブロックを表す符号化オブジェクト記述子の部分を復号化する必要があるかどうかを示すエントリを含む。タイルまたはマクロブロックが現画像において全体的または部分的に可視である場合、またはタイルまたはマクロブロックの少なくとも一部が、画像グループ中の後の画像に現れるオブジェクトの１つまたは複数のインスタンスのすべてまたは一部を符号化するための参照としての役割を果たす場合、オブジェクトのタイルまたはマクロブロックを表す符号化オブジェクト記述子の部分を復号化する必要がある。本発明によるトランスコーディング方法に関連して、符号化オブジェクト記述子の参照は、符号化オブジェクト記述子の部分を復号化する必要があると決定される場合、かかる符号化オブジェクト記述子のかかる部分を包含するものと理解されよう。
【０１０１】
次に、プロセス３０３において、復号化が必要であると決定された符号化オブジェクト記述子が、オブジェクトベース画像信号から抽出される。好ましくは、オブジェクト可視性テーブルを使用して、抽出すべき符号化オブジェクト記述子を示す。プロセス３０３は、シーン記述子および抽出された符号化オブジェクト記述子を次のプロセス３０５に渡す。あるいは、符号化オブジェクト記述子をすべてオブジェクトベース画像信号から抽出し、オブジェクト可視性テーブルと一緒に次のプロセスに渡してもよい。
【０１０２】
プロセス３０５において、オブジェクトベース画像信号から抽出された符号化オブジェクト記述子が部分的に復号化されて、部分復号化オブジェクト記述子をそれぞれ生成する。符号化オブジェクト記述子すべてがオブジェクトベース画像信号から抽出される場合、符号化オブジェクト記述子のうち、オブジェクト可視性テーブルに示されるもののみ、そうでなければ復号化が必要なもののみが部分的に復号化される。各符号化オブジェクト記述子に適用される部分復号化処理は、符号化オブジェクト記述子に適用される予測符号化を記述する符号化パラメータを抽出する。符号化パラメータは、各オブジェクト記述子に含まれる符号化動き記述子を復号化することにより得られる動き情報を含む。プロセス３０５は、シーン記述子、部分復号化オブジェクト記述子、およびそれぞれの符号化パラメータを次のプロセス３０６に渡す。
【０１０３】
プロセス３０６において、現画像がブロックベース符号化のためにブロックに分けられ、シーン記述子を使用して、各ブロックに現れる各タイルを識別する。１つまたは複数のオブジェクトの１つまたは複数のタイルが、任意所与のブロックに現れうる。シフト、マスク、およびマージ演算が、識別された各タイルをあらわす部分復号化オブジェクト記述子の部分に適用され、現画像を表す部分符号化ブロックベース画像信号の対応ブロックを生成する。部分符号化ブロックベース画像信号のブロックは、部分的に符号化された状態で生成される。プロセス３０６は、部分符号化ブロックベース画像信号のブロックと、可視性および符号化テーブルと、を次のプロセス３０８に渡す。
【０１０４】
プロセス３０６は、現画像について可視性および符号化テーブルを生成するプロセス３０７を含む。可視性および符号化テーブルは、ブロックベース符号化のために現画像が分割される各ブロックごとに、ブロックに現れる各オブジェクト、ブロックに現れる各オブジェクトのタイル、および各タイルの符号化パラメータを識別する。プロセス３０７は、現画像の可視性および符号化テーブルをプロセス３０６に戻す。
【０１０５】
プロセス３０６は、部分符号化ブロックベース画像信号のブロックと、可視性および符号化テーブルとを次のプロセス３０８に渡す。
【０１０６】
プロセス３０８において、可視性および符号化テーブルに含まれる情報を使用して、現画像を表す部分符号化ブロックベース画像信号のブロックを適応的にかつ高度な処理能力をもって符号化して、現画像を表し、かつ均一な符号化状態を有する、ＭＰＥＧ−２画像信号等の予測符号化ブロックベース画像信号のフレームを生成する。部分符号化演算は、予測符号化をブロックのうちのほとんどに適用する。パーシャルエンコーダが必要とする処理資源は、可能な限り多くのブロックの予測符号化のための動きベクトルを、可視性および符号化テーブルに含まれる動き記述子から導出することにより、大幅に低減される。
【０１０７】
プロセス３０９において、現画像を表す予測符号化ブロックベース画像信号のフレームが出力される。
【０１０８】
プロセス３１０において、画像グループ中のすべての画像がトランスコーディングされたかどうかを決定するためのテストが行われる。テスト結果がイエスである場合、実行がプロセス３１１に進み、プロセス３１１において終了する。テスト結果がノーである場合、実行はプロセス３１２を介してプロセス３０３に戻り、次の画像を処理する。
【０１０９】
図６Ａは、本発明によるトランスコーダ３２０を示すブロック図である。トランスコーダ３２０は、現画像が予測符号化される場合に使用される。現画像が独立して符号化される（Ｉピクチャ）場合には、上記米国特許出願第０９／４０９，９３５号に記載のトランスコーダが代わりに採用される。
【０１１０】
トランスコーダ３２０は、選択的パーシャルデコーダ３２２、ブロックベース画像生成器３２３、テーブル生成器３２４、可視性および符号化テーブル３２５、ならびにパーシャルエンコーダ３２６で構成される。
【０１１１】
選択的パーシャルデコーダ３２２は、図４Ａに示すオブジェクトベースデコーダ１５２と同様の構造を有し、図６Ｂを参照してより詳細に後述する。しかし、選択的パーシャルデコーダは、（ａ）選択的パーシャルデコーダは、ブロックベース画像信号のブロックを生成することができる程度までのみ符号化オブジェクト記述子を復号化し、かつ（ｂ）選択的パーシャルデコーダは、好ましくは、復号化が必要なオブジェクトまたはオブジェクトの部分のみの符号化オブジェクト記述子を復号化するという点において、オブジェクトベースデコーダ１５２と異なる。オブジェクトベースデコーダ１５２は、すべての符号化オブジェクト記述子を復号化して、ＲＧＢピクセル値のブロックを生成する。選択的パーシャルデコーダ３２２は、符号化オブジェクト記述子にこれよりも少ない復号化を施し、ＹＵＶピクセル値のブロック、ＤＣＴ係数のブロック、またはランレングス符号化ＤＣＴ係数のセットへの符号化オブジェクト記述子を復号化することができる。特定の環境下では、選択的パーシャルデコーダは、いくつかの符号化オブジェクト記述子に復号化を施さなくてもよい。
【０１１２】
選択的パーシャルデコーダ３２２は、画像グループを表す、ＭＰＥＧ−４画像信号等の予測符号化オブジェクトベース画像信号を受信する。選択的パーシャルデコーダは、符号化シーン記述子を抽出し、復号化する。復号化されたシーン記述子に応答して、選択的パーシャルデコーダは、シーン記述子により記述されるオブジェクトのうちどれが、復号化する必要のある符号化オブジェクト記述子を有するかを決定する。このようなオブジェクトは、現画像において可視であるものであるか、または画像グループ中の任意の後に符号化される画像に現れるオブジェクトまたはオブジェクトの一部を予測するために使用されるものである。あるいは、上述したように、符号化オブジェクト記述子の一部のみを抽出してもよい。本発明によるトランスコーダに関連して、符号化オブジェクト記述子の参照は、符号化オブジェクト記述子の部分を復号化する必要があると判定される場合、かかる符号化オブジェクト記述子のかかる部分を包含するものと理解されよう。次に、選択的パーシャルデコーダは、復号化する必要があると判定されたオブジェクトまたはオブジェクトの部分の符号化オブジェクト記述子を、オブジェクトベース画像信号の対応フレームから抽出する。
【０１１３】
選択的パーシャルデコーダ３２２はさらに、復号化する必要があると決定された符号化オブジェクト記述子を部分的に復号化する。各符号化オブジェクト記述子の復号化は、各部分復号化オブジェクト記述子を生成する。選択的パーシャルデコーダは、各画像についての復号化シーン記述子ＤＳＤおよび各部分復号化オブジェクト記述子ＰＤＯＤをブロックベース画像生成器３２３に送る。
【０１１４】
符号化オブジェクト記述子を復号化する過程において、選択的パーシャルデコーダは、各オブジェクトの符号化動き記述子を復号化することによって得られる動き情報と、オブジェクト記述子が復号化された符号化状態を示す情報と、を含む符号化パラメータを回復させる。選択的パーシャルデコーダは、符号化パラメータＣＰをテーブル生成器３２４に送る。
【０１１５】
ブロックベース画像生成器３２３は、ブロックベースの符号化のために現画像をブロックに分割し、復号化シーン記述子ＤＳＤに応答して動作して、各ブロックに現れる各タイルを識別する。部分復号化オブジェクト記述子ＰＤＯＤによって表されるオブジェクトのうちの１つまたは複数の１つまたは複数のタイルが、任意所与のブロックに現れうる。次に、ブロックベース画像生成器が、シフト、マスク、およびマージ演算を識別されたタイルに適用して、現画像を表すブロックベース画像信号の各ブロックを構築する。ブロックベース画像生成器は、現画像を表す部分符号化ブロックベース画像信号ＰＣＢＢＰＳのブロックをパーシャルエンコーダ３２６に送る。ブロックベース画像生成器はさらに、テーブル生成器３２４に、現画像の構成の過程で生成するブロックコンテンツ情報ＢＣを送る。ブロックコンテンツ情報は、現画像の各ブロックに現れる各オブジェクトの各タイルを示す。
【０１１６】
テーブル生成器３２４は、可視性および符号化テーブル３２５に格納されるエントリを生成する。可視性および符号化テーブルは、現画像について作成される。可視性および符号化テーブルは、現画像前に符号化される多数の画像について作成される可視性および符号化テーブルを格納する複数のページで構成してもよい。可視性および符号化テーブルは、好ましくは、ブロックベースの符号化のために現画像が分割された各ブロックについてエントリを含む。エントリは、ブロックに現れるオブジェクトを識別するブロックコンテンツ情報ＢＣを含み、さらに、各オブジェクトの符号化パラメータも含む。ブロックコンテンツ情報は、好ましくは、ブロックに現れる各オブジェクトのタイルをさらに識別し、各タイルの符号化パラメータを含む。現画像の可視性および符号化テーブルは、パーシャルエンコーダ３２６に供給される。
【０１１７】
パーシャルエンコーダ３２６は、可視性および符号化テーブル３２５に含まれる情報を受信し、これを使用して、部分符号化ブロックベース画像信号のブロックを適応的かつ高度な処理能力をもって部分符号化し、現画像を表す予測符号化ブロックベース画像信号を集合的に構成するブロックを生成する。パーシャルエンコーダは、符号化後に、予測符号化ブロックベース画像信号のすべてのブロックが同じ符号化状態にあるように、部分符号化ブロックベース画像信号の各ブロックを符号化する。各ブロックは、好ましくは、ブロックに現れるオブジェクトのうちの少なくとも１つの動き記述子から導出される動きベクトルを使用する予測符号化を用いて符号化される。
【０１１８】
パーシャルエンコーダ３２６は、図３Ａに示すブロックベースのエンコーダ１００と同様の構造であり、図６Ｃを参照してより詳細に後述する。パーシャルエンコーダ３２６は、ブロックベースエンコーダ１００よりもかなり少ない処理資源を使用する。これは２つの理由による。第１に、ブロックベース画像生成器３２３から受信する現画像のブロックが部分的に符号化されるため、ブロックを完全に符号化された状態に符号化するために、パーシャルエンコーダが実行する必要のある符号化処理がより少ないということ。第２に、画像グループ中の最初の画像以外については普通のように、現画像が予測符号化される場合、可能な限り多くの部分符号化ブロックベース画像信号のブロックが、可視性および符号化テーブル３２５中のブロックの各エントリに含まれる動き情報から導出される動きベクトルを使用して予測符号化されるということ。このため、パーシャルエンコーダは、現画像のブロックのほとんどについて計算集約的な動き予測演算を実行しない。
【０１１９】
パーシャルエンコーダ３２６によって符号化される部分符号化ブロックベース画像信号の各ブロックは、予測符号化ブロックベース画像信号のブロックとして出力される。予測符号化ブロックベース画像信号は、量子化されたＤＣＴ係数のブロックで構成される。トランスコーダ３２０は、エントロピ符号化を量子化されたＤＣＴ係数のブロックに適用するエントロピ符号化モジュール（図示せず）と、エントロピ符号化ブロックを、標準ＭＰＥＧ−２デコーダ等規格デコーダに準拠する予測符号化ブロックベース画像信号に編成する出力バッファ（図示せず）と、をさらに含む。出力バッファは、予測符号化ブロックベース画像信号のビットレートが、所定のビットレート要件または標準入力バッファ制約に準拠するように、パーシャルエンコーダによって適用される量子化を制御するための、フィードバック信号を生成することができる。
【０１２０】
次に、トランスコーディング方法３００のプロセス３０３および３０４において、またトランスコーダ３２０の選択的パーシャルデコーダ３２２の一部をなすデマルチプレクサ２６８およびオブジェクト可視性テーブル２６５（図６Ｂ）によって実行される処理について、さらに詳細に説明する。この処理は、各画像の符号化シーン記述子を予測符号化オブジェクトベース画像信号から抽出し、符号化シーン記述子を復号化し、シーン記述子から、シーン記述子により記述される各オブジェクトが現画像において少なくとも部分的に可視であるかどうかを決定する。シーン記述子は、空間および時間におけるオブジェクトロケーション、ならびにオブジェクト可視性等の情報を含む。加えて、処理はまた、現画像では可視ではないが、画像グループ中の後に符号化される画像において可視であるオブジェクトのインスタンスは、現画像中のオブジェクトのインスタンスを参照として使用して少なくとも部分的に予測符号化されたため、符号化オブジェクト記述子をなお復号化しなければならないオブジェクトを識別する。この決定は、先読み動作を行ってどのオブジェクトおよびどのオブジェクト部分が画像グループ中の後に符号化される画像において可視であるか、およびかかるオブジェクトと現画像のシーン記述子によって識別されるオブジェクトの間の依存性を決定することによって、行うことができる。
【０１２１】
今述べた決定を行うことで、現画像において可視ではなく、かつ後に符号化される画像に現れるオブジェクトのインスタンスを復号化するために後に必要にならないオブジェクトまたはオブジェクト部分のオブジェクト記述子を復号化して処理資源を無駄にすることが回避される。シーン記述子は、画像グループ中のいずれの画像においても可視ではないオブジェクトを記述しうる。オブジェクトベース画像信号は、たとえば、インタラクティブ機能を介してのみアクセスされるオブジェクトのオブジェクト記述子を含むことができる。シーン記述子はまた、画像グループ中の画像のいずれかに表示されるシーンよりも大きなシーンを記述することもできる。たとえば、シーン記述子は、多くのオブジェクトで構成されるパノラマを記述することができるが、画像グループを構成する画像は、パノラマの選択された部分およびオブジェクトのサブセットしか集合的に示すことができない。
【０１２２】
トランスコーダ３２０がリアルタイムで動作する用途など、用途によっては、後に符号化される画像に現れるオブジェクトのインスタンスを復号化することができるように、現画像において可視ではないオブジェクトのオブジェクト記述子を復号化するかどうかを決定することが難しい、または実用的ではないことがある。この場合、保守的であるがより多くの資源が必要な手法は、あらゆるオブジェクトのオブジェクト記述子全体を抽出し復号化するというものである。
【０１２３】
オブジェクトベース画像信号または少なくとも画像の現グループを表す画像信号の部分が格納され利用可能である用途では、部分的な復号化が必要なオブジェクト記述子をいくつかの異なる方法で決定することができる。たとえば、先読み動作を行って、画像グループ中で後に符号化される画像に現れるオブジェクトのインスタンスを復号化するために必要になる非可視オブジェクトを識別することができる。全オブジェクトを識別することに対する代替として、（ａ）現画像において可視である、また（ｂ）現画像では隠れているが、後に符号化される画像に現れるオブジェクトのインスタンスを復号化するために必要である、オブジェクトの部分のみを識別してもよい。
【０１２４】
別の技術は、現画像において可視のオブジェクトのみを復号化し、残りのオブジェクトの復号化されていない復号化オブジェクト記述子をキャッシュに入れるというものである。次に、現画像の復号化されていないオブジェクト記述子のキャッシュにバックトラッキングすることにより、復号化する必要があると後に識別されるあらゆるオブジェクトの符号化オブジェクト記述子を復号化することができる。さらなる代替は、現画像において可視のオブジェクトの部分のみを識別し、復号化されていないオブジェクト記述子およびオブジェクト記述子の部分をキャッシュに入れる。代替は、現画像にバックトラッキングして、復号化する必要があると後に見つけられる非可視のオブジェクト部分のオブジェクト記述子を復号化するというものである。
【０１２５】
好ましい実施形態では、シーン記述子を使用して、現画像のオブジェクト可視性テーブルを構築する。上述したように、オブジェクト可視性テーブルは、シーン記述子により記述される各オブジェクトが現画像において可視であるかどうかを示す。好ましくは、オブジェクト可視性テーブルは、シーン記述子により記述される各オブジェクトの各タイルまたはマクロブロックが、現画像において可視であるかどうかを示す。先読み性能が存在する場合、オブジェクト可視性テーブルは、好ましくは、上述したように、画像グループ中の後に符号化される画像に現れるオブジェクトのインスタンスを復号化するために復号化する必要がさらにあるオブジェクト、マクロブロック、またはタイルをさらに示す。
【０１２６】
次に、トランスコーディング方法３００のプロセス３０５において、またトランスコーダ３２０の選択的パーシャルデコーダ３２２によって実行される処理について、さらに詳細に説明する。プロセス３０３において、現画像において可視であると決定された、またはオプションとして、後に符号化される画像に現れるオブジェクトのインスタンスを復号化するために必要であると決定された各オブジェクトの符号化オブジェクト記述子が、復号化オブジェクト記述子を使用してブロックベース画像信号の１つまたは複数のブロックを生成することができる程度までのみ復号化される。オブジェクト記述子は、通常ＲＧＢピクセル値までずっと復号化する必要がないため、一般に、部分的に復号化される。たとえば、オブジェクト記述子の略大部分は、ＤＣＴ係数のブロックをもたらす程度、またはサブサンプリングされたＹＵＶピクセル値のブロックをもたらす程度まで、部分的に復号化する必要があるだけである。
【０１２７】
加えて、各オブジェクト記述子は部分的に復号化されるため、符号化パラメータがオブジェクト記述子から抽出される。符号化パラメータは、オブジェクト記述子の一部をなす動き記述子を復号化することによって得られる動き情報を含む。後述するように、符号化パラメータを後に使用して、プロセス３０８において、およびパーシャルエンコーダ３２６によって実行される予測符号化の効率および精度を上げる。符号化パラメータは、各オブジェクトまたはそのタイルについてのイントラ／インター符号化決定、動きベクトルまたはパラメトリック動きフィールド記述等の動き情報、量子化パラメータ、符号化ビットレートおよびオブジェクト記述子が部分的に復号化された符号化状態のインジケータを含む。
【０１２８】
図６Ｂは、図６Ａに示す選択的パーシャルデコーダ３２２の構造の例を示す。選択的パーシャルデコーダ３２２の構造は、図４Ａに示すオブジェクトベースデコーダ１５２と同様である。デコーダ１５２の要素に対応する選択的パーシャルデコーダ３２２の要素は、同じ参照符号を用いて示され、さらに説明はしない。
【０１２９】
選択的パーシャルデコーダ３２２は、オブジェクト可視性テーブル２６５を含む。オブジェクト可視性テーブルは、シーン記述子デコーダ１６７によって生成される復号化シーン記述子ＤＳＤに応答して構築される。オブジェクト可視性テーブルは、別の状況で上述しており、ここでさらに説明はしない。
【０１３０】
デマルチプレクサ２６８は、オブジェクト可視性テーブル２６５に応答して、復号化する必要ありとオブジェクト可視性テーブルにおいて示される符号化オブジェクト記述子のみをオブジェクトベース画像信号の現フレームから抽出するように動作する。デマルチプレクサ２６８は、示された符号化オブジェクト記述子ＣＯＤをオブジェクト記述子変数デコーダ２６６−１〜２６６−Ｎに供給する。オブジェクト可視性テーブルが、符号化オブジェクト記述子部分が復号化を必要とするオブジェクトのタイルまたはマクロブロックを示すような構造である場合、デマルチプレクサは、符号化オブジェクト記述子全体の代わりに符号化オブジェクト記述子部分ＣＯＤをオブジェクト記述子変数デコーダに供給して、必要な復号化処理の量を低減する。選択的パーシャルデコーダ３２２の残りの説明において、符号化オブジェクト記述子の参照は、符号化オブジェクト記述子の部分を復号化する必要があると示される場合、かかる符号化オブジェクト記述子のかかる部分を包含するものと理解されよう。
【０１３１】
各オブジェクト記述子変数デコーダ２６６−１〜２６６−Ｎは、復号化状態決定モジュール２６９から受信する制御信号によって決定される復号化状態にオブジェクトの符号化オブジェクト記述子ＣＯＤのすべてまたは一部を復号化する構造である。図４Ａに示すオブジェクト記述子デコーダ１６６−１〜１６６−Ｎは、オブジェクトのオブジェクト記述子を、オブジェクトがＲＧＢピクセル値のタイルで表される完全に復号化される状態に復号化する。選択的パーシャルデコーダ３２２の好ましい実施形態では、各オブジェクト記述子変数デコーダは、オブジェクトの符号化オブジェクト記述子を、オブジェクト記述子が部分的に符号化されたままである、多数の異なる部分復号化状態の１つに部分的に復号化する。部分復号化オブジェクト記述子は、復号化状態に応じて、たとえば、サブサンプリングされたＹＵＶピクセル値のタイル、ＤＣＴ係数のタイル、およびランレングス符号化ＤＣＴ係数のセットで構成されうる。さらに、オブジェクトによっては、部分符号化オブジェクト記述子が、符号化オブジェクト記述子と同じ復号化状態を有しうる。
【０１３２】
予測符号化オブジェクトベース画像信号中の符号化オブジェクト記述子をサブサンプリングされるＹＵＶピクセル値のタイルに部分的に復号化すると、符号化オブジェクト記述子をＲＧＢピクセル値のタイルに完全に復号化することと比較してかなりの処理資源が節約される。これは、アップサンプリング／フィルタ動作およびＹＵＶからＲＧＢへのマトリックス変換動作を、符号化オブジェクト記述子を復号化する際に行う必要がなく、また、ＲＧＢからＹＵＶへのマトリックス変換動作およびフィルタ／ダウンサンプリング動作を、部分符号化ブロックベース画像信号を符号化する際に行う必要がないためである。
【０１３３】
受信した符号化オブジェクト記述子を部分的に復号化することに加えて、各オブジェクト記述子変数デコーダ２６６−１〜２６６−Ｎは、上述した符号化パラメータを各符号化オブジェクト記述子から抽出し、符号化パラメータを選択的パーシャルデコーダ３２２の符号化パラメータ出力ＣＰに供給するように構成される。
【０１３４】
復号化状態決定モジュール２６９は、選択的パーシャルデコーダ３２２中の各オブジェクト記述子変数デコーダ２６６−１〜２６６−Ｎが各符号化オブジェクト記述子を部分的に復号化する符号化状態を決定する。オブジェクト記述子変数デコーダに供給される符号化オブジェクト記述子はまた、復号化状態決定モジュールにも供給される。復号化状態決定モジュールは、符号化オブジェクト記述子が元々、ブロックベースのＭＣ予測およびブロックＤＣＴ等ブロックベースの技術を使用して符号化されたかどうか、およびブロックが分割されるタイルが、現画像がブロックベースの符号化のために分割されるブロックと整列するかどうかを決定する。これら条件は、たとえば、背景オブジェクトまたはスプライトであるオブジェクトにおいて満たすことができる。符号化オブジェクト記述子がこれら条件を満たす場合、符号化状態決定モジュールは、各オブジェクト記述子変数デコーダに、符号化オブジェクト記述子をＤＣＴ係数のタイルまたはランレングス符号化ＤＣＴ係数のセットに復号化するように、または符号化オブジェクト記述子を全く復号化しないように、命令する。そうでなければ、符号化状態決定モジュールは、各オブジェクト記述子変数デコーダに、符号化オブジェクト記述子をサブサンプリングされたＹＵＶピクセル値のタイルに復号化するように命令する。
【０１３５】
オブジェクト記述子変数デコーダ２６６−１〜２６６−Ｎおよび復号化状態決定モジュール２６９は、符号化オブジェクト記述子を上述したものとは異なる符号化状態に復号化するように構成してもよい。加えて、または代替として、オブジェクト記述子変数デコーダおよび復号化状態決定モジュールは、符号化オブジェクト記述子を上述したものよりも多くの符号化状態に復号化するように構成してもよい。
【０１３６】
選択的パーシャルデコーダ３２２は、オブジェクト記述子変数デコーダ２６６−１〜２６６−Ｎによって生成される部分復号化オブジェクト記述子ＰＤＯＤ、およびシーン記述子デコーダ１６７によって生成される復号化シーン記述子ＤＳＤをブロックベース画像生成器３２３に供給する。選択的パーシャルデコーダはさらに、オブジェクト記述子変数デコーダ２６６−１〜２６６−Ｎにより符号化オブジェクト記述子から抽出された符号化パラメータＣＰをテーブル生成器３２４に供給する。
【０１３７】
次に、トランスコーディング方法３００のプロセス３０６において、またトランスコーダ３２０のブロックベース画像生成器３２３によって実行される処理について、さらに詳細に説明する。現ブロックベース画像は、ブロックベース画像の各ブロックに現れる部分復号化オブジェクト記述子ＰＤＯＤの１つによって表される各オブジェクトの各タイルを決定することによって生成される。これは、オブジェクトの１つまたは複数のスケールおよび向きの一方または双方を変更すること、そうでなければオブジェクトをブロックベース画像にマッピングすることを含みうる。オブジェクトが重複する場合、マスクおよびマージ演算が行われる。別のオブジェクトに重複するあるオブジェクトのアルファマスクが二値である場合、一方のオブジェクトだけが画像の所与のピクセルにおいて可視である。あるいは、別のオブジェクトに重複するあるオブジェクトのアルファマスクがグレースケールである場合、オブジェクトおよび下のオブジェクトの一次結合が可視である。最後に、オブジェクトのピクセルがブロックベース画像のピクセルにマッピングされ、ブロックベース画像の各ブロックに現れる各オブジェクトの各タイルが識別される。
【０１３８】
プロセス３０６は、テーブル生成器３２４が実行しうるプロセス３０７を含む。プロセス３０７は、現画像の可視性および符号化テーブル３２５を生成する。可視性および符号化テーブルは、現画像の各ブロックに現れる各オブジェクトのオブジェクトベース符号化に関連する情報を格納する。可視性および符号化テーブルに格納される情報は、プロセス３０８において、またブロックベース画像信号を予測符号化する際にパーシャルエンコーダ３２６によって使用される。
【０１３９】
可視性および符号化テーブル３２５は、ブロックベースの符号化により現画像が分けられる各ブロックについてのエントリを含む。可視性および符号化テーブル中の各ブロックのエントリは、ブロックに現れる１つまたは複数のオブジェクトを識別し、かかるオブジェクトの符号化パラメータを含む。好ましい実施形態では、可視性および符号化テーブル中の各ブロックのエントリはさらに、ブロックに現れる各オブジェクトの１つまたは複数のタイルを識別し、かかるタイルの符号化情報を含む。
【０１４０】
可視性および符号化テーブル３２５を生成するプロセス３０７の詳細を図７に示す。プロセス３０７は、テーブル生成器３２４により、図６Ａに示すトランスコーダ３２０において可視性および符号化テーブル３２５を生成するために行うことができる。実行はプロセス３３１において開始する。
【０１４１】
プロセス３３２において、現画像のブロックを追跡するブロックカウンタが、現画像がブロックベース符号化のために分けられるブロックの数に初期化される。
【０１４２】
プロセス３３３において、現画像の現ブロックに現れる１つまたは複数のオブジェクトが識別され、識別が可視性および符号化テーブル中の現ブロックのエントリに加えられる。現ブロックは、ブロックカウンタによって示される。
【０１４３】
プロセス３３４において、オブジェクトカウンタは、現ブロックに現れるものとプロセス３３３によって識別されたオブジェクトの数に初期化される。
【０１４４】
プロセス３３５において、オブジェクトカウンタによって示されるオブジェクトの符号化パラメータは、可視性および符号化テーブル中の現ブロックのエントリに入力される。テーブルに入力される符号化パラメータについて以下に述べる。好ましい実施形態では、符号化パラメータは、現ブロックに現れるオブジェクトのタイルに関連する符号化パラメータを含む。
【０１４５】
プロセス３３６において、オブジェクトカウンタがテストされ、現ブロックに現れると識別されたすべてのオブジェクトの符号化パラメータが、可視性および符号化テーブルに入力されたかどうかを決定する。テスト結果がノーである場合、実行はプロセス３３７に戻り、ここで、オブジェクトカウンタが１だけ減分されてから、プロセス３３５を戻り、現ブロックに現れるオブジェクトのうちの別のオブジェクトの符号化パラメータを可視性および符号化テーブル中の現ブロックのエントリに加えることができる。
【０１４６】
プロセス３３６によって生成されるテスト結果がイエスである場合、実行はプロセス３３８に進む。プロセス３３８において、ブロックカウンタがテストされ、現画像のすべてのブロックが処理されたかどうかを決定する。テスト結果がノーである場合、実行はプロセス３３９に進み、ここでブロックカウンタが１だけ減分されてから、プロセス３３３に進み、現画像のブロックのうちの別のブロックを処理することができる。テスト結果がイエスである場合、実行はメインルーチンに戻る。
【０１４７】
図７も、現画像の各ブロックに現れる各オブジェクトについて可視性および符号化テーブルにプロセス３３５において入力される符号化パラメータの例を示す。示す符号化パラメータ例は、以下である。
【０１４８】
１．ブロックに現れるオブジェクトの部分が予測的に符号化されたか（すなわち、インター）、非予測的に符号化されたか（すなわち、イントラ）、それとも部分的にインターで部分的にイントラかを示すデータ。
【０１４９】
２．オブジェクトの動き情報。
【０１５０】
３．オブジェクトとブロックとの間の重複の量。これは、たとえば、オブジェクトから生成されるブロックのピクセル数で示すことができる。
【０１５１】
４．量子化およびビットレートパラメータ。
【０１５２】
５．ブロックに現れるオブジェクトの部分が可視であるか、部分的に可視であるか、それとも隠れているかを示すビット。
【０１５３】
６．選択的パーシャルデコーダがオブジェクトの符号化オブジェクト記述子を復号化した符号化状態。
【０１５４】
可視性および符号化テーブルの各エントリが表す現画像のブロックは、ＭＰＥＧ−２マクロブロック、すなわち１６×１６ピクセルのブロックに対応することができる。あるいは、ブロックは、８×８ピクセル、４×４ピクセル、２×２ピクセル、またはさらにはおそらく１×１ピクセルのサイズを有するＭＰＥＧ−２マクロブロックのサブブロックに対応することができる。サイズの小さなブロックほど、このようなブロックにおいて１つのオブジェクトしか現れない単一オブジェクトブロックである可能性が高いため、処理が単純である。しかし、サイズの小さなブロックほど、かなり増大したメモリおよび処理要件を課す。固定ブロックサイズが使用される場合、８×８ピクセルのブロックが、パフォーマンスとメモリ要件との妥当なトレードオフを提供する。
【０１５５】
可視性および符号化テーブルエントリは、固定のサイズおよび形状のブロックを要求しない。可視性および符号化テーブル中のエントリは、単一オブジェクトブロックであるブロックと一致して複雑性を最小に抑える目的で、サイズおよび形状が動的に決定されるブロックに対応することができる。たとえば、四分木（quadtree）または階層的表現を、３２×３２（またはこれよりも大きい）ピクセルから２×２ピクセルの範囲のブロックサイズを有する正方形または方形のブロックと共に使用することができる。ブロックのいくつかが次第により小さなブロックに分割される階層的表現の例を図８に示す。可視性および符号化テーブル中のエントリが関連するブロックのサイズおよび形状が変動する場合、フルサイズよりも小さなブロックに関連するエントリは、ブロックのサイズ、形状、およびロケーションを示す情報を含むべきである。この情報は、多数の技術を使用して提供することができる。たとえば、四分木表現を使用することができる。
【０１５６】
各オブジェクトの可視性および符号化テーブルに格納される動き情報は、ＭＰＥＧ−２で使用されるものと同様にブロックベースのモデルを使用して、またはパラメトリック動きモデルを使用して、オブジェクトの動きを記述することができる。オブジェクトの動きは、オブジェクトのインスタンスが現れる１つまたは複数の予測符号化画像から、オブジェクトが現れる現画像のブロックを予測する動きベクトルのベースとして使用される。
【０１５７】
上述したように、オブジェクトベースエンコーダでオブジェクト記述子を符号化するために使用することのできるブロックベースモデルは、従来のブロックベース符号化で使用されるブロックベースモデルと同様である。しかし、ＭＣ予測のためにオブジェクトの大きさ記述子が分割されるタイルのサイズは、固定サイズである必要はなく、１６×１６ピクセル、８×８ピクセル、または別のサイズであってもよい。さらに、オブジェクトのタイルが、ブロックベース符号化のために現画像が分割されるブロックと整列する可能性は低い。したがって、上述したように、オブジェクトの２つ以上のタイルが、現画像中のオブジェクトが重複するブロックの大部分に現れるであろう。可視性および符号化テーブル中の各ブロックのエントリは、ブロックに現れる各オブジェクトの各タイルの動きベクトルまたは他の動き情報を含む。エントリはさらに、ブロックに現れる各タイルの動きベクトルの重要度のある指標を提供する情報を含むことができる。たとえば、エントリは、ブロックの各タイルの占有率を示す情報を含むことができる。この情報を使用して、各タイルの動きベクトルの重要度を示すことができ、占有率が大きいほど、動きベクトルが重要である。
【０１５８】
ブロックに現れるオブジェクトの動きが、パラメトリック動きモデルを使用して記述される場合、動きモデルおよびモデルを使用して生成される代表的な動きベクトルの一方または双方を、可視性および符号化テーブル中のブロックのエントリに含めることができる。パラメトリック動きモデルは、アフィンまたは遠近等、ある形態のマッピングでオブジェクトの動きを記述する。パラメトリック動きモデルがエントリに含められる場合、あらゆるピクセルの動きの算出に使用される式およびパラメータセットが、テーブルに入力される。代表的な動きベクトルは、たとえば、ブロックの中央またはブロックの角の動きを表すベクトル、または中央または平均動きベクトルを含むことができる。
【０１５９】
可視性および符号化テーブルは、後続処理を簡単にするために、現画像の座標に相対して動きを表現することができる。オブジェクトベース画像信号では、オブジェクトの動き記述子が、オブジェクト自体の座標系に相対してオブジェクトの動きを表現する。さらに、シーン記述子は、画像におけるオブジェクトの位置を定義するだけではなく、画像から画像へのオブジェクト全体の動きを示すこともできる。したがって、現画像ＭＶpictureの座標に相対するオブジェクトの動きは、シーン記述子ＭＶsceneおよびオブジェクト自体の動き記述子ＭＶobjectによって表現される動きの和に等しい。すなわち、以下のようになる。
【０１６０】
【数】
ＭＶpicture＝ＭＶscene＋ＭＶobject
可視性および符号化テーブル３２５は、ブロックベース符号化のために現画像が分割される各ブロックを予測符号化するプロセスにおいて使用される。可視性および符号化テーブルはさらに、再量子化および部分再符号化等の他の処理ステップを助けるためにも使用される。可視性および符号化テーブルは、関連する画像が、他の画像を予測符号化するための参照画像を生成するために使用される限り、格納することができる。たとえば、従来のＭＰＥＧ−２符号化は、３つの画像、すなわち現画像および２つの先に符号化された画像を含む。したがって、これら画像それぞれに１つで、３つの可視性および符号化テーブルを格納する必要がある。
【０１６１】
次に、図５に示すトランスコーディング方法３００のプロセス３０８において、また図６Ａに示すトランスコーダ３２０のパーシャルエンコーダ３２６によって実行される処理について、詳細に説明する。このプロセスでは、現画像を表す部分符号化ブロックベース画像信号のブロックが、部分的に符号化されて、均一な符号化状態にする。部分符号化ブロックベース画像信号の各ブロックの符号化は、ブロックを符号化する最良の方法を決定することを含む。これは、ブロックを予測的に、すなわちインター符号化ブロックとして符号化するか、それとも非予測的に、すなわちイントラ符号化ブロックとして符号化するかを決定することを含む。ブロックを予測符号化すべきである場合、ＭＣ予測の動きベクトルがさらに決定される。
【０１６２】
図６Ｃは、図６Ａに示すトランスコーダ３２０の一部をなすパーシャルエンコーダ３２６の例を示す。パーシャルエンコーダ３２６の構造は、図３Ａに示すブロックベースエンコーダ１００と同様である。ブロックベースエンコーダ１００の要素に対応するパーシャルエンコーダ３２６の要素は、同じ参照符号を使用して示され、さらに説明はしない。
【０１６３】
図示のパーシャルエンコーダ３２６の実施形態は、部分符号化ブロックベース画像信号ＰＣＢＢＰＳを構成するサブサンプリングされたＹＵＶピクセル値あるいはＤＣＴ係数のブロックを同じ符号化状態に符号化するように構築される。パーシャルエンコーダは、変数エンコーダ２７１を含む。パーシャルエンコーダは、部分符号化ブロックベース画像信号のすべてのブロックを同じ符号化状態に符号化する。パーシャルエンコーダはさらに、他の符号化状態にある部分符号化ブロックベース画像信号のブロックを上述した同じ符号化状態に符号化するようにも構築することができる。
【０１６４】
図示するトランスコーダ３２０の実施形態では、部分符号化ブロックベース画像信号のブロックは、サブサンプリングされたＹＵＶピクセル値あるいはＤＣＴ係数のブロックのいずれかである。各ブロックの符号化状態は、可視性および符号化テーブルＶＣＴ中のブロックのエントリにおける符号化状態情報で示される。符号化コントローラ２７２は、可視性および符号化テーブルを受信し、可視性および符号化テーブルから現ブロックの符号化状態情報を抽出し、符号化状態制御信号ＤＤを変数コーダ２７１に供給する。次に、変数エンコーダが、符号化状態情報により指定された符号化を現ブロックに対して適用する。
【０１６５】
可視性および符号化テーブルＶＣＴはまた、符号化モードモジュール２７３にも供給される。符号化モードモジュールは、現ブロックに適用される符号化を決定するように動作する。好ましい符号化モードは、現ブロックに現れる１つまたは複数のオブジェクトの動き記述子に基づく動きベクトルを使用してのＭＣ予測符号化である。符号化モードモジュールは、現ブロックの可視性および符号化テーブル中のエントリの一部として動き記述子を受信する。
【０１６６】
符号化モードモジュール２７３は、動き予測器２１１の要求する処理資源がかなり少ないため、動き予測器２１１を優先して動作する。しかし、符号化モードモジュールが、現ブロックに現れる１つまたは複数のオブジェクトの動き記述子に基づく動きベクトルを使用しての現ブロックの予測符号化が不可能である、または効率的ではないと決定する場合、動き予測器をアクティブ化して、現ブロックを予測符号化するための動きベクトルを決定することができる。
【０１６７】
動き予測器２１１が実行する動き予測は、現ブロックの可視性および符号化テーブル中のエントリに含められる動き記述子を、簡略化された動き予測演算を実行する開始ポイントとして使用することができる。あるいは、動き予測器は、完全な動き予測演算を実行して、始めから動きベクトルを生成してもよい。最後に、符号化モードモジュール２７３は、現ブロックが予測なしで、すなわちイントラ符号化ブロックとして最良に符号化されることを決定することができる。符号化モードモジュールの動作については、図１２および図１３Ａ〜図１３Ｄを参照してより詳細に後述する。
【０１６８】
現ブロックの符号化モードを決定する際、符号化モードモジュール２７３は、現ブロックを以下のカテゴリのうちの１つに分類する。
【０１６９】
１つのみのオブジェクトが現れる単一オブジェクト（ＳＯ）ブロック
２つ以上のオブジェクトが現れる複数オブジェクト（ＭＯ）ブロック
現ブロックが単一オブジェクトブロックである場合、可視性および符号化テーブル中の現ブロックのエントリ中の符号化パラメータはすべて、単一オブジェクトから来るものである。この場合、符号化モードモジュール２７３は、ブロックの符号化方法を決定するために、単一オブジェクトの符号化パラメータを解析する必要があるだけである。しかし、現ブロックが複数オブジェクトブロックである場合、符号化モードモジュールは、ブロックの符号化方法を決定するために、複数のオブジェクトの符号化パラメータを解析しなければならない。複数オブジェクトブロックに適用される解析は、各ブロックを一つのみの方法、すなわちインターまたはイントラで符号化することができる従来のブロックベース符号化とは対照的に、複数オブジェクトの現ブロックに現れるオブジェクトのいくつかまたはすべてを別様に符号化されているかもしれないため、はるかにより複雑である。符号化モードモジュールは、現ブロックを予測符号化するための単一の動きベクトルを決定しなければならない。符号化モードモジュールは、現ブロックが単一オブジェクトブロックである場合、現ブロックの動きベクトルをオブジェクトの動き記述子から効率的に予測することができることが多い。しかし、現ブロックが複数オブジェクトブロックである場合、それぞれ独立した動きを有する２つ以上のオブジェクトがブロックに現れ得る。２つ以上のオブジェクトの動きを表す動きベクトルは、オブジェクトベース符号化で独立して符号化された。しかし、符号化モードモジュールは、単一の動きベクトルを現ブロック全体に割り当てなければならない。
【０１７０】
ブロックベースの符号化のために現画像が割り当てられる現ブロックとしての各ブロックについて、トランスコーディング方法３００のプロセス３０８および符号化モードモジュール２７３は、ブロックに現れるオブジェクト、オブジェクトどのように符号化されたか等を含め、現ブロックの特定の特徴を検査し、次に、可能な符号化方法のセットから現ブロックの符号化方法を適応的に選択する。選択される符号化方法は、現ブロックに最も適したものである。符号化方法を選択する際に考慮に入れる要因としては、所望の符号化目標（たとえば、ビットレート、可変ビットレート対一定のビットレート等）、利用可能な処理資源、ソフトウェア／ハードウェアアーキテクチャ等が挙げられる。
【０１７１】
現ブロックに現れる１つまたは複数のオブジェクトの動き記述子を、現ブロックを符号化するための動きベクトルのベースとして使用することは、最初の見かけよりも複雑である。オブジェクトベース符号化では、各オブジェクトが、１つまたは複数の先に符号化されたオブジェクトのインスタンスから導出される参照インスタンスを使用して予測符号化される。従来のブロックベース符号化では、各画像が、１つまたは複数の先に符号化された画像を参照画像として使用して符号化される。トランスコーディングは、現画像中のオブジェクトのインスタンスを元々符号化するための参照インスタンスが導出された１つまたは複数の先に符号化されたインスタンスが、現画像を符号化するための参照画像が導出される先に符号化される画像の１つまたは双方に現れないかもしれないため、複雑である。
【０１７２】
たとえば、図９Ａは、オブジェクトベース符号化を使用しての単純な３オブジェクト３フレーム動画の符号化を示す。図９ＡのＡ〜Ｃは、フレーム０、フレーム１、およびフレーム２と連続して提示されるフレームおける人間オブジェクト２９１を示し、図９ＡのＤ〜Ｆは風船オブジェクト２９２を示し、図９ＡのＧ〜Ｉは背景オブジェクト２９３を示す。人間オブジェクト、風船オブジェクト、および背景オブジェクトのインスタンスは、フレーム０では独立して符号化される。図９ＡのＢ、Ｅ、およびＨに示すフレーム１におけるオブジェクトのインスタンスは、図９ＡのＡ、Ｄ、およびＧに示すフレーム０におけるオブジェクトのインスタンスをそれぞれの参照として使用して、順方向予測で符号化される。図９ＡのＣ、Ｆ、およびＩに示すフレーム２におけるオブジェクトのインスタンスは、フレーム１におけるオブジェクトのインスタンスをそれぞれの参照として使用して順方向予測で符号化される。オブジェクトベース符号化では、各オブジェクトを、組み立てられた画像中のその他のオブジェクトによるオブジェクトのあらゆるオクルージョンに関係なく、他のオブジェクトから完全に独立して符号化することができる。したがって、フレーム１における風船オブジェクト２９２のインスタンスのタイルＴは、フレーム１における風船オブジェクトのタイルＴが体のオブジェクト２９１でオクルージョンされる場合であっても、フレーム２における風船オブジェクトのインスタンスのタイルＴを予測符号化するための参照としての役割を果たすことができる。
【０１７３】
ブロックベース符号化では、個々のオブジェクトの概念がない。現画像に現れるオブジェクトのインスタンスが予測符号化されたものに関する参照インスタンスが、現画像を符号化するための参照画像の一方または双方においてオクルージョンされる場合、オブジェクトが現れるブロックベース画像のブロックの動きを予測するために、オブジェクトの動き記述子を使用することはできない。図９ＢのＪ〜Ｌは、ブロックベース符号化を使用しての単純な３オブジェクト３フレーム動画の符号化を示す。風船オブジェクト２９２のタイルＴが図９ＢのＬに示すフレーム２に現れるブロックＢの動きは、風船オブジェクトの動き記述子を使用して予測することができず、これは、タイルＴが表す風船オブジェクトの部分が、図９ＢのＪおよびＫそれぞれに示されるフレーム０およびフレーム１における人間オブジェクト２９１でオクルージョンされ、したがってタイルＴがこれらフレームのいずれのブロックにも現れないためである。
【０１７４】
したがって、ブロックベース符号化のために現画像が分割されるブロックと、ブロックに現れるオブジェクトとの間の関係は通常、複雑である。以下の説明では、オブジェクトベース符号化がブロックベースのＭＣ予測を使用し、各オブジェクトが１６×１６ピクセルのタイルに分割されるものと想定する。しかし、説明する概念は、可変サイズのブロックおよび領域ベースのＭＣ予測、たとえば真パラメトリック動きフィールド等を網羅するように一般化することができる。
【０１７５】
上述したように、現ブロックに現れる１つまたは複数のオブジェクトのタイルは概して、ブロックベース符号化のために現画像が分割されるブロックと一致しない。これは、４つのタイル３５１、３５２、３５３、および３５４が現ブロック３５５に現れる図１０に示される。タイルは単一オブジェクトの一部をなし、残りは、図面を簡明にするために示さない。現ブロックは、ブロックベース符号化のために現画像が分割されるブロックの１つである。図面を簡明にするために、現画像全体は示さない。
【０１７６】
各タイル３５１〜３５４は、予測なしで、すなわちイントラ符号化タイルとして符号化することも、または予測して、すなわちインター符号化タイルとして符号化することもできる。予測符号化される各タイルの参照タイル、すなわち現画像中のオブジェクトのインスタンスにおけるタイルを予測するために使用されたオブジェクトの先に符号化されたインスタンスにおけるタイルは、完全にオブジェクトの先に符号化されたインスタンスの境界の内側にあることも（内部タイル）、またはオブジェクトの先に符号化されたインスタンスの境界に重なっている（境界タイル）こともある。さらに、参照タイルは、先に符号化される画像において可視であることも、部分的に可視であることも、または隠れていることもある。これらの可能性は、図１１Ａおよび図１１Ｂに示す。
【０１７７】
図１１Ａは、現画像３６１中の現ブロック３６５を符号化するための参照タイルとして動作する参照画像３６０中のオブジェクトの内部タイルを示す。画像３６０は、現画像３６１を表すブロックベース画像信号のフレームを予測符号化するための参照画像である。参照画像３６０は、背景オブジェクト３６２、風船オブジェクト３６３、および人間オブジェクト３６４のオブジェクト記述子を含むオブジェクトベース画像信号のフレームと、人間オブジェクトの一部が風船オブジェクトの一部をオクルージョンした状態で風船オブジェクトおよび人間オブジェクトを背景オブジェクトの正面に配するシーン記述子をトランスコーディングすることによって得られた。
【０１７８】
現画像３６１において、タイル３６５は、画像３６１の単一オブジェクトブロック（図示せず）に現れる風船オブジェクト３６３のタイルの１つである。タイル３６５の３つの可能な参照タイルが、参照画像３６０に示される。これらの中で、タイル３６６は、完全に可視の内部タイルであり、タイル３６７は、部分的に可視の内部タイルであり、タイル３６８は、隠れた内部タイルである。
【０１７９】
図１１Ｂは、現画像３６１における現ブロック３６５を符号化するための参照タイルとしての役割を果たす参照画像３６０中のオブジェクトの境界タイルを示す。参照画像３６０において、タイル３６９は、完全に可視の境界タイルであり、タイル３７０は、部分的に可視の境界タイルであり、タイル３７１は、隠れた境界タイルである。
【０１８０】
オブジェクトベース符号化では、オブジェクトのサポート内にある境界タイルのピクセルは、オブジェクトピクセルである。境界タイルの残りのピクセルは、オブジェクトベースの動き補償予測を行うためにより効率的な形状を形成するために使用される外挿ピクセルである。境界タイルのオブジェクトピクセルのみが、参照画像に現れることができ、外挿ピクセルは、オブジェクトベース符号化におけるツールとしてのみ使用され、画像構成プロセスにおいて破棄される。したがって、外挿ピクセルはあらゆる画像に決して現れない。加えて、境界タイルは、図１１Ｂに示すように、先に符号化された画像において可視であることもあり、または部分的に可視であることも、または完全に隠れていることもある。したがって、単一オブジェクトブロックの場合であっても、各ブロックとブロックに現れるタイルとの間の関係は、かなり複雑になりうる。現ブロックと現ブロックに現れるタイルとの間の可能な関係は、現ブロックが単一オブジェクトブロックである場合、表１に要約される。
【０１８１】
【表１】
0004326743.tif 000002
現ブロックが複数オブジェクト（ＭＯ）ブロックである場合、２つ以上のオブジェクトがブロックに現れる。現ブロックに現れる各オブジェクトは、上記単一ブロックに現れるオブジェクトの構造および複雑性を有しうる。これを表２に示す。
【０１８２】
【表２】
0004326743.tif 000003
パーシャルエンコーダ３２６の符号化パフォーマンスおよび部分符号化処理３０８を最適化するために、現ブロックの構造が識別され、次に、現ブロックがその構造に基づいて処理される。可能な異なるすべてのシナリオにおいて良好な符号化パフォーマンスを提供するために、処理は、ブロックに現れるタイルに応答して適合される。
【０１８３】
図１２は、パーシャルエンコーダ３２６における符号化モードモジュール２７３により、かつ部分符号化処理３０８の一環として実行されるプロセス３８０の例を示す。符号化処理は、上述したように、異なる特徴を有するブロックを処理するようにそれぞれ適合された多数の異なる符号化プロセスの１つを使用して、ブロックベース画像信号の各ブロックを現ブロックとして符号化する。例示的な符号化プロセスについて、図１３Ａ〜図１３Ｄを参照して後述する。現ブロックを符号化する前に、プロセス３８０は、ブロックを解析して、符号化プロセスのうち、現ブロックの符号化に使用するために最適な１つを決定する。
【０１８４】
実行は、プロセス３８１で開始する。
【０１８５】
プロセス３８２において、テストが、可視性および符号化テーブル中の現ブロックのエントリに対して行われ、現ブロックが単一オブジェクトブロックであるかどうかを決定する。テスト結果がイエスである場合、実行は、次に述べるプロセス３８３に進む。テスト結果がノーである場合、実行は以下に述べるプロセス３９２に進む。
【０１８６】
プロセス３８３〜３８５において、一連のテストが、可視性および符号化テーブル中の現ブロックのエントリに対して実行され、現ブロックに現れるすべてのタイルがインター符号化されているかどうか、かかるタイルの参照タイルがすべて内部タイルであるかどうか、および参照タイルがすべて可視であるかどうかを判定する。すべてのプロセスにおけるテスト結果がイエスである場合、これは、現ブロックがＳＯ／すべてインター／すべて内部／すべて可視のブロックであることを示し、実行は、次に述べるプロセス３８６に進む。プロセスのいずれかにおけるテスト結果がノーである場合、これは、現ブロックが、現ブロックに現れるタイルのいくつかがイントラ符号化されたブロック、またはタイルのいくつかが、境界タイルである、もしくは少なくとも部分的に隠れた参照タイルを使用してインター符号化されたブロックであることを示す。この場合、実行は、以下に述べるプロセス３８９に進む。
【０１８７】
プロセス３８３〜３８５のすべての結果がイエスであると、実行はプロセス３８６に進み、ここで、現ブロックが、図１３Ａを参照して後述する符号化プロセスを使用して符号化される。次に、実行はプロセス３８７に進み、テストを実行して、現画像のすべてのブロックが符号化されたかどうかを判定する。テスト結果がイエスである場合、実行はメインルーチンに戻る。テスト結果がノーである場合、実行はプロセス３８８を介してプロセス３８２に戻り、次のブロックを処理させる。
【０１８８】
プロセス３８３〜３８５のいずれかにおいて実行されるテストの結果がノーであると、実行はプロセス３８９に進み、テストを実行して、現画像がＰピクチャとして符号化されているかどうかを判定する。Ｐピクチャは、順方向動き補償（Ｆ−ＭＣ）のみを使用して主に予測符号化される画像である。結果がイエスであると、実行はプロセス３９０に進み、現ブロックが、図１３Ｃを参照して後述する符号化プロセスを使用して符号化される。次に、実行は上述したプロセス３８７に進む。
【０１８９】
プロセス３８９において実行されるテストの結果がノーであることは、現画像がＢピクチャとして符号化されていることを示す。Ｂピクチャは、順方向、逆方向、および双方向の動き補償を使用して主に予測符号化される画像である。この場合、実行はプロセス３９１に進み、現ブロックが、図１３Ｄを参照して後述する符号化処理を使用して符号化される。次に、実行は上述したプロセス３８７に進む。
【０１９０】
プロセス３８２における結果がノーであることは、現ブロックが複数オブジェクトブロックであることを示し、実行はプロセス３９２に進む。プロセス３９２〜３９４において、プロセス３８３〜３８５において実行したテストと同様の一連のテストが、可視性および符号化テーブル中の現ブロックのエントリに対して行われる。一連のテストは、可視性および符号化テーブルにおいて、現ブロックに現れると示される各オブジェクトのタイルに対して行われる。すべてのテストのテスト結果がイエスであることは、現ブロックがＭＯ／すべてインター／すべて内部／すべて可視のブロックであることを示し、実行はプロセス３９５に進み、現ブロックが、図１３Ｂを参照して後述する符号化プロセスを使用して符号化される。次に、実行は上述したプロセス３８７に進む。
【０１９１】
プロセス３９２〜３９４のいずれかのテスト結果がノーである場合、これは、現ブロックが、ブロックに現れるいくつかのタイルがイントラ符号化である複数オブジェクトブロック、またはタイルのいくつかが、境界タイルもしくは少なくとも部分的に隠れている参照タイルを使用してインター符号化される複数オブジェクトブロックであることを示す。この場合、実行はプロセス３９６に進み、テストを実行して、現画像がＰピクチャとして符号化されているかどうかを判定する。結果がイエスであると、実行はプロセス３９７に進み、現ブロックが、図１３Ｃを参照して後述する符号化プロセスが現ブロックに現れる各オブジェクトについて実行される符号化プロセスを使用して符号化される。次に、実行は上述したプロセス３８７に進む。
【０１９２】
プロセス３９６において実行されるテストの結果がノーであることは、現画像がＢピクチャとして符号化されていることを示す。この場合、実行はプロセス３９６に進み、現ブロックが、図１３Ｄを参照して後述する符号化処理が現ブロックに現れる各オブジェクトに対して実行される符号化プロセスを使用して符号化される。次に、実行は上述したプロセス３８７に進む。
【０１９３】
まず、符号化プロセス３８６について図１３Ａを参照して述べる。この符号化プロセスは、現ブロックがＳＯ／すべてインター／すべて内部／すべて可視である、すなわち、
ブロックに現れるすべてのタイルが予測符号化（すなわちインター符号化）され、
ブロックに現れるタイルのすべての参照タイルが内部タイルであり、かつ
ブロックに現れるタイルのすべての参照タイルが参照画像において可視である、
場合に、現ブロックを符号化するためのものである。
【０１９４】
実行はプロセス４０１で開始する。まず、サブルーチン４０２が実行されて、可視性および符号化テーブル中の現ブロックのエントリに存在する動きベクトルのいずれかを使用して、現ブロックを予測符号化することができるか否かを判定する。サブルーチン４０２は、プロセス４０３〜４０６で構成される。サブルーチン４０２は、プロセス４０５において得られるテスト結果に応じて、すなわち、現ブロックが既存の動きベクトルの１つを使用して予測符号化することができるか否かに応じて、２つのパスのうちの一方に抜ける。
【０１９５】
プロセス４０３において、動きベクトルが、可視性および符号化テーブル中の現ブロックのエントリから読み出される。
【０１９６】
プロセス４０４において、既存の動きベクトルそれぞれを、現ブロックを予測符号化するための動きベクトルとして使用することのコストを判定する。コストは、平均二乗誤差（ＭＳＥ）、平均絶対誤差（ＭＡＥ）、ＭＣ残余の符号化に必要なビットの数、またはＲ＋λＤ（レート歪み）式等、任意適切な測定を使用して判定することができる。
【０１９７】
プロセス４０５において、テストを実行して、既存の動きベクトルのいずれかが、現ブロックを予測符号化するための動きベクトルとして使用可能であるかどうかを決定する。これは、たとえば、プロセス４０４において判定される、既存の動きベクトルのいずれかを使用することのコストが、所定の閾値コストよりも低いかどうかを判定することにより、判定することができる。テスト結果がイエスである場合、サブルーチンの実行はプロセス４１２に抜け、現ブロックが、さらに詳細に後述するように、既存の動きベクトルの１つを使用して予測符号化される。
【０１９８】
プロセス４０５によって生成されるテスト結果がノーであり、既存の動きベクトルのいずれか１つを使用して現ブロックを予測符号化することのコストが高すぎることを示す場合、実行はプロセス４０６に進む。プロセス４０６において、既存の動きベクトルおよびそれぞれのコストが格納される。コストは、たとえば、可視性および符号化テーブル中の現ブロックのエントリにそれぞれ既存の動きベクトルと一緒に格納することができる。次に、サブルーチン４０２の実行はサブルーチン４０７に抜ける。
【０１９９】
サブルーチン４０７は、現ブロックを予測符号化する際に潜在的に使用しうる追加動きベクトルを生成し、追加動きベクトルのいずれか１つを使用して、現ブロックを予測符号化することができるか否かを決定する。サブルーチン４０７は、プロセス４０８〜４１１で構成される。サブルーチン４０７は、プロセス４１０のテスト結果に応じて、すなわち、追加動きベクトルの１つを使用して、現ブロックを予測符号化することができるか否かに応じて、２つのパスのうちの一方に抜ける。
【０２００】
プロセス４０８において、追加動きベクトルが現ブロックについて生成される。初期動きベクトルを改良したものを、追加動きベクトルとして生成してもよい。加えて、または代替として、可視性および符号化テーブルに存在する動きベクトルを使用して、追加動きベクトルを予測してもよい。さらなる代替として、図１３Ｃおよび図１３Ｄを参照してより詳細に説明するように、新しい動きベクトルを生成してもよい。
【０２０１】
プロセス４０９において、追加動きベクトルそれぞれを、現ブロックを予測符号化するための動きベクトルとして使用することのコストが判定される。
【０２０２】
プロセス４１０において、テストを実行して、追加動きベクトルのいずれかが、現ブロックを符号化するための動きベクトルとして使用可能であるかどうかを決定する。これは、たとえば、プロセス４０９において決定される、追加動きベクトルのいずれかを使用することのコストが所定の閾値よりも低いかどうかを決定することにより、決定することができる。閾値は、プロセス４０５において使用される閾値と同じであってもよく、また異なってもよい。テスト結果がイエスである場合、サブルーチンの実行はプロセス４１２に抜け、現ブロックが、さらに詳細に後述するように、追加動きベクトルの１つを使用して予測符号化される。
【０２０３】
プロセス４１０において生成されるテスト結果がノーであり、追加動きベクトルのいずれかを使用して現ブロックを予測符号化することのコストが高すぎることを示す場合、実行はプロセス４１１に進む。プロセス４１１において、追加動きベクトルおよびそれぞれのコストが格納される。追加動きベクトルおよびそれぞれのコストは、可視性および符号化テーブル中の現ブロックのエントリに設けられる追加フィールドに格納することができる。次に、サブルーチン４０７の実行はサブルーチン４１３に抜ける。
【０２０４】
プロセス４１３において、現ブロックの既存および追加動きベクトルおよびそれぞれのコストが検査され、最も低いコストを有する動きベクトルが選択される。
【０２０５】
プロセス４１４において、プロセス４１３において選択された動きベクトルを使用して現ブロックを予測符号化することのコストが、予測なしで現ブロックを符号化することのコストと比較される。比較は、現ブロックを予測符号化するか否かを最終的に決定するためのベースとして使用される。
【０２０６】
プロセス４１５において、プロセス４１４において行われた決定に対してテストを行い、現ブロックを予測なしで、すなわちイントラ符号化ブロックとして符号化すべきかどうかを決定する。テスト結果がイエスである場合、実行はプロセス４１６に進み、現ブロックが予測なしで符号化される。次に、実行はメインルーチンに戻る。
【０２０７】
プロセス４１５におけるテスト結果がノーであり、現ブロックが、プロセス４１３において選択された動きベクトルを使用して予測符号化すべきであることを示す場合、実行はプロセス４１２に進む。
【０２０８】
プロセス４１２において、現ブロックが、（ａ）サブルーチン４０２において選択された既存の動きベクトル、（ｂ）サブルーチン４０７において生成され選択される追加動きベクトル、および（ｃ）プロセス４１３において最も低いコストを有するものとして選択された動きベクトルのうちの１つを使用して、予測符号化される。
【０２０９】
現ブロックが、プロセス４１２あるいはプロセス４１６において符号化された後、実行はプロセス４１７に進み、メインルーチンに戻る。
【０２１０】
現ブロックが、現ブロックに現れる各タイルがすべてインター／すべて内部／すべて可視である複数オブジェクト（ＭＯ）ブロックである場合、符号化プロセス３９５において、処理の一部が、現ブロックに現れる各オブジェクトに適用される、図１３Ａを参照して上述したものと同様の処理が適用される。この場合、可視性および符号化テーブル中の現ブロックのエントリに存在する動きベクトルのセットを、現ブロックに現れる各オブジェクトの可視性および符号化テーブルに存在する動きベクトルのセットを合併したものとして採用することができる。
【０２１１】
図１３Ｂは、現ブロックが、現ブロックに現れるすべてのタイルがすべてインター／すべて内部／すべて可視であるＭＯブロックである場合に使用される、図１２の符号化プロセス３９５の例を示す。符号化プロセス３８６に対応する符号化プロセス３９５の要素は、同じ参照符号で示され、さらに説明はしない。
【０２１２】
現ブロックがＭＯブロックである場合、符号化プロセス３９５の部分が、現ブロックに現れる各オブジェクトに対して実行される。符号化プロセスを適用するオブジェクトを現オブジェクトと呼ぶことにする。したがって、たとえば、符号化プロセス３９５において、サブルーチン４３２は、現ブロックに現れるすべてのオブジェクトの可視性および符号化テーブル中の現ブロックのエントリに存在する動きベクトルの１つが、現ブロックを予測符号化する際の動きベクトルとして使用することができるかどうかを決定する。
【０２１３】
サブルーチン４３２は、プロセス４０３〜４０６、４３３および４３４で構成される。プロセス４０３において、現オブジェクトの動きベクトルが、可視性および符号化テーブル中の現ブロックのエントリから読み出される。プロセス４０４において、現オブジェクトの既存の動きベクトルそれぞれを、現ブロックを予測符号化するための動きベクトルとして使用することのコストが決定される。プロセス４０５において、テストを実行して、現オブジェクトの既存の動きベクトルのいずれかが、現ブロックを予測符号化するための動きベクトルとして使用可能であるかどうかを決定する。プロセス４０５におけるテスト結果がノーである場合、実行はプロセス４３３に進み、テストを実行して、現ブロックに現れるすべてのオブジェクトの既存の動きベクトルをテストしたかどうかを決定する。テスト結果がノーである場合、実行はプロセス４３４を介してプロセス４０３に戻り、現ブロックに現れる次のオブジェクトが現オブジェクトとして採用される。テスト結果がイエスである場合、実行はプロセス４１１を介してサブルーチンに抜け、上述したように、プロセス４１３に進む。
【０２１４】
同様に、プロセス４０８〜４１１、４３５、および４３６で構成されるサブルーチン４３７は、現ブロックに現れる各オブジェクトについて追加動きベクトルを生成し、追加動きベクトルのいずれかを、現ブロックを予測符号化するための動きベクトルとして使用可能であるか否かを決定する。プロセス４０８および４０９において、現ブロックの追加動きベクトルが生成され、評価され、プロセス４１０において、テストを実行して、現ブロックに生成された追加動きベクトルのいずれかが、現ブロックを予測符号化するための動きベクトルとして使用可能であるかどうかを決定する。次に、プロセス４３５において、テストを実行して、追加動きベクトルが、現ブロックに現れるすべてのオブジェクトについて生成されたかどうかを決定する。プロセス４３５におけるテスト結果がノーである場合、実行はプロセス４３６を介してプロセス４０８に戻り、現ブロックに現れる次のオブジェクトが、現オブジェクトとして選択される。テスト結果がイエスである場合、実行はサブルーチンを抜け、プロセス４１２に進む。
【０２１５】
現ブロックに現れるオブジェクトが現ブロックとして選択される順序は、単純に、オブジェクトの索引番号の順序でありうる。しかし、現ブロックの最も広い部分を占有しているオブジェクトが最初に選択されるように、現ブロックの占有率順にオブジェクトを現ブロックとして選択することが好ましい。使用可能な動きベクトルをもたらす可能性が最も高いオブジェクトを最初の現オブジェクトとして選択することにより、潜在的に不要な処理が回避される。各オブジェクトの占有率情報は、可視性および符号化テーブル中の現ブロックのエントリに格納される。
【０２１６】
現画像がＰピクチャとして符号化される場合、現ブロックは、順方向ＭＣ予測を使用して予測符号化するか、あるいは予測なしでイントラ符号化ブロックとして符号化することができる。現ブロックが予測符号化される場合、ブロックに現れるオブジェクトの動き記述子が、予測のためにどの参照を使用するかについての重要な情報を提供する。具体的には、各動き記述子が、オブジェクトベース画像信号においてオブジェクトを予測するために使用された動きを記述する。しかし、ブロックベース符号化は、個々のオブジェクトではなく一連の画像に対して適用される。任意形状オブジェクトの境界ブロックならびにオブジェクトのオクルージョンは、トランスコーディングを難しくする。
【０２１７】
図１３Ｃは、現ブロックが、ブロックに現れるタイルのうちの１つまたは複数が予測なしで符号化される単一オブジェクトブロックであるか、またはブロックに現れるタイルのうちの１つまたは複数が、内部タイルもしくは境界タイルである参照タイルを使用して予測符号化され、完全に可視、部分的に可視、または完全に隠れている単一オブジェクトブロックである場合に使用される、図１２の符号化プロセス３９０の例を示す。図１３Ａに示す符号化プロセス３８６に対応する符号化プロセス３９０の要素は、同じ参照符号で示され、さらに説明はしない。
【０２１８】
実行はプロセス４０１で開始する。プロセス４４１において、テストが可視性および符号化テーブル中の現ブロックのエントリに対して実行され、現ブロックに現れるすべてのタイルが非予測符号化されるかどうかを決定する。テスト結果がイエスであることは、可視性および符号化テーブル中の現ブロックのエントリに動き情報が存在しないことを示す。テスト結果がイエスである場合、実行は、後述するプロセス４４３に進む。テスト結果がノーであることは、現ブロックに現れるタイルの少なくとも１つが予測符号化され、かかるタイルの動き情報が可視性および符号化テーブル中の現ブロックのエントリに存在することを示す。テスト結果がノーである場合、実行はプロセス４４２に進む。
【０２１９】
プロセス４４２において、テストを実行して、現ブロックに現れるすべてのタイルの参照タイルが、参照画像において完全に隠れているかどうかを決定する。テスト結果がイエスであることは、参照タイルは参照画像において隠れているため、参照画像がいずれも現ブロックの参照タイルから生成されなかったことを示す。この場合、可視性および符号化テーブル中の現ブロックのエントリに存在する動き情報のいずれも、現ブロックを予測符号化する際に直接使用不可能であることを示す。テスト結果がイエスである場合、実行は、後述するプロセス４４３に進む。テスト結果がノーであることは、参照画像の一部が、現ブロックに現れるタイルの少なくとも１つの参照タイルから生成されたこと、ならびに可視性および符号化テーブル中の現ブロックのエントリにおけるかかるタイルの動き情報を、現ブロックを予測符号化する際の使用可能な動きベクトルを提供するためにおそらく使用することができることを示す。テスト結果がノーである場合、実行は、上述したサブルーチン４０２に進む。
【０２２０】
サブルーチン４０２がイエスの結果を生成し、現ブロックの予測符号化に使用可能な可視性および符号化テーブル中の現ブロックのエントリに、動きベクトルが存在することを示す場合、実行はプロセス４１２に進み、現ブロックが、上述したように、動きベクトルを使用して予測符号化される。次に、処理は、上述したプロセス４１７に進む。
【０２２１】
サブルーチン４０２がノーの結果を生成し、可視性および符号化テーブル中の現ブロックのエントリに存在する動きベクトルのいずれも、現ブロックの予測符号化に使用不可能であることを示す場合、実行はプロセス４４３に進む。
【０２２２】
プロセス４４３は、現ブロックに追加動きベクトルを生成するプロセスを選択する。潜在的な動きベクトル生成プロセスは、以下を含む。
【０２２３】
１．可視性および符号化テーブル中の現ブロックのエントリにおける動きベクトルの改良。この方法は、現ブロックに現れるすべてのタイルがイントラ符号化される場合、または現ブロックに現れるタイルのすべての参照タイルが隠れる場合には利用することができない。
【０２２４】
２．先に符号化した画像においてオブジェクトの可視の部分を探索する。
【０２２５】
３．時間的または空間的に隣接するブロックの動きベクトルから予測する。
【０２２６】
４．高速汎用探索動き予測、たとえばログ探索動き予測を実行する。
【０２２７】
５．完全探索動き予測を実行する。
【０２２８】
潜在的な動きベクトル生成プロセスは、実施複雑性および処理資源への要求が増大する大まかな順序で上述した。より複雑なオプションは、時間等十分な資源、計算ハードウェア、または計算サイクルが使用可能な場合のみ適用しうる。動きベクトル生成プロセスを選択する決定は、少なくとも部分的に、プロセス４４１、プロセス４４２、およびサブルーチン４０２で生成されるテスト結果に基づくことができる。
【０２２９】
プロセス４４４において、テストを実行して、選択された動きベクトル生成プロセスの実行に十分な資源が利用可能かどうかを決定する。テスト結果がイエスである場合、実行は上述したサブルーチン４０７に進み、追加動きベクトルが、選択された動きベクトル生成プロセスを使用して生成される。追加動きベクトルは、図６Ｃに示すパーシャルエンコーダ３２６における動き予測器２１１により、選択された動き生成方法を使用して生成することができる。
【０２３０】
プロセス４４４におけるテスト結果がノーである場合、実行はプロセス４４５に進み、現ブロックを予測なしで符号化するという決定がなされる。次に、実行はプロセス４１５および４１６に進み、上述したように、現ブロックが非予測符号化される。あるいは、プロセス４４４においてノーの結果が得られる場合、実行はプロセス４４３に戻ることができ、必要とする資源がより少ない動きベクトル生成プロセスを選択することができる。
【０２３１】
サブルーチン４０７において実行される処理は、少なくとも１つの追加動きベクトルを生成し、少なくとも１つの追加動きベクトルのいずれかが現ブロックの予測符号化に使用可能であるかどうかを決定する。サブルーチン４０７がプロセス４１２に抜け、追加動きベクトルの１つが使用可能であることを示す場合、上述したように、プロセス４１２において、現ブロックが予測符号化される。サブルーチン４０７がプロセス４１３に抜け、追加動きベクトルのいずれも使用不可能であることを示す場合、上述したように、プロセス４１４におけるイントラ／インター符号化決定、およびプロセス４１５におけるイントラ符号化テストに先だって、プロセス４１３において、既存、および追加動きベクトルのさらなる予測が行われる。
【０２３２】
現ブロックが複数オブジェクト（ＭＯ）ブロックであり、現画像がＰピクチャとして符号化される場合、図１２のプロセス３９７において、図１３Ｃを参照して上述した符号化プロセス３９０の複数オブジェクト版により、現ブロックが符号化される。符号化プロセスの複数オブジェクト版では、図１３Ｃに示すサブルーチン４０２および４０７が、図１３Ｂにそれぞれ示すサブルーチン４３２および４３７と同様のサブルーチンで置換される。オブジェクトベースの動き情報は、概して、ＳＯブロックよりもＭＯブロックを予測符号化するための動きベクトルを決定するためのベースとしての有用度が低い。ＭＯブロックでは通常、より多数の探索、より洗練された探索手順（たとえば、１つだけのオブジェクトとは対照的に、複数オブジェクトのそれぞれの先に符号化した画像において可視の部分を探索する）、ならびに予測なしの符号化をより多く使用する必要がある。予測なしの符号化は、常に、代替として利用可能であり、上述した探索方法のいずれよりも実施に必要な処理資源が大幅に少ない。他方、予測なしの符号化では、予測符号化よりも大幅に多くの非ゼロ変換係数が生じる。より多数の非ゼロ変換係数を所与のビットレートで表すには、より粗い量子化が必要となりうる。これは、画像の質を許容不可能な程劣化させうる。あるいは、現画像の質をより高いビットレートを使用して保存してもよい。
【０２３３】
ブロックベースの現画像がＢピクチャとして符号化される場合、現画像中の各ブロックは、４つのモード、すなわち予測なしですなわちイントラ符号化ブロックとして、順方向ＭＣ予測（Ｆ−ＭＣ）を使用しての予測、逆方向ＭＣ予測（Ｂ−ＭＣ）を使用しての予測、および双方向ＭＣ予測（Ｂｉ−ＭＣ）を使用しての予測のうちの１つで符号化することができる。同様に、予測符号化オブジェクトベース画像信号でも、オブジェクトのインスタンスを、同じ４つの可能な符号化モード、すなわちイントラ、Ｆ−ＭＣ、Ｂ−ＭＣ、またはＢｉ−ＭＣを使用してＢオブジェクトとして符号化することができる。
【０２３４】
Ｂピクチャの動きトランスコーディングは、Ｐピクチャと同様の問題を有するが、Ｂピクチャのトランスコーディングはさらなる問題の対象となり、さらに可能な処理モードを有する。
【０２３５】
現画像の現ブロックに現れるオブジェクトが、双方向ＭＣ予測を使用して予測符号化されていた場合、現ブロックに現れるタイルの参照タイルは、現画像の参照画像が導出されるいずれかまたは双方の先に符号化された画像において部分的または完全に隠れていることがある。この場合、オブジェクトのＢｉ−ＭＣ動き情報を、現ブロックを予測符号化するための動きベクトルの決定に直接使用することはできない。参照タイルが、一方の先に符号化された画像において隠れている場合、本発明による方法は、参照画像が他方の先に符号化された画像のみから導出されるように、双方向ＭＣ予測から順方向または逆方向ＭＣ予測に符号化モードを変更する。たとえば、先行する参照画像中のタイルが隠れているが、後続する参照画像におけるタイルは隠れていない場合、符号化プロセスは、時間依存性を変更し、逆方向ＭＣ予測を使用して現ブロックを予測符号化する。同様に、後続する参照画像における参照タイルが隠れているが、先行する参照画像における参照タイルは隠れていない場合、順方向ＭＣ予測を使用して現ブロックを予測符号化することができる。
【０２３６】
さらに、現ブロックに現れるタイルが、順方向ＭＣ予測を使用して予測符号化されたが、先行する参照画像における参照タイルが部分的にまたは完全に隠れている場合、符号化プロセスは、後続する参照画像を検査して、逆方向ＭＣ予測を使用して現ブロックを符号化することが可能かどうかを決定する。また、現ブロックに現れるタイルが、逆方向ＭＣ予測を使用して予測符号化されたが、後続する参照画像における参照画像が部分的にまたは完全に隠れている場合、符号化プロセスは、先行する参照画像を検査して、順方向ＭＣ予測を使用して現ブロックを符号化することが可能かどうかを決定する。こういった変更は、上述したように、前の画像から将来の画像に、またその逆に動きベクトルを外挿し、予測の質をチェックすることによって達成することができる。
【０２３７】
本開示における先行する参照画像および後続する参照画像への参照は、画像の提示順序への参照であり、参照画像が導出されるすべての画像は、現画像が符号化される前に符号化される。
【０２３８】
予測符号化オブジェクトベース画像信号では、Ｉ、Ｐ、およびＢ符号化モードパターンがオブジェクト間で異なりうる。さらに、オブジェクトベース画像信号におけるＩ、Ｐ、およびＢ符号化モードパターンは、所望のブロックベース画像信号の符号化モードとは異なりうる。その結果、１つまたは複数のオブジェクトの符号化モードを変更する必要がありうる。これは、S.J.Weeの著「Manipulating Temporal Dependencies in Compressed Video Data with Applications to Compressed Domain Processing of MPEG Video」（IEEE ICASSP、１９９９年３月）において本発明者らのうちの１人によって記載される技術を適用して、オブジェクト時間依存性を操作することによって達成することができる。
【０２３９】
図１３Ｄは、現画像をＢピクチャとして符号化すべき場合に使用される、図１２の符号化プロセス３９１の例を示す。図１３Ｃに示す符号化プロセス３９０の要素に対応する図１３Ｄに示す符号化プロセス３９１の要素は、同じ参照符号を使用して示され、詳細に再説明はしない。
【０２４０】
プロセス４４２において実行されるテストがノーという結果を戻す場合、実行はプロセス４５１に進み、テストを可視性および符号化テーブル中の現ブロックのエントリに対して実行して、現ブロックに現れるタイルを予測符号化するための先行する参照画像における参照タイルが、完全に隠れているかどうかを決定する。テスト結果がイエスということは、先行する参照画像がいずれも現ブロックの参照タイルから生成されなかったこと、ならびに可視性および符号化テーブル中の現ブロックのエントリに存在する先行する参照画像の動き情報がいずれも、現ブロックを予測符号化する際に直接使用することはできないことを示す。テスト結果がノーである場合、実行は、後述するプロセス４５６に進む。テスト結果がイエスである場合、実行はプロセス４５２に進み、予測モードが双方向あるいは順方向から逆方向に変更される。
【０２４１】
次に、実行はプロセス４５３に進み、テストを可視性および符号化テーブル中の現ブロックのエントリに対して実行して、現ブロックに現れる各タイルの元の予測モードが順方向ＭＣ予測であったかどうかを決定する。テスト結果がイエスである場合、実行はプロセス４５４に進み、順方向ＭＣ予測を使用して符号化された各タイルの元の動きベクトルが、逆方向ＭＣ予測との併用に適した動きベクトルを生成するように変更される。可視性および符号化テーブルに格納される元の動きベクトルは、単純に、たとえば外挿によって変更することができる。次に、実行はサブルーチン４０２に進み、プロセス４５４が先に実行されていた場合、サブルーチン４０２は、元の動きベクトルの代わりに変更された動きベクトルを使用して実行される。
【０２４２】
プロセス４５３におけるテスト結果が、タイルが双方向ＭＣ予測を使用して予測符号化されたことを示すノーであるタイルの場合、実行はプロセス４５５に進み、タイルの使用不可能な動きベクトル、すなわち先行する参照画像に関連する動きベクトルが破棄される。次に、実行はサブルーチン４０２に進み、プロセス４５５が先に実行されていた場合、サブルーチン４０２は、後続する参照画像に関連する動きベクトルのみを使用して実行される。
【０２４３】
プロセス４５１におけるテスト結果がノーである場合、実行は、上述したプロセス４５６に進む。プロセス４５６において、テストを可視性および符号化テーブル中の現ブロックのエントリに対して実行して、現ブロックに現れるタイルを予測符号化するための後続する参照画像（もしあれば）におけるすべての参照タイルが隠れているかどうかを決定する。テスト結果がノーである場合、これは、可視性および符号化テーブルに存在する動き情報を使用する双方向ＭＣ予測を使用して、現ブロックを符号化することが可能でありうることを示し、実行は、上述したサブルーチン４０２に進む。
【０２４４】
プロセス４５６におけるテスト結果がイエスであることは、後続する参照画像がいずれも、現ブロックの参照タイルから生成されなかったこと、ならびに可視性およぶ符号化テーブル中の現ブロックのエントリに存在する後続する参照画像の動き情報がいずれも、現ブロックを予測符号化する際に直接使用不可能であることを示す。したがって、テスト結果がイエスである場合、実行はプロセス４５７に進み、予測モードが双方向あるいは逆方向から順方向に変更される。
【０２４５】
次に、実行はプロセス４５８に進み、テストを実行して、現ブロックに現れる各タイルの元の予測モードが逆方向ＭＣ予測であるかどうかを決定する。テスト結果がイエスである場合、実行がプロセス４５９に進み、逆方向ＭＣ予測を使用して符号化された各タイルの元の動きベクトルが、順方向ＭＣ予測との併用に適した動きベクトルを生成するように変更される。可視性および符号化テーブルに格納される元の動きベクトルは、単純に、たとえば外挿によって変更することができる。
【０２４６】
次に、実行はサブルーチン４０２に進み、プロセス４５９が先に実行されていた場合、サブルーチン４０２は、元の動きベクトルの代わりに変更された動きベクトルを使用して実行される。
【０２４７】
プロセス４５８におけるテスト結果が、タイルが双方向ＭＣ予測を使用して予測符号化されたことを示すノーであるタイルの場合、実行はプロセス４５５に進み、タイルの使用不可能な動きベクトル、すなわち後続する参照画像に関連する動きベクトルが破棄される。次に、実行はサブルーチン４０２に進み、プロセス４５５が先に実行されていた場合、サブルーチン４０２は、先行する参照画像に関連する動きベクトルのみを使用して実行される。
【０２４８】
符号化プロセス３９１の残りの部分は、符号化プロセス３９０と同じであり、さらに説明はしない。
【０２４９】
現ブロックが複数オブジェクト（ＭＯ）ブロックであり、現画像がＢピクチャとして符号化される場合、現ブロックは、図１２のプロセス３９６において、図１３Ｄを参照して上述した符号化プロセス３９１の複数オブジェクト版により符号化される。符号化プロセスの複数オブジェクト版では、図１３Ｄに示すサブルーチン４０２および４０７は、図１３Ｂにそれぞれ示すサブルーチン４３２および４３７と同様のサブルーチンで置換される。
【０２５０】
ビデオ会議等の多数の重要な用途では、予測符号化オブジェクトベース画像信号は、多数の前景オブジェクトおよび背景オブジェクト、またはスプライトとして画像グループを表すことができる。背景オブジェクトまたはスプライトの属性は、オブジェクトベースからブロックベースへのトランスコーディングの複雑性を大幅に低減するために、利用することができる。たとえば、背景オブジェクトまたはスプライトのコンテンツは、静的のままであってもよく、背景オブジェクトまたはスプライト全体は、比較的単純で均一な動きで動いてもよい。たとえば、ビデオ会議では、背景オブジェクト全体を、単純な並進移動またはカメラパンとしての遠近感変換で移動しうる。並進移動または遠近感変換は、各タイルごとの表現を必要とするというよりはむしろ１つの表現を使用して背景オブジェクト全体の動きを表す。したがって、動きの単一表現を使用して、ブロックベース画像信号の各ブロックの符号化プロセスについて、動きベクトルを決定することができる。
【０２５１】
さらに、背景オブジェクトの一部を含むブロックベース画像のすべてのブロックは、ＳＯ／すべてインター／すべて内部／すべて可視のブロックであり、この処理は最も単純である。
【０２５２】
上述したように、背景オブジェクトまたはスプライトがブロックベースのＭＣ予測およびブロックＤＣＴを使用して符号化される場合、さらなる単純化が得られる。背景オブジェクトまたはスプライトのタイルが、ブロックベース画像が分割されるブロックと正確に位置合わせされる場合、ＭＰＥＧ−４ハフマン復号化および逆量子化を実行してＤＣＴ係数のブロックを回復することにより、背景オブジェクトのタイルをトランスコーディングすることができ、ＤＣＴ係数のブロックに、ブロックベース符号化の量子化方式、続けてハフマン符号化を施すことができる。同様の技術を使用して、他の規則正しいオブジェクトをトランスコーディングすることもできる。
【０２５３】
背景が多数のフレームにわたって変化しない例は、たとえば、シーン記述子を使用して識別することができる。かかる例では、背景を繰り返し再符号化する必要がない。
【０２５４】
本開示に記載したトランスコーダおよびそのモジュールの実施形態は、離散したコンポーネント、小規模または大規模の集積回路、適宜構成されたＡＳＩＣ、および他の適したハードウェアから構築することができる。あるいは、トランスコーダおよびそのモジュールの実施形態は、デジタル信号プロセッサ、マイクロプロセッサ、マイクロコンピュータ、または本発明によるコンピュータ読み取り可能媒体に固定されるトランスコーディングプログラム等のプログラムに応答して動作する内部メモリまたは外部メモリを有するコンピュータを使用して構築することも可能である。コンピュータベースおよびＤＳＰベースの実施形態では、本明細書に図示する各種モジュールは短命であっても、プログラムが実行するときに一時的に存在するだけであってもよい。かかる実施形態では、トランスコーディングプログラムを、フロッピーディスクのセット、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、読み取り専用メモリ等の適切なコンピュータ読み取り可能媒体においてプログラムを具現することによって実行するハードウェアに搬送してもよく、また適切なデータリンクにより、かかるハードウェアに伝送してもよい。
【０２５５】
本開示は、本発明の例示的な実施形態を詳細に説明するが、本発明は記載した厳密な実施形態に限定されず、併記の特許請求の範囲によって定義される本発明の範囲内で様々な変更を実施しうることを理解されたい。
【図面の簡単な説明】
【図１】予測符号化オブジェクトベース画像信号を予測符号化ブロックベース画像信号にトランスコーディングする従来のトランスコーダのブロック図である。
【図２Ａ】図２Ａは、例示的な画像がブロックベースエンコーダにより符号化される方法を示す。
【図２Ｂ】図２Ｂは、例示的な画像がオブジェクトベースエンコーダにより符号化される方法を示す。
【図２Ｃ】図２Ｃは、例示的な画像がオブジェクトベースエンコーダにより符号化される方法を示す。
【図２Ｄ】図２Ｄは、例示的な画像がオブジェクトベースエンコーダにより符号化される方法を示す。
【図２Ｅ】図２Ｅは、例示的な画像がオブジェクトベースエンコーダにより符号化される方法を示す。
【図３Ａ】図３Ａは、予測符号化ブロックベース画像信号を生成する従来のエンコーダを示すブロック図である。
【図３Ｂ】図３Ｂは、予測符号化ブロックベース画像信号用の従来のデコーダを示すブロック図である。
【図４Ａ】図４Ａは、オブジェクトベース画像信号を符号化し復号化するシステムのブロック図である。
【図４Ｂ】図４Ｂは、図４Ａに示すシステム中の例示的なオブジェクト記述子エンコーダの構造を示すブロック図である。
【図４Ｃ】図４Ｃは、図４Ａに示すシステム中の例示的なオブジェクト記述子デコーダの構造を示すブロック図である。
【図５】本発明によるトランスコーディング方法を示すフローチャートである。
【図６Ａ】図６Ａは、本発明によるトランスコーダのブロック図である。
【図６Ｂ】図６Ｂは、図６Ａに示すトランスコーダの選択的パーシャルデコーダの構造を示すブロック図である。
【図６Ｃ】図６Ｃは、図６Ａに示すトランスコーダのパーシャルエンコーダの構造を示すブロック図である。
【図７】図５に示すトランスコーディング方法の可視性および符号化テーブル生成プロセスと、図６Ａに示すトランスコーダのテーブル生成器とによって実行される処理を示すフローチャートである。
【図８】可視性および符号化テーブル中のエントリが属するブロックをどのように細分することができるかを示す。
【図９Ａ】図９Ａは、オブジェクトベースの符号化を使用しての単純な３オブジェクト、３フレームの動画の符号化を示す。
【図９Ｂ】図９Ｂは、ブロックベースの符号化を使用しての、図９Ａに示す単純な３オブジェクト、３フレームの動画の符号化を示す。
【図１０】オブジェクトの複数のタイルがどのようにブロックベース画像信号の単一ブロックに現れることができるかを示す。
【図１１Ａ】図１１Ａは、現画像のブロックに現れるオブジェクトのインスタンスのタイルをどのように、可視、参照画像に部分的に隠れる、または完全に隠れる内部タイルを参照タイルとして使用して予測することができるかを示す。
【図１１Ｂ】図１１Ｂは、現画像のブロックに現れるオブジェクトのインスタンスのタイルをどのように、可視、参照画像に部分的に隠れる、または完全に隠れる境界タイルを参照タイルとして使用して予測することができるかを示す。
【図１２】図５に示すトランスコーディング方法の部分符号化プロセスにおいて、また図６Ａに示すトランスコーダのパーシャルエンコーダによって実行される高位処理を示すフローチャートである。
【図１３Ａ】図１３Ａは、現ブロックが単一オブジェクト／すべてインター／すべて内部／すべて可視のブロックである場合、部分符号化プロセスにおいて、またパーシャルエンコーダによって実行される処理を示すフローチャートである。
【図１３Ｂ】図１３Ｂは、現ブロックが複数オブジェクト／すべてインター／すべて内部／すべて可視のブロックである場合、部分符号化プロセスにおいて、またパーシャルエンコーダによって実行される処理を示すフローチャートである。
【図１３Ｃ】図１３Ｃは、現ブロックが単一オブジェクトブロックであるが、すべてインター／すべて内部／すべて可視のブロックではなく、かつ現画像がＰ画像として予測符号化される場合、部分符号化プロセスにおいて、またパーシャルエンコーダによって実行される処理を示すフローチャートである。
【図１３Ｄ】図１３Ｄは、現ブロックが単一オブジェクトブロックであるが、すべてインター／すべて内部／すべて可視のブロックではなく、かつ現画像がＢ画像として予測符号化される場合、部分符号化プロセスにおいて、またパーシャルエンコーダによって実行される処理を示すフローチャートである。
【図１】
0004326743.tif 000004
【図２Ａ】
0004326743.tif 000005
【図２Ｂ】
0004326743.tif 000006
【図２Ｃ】
0004326743.tif 000007
【図２Ｄ】
0004326743.tif 000008
【図２Ｅ】
0004326743.tif 000009
【図３Ａ】
0004326743.tif 000010
【図３Ｂ】
0004326743.tif 000011
【図４Ａ】
0004326743.tif 000012
【図４Ｂ】
0004326743.tif 000013
【図４Ｃ】
0004326743.tif 000014
【図５】
0004326743.tif 000015
【図６Ａ】
0004326743.tif 000016
【図６Ｂ】
0004326743.tif 000017
【図６Ｃ】
0004326743.tif 000018
【図７】
0004326743.tif 000019
【図８】
0004326743.tif 000020
【図９Ａ】
0004326743.tif 000021
【図９Ｂ】
0004326743.tif 000022
【図１０】
0004326743.tif 000023
【図１１Ａ】
0004326743.tif 000024
【図１１Ｂ】
0004326743.tif 000025
【図１２】
0004326743.tif 000026
【図１３Ａ】
0004326743.tif 000027
【図１３Ｂ】
0004326743.tif 000028
【図１３Ｃ】
0004326743.tif 000029
【図１３Ｄ】
0004326743.tif 000030