(57)【要約】  動画像符号化データからブロックデータ及びその画像特性を表すデータを抽出する符号化データ解析部１と、上記画像特性ごとに符号量がそれぞれ最適化された複数の符号テーブル４，５と、符号化データ解析部１が抽出した画像特性を表すデータに基づいて再符号化に用いる符号テーブルを選択する符号テーブル選択部２と、符号テーブル選択部２が選択した符号テーブルを用いてブロックデータを再符号化した符号化データのビットストリームを出力する可変長再符号化部３とを備える。【特許請求の範囲】
【請求項１】
動画像の符号化データのビットストリームを入力してその構成を解析し、上記動画像を構成する画像内の部分領域の符号化データ及び上記部分領域の画像特性を表すデータを抽出する符号化データ解析部と、
上記画像特性ごとに上記部分領域の符号化データの符号化対象シンボルに割り当てる符号の符号量がそれぞれ最適化された複数の符号テーブルからなる符号テーブル群と、
上記符号化データ解析部が抽出した上記画像特性を表すデータに基づいて、上記符号テーブル群の中から上記部分領域の符号化データの再符号化に用いる符号テーブルを選択する符号テーブル選択部と、
上記符号テーブル選択部が選択した符号テーブルを用いて上記部分領域の符号化データを再符号化し、再符号化したデータを含む符号化データのビットストリームを出力する再符号化部と
を備えた符号化データ再符号化装置。
【請求項２】
符号化データ解析部は、入力した符号化データのビットストリームから動画像を構成する画像内の部分領域についての動きベクトルデータを抽出し、
符号テーブル群は、上記動きベクトルの大きさで特定される画像特性ごとに上記部分領域の符号化データの符号化対象シンボルに割り当てる符号の符号量がそれぞれ最適化された複数の符号テーブルからなり、
符号テーブル選択部は、上記符号化データ解析部が抽出した動きベクトルの大きさに基づいて、上記符号テーブル群の中から上記部分領域の符号化データの再符号化に用いる符号テーブルを選択することを特徴とする請求項１記載の符号化データ再符号化装置。
【請求項３】
符号化データ解析部は、入力した符号化データのビットストリームから動画像を構成する画像内の部分領域についての離散コサイン変換係数の直流成分データを抽出し、
符号テーブル群は、上記直流成分データで特定される画像特性ごとに上記部分領域の符号化データの符号化対象シンボルに割り当てる符号の符号量がそれぞれ最適化された複数の符号テーブルからなり、
符号テーブル選択部は、上記符号化データ解析部が抽出した直流成分の大きさに基づいて、上記符号テーブル群の中から上記部分領域の符号化データの再符号化に用いる符号テーブルを選択することを特徴とする請求項１記載の符号化データ再符号化装置。
【請求項４】
再符号化部は、符号テーブル選択部が選択した符号テーブルを特定する情報を、再符号化したデータを含む符号化データのビットストリームの一部に含めて出力することを特徴とする請求項１記載の符号化データ再符号化装置。
【請求項５】
動画像の符号化データのビットストリームを入力してその構成を解析し、当該符号化データの構成データを抽出する符号化データ解析部と、
上記符号化データ解析部が抽出した上記符号化データの各構成データをそれぞれ記憶する複数の記憶部からなる記憶部群と、
上記符号化データの構成データに対して、その復号処理に使用しないデータの削除処理及び／又は上記構成データをより情報量が小さなディジタルデータに置き換える処理を実行するデータ変換部と、
上記記憶部群の各記憶部から上記符号化データの各構成データを読み出して再符号化対象のデータを再符号化し、再符号化したデータを含む符号化データのビットストリームを出力する再符号化部と
を備えた符号化データ再符号化装置。
【請求項６】
符号化データ解析部は、符号化データの各構成データを抽出すると、記憶部群の各構成データに対応する記憶部に逐次記憶し、
再符号化部は、上記記憶部群の各記憶部に記憶された構成データを複数データ分まとめてそれぞれ読み出して再符号化することを特徴とする請求項５記載の符号化データ再符号化装置。
【請求項７】
動画像の符号化データであって、請求項１記載の符号化データ再符号化装置により上記動画像を構成する画像内の部分領域の符号化データが再符号化されたデータのビットストリームを入力してその構成を解析し、再符号化された上記部分領域の符号化データ及び上記部分領域の画像特性を表すデータを抽出する再符号化データ解析部と、
上記画像特性ごとに上記部分領域の符号化データの符号化対象シンボルに割り当てる符号の符号量がそれぞれ最適化された複数の符号テーブルからなる符号テーブル群と、
上記再符号化データ解析部が抽出した上記画像特性を表すデータに基づいて、上記符号テーブル群の中から再符号化に用いられた符号テーブルを選択する符号テーブル選択部と、
上記符号テーブル選択部が選択した符号テーブルを用いて上記部分領域の符号化データを復号し、元の符号化データのビットストリームを出力する復号処理部と
を備えた復号装置。
【請求項８】
再符号化データ解析部は、再符号化された符号化データのビットストリームから動画像を構成する画像内の部分領域についての動きベクトルデータを抽出し、
符号テーブル群は、上記動きベクトルの大きさで特定される画像特性ごとに上記部分領域の符号化データの符号化対象シンボルに割り当てる符号の符号量がそれぞれ最適化された複数の符号テーブルからなり、
符号テーブル選択部は、上記再符号化データ解析部が抽出した動きベクトルの大きさに基づいて、上記符号テーブル群の中から再符号化に用いられた符号テーブルを選択することを特徴とする請求項７記載の復号装置。
【請求項９】
再符号化データ解析部は、再符号化された符号化データのビットストリームから動画像を構成する画像内の部分領域についての離散コサイン変換係数の直流成分データを抽出し、
符号テーブル群は、上記直流成分の大きさで特定される画像特性ごとに上記部分領域の符号化データの符号化対象シンボルに割り当てる符号の符号量がそれぞれ最適化された複数の符号テーブルからなり、
符号テーブル選択部は、上記再符号化データ解析部が抽出した直流成分の大きさに基づいて、上記符号テーブル群の中から復号対象のブロックデータの再符号化に用いられた符号テーブルを選択することを特徴とする請求項７記載の復号装置。
【請求項１０】
再符号化データ解析部は、再符号化された符号化データのビットストリームの一部として再符号化に用いた符号テーブルを特定する情報が含まれている場合、当該符号テーブルを特定する情報を抽出し、
符号テーブル選択部は、上記符号テーブルを特定する情報に基づいて、符号テーブル群の中から復号に用いる符号テーブルを選択することを特徴とする請求項７記載の復号装置。
【請求項１１】
請求項５記載の符号化データ再符号化装置により構成データが再符号化された動画像の符号化データのビットストリームを入力してその構成を解析し、当該符号化データの構成データを抽出する再符号化データ解析部と、
上記再符号化データ解析部が抽出した上記符号化データの各構成データをそれぞれ記憶する複数の記憶部からなる記憶部群と、
上記符号化データの構成データに対して、上記符号化データ再符号化装置によりその復号処理に使用しないデータの削除処理及び／又は上記構成データをより小さな情報量のディジタルデータに置き換える処理が施されている場合、これらを元のデータに戻す変換処理を実行するデータ逆変換部と、
上記記憶部群の各記憶部から上記符号化データの各構成データを読み出して再符号化された構成データを復号し、元の符号化データのビットストリームを出力する復号処理部と
を備えた復号装置。
【請求項１２】
動画像の符号化データのビットストリームを入力してその構成を解析し、上記動画像を構成する画像内の部分領域の符号化データ及び上記部分領域の画像特性を表すデータを抽出する符号化データ解析部、
上記画像特性ごとに上記部分領域の符号化データの符号化対象シンボルに割り当てる符号の符号量がそれぞれ最適化された複数の符号テーブルからなる符号テーブル群、
上記符号化データ解析部が抽出した上記画像特性を表すデータに基づいて、上記符号テーブル群の中から上記部分領域の符号化データの再符号化に用いる符号テーブルを選択する符号テーブル選択部、
上記符号テーブル選択部が選択した符号テーブルを用いて上記部分領域の符号化データを再符号化し、再符号化したデータを含む符号化データのビットストリームを出力する再符号化部
としてコンピュータを機能させるプログラム。
【請求項１３】
動画像の符号化データのビットストリームを入力してその構成を解析し、当該符号化データの構成データを抽出する符号化データ解析部、
上記符号化データ解析部が抽出した上記符号化データの各構成データをそれぞれ記憶する複数の記憶部からなる記憶部群、
上記符号化データの構成データに対して、その復号処理に使用しないデータの削除処理及び／又は上記構成データをより情報量が小さなディジタルデータに置き換える処理を実行するデータ変換部、
上記記憶部群の各記憶部から上記符号化データの各構成データを読み出して再符号化対象のデータを再符号化し、再符号化したデータを含む符号化データのビットストリームを出力する再符号化部
としてコンピュータを機能させるプログラム。
【請求項１４】
動画像の符号化データであって、請求項１記載の符号化データ再符号化装置により上記動画像を構成する画像内の部分領域の符号化データが再符号化されたデータのビットストリームを入力してその構成を解析し、再符号化された上記部分領域の符号化データ及び上記部分領域の画像特性を表すデータを抽出する再符号化データ解析部、
上記画像特性ごとに上記部分領域の符号化データの符号化対象シンボルに割り当てる符号の符号量がそれぞれ最適化された複数の符号テーブルからなる符号テーブル群、
上記再符号化データ解析部が抽出した上記画像特性を表すデータに基づいて、上記符号テーブル群の中から再符号化に用いられた符号テーブルを選択する符号テーブル選択部、
上記符号テーブル選択部が選択した符号テーブルを用いて上記部分領域の符号化データを復号し、元の符号化データのビットストリームを出力する復号処理部
としてコンピュータを機能させるプログラム。
【請求項１５】
請求項５記載の符号化データ再符号化装置により構成データが再符号化された動画像の符号化データのビットストリームを入力してその構成を解析し、当該符号化データの構成データを抽出する再符号化データ解析部、
上記再符号化データ解析部が抽出した上記符号化データの各構成データをそれぞれ記憶する複数の記憶部からなる記憶部群、
上記符号化データの構成データに対して、上記符号化データ再符号化装置によりその復号処理に使用しないデータの削除処理及び／又は上記構成データをより小さな情報量のディジタルデータに置き換える処理が施されている場合、これらを元のデータに戻す変換処理を実行するデータ逆変換部、
上記記憶部群の各記憶部から上記符号化データの各構成データを読み出して再符号化された構成データを復号し、元の符号化データのビットストリームを出力する復号処理部
としてコンピュータを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像符号化データを再符号化する符号化データ再符号化装置及びその復号装置並びにこれらをコンピュータに実現させるプログラムに関するものである。
【背景技術】
【０００２】
近年、動画像信号の情報量を削減するため、複数種類の符号化方式が提案されている。これら方式の中には既に国際標準方式として成立しているものも複数ある。例えば、ＩＳＯ／ＩＥＣ  １３８１８−２（ＭＰＥＧ−２）は代表的な映像符号化方式であり、デジタル放送やＤＶＤメディアへの映像蓄積方式として世界各国で広く採用されている。【０００３】
また、最近では、このＭＰＥＧ−２で符号化した動画像符号化データを損失なく再符号化する動画像符号化データの再符号化方式についても検討が行われている。例えば、特許文献１に挙げられる方式がある。この特許文献１の方式では、入力した符号化データのうち、動画像圧縮基準としての符号化方式で定義される可変長符号シンボルを再符号化対象シンボルとし、この再符号化対象シンボルの発生頻度を所定のフレーム単位に算出する。そして、算出された発生頻度を元に、符号化データ中の再符号化対象シンボルを、算術符号を用いるか、あるいは算出された発生頻度を元に再生成した可変長符号化テーブルを用いるかして再符号化する。【０００４】
この他、特許文献１には、再符号化対象シンボルの発生頻度を、二次元可変長符号シンボルを復号して算出したジグザグスキャンの位置ごと、あるいは量子化ステップごとに算出し、算出した発生頻度を元に動画像符号化データを再符号化している。【０００５】
【特許文献１】特開２００１−３４６２１２号公報
【０００６】
特許文献１のような従来の技術では、ジグザグスキャン位置や量子化ステップごとに算出した再符号化対象シンボルの発生頻度を元にして可変長符号を決定することのみが開示されているため、符号量を最適化してより効率良く再符号化することができないという課題があった。【０００７】
例えば、従来の技術では、シンボルの発生確率に影響を与える画像内の部分領域ごとの画像特性に応じて符号量の増加を抑えた最適化をすることができない。例えば、あるピクチャの中に平坦な領域と複雑なテクスチャを有する領域が含まれている場合、これら領域ごとの特性に応じて符号量が最適化された高効率の再符号化を実行することができない。【０００８】
また、従来では、符号化データのシンタックスの順序について必要に応じて変更を行いつつ再符号化することができない。このため、符号化されるシンボルについて、例えば画像中の領域ごとに大きな偏りがあってもその偏りを利用することができず、符号量が最適化された高効率の再符号化を実行することができない。【０００９】
さらに、従来では、例えばフレーム内符号化ピクチャであるＩピクチャのシンタックスには復号処理を行う際に必ずしも必要とされないフラグが存在するにも関わらず、これを除去する手段が無い。このため、復号処理に使用しないデータを除去して符号量を最適化することができない。【００１０】
この発明は上記のような課題を解決するためになされたもので、符号量を最適化して高効率な再符号化が可能な符号化データの再符号化装置及びこれに再符号化された符号化データを好適に復号する復号装置並びにこれらをコンピュータに実現させるプログラムを得ることを目的とする。
【発明の開示】
【００１１】
この発明に係る符号化データ再符号化装置は、動画像の符号化データのビットストリームを入力してその構成を解析し、動画像を構成する画像内の部分領域の符号化データ及び部分領域の画像特性を表すデータを抽出する符号化データ解析部と、画像特性ごとに部分領域の符号化データの符号化対象シンボルに割り当てる符号の符号量がそれぞれ最適化された複数の符号テーブルからなる符号テーブル群と、符号化データ解析部が抽出した画像特性を表すデータに基づいて、符号テーブル群の中から部分領域の符号化データの再符号化に用いる符号テーブルを選択する符号テーブル選択部と、符号テーブル選択部が選択した符号テーブルを用いて部分領域の符号化データを再符号化し、再符号化したデータを含む符号化データのビットストリームを出力する再符号化部とを備えるものである。これにより、符号量を最適化して高効率な再符号化を実現することができるという効果がある。
【００１２】
この発明に係る復号装置は、動画像の符号化データであって、上記符号化データ再符号化装置により動画像を構成する画像内の部分領域の符号化データが再符号化されたデータのビットストリームを入力してその構成を解析し、再符号化された部分領域の符号化データ及び部分領域の画像特性を表すデータを抽出する再符号化データ解析部と、画像特性ごとに部分領域の符号化データの符号化対象シンボルに割り当てる符号の符号量がそれぞれ最適化された複数の符号テーブルからなる符号テーブル群と、再符号化データ解析部が抽出した画像特性を表すデータに基づいて、符号テーブル群の中から再符号化に用いられた符号テーブルを選択する符号テーブル選択部と、符号テーブル選択部が選択した符号テーブルを用いて部分領域の符号化データを復号し、元の符号化データのビットストリームを出力する復号処理部とを備える。これにより、各領域ごとにシンボルを変更して再符号化されている符号化データを元の符号化データに復元することができるという効果がある。
【図面の簡単な説明】
【００１３】
【図１】この発明の実施の形態１による符号化データ再符号化装置の構成を示すブロック図である。
【図２】シンボルとこれに割り当てる等長符号語との対応関係を示す表である。
【図３】シンボルとこの発生確率に応じて割り当てた可変長符号語との対応関係を示す表である。
【図４】ＭＰＥＧ−２のシンタックスの概要を示す図である。
【図５】可変長符号テーブルの選択基準を説明するための図である。
【図６】この発明の実施の形態２による符号化データ再符号化装置の構成を示すブロック図である。
【図７】この発明の実施の形態３による復号装置の構成を示すブロック図である。
【図８】この発明の実施の形態４による復号装置の構成を示すブロック図である。
【発明を実施するための最良の形態】
【００１４】
以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１による符号化データ再符号化装置の構成を示すブロック図である。本実施の形態による符号化データ再符号化装置は、符号化データ解析部１、可変長符号テーブル選択部（符号テーブル選択部）２、可変長再符号化部（再符号化部）３及び可変長符号テーブル（符号テーブル、符号テーブル群）４，５を含んで構成される。符号化データ解析部１は、ＭＰＥＧ−２の標準に則った動画像符号化データの復号処理を行い、符号化データから再符号化対象のデータを抽出する。【００１５】
可変長符号テーブル選択部２は、再符号化対象のデータに応じて最も符号量が小さくなる符号テーブルを複数ある可変長符号テーブルの中から選択する。図及び以降の説明では、２種類の可変長符号テーブル４，５からいずれかのテーブルを選択する。可変長再符号化部３は、可変長符号テーブル選択部２によって選択された可変長符号テーブルを用いて動画像符号化データを再符号化する。【００１６】
なお、図示の例では、再符号化に用いる可変長符号テーブルとして２種類のテーブルを設けた場合を例に挙げたが、本発明はこれに限定されるものではなく、３種類以上のテーブルを設けても構わない。例えば、可変長符号テーブルを、後述する動きベクトルデータやマクロブロックデータなどのデータごとに最適な符号語を割り当てられるものを用意してもよい。【００１７】
ここで、符号化対象のシンボルに対する符号語の割り当てについて説明する。例えば、４つのシンボル（Ａ，Ｂ，Ｃ，Ｄ）に対して符号語を割り当てる場合を考える。図２は、符号化対象のシンボルとこれに割り当てる等長符号語との対応関係を示す表である。この図に示す符号語の１シンボルあたりの符号長は常に２ビットである。この符号語の割り当ては、４つ全てのシンボルの発生確率が等しい０．２５の場合に最適となる。【００１８】
一方、シンボルの発生確率の偏りが事前にわかっている場合等では、シンボルの発生確率に応じて符号長を変化させて全体の符号量を削減するハフマン符号を用いた符号化を用いる。図３は、符号化対象のシンボルとその発生確率に応じて割り当てた可変長符号語との対応関係を示す表である。【００１９】
１シンボルあたりの平均符号長は、シンボルＡの発生確率×シンボルＡに割り当てた符号語のビット長＋シンボルＢの発生確率×シンボルＢに割り当てた符号語のビット長＋シンボルＣの発生確率×シンボルＣに割り当てた符号語のビット長＋シンボルＤの発生確率×シンボルＤに割り当てた符号語のビット長で求められる。図３の場合では、０．５×１＋０．２５×２＋０．１２５×３＋０．１２５×３＝１．７５ビットである。これは、図２に示す２ビットの等長符号語から０．２５ビットだけ符号量が削減できることになる。【００２０】
一方、４つのシンボルの発生確率が全て等しい０．２５である場合、図３に示す符号語を使用した場合の平均符号長を求めると、０．２５×１＋０．２５×２＋０．２５×３＋０．２５×３＝２．２５ビットとなる。これは、図２に示す２ビットの等長符号語から０．２５ビットだけ符号量が増加している。このように、符号量を削減して効率的な再符号化を行うには、シンボルの発生確率に応じて最適な符号語を割り当てる必要がある。【００２１】
また、上述した、符号化データ解析部１、可変長符号テーブル選択部２及び可変長再符号化部３は、例えば汎用コンピュータ等を用いて本発明に従う符号化データ再符号化プログラムを実行させることで具現化できる。【００２２】
もう少し詳細に説明すると、本発明に従う符号化データ再符号化プログラムを、コンピュータに読み込ませて、その動作を制御することにより、コンピュータ上に図１に示す符号化データ解析部１、可変長符号テーブル選択部２及び可変長再符号化部３を実現することができる。また、可変長符号テーブル４，５については、上記コンピュータの記憶装置上に構成することができる。【００２３】
なお、以下の説明において、本発明の符号化データ再符号化装置を具現化するコンピュータ自体の構成及びその基本的な機能については、当業者が当該分野の技術常識に基づいて容易に認識できるものであり、本発明の本質に直接関わるものでないので詳細な記載を省略する。【００２４】
図４は、ＭＰＥＧ−２のシンタックスの概要を示す図である。以降の説明では、符号化データ解析部１がＭＰＥＧ−２標準に則って動作するものとする。ＭＰＥＧ−２では、映像信号を階層化して扱っている。例えば、図４に示すピクチャデータは、１つのピクチャヘッダと複数のスライスデータから構成される。また、スライスデータは、１つのスライスヘッダ及び複数のマクロブロックデータから構成される。【００２５】
１つのマクロブロックは、４つの輝度信号ブロック及び２種類の色差信号ブロックから構成される。また、マクロブロックデータは、輝度信号ブロック及び色差信号ブロックによる６つのブロックデータと、幾つかのマクロブロックに関する情報とから構成されている。【００２６】
このように、ＭＰＥＧ−２による符号化データは、ピクチャヘッダやスライスヘッダなどのヘッダ情報に加え、マクロブロックに関する情報である、マクロブロックの位置情報を示すＭＡＩ（Macroblock Address Increment）、マクロブロックモード情報及びマクロブロック情報、さらにマクロブロックごとに６つのブロックデータから構成される。【００２７】
なお、マクロブロックモード情報とは、マクロブロックタイプ、動き補償予測タイプ及びＤＣＴ（Discrete Cosine Transform）ブロックタイプの３種類の情報を含む、マクロブロックに関する情報である。また、マクロブロック情報とは、動きベクトルデータ、量子化パラメータ（量子化幅特性）及び有意ブロックパターンであるＣＢＰ（Coded Block Pattern）などの、マクロブロックごとに付与される情報である。【００２８】
次に動作について説明する。
この実施の形態１では、説明の簡単のため、ブロックデータのみを再符号化の対象にする場合を例に挙げて説明する。
先ず、符号化データ解析部１は、ビットストリームとして入力した符号化データに対して、ＭＰＥＧ−２の標準に則った復号処理を施してその構成を解析し、当該ビットストリームの構成データに応じた出力先を決定する。【００２９】
具体的には、再符号化対象のブロックデータ以外のデータであって、後述する再符号化に使用しないデータについては、図中の可変長再符号化部３の出力につながる矢印に示すようにそのまま装置出力とする。一方、入力した符号化データ中のブロックデータ及び後述する可変長符号テーブル選択部２がテーブル選択に使用する特定のデータ（例えば、マクロブロックに付与された動きベクトルデータ等）については、可変長符号テーブル選択部２に出力する。【００３０】
ブロックデータは、各ブロックの映像信号（ＰピクチャやＢピクチャの場合、符号化対象の入力信号と符号化済みの予測参照信号との差分信号）に対して２次元ＤＣＴを施して得られる変換係数を量子化したものを含んでなり、各ブロックのテクスチャを示す情報である。このため、例えば動画像の画面内に複数の被写体が映っている場合、同じ被写体のブロックデータのシンボルの発生頻度は比較的一様になり、異なる被写体のブロックデータのシンボルの発生頻度はばらつく傾向にある。【００３１】
そこで、可変長符号テーブル選択部２は、上記ブロックデータを再符号化するにあたり、再符号化に使用する可変長符号テーブル４，５の割り当てを上記ブロックデータにおける被写体ごとに切り替えるように制御する。具体的には、例えば下記第１〜第５の選択処理を可変長符号テーブル選択部２が実行して可変長符号テーブルを切り替える。【００３２】
第１の選択処理では、マクロブロックごとに付与されている動きベクトルの大きさに関する閾値を可変長符号テーブル選択部２に予め設定しておく。そして、可変長符号テーブル選択部２は、符号化データ解析部１から、再符号化対象のブロックデータ（動画像を構成する画像内の部分領域の符号化データ）及びマクロブロックに付与されている動きベクトルを入力すると、当該動きベクトルと上記閾値との比較結果に応じて可変長符号テーブル４，５のうちからいずれかのテーブルを再符号化のために選択する。【００３３】
具体例を挙げて説明する。動き補償予測を行うＰピクチャやＢピクチャの場合、符号化対象である入力信号と符号化済みの予測参照信号との差分信号に対して２次元ＤＣＴを施して得られる変換係数を量子化したものがブロックデータを構成する。動画像を構成する時系列に並んだ画像間の変化が小さな領域では、差分信号が小さくなるため、０に近い小さな値に発生確率が偏ったブロックデータのシンボル（量子化された変換係数）と小さな動きベクトルとが符号化対象になる。【００３４】
逆に、画像間の変化の大きな領域では、発生確率の偏りが小さなブロックデータのシンボルと大きな動きベクトルとが符号化対象となる。また、動きベクトルの大きさは、動画像を構成する時系列に並んだ画像の各マクロブロック領域間における画像信号の変化という画像特性を示している。【００３５】
そこで、等長符号語を割り当てても符号量が許容範囲の増加量となるように上記閾値を決定する。そして、この閾値以上の大きさの動きベクトルで特定されるマクロブロックの画像領域は、動きベクトルが大きく、ブロックデータの符号化対象シンボルの発生確率の偏りが小さい画像特性を有すると判定して図２に示す等長符号語を割り当てる符号テーブルを選択する。【００３６】
一方、上記閾値未満の動きベクトルで特定されるマクロブロックの画像領域は、動きベクトルが小さく、ブロックデータの符号化対象シンボルの発生確率が０に近い小さな値に発生確率が偏っていると判定する。この場合、上述したように、等長符号語を割り当てると、かえって符号量が増加してしまう。そこで、閾値未満の動きベクトルに対応する符号テーブルとして、図３に示すような発生確率の偏りに応じて最も符号量が少なくなる可変長符号語を割り当てる符号テーブルを選択する。【００３７】
また、動きベクトルに関する閾値を２値以上設定し、動きベクトルの大きさでブロックデータを３つ若しくはこれ以上に分け、各閾値により分類される動きベクトルの大きさで特定される画像特性に対応した符号テーブルを予め用意する。このようにしても、２値以上の閾値で分類されたブロックデータを再符号化するにあたり適切な符号テーブルを選択することができる。【００３８】
さらに、可変長符号テーブル選択部２において、動きベクトルに関する閾値の大きさを動的に変更制御できる構成を設け、閾値の変更より変更される大きさの範囲ごとに符号テーブルを用意する。例えば、既に符号化されたピクチャの動きベクトルの分布から符号化された動画像中のシーンの動きの激しさを推測し、動きの大きなシーンが継続している場合には閾値を小さくする。【００３９】
この場合、閾値以上の動きベクトルに対して、例えば図２に示す等長符号語を割り当てる符号テーブルを用意しておけば、動きの大きなシーンが継続している場合における閾値の変更により当該符号テーブルが選択されやすくなる。このようにすることで、動画像を構成する画像内の部分領域における画像信号特性の経時変化に柔軟に対応することもできる。【００４０】
可変長符号化部３では、上述のようにして可変長符号テーブル選択部２が上記マクロブロックに対して選択した可変長符号テーブルを用いて、上記マクロブロックを構成するブロックデータを再符号化することになる。この場合、動きベクトルの大きさで可変長符号テーブルの選択が一意に決められる。【００４１】
また、再符号化された動画像符号化データを復号するにあたり、図４に示す動きベクトルデータから動きベクトルの大きさが求められ、再符号化に用いられた符号テーブルを特定することができる。このため、再符号化においてどの符号テーブルが選択されたかを特定する情報を再符号化した動画像符号化データに付与する必要はない。【００４２】
第２の選択処理では、再符号化対象のブロックデータのシンボルの個数に関する閾値を可変長符号テーブル選択部２に予め設定しておく。そして、符号化データ解析部１は、入力した符号化データを解析してブロックデータ及びそのシンボルの個数を求めて可変長符号テーブル選択部２に出力する。【００４３】
可変長符号テーブル選択部２では、当該シンボルの個数と上記閾値との比較結果に応じて可変長符号テーブル４，５のうちからいずれかのテーブルを再符号化のために選択する。【００４４】
なお、ブロックデータのシンボルの個数は、図４に示すように動画像符号化データのシンタックスで設定されない。つまり、再符号化された動画像符号化データを復号するにあたり、当該動画像符号化データから再符号化に用いられた符号テーブルを特定することができない。【００４５】
そこで、可変長再符号化部３は、再符号化で選択された符号テーブルを特定するための情報を再符号化した動画像符号化データに付与する。再符号化で選択された符号テーブルを特定するための情報を付与する方法としては、例えば再符号化した動画像符号化データにおけるピクチャヘッダ、スライスヘッダ、マクロブロックモード情報などの一部として付与することが挙げられる。【００４６】
ブロックデータには、画面上平坦な領域では通常１〜数個程度のシンボルしか含まれないが、複雑なテクスチャを有する領域では多くのシンボルが含まれている。シンボルの個数に応じて符号化されるべきシンボルの発生頻度も異なる。【００４７】
このため、シンボルの発生個数に応じて適切な可変長符号テーブルを選択することにより、効率的に再符号化処理を行うことが可能となる。このように、シンボルの個数は、画像の各ブロックデータにより特定される部分領域が平坦であるか、あるいは複雑なテクスチャを有しているかなどの画像特性を知るための指標となり得る。【００４８】
第３の選択処理では、再符号化対象のブロックデータにおけるＤＣＴ係数のＤＣ成分の値に関する閾値を可変長符号テーブル選択部２に予め設定しておく。そして、符号化データ解析部１は、入力した符号化データを解析してブロックデータ及びそのＤＣ成分の値を求めて可変長符号テーブル選択部２に出力する。【００４９】
可変長符号テーブル選択部２では、当該再符号化対象のブロックデータで特定される領域のＤＣ成分とその周囲の領域におけるＤＣ成分の差分値と、上記閾値との比較結果に応じて可変長符号テーブル４，５のうちからいずれかのテーブルを再符号化のために選択する。【００５０】
可変長再符号化部３は、上述のようにして可変長符号テーブル選択部２が選択した可変長符号テーブルを用いてブロックデータの再符号化処理を行う。ＭＰＥＧ−２標準において、ブロックデータのＤＣ成分の符号化処理はＡＣ成分の符号化処理とは異なる方式をとる。【００５１】
つまり、再符号化された動画像符号化データを復号する際、当該動画像符号化データからＤＣ成分値が取り出され、可変長符号テーブルの選択処理が一意に決められる。このため、どの符号テーブルを選択したかの情報を再符号化された動画像符号化データに付与する必要はない。【００５２】
なお、画像内のＤＣ成分値が同じ領域では同じ明るさ・色の状態であることが多い。このため、このような明暗・色の状態を示すＤＣ成分の値は、画像内の部分領域の画像特性を表す指標となり得る。【００５３】
第４の選択処理では、可変長符号テーブル選択部２が、再符号化のために選択する対象の複数の可変長符号テーブルのうちの全て若しくは２つ以上を使用して実際に発生する符号量を算出し、最も符号量の少ない可変長符号テーブルを選択する。この場合、一旦可変長符号化処理を行う必要があるため再符号化における処理量は増加するが、最も符号化効率のよい可変長符号テーブルを選択することができる。【００５４】
なお、本選択処理では、可変長符号テーブル選択部２が、実際に発生する符号量に基づいて符号テーブルを選択する。このため、再符号化した動画像符号化データを復号するにあたり、当該動画像符号化データから再符号化に選択された可変長符号テーブルを特定できない。【００５５】
そこで、第２の選択処理と同様に、可変長符号テーブル選択部２は、再符号化に選択された符号テーブルを特定するための情報を再符号化した動画像符号化データに別途付与する。【００５６】
第５の選択処理では、符号化データ解析部１が、ブロックデータにおけるシンボルの発生頻度を測定する。複数のシンボルの発生頻度パターンに応じて、最適な符号量を与える符号テーブルを予め複数用意しておく。【００５７】
可変長符号テーブル選択部２は、符号化データ解析部１からブロックデータにおけるシンボルの発生頻度を逐次入力し、その発生頻度のパターンが現在選択している可変長符号テーブルに適しているか否かを判定する。【００５８】
例えば、実際の符号化によりシンボルの発生頻度パターンと最適な符号量を与える符号テーブルとの関係を予め求めておき、この関係に従う符号テーブルを設ける。また、可変長符号テーブル選択部２には、符号テーブルに対応付けてシンボルの発生頻度パターンを登録しておく。【００５９】
そして、可変長符号テーブル選択部２が、現在選択している可変長符号テーブルに対応するシンボルの発生頻度パターンと、符号化データ解析部１から入力したシンボルの発生頻度パターンとの比較により、符号化データ解析部１から入力したシンボルの発生頻度パターンが現在選択している可変長符号テーブルに適しているか否かを判定する。【００６０】
これにより、現在選択している符号テーブルに適していると判定されれば、可変長符号テーブル選択部２は、現在選択している可変長符号テーブルをそのまま再符号化のために選択する。【００６１】
一方、現在選択している可変長符号テーブルに適していないと判定されると、可変長符号テーブル選択部２は、符号化データ解析部１から入力したシンボルの発生頻度パターンと予め登録しているシンボルの発生頻度パターンとの比較結果に基づいて最適な可変長符号テーブルを決定し、当該符号テーブルに選択を切り替える。【００６２】
例えば、符号化データ解析部１から入力したブロックデータの符号語シンボルの発生頻度が、±１や±２などの小さなシンボルが多く発生しているような偏りがブロックデータで特定される部分領域に認められる発生頻度パターンである場合を考える。【００６３】
この場合、可変長符号テーブル選択部２は、図３に示したような発生確率に応じた可変長符号語を用いる符号テーブルを選択する。一方、どのシンボルもほぼ同じ頻度で発生している発生頻度パターンであれば、可変長符号テーブル選択部２は、図２に示したような等長符号語を用いる符号テーブルを選択する。【００６４】
なお、ブロックデータのシンボルの発生頻度は、再符号化された動画像符号化データを復号する際、再符号化された動画像符号化データのブロックデータから読み出され、可変長符号テーブルの選択処理が一意に決められる。このため、どの符号テーブルを選択したかの情報を再符号化した動画像符号化データに付与することは不要である。【００６５】
上述した例では、可変長符号テーブルの選択処理をブロック単位に行う場合を説明したが、上述したような画像特性を表すデータをマクロブロック単位やスライス単位で抽出して選択処理を行うように構成してもよい。【００６６】
また、どの符号テーブルを選択したかを特定する情報を別途付与する場合、ブロック、マクロブロック、スライス単位に符号テーブルを識別するためのフラグを設けてもよい。【００６７】
さらに、再符号化においてどの符号テーブルを選択したかを特定する情報としては、例えば下記のようなものを採用しても良い。図５は、可変長符号テーブルの選択基準を説明する図であり、再符号化対象の符号化データの一画面を示している。図に示すように、画面６を複数の矩形領域で分割し、画面６中に斜線を付した複数の矩形領域で構成される領域７についての画像データから画像特性を表すデータを抽出する。【００６８】
そして、この画像特性を表すデータを用いて可変長符号テーブルの選択処理を実行する場合を考える。この場合、領域７の位置によって一意に選択された可変長符号テーブルを決定することができる。そこで、領域７を構成する左上と右下の矩形領域の位置情報のみを、符号テーブルを特定する情報として採用してもよい。【００６９】
なお、第１、第３、第５の選択処理のように選択した符号テーブルを特定する情報が不要な場合でも、再符号化した動画像符号化データに符号テーブルを特定する情報を別途付与しても構わない。【００７０】
以上のように、実施の形態１によれば、動画像の符号化データのビットストリームを入力してその構成を解析し、ブロックデータ及び画像特性を表すデータを抽出する符号化データ解析部１と、上記画像特性ごとにブロックデータの符号化対象シンボルに割り当てる符号の符号量がそれぞれ最適化された可変長符号テーブル４，５と、符号化データ解析部１が抽出したブロックデータの画像特性を表すデータに基づいて再符号化に用いる可変長符号テーブルを選択する符号テーブル選択部２と、符号テーブル選択部２が選択した可変長符号テーブルを用いてブロックデータを再符号化し、再符号化したブロックデータを含む符号化データのビットストリームを出力する可変長再符号化部３とを備えるので、動画像を構成する画像内の部分領域の符号化データであって、動画像符号化データの大部分を占めるブロックデータを再符号化対象とすることにより、画像内の部分領域の信号特性に応じて可変長符号テーブルを選択できる。これにより、動画像符号化データを効率よく再符号化することができる。例えば、ＭＰＥＧ−２標準の符号化データをピクチャ内の各領域ごとの特性に応じて効率よく再符号化することが可能となる。【００７１】
なお、上記実施の形態１では、第１〜第５の選択処理を別個に説明したが、第１〜第５の選択処理を逐次実行することにより可変長符号テーブルを選択するように構成しても良い。【００７２】
実施の形態２．
上記実施の形態１では、動画像符号化データにおけるブロックデータを符号化対象として再符号化する例を示した。この実施の形態２は、動画像符号化データにおけるスライスヘッダやマクロブロックの構成データを符号化対象として再符号化するものである。【００７３】
第６図は、この発明の実施の形態２による動画像符号化データの再符号化装置の構成を示すブロック図である。本実施の形態２による再符号化装置は、符号化データ解析部１、可変長再符号化部３、符号化データ変換部８、ＭＡＩデータメモリ９、ＭＢタイプデータメモリ１０、ＤＣＴタイプデータメモリ１１、量子化パラメータデータメモリ１２、ＣＢＰデータメモリ１３、及びブロックデータメモリ１４を含んで構成される。【００７４】
符号化データ解析部１は、ＭＰＥＧ−２の標準に則って動画像符号化データを復号処理し、当該符号化データから再符号化対象のデータを抽出する。可変長再符号化部３は、符号化データ変換部８から入力した再符号化対象の動画像符号化データに再符号化を実行する。【００７５】
なお、本実施の形態２による可変長再符号化部３では、上記実施の形態１と異なり、可変長符号テーブルの代わりに算術符号化を実行する。符号化データ変換部８は、再符号化対象の動画像符号化データに対してシンボルの削除や置き換えなどの変換処理を実行する。【００７６】
また、ＭＡＩデータメモリ９はＭＡＩデータを記憶する。ＭＢタイプデータメモリ１０はマクロブロックタイプデータを記憶する。ＤＣＴタイプデータメモリ１１はＤＣＴブロックタイプデータを記憶する。量子化パラメータデータメモリ１２は量子化パラメータデータを記憶する。ＣＢＰデータメモリ１３はＣＢＰデータを記憶する。ブロックデータメモリ１４はブロックデータを記憶する。【００７７】
上述した、符号化データ解析部１、符号化データ変換部８及び可変長再符号化部３は、例えば汎用コンピュータ等を用いて本発明に従う符号化データ再符号化プログラムを実行させることで具現化できる。【００７８】
もう少し詳細に説明すると、本発明に従う符号化データ再符号化プログラムを、コンピュータに読み込ませて、その動作を制御することにより、コンピュータ上に図６に示す符号化データ解析部１、符号化データ変換部８及び可変長再符号化部３を実現することができる。また、メモリ９〜１４については、上記コンピュータの記憶装置上に構成することができる。【００７９】
なお、以下の説明において、本発明の符号化データ再符号化装置を具現化するコンピュータ自体の構成及びその基本的な機能については、当業者が当該分野の技術常識に基づいて容易に認識できるものであり、本発明の本質に直接関わるものでないので詳細な記載を省略する。【００８０】
次に動作について説明する。
先ず、符号化データ解析部１は、ビットストリームとして入力した符号化データに対して、ＭＰＥＧ−２の標準に則った復号処理を施してその構成を解析し、当該ビットストリームから抽出した再符号化対象の符号化データを符号化データ変換部８に出力する。この際、符号化データ変換部８による変換処理のために、符号化データ解析部１は、変換対象のデータを対応するメモリ９〜１４に適宜蓄積した後、符号化データ変換部８に出力する。【００８１】
符号化データ変換部８では、符号化データ解析部１から入力した動画像符号化データの構成データから、当該符号化データを再符号化した後にＭＰＥＧ標準に準拠した元の符号化データへ復号する際に必要としないデータを削除したり、情報量の小さいデータに置き換えたりする。具体的には、例えば下記第１〜第３の変換処理を実行する。【００８２】
先ず、第１の変換処理では、符号化データ変換部８が、符号化データ解析部１から入力した再符号化対象の動画像符号化データの構成データのうちスライスヘッダを削除する。【００８３】
ＭＰＥＧのスライスヘッダは、元々エラーが発生したときにエラー状態から復旧するために設定されるものである。このため、蓄積メディアから動画像符号化データを再生する場合のようにエラーの発生を想定する必要がないアプリケーションにおいては不要なものである。そこで、符号化データ変換部８ではスライスヘッダを削除する。これにより、符号化データの各スライスでは、スライスヘッダの位置にマクロブロックが配置される構成となり、シンタックスの順序が変更される。【００８４】
第２の変換処理では、符号化データ変換部８が、符号化データ解析部１から入力した動画像符号化データの再符号化対象とするピクチャがＩピクチャであると、マクロブロックにおけるＭＡＩデータを削除する。フレーム内符号化処理のみを行うＩピクチャにおいて、ＭＡＩデータは常に「１」の値をとる。【００８５】
このような常に同じ値を持つデータは再符号化された符号化データに対する復元処理において一意に処理することが可能である。そこで、符号化データ変換部８は、再符号化の対象とするピクチャがＩピクチャの場合にはＭＡＩデータを削除する。これにより、符号化データの各マクロブロックでは、ＭＡＩデータの位置にマクロブロックタイプデータが配置される構成となり、シンタックスの順序が変更される。【００８６】
一方、ＰピクチャやＢピクチャなどのピクチャタイプにおいて、ＭＡＩデータは「１」以外の値もとる。ＭＡＩデータの値は、一般に画面中の動きの有無やテクスチャの状態と対応している。つまり、ＰピクチャやＢピクチャにおいて、ＭＡＩデータの値は、画面内で分布が偏る傾向にある。【００８７】
そこで、ピクチャタイプがＰピクチャやＢピクチャである場合、算術符号化が、符号化対象シンボルの発生分布に偏りがあればあるほど圧縮効果の高い符号化方式であることを利用して下記の処理を行う。【００８８】
先ず、符号化データ解析部１が、入力した再符号化対象の動画像符号化データの解析により、ピクチャタイプがＰピクチャやＢピクチャであると判断されると、当該符号化データ中のＭＡＩデータのみを抽出して１画面分をＭＡＩデータメモリ９に逐次記憶する。【００８９】
可変長再符号化部３では、符号化データ解析部１及び符号化データ変換部８を介してＭＡＩデータメモリ９から１画面分を逐次記憶したＭＡＩデータをまとめて読み出して算術符号化により再符号化する。【００９０】
上述のように、画面内で発生分布が偏る傾向にあるＭＡＩデータのみを１画面分まとめて符号化対象とすることで、画面内での偏りを高めた上で算術符号化することができる。これにより、１画面内におけるＭＡＩデータの発生分布の偏りを生かして高効率な再符号化を実現できる。【００９１】
第３の変換処理では、符号化データ変換部８が、符号化データ解析部１から入力した動画像符号化データの再符号化対象とするピクチャがＩピクチャであると、マクロブロックタイプデータのシンボルのうち「０１」のものをより情報量が小さな「０」に置き換える。【００９２】
フレーム内符号化処理のみを行うＩピクチャは、マクロブロックタイプデータは、常に「１」もしくは「０１」のシンボルのみをとる。これは、他のピクチャタイプ（ＰピクチャやＢピクチャ）での復号処理との整合をとるためである。【００９３】
この場合、Ｉピクチャのことだけを考えるのであれば、「１」と「０」の２つのシンボルでも一意に復号することが可能である。そこで、再符号化の対象とするピクチャがＩピクチャの場合には、符号化データ変換部８が、マクロブロックタイプデータのシンボルのうち「０１」のものを「０」に置き換える。【００９４】
一方、第２の変換処理でＭＡＩデータに対して説明したのと同様に、マクロブロックタイプデータの分布も画面内に偏る傾向がある。そこで、符号化データ解析部１は、ピクチャタイプがＰピクチャやＢピクチャであると、マクロブロックタイプデータのみを抽出して１画面分をＭＢタイプデータメモリ１０に逐次記憶する。【００９５】
可変長再符号化部３では、符号化データ解析部１及び符号化データ変換部８を介してＭＢタイプデータメモリ１０から１画面分を逐次記憶したマクロブロックタイプデータをまとめて読み出して算術符号化により再符号化を実行する。【００９６】
上述のように、画面内で発生分布が偏る傾向にあるマクロブロックタイプデータのみを１画面分まとめて符号化対象とすることで、画面内での偏りを高めた上で算術符号化することができる。これにより、１画面内におけるマクロブロックデータの発生分布の偏りを生かして高効率な再符号化処理の実現が可能となる。【００９７】
上述したデータ変換処理の他、データメモリ１１〜１４を使用して符号化対象の発生分布の偏りを生かした再符号化処理を実行する。
例えば、ＤＣＴブロックタイプデータは、動画像符号化データのピクチャタイプによらず、常に「１」もしくは「０」のシンボルをとる。このＤＣＴブロックタイプデータについてもＭＡＩデータやマクロブロックタイプデータ同様、発生分布が画面内に偏る傾向がある。【００９８】
そこで、符号化データ解析部１は、入力した再符号化対象の動画像符号化データの解析により、当該符号化データ中のＤＣＴブロックタイプデータのみを抽出して、１画面分のＤＣＴブロックタイプデータをＤＣＴタイプデータメモリ１１に逐次記憶する。【００９９】
可変長再符号化部３では、符号化データ解析部１及び符号化データ変換部８を介してＤＣＴタイプデータメモリ１１から１画面分を逐次記憶したＤＣＴブロックタイプデータをまとめて読み出して算術符号化により再符号化を実行する。【０１００】
上述のように、画面内で発生分布が偏る傾向にあるＤＣＴブロックタイプデータのみを１画面分まとめて符号化対象とすることで、画面内での偏りを高めた上で算術符号化することができる。これにより、１画面内におけるＤＣＴブロックタイプデータの発生分布の偏りを生かして高効率な再符号化処理の実現が可能となる。【０１０１】
同様に、量子化パラメータデータやＣＢＰデータについても、符号化データ解析部１が、量子化パラメータデータメモリ１２やＣＢＰデータメモリ１３に１画面分を逐次記憶し、可変長再符号化部３がそれぞれのデータをまとめて再符号化するように構成しても良い。【０１０２】
また、ブロックデータメモリ１４も利用して、マクロブロックタイプデータの全てのデータをそれぞれ１画面分記憶し、それぞれのデータごとにまとめて再符号化するように構成しても良い。【０１０３】
つまり、符号化データ解析部１が、入力した再符号化対象の動画像符号化データの解析により、マクロブロック中のＭＡＩデータ、マクロブロックタイプデータ、ＤＣＴブロックタイプデータ、量子化パラメータデータ、ＣＢＰデータ、及びブロックデータをそれぞれ抽出して、これらのデータの１画面分をデータメモリ９〜１４に逐次記憶する。【０１０４】
可変長再符号化部３では、符号化データ解析部１及び符号化データ変換部８を介して、データメモリ９〜１４から１画面分逐次記憶した各データをまとめて読み出し、算術符号化により再符号化を実行する。【０１０５】
なお、上述した処理では、符号化対象データを、これに対応するメモリ９〜１４のいずれかに１画面分を記憶する例を示したが、第１の変換処理と併用しない場合、すなわちスライスヘッダを除去しない場合にはスライス単位をまとめて再符号化するように構成してもよい。【０１０６】
また、上記実施の形態１の構成と組み合わせて、メモリ９〜１４に記憶されているデータに対して画面内の領域単位に読み出して再符号化することも可能である。【０１０７】
例えば、図６に示す本実施の形態２における符号化データ変換部８と可変長再符号化部３との接続の間に上記実施の形態１による可変長符号テーブル選択部２を設け、可変長再符号化部３が複数の可変長符号テーブルを備えた構成とする。【０１０８】
この構成において、符号化データ解析部１が、入力した再符号化対象の動画像符号化データの解析により、例えばマクロブロック中の全てのブロックデータ及びその動きベクトルを抽出して、１画面分をブロックデータメモリ１４に逐次記憶する。【０１０９】
可変長符号テーブル選択部２では、符号化データ解析部１を介してブロックデータメモリ１４から１画面分のブロックデータ及びそのマクロブロックに付与されている動きベクトルを入力すると、各ブロックデータについて動きベクトルと閾値との比較結果に応じて可変長符号テーブルを選択する。可変長再符号化部３は、可変長符号テーブル選択部２が選択した可変長符号テーブルを用いて、１画面分のブロックデータをそれぞれ再符号化する。【０１１０】
以上のように、実施の形態２によれば、動画像の符号化データのビットストリームを入力してその構成を解析し、当該符号化データの構成データを抽出する符号化データ解析部１と、符号化データ解析部１が抽出した符号化データの各構成データをそれぞれ記憶する複数のメモリ９〜１４と、符号化データの構成データに対して、その復号処理に使用しないデータを削除する及び／又は構成データの符号化対象シンボルをより情報量が小さなディジタルデータに置き換える符号化データ変換部８と、メモリ９〜１４から符号化データの各構成データを読み出して再符号化対象のデータを再符号化し、再符号化したデータを含む符号化データのビットストリームを出力する可変長再符号化部３とを備えるので、ＭＰＥＧ−２標準の符号化データに含まれている復号時に不要なデータを削除したり、冗長なシンボルを情報量の小さなデータに置き換えたり、各種シンボルをまとめて符号化することにより効率よく再符号化することが可能となる。【０１１１】
実施の形態３．
図７は、この発明の実施の形態３による復号装置の構成を示すブロック図であり、ブロックデータが再符号化された動画像符号化データを復号する場合を示している。本実施の形態による復号装置は、再符号化データ解析部１ａ、可変長符号テーブル選択部２ａ、符号化データ復元部１５及び可変長符号テーブル４，５を含んで構成される。【０１１２】
再符号化データ解析部１ａは、例えば上記実施の形態１の符号化データ再符号化装置により再符号化された動画像符号化データを解析し、符号化データから復号対象の再符号化されたデータを抽出する。可変長符号テーブル選択部２ａは、再符号化データ解析部１ａから入力した復号対象のデータに基づき、その再符号化に使用された符号テーブルを複数ある可変長符号テーブルの中から選択する。【０１１３】
図及び以降の説明では、復号対象の符号化データが２種類の可変長符号テーブル４，５のうちのいずれかのテーブルで再符号化されたものとする。なお、可変長符号テーブルは、３種類以上のテーブルを設けても構わない。符号化データ復元部１５は、可変長符号テーブル選択部２ａが選択した可変長符号テーブルを用いて、ＭＰＥＧ−２の標準に則った動画像符号化データを復号する。【０１１４】
また、再符号化データ解析部１ａ、可変長符号テーブル選択部２ａ及び符号化データ復元部１５は、例えば汎用コンピュータ等を用いて本発明に従う復号処理プログラムを実行させることで具現化できる。【０１１５】
もう少し詳細に説明すると、本発明に従う復号処理プログラムを、コンピュータに読み込ませて、その動作を制御することにより、コンピュータ上に図７に示す再符号化データ解析部１ａ、可変長符号テーブル選択部２ａ及び符号化データ復元部１５を実現することができる。また、可変長符号テーブル４，５については、上記コンピュータの記憶装置上に構成することができる。【０１１６】
なお、以下の説明において、本発明の復号装置を具現化するコンピュータ自体の構成及びその基本的な機能については、当業者が当該分野の技術常識に基づいて容易に認識できるものであり、本発明の本質に直接関わるものでないので詳細な記載を省略する。【０１１７】
次に動作について説明する。
この実施の形態３では、説明の簡単のため、ブロックデータが再符号化されており、これを復号する場合を例に挙げて説明する。
先ず、再符号化データ解析部１ａは、上記実施の形態１による再符号化装置によりブロックデータが再符号化された動画像符号化データを入力し、入力した符号化データに対して、ＭＰＥＧ−２の標準に則った復号処理を施してその構成を解析し、構成データに応じた出力先を決定する。【０１１８】
具体的には、再符号化されたブロックデータ以外のデータであって、後述する復号処理に使用しないデータは、図中の符号化データ復元部１５の出力につながる矢印に示すようにそのまま装置出力とする。【０１１９】
一方、入力した符号化データ中の再符号化されたブロックデータ及び後述する可変長符号テーブル選択部２ａがテーブル選択に使用する特定のデータ（例えば、マクロブロックに付与された動きベクトルデータ等）については、可変長符号テーブル選択部２ａに出力する。【０１２０】
可変長符号テーブル選択部２ａは、上記ブロックデータ復号に使用する可変長符号テーブル４，５の割り当てを上記ブロックデータにおける被写体ごとに切り替えるように制御する。具体的には、例えば下記第１〜第５の選択処理を可変長符号テーブル選択部２ａが実行して可変長符号テーブルを切り替える。【０１２１】
第１の選択処理では、再符号化されたブロックデータを構成要素とするマクロブロックに付与されている動きベクトルの大きさや、当該ブロックデータにおけるＤＣＴ係数のＤＣ成分の値に関する閾値（上記実施の形態１で上記ブロックデータを再符号化する際に用いた閾値）を可変長符号テーブル選択部２ａに予め設定しておく。【０１２２】
また、動きベクトルの大きさが閾値未満のものと閾値以上のものとに分けてそれぞれに対応する可変長符号テーブルを用意しておく。可変長符号テーブル選択部２ａでは、再符号化データ解析部１ａから入力した動きベクトルの大きさや、処理対象となるブロックデータ特定される領域のＤＣ成分とその周囲の領域のＤＣ成分との差分値と、上記閾値との比較結果から当該ブロックデータに対して選択すべき可変長符号テーブルを決定する。【０１２３】
なお、上記ブロックデータを再符号化する再符号化装置に閾値が２値以上設定されていれば、これと同様に閾値を可変長符号テーブル選択部２ａに設定しておく。また、各閾値により分類される符号テーブルも予め用意しておく。このようにしても、２値以上の閾値で分類されたブロックデータを復号するにあたり適切な符号テーブルを選択することができる。【０１２４】
さらに、可変長符号テーブル選択部２ａにおいて、上記閾値の大きさを動的に変更制御できる構成を設け、閾値の変更より変更される大きさの範囲ごとに符号テーブルを用意しておく。これにより、動くベクトルの閾値を適宜変更制御することで、再符号化装置で選択されたであろう符号テーブルを選択することができる。【０１２５】
第２の選択処理は、上記実施の形態１の再符号化装置によってブロックデータがシンボルの個数や実際の符号化処理にて発生する符号量を基準として再符号化された場合であって、再符号化された動画像符号化データに再符号化に用いた符号テーブルを示す情報が含まれている場合である。【０１２６】
この場合、再符号化データ解析部１ａが、例えば再符号化された動画像符号化データのピクチャヘッダ、スライスヘッダ若しくはマクロブロックモード情報などの一部として、あるいは図５で示した画面６内の矩形情報を単位として与えられている、再符号化に用いられた符号テーブルを特定する情報を抽出し、可変長符号テーブル選択部２ａに出力する。可変長符号テーブル選択部２ａでは、当該符号テーブルを特定する情報を用いて符号テーブルを選択する。【０１２７】
上述のようにして、可変長符号テーブル選択部２ａが、上記ブロックデータの再符号化に使用された可変長符号テーブルを選択すると、この選択結果は、符号化データ復元部１５に出力される。符号化データ復元部１５では、選択された可変長符号テーブルを用いて上記ブロックデータの復号処理を行い、ＭＰＥＧ−２の標準に則った動画像符号化データを出力する。【０１２８】
以上のように、実施の形態３によれば、上記実施の形態１による再符号化装置によりブロックデータが再符号化された動画像の符号化データのビットストリームを入力してその構成を解析し、当該ブロックデータ及び画像特性を表すデータを抽出する再符号化データ解析部１ａと、上記画像特性ごとにブロックデータの符号化対象シンボルに割り当てる符号の符号量がそれぞれ最適化された可変長符号テーブル４，５と、再符号化データ解析部１ａが抽出した画像特性を表すデータに基づいて再符号化に用いられた可変長符号テーブルを選択する符号テーブル選択部２ａと、符号テーブル選択部２ａが選択した可変長符号テーブルを用いてブロックデータを復号し、元の符号化データのビットストリームを出力する符号化データ復元部１５とを備えたので、動画像を構成する画像内の部分領域ごとにシンボルを変更して再符号化されている符号化データであっても、各部分領域の符号化データであるブロックデータを復号することにより、ＭＰＥＧ−２標準の元の符号化データに復元することが可能となる。【０１２９】
実施の形態４．
図８は、この発明の実施の形態４による復号装置の構成を示すブロック図であり、スライスヘッダやマクロブロックの構成データが再符号化された動画像符号化データを復号する場合を示している。本実施の形態４による復号装置は、再符号化データ解析部１ａ、符号化データ逆変換部１６、符号化データ復元部１５、ＭＡＩデータメモリ９ａ、ＭＢタイプデータメモリ１０ａ、ＤＣＴタイプデータメモリ１１ａ、量子化パラメータデータメモリ１２ａ、ＣＢＰデータメモリ１３ａ、及びブロックデータメモリ１４ａを含んで構成される。【０１３０】
再符号化データ解析部１ａは、例えば上記実施の形態１の符号化データ再符号化装置により再符号化された動画像符号化データを解析し、符号化データから復号対象の再符号化されたデータを抽出する。符号化データ復元部１５は、符号化データ逆変換部１６から入力した復号対象の符号化データに復号処理を実行する。【０１３１】
なお、以降の説明では、復号対象の再符号化されたデータが、上記実施の形態２の再符号化装置によって、可変長符号テーブルの代わりに算術符号化で再符号化が実行されているものとする。符号化データ逆変換部１６は、上記実施の形態２の再符号化装置によって再符号化された動画像符号化データから削除されたシンボルを追加したり、元のシンボルに置き換える逆変換処理を実行する。【０１３２】
また、ＭＡＩデータメモリ９ａはＭＡＩデータを記憶する。ＭＢタイプデータメモリ１０ａはマクロブロックタイプデータを記憶する。ＤＣＴタイプデータメモリ１１ａはＤＣＴブロックタイプデータを記憶する。量子化パラメータデータメモリ１２ａは量子化パラメータデータを記憶する。ＣＢＰデータメモリ１３ａはＣＢＰデータを記憶する。ブロックデータメモリ１４ａはブロックデータを記憶する。【０１３３】
上述した、再符号化データ解析部１ａ、符号化データ逆変換部１６及び符号化データ復元部１５は、例えば汎用コンピュータ等を用いて本発明に従う復号処理プログラムを実行させることで具現化できる。【０１３４】
もう少し詳細に説明すると、本発明に従う復号処理プログラムを、コンピュータに読み込ませて、その動作を制御することにより、コンピュータ上に図８に示す再符号化データ解析部１ａ、符号化データ逆変換部１６及び符号化データ復元部１５を実現することができる。また、メモリ９ａ〜１４ａについては、上記コンピュータの記憶装置上に構成することができる。【０１３５】
なお、以下の説明において、本発明の復号装置を具現化するコンピュータ自体の構成及びその基本的な機能については、当業者が当該分野の技術常識に基づいて容易に認識できるものであり、本発明の本質に直接関わるものでないので詳細な記載を省略する。【０１３６】
次に動作について説明する。
以降では、再符号化された動画像符号化データを構成する各種符号化データ（ＭＡＩデータ、マクロブロックタイプデータ、ＤＣＴブロックタイプデータ、量子化パラメータデータ、ＣＢＰデータ、ブロックデータ）が、例えば１ピクチャ分あるいは１スライス分といったような所定の単位ごとにまとめて再符号化されている符号化データを復元する場合を例に説明する。【０１３７】
先ず、再符号化データ解析部１ａは、上記実施の形態２の再符号化装置によって再符号化された動画像符号化データの構成を解析し、各種符号化データを所定の単位分（例えば１ピクチャ分あるいは１スライス分）を抽出してメモリ９ａ〜１４ａにそれぞれ記憶する。【０１３８】
所定の単位分の全ての符号化データのメモリ９ａ〜１４ａへの格納が完了すると、符号化データ復元部１５は、ＭＰＥＧ−２標準に則った順序となるように、これらのデータをメモリ９ａ〜１４ａからそれぞれ読み出し、ＭＰＥＧ−２標準に則ったビットストリームを出力する。【０１３９】
これにより、個々の符号化データが所定の単位分まとめて再符号化されている動画像符号化データを元のビットストリームに復元することが可能となる。【０１４０】
なお、符号化データ逆変換部１６は、符号化データ復元部１５がメモリ９ａ〜１４ａから各種符号化データを読み出すにあたり、各種符号化データがシンボルの削除や置き換えによって再符号化されているか否かを判定し、シンボルの削除や置き換えがあれば、これを復元する処理を実行する。【０１４１】
例えば、上記実施の形態２の再符号化装置によってスライスヘッダが削除された再符号化符号化データが入力される場合、符号化データ逆変換部１６は、所定の単位ごとにスライスヘッダを挿入し、ＭＰＥＧ−２標準に則ったビットストリームとして符号化データ復元部１５に出力する。【０１４２】
また、上記実施の形態２の再符号化装置によってＩピクチャのＭＡＩデータが全て削除された再符号化符号化データが入力される場合、符号化データ逆変換部１６は、マクロブロックごとにＭＡＩデータを挿入し、ＭＰＥＧ−２標準に則ったビットストリームとして符号化データ復元部１５に出力する。【０１４３】
さらに、符号化データ逆変換部１６には、各種符号化データのシンボルについてＭＰＥＧ−２標準に則った正規の値が設定されており、復号対象の各種符号化データがシンボルを置き換えることにより再符号化されている場合、元のシンボルに置き換える復元処理を実行する。【０１４４】
例えば、Ｉピクチャのマクロブロックタイプデータのシンボルのうち「０１」が「０」に置き換えられている再符号化符号化データが入力される場合、符号化データ逆変換部１６は、マクロブロックタイプデータのシンボルのうち「０」を「０１」に置き換え、ＭＰＥＧ−２標準に則ったビットストリームとして符号化データ復元部１５に出力する。【０１４５】
同様に、他の符号化データのシンボルが置き換えられて再符号化されている場合であっても、符号化データ逆変換部１６は、自己に設定されている正規の値との比較により置き換えを判断して元のシンボルに置き換える。【０１４６】
以上のように、実施の形態４によれば、動画像の符号化データの構成データが再符号化されたビットストリームを入力してその構成を解析し、当該符号化データの構成データを抽出する再符号化データ解析部１ａと、再符号化データ解析部１ａが抽出した符号化データの各構成データをそれぞれ記憶するメモリ９ａ〜１４ａと、符号化データの構成データに対して、その復号処理に使用しないデータを削除する処理及び／又は構成データの符号化対象シンボルをより情報量が小さなディジタルデータに置き換える処理が施されているか否かを判定し、上記処理が施されている場合、元のデータに戻す変換処理を実行する符号化データ逆変換部１６と、メモリ９ａ〜１４ａから符号化データの各構成データを読み出して再符号化された構成データを復号し、元の符号化データのビットストリームを出力する符号化データ復元部１５とを備えるので、削除されているデータや置き換えられているシンボルを元に戻したり、まとめて符号化されている各種シンボルを元のマクロブロックごとに戻したりすることにより、ＭＰＥＧ−２標準の符号化データに復元することができる。【０１４７】
なお、上記実施の形態では、画像の符号化方式としてＭＰＥＧ−２を用いて説明を行ったが、同様な構成がとられている他の符号化方式、例えばＩＳＯ／ＩＥＣのＭＰＥＧ−１やＭＰＥＧ−４、ＩＴＵ−ＴのＨ．２６１やＨ．２６３などに適用することも可能である。
【産業上の利用可能性】
【０１４８】
以上のように、この発明に係る符号化データ再符号化装置は、動画像の符号化データから抽出した動画像を構成する画像内の部分領域の画像特性に応じて再符号化するので、動画像符号化データを効率よく再符号化することができ、例えばＭＰＥＧ−２、ＭＰＥＧ−１、ＭＰＥＧ−４、ＩＴＵ−ＴのＨ．２６１やＨ．２６３などの各種符号化方式での画像圧縮に好適に利用することができる。
【図１】
2006011197.tif 000002
【図２】
2006011197.tif 000003
【図３】
2006011197.tif 000004
【図４】
2006011197.tif 000005
【図５】
2006011197.tif 000006
【図６】
2006011197.tif 000007
【図７】
2006011197.tif 000008
【図８】
2006011197.tif 000009
【国際調査報告】
2006011197.tif 000010
2006011197.tif 000011
2006011197.tif 000012
2006011197.tif 000013
2006011197.tif 000014
2006011197.tif 000015
2006011197.tif 000016
2006011197.tif 000017