(57)【要約】【課題】符号量削減済みのビットストリームからもとの符号量削減前のビットストリームを受信せずに、品質を向上させる。【解決手段】符号量削減前の第１符号化信号を入力し、該第１符号化信号に符号量変換処理を行い、符号量を削減した第２符号化信号に変換して出力するとともに、前記第１符号化信号と前記第２符号化信号との差分情報の一部から、係数値の変化情報を符号化した拡張差分符号化信号を生成して出力するストリーム分離装置１０００と、前記第２符号化信号を入力するとともに、前記拡張差分符号化信号を入力して、前記第２符号化信号と前記拡張差分符号化信号とを合成して合成符号化信号を生成するストリーム合成装置２０００と、により、もとの信号を受信せずに、符号量削減後の第２符号化信号を符号量削減前の第１符号化信号に近づけ、品質を向上させることができる。【選択図】      図１
2006237656.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像情報から構成される動画像を符号化した第１符号化信号を入力する入力手段と、
該入力手段に入力された第１符号化信号に符号量変換処理を行い、前記動画像の疑似動画像である２次動画像を復元させる第２符号化信号に変換する符号化信号変換手段と、
前記第１符号化信号と前記第２符号化信号との差分情報の一部である部分差分情報を符号化して、拡張差分符号化信号を生成する差分符号化信号生成手段と、
を備え、
前記差分符号化信号生成手段が、前記第１符号化信号から得られる前記画像情報の第１係数情報と、前記第２符号化信号の一部として出力される前記画像情報の第２係数情報と、の係数値の変化情報の一部を符号化して、前記拡張差分符号化信号を生成することを特徴とする符号化信号分離装置。
【請求項２】
請求項１に記載の符号化信号分離装置において、
前記第１符号化信号と前記第２符号化信号との差分情報が階層構造を有し、
該階層構造が、共通の情報を有する複数の画面からなるシーケンスレイヤと、前記画面ごとに共通の情報を有するスライスからなるピクチャレイヤと、前記スライスごとにマクロブロックを有するスライスレイヤと、前記マクロブロックごとにブロックを有するマクロブロックレイヤと、前記ブロック情報を有するブロックレイヤと、からなる階層構造であり、
前記差分符号化信号生成手段が、前記拡張差分符号化信号を前記階層構造にしたがって生成することを特徴とする符号化信号分離装置。
【請求項３】
請求項１または請求項２に記載の符号化信号分離装置において、
前記差分符号化信号生成手段が、それぞれ異なる前記部分差分情報から複数の前記拡張差分符号化信号を生成することを特徴とする符号化信号分離装置。
【請求項４】
請求項３に記載の符号化信号分離装置において、
前記部分差分情報は、前記差分情報を、前記第１符号化信号と前記第２符号化信号との差分の大きさごとに階層分割した情報であることを特徴とする符号化信号分離装置。
【請求項５】
請求項３または請求項４に記載の符号化信号分離装置において、
前記差分情報は、前記複数の拡張差分符号化信号に生成された前記部分差分情報のいずれかに含まれることを特徴とする符号化信号分離装置。
【請求項６】
請求項１から請求項５のいずれか１項に記載の符号化信号分離装置において、
前記第１係数情報が前記符号化信号変換手段により前記第２係数情報に変換されるとき、零係数に変換される第１係数情報群を零係数変換第１係数情報とし、零係数に変換された第２係数情報群を零係数第２係数情報とし、非零係数に変換される第１係数情報群を非零係数変換第１係数情報とし、非零係数に変換された第２係数情報群を非零係数第２係数情報とし、
前記差分符号化信号生成手段が、
前記第１係数情報を、前記零係数変換第１係数情報と、前記非零係数変換第１係数情報と、に分離し、前記第２係数情報を、前記零係数第２係数情報と、前記非零係数第２係数情報と、に分離する係数情報分離手段と、
前記零係数変換第１係数情報と、前記零係数第２係数情報と、に基づいて零係数差分情報を生成し、符号化して、零係数差分符号化信号を生成する零係数符号化手段と、
前記非零係数変換第１係数情報と、前記非零係数第２係数情報と、に基づいて非零係数差分情報を生成し、符号化して、非零係数差分符号化信号を生成する非零係数符号化手段と、
を備えたことを特徴とする符号化信号分離装置。
【請求項７】
請求項６に記載の符号化信号分離装置において、
前記非零係数符号化手段が、前記非零係数差分情報を、前記非零係数変換第１係数情報の係数値と、前記非零係数第２係数情報の係数値と、に基づいて係数値情報のみから生成することを特徴とする符号化信号分離装置。
【請求項８】
請求項７に記載の符号化信号分離装置において、
前記画像情報のマクロブロックを前記第１符号化信号のマクロブロック情報に量子化した際の量子化パラメータを第１マクロブロック量子化パラメータとし、前記第２符号化信号のマクロブロック情報を逆量子化して復号する量子化パラメータを第２マクロブロック量子化パラメータとし、
前記非零係数符号化手段が、前記非零係数差分情報の係数値情報として、前記第１マクロブロック量子化パラメータと前記第２マクロブロック量子化パラメータとの比率と前記非零係数第２係数情報の係数値から、前記非零係数変換第１係数情報の係数値を予測した値の誤差を算出することを特徴とする符号化信号分離装置。
【請求項９】
請求項６から請求項８のいずれか１項に記載の符号化信号分離装置において、
前記零係数符号化手段が、前記零係数変換第１係数情報の値ごとに係数別零係数差分情報を生成し、符号化して、係数別零係数差分符号化信号を生成することを特徴とする符号化信号分離装置。
【請求項１０】
請求項９に記載の符号化信号分離装置において、
前記零係数符号化手段が、前記係数別零係数差分符号化信号の終了ごとに当該信号の終了を表す係数終了符号を付与し、前記係数値の大きさの順に並べて前記零係数差分符号化信号を生成するとともに、前記係数別零係数差分情報として当該係数値の前記零係数変換第１係数情報での位置情報のみを符号化することを特徴とする符号化信号分離装置。
【請求項１１】
請求項９または請求項１０に記載の符号化信号分離装置において、
前記零係数符号化手段が、前記第１係数情報群をジグザグスキャンし、連続する当該係数値未満の数により前記係数値の位置情報を表し、該位置情報を有する前記係数別零係数差分情報を生成することを特徴とする符号化信号分離装置。
【請求項１２】
複数の画像情報から構成される動画像を符号化した第１符号化信号を入力する第１符号化信号入力手段と、
前記第１符号化信号に符号量変換処理が行われて符号量が削減された第２符号化信号を入力する第２符号化信号入力手段と、
前記第１符号化信号と前記第２符号化信号との差分情報の一部である部分差分情報を符号化して、拡張差分符号化信号を生成する差分符号化信号生成手段と、
を備え、
前記差分符号化信号生成手段が、前記第１符号化信号から得られる前記画像情報の第１係数情報と、前記第２符号化信号から得られる前記画像情報の第２係数情報と、の係数値の変化情報の一部を符号化して、前記拡張差分符号化信号を生成することを特徴とする差分符号化信号生成装置。
【請求項１３】
複数の画像情報から構成される動画像を符号化した第１符号化信号と、前記第１符号化信号に符号量変換処理が行われて符号量が削減された第２符号化信号と、の差分情報の一部である部分差分情報を符号化した複数の拡張差分符号化信号を記憶する差分符号化信号記憶手段と、
前記複数の拡張差分符号化信号から所望の拡張差分符号化信号を選択する差分符号化信号選択手段と、
前記差分符号化信号選択手段に選択された拡張差分符号化信号を、前記差分符号化信号記憶手段から抽出する差分符号化信号抽出手段と、
を備え、
前記拡張差分符号化信号は、前記第１符号化信号から得られる前記画像情報の第１係数情報と、前記第２符号化信号から得られる前記画像情報の第２係数情報と、の係数値の変化情報の一部を符号化した符号化信号であることを特徴とする差分符号化信号抽出装置。
【請求項１４】
請求項１３に記載の符号化信号抽出装置において、
前記差分符号化信号抽出手段に抽出された拡張差分符号化信号を送信する送信符号量を指定する送信符号量指定手段と、
を備え、
前記差分符号化信号選択手段が、前記指定された送信符号量に基づいて前記拡張差分符号化信号を選択することを特徴とする符号化信号抽出装置。
【請求項１５】
請求項１４に記載の符号化信号抽出装置において、
前記送信符号量指定手段が、前記拡張差分符号化信号を送信する送信伝送路の伝送路速度と、前記拡張差分符号化信号を送信する送信時間と、にしたがって前記送信符号量を指定することを特徴とする符号化信号抽出装置。
【請求項１６】
請求項１３から請求項１５のいずれか１項に記載の符号化信号抽出装置において、
前記差分符号化信号選択手段が前記拡張差分符号化信号を選択する際に、選択対象から除外する除外拡張差分符号化信号を指定する除外拡張差分符号化信号指定手段と、
を備え、
前記差分符号化信号選択手段が、前記除外拡張差分符号化信号を除外して、前記拡張差分符号化信号を選択することを特徴とする符号化信号抽出装置。
【請求項１７】
複数の画像情報から構成される動画像を符号化した第１符号化信号が符号量変換処理により符号量削減された第２符号化信号を入力する第２符号化信号入力手段と、
前記第１符号化信号と前記第２符号化信号との差分情報の一部である部分差分情報を符号化した拡張差分符号化信号を入力する差分符号化信号入力手段と、
前記第２符号化信号と、前記拡張差分符号化信号と、を合成して前記第１符号化信号と前記第２符号化信号との中間の合成符号化信号を生成する合成符号化信号生成手段と、
を備え、
前記合成符号化信号生成手段が、前記第２符号化信号から得られる前記画像情報の第２係数情報と、前記拡張差分符号化信号から得られる前記画像情報の第１係数情報と前記第２係数情報との変化情報と、を復号し合成して前記第１係数情報の一部を復元することにより、前記合成符号化信号を生成することを特徴とする符号化信号合成装置。
【請求項１８】
請求項１７に記載の符号化信号合成装置において、
前記差分符号化信号入力手段が、入力済みの前記拡張差分符号化信号とは異なる拡張差分符号化信号を新たに入力し、
前記合成符号化信号生成手段が、前記合成符号化信号と、新たに入力した前記拡張差分符号化信号と、を合成して前記第１符号化信号と前記合成符号化信号との中間の新たな合成符号化信号を生成することを特徴とする符号化信号合成装置。
【請求項１９】
請求項１７または請求項１８に記載の符号化信号合成装置において、
前記差分符号化信号入力手段が、複数の前記拡張差分符号化信号を同時に入力し、
前記合成符号化信号生成手段が、前記第２符号化信号または前記合成符号化信号と、前記複数の拡張差分符号化信号と、を合成して前記合成符号化信号を生成することを特徴とする符号化信号合成装置。
【請求項２０】
請求項１７から請求項１９のいずれか１項に記載の符号化信号合成装置において、
前記差分符号化信号入力手段が、前記差分情報と、入力済みの前記拡張差分符号化信号が有する拡張差分情報と、の差分情報の全てを有する前記拡張差分符号化信号を入力し、
前記合成符号化信号生成手段が、前記合成符号化信号と、新たに入力した前記拡張差分符号化信号と、を合成して前記第１符号化信号を生成することを特徴とする符号化信号合成装置。
【請求項２１】
請求項１７から請求項２０のいずれか１項に記載の符号化信号合成装置において、
前記第１係数情報が前記第２係数情報に変換されたとき、零係数に変換された第１係数情報群を零係数変換第１係数情報とし、零係数に変換された第２係数情報群を零係数第２係数情報とし、非零係数に変換された第１係数情報群を非零係数変換第１係数情報とし、非零係数に変換された第２係数情報群を非零係数第２係数情報とし、
前記零係数変換第１係数情報の一部と前記零係数第２係数情報の一部とに基づいて生成された部分差分情報を部分零係数差分情報とし、前記非零係数変換第１係数情報と前記非零係数第２係数情報とに基づいて生成された部分差分情報を非零係数差分情報とし、
前記合成符号化信号生成手段が、
前記第２符号化信号内の前記零係数第２係数情報と、前記拡張差分符号化信号内の前記部分零係数差分情報と、に基づいて前記零係数変換第１係数情報の一部を生成する零係数変換第１係数情報生成手段と、
前記第２符号化信号内の前記非零係数第２係数情報と、前記拡張差分符号化信号内の前記非零係数差分情報と、に基づいて前記非零係数変換第１係数情報を生成する非零係数変換第１係数情報生成手段と、
前記零係数変換第１係数情報の一部と、前記非零係数変換第１係数情報と、を合成して、前記第１係数情報の一部を合成する第１係数情報合成手段と、
を備えたことを特徴とする符号化信号合成装置。
【請求項２２】
複数の画像情報から構成される動画像を符号化した第１符号化信号を入力して、該入力された第１符号化信号に符号量変換処理を行い、前記動画像の疑似動画像である２次動画像を復元させる第２符号化信号に変換して出力するとともに、前記第１符号化信号と前記第２符号化信号との差分情報の一部である部分差分情報を符号化した拡張差分符号化信号を出力する符号化信号分離手段と、
前記第２符号化信号と前記拡張差分符号化信号とを入力して、前記第１符号化信号と前記第２符号化信号との中間の合成符号化信号を生成して出力する符号化信号合成手段と、
を備え、
前記符号化信号分離手段が、
前記第１符号化信号を入力する入力手段と、
該入力手段に入力された第１符号化信号に符号量変換処理を行い、前記第２符号化信号に変換する符号化信号変換手段と、
前記拡張差分符号化信号を生成する差分符号化信号生成手段と、
前記第２符号化信号を出力する第２符号化信号出力手段と、
前記拡張差分符号化信号を出力する差分符号化信号出力手段と、
を有し、
前記符号化信号合成手段が、
前記第２符号化信号を入力する第２符号化信号入力手段と、
前記拡張差分符号化信号を入力する差分符号化信号入力手段と、
前記第２符号化信号と、前記拡張差分符号化信号と、を合成して前記合成符号化信号を生成する合成符号化信号生成手段と、
前記合成符号化信号を出力する合成符号化信号出力手段と、
を有することを特徴とする符号化信号分離合成装置。
【請求項２３】
複数の画像情報から構成される動画像を符号化した第１符号化信号を入力する入力ステップと、
該入力ステップに入力された第１符号化信号に符号量変換処理を行い、前記動画像の疑似動画像である２次動画像を復元させる第２符号化信号に変換する符号化信号変換ステップと、
前記第１符号化信号と前記第２符号化信号との差分情報の一部である部分差分情報を符号化して、拡張差分符号化信号を生成する差分符号化信号生成ステップと、
を備え、
前記差分符号化信号生成ステップが、前記第１符号化信号から得られる前記画像情報の第１係数情報と、前記第２符号化信号の一部として出力される前記画像情報の第２係数情報と、の係数値の変化情報の一部を符号化して、前記拡張差分符号化信号を生成することを特徴とする符号化信号分離方法。
【請求項２４】
請求項２３に記載の符号化信号分離方法において、
前記第１符号化信号と前記第２符号化信号との差分情報が階層構造を有し、
該階層構造が、共通の情報を有する複数の画面からなるシーケンスレイヤと、前記画面ごとに共通の情報を有するスライスからなるピクチャレイヤと、前記スライスごとにマクロブロックを有するスライスレイヤと、前記マクロブロックごとにブロックを有するマクロブロックレイヤと、前記ブロック情報を有するブロックレイヤと、からなる階層構造であり、
前記差分符号化信号生成ステップが、前記拡張差分符号化信号を前記階層構造にしたがって生成することを特徴とする符号化信号分離方法。
【請求項２５】
請求項２３または請求項２４に記載の符号化信号分離方法において、
前記差分符号化信号生成ステップが、それぞれ異なる前記部分差分情報から複数の前記拡張差分符号化信号を生成することを特徴とする符号化信号分離方法。
【請求項２６】
請求項２５に記載の符号化信号分離方法において、
前記部分差分情報は、前記差分情報を、前記第１符号化信号と前記第２符号化信号との差分の大きさごとに階層分割した情報であることを特徴とする符号化信号分離方法。
【請求項２７】
請求項２５または請求項２６に記載の符号化信号分離方法において、
前記差分情報は、前記複数の拡張差分符号化信号に生成された前記部分差分情報のいずれかに含まれることを特徴とする符号化信号分離方法。
【請求項２８】
請求項２３から請求項２７のいずれか１項に記載の符号化信号分離方法において、
前記第１係数情報が前記符号化信号変換ステップにより前記第２係数情報に変換されるとき、零係数に変換される第１係数情報群を零係数変換第１係数情報とし、零係数に変換された第２係数情報群を零係数第２係数情報とし、非零係数に変換される第１係数情報群を非零係数変換第１係数情報とし、非零係数に変換された第２係数情報群を非零係数第２係数情報とし、
前記差分符号化信号生成ステップが、
前記第１係数情報を、前記零係数変換第１係数情報と、前記非零係数変換第１係数情報と、に分離し、前記第２係数情報を、前記零係数第２係数情報と、前記非零係数第２係数情報と、に分離する係数情報分離ステップと、
前記零係数変換第１係数情報と、前記零係数第２係数情報と、に基づいて零係数差分情報を生成し、符号化して、零係数差分符号化信号を生成する零係数符号化ステップと、
前記非零係数変換第１係数情報と、前記非零係数第２係数情報と、に基づいて非零係数差分情報を生成し、符号化して、非零係数差分符号化信号を生成する非零係数符号化ステップと、
を備えたことを特徴とする符号化信号分離方法。
【請求項２９】
請求項２８に記載の符号化信号分離方法において、
前記非零係数符号化ステップが、前記非零係数差分情報を、前記非零係数変換第１係数情報の係数値と、前記非零係数第２係数情報の係数値と、に基づいて係数値情報のみから生成することを特徴とする符号化信号分離方法。
【請求項３０】
請求項２９に記載の符号化信号分離方法において、
前記画像情報のマクロブロックを前記第１符号化信号のマクロブロック情報に量子化した際の量子化パラメータを第１マクロブロック量子化パラメータとし、前記第２符号化信号のマクロブロック情報を逆量子化して復号する量子化パラメータを第２マクロブロック量子化パラメータとし、
前記非零係数符号化ステップが、前記非零係数差分情報の係数値情報として、前記第１マクロブロック量子化パラメータと前記第２マクロブロック量子化パラメータとの比率と前記非零係数第２係数情報の係数値から、前記非零係数変換第１係数情報の係数値を予測した値の誤差を算出することを特徴とする符号化信号分離方法。
【請求項３１】
請求項２８から請求項３０のいずれか１項に記載の符号化信号分離方法において、
前記零係数符号化ステップが、前記零係数変換第１係数情報の値ごとに係数別零係数差分情報を生成し、符号化して、係数別零係数差分符号化信号を生成することを特徴とする符号化信号分離方法。
【請求項３２】
請求項３１に記載の符号化信号分離方法において、
前記零係数符号化ステップが、前記係数別零係数差分符号化信号の終了ごとに当該信号の終了を表す係数終了符号を付与し、前記係数値の大きさの順に並べて前記零係数差分符号化信号を生成するとともに、前記係数別零係数差分情報として当該係数値の前記零係数変換第１係数情報での位置情報のみを符号化することを特徴とする符号化信号分離方法。
【請求項３３】
請求項３１または請求項３２に記載の符号化信号分離方法において、
前記零係数符号化ステップが、前記第１係数情報群をジグザグスキャンし、連続する当該係数値未満の数により前記係数値の位置情報を表し、該位置情報を有する前記係数別零係数差分情報を生成することを特徴とする符号化信号分離方法。
【請求項３４】
複数の画像情報から構成される動画像を符号化した第１符号化信号を入力する第１符号化信号入力ステップと、
前記第１符号化信号に符号量変換処理が行われて符号量が削減された第２符号化信号を入力する第２符号化信号入力ステップと、
前記第１符号化信号と前記第２符号化信号との差分情報の一部である部分差分情報を符号化して、拡張差分符号化信号を生成する差分符号化信号生成ステップと、
を備え、
前記差分符号化信号生成ステップが、前記第１符号化信号から得られる前記画像情報の第１係数情報と、前記第２符号化信号から得られる前記画像情報の第２係数情報と、の係数値の変化情報の一部を符号化して、前記拡張差分符号化信号を生成することを特徴とする差分符号化信号生成方法。
【請求項３５】
複数の画像情報から構成される動画像を符号化した第１符号化信号と、前記第１符号化信号に符号量変換処理が行われて符号量が削減された第２符号化信号と、の差分情報の一部である部分差分情報を符号化した複数の拡張差分符号化信号を記憶する差分符号化信号記憶ステップと、
前記複数の拡張差分符号化信号から所望の拡張差分符号化信号を選択する差分符号化信号選択ステップと、
前記差分符号化信号選択ステップに選択された拡張差分符号化信号を抽出する差分符号化信号抽出ステップと、
を備え、
前記拡張差分符号化信号は、前記第１符号化信号から得られる前記画像情報の第１係数情報と、前記第２符号化信号から得られる前記画像情報の第２係数情報と、の係数値の変化情報の一部を符号化した符号化信号であることを特徴とする差分符号化信号抽出方法。
【請求項３６】
請求項３５に記載の符号化信号抽出方法において、
前記差分符号化信号抽出ステップに抽出された拡張差分符号化信号を送信する送信符号量を指定する送信符号量指定ステップと、
を備え、
前記差分符号化信号選択ステップが、前記指定された送信符号量に基づいて前記拡張差分符号化信号を選択することを特徴とする符号化信号抽出方法。
【請求項３７】
請求項３６に記載の符号化信号抽出方法において、
前記送信符号量指定ステップが、前記拡張差分符号化信号を送信する送信伝送路の伝送路速度と、前記拡張差分符号化信号を送信する送信時間と、にしたがって前記送信符号量を指定することを特徴とする符号化信号抽出方法。
【請求項３８】
請求項３５から請求項３７のいずれか１項に記載の符号化信号抽出方法において、
前記差分符号化信号選択ステップが前記拡張差分符号化信号を選択する際に、選択対象から除外する除外拡張差分符号化信号を指定する除外拡張差分符号化信号指定ステップと、
を備え、
前記差分符号化信号選択ステップが、前記除外拡張差分符号化信号を除外して、前記拡張差分符号化信号を選択することを特徴とする符号化信号抽出方法。
【請求項３９】
複数の画像情報から構成される動画像を符号化した第１符号化信号が符号量変換処理により符号量削減された第２符号化信号を入力する第２符号化信号入力ステップと、
前記第１符号化信号と前記第２符号化信号との差分情報の一部である部分差分情報を符号化した拡張差分符号化信号を入力する差分符号化信号入力ステップと、
前記第２符号化信号と、前記拡張差分符号化信号と、を合成して前記第１符号化信号と前記第２符号化信号との中間の合成符号化信号を生成する合成符号化信号生成ステップと、
を備え、
前記合成符号化信号生成ステップが、前記第２符号化信号から得られる前記画像情報の第２係数情報と、前記拡張差分符号化信号から得られる前記画像情報の第１係数情報と前記第２係数情報との変化情報と、を復号し合成して前記第１係数情報の一部を復元することにより、前記合成符号化信号を生成することを特徴とする符号化信号合成方法。
【請求項４０】
請求項３９に記載の符号化信号合成方法において、
前記差分符号化信号入力ステップが、入力済みの前記拡張差分符号化信号とは異なる拡張差分符号化信号を新たに入力し、
前記合成符号化信号生成ステップが、前記合成符号化信号と、新たに入力した前記拡張差分符号化信号と、を合成して前記第１符号化信号と前記合成符号化信号との中間の新たな合成符号化信号を生成することを特徴とする符号化信号合成方法。
【請求項４１】
請求項３９または請求項４０に記載の符号化信号合成方法において、
前記差分符号化信号入力ステップが、複数の前記拡張差分符号化信号を同時に入力し、
前記合成符号化信号生成ステップが、前記第２符号化信号または前記合成符号化信号と、前記複数の拡張差分符号化信号と、を合成して前記合成符号化信号を生成することを特徴とする符号化信号合成方法。
【請求項４２】
請求項３９から請求項４１のいずれか１項に記載の符号化信号合成方法において、
前記差分符号化信号入力ステップが、前記差分情報と、入力済みの前記拡張差分符号化信号が有する拡張差分情報と、の差分情報の全てを有する前記拡張差分符号化信号を入力し、
前記合成符号化信号生成ステップが、前記合成符号化信号と、新たに入力した前記拡張差分符号化信号と、を合成して前記第１符号化信号を生成することを特徴とする符号化信号合成方法。
【請求項４３】
請求項３９から請求項４２のいずれか１項に記載の符号化信号合成方法において、
前記第１係数情報が前記第２係数情報に変換されたとき、零係数に変換された第１係数情報群を零係数変換第１係数情報とし、零係数に変換された第２係数情報群を零係数第２係数情報とし、非零係数に変換された第１係数情報群を非零係数変換第１係数情報とし、非零係数に変換された第２係数情報群を非零係数第２係数情報とし、
前記零係数変換第１係数情報の一部と前記零係数第２係数情報の一部とに基づいて生成された部分差分情報を部分零係数差分情報とし、前記非零係数変換第１係数情報と前記非零係数第２係数情報とに基づいて生成された部分差分情報を非零係数差分情報とし、
前記合成符号化信号生成ステップが、
前記第２符号化信号内の前記零係数第２係数情報と、前記拡張差分符号化信号内の前記部分零係数差分情報と、に基づいて前記零係数変換第１係数情報の一部を生成する零係数変換第１係数情報生成ステップと、
前記第２符号化信号内の前記非零係数第２係数情報と、前記拡張差分符号化信号内の前記非零係数差分情報と、に基づいて前記非零係数変換第１係数情報を生成する非零係数変換第１係数情報生成ステップと、
前記零係数変換第１係数情報の一部と、前記非零係数変換第１係数情報と、を合成して、前記第１係数情報の一部を合成する第１係数情報合成ステップと、
を備えたことを特徴とする符号化信号合成方法。
【請求項４４】
複数の画像情報から構成される動画像を符号化した第１符号化信号を入力して、該入力された第１符号化信号に符号量変換処理を行い、前記動画像の疑似動画像である２次動画像を復元させる第２符号化信号に変換して出力するとともに、前記第１符号化信号と前記第２符号化信号との差分情報の一部である部分差分情報を符号化した拡張差分符号化信号を出力する符号化信号分離ステップと、
前記第２符号化信号と前記拡張差分符号化信号とを入力して、前記第１符号化信号と前記第２符号化信号との中間の合成符号化信号を生成して出力する符号化信号合成ステップと、
を備え、
前記符号化信号分離ステップが、
前記第１符号化信号を入力する入力ステップと、
該入力ステップに入力された第１符号化信号に符号量変換処理を行い、前記第２符号化信号に変換する符号化信号変換ステップと、
前記拡張差分符号化信号を生成する差分符号化信号生成ステップと、
前記第２符号化信号を出力する第２符号化信号出力ステップと、
前記拡張差分符号化信号を出力する差分符号化信号出力ステップと、
を有し、
前記符号化信号合成ステップが、
前記第２符号化信号を入力する第２符号化信号入力ステップと、
前記拡張差分符号化信号を入力する差分符号化信号入力ステップと、
前記第２符号化信号と、前記拡張差分符号化信号と、を合成して前記合成符号化信号を生成する合成符号化信号生成ステップと、
前記合成符号化信号を出力する合成符号化信号出力ステップと、
を有することを特徴とする符号化信号分離合成方法。
【請求項４５】
複数の画像情報から構成される動画像を符号化した第１符号化信号を入力する入力ステップと、
該入力ステップに入力された第１符号化信号に符号量変換処理を行い、前記動画像の疑似動画像である２次動画像を復元させる第２符号化信号に変換する符号化信号変換ステップと、
前記第１符号化信号と前記第２符号化信号との差分情報の一部である部分差分情報を符号化して、拡張差分符号化信号を生成する差分符号化信号生成ステップと、
を備え、
前記差分符号化信号生成ステップが、前記第１符号化信号から得られる前記画像情報の第１係数情報と、前記第２符号化信号の一部として出力される前記画像情報の第２係数情報と、の係数値の変化情報の一部を符号化して、前記拡張差分符号化信号を生成することを特徴とする符号化信号分離プログラム。
【請求項４６】
請求項４５に記載の符号化信号分離プログラムにおいて、
前記第１符号化信号と前記第２符号化信号との差分情報が階層構造を有し、
該階層構造が、共通の情報を有する複数の画面からなるシーケンスレイヤと、前記画面ごとに共通の情報を有するスライスからなるピクチャレイヤと、前記スライスごとにマクロブロックを有するスライスレイヤと、前記マクロブロックごとにブロックを有するマクロブロックレイヤと、前記ブロック情報を有するブロックレイヤと、からなる階層構造であり、
前記差分符号化信号生成ステップが、前記拡張差分符号化信号を前記階層構造にしたがって生成することを特徴とする符号化信号分離プログラム。
【請求項４７】
請求項４５または請求項４６に記載の符号化信号分離プログラムにおいて、
前記差分符号化信号生成ステップが、それぞれ異なる前記部分差分情報から複数の前記拡張差分符号化信号を生成することを特徴とする符号化信号分離プログラム。
【請求項４８】
請求項４７に記載の符号化信号分離プログラムにおいて、
前記部分差分情報は、前記差分情報を、前記第１符号化信号と前記第２符号化信号との差分の大きさごとに階層分割した情報であることを特徴とする符号化信号分離プログラム。
【請求項４９】
請求項４７または請求項４８に記載の符号化信号分離プログラムにおいて、
前記差分情報は、前記複数の拡張差分符号化信号に生成された前記部分差分情報のいずれかに含まれることを特徴とする符号化信号分離プログラム。
【請求項５０】
請求項４５から請求項４９のいずれか１項に記載の符号化信号分離プログラムにおいて、
前記第１係数情報が前記符号化信号変換ステップにより前記第２係数情報に変換されるとき、零係数に変換される第１係数情報群を零係数変換第１係数情報とし、零係数に変換された第２係数情報群を零係数第２係数情報とし、非零係数に変換される第１係数情報群を非零係数変換第１係数情報とし、非零係数に変換された第２係数情報群を非零係数第２係数情報とし、
前記差分符号化信号生成ステップが、
前記第１係数情報を、前記零係数変換第１係数情報と、前記非零係数変換第１係数情報と、に分離し、前記第２係数情報を、前記零係数第２係数情報と、前記非零係数第２係数情報と、に分離する係数情報分離ステップと、
前記零係数変換第１係数情報と、前記零係数第２係数情報と、に基づいて零係数差分情報を生成し、符号化して、零係数差分符号化信号を生成する零係数符号化ステップと、
前記非零係数変換第１係数情報と、前記非零係数第２係数情報と、に基づいて非零係数差分情報を生成し、符号化して、非零係数差分符号化信号を生成する非零係数符号化ステップと、
を備えたことを特徴とする符号化信号分離プログラム。
【請求項５１】
請求項５０に記載の符号化信号分離プログラムにおいて、
前記非零係数符号化ステップが、前記非零係数差分情報を、前記非零係数変換第１係数情報の係数値と、前記非零係数第２係数情報の係数値と、に基づいて係数値情報のみから生成することを特徴とする符号化信号分離プログラム。
【請求項５２】
請求項５１に記載の符号化信号分離プログラムにおいて、
前記画像情報のマクロブロックを前記第１符号化信号のマクロブロック情報に量子化した際の量子化パラメータを第１マクロブロック量子化パラメータとし、前記第２符号化信号のマクロブロック情報を逆量子化して復号する量子化パラメータを第２マクロブロック量子化パラメータとし、
前記非零係数符号化ステップが、前記非零係数差分情報の係数値情報として、前記第１マクロブロック量子化パラメータと前記第２マクロブロック量子化パラメータとの比率と前記非零係数第２係数情報の係数値から、前記非零係数変換第１係数情報の係数値を予測した値の誤差を算出することを特徴とする符号化信号分離プログラム。
【請求項５３】
請求項５０から請求項５２のいずれか１項に記載の符号化信号分離プログラムにおいて、
前記零係数符号化ステップが、前記零係数変換第１係数情報の値ごとに係数別零係数差分情報を生成し、符号化して、係数別零係数差分符号化信号を生成することを特徴とする符号化信号分離プログラム。
【請求項５４】
請求項５３に記載の符号化信号分離プログラムにおいて、
前記零係数符号化ステップが、前記係数別零係数差分符号化信号の終了ごとに当該信号の終了を表す係数終了符号を付与し、前記係数値の大きさの順に並べて前記零係数差分符号化信号を生成するとともに、前記係数別零係数差分情報として当該係数値の前記零係数変換第１係数情報での位置情報のみを符号化することを特徴とする符号化信号分離プログラム。
【請求項５５】
請求項５３または請求項５４に記載の符号化信号分離プログラムにおいて、
前記零係数符号化ステップが、前記第１係数情報群をジグザグスキャンし、連続する当該係数値未満の数により前記係数値の位置情報を表し、該位置情報を有する前記係数別零係数差分情報を生成することを特徴とする符号化信号分離プログラム。
【請求項５６】
複数の画像情報から構成される動画像を符号化した第１符号化信号を入力する第１符号化信号入力ステップと、
前記第１符号化信号に符号量変換処理が行われて符号量が削減された第２符号化信号を入力する第２符号化信号入力ステップと、
前記第１符号化信号と前記第２符号化信号との差分情報の一部である部分差分情報を符号化して、拡張差分符号化信号を生成する差分符号化信号生成ステップと、
を備え、
前記差分符号化信号生成ステップが、前記第１符号化信号から得られる前記画像情報の第１係数情報と、前記第２符号化信号から得られる前記画像情報の第２係数情報と、の係数値の変化情報の一部を符号化して、前記拡張差分符号化信号を生成することを特徴とする差分符号化信号生成プログラム。
【請求項５７】
複数の画像情報から構成される動画像を符号化した第１符号化信号と、前記第１符号化信号に符号量変換処理が行われて符号量が削減された第２符号化信号と、の差分情報の一部である部分差分情報を符号化した複数の拡張差分符号化信号を記憶する差分符号化信号記憶ステップと、
前記複数の拡張差分符号化信号から所望の拡張差分符号化信号を選択する差分符号化信号選択ステップと、
前記差分符号化信号選択ステップに選択された拡張差分符号化信号を抽出する差分符号化信号抽出ステップと、
を備え、
前記拡張差分符号化信号は、前記第１符号化信号から得られる前記画像情報の第１係数情報と、前記第２符号化信号から得られる前記画像情報の第２係数情報と、の係数値の変化情報の一部を符号化した符号化信号であることを特徴とする差分符号化信号抽出プログラム。
【請求項５８】
請求項５７に記載の符号化信号抽出プログラムにおいて、
前記差分符号化信号抽出ステップに抽出された拡張差分符号化信号を送信する送信符号量を指定する送信符号量指定ステップと、
を備え、
前記差分符号化信号選択ステップが、前記指定された送信符号量に基づいて前記拡張差分符号化信号を選択することを特徴とする符号化信号抽出プログラム。
【請求項５９】
請求項５８に記載の符号化信号抽出プログラムにおいて、
前記送信符号量指定ステップが、前記拡張差分符号化信号を送信する送信伝送路の伝送路速度と、前記拡張差分符号化信号を送信する送信時間と、にしたがって前記送信符号量を指定することを特徴とする符号化信号抽出プログラム。
【請求項６０】
請求項５７から請求項５９のいずれか１項に記載の符号化信号抽出プログラムにおいて、
前記差分符号化信号選択ステップが前記拡張差分符号化信号を選択する際に、選択対象から除外する除外拡張差分符号化信号を指定する除外拡張差分符号化信号指定ステップと、
を備え、
前記差分符号化信号選択ステップが、前記除外拡張差分符号化信号を除外して、前記拡張差分符号化信号を選択することを特徴とする符号化信号抽出プログラム。
【請求項６１】
複数の画像情報から構成される動画像を符号化した第１符号化信号が符号量変換処理により符号量削減された第２符号化信号を入力する第２符号化信号入力ステップと、
前記第１符号化信号と前記第２符号化信号との差分情報の一部である部分差分情報を符号化した拡張差分符号化信号を入力する差分符号化信号入力ステップと、
前記第２符号化信号と、前記拡張差分符号化信号と、を合成して前記第１符号化信号と前記第２符号化信号との中間の合成符号化信号を生成する合成符号化信号生成ステップと、
を備え、
前記合成符号化信号生成ステップが、前記第２符号化信号から得られる前記画像情報の第２係数情報と、前記拡張差分符号化信号から得られる前記画像情報の第１係数情報と前記第２係数情報との変化情報と、を復号し合成して前記第１係数情報の一部を復元することにより、前記合成符号化信号を生成することを特徴とする符号化信号合成プログラム。
【請求項６２】
請求項６１に記載の符号化信号合成プログラムにおいて、
前記差分符号化信号入力ステップが、入力済みの前記拡張差分符号化信号とは異なる拡張差分符号化信号を新たに入力し、
前記合成符号化信号生成ステップが、前記合成符号化信号と、新たに入力した前記拡張差分符号化信号と、を合成して前記第１符号化信号と前記合成符号化信号との中間の新たな合成符号化信号を生成することを特徴とする符号化信号合成プログラム。
【請求項６３】
請求項６１または請求項６２に記載の符号化信号合成プログラムにおいて、
前記差分符号化信号入力ステップが、複数の前記拡張差分符号化信号を同時に入力し、
前記合成符号化信号生成ステップが、前記第２符号化信号または前記合成符号化信号と、前記複数の拡張差分符号化信号と、を合成して前記合成符号化信号を生成することを特徴とする符号化信号合成プログラム。
【請求項６４】
請求項６１から請求項６３のいずれか１項に記載の符号化信号合成プログラムにおいて、
前記差分符号化信号入力ステップが、前記差分情報と、入力済みの前記拡張差分符号化信号が有する拡張差分情報と、の差分情報の全てを有する前記拡張差分符号化信号を入力し、
前記合成符号化信号生成ステップが、前記合成符号化信号と、新たに入力した前記拡張差分符号化信号と、を合成して前記第１符号化信号を生成することを特徴とする符号化信号合成プログラム。
【請求項６５】
請求項６１から請求項６４のいずれか１項に記載の符号化信号合成プログラムにおいて、
前記第１係数情報が前記第２係数情報に変換されたとき、零係数に変換された第１係数情報群を零係数変換第１係数情報とし、零係数に変換された第２係数情報群を零係数第２係数情報とし、非零係数に変換された第１係数情報群を非零係数変換第１係数情報とし、非零係数に変換された第２係数情報群を非零係数第２係数情報とし、
前記零係数変換第１係数情報の一部と前記零係数第２係数情報の一部とに基づいて生成された部分差分情報を部分零係数差分情報とし、前記非零係数変換第１係数情報と前記非零係数第２係数情報とに基づいて生成された部分差分情報を非零係数差分情報とし、
前記合成符号化信号生成ステップが、
前記第２符号化信号内の前記零係数第２係数情報と、前記拡張差分符号化信号内の前記部分零係数差分情報と、に基づいて前記零係数変換第１係数情報の一部を生成する零係数変換第１係数情報生成ステップと、
前記第２符号化信号内の前記非零係数第２係数情報と、前記拡張差分符号化信号内の前記非零係数差分情報と、に基づいて前記非零係数変換第１係数情報を生成する非零係数変換第１係数情報生成ステップと、
前記零係数変換第１係数情報の一部と、前記非零係数変換第１係数情報と、を合成して、前記第１係数情報の一部を合成する第１係数情報合成ステップと、
を備えたことを特徴とする符号化信号合成プログラム。
【請求項６６】
複数の画像情報から構成される動画像を符号化した第１符号化信号を入力して、該入力された第１符号化信号に符号量変換処理を行い、前記動画像の疑似動画像である２次動画像を復元させる第２符号化信号に変換して出力するとともに、前記第１符号化信号と前記第２符号化信号との差分情報の一部である部分差分情報を符号化した拡張差分符号化信号を出力する符号化信号分離ステップと、
前記第２符号化信号と前記拡張差分符号化信号とを入力して、前記第１符号化信号と前記第２符号化信号との中間の合成符号化信号を生成して出力する符号化信号合成ステップと、
を備え、
前記符号化信号分離ステップが、
前記第１符号化信号を入力する入力ステップと、
該入力ステップに入力された第１符号化信号に符号量変換処理を行い、前記第２符号化信号に変換する符号化信号変換ステップと、
前記拡張差分符号化信号を生成する差分符号化信号生成ステップと、
前記第２符号化信号を出力する第２符号化信号出力ステップと、
前記拡張差分符号化信号を出力する差分符号化信号出力ステップと、
を有し、
前記符号化信号合成ステップが、
前記第２符号化信号を入力する第２符号化信号入力ステップと、
前記拡張差分符号化信号を入力する差分符号化信号入力ステップと、
前記第２符号化信号と、前記拡張差分符号化信号と、を合成して前記合成符号化信号を生成する合成符号化信号生成ステップと、
前記合成符号化信号を出力する合成符号化信号出力ステップと、
を有することを特徴とする符号化信号分離合成プログラム。
【請求項６７】
複数の画像情報から構成される動画像を符号化した第１符号化信号を入力する入力ステップと、
該入力ステップに入力された第１符号化信号に符号量変換処理を行い、前記動画像の疑似動画像である２次動画像を復元させる第２符号化信号に変換する符号化信号変換ステップと、
前記第１符号化信号と前記第２符号化信号との差分情報の一部である部分差分情報を符号化して、拡張差分符号化信号を生成する差分符号化信号生成ステップと、
を備え、
前記差分符号化信号生成ステップが、前記第１符号化信号から得られる前記画像情報の第１係数情報と、前記第２符号化信号の一部として出力される前記画像情報の第２係数情報と、の係数値の変化情報の一部を符号化して、前記拡張差分符号化信号を生成することを特徴とする符号化信号分離プログラムを記録した媒体。
【請求項６８】
複数の画像情報から構成される動画像を符号化した第１符号化信号を入力する第１符号化信号入力ステップと、
前記第１符号化信号に符号量変換処理が行われて符号量が削減された第２符号化信号を入力する第２符号化信号入力ステップと、
前記第１符号化信号と前記第２符号化信号との差分情報の一部である部分差分情報を符号化して、拡張差分符号化信号を生成する差分符号化信号生成ステップと、
を備え、
前記差分符号化信号生成ステップが、前記第１符号化信号から得られる前記画像情報の第１係数情報と、前記第２符号化信号から得られる前記画像情報の第２係数情報と、の係数値の変化情報の一部を符号化して、前記拡張差分符号化信号を生成することを特徴とする差分符号化信号生成プログラムを記録した媒体。
【請求項６９】
複数の画像情報から構成される動画像を符号化した第１符号化信号と、前記第１符号化信号に符号量変換処理が行われて符号量が削減された第２符号化信号と、の差分情報の一部である部分差分情報を符号化した複数の拡張差分符号化信号を記憶する差分符号化信号記憶ステップと、
前記複数の拡張差分符号化信号から所望の拡張差分符号化信号を選択する差分符号化信号選択ステップと、
前記差分符号化信号選択ステップに選択された拡張差分符号化信号を抽出する差分符号化信号抽出ステップと、
を備え、
前記拡張差分符号化信号は、前記第１符号化信号から得られる前記画像情報の第１係数情報と、前記第２符号化信号から得られる前記画像情報の第２係数情報と、の係数値の変化情報の一部を符号化した符号化信号であることを特徴とする差分符号化信号抽出プログラムを記録した媒体。
【請求項７０】
複数の画像情報から構成される動画像を符号化した第１符号化信号が符号量変換処理により符号量削減された第２符号化信号を入力する第２符号化信号入力ステップと、
前記第１符号化信号と前記第２符号化信号との差分情報の一部である部分差分情報を符号化した拡張差分符号化信号を入力する差分符号化信号入力ステップと、
前記第２符号化信号と、前記拡張差分符号化信号と、を合成して前記第１符号化信号と前記第２符号化信号との中間の合成符号化信号を生成する合成符号化信号生成ステップと、
を備え、
前記合成符号化信号生成ステップが、前記第２符号化信号から得られる前記画像情報の第２係数情報と、前記拡張差分符号化信号から得られる前記画像情報の第１係数情報と前記第２係数情報との変化情報と、を復号し合成して前記第１係数情報の一部を復元することにより、前記合成符号化信号を生成することを特徴とする符号化信号合成プログラムを記録した媒体。
【請求項７１】
複数の画像情報から構成される動画像を符号化した第１符号化信号を入力して、該入力された第１符号化信号に符号量変換処理を行い、前記動画像の疑似動画像である２次動画像を復元させる第２符号化信号に変換して出力するとともに、前記第１符号化信号と前記第２符号化信号との差分情報の一部である部分差分情報を符号化した拡張差分符号化信号を出力する符号化信号分離ステップと、
前記第２符号化信号と前記拡張差分符号化信号とを入力して、前記第１符号化信号と前記第２符号化信号との中間の合成符号化信号を生成して出力する符号化信号合成ステップと、
を備え、
前記符号化信号分離ステップが、
前記第１符号化信号を入力する入力ステップと、
該入力ステップに入力された第１符号化信号に符号量変換処理を行い、前記第２符号化信号に変換する符号化信号変換ステップと、
前記拡張差分符号化信号を生成する差分符号化信号生成ステップと、
前記第２符号化信号を出力する第２符号化信号出力ステップと、
前記拡張差分符号化信号を出力する差分符号化信号出力ステップと、
を有し、
前記符号化信号合成ステップが、
前記第２符号化信号を入力する第２符号化信号入力ステップと、
前記拡張差分符号化信号を入力する差分符号化信号入力ステップと、
前記第２符号化信号と、前記拡張差分符号化信号と、を合成して前記合成符号化信号を生成する合成符号化信号生成ステップと、
前記合成符号化信号を出力する合成符号化信号出力ステップと、
を有することを特徴とする符号化信号分離合成プログラムを記録した媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、符号化信号分離・合成装置、方法およびプログラムに関し、特に、符号量変換処理時に、変換前後間の差分情報の一部を作成し、変換された変換後情報から、変換前と変換後との中間の映像情報を作成する符号化信号分離・合成装置、方法およびプログラムに関する。
【０００２】
【従来の技術】
動画像をディジタル化する技術において、発生する膨大な情報量を圧縮して符号化するための方式として、ディジタルビデオおよび付随するオーディオに対する符号化方式の標準規格ＩＳＯ／ＩＥＣ  １３８１８（通称、「ＭＰＥＧ−２」(Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ  Ｐｈａｓｅ  ２)）がある。このようにして生成されたＭＰＥＧ−２の規格に準拠したビットストリーム（以後、「ＭＰＥＧ−２ビットストリーム」と呼ぶ）は、通信やテレビジョン放送など幅広い分野で使用されている。
【０００３】
ＭＰＥＧ−２ビットストリームは階層構造を有し、最上位のシーケンスレイヤからＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ）レイヤ、ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤおよびブロックレイヤの順の各レイヤからなる。
【０００４】
ＭＰＥＧ−２においては、一連の複数の画面から構成される動画像において、各画面を一旦フレームメモリに保存し、フレーム間の差分を取ることによって時間軸方向の冗長度を削減し、さらに、各フレームを構成する複数の画素を離散コサイン変換（以後、「ＤＣＴ」と略す）等の直交変換処理を行うことにより空間軸方向の冗長度を削減することにより、効率良い動画像圧縮符号化を実現している。
【０００５】
符号化された信号は、復号器に送られて復号され再生される。復号器では、画面を再生し第１のフレームメモリに保存し、差分情報に基づいて次に続くべき画面を予測し第２のフレームメモリに保存し、２つのフレームからその間に挿入される画面をさらに予測して、一連の画面を構成し動画像を再生する。このような手法は双方向予測と呼ばれる。
【０００６】
ＭＰＥＧ−２では、この双方向予測を実現するために、Ｉピクチャ、ＰピクチャおよびＢピクチャという３つのタイプを規定している。Ｉピクチャは、イントラ符号化ピクチャの略であり、他のピクチャとは独立して静止画として符号化される画面のことである。Ｐピクチャは、順方向予測符号化ピクチャの略であり、時間的に過去に位置するＩまたはＰピクチャに基づいて予測符号化される画面のことである。Ｂピクチャは、双方向予測符号化ピクチャの略であり、時間的に前後に位置するＩまたはＰピクチャを用いて順方向、逆方向または双方向のピクチャに基づいて予測符号化される画面のことである。すなわち、ＩピクチャおよびＰピクチャを先に符号化処理した後、その間に挿入されるＢピクチャが符号化される。
【０００７】
符号化器で符号化されたＭＰＥＧ−２ビットストリームは、所定の転送速度で伝送路に送出され、該伝送路上の復号器に入力されて復号され再生される。しかしながら、動画像を符号化して発生する情報量は一定ではない。特にシーンチェンジ時には、情報量は一気に増大する。このように一定しない符号化信号を固定レートの伝送路に送出するために、予め送信用バッファのレベル以上の情報量が発生しないように符号化データのレート制御を行う必要がある。
【０００８】
ＭＰＥＧ−２では、ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１／Ｎ０４００  Ｔｅｓｔ  Ｍｏｄｅｌ  ５  （Ａｐｒｉｌ，  １９９３）（以後、「ＴＭ５」と略す）にレート制御方式が記載されている。
【０００９】
ＭＰＥＧ−２のＴＭ５のレート制御では、ステップ１で、まずピクチャタイプ毎にＧＯＰ内の未符号化ピクチャに対する割り当て符号量Ｒに基づいてビット配分する。ステップ２で、マクロブロック単位に符号化処理を行う際に使用する量子化スケールを、ビット配分に基づいて算出した仮想バッファ占有量から算出する。
【００１０】
また、ＭＰＥＧ−２以外の圧縮フォーマットを有する復号器や、異なる転送速度の伝送路に接続された復号器も多数存在するため、異なる圧縮フォーマットや異なる転送速度にＭＰＥＧ−２ビットストリームを変換する動画圧縮符号化信号変換装置が必要となる。これを実現するための装置が所謂トランスコーダである。符号化器から伝送された画像圧縮符号化信号は、トランスコーダで適切な信号に変換され、各復号器に信号が供給される。
【００１１】
図１７に一般的な従来のトランスコーダ５０の第１例を示す。従来のトランスコーダ５０は、第１ビットレートを有する第１伝送路（図示なし）に接続され、第１ＭＰＥＧ−２ビットストリームｂ１を入力する可変長復号部（ＶＬＤ）５１と、逆量子化器５３と、量子化器５５と、第２ビットレートを有する第２伝送路（図示なし）に接続され、第２ＭＰＥＧ−２ビットストリームｂ２を出力するＶＬＣ５７と、量子化器５５で発生する符号量を制御するレート制御部５９と、を備えている。第２ビットレートは第１ビットレートより低い転送速度である。
【００１２】
ＶＬＤ５１および逆量子化器５３によって、第１ＭＰＥＧ−２ビットストリームｂ１をマクロブロック単位にＤＣＴ係数領域まで復号し、量子化器５５およびＶＬＣ５７によって、得られたＤＣＴ係数信号を符号化して、第１ＭＰＥＧ−２ビットストリームより少ない符号量を有する第２ＭＰＥＧ−２ビットストリームｂ２を生成するものである。
【００１３】
量子化器５５における量子化処理では、ＤＣＴ変換で得られた係数を所定の量子化ステップで除算する。これにより画像信号は圧縮される。この量子化ステップは、所定の量子化テーブルに含まれる複数の量子化マトリクス値に量子化スケールを乗算して求められる。
【００１４】
トランスコーダ５０では、第１ＭＰＥＧ−２ビットストリームｂ１内のシーケンスレイヤ、ＧＯＰレイヤ、ピクチャレイヤ、スライスレイヤおよびマクロブロックレイヤの符号化情報を殆ど再利用する。基本的にブロックレイヤのＤＣＴ係数の変換およびブロックレイヤの変換に伴い修正が必要なマクロブロックレイヤの符号の変換の処理のみが行われる。
【００１５】
このように構成されたトランスコーダ５０において、レート制御部５９はＭＰＥＧ−２のＴＭ５に記載されているレート制御を行う。図１８に従来のトランスコーダ５０のレート制御処理のフローチャートを示す。同図に示されるように、従来のレート制御処理はステップＡ１〜Ａ１４からなる。
【００１６】
ステップＡ１で、変数ｎを１に設定する。ここで、変数ｎは、入力画像信号に含まれる複数のピクチャに付けられた番号を示し、以後、ｎ番目のピクチャをpic(n)と示す。
【００１７】
続くステップＡ２で、Ｉ、ＰおよびＢピクチャの複雑さを示す指標Ｘi、ＸpおよびＸbを下記の式（ａ１）、式（ａ２）および式（ａ３）により算出する。
【００１８】
Ｘi＝Ｓi×Ｑi                                          …式（ａ１）
Ｘp＝Ｓp×Ｑp                                          …式（ａ２）
Ｘb＝Ｓb×Ｑb                                          …式（ａ３）
【００１９】
ここで、Ｓi、ＳpおよびＳbはそれぞれＩ、ＰおよびＢピクチャの発生符号量であり、Ｑi、ＱpおよびＱbは、それぞれＩ、ＰおよびＢピクチャ内の全マクロブロックの量子化スケールコードの平均値である平均量子化パラメータである。ただし、平均量子化パラメータは１〜３１の範囲に正規化されている。
【００２０】
この画面の複雑さ指標Ｘi、ＸpおよびＸbは、符号化情報量が多く発生するような画像、すなわち低い圧縮率の画像に対して大きくなり、逆に高い圧縮率の画像に対しては小さくなる。
【００２１】
また、Ｉ、ＰおよびＢピクチャの画面の複雑さを示すパラメータＸi、ＸpおよびＸbの初期値は、次式（ａ４）、式（ａ５）および式（ａ６）でそれぞれ与えられる。
【００２２】
Ｘi＝１６０×target_Bitrate／１１５                    …式（ａ４）
Ｘp＝６０×target_Bitrate／１１５                      …式（ａ５）
Ｘb＝４２×target_Bitrate／１１５                      …式（ａ６）
【００２３】
ここで、target_Bitrateは、トランスコーダ５０の目標ビットレートである。
【００２４】
続くステップＡ３で、ＧＯＰ内のＩ、ＰおよびＢピクチャに対する割り当て符号量Ｔi、ＴpおよびＴbを、次式（ａ７）、式（ａ８）および式（ａ９）によりそれぞれ算出する。ただし、ＮｐおよびＮｂは、それぞれＧＯＰ内の未符号化のＰおよびＢピクチャの数を示す。
【数１】
2006237656.tif 000003
ここで、ＫｐおよびＫｂは、Ｉピクチャの量子化スケールコードを基準としたＰおよびＢピクチャの量子化スケールコードの比率を示し、Ｋp＝１．０およびＫb＝１．４になる場合に、常に全体の画質が最適化されると仮定する。
【００２５】
続くステップＡ４で、変数ｎが１か否かの判定がなされる。すなわち、符号化対象のピクチャが１番目のピクチャpic(1)か否かの判定がなされる。１番目のピクチャの場合、ステップＡ５へ進み、１番目のピクチャでない場合はステップＡ６へ進む。ステップＡ５では、次式（ａ１０）によりＧＯＰ内の一番初めのピクチャpic(1)を符号化する時のＧＯＰ内の未符号化ピクチャに対する割り当て符号量Ｒを求める。
【００２６】
Ｒ＝target_Bitrate×Ｎ／picture_rate＋Ｒ                …式（ａ１０）
【００２７】
ここで、ＮはＧＯＰ内のピクチャの総数、picture_rateは、入力画像の時間解像度を示す値であり、１秒間に復号され表示される画面の枚数を示す。
【００２８】
ステップＡ６では、ＧＯＰ内の未符号化ピクチャに対する割り当て符号量Ｒを（ｎ−１）番目のピクチャpic(n-1)が符号化された時のＩ、ＰおよびＢピクチャの発生符号量Ｓi、ＳpまたはＳbに基づいて、次式（ａ１１）、式（ａ１２）および式（ａ１３）の何れかにより更新する。
【００２９】
Ｒ＝Ｒ−Ｓi                                            …式（ａ１１）
Ｒ＝Ｒ−Ｓp                                            …式（ａ１２）
Ｒ＝Ｒ−Ｓb                                            …式（ａ１３）
【００３０】
ステップＡ５およびＡ６はともにステップＡ７へ進み、変数ｊに１を設定する。ここで、変数ｊは、１ピクチャ内の複数のマクロブロックに付けられた番号を示し、以後、ｊ番目のマクロブロックをMB(j)と示す。
【００３１】
続くステップＡ８で、Ｉ、ＰおよびＢピクチャ内のｊ番目のマクロブロックMB(j)を符号化する時の仮想バッファの占有量ｄi(j)、ｄp(j)およびｄb(j)が次式（ａ１４）、式（ａ１５）および式（ａ１６）によりそれぞれ算出される。
【数２】
2006237656.tif 000004
ここで、Ｂ(j-1)は、（ｊ−１）番目のマクロブロックMB(j-1)までの全マクロブロックの発生符号量である。
【００３２】
また、ｄi(0)、ｄp(0)およびｄb(0)は、それぞれＩ、ＰおよびＢピクチャの仮想バッファ占有量の初期値であり、次式（ａ１７）、式（ａ１８）および式（ａ１９）でそれぞれ与えられる。
【００３３】
ｄi(0)＝１０×ｒ／３１                                  …式（ａ１７）
ｄp(0)＝Ｋp×ｄi(0)                                     …式（ａ１８）
ｄb(0)＝Ｋb×ｄi(0)                                     …式（ａ１９）
【００３４】
ここで、ｒはリアクションパラメータと呼ばれ、下記の式（ａ２０）で示され、フィードバックループの応答速度を制御する。
【００３５】
ｒ＝２×target_Bitrate／picture_rate                    …式（ａ２０）
【００３６】
また、Ｉ、ＰおよびＢピクチャ符号化終了時の仮想バッファ占有量、すなわちＮＭＢ番目のマクロブロックMB(NMB)を符号化したときの仮想バッファ占有量ｄi(NMB)、ｄp(NMB)およびｄb(NMB)は、ピクチャタイプ毎に、次回符号化する時の仮想バッファ占有量の初期値ｄi(0)、ｄp(0)およびｄb(0)として用いられる。
【００３７】
続くステップＡ９で、上記の仮想バッファの占有量ｄ(j)に基づいて、各ピクチャ毎にｊ番目のマクロブロックMB(j)に対する量子化スケールコードＱ(j)を次式（ａ２１）により求める。
【００３８】
Ｑ(j)＝ｄ(j)×３１／ｒ                                  …式（ａ２１）
【００３９】
続くステップＡ１０で、ステップＡ９で算出された量子化スケールコードＱ(j)を使用してｊ番目のマクロブロックMB(j)を量子化する。続くステップＡ１１で、変数ｊをインクリメントして、ステップＡ１２へ進み、変数ｊがマクロブロック総数ＮＭＢを超えているか否かの判定をする。ここで、ＮＭＢはｎ番目のピクチャpic(n)内に含まれるマクロブロックの総数である。変数ｊがマクロブロック総数ＮＭＢを超えていない場合は、ステップＡ８へ戻り、変数ｊがマクロブロック総数ＮＭＢを超えている場合は、ステップＡ１３へ進む。
【００４０】
このようにして、変数ｊは、ステップＡ８〜Ａ１１の符号化処理を繰り返すためのループカウンタとしても使用される。これにより、ｎ番目のピクチャpic(n)内の１番目のマクロブロックMB(1)からＮＭＢ番目のマクロブロックMB(NMB)まで全てのマクロブロックに対して順次符号化処理を行うことができる。
【００４１】
ステップＡ１３で、変数ｎをインクリメントして、ステップＡ１４へ進み、変数ｎが符号化対象のピクチャ総数ＮＰＩＣを超えているか否かの判定をする。ここで、変数ｎがピクチャ総数ＮＰＩＣを超えていない場合は、ステップＡ２へ戻り、変数ｎがピクチャ総数ＮＰＩＣを超えている場合は、本処理を終了する。
【００４２】
このように第１のトランスコーダ５０では、ＩおよびＰピクチャ周期などのような画像構造に関する情報を持ち得ないために、図１８に示されたＴＭ５のレート制御のような、画像ＧＯＰ構造などの情報に基づいてビット配分を行う方法は、入力画像構造を仮定しなければ行うことができない。
【００４３】
そこで、ＧＯＰ構造を仮定せずにレート制御を行う方法を採用した例として、図１９に示される第２の従来のトランスコーダ６０がある。同図に示されるように、第２の従来のトランスコーダ６０は、上記第１の従来のトランスコーダ５０の構成に加えて、遅延回路６１と、ビットレート比率計算部６３と、入力符号量積算部６５と、差分符号量計算部６７と、目標出力符号量更新部６９と、量子化スケールコード算出部７１と、を備えている。
【００４４】
このように構成されたトランスコーダ６０の処理の流れを図２０に示す。同図に示されるように、トランスコーダ６０の処理は、ステップＢ１〜Ｂ１３からなる。ステップＢ６〜Ｂ１３は、上記第１従来例に示されたレート処理のステップＡ７〜Ａ１４と同じである。但し、ステップＢ７では、目標出力符号量更新部６９で算出された目標出力符号量Ｔoutに基づいて、仮想バッファ占有量の算出がなされる。
【００４５】
また、同様にＧＯＰ構造を仮定せずにレート制御を行う方法を採用した別の例として、図２１および図２２に従来のトランスコーダの第３例を示す。図２１に示されるように、第３の従来のトランスコーダ８０は、第１ビットレートを有する第１伝送路に接続され、入力ビットストリームｂ３を入力するＶＬＤ８１と、第１の従来のトランスコーダ５０と同じ、逆量子化器５３と、量子化器５５と、ＶＬＣ５７と、を含み、図１９のトランスコーダ６０と同じビットレート比率計算部６３と、差分符号量計算部６７と、を含み、さらに、目標出力符号量更新部８３と、量子化スケールコード算出部８５と、を備えている。
【００４６】
第３の従来のトランスコーダ８０では、ビットストリームｂ３に予め符号量を情報として記述しておき、その情報に基づいてレート制御を行うものである。
【００４７】
しかしながら、トランスコーダは符号化処理後の信号を対象としているために、符号化前の元の信号は知ることはできない。したがって、符号量制御においては、トランスコード処理後の画像自身の歪みではなく、再量子化処理によって新たに発生する歪みに着目して、この歪みを抑制することにより、画質の低下を抑制しながら符号量の削減を実現しなければならない。
【００４８】
そこで、本願出願人は、先に復号量子化パラメータおよび再量子化パラメータに依存した再量子化レート歪み関数を考慮することにより、復号量子化パラメータ、および前段で算出された量子化パラメータに基づいて最適な量子化パラメータの算出を実現する動画像圧縮符号化信号変換方法、装置および変換プログラムを記録した媒体を提案した（例えば、特許文献１参照）。
【００４９】
このものは、逆量子化を行う逆量子化器と、再量子化を行う量子化器と、を備えたトランスコーダにおいて、入力量子化パラメータに基づくレート歪み関数を考慮し、量子化パラメータを切り換える量子化パラメータ切り換え部を設けることにより、量子化係数領域データから再量子化係数領域データへの変換時における誤差を極力抑えることができる。
【００５０】
このように、トランスコーダは様々な利用環境に適した形へのビットストリーム変換を実現する処理器である。
【００５１】
ところで、最低限の品質を保証した基本となる映像信号を提供する基本階層と、高品位な映像信号を提供する高位階層という形に映像信号を分けて符号化する方式として、データパーティショニングとＳＮＲスケーラビリティがある。
【００５２】
データパーティショニングは、符号化されるＤＣＴ係数を低周波部と高周波部に分離して、別々のビットストリームとして符号化する方式である。低周波部はそれ自身で映像信号を表現できるが、高周波部は低周波部と組み合わせる形で利用され、低周波部に付加して復号することにより高品位な映像の再生を実現する。
【００５３】
ＳＮＲスケーラビリティは、基準となる低ＳＮＲ映像（基本階層）と、同一の解像度のもとで基準映像の品質を向上させるための補助信号（高位階層）として階層符号化する方式である。基本階層信号は、量子化器で粗く量子化されて低ＳＮＲのビットストリームとして生成される。この低ＳＮＲ信号は、逆量子化を経て、粗く量子化されたＤＣＴ係数の再生値が生成される。このあと、この再生ＤＣＴ係数値と量子化前のＤＣＴ係数値との差分をとり、この差分信号を細かく量子化して高位階層信号として出力する。高位階層信号は、低ＳＮＲ信号（基本階層信号）に足し込むことで高ＳＮＲ信号を得るための付加情報である。
【００５４】
【特許文献１】
特開２００１−１６９２８３号公報
【００５５】
【発明が解決しようとする課題】
しかしながら、上記で述べたような変換処理は、ＱｏＳレベルを下げる方向への変換である。その中でも、ビットレート削減を行うトランスコーダは、入力ビットストリームを可変長復号、逆量子化して得られるＤＣＴ係数を逆量子化時よりも粗いステップサイズで再量子化することで、符号量の削減を実現する。
【００５６】
これらのトランスコーダは一方向のみの変換であるから、後で変換前のＱｏＳレベルが必要となったときに、トランスコード処理後のビットストリームから元の変換前のビットストリームを生成することは不可能である。
【００５７】
また、データパーティショニングは、符号化の段階で分離されたビットストリームを生成するが、非階層のＭＰ＠ＭＬ準拠のＭＰＥＧ−２ビットストリームを入力として上記の機能を実現する方法はまだ確立されていない。また、トランスコーダの出力部分（符号化部分）にデータパーティショニング符号化方式を適用したとしても、出力ビットストリームはデータパーティショニングに基づくシンタックスであるので、復号するためにはデータパーティショニングに対応した専用のデコーダが必要とされ、ＭＰ＠ＭＬ準拠の復号器では復号できないという問題がある。というのも、データパーティショニングのシンタックスでは、低周波係数と高周波係数との境界を決めるためのPriority_break_point符号が規定されているが、これにより復号器がPriority_break_pointを認識可能である必要がある。また、低周波側のビットストリームにはＥＯＢ符号は存在していないため、ＭＰ＠ＭＬ準拠の復号器では再生不可能である。
【００５８】
また、ＳＮＲスケーラビリティ技術は、データパーティショニングと同様に、符号化の段階で基本階層と高位階層のビットストリームを生成する処理である。そして、これを実現するためにはスケーラビリティに対応した専用の符号化器／復号器が必要となる。また、ＳＮＲスケーラビリティ対応の符号化器／復号器は、基本階層と高位階層の双方で、並列的に処理を行う機構を要求するため、処理器の構成が複雑になるという問題がある。さらに、ＳＮＲスケーラビリティ対応の復号器は双方のビットストリームを受け取ることは可能であるが、復号器から得られる出力信号は復号再生映像そのものでありビットストリームではない。したがって、スケーラビリティは、双方のビットストリームから新たにビットストリームを生成するときには再度符号化処理を行う必要がある。
【００５９】
データパーティショニングやスケーラビリティが通常の符号化器／復号器で再生できず、専用の機能を要求してしまうのは、上記のように、専用の処理を符号化器および復号器で行おうとしているからである。
【００６０】
そこで、本発明では、分離装置により高品質ではあるが符号量の多いＭＰＥＧ−２ビットストリームを入力とし、従来のトランスコーダによって符号量変換され出力される低品質ではあるが符号量の少ないＭＰＥＧ−２ビットストリームを出力するとともに、変換前後間の差分情報の一部を生成し出力する。そして、合成装置により符号量の少ないＭＰＥＧ−２ビットストリームと、変換前後間の差分情報の一部と、を入力して、合成処理を行い出力する。
【００６１】
この処理により、変換後のＭＰＥＧ−２ビットストリームより高品質なＭＰＥＧ−２ビットストリームを得ることができ、低レートで低品質なＭＰＥＧ−２ビットストリームだけを受信しておき、必要に応じて差分情報の一部を受信することにより、レート削減前に近い高品質なＭＰＥＧ−２ビットストリームを得ることができる。
【００６２】
また、分離器による変換後のＭＰＥＧ−２ビットストリームのみを受信する場合においては、スケーラビリティやデータパーティショニングのように特別な機能を必要とせず、従来の処理機能を備えていればよく、復号処理やトランスコードを行うことができる。
【００６３】
【課題を解決するための手段】
請求項１記載の発明は、上記課題を解決するため、複数の画像情報から構成される動画像を符号化した第１符号化信号を入力する入力手段と、該入力手段に入力された第１符号化信号に符号量変換処理を行い、前記動画像の疑似動画像である２次動画像を復元させる第２符号化信号に変換する符号化信号変換手段と、前記第１符号化信号と前記第２符号化信号との差分情報の一部である部分差分情報を符号化して、拡張差分符号化信号を生成する差分符号化信号生成手段と、を備え、
【００６４】
前記差分符号化信号生成手段が、前記第１符号化信号から得られる前記画像情報の第１係数情報と、前記第２符号化信号の一部として出力される前記画像情報の第２係数情報と、の係数値の変化情報の一部を符号化して、前記拡張差分符号化信号を生成することを特徴とするものである。
【００６５】
また、請求項２記載の発明は、上記課題を解決するため、請求項１に記載の符号化信号分離装置において、前記第１符号化信号と前記第２符号化信号との差分情報が階層構造を有し、該階層構造が、共通の情報を有する複数の画面からなるシーケンスレイヤと、前記画面ごとに共通の情報を有するスライスからなるピクチャレイヤと、前記スライスごとにマクロブロックを有するスライスレイヤと、前記マクロブロックごとにブロックを有するマクロブロックレイヤと、前記ブロック情報を有するブロックレイヤと、からなる階層構造であり、前記差分符号化信号生成手段が、前記拡張差分符号化信号を前記階層構造にしたがって生成することを特徴とするものである。
【００６６】
また、請求項３記載の発明は、上記課題を解決するため、請求項１または請求項２に記載の符号化信号分離装置において、前記差分符号化信号生成手段が、それぞれ異なる前記部分差分情報から複数の前記拡張差分符号化信号を生成することを特徴とするものである。
【００６７】
また、請求項４記載の発明は、上記課題を解決するため、請求項３に記載の符号化信号分離装置において、前記部分差分情報は、前記差分情報を、前記第１符号化信号と前記第２符号化信号との差分の大きさごとに階層分割した情報であることを特徴とするものである。
【００６８】
また、請求項５記載の発明は、上記課題を解決するため、請求項３または請求項４に記載の符号化信号分離装置において、前記差分情報は、前記複数の拡張差分符号化信号に生成された前記部分差分情報のいずれかに含まれることを特徴とするものである。
【００６９】
さらに、請求項６記載の発明は、上記課題を解決するため、請求項１から請求項５のいずれか１項に記載の符号化信号分離装置において、前記第１係数情報が前記符号化信号変換手段により前記第２係数情報に変換されるとき、零係数に変換される第１係数情報群を零係数変換第１係数情報とし、零係数に変換された第２係数情報群を零係数第２係数情報とし、非零係数に変換される第１係数情報群を非零係数変換第１係数情報とし、非零係数に変換された第２係数情報群を非零係数第２係数情報とし、
【００７０】
前記差分符号化信号生成手段が、前記第１係数情報を、前記零係数変換第１係数情報と、前記非零係数変換第１係数情報と、に分離し、前記第２係数情報を、前記零係数第２係数情報と、前記非零係数第２係数情報と、に分離する係数情報分離手段と、前記零係数変換第１係数情報と、前記零係数第２係数情報と、に基づいて零係数差分情報を生成し、符号化して、零係数差分符号化信号を生成する零係数符号化手段と、前記非零係数変換第１係数情報と、前記非零係数第２係数情報と、に基づいて非零係数差分情報を生成し、符号化して、非零係数差分符号化信号を生成する非零係数符号化手段と、を備えたことを特徴とするものである。
【００７１】
また、請求項７記載の発明は、上記課題を解決するため、請求項６に記載の符号化信号分離装置において、前記非零係数符号化手段が、前記非零係数差分情報を、前記非零係数変換第１係数情報の係数値と、前記非零係数第２係数情報の係数値と、に基づいて係数値情報のみから生成することを特徴とするものである。
【００７２】
また、請求項８記載の発明は、上記課題を解決するため、請求項７に記載の符号化信号分離装置において、前記画像情報のマクロブロックを前記第１符号化信号のマクロブロック情報に量子化した際の量子化パラメータを第１マクロブロック量子化パラメータとし、前記第２符号化信号のマクロブロック情報を逆量子化して復号する量子化パラメータを第２マクロブロック量子化パラメータとし、
【００７３】
前記非零係数符号化手段が、前記非零係数差分情報の係数値情報として、前記第１マクロブロック量子化パラメータと前記第２マクロブロック量子化パラメータとの比率と前記非零係数第２係数情報の係数値から、前記非零係数変換第１係数情報の係数値を予測した値の誤差を算出することを特徴とするものである。
【００７４】
また、請求項９記載の発明は、上記課題を解決するため、請求項６から請求項８のいずれか１項に記載の符号化信号分離装置において、前記零係数符号化手段が、前記零係数変換第１係数情報の値ごとに係数別零係数差分情報を生成し、符号化して、係数別零係数差分符号化信号を生成することを特徴とするものである。
【００７５】
また、請求項１０記載の発明は、上記課題を解決するため、請求項９に記載の符号化信号分離装置において、前記零係数符号化手段が、前記係数別零係数差分符号化信号の終了ごとに当該信号の終了を表す係数終了符号を付与し、前記係数値の大きさの順に並べて前記零係数差分符号化信号を生成するとともに、前記係数別零係数差分情報として当該係数値の前記零係数変換第１係数情報での位置情報のみを符号化することを特徴とするものである。
【００７６】
また、請求項１１記載の発明は、上記課題を解決するため、請求項９または請求項１０に記載の符号化信号分離装置において、前記零係数符号化手段が、前記第１係数情報群をジグザグスキャンし、連続する当該係数値未満の数により前記係数値の位置情報を表し、該位置情報を有する前記係数別零係数差分情報を生成することを特徴とするものである。
【００７７】
さらに、請求項１２記載の発明は、上記課題を解決するため、複数の画像情報から構成される動画像を符号化した第１符号化信号を入力する第１符号化信号入力手段と、前記第１符号化信号に符号量変換処理が行われて符号量が削減された第２符号化信号を入力する第２符号化信号入力手段と、前記第１符号化信号と前記第２符号化信号との差分情報の一部である部分差分情報を符号化して、拡張差分符号化信号を生成する差分符号化信号生成手段と、を備え、
【００７８】
前記差分符号化信号生成手段が、前記第１符号化信号から得られる前記画像情報の第１係数情報と、前記第２符号化信号から得られる前記画像情報の第２係数情報と、の係数値の変化情報の一部を符号化して、前記拡張差分符号化信号を生成することを特徴とするものである。
【００７９】
さらに、請求項１３記載の発明は、上記課題を解決するため、複数の画像情報から構成される動画像を符号化した第１符号化信号と、前記第１符号化信号に符号量変換処理が行われて符号量が削減された第２符号化信号と、の差分情報の一部である部分差分情報を符号化した複数の拡張差分符号化信号を記憶する差分符号化信号記憶手段と、前記複数の拡張差分符号化信号から所望の拡張差分符号化信号を選択する差分符号化信号選択手段と、前記差分符号化信号選択手段に選択された拡張差分符号化信号を、前記差分符号化信号記憶手段から抽出する差分符号化信号抽出手段と、を備え、
【００８０】
前記拡張差分符号化信号は、前記第１符号化信号から得られる前記画像情報の第１係数情報と、前記第２符号化信号から得られる前記画像情報の第２係数情報と、の係数値の変化情報の一部を符号化した符号化信号であることを特徴とするものである。
【００８１】
また、請求項１４記載の発明は、上記課題を解決するため、請求項１３に記載の符号化信号抽出装置において、前記差分符号化信号抽出手段に抽出された拡張差分符号化信号を送信する送信符号量を指定する送信符号量指定手段と、を備え、前記差分符号化信号選択手段が、前記指定された送信符号量に基づいて前記拡張差分符号化信号を選択することを特徴とするものである。
【００８２】
また、請求項１５記載の発明は、上記課題を解決するため、請求項１４に記載の符号化信号抽出装置において、前記送信符号量指定手段が、前記拡張差分符号化信号を送信する送信伝送路の伝送路速度と、前記拡張差分符号化信号を送信する送信時間と、にしたがって前記送信符号量を指定することを特徴とするものである。
【００８３】
また、請求項１６記載の発明は、上記課題を解決するため、請求項１３から請求項１５のいずれか１項に記載の符号化信号抽出装置において、前記差分符号化信号選択手段が前記拡張差分符号化信号を選択する際に、選択対象から除外する除外拡張差分符号化信号を指定する除外拡張差分符号化信号指定手段と、を備え、前記差分符号化信号選択手段が、前記除外拡張差分符号化信号を除外して、前記拡張差分符号化信号を選択することを特徴とするものである。
【００８４】
さらに、請求項１７記載の発明は、上記課題を解決するため、複数の画像情報から構成される動画像を符号化した第１符号化信号が符号量変換処理により符号量削減された第２符号化信号を入力する第２符号化信号入力手段と、前記第１符号化信号と前記第２符号化信号との差分情報の一部である部分差分情報を符号化した拡張差分符号化信号を入力する差分符号化信号入力手段と、前記第２符号化信号と、前記拡張差分符号化信号と、を合成して前記第１符号化信号と前記第２符号化信号との中間の合成符号化信号を生成する合成符号化信号生成手段と、を備え、
【００８５】
前記合成符号化信号生成手段が、前記第２符号化信号から得られる前記画像情報の第２係数情報と、前記拡張差分符号化信号から得られる前記画像情報の第１係数情報と前記第２係数情報との変化情報と、を復号し合成して前記第１係数情報の一部を復元することにより、前記合成符号化信号を生成することを特徴とするものである。
【００８６】
また、請求項１８記載の発明は、上記課題を解決するため、請求項１７に記載の符号化信号合成装置において、前記差分符号化信号入力手段が、入力済みの前記拡張差分符号化信号とは異なる拡張差分符号化信号を新たに入力し、前記合成符号化信号生成手段が、前記合成符号化信号と、新たに入力した前記拡張差分符号化信号と、を合成して前記第１符号化信号と前記合成符号化信号との中間の新たな合成符号化信号を生成することを特徴とするものである。
【００８７】
また、請求項１９記載の発明は、上記課題を解決するため、請求項１７または請求項１８に記載の符号化信号合成装置において、前記差分符号化信号入力手段が、複数の前記拡張差分符号化信号を同時に入力し、前記合成符号化信号生成手段が、前記第２符号化信号または前記合成符号化信号と、前記複数の拡張差分符号化信号と、を合成して前記合成符号化信号を生成することを特徴とするものである。
【００８８】
また、請求項２０記載の発明は、上記課題を解決するため、請求項１７から請求項１９のいずれか１項に記載の符号化信号合成装置において、前記差分符号化信号入力手段が、前記差分情報と、入力済みの前記拡張差分符号化信号が有する拡張差分情報と、の差分情報の全てを有する前記拡張差分符号化信号を入力し、前記合成符号化信号生成手段が、前記合成符号化信号と、新たに入力した前記拡張差分符号化信号と、を合成して前記第１符号化信号を生成することを特徴とするものである。
【００８９】
また、請求項２１記載の発明は、上記課題を解決するため、請求項１７から請求項２０のいずれか１項に記載の符号化信号合成装置において、前記第１係数情報が前記第２係数情報に変換されたとき、零係数に変換された第１係数情報群を零係数変換第１係数情報とし、零係数に変換された第２係数情報群を零係数第２係数情報とし、非零係数に変換された第１係数情報群を非零係数変換第１係数情報とし、非零係数に変換された第２係数情報群を非零係数第２係数情報とし、
【００９０】
前記零係数変換第１係数情報の一部と前記零係数第２係数情報の一部とに基づいて生成された部分差分情報を部分零係数差分情報とし、前記非零係数変換第１係数情報と前記非零係数第２係数情報とに基づいて生成された部分差分情報を非零係数差分情報とし、
【００９１】
前記合成符号化信号生成手段が、前記第２符号化信号内の前記零係数第２係数情報と、前記拡張差分符号化信号内の前記部分零係数差分情報と、に基づいて前記零係数変換第１係数情報の一部を生成する零係数変換第１係数情報生成手段と、前記第２符号化信号内の前記非零係数第２係数情報と、前記拡張差分符号化信号内の前記非零係数差分情報と、に基づいて前記非零係数変換第１係数情報を生成する非零係数変換第１係数情報生成手段と、前記零係数変換第１係数情報の一部と、前記非零係数変換第１係数情報と、を合成して、前記第１係数情報の一部を合成する第１係数情報合成手段と、を備えたことを特徴とするものである。
【００９２】
さらに、請求項２２記載の発明は、上記課題を解決するため、複数の画像情報から構成される動画像を符号化した第１符号化信号を入力して、該入力された第１符号化信号に符号量変換処理を行い、前記動画像の疑似動画像である２次動画像を復元させる第２符号化信号に変換して出力するとともに、前記第１符号化信号と前記第２符号化信号との差分情報の一部である部分差分情報を符号化した拡張差分符号化信号を出力する符号化信号分離手段と、前記第２符号化信号と前記拡張差分符号化信号とを入力して、前記第１符号化信号と前記第２符号化信号との中間の合成符号化信号を生成して出力する符号化信号合成手段と、を備え、
【００９３】
前記符号化信号分離手段が、前記第１符号化信号を入力する入力手段と、該入力手段に入力された第１符号化信号に符号量変換処理を行い、前記第２符号化信号に変換する符号化信号変換手段と、前記拡張差分符号化信号を生成する差分符号化信号生成手段と、前記第２符号化信号を出力する第２符号化信号出力手段と、前記拡張差分符号化信号を出力する差分符号化信号出力手段と、を有し、
【００９４】
前記符号化信号合成手段が、前記第２符号化信号を入力する第２符号化信号入力手段と、前記拡張差分符号化信号を入力する差分符号化信号入力手段と、前記第２符号化信号と、前記拡張差分符号化信号と、を合成して前記合成符号化信号を生成する合成符号化信号生成手段と、前記合成符号化信号を出力する合成符号化信号出力手段と、を有することを特徴とするものである。
【００９５】
さらに、請求項２３記載の発明は、上記課題を解決するため、複数の画像情報から構成される動画像を符号化した第１符号化信号を入力する入力ステップと、該入力ステップに入力された第１符号化信号に符号量変換処理を行い、前記動画像の疑似動画像である２次動画像を復元させる第２符号化信号に変換する符号化信号変換ステップと、前記第１符号化信号と前記第２符号化信号との差分情報の一部である部分差分情報を符号化して、拡張差分符号化信号を生成する差分符号化信号生成ステップと、を備え、
【００９６】
前記差分符号化信号生成ステップが、前記第１符号化信号から得られる前記画像情報の第１係数情報と、前記第２符号化信号の一部として出力される前記画像情報の第２係数情報と、の係数値の変化情報の一部を符号化して、前記拡張差分符号化信号を生成することを特徴とするものである。
【００９７】
また、請求項２４記載の発明は、上記課題を解決するため、請求項２３に記載の符号化信号分離方法において、前記第１符号化信号と前記第２符号化信号との差分情報が階層構造を有し、該階層構造が、共通の情報を有する複数の画面からなるシーケンスレイヤと、前記画面ごとに共通の情報を有するスライスからなるピクチャレイヤと、前記スライスごとにマクロブロックを有するスライスレイヤと、前記マクロブロックごとにブロックを有するマクロブロックレイヤと、前記ブロック情報を有するブロックレイヤと、からなる階層構造であり、前記差分符号化信号生成ステップが、前記拡張差分符号化信号を前記階層構造にしたがって生成することを特徴とするものである。
【００９８】
また、請求項２５記載の発明は、上記課題を解決するため、請求項２３または請求項２４に記載の符号化信号分離方法において、前記差分符号化信号生成ステップが、それぞれ異なる前記部分差分情報から複数の前記拡張差分符号化信号を生成することを特徴とするものである。
【００９９】
また、請求項２６記載の発明は、上記課題を解決するため、請求項２５に記載の符号化信号分離方法において、前記部分差分情報は、前記差分情報を、前記第１符号化信号と前記第２符号化信号との差分の大きさごとに階層分割した情報であることを特徴とするものである。
【０１００】
また、請求項２７記載の発明は、上記課題を解決するため、請求項２５または請求項２６に記載の符号化信号分離方法において、前記差分情報は、前記複数の拡張差分符号化信号に生成された前記部分差分情報のいずれかに含まれることを特徴とするものである。
【０１０１】
さらに、請求項２８記載の発明は、上記課題を解決するため、請求項２３から請求項２７のいずれか１項に記載の符号化信号分離方法において、前記第１係数情報が前記符号化信号変換ステップにより前記第２係数情報に変換されるとき、零係数に変換される第１係数情報群を零係数変換第１係数情報とし、零係数に変換された第２係数情報群を零係数第２係数情報とし、非零係数に変換される第１係数情報群を非零係数変換第１係数情報とし、非零係数に変換された第２係数情報群を非零係数第２係数情報とし、
【０１０２】
前記差分符号化信号生成ステップが、前記第１係数情報を、前記零係数変換第１係数情報と、前記非零係数変換第１係数情報と、に分離し、前記第２係数情報を、前記零係数第２係数情報と、前記非零係数第２係数情報と、に分離する係数情報分離ステップと、前記零係数変換第１係数情報と、前記零係数第２係数情報と、に基づいて零係数差分情報を生成し、符号化して、零係数差分符号化信号を生成する零係数符号化ステップと、前記非零係数変換第１係数情報と、前記非零係数第２係数情報と、に基づいて非零係数差分情報を生成し、符号化して、非零係数差分符号化信号を生成する非零係数符号化ステップと、を備えたことを特徴とするものである。
【０１０３】
また、請求項２９記載の発明は、上記課題を解決するため、請求項２８に記載の符号化信号分離方法において、前記非零係数符号化ステップが、前記非零係数差分情報を、前記非零係数変換第１係数情報の係数値と、前記非零係数第２係数情報の係数値と、に基づいて係数値情報のみから生成することを特徴とするものである。
【０１０４】
また、請求項３０記載の発明は、上記課題を解決するため、請求項２９に記載の符号化信号分離方法において、前記画像情報のマクロブロックを前記第１符号化信号のマクロブロック情報に量子化した際の量子化パラメータを第１マクロブロック量子化パラメータとし、前記第２符号化信号のマクロブロック情報を逆量子化して復号する量子化パラメータを第２マクロブロック量子化パラメータとし、
【０１０５】
前記非零係数符号化ステップが、前記非零係数差分情報の係数値情報として、前記第１マクロブロック量子化パラメータと前記第２マクロブロック量子化パラメータとの比率と前記非零係数第２係数情報の係数値から、前記非零係数変換第１係数情報の係数値を予測した値の誤差を算出することを特徴とするものである。
【０１０６】
また、請求項３１記載の発明は、上記課題を解決するため、請求項２８から請求項３０のいずれか１項に記載の符号化信号分離方法において、前記零係数符号化ステップが、前記零係数変換第１係数情報の値ごとに係数別零係数差分情報を生成し、符号化して、係数別零係数差分符号化信号を生成することを特徴とするものである。
【０１０７】
また、請求項３２記載の発明は、上記課題を解決するため、請求項３１に記載の符号化信号分離方法において、前記零係数符号化ステップが、前記係数別零係数差分符号化信号の終了ごとに当該信号の終了を表す係数終了符号を付与し、前記係数値の大きさの順に並べて前記零係数差分符号化信号を生成するとともに、前記係数別零係数差分情報として当該係数値の前記零係数変換第１係数情報での位置情報のみを符号化することを特徴とするものである。
【０１０８】
また、請求項３３記載の発明は、上記課題を解決するため、請求項３１または請求項３２に記載の符号化信号分離方法において、前記零係数符号化ステップが、前記第１係数情報群をジグザグスキャンし、連続する当該係数値未満の数により前記係数値の位置情報を表し、該位置情報を有する前記係数別零係数差分情報を生成することを特徴とするものである。
【０１０９】
さらに、請求項３４記載の発明は、上記課題を解決するため、複数の画像情報から構成される動画像を符号化した第１符号化信号を入力する第１符号化信号入力ステップと、前記第１符号化信号に符号量変換処理が行われて符号量が削減された第２符号化信号を入力する第２符号化信号入力ステップと、前記第１符号化信号と前記第２符号化信号との差分情報の一部である部分差分情報を符号化して、拡張差分符号化信号を生成する差分符号化信号生成ステップと、を備え、
【０１１０】
前記差分符号化信号生成ステップが、前記第１符号化信号から得られる前記画像情報の第１係数情報と、前記第２符号化信号から得られる前記画像情報の第２係数情報と、の係数値の変化情報の一部を符号化して、前記拡張差分符号化信号を生成することを特徴とするものである。
【０１１１】
さらに、請求項３５記載の発明は、上記課題を解決するため、複数の画像情報から構成される動画像を符号化した第１符号化信号と、前記第１符号化信号に符号量変換処理が行われて符号量が削減された第２符号化信号と、の差分情報の一部である部分差分情報を符号化した複数の拡張差分符号化信号を記憶する差分符号化信号記憶ステップと、前記複数の拡張差分符号化信号から所望の拡張差分符号化信号を選択する差分符号化信号選択ステップと、前記差分符号化信号選択ステップに選択された拡張差分符号化信号を抽出する差分符号化信号抽出ステップと、を備え、
【０１１２】
前記拡張差分符号化信号は、前記第１符号化信号から得られる前記画像情報の第１係数情報と、前記第２符号化信号から得られる前記画像情報の第２係数情報と、の係数値の変化情報の一部を符号化した符号化信号であることを特徴とするものである。
【０１１３】
また、請求項３６記載の発明は、上記課題を解決するため、請求項３５に記載の符号化信号抽出方法において、前記差分符号化信号抽出ステップに抽出された拡張差分符号化信号を送信する送信符号量を指定する送信符号量指定ステップと、を備え、前記差分符号化信号選択ステップが、前記指定された送信符号量に基づいて前記拡張差分符号化信号を選択することを特徴とするものである。
【０１１４】
また、請求項３７記載の発明は、上記課題を解決するため、請求項３６に記載の符号化信号抽出方法において、前記送信符号量指定ステップが、前記拡張差分符号化信号を送信する送信伝送路の伝送路速度と、前記拡張差分符号化信号を送信する送信時間と、にしたがって前記送信符号量を指定することを特徴とするものである。
【０１１５】
また、請求項３８記載の発明は、上記課題を解決するため、請求項３５から請求項３７のいずれか１項に記載の符号化信号抽出方法において、前記差分符号化信号選択ステップが前記拡張差分符号化信号を選択する際に、選択対象から除外する除外拡張差分符号化信号を指定する除外拡張差分符号化信号指定ステップと、を備え、前記差分符号化信号選択ステップが、前記除外拡張差分符号化信号を除外して、前記拡張差分符号化信号を選択することを特徴とするものである。
【０１１６】
さらに、請求項３９記載の発明は、上記課題を解決するため、複数の画像情報から構成される動画像を符号化した第１符号化信号が符号量変換処理により符号量削減された第２符号化信号を入力する第２符号化信号入力ステップと、前記第１符号化信号と前記第２符号化信号との差分情報の一部である部分差分情報を符号化した拡張差分符号化信号を入力する差分符号化信号入力ステップと、前記第２符号化信号と、前記拡張差分符号化信号と、を合成して前記第１符号化信号と前記第２符号化信号との中間の合成符号化信号を生成する合成符号化信号生成ステップと、を備え、
【０１１７】
前記合成符号化信号生成ステップが、前記第２符号化信号から得られる前記画像情報の第２係数情報と、前記拡張差分符号化信号から得られる前記画像情報の第１係数情報と前記第２係数情報との変化情報と、を復号し合成して前記第１係数情報の一部を復元することにより、前記合成符号化信号を生成することを特徴とするものである。
【０１１８】
また、請求項４０記載の発明は、上記課題を解決するため、請求項３９に記載の符号化信号合成方法において、前記差分符号化信号入力ステップが、入力済みの前記拡張差分符号化信号とは異なる拡張差分符号化信号を新たに入力し、前記合成符号化信号生成ステップが、前記合成符号化信号と、新たに入力した前記拡張差分符号化信号と、を合成して前記第１符号化信号と前記合成符号化信号との中間の新たな合成符号化信号を生成することを特徴とするものである。
【０１１９】
また、請求項４１記載の発明は、上記課題を解決するため、請求項３９または請求項４０に記載の符号化信号合成方法において、前記差分符号化信号入力ステップが、複数の前記拡張差分符号化信号を同時に入力し、前記合成符号化信号生成ステップが、前記第２符号化信号または前記合成符号化信号と、前記複数の拡張差分符号化信号と、を合成して前記合成符号化信号を生成することを特徴とするものである。
【０１２０】
また、請求項４２記載の発明は、上記課題を解決するため、請求項３９から請求項４１のいずれか１項に記載の符号化信号合成方法において、前記差分符号化信号入力ステップが、前記差分情報と、入力済みの前記拡張差分符号化信号が有する拡張差分情報と、の差分情報の全てを有する前記拡張差分符号化信号を入力し、前記合成符号化信号生成ステップが、前記合成符号化信号と、新たに入力した前記拡張差分符号化信号と、を合成して前記第１符号化信号を生成することを特徴とするものである。
【０１２１】
また、請求項４３記載の発明は、上記課題を解決するため、請求項３９から請求項４２のいずれか１項に記載の符号化信号合成方法において、前記第１係数情報が前記第２係数情報に変換されたとき、零係数に変換された第１係数情報群を零係数変換第１係数情報とし、零係数に変換された第２係数情報群を零係数第２係数情報とし、非零係数に変換された第１係数情報群を非零係数変換第１係数情報とし、非零係数に変換された第２係数情報群を非零係数第２係数情報とし、
【０１２２】
前記零係数変換第１係数情報の一部と前記零係数第２係数情報の一部とに基づいて生成された部分差分情報を部分零係数差分情報とし、前記非零係数変換第１係数情報と前記非零係数第２係数情報とに基づいて生成された部分差分情報を非零係数差分情報とし、
【０１２３】
前記合成符号化信号生成ステップが、前記第２符号化信号内の前記零係数第２係数情報と、前記拡張差分符号化信号内の前記部分零係数差分情報と、に基づいて前記零係数変換第１係数情報の一部を生成する零係数変換第１係数情報生成ステップと、前記第２符号化信号内の前記非零係数第２係数情報と、前記拡張差分符号化信号内の前記非零係数差分情報と、に基づいて前記非零係数変換第１係数情報を生成する非零係数変換第１係数情報生成ステップと、前記零係数変換第１係数情報の一部と、前記非零係数変換第１係数情報と、を合成して、前記第１係数情報の一部を合成する第１係数情報合成ステップと、を備えたことを特徴とするものである。
【０１２４】
さらに、請求項４４記載の発明は、上記課題を解決するため、複数の画像情報から構成される動画像を符号化した第１符号化信号を入力して、該入力された第１符号化信号に符号量変換処理を行い、前記動画像の疑似動画像である２次動画像を復元させる第２符号化信号に変換して出力するとともに、前記第１符号化信号と前記第２符号化信号との差分情報の一部である部分差分情報を符号化した拡張差分符号化信号を出力する符号化信号分離ステップと、前記第２符号化信号と前記拡張差分符号化信号とを入力して、前記第１符号化信号と前記第２符号化信号との中間の合成符号化信号を生成して出力する符号化信号合成ステップと、を備え、
【０１２５】
前記符号化信号分離ステップが、前記第１符号化信号を入力する入力ステップと、該入力ステップに入力された第１符号化信号に符号量変換処理を行い、前記第２符号化信号に変換する符号化信号変換ステップと、前記拡張差分符号化信号を生成する差分符号化信号生成ステップと、前記第２符号化信号を出力する第２符号化信号出力ステップと、前記拡張差分符号化信号を出力する差分符号化信号出力ステップと、を有し、
【０１２６】
前記符号化信号合成ステップが、前記第２符号化信号を入力する第２符号化信号入力ステップと、前記拡張差分符号化信号を入力する差分符号化信号入力ステップと、前記第２符号化信号と、前記拡張差分符号化信号と、を合成して前記合成符号化信号を生成する合成符号化信号生成ステップと、前記合成符号化信号を出力する合成符号化信号出力ステップと、を有することを特徴とするものである。
【０１２７】
さらに、請求項４５記載の発明は、上記課題を解決するため、複数の画像情報から構成される動画像を符号化した第１符号化信号を入力する入力ステップと、該入力ステップに入力された第１符号化信号に符号量変換処理を行い、前記動画像の疑似動画像である２次動画像を復元させる第２符号化信号に変換する符号化信号変換ステップと、前記第１符号化信号と前記第２符号化信号との差分情報の一部である部分差分情報を符号化して、拡張差分符号化信号を生成する差分符号化信号生成ステップと、を備え、
【０１２８】
前記差分符号化信号生成ステップが、前記第１符号化信号から得られる前記画像情報の第１係数情報と、前記第２符号化信号の一部として出力される前記画像情報の第２係数情報と、の係数値の変化情報の一部を符号化して、前記拡張差分符号化信号を生成することを特徴とするものである。
【０１２９】
また、請求項４６記載の発明は、上記課題を解決するため、請求項４５に記載の符号化信号分離プログラムにおいて、前記第１符号化信号と前記第２符号化信号との差分情報が階層構造を有し、該階層構造が、共通の情報を有する複数の画面からなるシーケンスレイヤと、前記画面ごとに共通の情報を有するスライスからなるピクチャレイヤと、前記スライスごとにマクロブロックを有するスライスレイヤと、前記マクロブロックごとにブロックを有するマクロブロックレイヤと、前記ブロック情報を有するブロックレイヤと、からなる階層構造であり、前記差分符号化信号生成ステップが、前記拡張差分符号化信号を前記階層構造にしたがって生成することを特徴とするものである。
【０１３０】
また、請求項４７記載の発明は、上記課題を解決するため、請求項４５または請求項４６に記載の符号化信号分離プログラムにおいて、前記差分符号化信号生成ステップが、それぞれ異なる前記部分差分情報から複数の前記拡張差分符号化信号を生成することを特徴とするものである。
【０１３１】
また、請求項４８記載の発明は、上記課題を解決するため、請求項４７に記載の符号化信号分離プログラムにおいて、前記部分差分情報は、前記差分情報を、前記第１符号化信号と前記第２符号化信号との差分の大きさごとに階層分割した情報であることを特徴とするものである。
【０１３２】
また、請求項４９記載の発明は、上記課題を解決するため、請求項４７または請求項４８に記載の符号化信号分離プログラムにおいて、前記差分情報は、前記複数の拡張差分符号化信号に生成された前記部分差分情報のいずれかに含まれることを特徴とするものである。
【０１３３】
さらに、請求項５０記載の発明は、上記課題を解決するため、請求項４５から請求項４９のいずれか１項に記載の符号化信号分離プログラムにおいて、前記第１係数情報が前記符号化信号変換ステップにより前記第２係数情報に変換されるとき、零係数に変換される第１係数情報群を零係数変換第１係数情報とし、零係数に変換された第２係数情報群を零係数第２係数情報とし、非零係数に変換される第１係数情報群を非零係数変換第１係数情報とし、非零係数に変換された第２係数情報群を非零係数第２係数情報とし、
【０１３４】
前記差分符号化信号生成ステップが、前記第１係数情報を、前記零係数変換第１係数情報と、前記非零係数変換第１係数情報と、に分離し、前記第２係数情報を、前記零係数第２係数情報と、前記非零係数第２係数情報と、に分離する係数情報分離ステップと、前記零係数変換第１係数情報と、前記零係数第２係数情報と、に基づいて零係数差分情報を生成し、符号化して、零係数差分符号化信号を生成する零係数符号化ステップと、前記非零係数変換第１係数情報と、前記非零係数第２係数情報と、に基づいて非零係数差分情報を生成し、符号化して、非零係数差分符号化信号を生成する非零係数符号化ステップと、を備えたことを特徴とするものである。
【０１３５】
また、請求項５１記載の発明は、上記課題を解決するため、請求項５０に記載の符号化信号分離プログラムにおいて、前記非零係数符号化ステップが、前記非零係数差分情報を、前記非零係数変換第１係数情報の係数値と、前記非零係数第２係数情報の係数値と、に基づいて係数値情報のみから生成することを特徴とするものである。
【０１３６】
また、請求項５２記載の発明は、上記課題を解決するため、請求項５１に記載の符号化信号分離プログラムにおいて、前記画像情報のマクロブロックを前記第１符号化信号のマクロブロック情報に量子化した際の量子化パラメータを第１マクロブロック量子化パラメータとし、前記第２符号化信号のマクロブロック情報を逆量子化して復号する量子化パラメータを第２マクロブロック量子化パラメータとし、
【０１３７】
前記非零係数符号化ステップが、前記非零係数差分情報の係数値情報として、前記第１マクロブロック量子化パラメータと前記第２マクロブロック量子化パラメータとの比率と前記非零係数第２係数情報の係数値から、前記非零係数変換第１係数情報の係数値を予測した値の誤差を算出することを特徴とするものである。
【０１３８】
また、請求項５３記載の発明は、上記課題を解決するため、請求項５０から請求項５２のいずれか１項に記載の符号化信号分離プログラムにおいて、前記零係数符号化ステップが、前記零係数変換第１係数情報の値ごとに係数別零係数差分情報を生成し、符号化して、係数別零係数差分符号化信号を生成することを特徴とするものである。
【０１３９】
また、請求項５４記載の発明は、上記課題を解決するため、請求項５３に記載の符号化信号分離プログラムにおいて、前記零係数符号化ステップが、前記係数別零係数差分符号化信号の終了ごとに当該信号の終了を表す係数終了符号を付与し、前記係数値の大きさの順に並べて前記零係数差分符号化信号を生成するとともに、前記係数別零係数差分情報として当該係数値の前記零係数変換第１係数情報での位置情報のみを符号化することを特徴とするものである。
【０１４０】
また、請求項５５記載の発明は、上記課題を解決するため、請求項５３または請求項５４に記載の符号化信号分離プログラムにおいて、前記零係数符号化ステップが、前記第１係数情報群をジグザグスキャンし、連続する当該係数値未満の数により前記係数値の位置情報を表し、該位置情報を有する前記係数別零係数差分情報を生成することを特徴とするものである。
【０１４１】
さらに、請求項５６記載の発明は、上記課題を解決するため、複数の画像情報から構成される動画像を符号化した第１符号化信号を入力する第１符号化信号入力ステップと、前記第１符号化信号に符号量変換処理が行われて符号量が削減された第２符号化信号を入力する第２符号化信号入力ステップと、前記第１符号化信号と前記第２符号化信号との差分情報の一部である部分差分情報を符号化して、拡張差分符号化信号を生成する差分符号化信号生成ステップと、を備え、
【０１４２】
前記差分符号化信号生成ステップが、前記第１符号化信号から得られる前記画像情報の第１係数情報と、前記第２符号化信号から得られる前記画像情報の第２係数情報と、の係数値の変化情報の一部を符号化して、前記拡張差分符号化信号を生成することを特徴とするものである。
【０１４３】
さらに、請求項５７記載の発明は、上記課題を解決するため、複数の画像情報から構成される動画像を符号化した第１符号化信号と、前記第１符号化信号に符号量変換処理が行われて符号量が削減された第２符号化信号と、の差分情報の一部である部分差分情報を符号化した複数の拡張差分符号化信号を記憶する差分符号化信号記憶ステップと、前記複数の拡張差分符号化信号から所望の拡張差分符号化信号を選択する差分符号化信号選択ステップと、前記差分符号化信号選択ステップに選択された拡張差分符号化信号を抽出する差分符号化信号抽出ステップと、を備え、
【０１４４】
前記拡張差分符号化信号は、前記第１符号化信号から得られる前記画像情報の第１係数情報と、前記第２符号化信号から得られる前記画像情報の第２係数情報と、の係数値の変化情報の一部を符号化した符号化信号であることを特徴とするものである。
【０１４５】
また、請求項５８記載の発明は、上記課題を解決するため、請求項５７に記載の符号化信号抽出プログラムにおいて、前記差分符号化信号抽出ステップに抽出された拡張差分符号化信号を送信する送信符号量を指定する送信符号量指定ステップと、を備え、前記差分符号化信号選択ステップが、前記指定された送信符号量に基づいて前記拡張差分符号化信号を選択することを特徴とするものである。
【０１４６】
また、請求項５９記載の発明は、上記課題を解決するため、請求項５８に記載の符号化信号抽出プログラムにおいて、前記送信符号量指定ステップが、前記拡張差分符号化信号を送信する送信伝送路の伝送路速度と、前記拡張差分符号化信号を送信する送信時間と、にしたがって前記送信符号量を指定することを特徴とするものである。
【０１４７】
また、請求項６０記載の発明は、上記課題を解決するため、請求項５７から請求項５９のいずれか１項に記載の符号化信号抽出プログラムにおいて、前記差分符号化信号選択ステップが前記拡張差分符号化信号を選択する際に、選択対象から除外する除外拡張差分符号化信号を指定する除外拡張差分符号化信号指定ステップと、を備え、前記差分符号化信号選択ステップが、前記除外拡張差分符号化信号を除外して、前記拡張差分符号化信号を選択することを特徴とするものである。
【０１４８】
さらに、請求項６１記載の発明は、上記課題を解決するため、複数の画像情報から構成される動画像を符号化した第１符号化信号が符号量変換処理により符号量削減された第２符号化信号を入力する第２符号化信号入力ステップと、前記第１符号化信号と前記第２符号化信号との差分情報の一部である部分差分情報を符号化した拡張差分符号化信号を入力する差分符号化信号入力ステップと、前記第２符号化信号と、前記拡張差分符号化信号と、を合成して前記第１符号化信号と前記第２符号化信号との中間の合成符号化信号を生成する合成符号化信号生成ステップと、を備え、
【０１４９】
前記合成符号化信号生成ステップが、前記第２符号化信号から得られる前記画像情報の第２係数情報と、前記拡張差分符号化信号から得られる前記画像情報の第１係数情報と前記第２係数情報との変化情報と、を復号し合成して前記第１係数情報の一部を復元することにより、前記合成符号化信号を生成することを特徴とするものである。
【０１５０】
また、請求項６２記載の発明は、上記課題を解決するため、請求項６１に記載の符号化信号合成プログラムにおいて、前記差分符号化信号入力ステップが、入力済みの前記拡張差分符号化信号とは異なる拡張差分符号化信号を新たに入力し、前記合成符号化信号生成ステップが、前記合成符号化信号と、新たに入力した前記拡張差分符号化信号と、を合成して前記第１符号化信号と前記合成符号化信号との中間の新たな合成符号化信号を生成することを特徴とするものである。
【０１５１】
また、請求項６３記載の発明は、上記課題を解決するため、請求項６１または請求項６２に記載の符号化信号合成プログラムにおいて、前記差分符号化信号入力ステップが、複数の前記拡張差分符号化信号を同時に入力し、前記合成符号化信号生成ステップが、前記第２符号化信号または前記合成符号化信号と、前記複数の拡張差分符号化信号と、を合成して前記合成符号化信号を生成することを特徴とするものである。
【０１５２】
また、請求項６４記載の発明は、上記課題を解決するため、請求項６１から請求項６３のいずれか１項に記載の符号化信号合成プログラムにおいて、前記差分符号化信号入力ステップが、前記差分情報と、入力済みの前記拡張差分符号化信号が有する拡張差分情報と、の差分情報の全てを有する前記拡張差分符号化信号を入力し、前記合成符号化信号生成ステップが、前記合成符号化信号と、新たに入力した前記拡張差分符号化信号と、を合成して前記第１符号化信号を生成することを特徴とするものである。
【０１５３】
また、請求項６５記載の発明は、上記課題を解決するため、請求項６１から請求項６４のいずれか１項に記載の符号化信号合成プログラムにおいて、前記第１係数情報が前記第２係数情報に変換されたとき、零係数に変換された第１係数情報群を零係数変換第１係数情報とし、零係数に変換された第２係数情報群を零係数第２係数情報とし、非零係数に変換された第１係数情報群を非零係数変換第１係数情報とし、非零係数に変換された第２係数情報群を非零係数第２係数情報とし、
【０１５４】
前記零係数変換第１係数情報の一部と前記零係数第２係数情報の一部とに基づいて生成された部分差分情報を部分零係数差分情報とし、前記非零係数変換第１係数情報と前記非零係数第２係数情報とに基づいて生成された部分差分情報を非零係数差分情報とし、
【０１５５】
前記合成符号化信号生成ステップが、前記第２符号化信号内の前記零係数第２係数情報と、前記拡張差分符号化信号内の前記部分零係数差分情報と、に基づいて前記零係数変換第１係数情報の一部を生成する零係数変換第１係数情報生成ステップと、前記第２符号化信号内の前記非零係数第２係数情報と、前記拡張差分符号化信号内の前記非零係数差分情報と、に基づいて前記非零係数変換第１係数情報を生成する非零係数変換第１係数情報生成ステップと、前記零係数変換第１係数情報の一部と、前記非零係数変換第１係数情報と、を合成して、前記第１係数情報の一部を合成する第１係数情報合成ステップと、を備えたことを特徴とするものである。
【０１５６】
さらに、請求項６６記載の発明は、上記課題を解決するため、複数の画像情報から構成される動画像を符号化した第１符号化信号を入力して、該入力された第１符号化信号に符号量変換処理を行い、前記動画像の疑似動画像である２次動画像を復元させる第２符号化信号に変換して出力するとともに、前記第１符号化信号と前記第２符号化信号との差分情報の一部である部分差分情報を符号化した拡張差分符号化信号を出力する符号化信号分離ステップと、前記第２符号化信号と前記拡張差分符号化信号とを入力して、前記第１符号化信号と前記第２符号化信号との中間の合成符号化信号を生成して出力する符号化信号合成ステップと、を備え、
【０１５７】
前記符号化信号分離ステップが、前記第１符号化信号を入力する入力ステップと、該入力ステップに入力された第１符号化信号に符号量変換処理を行い、前記第２符号化信号に変換する符号化信号変換ステップと、前記拡張差分符号化信号を生成する差分符号化信号生成ステップと、前記第２符号化信号を出力する第２符号化信号出力ステップと、前記拡張差分符号化信号を出力する差分符号化信号出力ステップと、を有し、
【０１５８】
前記符号化信号合成ステップが、前記第２符号化信号を入力する第２符号化信号入力ステップと、前記拡張差分符号化信号を入力する差分符号化信号入力ステップと、前記第２符号化信号と、前記拡張差分符号化信号と、を合成して前記合成符号化信号を生成する合成符号化信号生成ステップと、前記合成符号化信号を出力する合成符号化信号出力ステップと、を有することを特徴とするものである。
【０１５９】
さらに、請求項６７記載の発明は、上記課題を解決するため、複数の画像情報から構成される動画像を符号化した第１符号化信号を入力する入力ステップと、該入力ステップに入力された第１符号化信号に符号量変換処理を行い、前記動画像の疑似動画像である２次動画像を復元させる第２符号化信号に変換する符号化信号変換ステップと、前記第１符号化信号と前記第２符号化信号との差分情報の一部である部分差分情報を符号化して、拡張差分符号化信号を生成する差分符号化信号生成ステップと、を備え、
【０１６０】
前記差分符号化信号生成ステップが、前記第１符号化信号から得られる前記画像情報の第１係数情報と、前記第２符号化信号の一部として出力される前記画像情報の第２係数情報と、の係数値の変化情報の一部を符号化して、前記拡張差分符号化信号を生成することを特徴とするものである。
【０１６１】
また、請求項６８記載の発明は、上記課題を解決するため、複数の画像情報から構成される動画像を符号化した第１符号化信号を入力する第１符号化信号入力ステップと、前記第１符号化信号に符号量変換処理が行われて符号量が削減された第２符号化信号を入力する第２符号化信号入力ステップと、前記第１符号化信号と前記第２符号化信号との差分情報の一部である部分差分情報を符号化して、拡張差分符号化信号を生成する差分符号化信号生成ステップと、を備え、
【０１６２】
前記差分符号化信号生成ステップが、前記第１符号化信号から得られる前記画像情報の第１係数情報と、前記第２符号化信号から得られる前記画像情報の第２係数情報と、の係数値の変化情報の一部を符号化して、前記拡張差分符号化信号を生成することを特徴とするものである。
【０１６３】
また、請求項６９記載の発明は、上記課題を解決するため、複数の画像情報から構成される動画像を符号化した第１符号化信号と、前記第１符号化信号に符号量変換処理が行われて符号量が削減された第２符号化信号と、の差分情報の一部である部分差分情報を符号化した複数の拡張差分符号化信号を記憶する差分符号化信号記憶ステップと、前記複数の拡張差分符号化信号から所望の拡張差分符号化信号を選択する差分符号化信号選択ステップと、前記差分符号化信号選択ステップに選択された拡張差分符号化信号を抽出する差分符号化信号抽出ステップと、を備え、
【０１６４】
前記拡張差分符号化信号は、前記第１符号化信号から得られる前記画像情報の第１係数情報と、前記第２符号化信号から得られる前記画像情報の第２係数情報と、の係数値の変化情報の一部を符号化した符号化信号であることを特徴とするものである。
【０１６５】
また、請求項７０記載の発明は、上記課題を解決するため、複数の画像情報から構成される動画像を符号化した第１符号化信号が符号量変換処理により符号量削減された第２符号化信号を入力する第２符号化信号入力ステップと、前記第１符号化信号と前記第２符号化信号との差分情報の一部である部分差分情報を符号化した拡張差分符号化信号を入力する差分符号化信号入力ステップと、前記第２符号化信号と、前記拡張差分符号化信号と、を合成して前記第１符号化信号と前記第２符号化信号との中間の合成符号化信号を生成する合成符号化信号生成ステップと、を備え、
【０１６６】
前記合成符号化信号生成ステップが、前記第２符号化信号から得られる前記画像情報の第２係数情報と、前記拡張差分符号化信号から得られる前記画像情報の第１係数情報と前記第２係数情報との変化情報と、を復号し合成して前記第１係数情報の一部を復元することにより、前記合成符号化信号を生成することを特徴とするものである。
【０１６７】
また、請求項７１記載の発明は、上記課題を解決するため、複数の画像情報から構成される動画像を符号化した第１符号化信号を入力して、該入力された第１符号化信号に符号量変換処理を行い、前記動画像の疑似動画像である２次動画像を復元させる第２符号化信号に変換して出力するとともに、前記第１符号化信号と前記第２符号化信号との差分情報の一部である部分差分情報を符号化した拡張差分符号化信号を出力する符号化信号分離ステップと、前記第２符号化信号と前記拡張差分符号化信号とを入力して、前記第１符号化信号と前記第２符号化信号との中間の合成符号化信号を生成して出力する符号化信号合成ステップと、を備え、
【０１６８】
前記符号化信号分離ステップが、前記第１符号化信号を入力する入力ステップと、該入力ステップに入力された第１符号化信号に符号量変換処理を行い、前記第２符号化信号に変換する符号化信号変換ステップと、前記拡張差分符号化信号を生成する差分符号化信号生成ステップと、前記第２符号化信号を出力する第２符号化信号出力ステップと、前記拡張差分符号化信号を出力する差分符号化信号出力ステップと、を有し、
【０１６９】
前記符号化信号合成ステップが、前記第２符号化信号を入力する第２符号化信号入力ステップと、前記拡張差分符号化信号を入力する差分符号化信号入力ステップと、前記第２符号化信号と、前記拡張差分符号化信号と、を合成して前記合成符号化信号を生成する合成符号化信号生成ステップと、前記合成符号化信号を出力する合成符号化信号出力ステップと、を有することを特徴とするものである。
【０１７０】
【発明の実施の形態】
以下、本発明の実施の形態について、添付図面を参照しつつ説明する。
１：ストリーム分離・合成符号化方式の基本概念；
【０１７１】
ビットレート削減トランスコーダは、ＤＣＴ係数の再量子化処理によって符号量削減を行う。すなわち、再量子化後の係数ブロックがトランスコーダの出力ストリームとして符号化される。ストリーム分離・合成トランスコーダは、これに加えて、再量子化前後間での係数ブロックの変化成分に着目し、再量子化処理で発生する係数の差分信号（差分係数信号）を符号化する。これにより、レート削減後の出力ストリームを基本階層、差分係数信号の符号化情報を拡張階層とした、２階層構造の符号化情報の出力機能をトランスコーディングの拡張によって実現する。
【０１７２】
本発明では、さらに、拡張階層自体にもビットレート変換可能な符号化構造を持たせて、多階層の階層符号化機能を実現するため、差分係数信号の符号化方式を拡張する。本機能は、スケーラビリティ（Scalability 、分解能可変性）を持つもの、すなわち、拡張階層ストリームを回線速度と伝送時間に応じてスケーリング（大きさを変更）することで、スケーラブル（一部のデータだけを取りだして復号が可能な）伝送を実現するものであることから、本拡張ストリームをスケーラブル拡張ストリームと定義する。
２：スケーラブル拡張ストリームによる動画像伝送方式；
【０１７３】
スケーラブル拡張ストリームを用いた動画像伝送の概念を図１に示す。まず、オリジナルのＭＰＥＧ−２ビットストリーム（ビットストリームＡ）は、ストリーム分離処理によって、ビットレートが削減された基本階層ＭＰＥＧ−２ビットストリーム（ビットストリームＢ）と、削減処理に伴い発生した差分信号の符号化情報である差分ビットストリーム（ビットストリームＥ）と、が生成される。この差分ビットストリーム（ビットストリームＥ）は、上記のように、スケーラビリティを持ったスケーラブル拡張ストリームである。基本階層ＭＰＥＧ−２ビットストリーム（ビットストリームＢ）は、受信者へ伝送・蓄積され、基本品質映像として再生される。
【０１７４】
次に、伝送された基本階層ＭＰＥＧ−２ビットストリーム（ビットストリームＢ）を再度再生するときに、送信側に残っている差分ビットストリーム（ビットストリームＥ）を再送する。このとき、要求再送時間と伝送速度に応じて差分ビットストリーム（ビットストリームＥ）から部分抽出した符号化ストリームである拡張差分ビットストリーム（ビットストリームＥ* ）を再送する。
【０１７５】
受信者側では、再送された拡張差分ビットストリーム（ビットストリームＥ* ）を初回伝送済みの基本階層ＭＰＥＧ−２ビットストリーム（ビットストリームＢ）と合成し、オリジナルＭＰＥＧ−２ビットストリーム（ビットストリームＡ）と基本階層ＭＰＥＧ−２ビットストリーム（ビットストリームＢ）の中間品質のＭＰＥＧ−２ビットストリームである合成ビットストリーム（ビットストリームＡ* ）を生成する。
【０１７６】
ここで、ストリーム分離装置１０００は、高品質なＭＰＥＧ−２ビットストリームまたは原画像を符号化したＭＰＥＧ−２ビットストリーム（変換前ＭＰＥＧ−２ビットストリーム）であるオリジナルＭＰＥＧ−２ビットストリーム（ビットストリームＡ）を入力して、符号量変換を行い、入力されたＭＰＥＧ−２ビットストリームより符号量の少ないＭＰＥＧ−２ビットストリーム（変換後ＭＰＥＧ−２ビットストリーム）である基本階層ＭＰＥＧ−２ビットストリーム（ビットストリームＢ）と、この情報とは別に変換前後での差分情報を符号化した差分ビットストリーム（ビットストリームＥ）と、を出力するものである。
【０１７７】
また、ストリーム分離装置１０００は、差分ビットストリーム（ビットストリームＥ）生成に際して、オリジナルＭＰＥＧ−２ビットストリーム（ビットストリームＡ）と基本階層ビットストリーム（ビットストリームＢ）との差分情報を階層化し、階層ごとの分割を可能とする。そして、この階層ごとの差分ビットストリーム（拡張差分ビットストリーム）は、前記基本階層ビットストリーム（ビットストリームＢ）を基本とし、この基本階層ビットストリーム（ビットストリームＢ）を拡張することができるものである。
【０１７８】
拡張差分抽出器７００は、ストリーム分離装置１０００に生成された差分ビットストリーム（ビットストリームＥ）から、送信するビットレートや要求された再送時間に応じて、前記拡張差分ビットストリーム（ビットストリームＥ* ）を抽出するものである。
【０１７９】
ストリーム合成装置２０００は、ストリーム分離装置１０００に分離された基本階層ビットストリーム（ビットストリームＢ）と、拡張差分ビットストリーム（ビットストリームＥ* ）と、を合成して、合成ビットストリーム（ビットストリームＡ* ）を生成するものである。
【０１８０】
ここで、上記のように合成ビットストリーム（ビットストリームＡ* ）は、基本階層ＭＰＥＧ−２ビットストリーム（ビットストリームＢ）と拡張差分ビットストリーム（ビットストリームＥ* ）とが合成されたものであるから、基本階層ＭＰＥＧ−２ビットストリーム（ビットストリームＢ）から復元される動画像より、合成ビットストリーム（ビットストリームＡ* ）から復元される動画像の方が、オリジナルＭＰＥＧ−２ビットストリーム（ビットストリームＡ）から復元される動画像に近いものとなる。そこで、基本階層ＭＰＥＧ−２ビットストリーム（ビットストリームＢ）から復元される動画像を基本品質映像、合成ビットストリーム（ビットストリームＡ* ）から復元される動画像を拡張品質映像と呼ぶことにする。
【０１８１】
ＭＰＥＧ復号器８００ａおよびＭＰＥＧ復号器８００ｂは、ＭＰＥＧ−２ビットストリームを入力して、復号し、元の動画像を復元するものである。ＭＰＥＧ復号器８００ａは、ストリーム分離装置１０００に分離された基本階層ＭＰＥＧ−２ビットストリーム（ビットストリームＢ）を入力して、復号し、基本品質の映像を出力するものである。ＭＰＥＧ復号器８００ｂは、ストリーム合成装置２０００から出力された合成ビットストリーム（ビットストリームＡ* ）を入力して、復号し、拡張品質の映像を出力するものである。ＭＰＥＧ復号器８００ａおよびＭＰＥＧ復号器８００ｂは、入力されたビットストリームが異なるために出力する映像品質が異なるだけであり、機能は同等のものである。
【０１８２】
さらに、同図において、オリジナルＭＰＥＧ−２ビットストリーム（ビットストリームＡ）、基本階層ＭＰＥＧ−２ビットストリーム（ビットストリームＢ）、差分ビットストリーム（ビットストリームＥ）、拡張差分ビットストリーム（ビットストリームＥ* ）、合成ビットストリーム（ビットストリームＡ* ）のそれぞれの関係を示すイメージを、単純化した式として、以下に示す。
【０１８３】
オリジナルＭＰＥＧ−２ビットストリーム（ビットストリームＡ）は、基本階層ＭＰＥＧ−２ビットストリーム（ビットストリームＢ）と、差分ビットストリーム（ビットストリームＣ）と、に分離されるものであるので、「ビットストリームＡ＝ビットストリームＢ＋ビットストリームＣ」である。
【０１８４】
また、拡張差分ビットストリーム（ビットストリームＥ* ）は、差分ビットストリーム（ビットストリームＥ）の一部であり、「ビットストリームＥ＝ビットストリームＥ*1＋ビットストリームＥ*2＋・・・＋ビットストリームＥ*n」である。ここでｎは、差分ビットストリーム（ビットストリームＥ）を分割した階層数である。
【０１８５】
また、合成ビットストリーム（ビットストリームＡ* ）は、基本階層ＭＰＥＧ−２ビットストリーム（ビットストリームＢ）と、拡張差分ビットストリーム（ビットストリームＥ* ）と、を合成したものであるので、「ビットストリームＡ* ＝ビットストリームＢ＋ビットストリームＥ*1＋ビットストリームＥ*2＋・・・＋ビットストリームＥ*k」である。ここでｋ（≦ｎ）は、合成した階層数である。
【０１８６】
本システムは、差分ビットストリームの伝送において、伝送路速度と要求伝送時間の制約を考慮に入れて、これに基づき適切なビットレートを持った拡張差分ビットストリームを動的に生成可能な点を特徴とする。すなわち、伝送済の基本符号化情報は再利用することで重複伝送による伝送効率の低下を回避できるだけでなく、拡張差分ビットストリームの再送ビットレートを伝送速度と要求再送時間に応じて自由に選択できる。これにより、基本階層ＭＰＥＧ−２ビットストリームだけでなく拡張階層の差分ビットストリームに対してもビットレート変換処理を施すことが可能となり、差分ビットストリームの伝送にスケーラビリティを提供する。
【０１８７】
次に、本発明のストリーム分離・合成手法の概要について、図２、図３、図４に示し、説明する。
【０１８８】
図２において、カメラ５００に撮影された映像信号は、ＭＰＥＧ符号化器６００に入力される。ＭＰＥＧ符号化器６００に入力された映像信号は、符号化され、オリジナルのＭＰＥＧ−２ビットストリーム（ビットストリームＡ）が生成される。
【０１８９】
ストリーム分離装置１０００では、ＭＰＥＧ符号化器６００からオリジナルＭＰＥＧ−２ビットストリーム（ビットストリームＡ）を入力し、符号量変換を行い、符号量が削減された基本階層ＭＰＥＧ−２ビットストリーム（ビットストリームＢ）を生成して、出力する。また、ストリーム分離装置１０００では、オリジナルＭＰＥＧ−２ビットストリーム（ビットストリームＡ）と基本階層ＭＰＥＧ−２ビットストリーム（ビットストリームＢ）との情報から、この変換前後の差分情報である差分ビットストリーム（ビットストリームＥ）を生成して、出力する。
【０１９０】
この差分ビットストリーム（ビットストリームＥ）は、階層構造とし、前記基本階層ＭＰＥＧ−２ビットストリーム（ビットストリームＢ）と、各階層のビットストリームと、を合成することにより、スケーラビリティを持つように生成する（スケーラビリティ拡張ストリーム）。
【０１９１】
ストリーム分離装置１０００から出力された基本階層ＭＰＥＧ−２ビットストリーム（ビットストリームＢ）は、動画像情報の要求を行った送信先に送信される。ストリーム分離装置１０００から出力された差分ビットストリーム（ビットストリームＥ）は、送信元側でハードディスク１９００等に保存される。
【０１９２】
ストリーム分離装置１０００（送信元）側から送られた基本階層ＭＰＥＧ−２ビットストリーム（ビットストリームＢ）は、動画像情報の要求を行った復号器（送信先）側で受信され、ＭＰＥＧ復号器８００に入力されるとともに、ハードディスク２９００等に保存される。
【０１９３】
ＭＰＥＧ復号器８００では、入力された基本階層ビットストリーム（ビットストリームＢ）を、元の映像信号に復号し、表示器９００に出力する。表示器９００では、ＭＰＥＧ復号器８００から入力された映像信号を表示させる。このとき表示される映像は、基本階層ＭＰＥＧ−２ビットストリーム（ビットストリームＢ）を復号した信号であるので、基本品質の映像である。
【０１９４】
次に、前記基本品質の映像を拡張してカメラ５００が撮影した映像に近づけ、拡張品質映像を得るための手法について説明する。
【０１９５】
図３に示すように、まず、拡張差分抽出器７００に送信時のビットレートを入力する。拡張差分抽出器７００では、ビットレートが入力されると、ハードディスク１９００から差分ビットストリーム（ビットストリームＥ）を入力し、前記ビットレートに応じた階層分の拡張差分ストリーム（ビットストリームＥ* ）を抽出する。ここでは、一番下位層のＥ１ストリーム（レイヤ１）とする。また、ここで抽出する階層は複数の階層を一度に抽出してもかまわないし、複数の階層を１階層ごと連続して送信するようにしても良い。
【０１９６】
拡張差分抽出器７００に抽出された拡張差分ビットストリーム（Ｅ１ストリーム）は、ストリーム分離装置１０００（送信元）側から送信され、ストリーム合成装置２０００（送信先）側に送られる。ストリーム分離装置１０００（送信元）側から送信された拡張差分ビットストリーム（Ｅ１ストリーム）は、ストリーム合成装置２０００に入力される。
【０１９７】
ストリーム合成装置２０００では、ハードディスク２９００から保存してあった基本階層ＭＰＥＧ−２ビットストリーム（ビットストリームＢ）を入力し、入力した拡張差分ビットストリーム（Ｅ１ストリーム）と合成して、合成ビットストリーム（基本＋レイヤ１）を生成して、ＭＰＥＧ復号器８００に出力するとともに、ハードディスク２９００に出力して、保存する。
【０１９８】
ＭＰＥＧ復号器８００では、ストリーム合成装置２０００から出力された合成ビットストリーム（基本＋レイヤ１）を入力して、映像信号を復号し、表示器９００に出力する。表示器９００では、ＭＰＥＧ復号器８００から入力された映像信号を表示させる。このとき表示される映像は、合成ビットストリーム（基本＋レイヤ１）を復号した信号であるので、前記基本品質映像よりも拡張され、高品位な拡張品質の映像が得られる。
【０１９９】
次に、拡張差分ビットストリーム（ビットストリームＥ* ）が（ｎ−１）レイヤまで受信できている状態で、受信済みの情報から再生できる拡張品質の映像をさらに拡張して、カメラ５００が撮影した高品質な映像に近づけるための手法について説明する。
【０２００】
図４に示すように、まず、拡張差分抽出器７００に送信時のビットレートを入力する。拡張差分抽出器７００では、ビットレートが入力されると、ハードディスク１９００から差分ビットストリーム（ビットストリームＥ）を入力し、前記ビットレートに応じた階層分の拡張差分ビットストリーム（ビットストリームＥ* ）を抽出する。ここで、送信済みの情報が分かっていれば、その送信済み情報より上位の階層の拡張差分ビットストリーム（ビットストリームＥ* ）を選択することができる。ここでは、ｎ番目の階層のＥｎストリーム（レイヤｎ）とする。ここでも、上記と同様に、抽出する階層は複数の階層でもかまわない。
【０２０１】
拡張差分抽出器７００に抽出された拡張差分ビットストリーム（Ｅｎストリーム）は、ストリーム分離装置１０００（送信元）側から送信され、ストリーム合成装置２０００（送信先）側に送られる。ストリーム分離装置１０００（送信元）側から送信された拡張差分ビットストリーム（Ｅｎストリーム）は、ストリーム合成装置２０００に入力される。
【０２０２】
ストリーム合成装置２０００では、ハードディスク２９００から保存してあった合成ビットストリーム（基本＋・・・＋レイヤｎ−１）を入力し、入力した拡張差分ビットストリーム（Ｅｎストリーム）と合成して、合成ビットストリーム（基本＋・・・＋レイヤｎ）を生成して、ＭＰＥＧ復号器８００に出力するとともに、ハードディスク２９００に出力して、保存する。
【０２０３】
ＭＰＥＧ復号器８００では、ストリーム合成装置２０００から出力された合成ビットストリーム（基本＋・・・＋レイヤｎ）を入力して、映像信号を復号し、表示器９００に出力する。表示器９００では、ＭＰＥＧ復号器８００から入力された映像信号を表示させる。このとき表示される映像は、合成ビットストリーム（基本＋・・・＋レイヤｎ）を復号した信号であるので、前記拡張品質映像よりもさらに拡張され、高品位な拡張品質の映像が得られる。
【０２０４】
さらに、上記拡張を続け、拡張差分ビットストリーム（ビットストリームＥ* ）を最上位層まで受信すると、オリジナルＭＰＥＧ−２ビットストリーム（ビットストリームＡ）と同一の符号化情報を得ることができ、符号量変換前と同じ高品質の映像を得ることができる。
【０２０５】
このように、本発明のストリーム分離・合成装置は、ビットストリームを複数の階層に分離し、受信側で２つ以上のビットストリームを合成して元の動画像を復元させる。したがって、高品質のＡ／Ｖコンテンツ等を低帯域伝送路で順次転送することができ、伝送済の映像情報を有効に利用できるとともに、帯域幅に応じた柔軟なビットストリーム転送を行うことができる。
【０２０６】
次に、ストリーム分離・合成装置の詳細説明に先立ち、ビットストリームのフォーマットについて説明する。
３：ビットストリームの構成、フォーマット；
【０２０７】
以下、本発明のビットストリームの構成、フォーマットについて説明する。
【０２０８】
本明細書で扱うトランスコーダ（ストリーム分離装置１０００）は、ビットストリーム変換処理だけでなく変換前後間の差分情報生成を行う機能をもつ。すなわち、ＭＰ＠ＭＬ（Main Profile at Main Level：メイン・プロファイルのメイン・レベル；ＭＰＥＧ−２のデコーダの性能をクラス分けするもの、一般的にプロファイルは、機能の分類（シンタックスの違い）を規定し、レベルは量の違い（画像サイズなど）を規定する）準拠のＭＰＥＧ−２ビットストリーム（変換前ＭＰＥＧ−２ビットストリーム）を入力し、ビットレートが削減されたＭＰＥＧ−２ビットストリーム（変換後ＭＰＥＧ−２ビットストリーム）と、符号量削減前後間の変化情報を表す差分ビットストリームを出力する。
【０２０９】
差分ビットストリームのビットストリームフォーマットを図５に示す。図５に示すように、差分ビットストリームは、ＭＰＥＧ−２シンタックスのビットストリームフォーマットを基本とし、シーケンスレイヤ、ピクチャレイヤ、スライスレイヤ、ＭＢ（マクロブロック）レイヤ、ブロックレイヤからなる階層構造を有する。
【０２１０】
ここで、シーケンスレイヤ、ピクチャレイヤ、スライスレイヤを上位レイヤ、ＭＢレイヤを中位レイヤ、ブロックレイヤを下位レイヤとする。
【０２１１】
差分ビットストリームは、シーケンスヘッダから始まり、ピクチャ枚数分のピクチャレイヤデータヘと続く。ピクチャレイヤデータは、ピクチャヘッダと、ピクチャデータから構成される。ピクチャデータは、複数個のスライスレイヤデータで構成され、スライスレイヤデータは、スライスヘッダと、それに続く複数個のＭＢレイヤデータから構成される。ＭＢレイヤデータは、ＭＢ属性情報と、係数情報から構成される。
【０２１２】
ここで、シーケンスヘッダ、ピクチャヘッダ、スライスヘッダは、それぞれシーケンス単位、ピクチャ単位、スライス単位で出力ＭＰＥＧ−２ビットストリームとの同期をとるために利用される。ＭＢ属性情報は、ＭＢの位置情報や符号化モードを設定するために利用され、係数情報に、再量子化前後での量子化係数値の変化情報が格納される。
【０２１３】
次に、ストリーム分離装置１０００のブロック構成図を図６に示し、ＭＰＥＧ−２ビットストリームの分離処理の概要を説明する。
【０２１４】
図６に示すように、本ストリーム分離装置１０００は、ＭＰＥＧ−２ＢＳ生成部１１００および差分ＢＳ生成部１２００からなり、ＭＰＥＧ−２ＢＳ生成部１１００は、多重分離・可変長復号器１１１０、符号化モード切り替え器１１２０、量子化制御器１１３０、量子化係数レベル変換器１１４０、ＭＰＥＧ−２ＢＳ配列多重・可変長符号化器１１９０を有し、差分ＢＳ生成部１２００は、変換差分係数分離器１２２０、再量子化前係数値予測誤差計算器１２３０、変換差分係数ジグザグスキャン器１２４０、差分ＢＳ配列多重・可変長符号化器１２９０を有している。
【０２１５】
なお、差分ＢＳ生成部１２００、特に、変換差分係数ジグザグスキャン器１２４０の詳細処理については、後述するので、ここでは、概略のみの説明とする。
【０２１６】
ＭＰＥＧ−２ＢＳ生成部１１００の多重分離・可変長復号器１１１０は、レート削減前のビットストリームである変換前ＭＰＥＧ−２ビットストリームを入力して、変換前ＭＰＥＧ−２ビットストリームから上位レイヤ情報、中位レイヤ情報、下位レイヤ情報を分離して復号し、上位レイヤ情報、中位レイヤ情報を復号した値は、符号化モード切り替え器１１２０に出力し、下位レイヤ情報を復号した値は、量子化係数レベル変換器１１４０に出力する。
【０２１７】
符号化モード切り替え器１１２０は、上位レイヤ情報、中位レイヤ情報の符号の種類を参照して、変更する必要がない符号はそのまま出力し、変更する必要がある符号（ＭＢ情報、ＣＢＰ等）は変更を加えた後に出力する。
【０２１８】
量子化制御器１１３０は、符号量を制御し、処理対象のＭＢの量子化パラメータ（再量子化パラメータ）ＭＱ２を出力する。
【０２１９】
量子化係数レベル変換器１１４０は、多重分離・可変長復号器１１１０から係数情報の復号値ＱＦ１と変換前量子化パラメータの復号値ＭＱ１と、量子化制御器１１３０から再量子化パラメータ（変換後量子化パラメータ）ＭＱ２を入力し、逆量子化、再量子化結合処理による量子化係数値レベル変換を行う。
【０２２０】
ＭＰＥＧ−２ＢＳ配列多重・可変長符号化器１１９０は、入力された上位レイヤ情報、中位レイヤ情報、下位レイヤ情報を符号化し、多重化してレート削減後のビットストリームである変換後ＭＰＥＧ−２ビットストリームを出力する。
【０２２１】
差分ＢＳ生成部１２００の変換差分係数分離器１２２０は、ＭＰＥＧ−２ＢＳ生成部１１００から変換前係数情報ＱＦ１と変換後係数情報ＱＦ２とを入力して、非零係数に変換される係数情報ＱＦ１と、このＱＦ１の変換後係数情報ＱＦ２と、を再量子化前係数値予測誤差計算器１２３０に出力し、零係数に変換される係数情報ＱＦ１を変換差分係数ジグザグスキャン器１２４０に出力する。
【０２２２】
再量子化前係数値予測誤差計算器１２３０は、非零係数に変換される係数情報について、変換差分係数分離器１２２０から変換前係数情報ＱＦ１と変換後係数情報ＱＦ２とを入力し、ＭＰＥＧ−２ＢＳ生成部１１００から変換前量子化パラメータＭＱ１と変換後量子化パラメータＭＱ２とを入力し、ＱＦ２，ＭＱ１，ＭＱ２によりＱＦ１を予測したときの予測誤差ΔＱＦを算出し、差分ＢＳ配列多重・可変長符号化器１２９０に出力する。
【０２２３】
変換差分係数ジグザグスキャン器１２４０は、零係数に変換される係数情報について、変換差分係数分離器１２２０から変換前係数情報ＱＦ１を入力し、ジグザグスキャンし、連続する０の個数（run ）と、係数値（level ）のペア（run, level）情報の生成を行い、差分ＢＳ配列多重・可変長符号化器１２９０に出力する。ここで、（run ）の値は、連続するＱＦ１未満の個数であったり、（run, level）のペアで出力せずに、（level ）ごとに（run ）をまとめたりするが、詳細は後述とする。
【０２２４】
差分ＢＳ配列多重・可変長符号化器１２９０は、入力された上位レイヤ情報、中位レイヤ情報、下位レイヤ情報を符号化し、多重化してレート削減前と削減後のビットストリームの差分情報である差分ビットストリームを出力する。また、この差分ビットストリームは、前記差分情報の一部である拡張差分ビットストリームにより階層構造を有しており、指定した拡張差分ビットストリームを抽出可能な構造である。
【０２２５】
以上の構成により、入力された変換前ＭＰＥＧ−２ビットストリームに対し、可変長復号、逆量子化を行い、ＤＣＴ係数領域まで復元した後に、ＤＣＴ係数に対し再量子化、可変長符号化処理を行い、変換後ＭＰＥＧ−２ビットストリームを出力する。
【０２２６】
同時に、変換前ＭＰＥＧ−２ビットストリーム中より得られる係数情報ＱＦ１と再量子化後の係数情報ＱＦ２が、差分ＢＳ生成部１２００へ送られ、再量子化前後間の係数値の変化情報の符号化を行い、差分ビットストリームを生成する。
【０２２７】
係数値変化情報は、変換後ＭＰＥＧ−２ビットストリームに符号化される再量子化出力係数が、零係数に対応する係数（ＱＦ１（ＱＦ２＝０））と、非零係数に対応する係数（ＱＦ１（ＱＦ２≠０））のものとに分離され、それぞれ別々の符号化処理を施す。
【０２２８】
このようにして、レート削減されたＭＰＥＧ−２ビットストリーム（変換後ＭＰＥＧ−２ビットストリーム）とは別に、トランスコード処理前後での変化情報が差分ビットストリームとして出力される。
【０２２９】
また、ストリーム分離装置１０００は、１本のＭＰＥＧ−２ビットストリーム（変換前ＭＰＥＧ−２ビットストリーム）に対し、レート削減されたＭＰＥＧ−２ビットストリーム（変換後ＭＰＥＧ−２ビットストリーム）と差分ビットストリームという２つの符号化データを出力するため、両者間で符号化出力処理の切り替え操作を伴う。
【０２３０】
変換後ＭＰＥＧ−２ビットストリーム出力と、差分ビットストリーム出力との切り替え制御を示す概念図を図７に示す。
【０２３１】
差分ビットストリームは、各種ＭＰＥＧ−２符号化データのうち、シーケンスヘッダ、ピクチャヘッダ、スライスヘッダ、ＭＢデータ、ブロックデータに対応して出力される。
【０２３２】
上位レイヤ符号（シーケンスヘッダ、ピクチャヘッダ、スライスヘッダ）に関しては、ヘッダ情報１単位分の処理を終えた後に切り替え操作を行い、処理対象ヘッダに対応した、差分ビットストリームのヘッダ情報を１単位分出力する。
【０２３３】
具体的には、入力ビットストリームより“Sequence_Header_Code”を検出した場合には、シーケンスヘッダ情報を読み込みと同時に変換後ＭＰＥＧ−２ビットストリームへの出力処理を行うが、全てのシーケンスヘッダ内符号の処理を終えたら、差分ビットストリーム出力モードに切り替え、差分ビットストリームのシーケンスヘッダ情報を出力する。
【０２３４】
入力ビットストリームより“Picture_Start_Code”を検出した場合には、シーケンスヘッダ同様に、各種ピクチャヘッダ内情報の読み込み／書き出し処理を行い、それが終ったら、出力を差分ビットストリームに切り替えて、差分ビットストリームのピクチャヘッダを出力する。
【０２３５】
入力ビットストリームより“Slice_Start_Code”を検出した場合、スライスレイヤ内符号の一連の処理を終えた後に差分ビットストリームスライスレイヤ符号の出力を行い、その後、当該スライスに属するＭＢレイヤデータの処理へと移行する。
【０２３６】
また、ＭＢレイヤデータのレート削減処理は、
１）入力ＭＢ符号化データ復号、
２）復号ＭＢ符号化データ補正、
３）補正後ＭＢ符号化データ出力、
の３工程からなる。
【０２３７】
ここで、３）の処理を終えた後に、当該ＭＢの再量子化前後間の量子化係数の変化を参照して、当該ＭＢに対する係数情報の変化が存在するかどうかの判定が行われ、存在する場合には差分ビットストリーム出力モードに移行し、ＭＢ属性情報の変更情報および係数値変化情報の符号化を行う。
【０２３８】
ここで、本判定処理は、再量子化前後での当該ＭＢ内係数情報の変化の有無に基づいて行われる。すなわち、一連の変換後ＭＰＥＧ−２ビットストリームのＭＢレイヤデータの出力処理を終えた後に、判定処理と差分ビットストリームのＭＢデータの符号化処理が行われる。
【０２３９】
次に、ストリーム合成装置２０００のブロック構成図を図８に示し、ＭＰＥＧ−２ビットストリームと差分ビットストリームとの合成処理の概要を説明する。
【０２４０】
図８に示すように、ストリーム合成装置２０００は、ＭＰＥＧ−２ＢＳ多重分離・可変長復号器２１１０、差分ＢＳ多重分離・可変長復号器２１２０、符号化モード切り替え器２１３０、係数ブロック復元器２１４０、差分係数ブロック復元器２１５０、加算器２１６０、復元係数ブロック再スキャン器２１７０、配列多重・可変長符号化器２１９０を有している。
【０２４１】
ＭＰＥＧ−２ＢＳ多重分離・可変長復号器２１１０は、レート削減後のビットストリームである変換後ＭＰＥＧ−２ビットストリーム、または、本ストリーム合成装置２０００が合成済みの合成ビットストリームを入力して、変換後ＭＰＥＧ−２ビットストリームまたは合成ビットストリームから上位レイヤ情報、中位レイヤ情報、下位レイヤ情報を分離して復号し、上位レイヤ情報、中位レイヤ情報を復号した値は、符号化モード切り替え器２１３０に出力し、下位レイヤ情報を復号した値、ランレベル情報は、係数ブロック復元器２１４０に出力する。
【０２４２】
差分ＢＳ多重分離・可変長復号器２１２０は、レート削減前と削減後のビットストリームの変換差分情報の一部である拡張差分ビットストリームを入力して、拡張差分ビットストリームから上位レイヤ情報、中位レイヤ情報、下位レイヤ情報を分離して復号する。上位レイヤ情報、中位レイヤ情報を復号した値は、符号化モード切り替え器２１３０に出力する。下位レイヤ情報を復号した値は、非零係数に変換された係数情報の予測誤差ΔＱＦは、係数ブロック復元器２１４０に出力し、零係数に変換された係数情報のランレベル情報は、差分係数ブロック復元器２１５０に出力する。
【０２４３】
符号化モード切り替え器２１３０は、ＭＰＥＧ−２ＢＳ多重分離・可変長復号器２１１０および差分ＢＳ多重分離・可変長復号器２１２０から上位レイヤ情報、中位レイヤ情報を入力して、変換前ＭＰＥＧ−２ビットストリーム、または、変換前後の中間ＭＰＥＧ−２ビットストリーム情報を生成して、配列多重・可変符号化器２１９０に出力するとともに、入力された変換後量子化パラメータＭＱ２、復元された変換前量子化パラメータＭＱ１、を係数ブロック復元器２１４０に出力する。
【０２４４】
係数ブロック復元器２１４０は、変換後ＭＰＥＧ−２ビットストリームのランレベル情報と、予測誤差ΔＱＦと、変換前量子化パラメータＭＱ１、変換後量子化パラメータＭＱ２を入力して、非零係数に変換された係数情報の８×８係数ブロックを復元して、出力する。
【０２４５】
差分係数ブロック復元器２１５０は、零係数に変換された係数情報のランレベル情報を入力して、零係数に変換された係数情報の８×８係数ブロックを復元して、出力する。
【０２４６】
加算器２１６０は、非零係数に変換された係数情報の８×８係数ブロックと零係数に変換された係数情報の８×８係数ブロックを加算して、変換前または変換前後間の中間の係数情報の８×８係数ブロックを復元して、出力する。
【０２４７】
復元係数ブロック再スキャン器２１７０は、復元された上記係数ブロックをジグザグスキャンし、復元ブロックのランレベル情報（レート削減前または中間ＭＰＥＧ−２ビットストリーム）を生成し、出力する。
【０２４８】
配列多重・可変長符号化器２１９０は、入力された上位レイヤ情報、中位レイヤ情報、下位レイヤ情報を符号化し、多重化してレート削減前または中間のビットストリームを生成し、合成ＭＰＥＧ−２ビットストリームを出力する。
【０２４９】
以上の構成により、ストリーム合成装置２０００は、変換後または合成ＭＰＥＧ−２ビットストリームと拡張差分ビットストリームを合成して、品質の向上した変換前に近いビットストリームを生成するものである。
【０２５０】
また、差分ビットストリームの係数情報は、非零係数に対応した差分係数：予測誤差ΔＱＦと、零係数に対応した再量子化前係数情報（run, level）に分離されて復号される。
【０２５１】
前者（非零係数に対応した差分係数：予測誤差ΔＱＦ）に対しては、変換後ＭＰＥＧ−２ビットストリームを可変長復号して得られる量子化係数値と、量子化パラメータ情報ＭＱ２と、復元された変換前量子化パラメータ情報ＭＱ１から、再量子化前の量子化係数値を復元する。後者（零係数に対応した再量子化前係数情報：（run, level））に対しては、ブロック内位置情報と係数値情報を復号する。
【０２５２】
そして、それぞれの復元量子化係数を合成することで、再量子化前の量子化係数ブロックが再現されるので、これを再スキャンし一次元系列に並びかえられたあと、ＭＰＥＧ−２シンタックスに従い二次元ランレングス符号化する。
【０２５３】
さらに、ストリーム合成装置２０００は、２つの入力をもつので、復号処理において切り替え操作を必要とする。
【０２５４】
上位レイヤ符号は、ＭＰＥＧ−２ビットストリームと拡張差分ビットストリームが一対一対応となっているので、ＭＰＥＧ−２ビットストリームより各種上位レイヤ符号ヘッダを１単位分読み込んだら拡張差分ビットストリームの復号へ移行し、１単位分のヘッダ情報を読み込む。
【０２５５】
ＭＢレイヤに関しては、変換後ＭＰＥＧ−２ビットストリームまたは合成ビットストリーム中よりＭＢデータを１ＭＢ分全て読み込んだ後に、対応するＭＢデータが拡張差分ビットストリーム中に存在するかどうかを判定し、存在する場合には、拡張差分ビットストリーム入力モードへ移行し、１ＭＢ分の符号化データの読み込みを行う。
【０２５６】
上位レイヤ符号は、ヘッダ１単位ごとに、ＭＢレイヤ以下は、１ＭＢの処理ごとに、切り替え操作を行う。
【０２５７】
以下、スケーラブル拡張ストリームの符号化アルゴリズムについて説明する。４：スケーラブル拡張ストリーム符号化アルゴリズム；
【０２５８】
本発明のアルゴリズムは、本願出願人が先に出願した特願２００１−１９７１９４号公報に記載の「符号化信号分離・合成装置」のアルゴリズムを拡張したものである。したがって、基本階層ＭＰＥＧ−２ビットストリーム（ビットストリームＢ）の符号化方式は、上記公報記載のものと同一である。すなわち、可変長復号処理、ブロック復元処理により復元された係数ブロック（再量子化入力係数ブロック）Ｂ１を逆量子化、再量子化することで情報量の削減を行い、再量子化出力係数ブロックＢ２に対しジグザグスキャン、可変長符号化処理を行い、ビットストリームＢを出力する。このとき、再量子化時のレート歪み特性に基づく再量子化パラメータの算出方法、逆量子化と再量子化を結合させた再量子化演算式をそのまま用いる。
【０２５９】
本発明では、スケーラブルな符号化情報を生成可能なＢ１とＢ２間の変化成分の符号化アルゴリズムを提案する。
４．１：係数レベル値の分類に基づく差分係数情報の符号化アルゴリズム；
【０２６０】
差分係数の符号化処理は、再量子化後の係数レベル値に基づき、零係数と非零係数の各々に対応した差分情報を別々の方式で符号化する。
【０２６１】
非零係数に対する差分情報は、各係数のブロック内の位置情報が再量子化後の係数ブロックから取得可能な点に着目し、係数レベル値に関する情報のみを符号化処理する。具体的には、再量子化後の係数ブロックの値Ｂ２（ｕ，ｖ）、オリジナルのステップサイズＭＱ１、再量子化ステップサイズＭＱ２から得られる係数値と、再量子化前の係数ブロックの値Ｂ１（ｕ，ｖ）と、の差（Ｂ１（ｕ，ｖ）−ＭＱ２／ＭＱ１×Ｂ２（ｕ，ｖ））である係数レベル値剰余符号を差分情報として生成することにより、再量子化前の係数ブロックの復元を可能としている。具体例を、図９に示す。本処理は上記公報に示されるものと全く同一である。
【０２６２】
一方、零係数に対応する差分係数符号は、再量子化前の入力係数値とブロック内位置を導出するためのランレングスにより符号化する。このときに、本符号化情報を部分的に抽出しても意味のある映像情報が再現可能な情報構造を持たせて符号化することで、拡張ストリームのスケーラビリティを提供する。
４．１．１：基本方針；
【０２６３】
再量子化出力係数ブロックＢ２に適用する再量子化ステップサイズＭＱ２は、オリジナルのステップサイズＭＱ１と整数値ｍにより算出される。ＭＱ２の算出式は、イントラ符号化時とインター符号化時で別々に定義され、イントラ符号化時には式（１）、インター符号化時には式（２）に示される。
【数３】
2006237656.tif 000005
ＭＱ２（ＭＱ１，ｍ）＝  （ｍ＋１）×ＭＱ１              …式（２）
【０２６４】
ここで、ｍ≠０としてＭＱ２（ｍ）およびＭＱ２（ｍ−１）なるステップサイズで再量子化した再量子化出力係数ブロックをそれぞれＢ２＾（ｍ）、Ｂ２＾（ｍ−１）と定義し、これらの係数ブロックに含まれる０でない係数値の分布について考察する。
【０２６５】
Ｂ１（ｕ、ｖ）≦ｍである入力係数値は、再量子化演算によって０へ変換され、Ｂ１（ｕ、ｖ）＞ｍなる入力係数値は、Ｂ１（ｕ、ｖ）より小さい０でない値へ変換される。これより、ＭＱ２（ｍ）に対する再量子化出力係数ブロックＢ２＾（ｍ）内の係数値Ｂ２＾（ｍ）（ｕ、ｖ）には、全ての（ｕ、ｖ）において式（３）が成立する。
【数４】
2006237656.tif 000006
同様にして、Ｂ２＾（ｍ−１）内の全ての係数値に対しては、式（４）が成立する。
【数５】
2006237656.tif 000007
ここで、Ｂ２＾（ｍ）に、再量子化入力係数ブロックの中のＢ１（ｕ、ｖ）＝ｍとなる係数値を付与したブロックをＢ２# として式（５）に定義する。
【数６】
2006237656.tif 000008
ｍ≠０であるから式（３）、式（５）からＢ２# （ｕ、ｖ）とＢ１（ｕ、ｖ）の間には、式（６）に示す関係が導かれる。
【数７】
2006237656.tif 000009
式（６）において、Ｂ２# （ｕ、ｖ）≠０となる条件に着目すると、式（６）は、式（７）のように表現される。
【数８】
2006237656.tif 000010
さらに、ｍは整数値であるから、式（７）は、式（８）として表現可能である。
【数９】
2006237656.tif 000011
式（４）および式（８）よりＢ２＾（ｍ−１）、Ｂ２# それぞれのブロック中の零係数／非零係数に対応する入力係数値Ｂ１（ｕ、ｖ）の条件は一致する。すなわち、Ｂ１に含まれるｍ−１以下の係数はＢ２＾（ｍ−１）、Ｂ２# の双方において値が０の係数に対応し、それ以外の係数はＢ２＾（ｍ−１）、Ｂ２# 双方において０でない係数に対応している。これより、Ｂ２＾（ｍ−１）とＢ２# の間で０でない係数の分布は一致することから、ジグザグスキャンを行い、ランレングス情報（ランレベル情報ではない）を生成すると両者で同一の系列が生成される。
【０２６６】
ところで、Ｂ１（ｕ、ｖ）≦ｍである係数は、差分係数情報として符号化されている。このときに、差分係数情報の中からｍ−ｎ（０≦ｎ＜ｍ）以上のレベル値をもつ係数符号を抽出し、再量子化出力係数ブロックＢ２＾（ｍ）と合成することにより、ステップサイズＭＱ２（ｍ−ｎ）で再量子化した再量子化出力係数ブロックＢ２＾（ｍ−ｎ）と同一の非零係数分布をもつブロックを生成可能となる。
【０２６７】
本機能を実現するためには、差分係数情報が特定の範囲の係数レベル値の抽出を容易に実現可能な符号化データ構造を有している必要がある。そこで、差分情報のランレングス系列をレベル値ごとに分類して符号化する。これにより、差分ストリームの中から所定範囲のビット素片のみを抽出することで、差分ビットストリームの部分抽出を実現できる。
４．１．２：符号化アルゴリズム；
【０２６８】
本発明の符号化アルゴリズムの概念を図１０に示す。本方式では、Ｂ２（ｕ、ｖ）≠０の場合は、前述の特許公報（特願２００１−１９７１９４号公報）の記載と同様の手法で符号化を行うが、Ｂ２（ｕ、ｖ）＝０となる場合において、Ｂ１（ｕ、ｖ）の値ごとに別々にジグザグスキャンを行う。すなわち、Ｂ１（ｕ、ｖ）≦ｍにおいてＢ２（ｕ、ｖ）＝０になるとすると、Ｂ１（ｕ、ｖ）＝１、２、…、ｍについてのｍ個のランレベル系列を生成する。
【０２６９】
また、ランレングスとしてカウントする係数は、Ｂ１ブロック内のゼロ係数の他に、Ｂ１（ｕ、ｖ）＜ level  となる係数レベル値全てを含める。すなわち、level ＝２のランレングス系列におけるrun の値は、Ｂ１内の連続するＢ１（ｕ、ｖ）＝０およびＢ１（ｕ、ｖ）＝１となる係数の個数を表現する。
【０２７０】
以下に、符号化処理方法を示す。
【０２７１】
１．Ｂ１、Ｂ２の係数をジグザグスキャンオーダーで読みだす。当該スキャン対象レベル値level と読み出した係数値Ｂ１（ｕ、ｖ）により以下の３とおりの処理に分かれる。
【０２７２】
２−１．Ｂ１（ｕ、ｖ）＜level の場合
ランレングスカウンタｃを１つだけ増加し、３．の処理へ進む。
【０２７３】
２−２．Ｂ１（ｕ、ｖ）＞level の場合
３．へ進む。
【０２７４】
２−３．Ｂ１（ｕ、ｖ）＝level の場合
カウンタｃの値をrun としたランレベルイベント（run , level ）を生成し、可変長符号化する。カウンタｃを０にリセット。run は、Ｂ１（ｕ、ｖ）内の連続するＢ１（ｕ、ｖ）＜level となる係数の個数を表す。３．へ進む。
【０２７５】
３．ブロック末尾ならば、当該スキャン対象レベル値に関するランレベル系列の末尾を表す符号End_of_Runlengthを符号化する。
【０２７６】
４．level ＝max_level（レベルの最大値＝ｍ）ならば終了。そうでなければlevel に１を加算して、スキャン位置を（ｕ、ｖ）＝（０、０）にリセットして１．へ戻る。
【０２７７】
上記符号化処理のフローチャートを図１１、図１２に示し、説明する。
【０２７８】
まず、スキャン対象レベル値level を１にセットする（ｓ１０１０）。続いて、（ｕ、ｖ）に（０、０）を代入し、初期化する（ｓ１０２０）。次いで、Ｂ１（ｕ、ｖ）のレベル値を読み込む（ｓ１０３０）。
【０２７９】
次に、読み込んだＢ１（ｕ、ｖ）のレベル値とスキャン対象レベル値level との比較を行う（ｓ１０４０、ｓ１０５０）。
【０２８０】
Ｂ１（ｕ、ｖ）とlevel とが等しければ（ｓ１０４０でＹｅｓ）、run にランレングスカウンタｃの値を代入し（ｓ１０６０）、run の値を符号化して（ｓ１０７０）、カウンタｃに０を代入してリセットする（ｓ１０８０）。
【０２８１】
Ｂ１（ｕ、ｖ）がlevel 未満であれば（ｓ１０４０でＮｏ、ｓ１０５０でＹｅｓ）、カウンタｃに１加算する（ｓ１０９０）。Ｂ１（ｕ、ｖ）がlevel より大きければ（ｓ１０４０でＮｏ、ｓ１０５０でＮｏ）、何もせずに、次の処理に移行する。
【０２８２】
続いて、（ｕ、ｖ）が（７，７）であるかの判定により、ブロックの末尾であるか否かを判定する（ｓ１１００）。（ｕ、ｖ）が（７，７）でない場合には、（ｕ、ｖ）を次のジグザグスキャン位置にして（ｓ１１１０）、Ｂ１（ｕ、ｖ）のレベル値の読み込み処理（ｓ１０３０）に戻る。
【０２８３】
（ｕ、ｖ）が（７，７）である場合には、ランレベル系列の末尾を表す符号End_of_Runlengthを符号化する（ｓ１１２０）。次に、レベル値level がレベル値の最大を表すmax_level であるかを判定し（ｓ１１３０）、max_level でない場合には、レベル値level に１を加算して（ｓ１１４０）、（ｕ、ｖ）初期化処理（ｓ１０２０）に戻る。レベル値がmax_level であった場合には、本符号化処理を終了する。
【０２８４】
以下、図１０、図１１、図１２に基づいて、具体例を説明する。図１０では、Ｂ１（ｕ、ｖ）≦３においてＢ２（ｕ、ｖ）＝０となる場合を表している。このときには、Ｂ１（ｕ、ｖ）＝１、２、３の３つのランレベル系列を生成する。
【０２８５】
まず、スキャン対象レベル値level を１にセットし（ｓ１０１０）、Ｂ１（ｕ、ｖ）＝１である係数に関するランレベル系列を生成する。
【０２８６】
（ｕ、ｖ）＝（０、０）および（１、０）においては、Ｂ１（ｕ、ｖ）＞１なので上記２−２．へ該当し（ｓ１０４０でＮｏ、ｓ１０５０でＮｏ）、このときは何もせずに次のスキャン位置へ進めるのみである。
【０２８７】
次に（ｕ、ｖ）＝（０、１）において、Ｂ１（０、１）＝０（＜level ＝１）となる（ｓ１０４０でＮｏ、ｓ１０５０でＹｅｓ）から、カウンタｃを１つ加算する（ｓ１０９０）。
【０２８８】
（ｕ、ｖ）＝（１、１）において、Ｂ１（１、１）＝１となる（ｓ１０４０でＹｅｓ）から、上記２−３．の処理（ｓ１０６０からｓ１０８０）が行われる。ここまでに、カウントされたＢ１（１、１）＜level である係数の個数は１個なので、（run 、level ）＝（１、１）を可変長符号化する。
【０２８９】
以下同様の手順により、level ＝１に関するランレベル系列を生成する。
【０２９０】
level ＝１のランレベル系列の生成が終了したら（ｓ１１００でＹｅｓ）、End_of_Runlengthを符号化する（ｓ１１２０）。さらに、level ＝２とし（ｓ１１４０）、スキャン位置を（０、０）へ戻して（ｓ１０２０）、同様の処理を行う。ここで、（ｕ、ｖ）＝（１、１）、（０、３）、（１、３）、（２、２）のＢ１（ｕ、ｖ）＝１となる係数もランレングス値としてカウントされる。
【０２９１】
同様にして、level ＝３のランレベル系列の生成を行い、差分ビットストリームの生成を行うことができる。
４．１．３：ランレングスイベントの可変長符号化；
【０２９２】
上記のアルゴリズムにより生成されたランレベルイベントは、係数レベル値ごとにグループ分けされて、End_of_Runlength符号により区切られる。そのため、復号時には、ランレベル系列の符号化順序と、End_of_Runlength符号の出現回数により、level の値を算出可能である。そこで、差分情報のランレベルイベントの符号化処理では、run およびサインビットのみを可変長符号化して、level を符号化しないことで差分情報の符号量を削減する。したがって、上記フローチャートにおいても、ランレベルイベントの符号化処理（ｓ１０７０）で、run およびサインビットのみを可変長符号化とした。
４．２：合成アルゴリズム；
【０２９３】
上記符号化処理により符号化された差分情報と再量子化後の係数ブロックから、元の係数ブロックを再生成する方法を示す。
【０２９４】
まず、再量子化出力係数ブロックＢ２の中の非零係数に関して、再量子化前の値への復元を行う。本処理は、前述の特許公報（特願２００１−１９７１９４号公報）の記載と同様の方法により行う。
【０２９５】
次に、ランレベル系列の復号処理および係数ブロックの復元処理を行う。ランレベル系列はlevel の大きい方から順に復号する。復号された（run 、level ）におけるrun の値は、Ｂ１（ｕ、ｖ）＜level となる係数の個数を表す。そのため、Ｂ２（ｕ、ｖ）≠０およびＢ２（ｕ、ｖ）＞level の係数位置をスキップしながら、run からカウントアップした位置にlevel が挿入される。
【０２９６】
以下に、復元処理方法を示す。
【０２９７】
１．run を復号し、復元対象レベル値level からランレベルイベント（run 、level ）を生成する。カウンタｐ＝run にセットする。
【０２９８】
２．復元係数ブロックＢ１* 内における当該スキャン位置（ｕ、ｖ）の係数値Ｂ１* （ｕ、ｖ）により、以下の２とおりの処理へ分かれる。
【０２９９】
３−１．Ｂ１* （ｕ、ｖ）＞level の場合
スキャン位置（ｕ、ｖ）を１つ進めて４．へ進む。
【０３００】
３−２．Ｂ１* （ｕ、ｖ）≦level の場合
ｐを１つだけ減少させ、スキャン位置（ｕ、ｖ）を１つ進める。４．へ進む。
【０３０１】
４．ｐ＝０ならば、このときのスキャン位置（ｕ、ｖ）にlevel をセットし５．へ進む。それ以外の場合は２．へ戻る。
【０３０２】
５．次の符号がEnd_of_Runlengthならば６．へ進む。それ以外の場合は１．へ戻る。
【０３０３】
６．level ＝１ならば終了する。そうでなければlevel を１だけ減少させ、スキャン位置を（０、０）ヘリセットし１．へ戻る。
【０３０４】
上記復元処理の概念を図１３に、フローチャートを図１４、図１５に示し、説明する。
【０３０５】
まず、復元対象レベル値level をmax_level にセットする（ｓ２０１０）。続いて、（ｕ、ｖ）に（０、０）を代入し、初期化する（ｓ２０２０）。次いで、run を復号し、復元対象レベル値level からランレベルイベント（run 、level ）を生成する（ｓ２０３０）。次に、カウンタｐにrun をセットする（ｓ２０４０）。
【０３０６】
次に、復元係数ブロックＢ１* 内における当該スキャン位置（ｕ、ｖ）の係数値Ｂ１* （ｕ、ｖ）と復元対象レベル値level を比較する（ｓ２０５０）。Ｂ１* （ｕ、ｖ）がlevel 以下の場合には、ｐを１つだけ減少させる（ｓ２０６０）。
【０３０７】
次いで、ジグザグスキャン位置（ｕ、ｖ）を１つ進めて（ｓ２０７０）、ｐが０となったか否かを判定する（ｓ２０８０）。ｐが０でなければ、スキャン位置（ｕ、ｖ）の係数値Ｂ１* （ｕ、ｖ）と復元対象レベル値level の比較処理（ｓ２０５０）に戻り、処理を繰り返す。
【０３０８】
ｐが０となったら、このときのスキャン位置（ｕ、ｖ）の係数値Ｂ１* （ｕ、ｖ）にlevel をセットする（ｓ２０９０）。さらに、次の符号がEnd_of_Runlengthか否かを判定する（ｓ２１００）。この判定により、End_of_Runlengthでなければ、run の復号処理（ｓ２０３０）に戻る。End_of_Runlengthであれば、level が１であるか否かの判定を行う（ｓ２１１０）。level が１でなければ、level を１だけ減少させ（ｓ２１２０）、スキャン位置（ｕ、ｖ）の初期化処理（ｓ２０２０）に戻り、処理を繰り返す。level が１であれば、本復元処理を終了する。
４．３：部分抽出方法；
【０３０９】
本方式では、再量子化入力係数ブロックＢ１中の係数レベル値ごとに別々にランレングス情報が生成されており、各々のランレングス符号化情報は、識別符号ＥＯＲ（End_of_Runlength）で区切られて符号化されているため、所定の係数レベル値を持つランレベル系列のみを選別可能なデータ構造を有することが特徴である。本特徴を利用することで、差分符号化情報の一部分のみを抽出し、再量子化出力係数ブロックＢ２と合成することにより、Ｂ１とＢ２の中間ブロックＢ* を生成することができる。また、中間ブロックＢ* は、８×８サイズの量子化係数情報を保存することから、Ｂ１およびＢ２と同等のデータ構造を有する。そのため、中間ブロックＢ* に対して再度差分符号化情報を与えて合成することで再量子化入力係数ブロックＢ１を生成することができる。
【０３１０】
差分符号化情報を部分的に抽出し順次合成して、再量子化出力係数ブロックＢ２から中間ブロックＢ* を経由して最終的に再量子化入力係数ブロックＢ１を合成するための手順を以下に示す。
【０３１１】
また、図１６に、拡張差分ビットストリームの抽出による部分合成処理の概念図を示す。この例では、オリジナルのステップサイズＭＱ１＝２、再量子化ステップサイズＭＱ２＝８、整数値ｍ＝３とし、３階層の差分ビットストリームから拡張差分ビットストリームを部分抽出し、中間ブロックＢ* 、再量子化入力係数ブロックＢ１の合成処理を行うものとする。
【０３１２】
（ i）第１次部分合成ブロックＢ* （１）の合成処理；
【０３１３】
まず、差分係数符号化情報（差分ビットストリーム）の中から係数レベル値剰余符号とlevel ＝３のレベル値を持つ差分ランレベル系列を取りだし、系列の末尾にＥＯＢ（End_of_block）符号を付与する。差分ビットストリームから部分抽出した、本系列を可変長符号化して、拡張差分ビットストリームを生成する。本ビットストリームを第１次部分差分符号化情報として Ｓ*（１）と定義する。
【０３１４】
Ｓ*（１）には、Ｂ２中の非零係数値から再量子化前の値へ変換するために必要な補正値情報が、係数レベル値剰余符号として符号化され、また、Ｂ１（ｕ、ｖ）＝３である入力係数値を係数ブロックヘ復元するためのブロック内位置情報が、差分ランレベル符号として符号化される。
【０３１５】
合成処理器は、Ｂ２と Ｓ*（１）を４．２に示す合成アルゴリズムにより合成する。まず、 Ｓ*（１）から係数レベル値剰余値系列を復号する。次に、Ｂ２をＭＱ２／ＭＱ１で乗算した後に、本ブロック中の非零値へ係数レベル値剰余値を加算することで、非零係数に対する再量子化前のレベル値を得る。
【０３１６】
さらに、ランレベル系列を復号して４．２に示す方法により合成することで、Ｂ１（ｕ、ｖ）＝３の入力係数値が係数ブロックＢ* （１）へ復元される。ここで、level ＝３のランレベル系列の後にはＥＯＢ符号が続いているため、本ブロックに対する合成処理はlevel ＝３のランレベル系列で終了する。
【０３１７】
したがって、Ｂ* （１）は３以上のレベル値を持つ係数が復元されたブロックとなる。本合成過程を式（９）に表現する。
Ｂ２  ＋   Ｓ*（１）    →    Ｂ* （１）                …式（９）
【０３１８】
（ii）第２次部分合成ブロックＢ* （２）の合成処理；
【０３１９】
差分係数符号化情報の中からlevel ＝２のレベル値を持つ差分ランレベル系列を取りだし、ＥＯＢ符号を末尾に付与する。本系列を可変長符号化して第２次部分差分符号化情報 Ｓ*（２）を生成する。 Ｓ*（２）には、Ｂ１（ｕ、ｖ）＝２である入力係数値を復元するためのブロック内位置情報が符号化される。
【０３２０】
合成処理器は、（ i）で合成された第１次部分合成ブロックＢ* （１）と Ｓ*（２）を合成する。すなわち、 Ｓ*（２）を復号してlevel ＝２のレベル値を持つ差分ランレベル系列を取得し、４．２において再量子化出力係数ブロックＢ２を第１次部分合成ブロックＢ* （１）として見立てて、差分ランレベル系列とＢ* （１）との合成処理を行う。これにより、Ｂ１（ｕ、ｖ）＝２の入力係数値が第２次部分合成ブロックＢ* （２）へ復元される。ここで、level ＝２のランレベル系列の後にはＥＯＢ符号が続いているため、本ブロックに対する合成処理は、level ＝２のランレベル系列で終了する。
【０３２１】
したがって、Ｂ* （２）は２以上のレベル値を持つ係数が復元されたブロックとなる。本合成課程を式（１０）に表現する。
Ｂ* （１）  ＋   Ｓ*（２）    →    Ｂ* （２）          …式（１０）
【０３２２】
（ iii）再量子化前ブロック（再量子化入力係数ブロック）Ｂ１の合成処理；
【０３２３】
（ii）と同様にして、差分符号化情報からlevel ＝１のレベル値を持つ差分ランレベル系列を取りだして符号化処理を行い、第３次部分差分符号化情報 Ｓ*（３）を生成する。
【０３２４】
合成処理器は、Ｂ* （２）と Ｓ*（３）とを合成することによりＢ* （２）にＢ１（ｕ、ｖ）＝１のレベル値をもつ係数値を付与した係数ブロックが復元される。これにより、全ての差分符号化情報が合成されたため、合成出力ブロックは、再量子化前の再量子化入力係数ブロックＢ１となる。
【０３２５】
したがって、再量子化入力係数ブロックＢ１が復元される。本合成過程を式（１１）に表現する。
Ｂ* （２）  ＋   Ｓ*（３）    →    Ｂ１                …式（１１）
【０３２６】
さらに、１回の部分差分符号化情報の受信で、再量子化出力係数ブロックＢ２から第２次部分合成ブロックＢ* （２）の合成や、第１次部分合成ブロックＢ* （１）から再量子化入力係数ブロックＢ１の合成、再量子化出力係数ブロックＢ２から直接再量子化入力係数ブロックＢ１の合成も、可能である。
【０３２７】
上記第２次部分合成ブロックＢ* （２）を得る場合には、以下のようになる。差分係数符号化情報の中からlevel ＝３のレベル値を持つ差分ランレベル系列と、level ＝２のレベル値を持つ差分ランレベル系列を取りだし、それぞれの系列の末尾にＥＯＲ符号を付与し、ＥＯＢ符号を末尾に付与する。そして、この系列を可変長符号化して第１−２次部分差分符号化情報 Ｓ*（１，２）を生成する。
【０３２８】
合成処理器では、受信済みのＢ２と今回受信した Ｓ*（１，２）を合成する。この合成処理は、上記Ｂ２と Ｓ*（１）の合成処理を行い、生成された第１次部分合成ブロックＢ* （１）と Ｓ*（２）の合成処理を行う方法と同様のものとなる。
【０３２９】
このとき、level ＝３のレベル値を持つ差分ランレベル系列と、level ＝２のレベル値を持つ差分ランレベル系列と、の区別は、それぞれの系列の末尾に付与されたＥＯＲ符号によって区別することができる。
【０３３０】
本合成課程を式（１２）に表現する。
Ｂ２  ＋   Ｓ*（１，２）    →    Ｂ* （２）            …式（１２）
【０３３１】
第１次部分合成ブロックＢ* （１）から再量子化入力係数ブロックＢ１を得る場合には、差分係数符号化情報の中からlevel ＝２のレベル値を持つ差分ランレベル系列と、level ＝１のレベル値を持つ差分ランレベル系列を取りだし、それぞれの系列の末尾にＥＯＲ符号を付与し、ＥＯＢ符号を末尾に付与する。そして、この系列を可変長符号化して第２−３次部分差分符号化情報 Ｓ*（２，３）を生成する。
【０３３２】
合成処理器では、受信済みのＢ* （１）と今回受信した Ｓ*（２，３）を合成する。この合成処理は、上記と同様に、Ｂ* （１）と Ｓ*（２）の合成処理を行い、生成された第２次部分合成ブロックＢ* （２）と Ｓ*（３）の合成処理を行う方法と同様のものとなる。
【０３３３】
このときも、上記と同様に、level ＝２のレベル値を持つ差分ランレベル系列と、level ＝１のレベル値を持つ差分ランレベル系列と、の区別は、それぞれの系列の末尾に付与されたＥＯＲ符号によって区別することができる。
【０３３４】
本合成課程を式（１３）に表現する。
Ｂ* （１）  ＋   Ｓ*（２，３）    →    Ｂ１            …式（１３）
【０３３５】
再量子化出力係数ブロックＢ２から直接再量子化入力係数ブロックＢ１を得る場合には、差分係数符号化情報の中のlevel ＝３、２、１のレベル値を持つ差分ランレベル系列全てが対象となり、差分符号化情報 Ｓ*そのものとなる。
【０３３６】
合成処理器では、受信済みのＢ２と今回受信した Ｓ*を合成する。この合成処理は、上記Ｂ２と Ｓ*（１）の合成処理を行い、生成された第１次部分合成ブロックＢ* （１）と Ｓ*（２）の合成処理を行い、さらに、生成された第２次部分合成ブロックＢ* （２）と Ｓ*（３）の合成処理を行う方法と同様のものとなる。
【０３３７】
このときも、上記と同様に、各レベル値の差分ランレベル系列間の区別は、それぞれの系列の末尾に付与されたＥＯＲ符号によって区別することができる。
【０３３８】
本合成課程を式（１４）に表現する。
Ｂ２  ＋   Ｓ*    →    Ｂ１                            …式（１４）
【０３３９】
【発明の効果】
請求項１に記載の発明によれば、第１符号化信号を入力して、符号量変換処理が行われた第２符号化信号に変換するとともに、前記第１符号化信号と前記第２符号化信号との差分情報の一部である拡張差分符号化信号を生成するので、従来の符号量削減された符号化信号を出力しつつ、必要に応じて拡張差分符号化信号を出力でき、出力された変換後符号化信号に対して、変換前符号化信号の情報の一部を加えることができ、もとの符号化信号により近い情報を復元させることができる。
【０３４０】
また、請求項２に記載の発明によれば、拡張差分符号化信号がＭＰＥＧ−２とよく似た階層構造からなるので、各レイヤの開始符号によってＭＰＥＧ−２ビットストリームと対応づけができ、各レイヤごとにそれぞれの処理を行うことができる。
【０３４１】
また、請求項３に記載の発明によれば、それぞれ異なる前記部分差分情報から複数の前記拡張差分符号化信号を生成するので、異なる複数の前記拡張差分符号化信号が生成され、必要な情報のみを出力することができ、送受信環境に応じた情報出力を行うことができる。
【０３４２】
さらに、請求項４に記載の発明によれば、差分の大きさごとに階層分割した前記部分差分情報が生成されるので、所望の差分の大きさを選択して部分差分情報の出力を行うことができ、送受信環境に応じて情報の差分を埋め、情報を補うことができる。
【０３４３】
さらに、請求項５に記載の発明によれば、前記差分情報は、前記複数の拡張差分符号化信号に生成された前記部分差分情報のいずれかに含まれるので、全ての前記拡張差分符号化信号から前記差分情報を求めることができ、元の情報を復元させることができる。
【０３４４】
また、請求項６に記載の発明によれば、変換後の係数情報が零係数に変換される係数情報と非零係数に変換される係数情報とに分離し、零係数に変換される係数情報と、非零係数に変換される係数情報と、をそれぞれ別々に差分情報を生成し、符号化するので、それぞれの符号化に適した処理を行うことができ、符号化効率を考慮した最適な符号化を行うことができる。
【０３４５】
さらに、請求項７に記載の発明によれば、非零係数差分情報を係数値情報のみから生成し、非零係数の存在位置情報は前記第２符号化信号上の情報を流用するので、拡張差分符号化信号に非零係数の位置情報を含まず、位置情報を表現するための符号を必要としないため、符号化効率を向上させることができる。
【０３４６】
さらに、請求項８に記載の発明によれば、前記非零係数差分情報の係数情報として、非零係数第２係数情報の係数値と、第１マクロブロック量子化パラメータと第２マクロブロック量子化パラメータとの比率と、から非零係数変換第１係数情報の係数値を予測した値の誤差を用いるので、発生する値を限定した範囲に収束させることができるために、短い可変長符号を割り当てることができ、符号化効率を向上させることができる。
【０３４７】
また、請求項９に記載の発明によれば、零係数変換第１係数情報のみから零係数差分情報を生成するので、零係数差分情報を生成するのに第２符号化信号の情報を必要とせず、第１符号化信号のみから符号化でき、符号化処理が単純で簡単に行うことができる。さらに、前記零係数変換第１係数情報の値ごとに係数別零係数差分情報を生成し、符号化して、係数別零係数差分符号化信号を生成するので、前記零係数変換第１係数情報の値ごとに情報を取り出すことができる。
【０３４８】
さらに、請求項１０に記載の発明によれば、前記係数別零係数差分符号化信号の終了ごとに当該信号の終了を表す係数終了符号を付与し、前記係数値の大きさの順に並べて前記零係数差分符号化信号を生成するとともに、前記位置情報のみを符号化するので、前記零係数変換第１係数情報の値の情報を符号化せずに復元できるので、位置情報のみを符号化すれば良く、符号化対象の情報が減り、符号量を削減することができる。
【０３４９】
さらに、請求項１１に記載の発明によれば、連続する当該係数値未満の数により前記係数値の位置情報を表し、該位置情報を有する前記係数別零係数差分情報を生成するので、係数値ごとに、当該係数値未満の情報が無くても当該係数値の位置情報を得ることができ、差分の小さな係数値情報を有していなくても、当該係数値までの情報を復元させることができる。
【０３５０】
また、請求項１２に記載の発明によれば、第１符号化信号と第２符号化信号とを入力して、前記第１符号化信号と前記第２符号化信号との差分情報の一部である部分差分情報を符号化して拡張差分符号化信号を生成するので、従来の符号量削減前の符号化信号と従来の符号量削減後の符号化信号とを入力して、拡張差分符号化信号を生成することができ、必要に応じて拡張差分符号化信号の生成および送信を行うことができる。
【０３５１】
また、請求項１３に記載の発明によれば、差分情報の一部である部分差分情報を符号化した複数の拡張差分符号化信号を記憶して、所望の前記拡張差分符号化信号を選択し、前記選択された拡張差分符号化信号を抽出するので、所望の符号量の拡張差分符号化信号を取り出すことができる。
【０３５２】
さらに、請求項１４に記載の発明によれば、送信する送信符号量を指定し、前記指定された送信符号量に基づいて前記拡張差分符号化信号を選択するので、送信符号量に応じた拡張差分符号化信号を取り出すことができる。
【０３５３】
さらに、請求項１５に記載の発明によれば、送信する送信伝送路の伝送路速度と、送信する送信時間と、にしたがって前記送信符号量を指定するので、簡単な指定で送信環境にあった拡張差分符号化信号を取り出すことができる。
【０３５４】
また、請求項１６に記載の発明によれば、前記拡張差分符号化信号を選択する際に、選択対象から除外する除外拡張差分符号化信号を指定し、前記除外拡張差分符号化信号を除外して、前記拡張差分符号化信号を選択するので、送信済みの情報は送信除外対象とすることができ、情報だぶって送信することが無く、送信帯域および送信時間を有効に活用することができる。
【０３５５】
また、請求項１７に記載の発明によれば、複数の画像情報から構成される動画像を符号化した第１符号化信号が符号量変換処理により符号量削減された第２符号化信号と、前記第１符号化信号と前記第２符号化信号との差分情報の一部である部分差分情報を符号化した拡張差分符号化信号とを入力して、前記第２符号化信号と前記拡張差分符号化信号とを合成して前記第１符号化信号と前記第２符号化信号との中間の合成符号化信号を生成するので、符号量削減された低品位の符号化信号から拡張差分符号化信号を用いて受信済みの符号化信号より高品位な符号化信号を生成することができるとともに、低レートで符号化信号を受信しておき必要な部分だけ拡張差分符号化信号を受信して受信済みの符号化信号より高品位な符号化信号を得ることができる。
【０３５６】
さらに、請求項１８に記載の発明によれば、入力済みの前記拡張差分符号化信号とは異なる拡張差分符号化信号を新たに入力し、前記合成符号化信号と、新たに入力した前記拡張差分符号化信号と、を合成して前記第１符号化信号と前記合成符号化信号との中間の新たな合成符号化信号を生成するので、合成済みの符号化信号をさらに拡張して、より高品位な符号化信号を合成することができるとともに、低レートで符号化信号を受信するたびにさらなる高品位な符号化信号を得ることができる。
【０３５７】
また、請求項１９に記載の発明によれば、複数の前記拡張差分符号化信号を同時に入力し、前記第２符号化信号または前記合成符号化信号と、前記複数の拡張差分符号化信号と、を合成して前記合成符号化信号を生成するので、複数の前記拡張差分符号化信号を同時に入力しても、合成済みの符号化信号を受信した符号化信号の情報分さらに拡張して、より高品位な符号化信号を得ることができる。
【０３５８】
また、請求項２０に記載の発明によれば、前記差分情報と、入力済みの前記拡張差分符号化信号が有する拡張差分情報と、の差分情報の全てを有する前記拡張差分符号化信号を入力し、前記合成符号化信号と、新たに入力した前記拡張差分符号化信号と、を合成して前記第１符号化信号を生成するので、複数回に渡って異なる前記拡張差分符号化信号を入力することにより、合成済みの符号化信号を拡張して、元の情報である高品位な第１符号化信号を得ることができる。
【０３５９】
また、請求項２１に記載の発明によれば、前記第２符号化信号内の零係数第２係数情報と前記拡張差分符号化信号内の部分零係数差分情報とに基づいて零係数変換第１係数情報の一部を生成し、前記第２符号化信号内の非零係数第２係数情報と前記拡張差分符号化信号内の非零係数差分情報とに基づいて非零係数変換第１係数情報を生成し、前記零係数変換第１係数情報の一部と前記非零係数変換第１係数情報とを合成して第１係数情報の一部を合成するので、それぞれの符号化に適した符号化処理された信号を生成することができ、最適に符号化された信号から前記第１符号化信号と前記第２符号化信号との中間の合成符号化信号を生成することができる。
【０３６０】
また、請求項２２に記載の発明によれば、複数の画像情報から構成される動画像を符号化した第１符号化信号を入力して、該入力された第１符号化信号に符号量変換処理を行い第２符号化信号に変換して出力するとともに前記第１符号化信号と前記第２符号化信号との差分情報の一部である部分差分情報を符号化した拡張差分符号化信号を出力する符号化信号分離手段と、前記第２符号化信号と前記拡張差分符号化信号とを入力して、前記第１符号化信号と前記第２符号化信号との中間の合成符号化信号を生成して出力する符号化信号合成手段と、を備えるので、低レートで送受信される第２符号化信号、拡張差分符号化信号、生成される合成符号化信号が自由に得ることができ、必要に応じてそれぞれの符号化信号を送受信および合成を行うことができる。
【０３６１】
また、請求項２３から請求項４４に記載の発明によれば、上記と同様な効果を有する符号化信号分離方法、合成方法、分離合成方法および差分符号化信号生成方法、抽出方法を提供することができる。
【０３６２】
さらに、請求項４５から請求項６６に記載の発明によれば、上記と同様な効果を有する符号化信号分離プログラム、合成プログラム、分離合成プログラムおよび差分符号化信号生成プログラム、抽出プログラムを提供することができる。
【０３６３】
さらに、請求項６７から請求項７１に記載の発明によれば、上記と同様な効果を有する符号化信号分離プログラム、合成プログラム、分離合成プログラムおよび差分符号化信号生成プログラム、抽出プログラムを記録した媒体を提供することができる。
【図面の簡単な説明】
【図１】本発明に係るストリーム分離・合成装置における動画像伝送の概念を示す図である。
【図２】ストリーム分離・合成手法の概要を説明する図である。
【図３】ストリーム分離・合成手法の概要を説明する図である。
【図４】ストリーム分離・合成手法の概要を説明する図である。
【図５】差分ビットストリームのビットストリームフォーマット構造図である。
【図６】一実施の形態におけるストリーム分離装置のブロック構成図である。
【図７】一実施の形態におけるビットストリーム入出力切り替え制御を示す概念図である。
【図８】一実施の形態におけるストリーム合成装置のブロック構成図である。
【図９】非零係数に対する差分情報の符号化処理を説明するブロック内係数値を示す図である。
【図１０】係数差分符号化情報の符号化アルゴリズムの概念を示す図である。
【図１１】係数差分符号化情報の符号化処理を示すフローチャートである。
【図１２】係数差分符号化情報の符号化処理を示すフローチャートである。
【図１３】係数差分符号化情報の復元アルゴリズムの概念を示す図である。
【図１４】係数差分符号化情報の復元処理を示すフローチャートである。
【図１５】係数差分符号化情報の復元処理を示すフローチャートである。
【図１６】拡張差分ビットストリームの抽出による部分合成処理の概念を示す図である。
【図１７】従来のトランスコーダの概略ブロック図である。
【図１８】従来のトランスコーダにおける、ＭＰＥＧ−２のＴＭ５のレート制御処理示すフローチャートである。
【図１９】従来のトランスコーダの概略ブロック図である。
【図２０】従来のトランスコーダの処理を示すフローチャートである。
【図２１】従来のトランスコーダの概略ブロック図である。
【図２２】従来のトランスコーダの処理を示すフローチャートである。
【符号の説明】
５０  トランスコーダ
５１  ＶＬＤ（可変長復号手段）
５３  逆量子化器(逆量子化手段)
５５  量子化器（量子化手段）
５７  ＶＬＣ（可変長符号化手段）
５９  レート制御部
６０  トランスコーダ
６１  遅延回路
６３  ビットレート比率計算部
６５  入力符号量積算部
６７  差分符号量計算部
６９  目標出力符号量更新部
７１  量子化スケールコード算出部
８０  トランスコーダ
８１  ＶＬＤ
８３  目標出力符号量更新部
８５  量子化スケールコード算出部
５００  カメラ
６００  ＭＰＥＧ符号化器
７００  拡張差分抽出器
８００  ＭＰＥＧ復号器
９００  表示器
１０００  ストリーム分離装置
１１００  ＭＰＥＧ−２ＢＳ生成部
１１１０  多重分離・可変長復号器
１１２０  符号化モード切り替え器
１１３０  量子化制御器
１１４０  量子化係数レベル変換器
１１９０  ＭＰＥＧ−２ＢＳ配列多重・可変長符号化器
１２００  差分ＢＳ生成部
１２２０  変換差分係数分離器
１２３０  再量子化前係数値予測誤差計算器
１２４０  変換差分係数ジグザグスキャン器
１２９０  差分ＢＳ配列多重・可変長符号化器
１９００  ハードディスク
２０００  ストリーム合成装置
２１１０  ＭＰＥＧ−２ＢＳ多重分離・可変長復号器
２１２０  差分ＢＳ多重分離・可変長復号器
２１３０  符号化モード切り替え器
２１４０  係数ブロック復元器
２１５０  差分係数ブロック復元器
２１６０  加算器
２１７０  復元係数ブロック再スキャン器
２１９０  配列多重・可変長符号化器
２９００  ハードディスク
【図１】
2006237656.tif 000012
【図２】
2006237656.tif 000013
【図３】
2006237656.tif 000014
【図４】
2006237656.tif 000015
【図５】
2006237656.tif 000016
【図６】
2006237656.tif 000017
【図７】
2006237656.tif 000018
【図８】
2006237656.tif 000019
【図９】
2006237656.tif 000020
【図１０】
2006237656.tif 000021
【図１１】
2006237656.tif 000022
【図１２】
2006237656.tif 000023
【図１３】
2006237656.tif 000024
【図１４】
2006237656.tif 000025
【図１５】
2006237656.tif 000026
【図１６】
2006237656.tif 000027
【図１７】
2006237656.tif 000028
【図１８】
2006237656.tif 000029
【図１９】
2006237656.tif 000030
【図２０】
2006237656.tif 000031
【図２１】
2006237656.tif 000032
【図２２】
2006237656.tif 000033