(57)【特許請求の範囲】
【請求項１】
画像データに対して第１の直交変換処理及び第１の量子化処理を含む符号化処理を施して得られる第１の符号化データを符号化単位毎に復号化して復号化データを生成する復号化処理と、該復号化データを符号化単位毎に符号化して第２の符号化データを生成する再符号化処理とを含む符号化データ変換方法であって、
上記復号化処理は、
上記第１の符号化データから得られる量子化係数を、上記第１の量子化処理で用いられた第１の量子化ステップでもって逆量子化する逆量子化処理を含み、
上記再符号化処理は、
上記復号化データを直交変換して周波数領域のデータを生成する第２の直交変換処理と、
上記第２の符号化データ及び上記第１の量子化ステップに基づいて第２の量子化ステップを導出し、上記周波数領域のデータを該第２の量子化ステップでもって量子化する第２の量子化処理とを含み、
上記第２の量子化処理は、
上記第２の符号化データに基づいて量子化ステップ候補を導出する候補導出処理と、
該量子化ステップ候補と上記第１の量子化ステップとに基づいて、上記第２の量子化ステップを導出する量子化ステップ導出処理とを含み、
上記量子化ステップ導出処理では、
上記量子化ステップ候補が、上記第１の量子化ステップの値以上で、かつ該第１の量子化ステップの値の２倍より小さい範囲内の値を有するときは、上記第２の量子化ステップとして、上記第１の量子化ステップの値と同じ値を有する量子化ステップか、もしくは該第１の量子化ステップの値の２倍以上の値を有する量子化ステップを導出し、
上記量子化ステップ候補が上記範囲内以外の値を有するとき、上記第２の量子化ステップとして、該量子化ステップ候補を導出する、
ことを特徴とする符号化データ変換方法。
【請求項２】
請求項１記載の符号化データ変換方法をコンピュータにより行うためのデータ変換プログラムを格納したことを特徴とするデータ記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、符号化データ変換方法，及びデータ記録媒体に関し、特に、データベース等に蓄積された、動画像信号に符号化処理を施して得られる符号化データを、該符号化処理とは異なる符号化方式や符号化パラメータによる再符号化処理により、受信者が復号化可能な符号化データに変換する符号化データ変換方法，及び該再符号化処理をソフトウェアにより実施するためのプログラムを格納したデータ記録媒体に関するものである。
【０００２】
【従来の技術】
近年、音声，画像，その他の情報を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア，つまり新聞，雑誌，テレビ，ラジオ，電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアで扱われる情報をマルチメディアの対象とするには、その情報をディジタル形式の情報（ディジタルデータ）とすることが必須条件となる。
【０００３】
ところが、上記各情報メディアで扱われる情報量をディジタル形式の情報量として見積もってみると、文字については１文字当たりの情報量は１〜２バイトであるのに対し、音声については１秒当たり６４Ｋbits（電話品質）、さらに動画については１秒当たり１００Ｍbits（現行テレビ放送品質）以上の情報量が必要となる。言いかえると、その情報量が膨大なものとなる動画などのディジタル形式の情報をそのまま、対応する情報メディアにて扱うことは現実的では無い。例えば、テレビ電話は、６４Ｋbps〜１．５Ｍbpsの伝送速度を持つサービス総合ディジタル網（ＩＳＤＮ:Integrated Services Digital Network）によってすでに実用化されているが、テレビカメラの映像出力に対応するディジタル動画情報をそのままＩＳＤＮで送ることは不可能である。
【０００４】
そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話に関しては、ＩＴＵ−Ｔ（国際電気通信連合  電気通信標準化部門）で国際標準化されたＨ．２６１やＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ１規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクトディスク）に音声情報とともに画像情報を記録することも可能となる。
【０００５】
ここで、ＭＰＥＧ（Moving Picture Experts Group)とは、動画データ（動画像の画像信号）の圧縮技術に関する国際規格であり、ＭＰＥＧ１は、動画データを１．５Ｍbpsまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ１規格を対象とする伝送速度が主として約１．５Ｍbpsに制限されていることから、さらなる高画質化の要求をみたすべく規格化されたＭＰＥＧ２では、動画データが２〜１５Ｍbpsに圧縮される。
ＭＰＥＧ２は、世界標準の最も代表的なデジタル画像符号化方式に関する規格であり、現在デジタルＴＶ放送やデジタルビデオディスク等に関連する技術分野において急速に普及しつつある。
【０００６】
さらに現状では、ＭＰＥＧ１，ＭＰＥＧ２と標準化を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG11) によって、物体単位で符号化処理や信号操作を可能とし、マルチメディア時代に必要な新しい機能を実現する動画データの圧縮技術がＭＰＥＧ４として規格化されつつある。このＭＰＥＧ４では、当初、低ビットレートの符号化方法の標準化を目指してきたが、現在は、標準化の対象が、インタレース画像に対応した高ビットレートのより汎用的な符号化処理に拡張されている。
【０００７】
さて、ＭＰＥＧ２は、汎用符号化処理に対応した規格であり、用途に応じて様々な条件で運用可能である。ここで、ＭＰＥＧ２の運用条件は、表示画面における画素数や画像符号化信号（ビットストリーム）のビットレートなどの、画像品質に関連する要素により決定されるものである。
しかしながら、各画像機器では、ハードウェアの性能がコストの制約により制限されることから、入力画像信号として扱うことができるビットストリームは、予め決められた条件の下で符号化されたビットストリームに限定されることが多い。
例えば、通常品質ＴＶ（テレビジョンセット）のデコーダでは、ＨＤＴＶ（High Definition Television）品質の（高画素数の画像に対応した）ビットストリームを復号化することはできない。
一方、画像信号をビットレートが６Ｍbpsとなるよう符号化して得られたビットストリームを、２時間の映像に相当する分だけ記録可能な記録装置では、６Ｍbpsのビットレートを有する入力ビットストリームを該装置内部でビットレートが３Ｍbpsになるよう圧縮することにより、上記ビットストリームを４時間の映像に相当する分だけ記録する長時間記録が可能となる。
【０００８】
そこで、各画像機器に入力されるＭＰＥＧ２のビットストリームを、該各画像機器にてそのハードウエアの性能やその使用目的に応じたＭＰＥＧ２ビットストリームに変換する再符号化技術が重要となってくる。なお、このような再符号化技術については、近年、多くの研究結果発表が行われている （GertjanKeesman, Robert Hellinghuizen, Fokke Hoeksema, Geert Heideman ,"Transcoding of MPEG bitstreams", Signal Processing:Image Communication Vol.8, 1996, pp.481-500等）。
【０００９】
図２０は、従来の再符号化システム１００ａを説明するためのブロック図である。
この従来の再符号化システム１００ａは、画像データに対するＭＰＥＧ２準拠の符号化処理により得られたＭＰＥＧ２のビットストリームＥｇ１を受け、該ビットストリームＥｇ１に対して復号化処理を施して復号化データＲｇ１を生成する復号化ユニットＤ１と、該復号化データＲｇ１に対して、上記符号化処理とは異なる条件でもってＭＰＥＧ２準拠の符号化処理を施して再符号化データＥｇ２を出力する符号化ユニットＥ１とから構成されている。ここで、上記ＭＰＥＧ２のビットストリームは、画像データを、所定数の画素からなる、符号化単位としての画像空間（ブロック）毎に符号化して得られたものである。従って、上記復号化ユニットＤ１は、ビットストリームに対する復号化処理を、上記ブロック毎に行う構成となっており、また、符号化ユニットＥ１は、上記復号化データＲｇ１に対する符号化処理を上記ブロック毎に行う構成となっている。
【００１０】
次に、再符号化システム１００ａを構成する復号化ユニットＤ１の詳細な構成について説明する。
この復号化ユニットＤ１は、上記符号化されたＭＰＥＧ２ビットストリームＥｇ１に対して可変長復号化処理を施すＶＬＤ（可変長復号化装置）１００と、該ＶＬＤ１００の出力Ｖｇに対して逆量子化を施す逆量子化装置１０１と、該逆量子化装置１０１の出力ＩＱｇに対して、周波数領域のデータを空間領域のデータに変換するＩＤＣＴ（逆離散コサイン変換）処理を施すＩＤＣＴ器１０２とを有している。また上記復号化ユニットＤ１は、該ＩＤＣＴ器１０２の出力データＩＴｇと予測データＭｇ１とを加算する加算器１０３と、該加算器１０３の出力Ｒｇ１を上記予測データＭｇ１として格納するフレームメモリ１０４とを有し、該加算器１０３の出力Ｒｇ１を上記復号化データとして出力する構成となっている。
【００１１】
次に、上記再符号化システム１００ａを構成する符号化ユニットＥ１の詳細な構成について説明する。
この符号化ユニットＥ１は、上記復号化ユニットＤ１からの出力データＲｇ１とその予測データＭｇ２との差分値Ｄｇを計算する減算器１０５と、該減算器１０５の出力Ｄｇに対して空間領域のデータを周波数領域のデータに変換するＤＣＴ（離散コサイン変換）処理を施すＤＣＴ器１０６と、上記ＤＣＴ器１０６の出力Ｔｇに対して、量子化制御信号Ｃｑに基づいて量子化処理を施す量子化装置１０７とを有している。また上記符号化ユニットＥ１は、該量子化装置１０７の出力Ｑｇに対して可変長符号化処理を施すＶＬＣ（可変長符号化）器１１２と、該ＶＬＣ器の出力Ｅｇ２に基づいて上記量子化制御信号Ｃｑを上記量子化装置１０７に出力するレート制御装置１１３とを有し、上記ＶＬＣ器１１２の出力Ｅｇ２を再符号化データとして出力する構成となっている。
【００１２】
ここで、上記レート制御装置１１３は、再符号化データＥｇ２に基づいて、符号化処理の対象となっているブロック（被処理ブロック）に対応するＤＣＴ出力Ｔｇを符号化する際の目標ビット数を算出し、得られた目標ビット数を上記量子化制御信号Ｃｑとして上記量子化装置１０７に出力する構成となっている。
【００１３】
また、符号化ユニットＥ１は、上記量子化装置１０７の出力Ｑｇに対して逆量子化を施す逆量子化装置１０８と、該逆量子化装置１０８の出力ＩＱｇ２に対してＩＤＣＴ（逆離散コサイン変換）処理を施すＩＤＣＴ器１０９とを有している。また上記符号化ユニットＥ１は、上記ＩＤＣＴ器１０９からの出力データＩＴｇ２と予測データＭｇ２とを加算する加算器１１０と、該加算器１１０の出力Ｒｇ２を格納するフレームメモリ１１１とを有し、該フレームメモリ１１１の出力Ｍｇ２を上記予測データとして出力する構成となっている。
【００１４】
図２１は、上記量子化装置１０７の詳細な構成を示すブロック図である。
この量子化装置１０７は、レート制御装置１１３からの目標ビット数Ｃｑを受けて量子化ステップＱｓ２を導出する量子化ステップ導出器２００と、該量子化ステップＱｓ２に基づいてＤＣＴ器１０６の出力Ｔｇに対して量子化処理を施す量子化器２０１とを有している。
【００１５】
次に動作について説明する。
まず、画像信号に対して符号化処理を施して得られる符号化データＥｇ１が復号化ユニットＤ１に入力される。
ＶＬＤ器１００では、上記符号化データＥｇ１は、可変長復号化処理により量子化係数Ｖｇに変換され、逆量子化装置１０１へ出力される。該量子化係数Ｖｇは、逆量子化装置１０１にて、画像信号に対する符号化処理における量子化ステップに基づいて逆量子化処理が施されて周波数成分ＩＱｇが復元される。この周波数成分ＩＱｇはＩＤＣＴ器１０２にて、周波数領域のデータを空間領域のデータに変換するＩＤＣＴ（逆離散コサイン変換）処理により、空間領域のデータＩＴｇに変換される。この空間領域のデータＩＴｇが加算器１０３へ入力されると、該加算器１０３では、該空間領域のデータＩＴｇと予測データＭｇ１との加算処理が行われる。この加算処理により得られる再生データＲｇ１は、フレームメモリ１０４に復号化済みの画像データ（予測データ）Ｍｇ１として格納されるとともに復号化データとして出力される。
【００１６】
続いて、上記再符号化システム１００ａにおける符号化ユニットＥ１の動作について説明する。
まず、復号化ユニットＤ１から出力された再生データＲｇ１が、減算器１０５に入力される。減算器１０５では、復号化ユニットＤ１からの再生データＲｇ１とその予測データＭｇ２との差分値が差分データＤｇとして求められる。該差分データＤｇは、ＤＣＴ器１０６へ出力される。ＤＣＴ器１０６では、該差分データＤｇは、空間領域のデータを周波数領域のデータに変換するＤＣＴ（離散コサイン変換）処理により、ＤＣＴ係数（周波数成分）Ｔｇに変換され、該ＤＣＴ係数Ｔｇが量子化装置１０７へ出力される。
【００１７】
この量子化装置１０７では、レート制御装置１１３からの量子化制御信号Ｃｑに基づいて、ＤＣＴ器１０６からのＤＣＴ係数Ｔｇに対して量子化処理が施される。つまり、上記量子化装置１０７の量子化ステップ導出器２００では、上記量子化制御信号Ｃｑに基づいて、上記復号化ユニットでの逆量子化処理における量子化ステップとは異なる量子化ステップが導出される。そして、量子化器２０１では、この導出された量子化ステップに基づいて上記ＤＣＴ係数Ｔｇの量子化処理が行われる。
【００１８】
この量子化処理により得られた量子化値Ｑｇは、ＶＬＣ器１１２および逆量子化装置１０８へ出力される。ＶＬＣ器１１２では、上記量子化装置１０７からの量子化値Ｑｇを可変長符号に変換する可変長符号化処理が行われ、該可変長符号が再符号化データＥｇ２として出力される。また、レート制御装置１１３では、該ＶＬＣの出力Ｅｇ２に基づいて上記量子化制御信号Ｃｑが生成され、上記量子化装置１０７へ出力される。
【００１９】
一方、逆量子化装置１０８では、量子化装置１０７からの量子化値Ｑｇに対して逆量子化処理が施され、この逆量子化処理により得られたＤＣＴ係数ＩＱｇ２がＩＤＣＴ器１０９へ出力される。該ＤＣＴ係数ＩＱｇ２は、ＩＤＣＴ器１０９にて、ＩＤＣＴ（逆離散コサイン変換）処理により空間領域のデータＩＴｇ２に変換され、該データＩＴｇ２が加算器１１０へ出力される。該加算器１１０では、ＩＤＣＴ器１０９からの出力データＩＴｇ２と予測データＭｇ２との加算処理が行われる。この加算処理により得られる再生データＲｇ２は、フレームメモリ１１１に予測データＭｇ２として格納される。
なお、図２０に示す再符号化システム１００ａでは、入力される符号化データ（ビットストリーム）と、このシステムから出力される符号化データとが、同一の符号化方式（ＭＰＥＧ２方式）に対応するものとなっているが、上記再符号化システム１００ａは、Ｈ２６１規格，Ｈ２６３規格，ＭＰＥＧ１規格，あるいはＭＰＥＧ２規格に対応する符号化データを、ＭＰＥＧ４規格に対応する符号化データに変換するものであってもよい。また、上記再符号化システム１００ａは、ＭＰＥＧ４規格に対応する符号化データを、Ｈ２６３規格に対応する符号化データに変換するものであってもよい。
【００２０】
【発明が解決しようとする課題】
ところが、従来の再符号化システムでは、再符号化ストリームに含まれる量子化誤差を小さくすることが困難であるという問題があった。
すなわち、上述したように、再符号化システム１００ａに入力される符号化データＥｇ１は、画像データに対して量子化処理を含む符号化処理を施して得られたデータであるため、符号化データＥｇ１には、量子化誤差が含まれている。このため、該符号化データＥｇ１に対して復号化処理及び再符号化処理を施して得られる再符号化データＥｇ２は、上記符号化データＥｇ１に含まれる量子化誤差を含むものとなっている。しかも、再符号化処理における量子化条件によっては、再符号化データＥｇ２に含まれる量子化誤差が、上記符号化データＥｇ１に含まれる量子化誤差に比べて著しく大きくなってしまう場合があるという問題点がある。
【００２１】
さらに、従来の再符号化システム１００ａでは、再符号化処理における量子化ステップを符号化誤差の最小化が図れるよう設定することが困難であるという課題があり、以下この課題について詳しく説明する。
図２２は、符号化ストリームのビットレートと符号化ストリームに含まれる符号化誤差の関係を説明するための図であり、図２２には、レート誤差理論に基づく両者の関係が２次元座標上にグラフＣにより示されている。この座標では、横軸がビットレートに縦軸が符号化誤差に対応している。
【００２２】
一般に、上記ビットレートと符号化誤差の間には、上記レート誤差理論に基づく関係が成立し、ビットレートに応じて符号化誤差の下限値が決っている。言い換えると、ビットレートが高ければ、符号化誤差をより小さい値にすることができるが、ビットレートが低ければ、符号化誤差をあまり小さくすることはできない。
そこで、直接符号化処理，つまり符号化処理が施されていない画像信号を符号化する処理では、以下のようにして最適量子化ステップを決定するようにしている。
【００２３】
まず、画像信号に対して予め２つの量子化ステップを用いて量子化処理を含む符号化処理を施して得られる２組のビットレートと符号化誤差に基づいて、符号化処理の対象となる画像に対応する、ビットレートと符号化誤差の関係を示す関係式（指数関数）を求める。この関係式から符号化ストリームのビットレートに対応する符号化誤差の下限値が分かる。
【００２４】
次に、この関係式に基づいて、各フレーム（画面）に対応する総ビット数がフレーム目標ビット数を超えない範囲で、１フレーム毎に符号化誤差が最小となるよう量子化ステップを決定している。つまり、実際の符号化誤差が、許容される最大のビットレートに対応する符号化誤差の下限値に最も近くなるよう量子化ステップを決定している。
ところが、このような最適量子化ステップの導出方法は、ビットレートと符号化誤差の関係を示す関係式（指数関数）に基づくものであり、この関係式が導出できない再符号化処理では利用できないという問題がある。
【００２５】
つまり、再符号化処理により得られるストリームでは、符号化誤差が、入力ストリームに含まれる符号化誤差と、再符号化処理により生ずる符号化誤差とを合わせたものとなる。この場合、入力ストリームに含まれる符号化誤差が不明であるため、上記直接符号化処理のように、ビットレートと符号化誤差の関係を示す関係式（指数関数）を求めることができない。
また、このような量子化ステップの導出方法は、フレーム（画面）単位で量子化ステップを決定しているため、符号化誤差を効率よく低減することができないという問題もある。
【００２６】
さらに、上記量子化ステップ導出方法は、符号化処理の対象となる対象画面（被処理フレーム）に対する符号化誤差が小さくなるよう量子化ステップを決定するものであり、ＭＰＥＧにおける画面間予測符号化処理に対応したものとはなっていないという問題があり、以下この問題について簡単に説明する。
図２３はＭＰＥＧにおける画面間予測符号化処理を説明するための模式図であり、Ｉフレーム、Ｐフレーム、Ｂフレームを含む、ＭＰＥＧ対応の符号化処理の対象となる代表的な動画像の画像データが示されている。
【００２７】
ここで、ＩフレームＦ（１）は、これに対応する画像データに対して、他のフレームに対応する画像データを参照しない画面内符号化処理が施されるフレームである。ＰフレームＦ（３），Ｆ（５）は、これらに対応する画像データに対して、表示順序がこれらのフレームより前である符号化処理済みのフレームに対応する画像データを参照する画面間予測符号化処理が施されるフレームである。ＢフレームＦ（２），Ｆ（４）は、これらに対応する画像データに対して、表示順序がこれらのフレームの前後である符号化処理済みのフレームに対応する画像データを参照する画面間予測符号化処理が施されるフレームである。また、各フレームＦ（１）〜Ｆ（５）には、表示時刻Ｔ１〜Ｔ５（Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４＜Ｔ５）が設定されている。
【００２８】
この場合、ＰフレームＦ（３）に対する符号化処理は、ＩフレームＦ（１）に対応する画像データを参照して行われ、このＰフレームＦ（３）に対応する画像データは、ＰフレームＦ（５）、ＢフレームＦ（２）,Ｆ（４）に対する符号化処理の際に参照されることになる。従って、ＰフレームＦ（３）に対する符号化処理に伴う符号化誤差は、少なくとも、フレームＦ（２）,Ｆ（４）,Ｆ（５）に対する画面間予測符号化処理における予測残差を増加させることとなる。
【００２９】
言い換えると、画面間予測符号化処理では、フレームＦ（３）に対する符号化誤差を最小化するようフレームＦ（３）に対応する量子化ステップを設定するだけでは、フレームＦ（３）に対応する画像データを参照して符号化処理が行われるフレームＦ（２），Ｆ（４），Ｆ（５）に対応する符号化誤差の最小化を効果的に行うことはできないという問題があった。
【００３０】
本発明は、上記のような問題点を解決するためになされたもので、画像データの符号化により得られる符号化データに対する再符号化処理を、該符号化データに含まれる量子化誤差の増大を効果的に抑制しつつ行うことができる符号化データ変換方法及び該符号化データ変換方法による処理をコンピュータにより行うためのプログラムを格納したデータ記録媒体を得ることを目的とする。
【００３２】
【課題を解決するための手段】
この発明（請求項１）に係る符号化データ変換方法は、画像データに対して第１の直交変換処理及び第１の量子化処理を含む符号化処理を施して得られる第１の符号化データを符号化単位毎に復号化して復号化データを生成する復号化処理と、該復号化データを符号化単位毎に符号化して第２の符号化データを生成する再符号化処理とを含む符号化データ変換方法であって、上記復号化処理を、上記第１の符号化データから得られる量子化係数を、上記第１の量子化処理で用いられた第１の量子化ステップでもって逆量子化する逆量子化処理を含む処理とし、上記再符号化処理を、上記復号化データを直交変換して周波数領域のデータを生成する第２の直交変換処理と、上記第２の符号化データ及び上記第１の量子化ステップに基づいて第２の量子化ステップを導出し、上記周波数領域のデータを該第２の量子化ステップでもって量子化する第２の量子化処理とを含む処理とし、上記第２の量子化処理を、上記第２の符号化データに基づいて量子化ステップ候補を導出する候補導出処理と、該量子化ステップ候補と上記第１の量子化ステップとに基づいて、上記第２の量子化ステップを導出する量子化ステップ導出処理とを含む処理とし、上記量子化ステップ導出処理を、上記量子化ステップ候補が、上記第１の量子化ステップの値以上で、かつ該第１の量子化ステップの値の２倍より小さい範囲内の値を有するときは、上記第２の量子化ステップとして、上記第１の量子化ステップの値と同じ値を有する量子化ステップか、もしくは該第１の量子化ステップの値の２倍以上の値を有する量子化ステップを導出し、上記量子化ステップ候補が上記範囲内以外の値を有するとき、上記第２の量子化ステップとして、該量子化ステップ候補を導出する処理としたものである。
【００３９】
この発明（請求項２）に係るデータ記録媒体は、請求項１記載の符号化データ変換方法をコンピュータにより行うためのデータ変換プログラムを格納したものである。
【００５７】
【発明の実施の形態】
まず、本発明の着眼点及び基本原理について説明する。
従来の技術において説明したように、再符号化システムに入力される符号化データは、画像データに対して量子化処理（第１の量子化処理）を含む符号化処理を施して得られたものであり、この符号化データには、量子化誤差が含まれている。
また、再符号化システムでは、上記符号化データに対して逆量子化処理を含む復号化処理が施されて復号化データが生成され、さらにこの復号化データに対して、再度量子化処理（第２の量子化処理）を含む符号化処理が施されて再符号化データが生成される。
【００５８】
本件発明者は、このようにして得られる再符号化データでは、再符号化処理における量子化条件によっては、量子化誤差が上記符号化データに含まれる量子化誤差に比べて著しく大きくなってしまうという課題について研究を重ねた結果、第１の量子化処理における量子化ステップと第２の量子化処理における量子化ステップの大小関係によって、上記再符号化データに含まれる第２の量子化処理に起因する量子化誤差の大きさが著しく変化することを見いだした。
【００５９】
以下グラフを用いて簡単に説明する。
図７は、再符号化データのビットレートと該再符号化データに含まれる量子化歪の関係を２次元座標上のグラフにより示す図である。ここでは、横軸はビットレートの大きさに、縦軸は上記量子化歪として量子化誤差の逆数に対応している。ここで、実線のグラフＡは、画像データに量子化処理を含む符号化処理を１回のみ施して得られる符号化データ（以下直接符号化データともいう。）に対応する、ビットレートと量子化歪みの関係を示している。点線のグラフＢは、上記直接符号化データに対して再符号化処理を施して得られる再符号化データに対応する、ビットレートと量子化歪みの関係を示している。
【００６０】
実線のグラフＡから分かるように、画像データに対する量子化処理が１回である符号化処理（直接符号化処理）では、符号化処理における量子化ステップを媒介変数とする、ビットレートと量子化歪み（量子化誤差）の逆数との関数は、ほぼ線形なものとなっている。一方、上記直接符号化データに対する再符号化処理では、点線のグラフＢで示すように、再符号化処理における量子化ステップを媒介変数とする、ビットレートと量子化歪（量子化誤差）の逆数のとの関数が非線形なものとなる。
【００６１】
例えば、直接符号化処理における量子化処理が量子化ステップ値（第１の量子化ステップ値）ＱＰｉ（ＱＰｉ＝ＱＰ）でもって行われている場合に、再符号化処理における量子化ステップ値（第２の量子化ステップ値）ＱＰｒを所定範囲（ＱＰ≦ＱＰｒ≦２ＱＰ）内に設定すると、直接符号化処理における量子化ステップ値（第１の量子化ステップ値）ＱＰｉが所定範囲（ＱＰ≦ＱＰｉ≦２ＱＰ）内に設定されているときに比べて、量子化誤差が著しく増加することが分かる。
【００６２】
具体的には、再符号化データにおける量子化誤差は、そのビットレートが高い場合、即ち、第１の量子化処理における量子化ステップ値ＱＰｉと、第２の量子化処理における量子化ステップ値ＱＰｒとの差が小さい場合に大きく、一方、第２の量子化処理における量子化ステップ値ＱＰｒが２ＱＰ（ＱＰｉ＝ＱＰ）以上であって、再符号化データのビットレートが低い場合には、直接符号化処理における量子化誤差と再符号化処理による量子化誤差の差は殆ど無くなることが、今回、実験により判明した。
【００６３】
また、第１の量子化処理の量子化ステップより密な量子化ステップで第２の量子化処理を行った場合には、再符号化データにおける量子化誤差は、第２の量子化処理による量子化誤差よりも第１の量子化処理に起因する量子化誤差の方が大きくて支配的なものとなる。従って、第２の量子化処理を第１の量子化処理における量子化ステップより密な量子化ステップで行っても、再符号化データにおけるビットレートが増加するだけで量子化誤差の低減にはつながらず無意味であると言える。
【００６４】
そこで、本件発明者は、上記のような再符号化処理における量子化ステップと量子化誤差の関係に着眼し、上記再符号化処理により得られる再符号化データの量子化誤差が、直接符号化処理により得られる符号化データの量子化誤差に比べて著しく大きくなってしまう場合があるという課題を解決するため、画像データに直接符号化処理を施して得られる符号化データに対する再符号化処理では、その量子化処理における量子化ステップ値（第２の量子化ステップ値）ＱＰｒを、上記直接符号化処理に含まれる量子化処理の量子化ステップ値（第１の量子化ステップ値）ＱＰｉの２倍以上とする方法を考え出した。
【００６５】
さらに、ＭＰＥＧ等符号化方式では、画面内符号化処理と画面間符号化処理のそれぞれに対して最適化した量子化処理を用いており、従って、画面内符号化用の量子化手法は画面間符号化用の量子化手法とは異なっている。また、再符号化処理により発生する量子化誤差の大きさは、再符号化処理における量子化手法と密接な関係がある。
【００６６】
例えば、画面内符号化処理と画面間符号化処理において、それぞれＭＰＥＧに準拠した量子化処理を同じ第１の量子化ステップで行い、さらにこれらの符号化処理により得られるビットストリームに対する、それぞれ同様に第１の量子化ステップのｋ倍である第２の量子化ステップによる第２の量子化処理を含む再符号化処理を行った場合、画面内符号化処理による量子化誤差が画面間符号化処理による量子化誤差よりも大きくなることも、今回、実験で判明した。
【００６７】
そこで、本件発明者は、画面内符号化処理における第１の量子化ステップに対する第２の量子化ステップの比率（再量子化比率）が、画面間符号化処理における再量子化比率に比べて小さくなるように第２の量子化ステップを導出する方法を考え出した。
【００６８】
また、本件発明者は、上述した再符号化処理における量子化ステップＱrdを符号化誤差の最小化が図れるよう設定することが困難であるという課題を解決すべく鋭意研究を行った結果、ビットレートと符号化誤差の関係は、符号化方式や符号化対象画像によって変化するものであるが、ビットレートの単位変動分当りに対する符号化誤差の変動分（つまり図２３に示す曲線グラフＣの傾き）が、１フレームを構成する全ての符号化単位（例えば、８×８画素からなるブロック、あるいは１６×１６画素からなるマクロブロックなど）についてほぼ一定となるようにすれば、１フレームにおけるすべての符号化単位に対応する符号化誤差の平均値が最小となることを見出した。
【００６９】
そこで、本発明に係る再符号化方法及び再符号化システムは、入力される符号化ストリームをそのビットレートが削減されるよう量子化して符号化する、量子化ステップが異なる複数種類の模擬符号化処理を符号化単位毎に行って、ビットレートの単位量変動分に対する符号化誤差の変動量を再符号化誤差増加率として求め、各符号化単位に対応する再符号化誤差増加率ができるだけ一定となるよう、各符号化単位毎に量子化ステップを決定するようにしたものである。
以下、本発明の実施の形態について、図１から図１９を用いて説明する。
【００７０】
（実施の形態１）
図１は、本発明の実施の形態による再符号化システム１０を説明するためのブロック図である。
本実施の形態１の再符号化システム１０は、画像データに対して量子化処理（第１の量子化処理）を含む符号化処理を施して得られた符号化データＥｇ１を受け、該符号化データＥｇ１に対して逆量子化処理を含む復号化処理を施して復号化データＲｇ１を生成する復号化ユニットＤａ１と、この復号化データＲｇ１に対して、再度量子化処理（第２の量子化処理）を含む符号化処理（再符号化処理）を施して再符号化データＥｇ２を生成する符号化ユニットＥａ１とから構成されている。
【００７１】
そして、本実施の形態１の再符号化システム１０の復号化ユニットＤａ１は、従来の復号化ユニットＤ１における逆量子化装置１０１に代えて、ＶＬＤ（可変長復号化）器１００の出力Ｖｇに対する逆量子化処理を行うとともに、この際に用いられた第１の量子化ステップＱｓ１を符号化ユニットＥ１へ出力する逆量子化装置１０１ａを備えたものである。ここで、上記逆量子化処理にて用いられた第１の量子化ステップＱｓ１は、画像データに対する量子化処理（第１の量子化処理）にて用いられた量子化ステップと同一である。また本実施の形態１の再符号化システム１０の再符号化ユニットＥａ１は、従来の再符号化ユニットＥ１における量子化装置１０７に代えて、ＤＣＴ器１０６の出力Ｔｇに対して、レート制御装置１１３からの量子化制御信号Ｃｑ及び上記逆量子化装置１０１ａからの第１の量子化ステップＱｓ１に基づいて量子化処理を施す量子化装置１５１を備えたものである。
なお、この実施の形態１の再符号化システム１０におけるその他の構成は従来の再符号化システム１００ａと同一である。
【００７２】
図２は、符号化ユニットＥａ１における量子化装置１５１の具体的な構成を示すブロック図である。
この量子化装置１５１は、レート制御装置１１３からの量子化制御信号Ｃｑに基づいて、符号化処理の対象となる対象フレームに対する符号化ビット数が該対象フレームに対する目標ビット数に近づくよう量子化ステップ候補Ｑｓｂを導出する量子化ステップ候補導出器２５０と、該量子化ステップ候補Ｑｓｂ及び上記第１の量子化ステップＱｓ１に基づいて第２の量子化処理における量子化ステップ（第２の量子化ステップ）Ｑｓ２を導出する量子化ステップ導出器２５１と、上記第２の量子化ステップＱｓ２に基づいてＤＣＴ器１０６の出力Ｔｇに対して量子化処理を施して量子化係数Ｑｇを出力する量子化器２０１とを有している。
【００７３】
図３は、上記量子化装置１５１における量子化ステップ導出器２５１の具体的な構成を示すブロック図である。
この量子化ステップ導出器２５１は、上記量子化ステップ候補導出器２５０からの量子化ステップ候補Ｑｓｂと逆量子化装置１０１ａからの第１の量子化ステップＱｓ１を比較する比較器２６０と、該比較器２６０の比較結果ＣＰ１に基づいて上記量子化ステップ候補Ｑｓｂと上記第１の量子化ステップＱｓ１の一方を選択して出力するスイッチ２６１とを有し、該スイッチ２６１の出力を第２の量子化ステップＱｓ２として出力する構成となっている。
具体的には上記スイッチ２６１は、量子化ステップ候補Ｑｓｂが第１の量子化ステップＱｓ１未満であれば第１の量子化ステップＱｓ１が選択され、また量子化ステップ候補Ｑｓｂが第１の量子化ステップＱｓ１以上であれば量子化ステップ候補Ｑｓｂが選択されるよう構成されている。
【００７４】
次に動作について説明する。
この実施の形態１の再符号化システム１０に、画像データに対して量子化処理を含む符号化処理を施して得られる符号化データＥｇ１が入力されると、その復号化ユニットＤａ１では、該符号化データＥｇ１に対して逆量子化処理を含む復号化処理が施されて復号化データ（再生データ）Ｒｇ１が生成される。また、上記逆量子化処理の際には、上記量子化処理の際に用いられた第１の量子化ステップＱｓ１が、逆量子化装置１０１ａから符号化ユニットＥａ１の量子化装置１５１へ出力される。
【００７５】
上記復号化ユニットＤａ１から出力された再生データＲｇ１が上記符号化ユニットＥａ１に入力されると、その減算器１０５では、復号化ユニットＤａ１からの再生データＲｇ１とその予測データＭｇ２との差分値が求められ、これが差分データＤｇとしてＤＣＴ器１０６へ出力される。ＤＣＴ器１０６では、該差分データＤｇは、ＤＣＴ（離散コサイン変換）処理によりＤＣＴ係数Ｔｇに変換され、該ＤＣＴ係数Ｔｇが量子化装置１５１へ出力される。
【００７６】
上記量子化装置１５１では、復号化ユニットＤａ１の逆量子化装置１０１ａからの第１の量子化ステップＱｓ１及びレート制御装置１１３からの量子化制御信号Ｃｑに基づいて、ＤＣＴ器１０６からのＤＣＴ係数Ｔｇに対し量子化処理（第２の量子化処理）が施される。この量子化処理により得られた量子化値（量子化係数）ＱｇがＶＬＣ器１１２及び逆量子化装置１０８へ出力される。
【００７７】
そして、上記ＶＬＣ器１１２では上記量子化装置１５１からの量子化値Ｑｇを可変長符号に変換する可変長符号化処理が行われ、該可変長符号が再符号化データＥｇ２として出力される。またレート制御装置１１３では、該ＶＬＣ器１１２の出力Ｅｇ２に基づいて、対象フレームに対する目標ビット数を示す量子化制御信号Ｃｑが生成され、上記量子化装置１５１へ出力される。
【００７８】
一方、逆量子化装置１０８では、量子化装置１５１からの量子化値Ｑｇに対して逆量子化処理が施され、この逆量子化処理により得られたＤＣＴ係数ＩＱｇ２がＩＤＣＴ器１０９へ出力される。該ＤＣＴ係数ＩＱｇ２は、ＩＤＣＴ器１０９にてＩＤＣＴ（逆離散コサイン変換）処理により空間領域のデータＩＴｇ２に変換されて加算器１１０へ出力される。加算器１１０では、ＩＤＣＴ器１０９からの出力データＩＴｇ２と上記予測データＭｇ２との加算処理が行われ、この加算処理により得られる再生データＲｇ２は、フレームメモリ１１１に予測データＭｇ２として格納される。
【００７９】
以下、図２を用いて、上記量子化装置１５１の動作を詳述する。
上記レート制御装置１１３から出力された、符号化処理の対象となる対象フレームに対する目標ビット数を示す量子化制御信号Ｃｑが量子化ステップ候補導出器２５０へ入力される。量子化ステップ候補導出器２５０では、上記対象フレームに対する符号化ビット数が該対象フレームに対する目標ビット数に近づくような量子化ステップ候補Ｑｓｂが導出され、量子化ステップ候補Ｑｓｂが量子化ステップ導出器２５１へ出力される。
すると、量子化ステップ導出器２５１では、上記量子化ステップ候補Ｑｓｂと復号化ユニットＤａ１からの第１の量子化ステップＱｓ１とに基づいて第２の量子化ステップＱｓ２が導出され、第２の量子化ステップＱｓ２が量子化器２０１へ出力される。該量子化器２０１では、上記第２の量子化ステップＱｓ２に基づいて、ＤＣＴ器の出力Ｔｇに対し量子化処理が施される。
【００８０】
このとき、図３で示す上記量子化ステップ導出器２５１では、比較器２６０に上記量子化ステップ候補導出器２５０の出力Ｑｓｂ（量子化ステップ候補）と復号化ユニットＤａ１の逆量子化装置１０１ａの出力Ｑｓ１（第１の量子化ステップ）が入力される。上記比較器２６０では、上記量子化ステップ候補導出器２５０の出力Ｑｓｂと上記逆量子化装置１０１ａの出力Ｑｓ１の比較が行われ、比較結果ＣＰ１がスイッチ２６１へ出力される。スイッチ２６１では、上記比較結果ＣＰ１に基づいて、上記量子化ステップ候補導出器２５０の出力Ｑｓｂと上記逆量子化装置１０１ａの出力Ｑｓ１の一方が選択されて第２の量子化ステップＱｓ２として導出される。
【００８１】
このように本実施の形態１による再符号化システムによれば、復号化ユニットＤａ１における逆量子化装置１０１ａを、ＶＬＤ器１００の出力Ｖｇに対する逆量子化処理を行うとともに、この逆量子化処理の際に用いられた第１の量子化ステップＱｓ１を符号化ユニットＥａ１へ出力するよう構成し、また符号化ユニットＥａ１における量子化装置１５１を、対象フレームに対する目標ビット数を示す量子化制御信号Ｃｑ及び上記第１の量子化ステップＱｓ１に基づいて、上記第１の量子化ステップＱｓ１よりも大きな量子化ステップで量子化処理を行うよう構成したので、符号化データＥｇ１に対する再符号化処理を、ビット数の増大を招くことなく量子化誤差の増加を抑制しつつ行うことができる。
【００８２】
また、この実施の形態１では、上記第２の量子化ステップＱｓ２として、必要に応じて、上記量子化制御信号Ｃｑ（目標ビット数）に基づいて得られた量子化ステップ候補Ｑｓｂと第１の量子化ステップの一方が用いられるため、上記第２の量子化ステップとして量子化ステップ候補Ｑｓｂのみを用いる場合に比べて再符号化データＥｇ２のフレーム当たりのビット数は、目標ビット数に対し若干増減してしまうが、このビット数の増減は無視できる程度のものである。つまり、この実施の形態１では、フレームにおける所定数の画素数からなるブロック単位で、かつ、第１の量子化ステップＱｓ１よりも大きな量子化ステップでもって再符号化処理における量子化処理が行われる。このため、実際の用途において、重要であるフレーム単位でビット数が変動することによるマクロ的なビット数の増減は、無視できる程度のものとなっている。従って、この実施の形態１における第１の量子化ステップＱｓ１よりも大きな量子化ステップで第２の量子化処理を行う構成は、この実施の形態１のレート制御、つまり再符号化データに基づいて量子化ステップによりフレーム当たりのビット数を制御するフィードバック制御を阻害するものではない。
【００８３】
（実施の形態２）
図４は、本発明の実施の形態２による再符号化システムを構成する量子化装置１５２を説明するためのブロック図である。
本実施の形態２の再符号化システムにおける量子化装置１５２は、実施の形態１の量子化装置１５１における量子化ステップ導出器２５１に代えて、量子化ステップ候補Ｑｓｂを、第１の量子化処理における量子化ステップ(第１の量子化ステップ)Ｑｓ１から得られる閾値Ｑｔｈ及び該第１の量子化ステップＱｓ１を定数倍して得られる定数倍値Ｑｍｕと比較し、この比較結果に応じて第２の量子化ステップＱｓ２を導出する量子化ステップ導出器２５２を備えたものである。ここで、上記閾値Ｑｔｈは、第１の量子化ステップＱｓ１のｍ倍であり、上記定数倍値Ｑｍｕは、第１の量子化ステップＱｓ１のｎ倍（ｎ＞ｍ）としており、具体的には、ｍは１．５，ｎは２である。
そして、本実施の形態２の再符号化システムにおけるその他の構成は、実施の形態１の再符号化システム１０と全く同一の構成となっている。
【００８４】
図５は、該量子化装置１５２を構成する量子化ステップ導出器２５２を示している。
上記量子化ステップ導出器２５２は、第１の量子化ステップＱｓ１に基づいて閾値Ｑｔｈ（＝ｍ×Ｑｓ１）を導出する閾値導出器２６２と、該閾値Ｑｔｈと量子化ステップ候補導出器２５０にて生成された量子化ステップ候補Ｑｓｂとを比較して、比較結果を示す比較出力ＣＰ２を出力する比較器２６３と、該比較器２６３の出力ＣＰ２に基づいて、上記第１の量子化ステップＱｓ１と上記量子化ステップ候補Ｑｓｂの一方を選択して選択量子化ステップＱｓｅとして出力するスイッチ２６４とを有している。ここで、該スイッチ２６４は、上記比較器２６３での比較の結果、量子化ステップ候補Ｑｓｂが上記閾値Ｑｔｈ未満であるときは、第１の量子化ステップＱｓ１を選択量子化ステップＱｓｅとして出力し、量子化ステップ候補Ｑｓｂが上記閾値Ｑｔｈ以上であるときは、該量子化ステップ候補Ｑｓｂを選択量子化ステップＱｓｅとして出力するよう構成されている。
【００８５】
また、上記量子化ステップ導出器２５２は、第１の量子化ステップＱｓ１を定数倍（ｎ倍）して定数倍値Ｑｍｕ（＝ｎ×Ｑｓ１）を出力する定数倍器２６５と、該定数倍値Ｑｍｕと上記量子化ステップ候補導出器２５０からの量子化ステップ候補Ｑｓｂとを比較して、比較結果を示す比較出力ＣＰ３を出力する比較器２６６と、該比較器２６６からの比較出力ＣＰ３に基づいて、上記スイッチ２６４からの選択量子化ステップＱｓｅと上記定数倍器２６５からの定数倍値Ｑｍｕの一方を選択して、第２の量子化ステップＱｓ２として出力するスイッチ２６７とを有している。ここで、該スイッチ２６７は、上記比較器２６６での比較の結果、量子化ステップ候補Ｑｓｂが上記定数倍値Ｑｍｕ未満であるときは、上記定数値Ｑｍｕを第２の量子化ステップＱｓ２として出力し、量子化ステップ候補Ｑｓｂが上記定数倍値Ｑｍｕ以上であるときは、スイッチ２６４からの選択量子化ステップＱｓｅを第２の量子化ステップＱｓ２として出力するよう構成されている。
なお、上記定数倍器２６５での倍数値ｎは、上記閾値導出器２６２での倍数値ｍ以上であり、この閾値導出器２６２における倍数値ｍは、目標ビットレートやフレームレート、量子化方式等によって切替えることが可能である。
【００８６】
また図６は、上記のような構成の量子化ステップ導出器２５２により得られる第２の量子化ステップＱｓ２と、量子化ステップ候補導出器２５０から出力される量子化ステップ候補Ｑｓｂの関係をグラフＤにより示している。なお、ｍ，ｎはそれぞれｍ＝１．５，ｎ＝２としている。
このグラフＤから分かるように量子化ステップ導出器２５２では、量子化ステップ候補Ｑｓｂが閾値Ｑｔｈ未満であれば、第１の量子化ステップＱｓ１が第２の量子化ステップＱｓ２として出力される。また、量子化ステップ候補Ｑｓｂが閾値Ｑｔｈ（１．５×Ｑｓ１）以上で上記定数倍値Ｑｍｕ（＝２×Ｑｓ１）未満であれば、第１の量子化ステップＱｓ１の２倍（２×Ｑｓ１）が第２の量子化ステップＱｓ２として選択される。さらに、量子化ステップ候補Ｑｓｂが上記倍数値Ｑｍｕ（＝２×Ｑｓ１）以上であれば、量子化ステップ候補Ｑｓｂが第２の量子化ステップＱｓ２として選択される。
【００８７】
次に動作について説明する。
なお、本実施の形態２の再符号化システムでは、その量子化装置１５２を構成する量子化ステップ導出器２５２以外の動作は、実施の形態１の再符号化システム１０におけるものと同一である。従って、以下、量子化ステップ導出器２５２の動作についてのみ詳しく説明する。
【００８８】
本実施の形態２の再符号化システムでは、復号化ユニットＤａ１にて再生されたデータＲｇに対して符号化ユニットにて量子化処理を含む符号化処理が施される際、量子化装置１５２では、量子化ステップ候補導出器２５０にて量子化ステップ候補Ｑｓｂが生成される。すると、量子化ステップ導出器２５２では、復号化ユニットＤａ１の逆量子化装置１０１ａから供給される第１の量子化ステップＱｓ１から得られる閾値Ｑｔｈ及び定数倍値Ｑｍｕに基づいて、上記第１の量子化ステップＱｓ１，定数倍値Ｑｍｕ，及び量子化ステップ候補Ｑｓｂのうちの１つが第２の量子化ステップＱｓ２として選択される。そして、量子化器２０１では、該第２の量子化ステップＱｓ２に基づいて周波数領域のデータＴｇに対して量子化処理が施される。
【００８９】
以下、上記量子化ステップ導出器２５２の動作について具体的に説明する。
上記量子化ステップ導出器２５２に復号化ユニットから第１の量子化ステップＱｓ１が入力されると、閾値導出器２６２では、第１の量子化ステップＱｓ１をｍ倍する演算により所定の閾値Ｑｔｈが導出され、この閾値Ｑｔｈが比較器２６３へ出力される。すると、比較器２６３では、量子化ステップ候補導出器２５０からの量子化ステップ候補Ｑｓｂが閾値導出器２６２からの閾値Ｑｔｈと比較され、その比較結果を示す比較出力ＣＰ２がスイッチ２６４へ出力される。スイッチ２６４では、上記比較出力ＣＰ２に基づいて、上記第１の量子化ステップＱｓ１と量子化ステップ候補Ｑｓｂの一方が選択されて選択量子化ステップＱｓｅとしてスイッチ２６７へ出力される。
【００９０】
このとき、定数倍器２６５では、上記復号化ユニットＤａ１からの第１の量子化ステップＱｓ１をｎ倍する演算により定数倍値Ｑｍｕが生成され、この定数倍値Ｑｍｕがスイッチ２６７および比較器２６６へ出力される。この比較器２６６では、量子化ステップ候補導出器２５０からの量子化ステップ候補Ｑｓｂが、定数倍器２６５からの定数倍値Ｑｍｕと比較されて、その比較結果を示す比較出力ＣＰ３がスイッチ２６７へ出力される。すると、上記スイッチ２６７では、上記比較出力ＣＰ３に基づいて、上記定数倍器２６５からの定数倍値Ｑｍｕと上記スイッチ２６４にて選択された選択量子化ステップＱｓｅの一方が選択されて第２の量子化ステップＱｓ２として導出される。
【００９１】
このように本実施の形態２による再符号化システムでは、再符号化データのビットレートと該再符号化データに含まれる量子化歪との関係に基づいて量子化ステップ候補Ｑｓbを導出する量子化ステップ候補導出器２５０と、該量子化ステップ候補Ｑｓb及び逆量子化処理で用いられる第１の量子化ステップＱｓ１に基づいて再符号化処理における量子化ステップ（第２の量子化ステップ）Ｑｓ２を導出する量子化ステップ導出器２５２とを備え、上記量子化ステップ候補Ｑｓｂが、この量子化ステップ候補Ｑｓｂと第１の量子化ステップＱｓ１及びその定数倍値Ｑｍｕとの大小関係から決まる最適な範囲内の値を有するとき、上記量子化ステップ候補Ｑｓｂを第２の量子化ステップＱｓ２として出力し、上記量子化ステップ候補Ｑｓｂが該最適な範囲外の値を有するときには、第１の量子化ステップＱｓ１あるいはその定数倍の量子化ステップＱｍｕを出力するので、符号化データＥｇ１に対する再符号化処理を、ビット数の増大を招くことなく量子化誤差の増大を効果的に抑制しつつ行うことができる。
【００９２】
なお、本実施の形態２では、上記量子化ステップ候補Ｑｓｂが、定数倍値Ｑｍｕ（第１の量子化ステップＱｓ１のｎ倍）未満である場合は、第２の量子化ステップＱｓ２を、閾値Ｑｔｈ（ｍ×Ｑｓ１）を基準として、第１の量子化ステップＱｓ１または第１の量子化ステップＱｓ１のｎ倍である定数倍値Ｑｍｕのいずれかに丸めるようにしているが、上記閾値Ｑｔｈを変動させるようにしてもよい。
例えば、上記閾値Ｑｔｈを、第２の量子化ステップＱｓ２が、上記第１の量子化ステップＱｓ１と、上記第１の量子化ステップＱｓ１のｎ倍である定数倍値Ｑｍｕとの間で頻繁に切替わるよう変動させることにより、符号化ビットレートを所定のビットレートとするレート制御を応答性の高いものとすることも可能である。
【００９３】
具体的には、閾値Ｑｔｈを以下のように変動させ、求められた新しい閾値Ｑｔｈ’に基づいて量子化ステップＱｓ２を決定する。
まず、量子化ステップ候補Ｑｓｂの平均を目標の平均量子化ステップＱｔとして求め、第２の量子化ステップＱｓ２の平均を実際の平均量子化ステップＱａｖｅとして求める。
そして、実際の平均量子化ステップＱａｖｅが目標の平均量子化ステップＱｔより大きい場合、言い替えると、量子化ステップ候補Ｑｓｂが平均的に小さい値となっている場合、Ｑｔｈ’＝Ｑｔｈ／２を新しい閾値とする。但し、Ｑｔｈ’がＱｓ１より小さい場合、Ｑｔｈ’＝Ｑｓ１とする。
また、実際の平均量子化ステップＱａｖｅが目標の平均量子化ステップＱｔより小さい場合、言い替えると、量子化ステップ候補Ｑｓｂが平均的に大きい値となっている場合、Ｑｔｈ’＝Ｑｔｈ＋Ｑｔｈ／２を新しい閾値とする。但し、Ｑｔｈ’がＱｍｕより大きい場合、Ｑｔｈ’＝Ｑｍｕとする。
【００９４】
（実施の形態３）
図８は、本実施の形態３による再符号化システム３０を説明するためのブロック図である。
本実施の形態３の再符号化システム３０は、実施の形態１の符号化ユニットＥａ１における量子化装置１５１に代えて、画面内符号化処理及び画面間符号化処理に対応する量子化ステップをそれぞれ導出し、各符号化処理に対応した量子化ステップでもって量子化処理を行う量子化装置１５３を備え、画面内符号化処理と画面間符号化処理の切り替えがブロック単位またはフレーム単位で行われるのに応じて、量子化処理も画面内符号化処理に対応したもの（画面内量子化処理）と画面間符号化処理に対応したもの（画面間量子化処理）との間で切り替えられよう構成されている。
【００９５】
図９は、上記量子化装置１５３の構成を示すブロック図である。
この量子化装置１５３は、復号化ユニットＤａ１にて逆量子化処理の際に用いられた第１の量子化ステップＱｓ１に基づいて、画面内量子化処理における各マクロブロックに対する量子化ステップを１フレーム毎に平均して得られる値Ｑintra（第１の画面内平均量子化ステップＱｓＩ１）を算出する画面内平均量子化ステップ導出器２７０と、上記第１の量子化ステップＱｓ１に基づいて、画面間量子化処理における各マクロブロックに対する量子化ステップを１フレーム毎に平均して得られる値Ｑinter（第１の画面間平均量子化ステップＱｓＰ１）を算出する画面間平均量子化ステップ導出器２７１とを有している。
【００９６】
また、この量子化装置１５３にて、符号化処理の対象となる対象フレーム直前の前フレームまでの量子化処理の際に用いられる第２の量子化ステップＱｓ２に基づいて、画面内量子化処理における各マクロブロックに対する量子化ステップを１フレーム毎に平均して得られる値Ｑintra（第２の画面内平均量子化ステップＱｓＩ２）を算出する画面内平均量子化ステップ導出器２７２ａと、上記第２の量子化ステップＱｓ２に基づいて、画面間量子化処理における各マクロブロックに対する量子化ステップを１フレーム毎に平均して得られる値Ｑinter（第２の画面間平均量子化ステップＱｓＰ２）を算出する画面間平均量子化ステップ導出器２７２ｂとを有している。
【００９７】
さらに、この量子化装置１５３は、上記第１，第２の画面内平均量子化ステップＳＱｓＩ１，ＱｓＩ２と第１，第２の画面間平均量子化ステップＱｓＰ１，ＱｓＰ２を参照して、量子化制御信号Ｃｑとして入力される目標ビット数から量子化ステップＱｓ２を導出する量子化ステップ導出器２７３と、該第２の量子化ステップＱｓ２に基づいてＤＣＴ器１０６からの出力Ｔｇを量子化する量子化器２０１とを有している。
【００９８】
また、図１０は、量子化ステップ導出器２７３の具体的な構成を示すブロック図である。
この量子化ステップ導出器２７３は、上記第１の画面内平均量子化ステップＱｓＩ１及び上記第１の画面間平均量子化ステップＱｓＰ１に基づいて、量子化制御信号Ｃｑにより示される被処理マクロブロックに対応する目標ビット数から、再量子化処理の対象となる被処理フレームに対する目標ビット数ｆＣｇを算出するフレーム目標ビット数決定器７１０と、被処理フレームに対する目標ビット数ｆＣｇ及びレート制御装置１１３からの量子化制御信号Ｃｑに基づいて、被処理マクロブロックに対して使用可能なビット数ｍＣｇを生成するマクロブロック目標ビット数決定器７１１と、該ビット数ｍＣｇ，上記第２の画面内平均量子化ステップＱｓＩ２，上記第２の画面間平均量子化ステップＱｓＰ２及びレート制御装置１１３からの量子化制御信号Ｃｑに基づいて、被処理マクロブロックに対する量子化ステップＱｓ２を決定する量子化ステップ決定器７１２とを有している。
【００９９】
ここで、第１の画面内平均量子化ステップＱｓＩ１の値をＱintra、第１の画面間平均量子化ステップＱｓＰ１の値をＱinterとし、画面内符号化フレーム，画面間符号化フレームの１フレーム当たりの符号化ビット数をそれぞれＮintra、Ｎinterとし、画面内符号化処理および画面間符号化処理における再量子化誤差の比率が補正されるよう、画面内再量子化ステップと画面間再量子化ステップの比をα×Ｑintra：Ｑinterとする。すると、量子化ステップと符号化ビット数は反比例関係にあることから、再量子化後の画面内符号化フレームと画面間符号化フレームの間での１フレーム当たりのビット数の比は、Ｎintra／α：Ｎinterとなる。ここで、αは０＜α＜１を満たす値となっている。
【０１００】
そこで、上記フレーム目標ビット数決定器７１０は、再符号化処理により出力される単位時間当たりのビット数に関する、画面内符号化フレームと画面間符号化フレームの間の比率が、Ｎintra／α×画面内符号化フレーム数：Ｎinter×画面間符号化フレーム数となるよう、各フレーム当たりの目標ビット数ｆＣｇを生成する構成としている。
【０１０１】
また、上記マクロブロック目標ビット数決定器７１１は、フレーム目標ビット数決定器７１０により導出された１フレーム当たりの目標ビット数ｆＣｇから、被処理フレームにおける既処理マクロブロックに対する符号化処理で発生したビット数を減算し、該被処理フレームに対応する残りのビット数（つまり該被処理フレームにおける未処理マクロブロックに対する符号化処理に使用できるビット数）を未処理マクロブロック数で除算し、得られたビット数を被符号化マクロブロックに使用できるビット数としてマクロブロック量子化ステップ決定器７１２に出力する構成となっている。
【０１０２】
また、マクロブロックに対応するビット数と量子化ステップは、一般に下記の関係にある。
画面内符号化量子化ステップ
＝  Ｋintra／被符号化マクロブロックに使用できるビット数  （式Ａ）
【０１０３】
画面間符号化量子化ステップ
＝  Ｋinter／被符号化マクロブロックに使用できるビット数  （式Ｂ）
ここで、Ｋintra及びＫinterは定数である。また、画面内符号化量子化ステップは、画面内符号化処理における量子化処理（画面内量子化処理）にて処理対象となる各マクロブロックに対して用いられる量子化ステップ、また、画面間符号化量子化ステップは、画面間符号化処理における量子化処理（画面間量子化処理）にて処理対象となる各マクロブロックに対して用いられる量子化ステップである。
【０１０４】
上記マクロブロック量子化ステップ決定器７１２では、レート制御器１１３からの目標ビット数Ｃｇ，画面内平均量子化ステップＱｓＩ２，画面間平均量子化ステップＱｓＰ２に基づいて下記の（式Ｃ）および（式Ｄ）により、各マクロブロック毎にＫintra及びＫinterの値を求める。次に、得られたＫintra及びＫinterの値により上記（式Ａ）または（式Ｂ）におけるＫintra及びＫinterを更新し、これらの（式Ａ）及び（式Ｂ）に、被符号化マクロブロックに対して使用できるビット数を代入することにより、各マクロブロックに対応する量子化ステップＱｓ２を導出する。
Ｋintra
＝  画面内平均量子化ステップ
×（画面内符号化済みビット数／画面内符号化済マクロブロック数）(式Ｃ)
Ｋinter
＝  画面間平均量子化ステップ
×（画面間符号化済みビット数／画面間符号化済マクロブロック数）(式Ｄ)
【０１０５】
次に作用効果について説明する。
ＭＰＥＧなどの符号化方式では、画像信号（画像データ）に対する符号化処理は、画面内の画素値相関を利用する画面内符号化処理と、画面間の画素値相関を利用する画面間符号化処理との間で、マクロブロック単位もしくはフレーム単位で切替えられる。さらに上記符号化処理の際には、量子化方式も、画面内符号化処理に応じた方式と画面間符号化処理に応じた方式との間で切り替えられる。
【０１０６】
ところで、量子化方式の違いによって、再符号化処理により生ずる量子化誤差も異なるため、再符号化歪を低減するためには符号化処理の種類に対応した量子化ステップの導出を行う必要がある。
特にＭＰＥＧ方式では、画面内符号化処理により得られた画面内符号化データ、及び画面間符号化処理により得られた画面間符号化データに対する再符号化処理の際に、これらの符号化データに対して同じ量子化ステップでもって量子化処理を施した場合、画面内符号化データに対する再符号化誤差が、画面間符号化データに対する再符号化誤差よりも大きくなる傾向がある。
そこで、画面内符号化データに対する再符号化処理では、画面間符号化データに対する再符号化処理に比べてより密な量子化ステップ（つまりより小さい量子化ステップ）で再量子化処理を行う必要がある。また、画面内符号化データに対する再符号化処理により発生するビット数は、目標ビット数となるようにする必要がある。
【０１０７】
つまり、この実施の形態３の量子化ステップ導出器２７３では、画面内平均量子化ステップ導出器２７０および画面間平均量子化ステップ導出器２７１の出力である平均量子化ステップに基づいて、量子化器２０１での量子化処理における画面内符号化量子化ステップ及び画面間符号化量子化ステップ、並びに再符号化処理により発生する１フレームに対応するビット数が予測される。そして、量子化ステップ導出器２７３では、これらの予測値に基づいて、上記画面内符号化量子化ステップ及び画面間符号化量子化ステップが、各フレームに対応するビット数が平均的に所定のビット数となり、しかも画面内符号化量子化ステップが画面間符号化量子化ステップよりも密になるよう決定される。
また、画面内平均量子化ステップ導出器２７２ａ及び画面間平均量子化ステップ導出器２７２ｂでは、それぞれ量子化ステップ導出器２７３にて第２の量子化ステップとして導出した画面内量子化ステップ及び画面間量子化ステップの平均値が計算される。さらに、量子化ステップ導出器２７３では、これらの平均値に基づいて、第２の量子化ステップの導出処理に必要な各マクロブロックに対応する目標ビット数と量子化ステップの関係を示す関係式（上記（式Ａ）及び（式Ｂ））が補正される。
【０１０８】
以下、本実施の形態３の再符号化システムの具体的な動作について説明する。
なお、本実施の形態３の再符号化システムでは、その符号化ユニットＥａ１を構成する量子化装置１５３以外の動作は、実施の形態１の再符号化システム１０におけるものと同一である。従って、以下、量子化装置１５３の動作について説明する。
【０１０９】
本実施の形態３の再符号化システムでは、復号化ユニットＤａ１にて生成されたデータＲｇに対して符号化ユニットＥａ１にて量子化処理を含む符号化処理が施される際、量子化装置１５３では、量子化ステップ導出器２７３にて画面内符号化処理及び画面間符号化処理の各処理に応じた第２の量子化ステップＱｓ２がそれぞれ導出され、該第２の量子化ステップに基づいて周波数領域データＴｇに対する量子化処理が施される。
【０１１０】
すなわち、復号化ユニットＤａ１から第１の量子化ステップＱｓ１が上記量子化装置１５３に入力されると、画面内平均量子化ステップ導出器２７０及び画面間平均量子化ステップ導出器２７１では、入力された第１の量子化ステップＱｓ１より、第１の画面内平均量子化ステップＱｓＩ１及び第１の画面間平均量子化ステップＱｓＰ１がそれぞれ算出され、これらの量子化ステップＱｓＩ１及びＱｓＰ１が量子化ステップ導出器２７３へ出力される。
【０１１１】
上記量子化ステップ導出器２７３では、上記両量子化ステップＱｓＩ１及びＱｓＰ１と、再符号化処理済のフレームに対する第２の画面内平均量子化ステップＱｓＩ２及び第２の画面内平均量子化ステップＱｓＰ２とを参照して、量子化制御信号Ｃｑにより示される目標ビット数に基づいて第２の量子化ステップＱｓ２が導出され、該第２の量子化ステップＱｓ２が量子化器２０１へ出力される。
【０１１２】
すると、この量子化器２０１では、導出された上記第２の量子化ステップＱｓ２に基づいて、符号化ユニットＥａ１におけるＤＣＴ器１０６からの周波数領域のデータＴｇに対して量子化処理が施される。また、画面内平均量子化ステップ導出器２７２ａおよび画面間平均量子化ステップ導出器２７２ｂでは、それぞれ上記量子化ステップ導出器２７３の出力Ｑｓ２に基づいて、上記第２の画面内平均量子化ステップＱｓＩ２及び第２の画面間平均量子化ステップＱｓＰ２が算出される。
【０１１３】
以下、図１０を用いて上記量子化ステップ導出器２７３の動作を詳述する。
上記量子化ステップ導出器２７３に、画面内平均量子化ステップ導出器２７０からの第１の画面内平均量子化ステップＱｓＩ１と、画面間平均量子化ステップ導出器２７１からの第１の画面間平均量子化ステップＱｓＰ１が入力されると、フレーム目標ビット数決定器７１０では、これらの量子化ステップＱｓＩ１及びＱｓＰ１に基づいて、レート制御装置１１３からの量子化制御信号Ｃｑが示す各マクロブロックに対する目標ビット数から各フレーム当たりの目標ビット数ｆＣｇが算出され、マクロブロック目標ビット数決定器７１１へ出力される。
【０１１４】
該マクロブロック目標ビット数決定器７１１では、まず量子化制御信号Ｃｑに基づいて被処理フレームにおける既処理マクロブロックの符号化処理にて発生したビット数、及び未処理マクロブロックの数が算出される。次に、マクロブロック目標ビット数決定器７１１では、上記フレーム目標ビット数決定器７１０からの１フレーム当たりの目標ビット数ｆＣｇに基づいてこの目標ビット数ｆＣｇから、上記被処理フレームにおける既処理マクロブロックの符号化処理にて発生したビット数が減算され、該被処理フレームの残りのビット数が算出される。そして算出された上記被処理フレームの残りのビット数は、上記未処理マクロブロックの数により除算される。これにより得られたビット数が、被処理マクロブロックに使用できるビット数ｍＣｇとして、マクロブロック量子化ステップ決定器７１２へ出力される。
【０１１５】
このマクロブロック量子化ステップ決定器７１２では、上記被符号化マクロブロックに使用できるビット数ｍＣｇが入力されると、レート制御装置１１３の出力である量子化制御信号Ｃｑと、画面内平均量子化ステップ導出器２７２ａの出力である第２の平均量子化ステップＱｓＩ２及び画面間平均量子化ステップ導出器２７２ｂの出力である第２の平均量子化ステップＱｓＰ２とを参照して、マクロブロックに対応するビット数と量子化ステップの関係（上記（式Ａ）〜（式Ｄ））に基づいて、被処理マクロブロックに対する量子化ステップＱｓ２が導出される。
【０１１６】
このように本実施の形態３による再符号化システム３０では、量子化ステップ導出器２７３を、画面内符号化処理および画面間符号化処理における再量子化誤差の比率が補正されるよう、各マクロブロックに対応する第２の量子化ステップを導出する構成としたので、画面内符号化処理と画面間符号化処理を含む再符号化処理を、量子化誤差の増大を効果的に抑制しつつ行うことができる。
【０１１７】
（実施の形態４）
図１１は本発明の実施の形態４による再符号化システムを説明するためのブロック図である。
本実施の形態４の再符号化システム４０は、入力ストリームＶinに対して、符号化単位毎に逆量子化処理を含む復号化処理を施して復号画像データ（復号化ストリーム）Ｖdecを出力するとともに、該逆量子化処理で用いられた量子化ステップＱinを出力する復号化器Ｕ１と、上記復号画像データＶdecに対して、参照画面の画像データを参照して、量子化ステップＱａによる量子化処理及び局所復号化処理を含む第１の模擬符号化処理を符号化単位毎に施す第１の模擬符号化器Ｕ２ａと、上記画像復号データＶdecに対して参照画面の画像データを参照して、上記量子化ステップＱａより大きい量子化ステップＱｂによる量子化処理及び局所復号化処理を含む第２の模擬符号化処理を符号化単位毎に施す第２の模擬符号化器Ｕ２ｂとを有している。なお、上記入力ストリームＶinは、画像データに対して、その符号化単位毎に量子化処理を含む符号化処理を施して得られる画像符号化データである。また、上記符号化単位は、１画面（フレーム）における１６×１６画素からなる領域（マクロブロック）としている。
【０１１８】
ここで、上記第１の模擬符号化器Ｕ２ａは、上記第１の模擬符号化処理に含まれる局所復号化処理により得られた局所復号画像データＶstraを出力するとともに、該模擬符号化処理に含まれる量子化処理にて用いた、各符号化単位に対応する量子化ステップＱａ，該模擬符号化処理により生じた、各符号化単位に対応する符号化誤差（模擬符号化増加誤差）Ｄａ，及び該模擬符号化処理により発生した符号化単位当たりのビット数（模擬符号化ビット数）Ｒａを、各符号化単位毎に出力するよう構成されている。また、上記第２の模擬符号化器Ｕ２ｂは、上記第２の模擬符号化処理に含まれる局所復号化処理により得られた局所復号画像データＶstrbを出力するとともに、該模擬符号化処理に含まれる量子化処理にて用いた量子化ステップＱｂ，該模擬符号化処理により生じた符号化誤差（模擬符号化増加誤差）Ｄｂ，及び該模擬符号化処理により発生した符号化単位当たりのビット数（模擬符号化ビット数）Ｒｂを、各符号化単位毎に出力するよう構成されている。
【０１１９】
さらに、上記再符号化システム４０は、上記第１の模擬符号化器Ｕ２ａから出力される局所復号画像データＶstraを格納する第１の模擬メモリＵ３ａと、上記第２の模擬符号化器Ｕ２ｂから出力される局所復号画像データＶstrbを格納する第２の模擬メモリＵ３ｂとを有している。
【０１２０】
また、上記再符号化システム４０は、上記第１の模擬符号化器Ｕ２ａから出力される量子化ステップＱａ，模擬符号化増加誤差Ｄａ，及び模擬符号化ビット数Ｒａと、第２の模擬符号化器Ｕ２ｂから出力される量子化ステップＱｂ，模擬符号化増加誤差Ｄｂ，及び模擬符号化ビット数Ｒｂと、各フレーム（画面）に割り当てられるビット数（フレーム目標ビット数）Ｒｄとに基づいて、各符号化単位に対応する最適量子化ステップＱｄとして上記量子化ステップＱａ及びＱｂの一方を選択して出力する量子化ステップ導出器Ｕ７４を有している。具体的には、この量子化ステップ導出器Ｕ７４では、上記量子化ステップＱａ，Ｑｂ、模擬符号化増加誤差Ｄａ，Ｄｂ、及び模擬符号化ビット数Ｒａ，Ｒｂから、各符号化単位毎に再符号化誤差増加率λを求め、各符号化単位に対応する再符号化誤差増加率ができるだけ一定となるよう、各符号化単位に対応する量子化ステップとして上記量子化ステップＱａ及びＱｂの一方が選択されるようになっている。
【０１２１】
また、上記再符号化システム４０は、上記復号画像データＶdecに対して、量子化ステップＱｄによる量子化処理及び局所復号化処理を含む再符号化処理を、参照画面の画像データを参照して施して、再符号化ストリームＶoutを出力するとともに、該局所復号化処理により得られる局所復号画像データＶstrdを出力する主符号化器Ｕ２ｄと、該局所復号画像データＶstrdを格納する主メモリＵ３ｄと、外部から供給される目標ビットレートＲａｔｅと再符号化ストリームＶoutのビットレートに基づいて、上記フレーム目標ビット数Ｒｄを算出するフレーム目標ビット数計算器Ｕ６とを有している。
【０１２２】
ここで、上記第１の模擬メモリＵ３ａは、上記第１の模擬符号化器Ｕ２ａからの局所復号画像データＶstraを格納し、該格納された画像データを、被処理画面に続く未処理画面に対する模擬符号化処理の際に参照画面の画像データ（参照画像データ）Ｖａとして上記第１の模擬符号化器Ｕ２ａに出力する構成となっている。上記第２の模擬メモリＵ３ｂは、上記第２の模擬符号化器Ｕ２ｂからの局所復号画像データＶstrbを格納し、該格納された画像データを、被処理画面に続く未処理画面に対する模擬符号化処理の際に参照画面の画像データ（参照画像データ）Ｖｂとして第２の模擬符号化器Ｕ２ｂに出力する構成となっている。さらに、上記主メモリＵ３ｄは、上記格納された局所復号画像データＶstrdを、被処理画面に続く未処理画面に対する再符号化処理の際に参照画面の画像データ（参照画像データ）Ｖrefdとして上記主符号化器Ｕ２ｄに出力するとともに、被処理画面に続く未処理画面に対する第１，第２の模擬符号化処理の際に参照画面の画像データ（参照画像データ）Ｖrefa，Ｖrefbとして、上記第１，第２の模擬符号化器Ｕ２ａ，Ｕ２ｂに出力する構成となっている。
【０１２３】
このように、主メモリＵ３ｄには、実際に出力されている再符号化ストリームに対応する局所復号化画像データが格納されているため、上記第１，第２の模擬符号化器Ｕ２ａ，Ｕ２ｂは、主メモリＵ３ｄに格納されている各符号化済み画面の画像データのうち、第１，第２の模擬メモリＵ３ａ，Ｕ３ｂに格納されている符号化済み画面の画像データと同一の画面に対応する画像データについては、第１，第２の模擬メモリＵ３ａ，Ｕ３ｂに格納されている符号化済み画面の画像データＶａ，Ｖｂに代えて、主メモリＵ３ｄに格納されている各符号化済み画面の画像データＶrefa，Ｖrefbを参照するようになっている。
【０１２４】
次に、この実施の形態４の量子化ステップ導出器Ｕ７４にて用いられる再符号化誤差増加率λ１について説明する。
図１２は、上記再符号化システム４０の第１，第２の模擬符号化器Ｕ３ａ，Ｕ３ｂによる復号画像データＶdecの模擬符号化処理により生ずる模擬符号化誤差と、該模擬符号化処理により発生する符号化単位当たりのビット数（模擬符号化ビット数）との関係を説明するための図である。
【０１２５】
ここで、各模擬符号化器にて生成される模擬符号化ストリームに含まれる実際の符号化誤差Ｄra，Ｄrb は、入力ストリームＶinに含まれる符号化誤差Ｄinと、各模擬符号化処理により生ずる模擬符号化誤差Ｄａ，Ｄｂの和となる。
つまり、量子化ステップＱａの量子化処理を含む第１の模擬符号化処理を復号画像データＶdecに施して得られる第１の模擬符号化ストリームに含まれる実際の符号化誤差Ｄraは以下の式１により表される。
Ｄra＝Ｄin＋Ｄａ        （式１）
【０１２６】
また、量子化ステップＱｂの量子化処理を含む第２の模擬符号化処理を復号画像データＶdecに施して得られる第２の模擬符号化ストリームに含まれる実際の符号化誤差Ｄrbは以下の式２により表される。
Ｄrb＝Ｄin＋Ｄｂ        （式２）
【０１２７】
従って、上記第１，第２の模擬符号化ストリームに含まれる実際の符号化誤差の差分ΔＤabは、以下の式３により表される。ただしここでは、第２の模擬符号化処理における量子化ステップＱｂは、第１の模擬符号化処理における量子化ステップＱａより大きいため、第２の模擬符号化処理による符号化誤差Ｄｂは、第２の模擬符号化処理による符号化誤差Ｄａより大きい。
0004421734.tif 000002
【０１２８】
また、上記第１，第２の模擬符号化処理により得られる符号化単位当たりのビット数（第１，第２の模擬符号化ビット数）Ｒａ，Ｒｂの差分ΔＲabは、以下の式４により表される。ただしここでは、第２の模擬符号化処理における量子化ステップＱｂは、第１の模擬符号化処理における量子化ステップＱａより大きいため、第２の模擬符号化ビット数Ｒｂは、第１の模擬符号化ビット数Ｒａより小さい。
ΔＲab＝Ｒａ−Ｒｂ                        （式４）
【０１２９】
そこで、上記再符号化誤差増加率（ビットレートの単位変動量当りの模擬符号化ビット数の変動分）λ１は、以下の式５により表される。
0004421734.tif 000003
【０１３０】
一般に、符号化処理における量子化ステップが大きくなると、符号化ストリームにおける、単位ビット数当りの符号化誤差の変動分が大きくなる。
このため、各符号化単位毎に最適量子化ステップＱｄとして、第１の模擬符号化処理における量子化ステップＱａ及び第２の模擬符号化処理における量子化ステップＱｂの一方を選択する量子化ステップ導出器Ｕ７４では、上記再符号化誤差増加率λ1が１フレームにおける各符号化単位の間でできるだけ同じ値となるようにするための誤差最小化の条件は、上記再符号化誤差増加率λ1が小さい符号化単位に対しては最適量子化ステップＱｄとして、大きい方の量子化ステップＱｂを用い、上記再符号化誤差増加率λ1が大きい符号化単位に対しては最適量子化ステップＱｄとして、小さい方の量子化ステップＱａを用いるというものとなる。
【０１３１】
図１３は、上記実施の形態４の再符号化システム４０を構成する量子化ステップ導出器Ｕ７４の具体的構成を示すブロック図である。
上記量子化ステップ導出器Ｕ７４は、上記第１，第２の模擬符号化器Ｕ２ａ，Ｕ２ｂからの第１，第２の模擬符号化処理により発生する、各符号化単位に対応する第１，第２の模擬符号化ビット数Ｒａ，Ｒｂを受け、これらの模擬符号化ビット数の差分を模擬符号化ビット数増加量ΔＲabとして算出するビット数減算器Ｕ８ｂと、上記第１，第２の模擬符号化器Ｕ２ａ，Ｕ２ｂからの、各符号化単位に対応する模擬符号化誤差（再符号化増加誤差）Ｄａ，Ｄｂを受け、これらの再符号化増加誤差の差分を模擬符号化誤差増加量Ｄabとして算出する誤差減算器Ｕ９ｂとを有している。
【０１３２】
また、上記量子化ステップ導出器Ｕ７４は、模擬符号化誤差増加量ΔＤabを模擬符号化ビット数増加量ΔＲabにより除算して、各符号化単位に対応する再符号化誤差増加率λ1を導出する除算器Ｕ１０ｂと、上記第１，第２の模擬符号化器Ｕ２ａ，Ｕ２ｂからの、各符号化単位に対応する量子化ステップＱａ，Ｑｂの一方を、制御信号Ｑse１に基づいて選択して、処理対象となっている符号化単位に対応する最適量子化ステップＱｄとして出力する選択スイッチＵ１４と、各符号化単位の間で再符号化誤差増加率λ1の大きさを比較し、フレームビット数（１フレーム分の再符号化ストリームにおけるビット数）がフレーム目標ビット数Ｒｄとなるよう、制御信号Ｑse１により上記選択スイッチ１４を制御する最小誤差選択器Ｕ２０とを有している。
【０１３３】
次に動作について説明する。
この再符号化システム４０に入力ストリームＶinが供給されると、復号化器Ｕ１では、符号化ストリームである入力ストリームＶinに対して、逆量子化処理を含む復号化処理が施され、復号化ストリーム（復号画像データ）Ｖdec及び上記逆量子化処理における量子化ステップＱinが各符号化単位毎に出力される。
すると、第１の模擬符号化器Ｕ２ａでは、第１の模擬メモリＵ３ａに格納されている参照画像データＶａあるいは主メモリＵ３ｄに格納されている参照画像データＶrefaを参照して、処理対象となっている対象画面の復号化ストリームＶdecに対して、量子化ステップＱａによる量子化処理及び局所復号化処理を含む第１の模擬符号化処理が符号化単位毎に施される。なお、上記量子化ステップＱａは上記逆量子化処理で用いられた量子化ステップＱinより小さくならいよう設定される。これにより上記第１の模擬符号化器Ｕ２ａからは、局所復号化画像データＶstraが出力されるとともに、上記量子化ステップＱａ，模擬符号化ビット数Ｒａ，及び模擬符号化誤差Ｄａが出力される。
【０１３４】
同様に、第２の模擬符号化器Ｕ２ｂでは、第２の模擬メモリＵ３ｂに格納されている参照画像データＶｂあるいは主メモリＵ３ｄに格納されている参照画像データＶrefbを参照して、処理対象となっている対象画面の復号化ストリームＶdecに対して、量子化ステップＱｂによる量子化処理及び局所復号化処理を含む第２の模擬符号化処理が施される。なお、上記量子化ステップＱｂは、上記第１の模擬符号化処理に含まれる逆量子化処理における量子化ステップＱinより小さくならず、かつ上記量子化ステップＱａより大きな値になるよう設定される。これにより上記第２の模擬符号化器Ｕ２ｂからは、局所復号化画像データＶstrbが出力されるとともに、上記量子化ステップＱｂ，模擬符号化ビット数Ｒｂ，及び模擬符号化誤差Ｄｂが出力される。
【０１３５】
このとき、上記第１，第２の模擬メモリＵ３ａ，Ｕ３ｂには上記局所復号化画像データＶstra、Ｖstrbが、符号化処理済みの画面（フレーム）に対応する画像データとして格納される。このように第１，第２の模擬メモリＵ３ａ，Ｕ３ｂに格納された画像データは、未処理画面に対応する復号化データの符号化処理の際に、上記参照画像データＶａ，Ｖｂとして用いられる。
【０１３６】
そして、上記量子化ステップ導出部Ｕ７４では、上記第１，第２の模擬符号化器Ｕ２ａ，Ｕ２ｂからの量子化ステップＱａ，Ｑｂ、模擬符号化ビット数Ｒａ，Ｒｂ、及び模擬符号化誤差Ｄａ，Ｄｂに基づいて、処理対象となっている対象画面に対応する符号化ビット数がフレーム目標ビット数Ｒｄを超えないよう、各符号化単位に対応する最適量子化ステップＱｄを導出する処理が行われる。
【０１３７】
この最適量子化ステップＱｄは主符号化器Ｕ２ｄに供給され、該主符号化器Ｕ２ｄでは、上記復号画像データＶdecに対して、量子化ステップＱｄによる量子化処理及び局所復号化処理を含む再符号化処理が、主メモリＵ３ｄに格納されている参照画像データＶrefdを参照して施される。これにより、主符号化器Ｕ２ｄからは再符号化ストリームＶoutが出力されるとともに、局所復号化画像データＶstrdが出力される。
【０１３８】
このとき、上記主メモリＵ３ｄには上記局所復号化画像データＶstrdが、符号化処理済みの画面（フレーム）に対応する画像データとして格納される。このように主メモリＵ３ｄに格納された画像データは、未処理画面に対応する画像データの再符号化処理の際に上記参照画面データＶrefdとして用いられ、また、未処理画面に対応する画像データの第１，第２の模擬符号化処理の際にも、上記参照画面データＶrefa，Ｖrefbとして用いられる。
【０１３９】
なお、上記主メモリＵ３ｄには、実際に出力されている再符号化ストリームＶoutに対応する局所復号化画像データが格納されているため、上記第１，第２の模擬符号化器Ｕ２ａ，Ｕ２ｂでは、主メモリＵ３ｄに格納されている各符号化済み画面の画像データのうち、第１，第２の模擬メモリＵ３ａ，Ｕ３ｂに格納されている符号化済み画面の画像データと同一の画面に対応する画像データについては、第１，第２の模擬メモリＵ３ａ，Ｕ３ｂに格納されている符号化済み画面の画像データ（参照画像データ）Ｖａ，Ｖｂに代えて、主メモリＵ３ｄに格納されている各符号化済み画面の画像データが参照画像データＶrefa，Ｖrefとして用いられる。
【０１４０】
また、上記再符号化ストリームＶoutはフレーム目標ビット数計算器Ｕ６に供給され、該計算器Ｕ６では、再符号化ストリームＶoutのビットレートと外部から供給される目標ビットレートＲａｔｅとに基づいて、処理済み画面につづく処理対象画面に対応するフレーム目標ビット数Ｒｄが計算され、上記量子化ステップ導出器Ｕ７４に出力される。
【０１４１】
以下、上記量子化ステップ導出器Ｕ７４の具体的な動作について説明する。
まず、ビット数減算器Ｕ８ｂでは、第１の模擬符号化ビット数Ｒａから第２の模擬符号化ビット数Ｒｂを引き算する減算処理が行われて、これらの模擬符号化ビット数の差分（模擬符号化ビット数変動量）ΔＲabが算出される。また、誤差減算器Ｕ９ｂでは、上記第２の模擬符号化器Ｕ２ｂからの模擬符号化誤差Ｄｂから上記第１の模擬符号化器Ｕ２ａからの模擬符号化誤差Ｄａを引き算する減算処理が行われて、これらの模擬符号化誤差の差分（模擬符号化誤差変動量）ΔＤabが算出される。さらに、除算器Ｕ１０ｂでは、模擬符号化誤差変動量ΔＤabを模擬符号化ビット数変動量ΔＲabにより除算する演算処理が行われて、上記再符号化誤差増加率λ１が導出される。
【０１４２】
そして、最小誤差選択器Ｕ２０では、各符号化単位の間で再符号化誤差増加率λ1の大きさを比較する処理が行われ、フレームビット数（１フレーム分の再符号化ストリームにおけるビット数）がフレーム目標ビット数Ｒｄを超えないよう、上記比較処理結果に応じて、各符号化単位毎に上記第１，第２の模擬符号化器Ｕ２ａ，Ｕ２ｂからの量子化ステップＱａ，Ｑｂの一方を選択するための制御信号Ｑse１が選択スイッチＵ１４に出力される。
該選択スイッチＵ１４では、上記制御信号Ｑse１に基づいて、上記量子化ステップＱａ，Ｑｂの一方が各符号化単位毎に選択され、選択された量子化ステップが最適量子化ステップＱｄとして出力される。
【０１４３】
次に、上記最小誤差選択器Ｕ２０の具体的な動作について説明する。
図１４は、上記最小誤差選択器Ｕ２０により各符号化単位の最適量子化ステップを導出する処理を説明するための図である。図１４(a)は、該量子化ステップ導出処理のフローを示し、図１４(b)は、１画面（１フレーム）における符号化単位の配列を示している。また、図１４(c)は、１フレームにおける各符号化単位に対応する最適量子化ステップＱｄが、上記第１，第２の模擬符号化処理における量子化ステップＱａ，Ｑｂのいずれかに設定された状態を模式的に示している。
【０１４４】
ここで、符号化単位は、１画面（フレーム）における１６×１６画素からなる表示領域（マクロブロック）とし、１フレームにおけるマクロブロックの数をｎ個とする。また、１フレームにおけるｉ（ｉ＝１，２，…，ｎ）番目のマクロブロックＢ［ｉ］に対応する量子化ステップを示す変数をＱ［ｉ］とし、ｉ番目のマクロブロックＢ［ｉ］に対応する復号画像データに対して、量子化ステップＱａ，Ｑｂによる量子化処理を含む模擬符号化処理を施して得られる模擬符号化ビット数をそれぞれ、Ｒａ［ｉ］，Ｒｂ［ｉ］とする。なお、以下、図４に関する説明ではマクロブロックを単にブロックという。
【０１４５】
上記最小誤差選択器Ｕ２０にて、処理対象となっている対象画面（被処理フレーム）における各ブロックの最適量子化ステップを決定する処理では、まず、各ブロックＢ［ｉ］の復号画像データに対して量子化ステップＱａ，Ｑｂによる量子化処理を含む第１，第２の模擬符号化処理を施した場合の第１，第２の模擬符号化ビット数Ｒａ［ｉ］，Ｒｂ［ｉ］が求められ、さらに被処理フレームにおける全ブロックの第１の模擬符号化ビット数Ｒａ［ｉ］の和Ｒ（＝ΣＲａ［ｉ］）が算出される（ステップＳ１）。
【０１４６】
次に、被処理フレームにおける全ブロックについて、対応する量子化ステップを示す変数Ｑ［ｉ］が上記量子化ステップＱａにより初期化される（ステップＳ２）。つまり、この時点で、被処理フレームにおける各ブロックＢ［ｉ］に対応する量子化ステップＱ［ｉ］が一旦すべてＱ［ｉ］＝Ｑａとなる。この結果、被処理フレームにおける全ブロックの模擬符号化ビット数Ｒａ［ｉ］の和Ｒは、Ｒ＝ΣＲａ［ｉ］となる。
その後、その量子化ステップＱ［ｉ］がＱａであり、かつ再符号化誤差増加率λ1（＝（Ｄｂ−Ｄａ）／（Ｒａ−Ｒｂ））が最小となるブロックＢ［ｋ］を検索する処理が行われる（ステップＳ３）。
【０１４７】
続いて、該検索処理により見つけられたブロックＢ［ｋ］の量子化ステップＱ［ｋ］が、量子化ステップＱａからこれより大きい量子化ステップＱｂに変更され、被処理フレームにおける全ブロックの模擬符号化ビット数の和Ｒが、Ｒ＋Ｒｂ［ｋ］−Ｒａ［ｋ］に更新される（ステップＳ４）。
【０１４８】
そして、上記被処理フレームにおける全ブロックの模擬符号化ビット数の和Ｒがフレーム目標ビット数Ｒｄより大きいか否かの判定が行われる（ステップＳ５）。この判定の結果、模擬符号化ビット数の和Ｒがフレーム目標ビット数Ｒｄより大きければ、再度上記ステップＳ３〜ステップＳ５の処理が繰り返し行われる。一方、上記ステップＳ５での判定の結果、模擬符号化ビット数の和Ｒがフレーム目標ビット数Ｒｄ以下であれば、この時点での被処理フレームにおける各ブロックの量子化ステップＱ［ｉ］の値（ＱａあるいはＱｂ）（図１４(c)参照）が、各ブロックに対応する最適量子化ステップＱｄとして出力される（ステップＳ６）。
【０１４９】
このように本実施の形態４の再符号化システム４０では、入力ストリームを復号化して得られる被処理フレームに対応する復号画像データ（復号化ストリーム）Ｖdecに対して、予め量子化ステップＱａ，Ｑｂによる量子化処理を含む第１，第２の模擬符号化処理を符号化単位毎に施す第１，第２の模擬符号化器Ｕ２ａ，Ｕ２ｂを備え、該各模擬符号化処理の結果から各符号化単位に対応する再符号化誤差増加率λ１を求め、被処理フレームにおけるすべての符号化単位の符号化ビット数の総和が目標フレームビット数Ｒｄを越えないよう、被処理フレームにおける再符号化誤差増加率λ１が小さい符号化単位から順に上記両量子化ステップのうちの大きい方Ｑｂを割り当て、被処理フレームにおける残りの符号化単位にその小さい方Ｑａを割り当てる処理を行うので、被処理フレームにおける各符号化単位に対応する再符号化誤差増加率が一定値に近づくこととなる。これにより入力ストリームＶinに含まれる符号化誤差がわからない再符号化処理においても再符号化誤差を小さくすることができ、再符号化ストリームＶoutから再生される画像の画質の劣化を小さく抑えることができる。
【０１５０】
なお、上記実施の形態４では、符号化処理の単位をマクロブロック（１フレームにおける１６×１６画素からなる領域）としているが、符号化処理の単位は上記のようなＭＰＥＧにおけるマクロブロックに限るものではない。例えば、上記符号化処理の単位は、上記マクロブロックを構成する８×８画素からなるサブブロック、あるいは上記マクロブロック数個から構成されるスライスなどであってもよい。
【０１５１】
また、上記実施の形態４では、再符号化システムとして、第１，第２の模擬符号化器Ｕ２ａ，Ｕ２ｂでは主符号化器Ｕ２ｄでの再符号化処理の対象となるフレームに対してのみ、量子化処理を含む模擬符号化処理を行うものを示しているが、上記再符号化システムの構成はこれに限るものではない。
例えば、再符号化システムは、ＭＰＥＧにおける画面間予測符号化処理を行う場合には、第１，第２の模擬符号化器Ｕ２ａ，Ｕ２ｂでは、主符号化器Ｕ２ｄでの再符号化処理の対象となる被処理フレームに対してだけでなく、再符号化処理の際にこの被処理フレームを参照フレームとして用いるその他のフレームに対しても模擬符号化処理を施す構成であってもよい。
【０１５２】
つまりこのような構成の再符号化システムでは、具体的には、主符号化器Ｕ２ｄにて、図２４に示す表示時刻Ｔ３が設定されているＰフレームＦ（３）に対する再符号化処理を行う場合、上記第１，第２の模擬符号化器Ｕ２ａ，Ｕ２ｂにて、該ＰフレームＦ（３）に対してだけでなく、表示時刻Ｔ２，Ｔ４が設定されているＢフレームＦ（２），Ｔ（４）及び表示時刻Ｔ５が設定されているＰフレームＦ（５）に対しての模擬符号化処理が施される。また、各フレームＦ（２）〜Ｆ（５）におけるすべての符号化単位毎に、対応する模擬符号化増加誤差Ｄａ，Ｄｂ、模擬符号化ビット数Ｒａ，Ｒｂが計算され、再符号化誤差増加率λ１が求められる。そしてさらに、上記フレームＦ（３）における各符号化単位には、各フレームＦ（２）〜Ｆ（５）におけるすべての符号化単位毎に対応する再符号化誤差増加率λ１に基づいて、最適量子化ステップとして、上記量子化ステップＱａ，Ｑｂの一方が設定される。
【０１５３】
この場合、フレームＦ（３）における各符号化単位に対応する最適量子化ステップは、フレームＦ（３），Ｆ（２），Ｆ（４），Ｆ（５）に対応する符号化誤差が最小化するよう設定される。
なお、ここで、ＰフレームＦ（３）は、その画像データがＢフレームＦ（２），Ｔ（４），及びＰフレームＦ（５）に対する画面間符号化処理の際に参照されるフレームであることは言うまでもない。
【０１５４】
（実施の形態５）
図１５は本発明の実施の形態５による再符号化システムを説明するためのブロック図である。
本実施の形態５の再符号化システム５０は、上記実施の形態４の再符号化システム４０における第１，第２の模擬符号化器Ｕ２ａ，Ｕ２ｂに加えて、上記復号化器Ｕ１からの画像復号データ（復号化ストリーム）Ｖdecに対して、参照画面の画像データを参照して、上記量子化ステップＱｂより大きい量子化ステップＱｃによる量子化処理及び局所復号化処理を含む第３の模擬符号化処理を符号化単位毎に施す第３の模擬符号化器Ｕ２ｃを有している。この第３の模擬符号化器Ｕ２ｃは、上記第３の模擬符号化処理に含まれる局所復号化処理により得られる局所復号画像データＶstrcを出力するとともに、該模擬符号化処理に含まれる量子化処理にて用いた量子化ステップＱｃ，該模擬符号化処理により生じた符号化誤差（模擬符号化増加誤差）Ｄｃ，及び該模擬符号化処理により発生した模擬符号化ビット数Ｒｃを、各符号化単位毎に出力するよう構成されている。
【０１５５】
また、この再符号化システム５０は、上記実施の形態４の再符号化システム４０における第１，第２の模擬メモリＵ３ａ，Ｕ３ｂに加えて、上記第３の模擬符号化器Ｕ２ｃから出力される局所復号画像データＶstrcを格納する第３の模擬メモリＵ３ｃを有している。また、この第３の模擬メモリＵ３ｃは、上記第３の模擬符号化器Ｕ２ｃからの局所復号画像データＶstrcを格納し、該格納した画像データを、上記被処理画面に続く未処理画面の模擬符号化処理の際に参照画面の画像データＶｃとして第３の模擬符号化器Ｕ２ｃに出力する構成となっている。
【０１５６】
さらに、この再符号化システム５０では、上記主メモリＵ３ｄは、上記格納された局所復号画像データＶstrdを、被処理画面に続く未処理画面に対する再符号化処理の際に参照画面の画像データ（参照画像データ）Ｖrefdとして上記主符号化器Ｕ２ｄに出力するとともに、被処理画面に続く未処理画面に対する第１，第２，第３の模擬符号化処理の際に参照画面の画像データ（参照画像データ）Ｖrefa，Ｖrefb，Ｖrefcとして、上記第１，第２，第３の模擬符号化器Ｕ２ａ，Ｕ２ｂ，Ｕ２ｃに出力する構成となっている。
【０１５７】
このように、主メモリＵ３ｄには、実際に出力されている再符号化ストリームに対応する局所復号化画像データが格納されているため、上記第１，第２，第３の模擬符号化器Ｕ２ａ，Ｕ２ｂ，Ｕ２ｃは、主メモリＵ３ｄに格納されている各符号化済み画面の画像データのうち、第１，第２，第３の模擬メモリＵ３ａ，Ｕ３ｂ，Ｕ３ｂに格納されている符号化済み画面の画像データと同一の画面に対応する画像データについては、第１，第２，第３の模擬メモリＵ３ａ，Ｕ３ｂ，Ｕ３ｃに格納されている符号化済み画面の画像データＶａ，Ｖｂ，Ｖｃに代えて、主メモリＵ３ｄに格納されている各符号化済み画面の画像データＶrefa，Ｖrefb，Ｖrefcを参照するようになっている。
【０１５８】
また、この再符号化システム５０は、上記実施の形態４の再符号化システム４０におけるフレーム目標ビット数計算器Ｕ６に代えて、主符号化器Ｕ２ｄからの再符号化ストリームＶoutに基づいて、再符号化ストリームＶoutのビットレート（現在のビットレート）を外部からの目標ビットレートＲａｔｅと比較し、この比較結果に応じて、被処理フレームに対応する再符号化誤差増加率λをフレーム毎に計算するレート歪計算器Ｕ５を有している。
【０１５９】
ここで、このレート歪計算器Ｕ５では、各フレームに対応する再符号化ストリームＶoutに基づいて、符号化処理中のフレーム（被処理フレーム）の平均的なビットレートが目標ビットレートより大きくなりそうであれば、符号化処理の対象となっている符号化単位に対応する再符号化誤差増加率λとして大きな値を出力し、符号化処理中のフレーム（被処理フレーム）の平均的なビットレートが目標ビットレートより少なくなりそうであれば、符号化処理の対象となっている符号化単位に対応する再符号化誤差増加率λとして小さな値を出力する構成となっている。これは、この実施の形態５の再符号化システム５０では、再符号化誤差増加率λが大きければ、最適量子化ステップＱｄが大きくなって再符号化ストリームＶoutのビットレートが減少し、一方再符号化誤差増加率λが小さければ、最適量子化ステップＱｄが小さくなって再符号化ストリームＶoutのビットレートが増加するようになっているためである。
【０１６０】
さらに、この再符号化システム５０は、上記実施の形態４の再符号化システム４０における量子化ステップ導出器Ｕ７４に代えて、上記第１の模擬符号化器Ｕ２ａから出力される量子化ステップＱａ，模擬符号化増加誤差Ｄａ，及び模擬符号化ビット数Ｒａと、第２の模擬符号化器Ｕ２ｂから出力される量子化ステップＱｂ，模擬符号化増加誤差Ｄｂ，及び模擬符号化ビット数Ｒｂと、第３の模擬符号化器Ｕ２ｃから出力される量子化ステップＱｃ，模擬符号化増加誤差Ｄｃ，及び模擬符号化ビット数Ｒｃと、上記レート歪計算器Ｕ５からの再符号化誤差増加率λとに基づいて、各符号化単位に対応する最適量子化ステップＱｄとして上記量子化ステップＱａ，Ｑｂ及びＱｃのうちの１つを選択して出力する量子化ステップ導出器Ｕ７５を有している。
そして、この実施の形態５の再符号化システム５０におけるその他の構成は、図１１に示す実施の形態４の再符号化システム４０と同一となっている。
【０１６１】
図１６はこの実施の形態５の再符号化システム５０を構成する量子化ステップ導出器Ｕ７５の具体的構成を示すブロック図である。
上記量子化ステップ導出器Ｕ７５は、上記第１，第２の模擬符号化器Ｕ２ａ，Ｕ２ｂからの第１，第２の模擬符号化ビット数Ｒａ，Ｒｂを受け、これらの差分（模擬符号化ビット数変動量）ΔＲabを算出する第１のビット数減算器Ｕ８ｂと、上記第２，第３の模擬符号化器Ｕ２ｂ，Ｕ２ｃからの第２，第３の模擬符号化ビット数Ｒｂ，Ｒｃを受け、これらの差分（模擬符号化ビット数変動量）ΔＲbcを算出する第２のビット数減算器Ｕ８ｃとを有している。
【０１６２】
また、上記量子化ステップ導出器Ｕ７５は、上記第１，第２の模擬符号化器Ｕ２ａ，Ｕ２ｂからの模擬符号化増加誤差Ｄａ，Ｄｂを受け、これらの差分（模擬符号化誤差変動量）Ｄabを算出する第１の誤差減算器Ｕ９ｂと、上記第２，第３の模擬符号化器Ｕ２ｂ，Ｕ２ｃからの模擬符号化増加誤差Ｄｂ，Ｄｃを受け、これらの差分（模擬符号化誤差変動量）Ｄbcを算出する第２の誤差減算器Ｕ９ｃとを有している。
【０１６３】
また、上記量子化ステップ導出器Ｕ７５は、模擬符号化誤差変動量ΔＤabを模擬符号化ビット数変動量ΔＲabにより除算して、各符号化単位に対応する第１の再符号化誤差増加率λ1を導出する第１の除算器Ｕ１０ｂと、模擬符号化誤差変動量ΔＤbcを模擬符号化ビット数変動量ΔＲbcにより除算して、各符号化単位に対応する第２の再符号化誤差増加率λ２を導出する第２の除算器Ｕ１０ｃとを有している。
【０１６４】
また、上記量子化ステップ導出器Ｕ７５は、上記レート歪計算器Ｕ５からの現在の再符号化処理における再符号化誤差増加率λと、上記除算器Ｕ１０ｂからの第１の再符号化誤差増加率λ1とを比較して、比較結果に応じた第１のスイッチ制御信号Ｑsebを出力する第１の比較器Ｕ１１ｂと、上記現在の再符号化処理における再符号化誤差増加率λと、上記除算器Ｕ１０ｃからの第２の再符号化誤差増加率λ２とを比較して、比較結果に応じた第２のスイッチ制御信号Ｑsecを出力する第２の比較器Ｕ１１ｃとを有している。
【０１６５】
そして、上記上記量子化ステップ導出器Ｕ７５は、上記第１，第２のスイッチ制御信号Ｑseb，Ｑsecに基づいて、上記各模擬符号化器Ｕ２ａ，Ｕ２ｂ，Ｕ２ｃから供給される量子化ステップＱａ，Ｑｂ，Ｑｃのうちの１つを選択し、選択された量子化ステップを最適量子化ステップＱｄとして出力する選択スイッチＵ５０を有している。
【０１６６】
具体的には、上記量子化ステップ導出器Ｕ７５は、再符号化誤差増加率λが上記再符号化誤差増加率λ１以下であるときには、スイッチＵ５０では、上記スイッチ制御信号Ｑsebにより、量子化ステップＱａが最適量子化ステップＱｄとして選択され、上記再符号化誤差増加率λが再符号化誤差増加率λ１より大きくかつ再符号化誤差増加率λ２以下であるときには、スイッチＵ５０では、スイッチ制御信号Ｑseb及びスイッチ制御信号Ｑsecにより、量子化ステップＱｂが最適量子化ステップＱｄとして選択され、さらに上記再符号化誤差増加率λが再符号化誤差増加率λ２より大きいときには、スイッチＵ５０では、スイッチ制御信号Ｑsecにより、量子化ステップＱｃが最適量子化ステップＱｄとして選択されるようになっている。
【０１６７】
次に動作について説明する。
この再符号化システム５０に入力ストリームＶinが供給されると、復号化器Ｕ１では、実施の形態４と同様、符号化ストリームである入力ストリームＶinに対して復号化処理が施され、第１，第２の模擬符号化器Ｕ２ａ，Ｕ２ｂにて復号化ストリームＶdecに対して第１，第２の模擬符号化処理が施される。
このとき、本実施の形態５では、第３の模擬符号化器Ｕ２ｃにて、上記第１，第２の模擬符号化器Ｕ２ａ，Ｕ２ｂにおける第１，第２の模擬符号化処理と同様な第３の模擬符号化処理が上記復号化ストリームＶdecに対して施される。
【０１６８】
つまり、第３の模擬符号化器Ｕ２ｃでは、第３の模擬メモリＵ３ｃに格納されている参照画像データＶｃあるいは主メモリＵ３ｄに格納されている参照画像データＶrefcを参照して、処理対象となっている処理画面の復号化ストリームＶdecに対して、量子化ステップＱｃ（Ｑｃ＞Ｑｂ＞Ｑａ）による量子化処理及び局所復号化処理を含む第３の模擬符号化処理が施される。なお、上記量子化ステップＱｃは上記逆量子化処理で用いられた量子化ステップＱinより小さくならいよう設定される。これにより上記第３の模擬符号化器Ｕ２ｃからは、局所復号化画像データＶstrcが出力されるとともに、各符号化単位に対応する量子化ステップＱｃ，模擬符号化ビット数Ｒｃ，及び模擬符号化誤差Ｄｃが出力される。
【０１６９】
このとき、上記第３の模擬メモリＵ３ｃには上記局所復号化画像データＶstrcが、符号化処理済みの画面（フレーム）に対応する画像データとして格納される。このように第３の模擬メモリＵ３ｃに格納された画像データは、未処理画面に対応する画像データの模擬符号化処理の際に、上記参照画面データＶｃとして用いられる。
【０１７０】
そして、上記量子化ステップ導出部Ｕ７５では、上記第１，第２，第３の模擬符号化器Ｕ２ａ，Ｕ２ｂ，Ｕ２ｃからの量子化ステップＱａ，Ｑｂ,Ｑｃ、模擬符号化ビット数Ｒａ，Ｒｂ，Ｒｃ、及び模擬符号化誤差Ｄａ，Ｄｂ，Ｄｃに基づいて、各ブロック（符号化単位）に対応する再符号化誤差増加率が、被処理画面に対応する平均的な再符号化誤差増加率（目標再符号化誤差増加率）λを超えないよう、各符号化単位に対応する最適量子化ステップＱｄが導出される。
【０１７１】
すると、上記主符号化器Ｕ２ｄでは、実施の形態４と同様、上記復号画像データＶdecに対して、最適量子化ステップＱｄによる量子化処理及び局所復号化処理を含む再符号化処理が、主メモリＵ３ｄに格納されている参照画像データＶrefdを参照して施される。これにより、主符号化器Ｕ２ｄからは再符号化ストリームＶoutが出力されるとともに、局所復号化画像データＶstrdが出力される。
【０１７２】
また、レート歪計算器Ｕ５では、各フレームに対応する再符号化ストリームＶoutに基づいて、符号化処理中のフレームの平均的なビットレートが該フレームの目標ビットレートより大きくなりそうであれば、再符号化誤差増加率λとして大きな値が出力され、符号化処理中のフレームの平均的なビットレートが該フレームの目標ビットレートより少なくなりそうであれば、再符号化誤差増加率λとして小さな値が出力される。
【０１７３】
以下、上記量子化ステップ導出器Ｕ７５の具体的な動作について説明する。
まず、この実施の形態５では、第１のビット数減算器Ｕ８ｂにおける模擬符号化ビット数変動量ΔＲabを算出する減算処理、第１の誤差減算器Ｕ９ｂにおける模擬符号化誤差変動量ΔＤabを算出する減算処理、及び第１の除算器Ｕ１０ｂにおける再符号化誤差増加率λ１を導出する演算処理が行われるとともに、第２のビット数減算器Ｕ８ｃにおける模擬符号化ビット数変動量ΔＲbcを算出する減算処理、第２の誤差減算器Ｕ９ｃにおける模擬符号化誤差変動量ΔＤbcを算出する減算処理、及び第２の除算器Ｕ１０ｃにおける再符号化誤差増加率λ２を導出する演算処理が行われる。
【０１７４】
ここで、第１のビット数減算器Ｕ８ｂ，第１の誤差減算器Ｕ９ｂ，第１の除算器Ｕ１０ｂにおける処理は、実施の形態４のものと全く同一であり、第２のビット数減算器Ｕ８ｃ，第２の誤差減算器Ｕ９ｃ，第２の除算器Ｕ１０ｃにおける処理は、上記減算器Ｕ８ｂ，減算器Ｕ９ｂ，除算器Ｕ１０ｂにおける処理と同様なものとなっている。
【０１７５】
つまり、上記第２のビット数減算器Ｕ８ｃでは、第２の模擬符号化ビット数Ｒｂから第３の模擬符号化ビット数Ｒｃを引き算する減算処理が行われて、これらの差分（模擬符号化ビット数変動量）ΔＲbcが算出される。また、第２の誤差減算器Ｕ９ｃでは、上記第３の模擬符号化器Ｕ２ｃからの模擬符号化増加誤差Ｄｃから上記第２の模擬符号化器Ｕ２ｂからの模擬符号化増加誤差Ｄｂを引き算する減算処理が行われて、これらの差分（模擬符号化誤差変動量）ΔＤbcが算出される。さらに、第２の除算器Ｕ１０ｃでは、模擬符号化誤差変動量ΔＤbcを模擬符号化ビット数変動量ΔＲbcで除算する演算処理が行われて、上記第２の再符号化誤差増加率λ２が導出される。
【０１７６】
また、上記除算器Ｕ１０ｂからの第１の再符号化誤差増加率λ１は、第１の比較器Ｕ１１ｂにて、現在の再符号化処理における再符号化誤差増加率λと比較されて、比較結果に応じた第１のスイッチ制御信号Ｑsebが出力される。上記除算器Ｕ１０ｃからの第２の再符号化誤差増加率λ２は、第２の比較器Ｕ１１ｃにて、現在の再符号化処理における再符号化誤差増加率λと比較されて、比較結果に応じた第２のスイッチ制御信号Ｑsecが出力される。
【０１７７】
そして、上記選択スイッチＵ５０では、上記第１，第２のスイッチ制御信号Ｑseb，Ｑsecに基づいて、上記各模擬符号化器Ｕ２ａ，Ｕ２ｂ，Ｕ２ｃから供給される量子化ステップＱａ，Ｑｂ，Ｑｃのうちの１つが選択され、選択された量子化ステップが最適量子化ステップＱｄとして出力される。
【０１７８】
具体的には、再符号化誤差増加率λが上記再符号化誤差増加率λ１以下であるときには、スイッチＵ５０では、上記スイッチ制御信号Ｑsebにより、量子化ステップＱａが最適量子化ステップＱｄとして選択される。また、上記再符号化誤差増加率λが再符号化誤差増加率λ１より大きくかつ再符号化誤差増加率λ２以下であるときには、スイッチＵ５０では、スイッチ制御信号Ｑseb及びスイッチ制御信号Ｑsecにより、量子化ステップＱｂが最適量子化ステップＱｄとして選択される。さらに上記再符号化誤差増加率λが再符号化誤差増加率λ２より大きいときには、スイッチＵ５０では、スイッチ制御信号Ｑsecにより、量子化ステップＱｃが最適量子化ステップＱｄとして選択される。
【０１７９】
このように本実施の形態５では、主符号化器Ｕ２ｄからの再符号化ストリームＶoutに基づいて、再符号化ストリームＶoutのビットレート（現在のビットレート）を外部からの目標ビットレートＲａｔｅと比較し、この比較結果に応じて、被処理フレームに対応する画質の指標となる平均的な再符号化誤差増加率λを計算するレート歪計算器Ｕ５を備え、それぞれ、量子化ステップＱａ，Ｑｂ．Ｑｃ（Ｑａ＜Ｑｂ＜Ｑｃ）が異なる第１，第２，第３の模擬符号化器Ｕ２ａ，Ｕ２ｂ，Ｕ２ｂでの符号化結果から得られる、符号化単位に対応する第１，第２の再符号化誤差増加率λ1，λ２（λ１＜λ２）が、上記１フレームの平均的な再符号化誤差増加率λより小さいときには、そのブロックに対応する最適量子化ステップＱｄを量子化ステップＱｂ，Ｑｃにするようにしたので、画質の劣化を抑えつつ、ビットレートを低減することができる。
【０１８０】
なお、上記実施の形態５では、３つの模擬符号化器を有し、第１，第２の再符号化誤差増加率λ1，λ２を、上記１フレームの平均的な再符号化誤差増加率λと比較して、各ブロックに対応する最適量子化ステップＱｄを決定するものを示したが、再符号化システムにおける模擬符号化器の個数は３つに限るものではなく、実施の形態４における再符号化システム４０のように２つであっても、あるいは４つ以上であってもよい。
【０１８１】
例えば、模擬符号化器として第１，第２の模擬符号化器を有する再符号化システムでは、上記量子化ステップ導出器Ｕ７５は、量子化ステップＱａ，Ｑｂ（Ｑａ＜Ｑｂ）が異なる第１，第２の模擬符号化器Ｕ２ａ，Ｕ２ｂでの符号化結果から得られる、符号化単位に対応する第１の再符号化誤差増加率λ1が、上記１フレームの平均的な再符号化誤差増加率λより小さいときには、そのブロックに対応する最適量子化ステップＱｄを量子化ステップＱａ及びＱｂのうちの大きい方を選択し、第１の再符号化誤差増加率λ1が、上記１フレームの平均的な再符号化誤差増加率λより小さくないときには、量子化ステップＱａ及びＱｂのうちの小さい方を選択する構成となる。
【０１８２】
（実施の形態６）
図１７は本発明の実施の形態６による再符号化システムを説明するためのブロック図であり、この実施の形態６の再符号化システムにおける量子化ステップ導出器の構成を示している。
この実施の形態６の再符号化システムは、上記実施の形態５の再符号化システム５０の量子化ステップ導出器Ｕ７５に代えて、各模擬符号化器での模擬符号化処理の結果得られる量子化ステップＱｂ，Ｑｃ、模擬符号化ビット数Ｒａ，Ｒｂ，Ｒｃ、及び模擬符号化増加誤差Ｄａ，Ｄｂ，Ｄｃに基づいて、再符号化誤差増加率λと量子化ステップＱとの関係式を求め、この関係式と、レート歪計算器Ｕ５からの目標再符号化誤差増加率λとに基づいて、各符号化単位に対応する最適量子化ステップＱｄを求める量子化ステップ導出器Ｕ７６を備えたものである。そして、この実施の形態６の再符号化システムにおけるその他の構成は、上記実施の形態５の再符号化システムと同一である。
【０１８３】
以下、図１７を用いて、この実施の形態６の再符号化システムを構成する量子化ステップ導出器Ｕ７６の具体的構成について説明する。
本実施の形態６の量子化ステップ導出器Ｕ７６は、実施の形態５の量子化ステップ導出器Ｕ７５の第１，第２の比較器Ｕ１１ｂ，Ｕ１１ｃ及びスイッチＵ５０に代えて、目標再符号化誤差増加率λとビットレートＲとの関係を示す誤差ＲＤ関数ｆを導出する誤差ＲＤ導出器Ｕ１２と、この誤差ＲＤ関数ｆを用いて、量子化ステップＱと再符号化ビット数（復号化ストリームＶdecの符号化処理により得られる符号化単位に対応するビット数）Ｒとの関係から、再符号化誤差増加率λに対応する最適量子化ステップを符号化単位毎に算出する量子化ステップ計算器Ｕ３１とを備えている。ここで、ビットレートは、符号化単位に対応して発生するビット数と等価である。
【０１８４】
以下、上記誤差ＲＤ導出器Ｕ１２及び量子化ステップ計算器Ｕ３１について具体的に説明する。
一般に各ブロック（符号化単位）に対応する符号化ビット数Ｒと、各ブロックに対応する符号化誤差Ｄとの間には、下記の式６で表される関数（レート誤差関数）が成立する。
Ｄ＝ｇ（Ｒ）      （式６）
【０１８５】
そこで、再符号化処理では、再符号化ストリームに含まれる符号化誤差Ｄは、下記の式７により表される。
ΔＤ＋Ｄin＝ｇ（Ｒ）  (式７)
ここで、ΔＤは、再符号化増加誤差（再符号化処理により増加する符号化誤差）、Ｄinは、入力ストリームＶinの符号化誤差である。
【０１８６】
従って、再符号化誤差増加率λは、下記の式８で表される。
λ＝∂Ｄ／∂Ｒ＝∂ΔＤ／∂Ｒ＝∂ｇ(Ｒ)／∂Ｒ    (式８)
ここで、上記関数ｇ(Ｒ)は、下記の式９に示すように近似できることが知られている。
ｇ(Ｒ)＝Ａ・ＲB      （式９）
ここで、ＡとＢは定数である。
【０１８７】
従って、上記式８及び式９より、再符号化誤差増加率λは以下の式１０により表される。
λ＝Ａ・ＲB-1        (式１０)
【０１８８】
ここで、再符号化誤差増加率λ１を、Ｒ＝Ｒｂであるときの再符号化誤差増加率λとし、再符号化誤差増加率λ２を、Ｒ＝Ｒｃであるときの再符号化誤差増加率λであるとすれば、上記の式１０より上記定数Ａ，Ｂを求めることができる。この結果、下記の式１１で示す誤差ＲＤ関数fが導出される。
Ｒ＝ｆ（λ）        (式１１)
上記誤差ＲＤ導出器Ｕ１２は、第２，第３の模擬符号化器Ｕ２ｂ，Ｕ２ｃからの再符号化ストリームのビットレートＲｂ，Ｒｃ、及び除算器Ｕ１０ｂ，Ｕ１０ｃからの再符号化誤差増加率λ１，λ２に基づいて、上記式１１で示される関数ｆを導出する演算処理を行う構成となっている。
【０１８９】
一方、量子化ステップＱとビットレートＲとの間には、以下の式１２で示す関係が成立する。
Ｒ＝α・Ｑβ        (式１２)
【０１９０】
ここで、αとβは定数であり、上記式１２に、ビットレートＲｂ，Ｒｃと、量子化ステップＱｂ，Ｑｃを代入すれば、αとβが得られる。この結果、下記の式１３で示す関数ｈが導出される。
Ｒ＝ｈ（Ｑ）        （式１３）
【０１９１】
従って、上記式１１と式１３から、再符号化誤差増加率λに対応する量子化ステップＱの関係を示す関数ｓが以下の式１４で示すように求められる。
Ｑ＝ｓ（λ）        （式１４）
【０１９２】
言い換えると、この式１４を用いて、再符号化誤差増加率λに対応する量子化ステップを、最適量子化ステップＱｄとして導出できる。
上記量子化ステップ計算器Ｕ３１は、第２の模擬符号化器Ｕ２ｂからの模擬符号化ビット数Ｒｂ及び第２の模擬符号化処理における量子化ステップＱｂと、第３の模擬符号化器Ｕ２ｃからの模擬符号化ビット数Ｒｃ及び第３の模擬符号化処理における量子化ステップＱｃとに基づいて、上記式１３で示される関数ｈを導出する演算処理を行うとともに、この関数ｈと、上記誤差ＲＤ導出器Ｕ１２で求められた関数ｆとから上記関数ｓを求め、さらに、この関数ｓから、上記レート歪計算器Ｕ５にて求められた目標再符号化誤差増加率λに対応する量子化ステップを最適量子化ステップＱｄとして求める構成となっている。
【０１９３】
次に動作について説明する。
この実施の形態６の再符号化システムは、量子化ステップ導出器Ｕ７６の動作以外は実施の形態５の再符号化システム５０と全く同様な動作をする。
そこで以下、量子化ステップ導出器Ｕ７６の動作について説明する。
まず、この実施の形態６では、第１のビット数減算器Ｕ８ｂにおける模擬符号化ビット数変動量ΔＲabを算出する減算処理、第１の誤差減算器Ｕ９ｂにおける模擬符号化誤差変動量ΔＤabを算出する減算処理、及び第１の除算器Ｕ１０ｂにおける再符号化誤差増加率λ１を導出する演算処理が行われとともに、第２のビット数減算器Ｕ８ｃにおける模擬符号化ビット数変動量ΔＲbcを算出する減算処理、第２の誤差減算器Ｕ９ｃにおける模擬符号化誤差変動量ΔＤbcを算出する減算処理、及び第２の除算器Ｕ１０ｃにおける再符号化誤差増加率λ２を導出する演算処理が行われる。
【０１９４】
すると、誤差ＲＤ導出器Ｕ１２は、第２，第３の模擬符号化器Ｕ２ｂ，Ｕ２ｃにて得られる模擬符号化ビット数Ｒｂ，Ｒｃ、及び第１，第２の除算器Ｕ１０ｂ，Ｕ１０ｃからの再符号化誤差増加率λ１，λ２に基づいて、上記式１１で示される関数ｆ（Ｒ＝ｆ（λ））が導出される。
【０１９５】
また、上記量子化ステップ計算器Ｕ３１では、第２の模擬符号化処理による模擬符号化ビット数Ｒｂ及び第２の模擬符号化処理における量子化ステップＱｂと、第３の模擬符号化処理による模擬符号化ビット数Ｒｃ及び第３の模擬符号化処理における量子化ステップＱｃとに基づいて、上記式１３で示される関数ｈ（Ｒ＝ｈ（Ｑ））を導出する演算処理が行われる。さらに、この関数ｈと、上記誤差ＲＤ導出器Ｕ１２で求められた関数ｆとから、上記式１４で示される関数ｓ（Ｑ＝ｓ（λ））が求められる。そして、この関数ｓを用いて、上記レート歪計算器Ｕ５にて求められた目標再符号化誤差増加率λに対応する量子化ステップが最適量子化ステップＱｄとして求められる。
【０１９６】
このように本実施の形態６の再符号化システムでは、量子化ステップ導出器Ｕ７６を、模擬符号化処理の結果に基づいて、再符号化誤差増加率λとビットレートの関係を示す関数ｆ（Ｒ＝ｆ（λ））を導出する誤差ＲＤ導出器Ｕ１２と、該関数ｆと上記模擬符号化処理の結果に基づいて、再符号化誤差増加率λと量子化ステップとの関係を示す関数ｓ（Ｑ＝ｓ（λ））を求め、この関数ｓを用いて、レート歪計算器Ｕ５にて求められた目標再符号化誤差増加率λに対応する量子化ステップを最適量子化ステップＱｄとして各符号化単位毎に導出する量子化ステップ計算機Ｕ３１とを有する構成としたので、各符号化単位に対応する最適量子化ステップＱｄを細かく設定することができる。
【０１９７】
なお、この実施の形態６では、模擬符号化増加誤差Ｄｂ，Ｄａの差、模擬符号化ビット数Ｒａ，Ｒｂの差、模擬符号化増加誤差Ｄｂ，Ｄｃの差、模擬符号化ビット数Ｒｂ，Ｒｃの差に基づいて、誤差ＲＤ関数fを導出したが、上記模擬符号化増加誤差の差分には、模擬符号化増加誤差Ｄｃ，Ｄａの差分を用いてもよく、また、符号化単位（ブロック）当りの模擬符号化ビット数の差分には、再符号化ビット数Ｒａ，Ｒｃの差分を用いてもよい。
【０１９８】
（実施の形態７）
図１８は本発明の実施の形態７による再符号化システムを説明するためのブロック図であり、この実施の形態７の再符号化システムにおける量子化ステップ導出器の構成を示している。
この実施の形態７の再符号化システムは、上記実施の形態６の再符号化システムの量子化ステップ導出器Ｕ７６に代えて、再符号化誤差増加率λ１の大きさに応じて、量子化ステップ計算器Ｕ３１から出力される量子化ステップＱｆと、上記量子化ステップＱａ，Ｑｂ，Ｑｃのうちでの最小の量子化ステップＱａの一方を選択し、該選択された量子化ステップを最適量子化ステップＱｄとして出力する量子化ステップ導出器Ｕ７７を備えたものである。
【０１９９】
以下、図１８を用いて、この実施の形態７の再符号化システムを構成する量子化ステップ導出器Ｕ７７の具体的構成について説明する。
この量子化ステップ導出器Ｕ７７は、上記実施の形態６の量子化ステップ導出器Ｕ７６の構成に加えて、第１の除算器Ｕ１０ｂからの第１の再符号化誤差増加率λ１と、レート歪計算器からの目標再符号化誤差増加率λとを比較してスイッチ制御信号Ｑseを出力する比較器Ｕ１１と、該スイッチ制御信号Ｑseに応じて、量子化ステップ計算器Ｕ３１から出力される量子化ステップＱｆ及び上記最小の量子化ステップＱａの一方を選択する選択スイッチＵ７０とを備え、該選択された量子化ステップを最適量子化ステップＱｄとして出力する構成となっている。
【０２００】
以下、上記比較器Ｕ１１の具体的な構成について簡単に説明する。
一般的に再符号化システムでは、入力ストリームＶinに施された符号化処理における量子化ステップＱinの大きさと、再符号化処理における量子化ステップＱｄの大きさの差が大きい場合は、つまり、再符号化誤差増加率が大きい場合は、量子化ステップＱｄが大きくなるにつれて再符号化誤差増加率λが単調増加するという現象が現れる。一方、入力ストリームＶinに対する符号化処理における量子化ステップＱinの大きさと、再符号化処理における量子化ステップＱｄの大きさの差が小さい場合は、つまり、再符号化誤差増加率が小さい場合は、量子化ステップＱｄが大きくなっても必ずしも再符号化誤差増加率λが増加するとは限らず、場合によっては減少することもありうる。この点については、上記実施の形態２にて図７を用いて説明した通りであり、また文献（電子情報通信学会研究会報告IE99-32 MPEG2再符号化における再量子化誤差の検討）に詳しく記載されている。
【０２０１】
つまり、図７では、再符号化データにおける量子化誤差は、そのビットレートが高い場合、即ち、第１の量子化処理（符号化処理における量子化処理）における量子化ステップ値ＱＰｉと、第２の量子化処理（再符号化処理における量子化処理）における量子化ステップ値ＱＰｒとの差が小さい場合に大きく、一方、第２の量子化処理における量子化ステップ値ＱＰｒが２ＱＰ（ＱＰｉ＝ＱＰ）以上であって、再符号化データのビットレートが低い場合には、直接符号化処理における量子化誤差と再符号化処理による量子化誤差の差は殆ど無くなることが示されている。ここで、再符号化データにおける量子化誤差の増減は、再符号化誤差増加率の増減に対応したものとなっている。
【０２０２】
そこで、上記比較器Ｕ１１は、模擬符号化処理により得られる符号化単位（被処理ブロック）に対応する再符号化誤差増加率λ１が、被処理フレームに対する目標再符号化誤差増加率λより小さいときには、上記選択スイッチＵ７０が、第１，第２，第３の模擬符号化処理における量子化ステップＱａ，Ｑｂ，Ｑｃ（Ｑａ＜Ｑｂ＜Ｑｃ）のうちでの最小の量子化ステップＱａを選択し、上記再符号化誤差増加率λ１が再符号化誤差増加率λ以上であるときには、上記選択スイッチＵ７０が、上記量子化ステップ計算器Ｕ３１からの量子化ステップＱｆを選択するよう、上記選択スイッチＵ７０を制御する構成となっている。
言い替えると、この実施の形態７は、上記実施の形態６の再符号化システムと実施の形態２の再符号化システムとを組み合わせて得られる構成に相当している。具体的には、この実施の形態７の量子化ステップ導出器Ｕ７７における比較器Ｕ１１及び選択スイッチＵ７０は、上記実施の形態２の量子化装置１５２における量子化ステップ導出器２５２に相当し、上記量子化ステップ導出器Ｕ７７における比較器Ｕ１１及び選択スイッチＵ７０以外の部分が、上記実施の形態２の量子化装置１５２における量子化ステップ候補導出器２５０に相当している。
そして、この実施の形態７の量子化ステップ導出器Ｕ７７では、模擬符号化処理により得られる再符号化誤差増加率λ１を被処理フレームに対する目標再符号化誤差増加率λと比較し、λ１＜λのとき、上記各模擬符号化処理における最小の量子化ステップＱａを、λ１≧λのとき、上記量子化ステップ計算器Ｕ３１からの量子化ステップＱｆを、再符号化処理における量子化ステップとして選択するようにしている。このような量子化ステップの導出処理は、上記実施の形態２にて、量子化ステップ候補Ｑｓｂを閾値Ｑｔｈ（＝ｎ×Ｑｓ１）及び定数倍値Ｑｍｕ（＝ｍ×Ｑｓ１＞Ｑｔｈ）と比較し、Ｑｓｂ＜Ｑｍｕのとき、量子化ステップとして第１の量子化ステップＱｓ１あるいは定数倍値Ｑｍｕを選択し、Ｑｍｕ≦Ｑｓｂのとき、量子化ステップとして量子化ステップ候補Ｑｓｂを選択する処理と同等なものである。
【０２０３】
次に動作について説明する。
この実施の形態７の再符号化システムは、量子化ステップ導出器Ｕ７７の動作以外は実施の形態５の再符号化システム５０と全く同様な動作をする。
そこで以下、量子化ステップ導出器Ｕ７７の動作について説明する。
この実施の形態７では、減算器Ｕ８ｂ，Ｕ８ｃ、減算器Ｕ９ｂ，Ｕ９ｃ、除算器Ｕ１０ｂ，Ｕ１０ｃ、誤差ＲＤ計算器Ｕ１２、及び量子化ステップ計算器Ｕ３１では、上記実施の形態６と全く同一の演算処理が行われる。これにより上記除算器Ｕ１０ｂ，Ｕ１０ｃからは、符号化単位（被処理ブロック）に対応する第１，第２の再符号化誤差増加率λ１，λ２が出力される。また、誤差ＲＤ計算器Ｕ１２からは、誤差ＲＤ関数ｆが導出され、量子化ステップ計算器Ｕ３１からは、被処理ブロックに対応する量子化ステップとして、被処理フレームに対応する目標再符号化誤差増加率λに応じた値Ｑｆが出力される。
【０２０４】
そして、上記比較器Ｕ１１では、被処理ブロックに対応する第１の再符号化誤差増加率λ１と、被処理フレームに対応する目標再符号化誤差増加率λとの大小比較が行われ、比較結果に応じてスイッチ制御信号Ｑseが上記選択スイッチＵ７０に出力される。該選択スイッチＵ７０では、スイッチ制御信号Ｑseに応じて、量子化ステップ計算器Ｕ３１からの量子化ステップＱｆと、第１の模擬符号化処理における量子化ステップＱａの一方が最適量子化ステップＱｄとして選択されて出力される。
【０２０５】
具体的には、上記被処理ブロックに対応する第１の再符号化誤差増加率λ１が、被処理フレームに対応する目標の再符号化誤差増加率λより小さいときには、上記スイッチ制御信号Ｑseにより、上記選択スイッチＵ７０では量子化ステップＱａが最適量子化ステップＱｄとして選択され、上記第１の再符号化誤差増加率λ１が目標の再符号化誤差増加率λより小さくないときには、上記選択スイッチＵ７０では量子化ステップ計算器Ｕ３１からの量子化ステップＱｆが最適量子化ステップＱｄとして選択される。
【０２０６】
このように本実施の形態７の再符号化システムでは、量子化ステップ導出器Ｕ７７を、上記実施の形態６の量子化ステップ導出器Ｕ７６の構成に加えて、除算器Ｕ１０ｂからの再符号化誤差増加率λ１をレート歪計算器からの目標再符号化誤差増加率λと比較して、比較結果に応じたスイッチ制御信号Ｑseを出力する比較器Ｕ１１を有し、再符号化誤差増加率λ１がレート歪計算器からの目標再符号化誤差増加率λより小さいときのみ、被処理ブロックに対応する量子化ステップとして、量子化ステップ計算器Ｕ３１により得られる量子化ステップＱｆに代えて、模擬符号化処理における最小の量子化ステップＱａを選択するようにしたので、再符号化誤差増加率が、量子化ステップの増加に対する再符号化誤差増加率の変化が単調増加でなく、量子化ステップ計算器Ｕ３１により、再符号化誤差が最小となる最適量子化ステップＱｄを導出困難な範囲内の値であるときには、常に、模擬符号化処理における最小の量子化ステップＱａが、被処理ブロックの最適量子化ステップＱｄとして用いられることとなる。
【０２０７】
このため、被処理フレームの目標再符号化誤差増加率λが、入力ストリームＶinの量子化ステップＱinと、入力ストリームＶinに対する再符号化処理における量子化ステップＱｄとの差分が小さくなる範囲内の値である場合には、動作が不安定になることを防止することができる。また、上記被処理フレームの目標再符号化誤差増加率λが上記範囲外の値であるときには、量子化ステップ計算器Ｕ３１により導出した量子化ステップＱｆを量子化ステップＱｄとすることにより、再符号化誤差を最小化することができる。
【０２０８】
なお、上記実施の形態６及び７では、再符号化ストリームの符号化単位当たりの符号化ビット数Ｒと再符号化誤差増加率λとの関係を示す関数として、式１１に示す誤差ＲＤ関数ｆを示したが、これらの関係を示す関数はこれに限るものではない。
【０２０９】
例えば、模擬符号化増加誤差Ｄａ，Ｄｂ，Ｄｃ、及び模擬符号化ビット数Ｒａ，Ｒｂ，Ｒｃから、上記式１１に示す誤差ＲＤ関数ｆと同様な傾向，性質を有する他の誤差ＲＤ関数が導出できれば、この他の誤差ＲＤ関数を、符号化ビット数Ｒと再符号化誤差増加率λとの関係を示す関数として使用してもよい。
【０２１０】
また、上記実施の形態５ないし７では、再符号化システムとして、第１，第２，第３の模擬符号化器Ｕ２ａ，Ｕ２ｂ，Ｕ２ｃでは主符号化器Ｕ２ｄでの再符号化処理の対象となるフレームに対してのみ、量子化処理を含む模擬符号化処理を行うものを示しているが、上記再符号化システムの構成はこれに限るものではない。
【０２１１】
例えば、上記実施の形態４にて具体的に説明したように、再符号化システムは、ＭＰＥＧにおける画面間予測符号化処理を行う場合には、第１，第２，第３の模擬符号化器Ｕ２ａ，Ｕ２ｂ，Ｕ２ｃでは、主符号化器Ｕ２ｄでの再符号化処理の対象となる被処理フレームに対してだけでなく、再符号化処理の際にこの被処理フレームを参照フレームとして用いるその他のフレームに対しても模擬符号化処理を施す構成であってもよい。
【０２１２】
さらに、上記実施の形態１〜７の再符号化システムによる再符号化処理をソフトウエアにより行うための処理プログラムを、フロッピディスクなどのデータ記憶媒体に記録するようにすることにより、上記各実施の形態の再符号化処理を、独立したコンピュータシステムにより簡単に実現することが可能となる。
【０２１３】
図１９は、上記各実施の形態の再符号化処理をコンピュータシステムにより行うためのプログラムを格納したデータ記録媒体（図１９(a)，(b)）、及び上記コンピュータシステム（図１９(c)）を説明するための図である。
図１９(a)は、フロッピーディスクの正面からみた外観、断面構造、及びフロッピーディスクを示し、図１９(b) は、記録媒体本体であるフロッピーディスクの物理フォーマットの例を示している。フロッピーディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフロッピーディスクでは、上記フロッピーディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。
また、図１９(c) は、フロッピーディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフロッピーディスクＦＤに記録する場合は、コンピュータシステムＣｓによりから上記プログラムとしてのデータをフロッピーディスクドライブを介してフロッピーディスクＦＤに書き込む。また、フロッピーディスク内のプログラムにより上記各実施の形態の再符号化処理を行うシステムをコンピュータシステム中に構築する場合は、フロッピーディスクドライブによりプログラムをフロッピーディスクから読み出し、コンピュータシステムに転送する。
【０２１４】
なお、上記説明では、データ記憶媒体の具体例としてフロッピーディスクを挙げたが、光ディスクを用いても上記フロッピーディスクの場合と同様にソフトウェアによる再符号化処理を行うことができる。さらに、データ記憶媒体は上記光ディスクやフロッピーディスクに限るものではなく、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであればどのようなものでもよく、これらのデータ記録媒体を用いる場合でも、上記フロッピーディスク等を用いる場合と同様にソフトウェアによる再符号化処理を実施することができる。
【０２１５】
【発明の効果】
以上のようにこの発明に係る符号化データ変換方法によれば、第１の直交変換処理及び第１の量子化処理を含む符号化処理により得られた符号化データを復号化して復号化データを生成する復号化処理と、該復号化データに対して第２の直交変換処理及び第２の量子化処理を施して再符号化データを生成する再符号化処理とを含み、上記再符号化処理では、上記第２の量子化処理を、上記再符号化データ及び上記第１の量子化処理における量子化ステップに基づいて行うので、上記第２の量子化処理における量子化ステップを、上記第１の量子化ステップにおける量子化ステップに応じて設定することが可能となる。つまり、上記再符号化データに基づく再符号化処理における目標ビット数の制約の下で、上記第２の量子化処理における量子化ステップを、再符号化処理におけるビットレートと量子化歪（量子化誤差）との非線形な関係を考慮して、量子化誤差ができるだけ小さくなるよう設定することができる。これにより再符号化処理における量子化誤差の増大を、ビットレートの制約の下で効果的に抑制することができるという効果がある。
【０２１６】
この発明によれば、上記符号化データ変換方法において、上記第２の量子化処理，つまり再符号化処理における量子化処理では、上記再符号化データに基づいて量子化ステップ候補を導出し、該量子化ステップ候補と上記第１の量子化処理における量子化ステップとに基づいて量子化ステップを導出するので、上記量子化ステップ候補と上記第１の量子化処理における量子化ステップのうちで大きい方を第２の量子化処理における量子化ステップとして選択するという簡単な処理により、量子化誤差の増大を抑えつつ再符号化処理により発生するビット数を目標ビット数以下にすることができるという効果がある。
【０２１７】
この発明によれば、上記符号化データ変換方法において、上記第２の量子化処理（再符号化処理における量子化処理）における量子化ステップを導出する処理では、上記量子化ステップ候補の大きさに応じて、上記第２の量子化処理における量子化ステップとして、上記第１の量子化処理における量子化ステップと同じ値の量子化ステップ、その２倍以上である量子化ステップ、あるいは上記量子化ステップ候補を導出するので、第２の量子化処理における量子化ステップとしては、上記第１の量子化処理における量子化ステップの１倍からその２倍までの範囲以外の値を設定することが可能となる。これにより、符号化データに対してビット数を増やさずに、量子化誤差の著しい増大を招くことなく、再符号化処理により発生するビット数を目標ビット数以下にすることができるという効果がある。
【０２２２】
この発明に係るデータ記録媒体によれば、上記符号化データ変換方法により第１の符号化データを第２の符号化データに変換する処理をコンピュータにより行うプログラムを格納したので、再符号化処理を、量子化誤差の増大を効果的に抑制して行うことができるという効果を有する。
【図面の簡単な説明】
【図１】本発明の実施の形態１による再符号化システム１０を説明するためのブロック図である。
【図２】上記実施の形態１の再符号化システム１０を構成する量子化装置１５１を説明するためのブロック図である。
【図３】上記実施の形態１の量子化装置１５１を構成する量子化ステップ導出器２５１を説明するためのブロック図である。
【図４】本発明の実施の形態２による再符号化システムを構成する量子化装置１５２を説明するためのブロック図である。
【図５】上記実施の形態２の量子化装置１５２を構成する量子化ステップ導出器２５２を説明するためのブロック図である。
【図６】上記実施の形態２の量子化ステップ導出器２５２により得られる第２の量子化ステップＱｓ２と、上記実施の形態２の量子化装置１５２を構成する量子化ステップ候補導出器２５０より出力される量子化ステップ候補Ｑｓｂとの関係をグラフにより示す図である。
【図７】再符号化処理によるビットレートと量子化歪（量子化誤差）の関係を示す図である。
【図８】本発明の実施の形態３による再符号化システム３０を説明するためのブロック図である。
【図９】上記実施の形態３の再符号化システム３０を構成する量子化装置１５３を説明するためのブロック図である。
【図１０】上記実施の形態３の量子化装置１５３を構成する量子化ステップ導出器２７３を説明するためのブロック図である。
【図１１】本発明の実施の形態４による再符号化システム４０を説明するためのブロック図である。
【図１２】上記実施の形態４の再符号化システム４０にて復号画像データＶdecの模擬符号化処理により生ずる模擬符号化誤差と、該模擬符号化処理により発生する符号化単位当たりのビット数（模擬符号化ビット数）との関係をグラフにより示す図である。
【図１３】上記実施の形態４の再符号化システム４０を構成する量子化ステップ導出器Ｕ７４の具体的構成を示すブロック図である。
【図１４】上記実施の形態４における各符号化単位の最適量子化ステップを導出する処理を説明するための図であり、該処理のフロー（図(a)）、１フレームにおける符号化単位の配列（図(b)）、及び各符号化単位に対して最適量子化ステップＱｄが設定された状態（図(c)）を示している。
【図１５】本発明の実施の形態５による再符号化システム５０を説明するためのブロック図である。
【図１６】上記実施の形態５の再符号化システム５０を構成する量子化ステップ導出器Ｕ７５の具体的構成を示すブロック図である。
【図１７】本発明の実施の形態６による再符号化システムを説明するためのブロック図であり、この再符号化システムにおける量子化ステップ導出器Ｕ７６の構成を示している。
【図１８】本発明の実施の形態７による再符号化システムを説明するためのブロック図であり、この再符号化システムにおける量子化ステップ導出器Ｕ７７の構成を示している。
【図１９】上記実施の形態１〜７の再符号化システムによる再符号化処理を、コンピュータシステムにより行うためのプログラムを格納したデータ記録媒体（図(a)，(b)）、及び上記コンピュータシステム（図(c)）を説明するための図である。
【図２０】従来の再符号化システム１００ａを説明するためのブロック図である。
【図２１】従来の再符号化システム１００ａを構成する量子化装置１０７を説明するためのブロック図である。
【図２２】符号化ストリームのビットレートと符号化ストリームに含まれる符号化誤差の関係をグラフにより示す図である。
【図２３】ＭＰＥＧにおける画面間予測符号化処理を説明するための模式図である。
【符号の説明】
１０，３０，４０，５０  再符号化システム
１００  ＶＬＤ器
１０１ａ，１０８  逆量子化装置
１０２，１０９  ＩＤＣＴ器
１０３，１１０  加算器
１０４，１１１  フレームメモリ
１０５  減算器
１０６  ＤＣＴ器
１１２  ＶＬＣ器
１１３  レート制御装置
１５１，１５２，１５３  量子化装置
２０１  量子化器
２５０  量子化ステップ候補導出器
２５１，２５２，２７３，Ｕ７４，Ｕ７５，Ｕ７６，Ｕ７７  量子化ステップ導出器
２６０，２６３，２６６  比較器
２６１，２６４，２６７  スイッチ
２６２  閾値導出器
２６５  定数倍器
２７０，２７２ａ  画面内平均量子化ステップ導出器
２７１，２７２ｂ  画面間平均量子化ステップ導出器
ＣＰ１，ＣＰ２，ＣＰ３  比較出力
Ｄａ，Ｄｂ，Ｄｃ  第１，第２，第３の模擬符号化増加誤差
Ｄａ１  復号化ユニット
Ｅａ１  符号化ユニット
Ｅｇ１  符号化データ
Ｅｇ２  再符号化データ
ｆ  誤差RD関数
Ｑａ，Ｑｂ，Ｑｃ，Ｑｆ，Ｑin   量子化ステップ
Ｑｄ  最適量子化ステップ
Ｑｓ１  第１の量子化ステップ
Ｑｓ２  第２の量子化ステップ
Ｑｓｂ  量子化ステップ候補
Ｑｓｅ  選択量子化ステップ
Ｑseb，Ｑsec，Ｑse１  スイッチ制御信号
Ｑｔｈ  閾値
Ｑｍｕ  定数倍値
Ｒａ，Ｒｂ，Ｒｃ  第１，第２，第３の模擬符号化ビット数
Ｒate  目標ビットレート
Ｒｄ  フレーム目標ビット数
Ｕ１  復号化器
Ｕ２ａ，Ｕ２ｂ，Ｕ２ｃ  第１，第２，第３の模擬符号化器
Ｕ２ｄ  主符号化器
Ｕ３ａ，Ｕ３ｂ，Ｕ３ｃ  第１，第２，第３の模擬メモリ
Ｕ３ｄ  主メモリ
Ｕ５  レート歪計算器
Ｕ６  フレームビット数計算器
Ｕ８ｂ，Ｕ８ｃ  第１，第２のビット数減算器
Ｕ９ｂ，Ｕ９ｃ  第１，第２の誤差減算器
Ｕ１０ｂ，Ｕ１０ｃ  第１，第２の除算器
Ｕ１１ｂ，Ｕ１１ｃ  第１，第２の比較器
Ｕ１２  誤差ＲＤ計算器
Ｕ１４，Ｕ５０，Ｕ７０  選択スイッチ
Ｕ２０  最小誤差選択器
Ｕ３１  量子化ステップ計算器
Ｖrefa，Ｖrefb，Ｖrefc，Ｖrefd，Ｖａ，Ｖｂ，Ｖｃ  参照画像データ
Ｖstra，Ｖstrb，Ｖstrc，Ｖstrd  局所復号化画像データ
Ｖdec  復号画像データ（復号化ストリーム）
Ｖin  入力ストリーム
Ｖout  再符号化ストリーム
λ  目標再符号化誤差増加率
λ１，λ２  第１，第２の再符号化誤差増加率
ΔＤab，ΔＤac，ΔＤbc  模擬符号化誤差変動量
ΔＲab，ΔＲac，ΔＲbc  模擬符号化ビット数変動量
Ｃｓ  コンピュータシステム
Ｆ  フロッピディスクケース
ＦＤ  フロッピディスク
ＦDD フロッピディスクドライブ
Ｓｅ  セクタ
Ｔｒ  トラック
【図１】
0004421734.tif 000004
【図２】
0004421734.tif 000005
【図３】
0004421734.tif 000006
【図４】
0004421734.tif 000007
【図５】
0004421734.tif 000008
【図６】
0004421734.tif 000009
【図７】
0004421734.tif 000010
【図８】
0004421734.tif 000011
【図９】
0004421734.tif 000012
【図１０】
0004421734.tif 000013
【図１１】
0004421734.tif 000014
【図１２】
0004421734.tif 000015
【図１３】
0004421734.tif 000016
【図１４】
0004421734.tif 000017
【図１５】
0004421734.tif 000018
【図１６】
0004421734.tif 000019
【図１７】
0004421734.tif 000020
【図１８】
0004421734.tif 000021
【図１９】
0004421734.tif 000022
【図２０】
0004421734.tif 000023
【図２１】
0004421734.tif 000024
【図２２】
0004421734.tif 000025
【図２３】
0004421734.tif 000026