(57)【要約】【課題】  再符号化の再生画質をできるだけ劣化させないような再符号化装置を提供する。【解決手段】  動画像再符号化装置において、第１符号化データを復号して復号画像を生成する復号手段と、第１符号化データがＩピクチャ、Ｐピクチャ又はＢピクチャのいずれの予測タイプで符号化されたかを判別する予測タイプ判別手段と、復号画像を第２符号化データに符号化せずにスキップする候補を選定するスキップ候補選定手段と、スキップする候補がＩピクチャ又はＰピクチャの復号画像であれば、該候補の復号画像と時間的に近いＢピクチャの復号画像を優先してスキップ対象とするスキップ対象特定手段とを具備する。【選択図】図４
2008109693.tif 000002
【特許請求の範囲】
【請求項１】
動画像がピクチャ内でのみ符号化されたＩピクチャ、ピクチャ内符号化と前方向予測符号化とに基づいて符号化されたＰピクチャ及びピクチャ内符号化と前方向予測符号化と後方向予測符号化と両方向予測符号化とに基づいて符号化されたＢピクチャを含む第１符号化データを前記Ｉピクチャ又は前記Ｐピクチャで第２符号化データに再符号化する動画像再符号化装置において、
前記第１符号化データを復号して復号画像を生成する復号手段と、
前記第１符号化データがＩピクチャ、Ｐピクチャ又はＢピクチャのいずれの予測タイプで符号化されたかを判別する予測タイプ判別手段と、
前記復号画像を前記第２符号化データに符号化せずにスキップする候補を選定するスキップ候補選定手段と、
前記スキップする候補が前記Ｉピクチャ又は前記Ｐピクチャの復号画像であれば、該候補の復号画像と時間的に近いＢピクチャの復号画像を優先してスキップ対象とするスキップ対象特定手段と、
を具備したことを特徴とする動画像再符号化装置。
【請求項２】
動画像がピクチャ内でのみ符号化されたＩピクチャ、ピクチャ内符号化と前方向予測符号化とに基づいて符号化されたＰピクチャ及びピクチャ内符号化と前方向予測符号化と後方向予測符号化と両方向予測符号化とに基づいて符号化されたＢピクチャを含む第１符号化データを前記Ｉピクチャ又は前記Ｐピクチャで第２符号化データに再符号化する動画像再符号化装置において、
前記第１符号化データを復号して復号画像を生成する復号手段と、
前記第１符号化データがＩピクチャ、Ｐピクチャ又はＢピクチャのいずれの予測タイプで符号化されたかを判別する予測タイプ判別手段と、
ピクチャ単位、ピクチャを分割したブロック又は複数のブロック単位にピクチャ内符号化をしてリフレッシュを行う場合に、リフレッシュする候補の復号画像を選定するリフレッシュ候補選定手段と、
前記リフレッシュする候補が前記Ｂピクチャの復号画像であれば、該候補の前記復号画像と時間的に近いＩピクチャ又はＰピクチャを優先してリフレッシュ対象とするリフレッシュ対象特定手段と、
を具備したことを特徴とする動画像再符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、本発明は、通信・放送・蓄積・コンピュータ等の分野で用いられている、ディジタル画像システムやアプリケーション、画像データベースの動画像再符号化装置に関する。
【背景技術】
【０００２】
通信・放送・蓄積・コンピュータ等で取り扱うマルチメディアの中で動画像の情報量は極めて膨大であるため、その伝送や蓄積をする場合にはデータ量を削減することが重要となる。このような要求からこれまでに動画像の符号化方式として、ＴＶ会議用の符号化標準Ｈ．２６１、ＣＤ−ＲＯＭや映像伝送用の符号化標準ＭＰＥＧ−１，２が標準化されている。
【０００３】
ＭＰＥＧ−２は、ＭＰＥＧ−１の上位互換方式であり、ともに動き補償フレーム間予測、離散コサイン変換（ＤＣＴ）、量子化制御及び可変長符号化を用いている。ＭＰＥＧでは、予測方式の適用方法の違いによって以下に示すＩ，Ｐ，Ｂの３種類のピクチャタイプが定義されている。図１０は、Ｉ，Ｐ，Ｂピクチャの予測タイプを用いて符号化を行うＭＰ＠ＭＬ方式とＩ，Ｐピクチャの予測タイプを用いて符号化を行うＳＰ＠ＭＬ方式を示す図である。
【０００４】
（ａ）  Ｉピクチャ
Ｉピクチャとは、１枚のフレームに閉じた処理であるフレーム内符号化のみの予測により符号化した画像データである。１ピクチャは、他のフレームを予測値として用いないため、ランダムアクセス時やエラー発生時には、このフレームからアクセス・復帰することができる。
【０００５】
（ｂ）  Ｐピクチャ
Ｐピクチャとは、フレーム内符号化又は隣接したフレームに相関があることを利用して、時間的に前のフレームから前方向予測により符号化した画像データである。
【０００６】
（ｃ）  Ｂピクチャ
Ｂピクチャとは、フレーム内符号化、前方向予測だけでなく、時間的に後のフレーム（後方向予測）からの後方向予測や、前方向予測と後方向予測を組み合わせた両方向予測により符号化した画像データである。
【０００７】
動画像符号化方式においては、現在ＩＴＵ−Ｔで規格化されたＨ．２６１や、ＩＳＯ／ＳＣ２９で規格化されたＭＰＥＧ−１、ＭＰＥＧ−２が標準化され、これらの方式を用いた符号化装置／復号装置も市場に出回っている。
【０００８】
図１１は、再符号化の問題点を示す図である。
【０００９】
これらの装置で符号化したデータをネットワーク９等を介して同時に異なる方式を用いた複数の別の装置で復号する場合、符号化方式と復号方式が同一である場合９ａは問題はない。
【００１０】
しかし、ＭＰＥＧの方式の符号化装置２で符号化したデータをＨ．２６１の専用装置８で復号したい場合９ｂや、同じＭＰＥＧ−２のデータの場合でもＭＰ＠ＭＬ（Main Profile@Main Level)方式の符号化装置２で符号化されたデータを、ＳＰ＠ＭＬ（Simple Profile@Main Level)までしか対応していない装置４で復号したい場合９ｃにはデータの復号が不可能という問題がある。
【００１１】
後方向予測しくは両方向予測を用いたピクチャを含んだ画像データを復号可能なのがＭＰに対応した方式／装置であり、後方向予測もしくは両方向予測を用いたピクチャを含んだ画像データは復号できずピクチャ内符号化もしくは前方向予測を用いたピクチャを復号できるのがＳＰまでした対応していない方式ということになる。
【００１２】
従来、同じ符号化方式で符号化レートや解像度を変更するという試みはなされているが、後方向予測もしくは両方向予測を用いる符号化装置から、それを用いない方式／装置間のデータのやり取りは行われていなかった。しかし、今後は異なる符号化方式／装置が混在するようになり、異種装置間でのデータのやり取りに変換装置が必要となる。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
しかしながら、ただ単純に一度符号化／復号した画像を用いて再符号化を行うと符号化の繰り返しによる符号化ノイズの累積で符号化効率が落ち、再生画質が劣化する。
【００１４】
符号化では、符号化したデータをバッファに蓄積した後、接続する通信回線や蓄積媒体等に送信をしており、バッファがオーバフローを起こさないように符号化パラメータ、例えば、量子化処理での量子化係数を可変にして、符号化データの情報量を制御している。
【００１５】
図１２は、ＭＰ＠ＭＬによる符号化データの特徴を示す図である。Ｂピクチャ自体はその後符号化する上で、参照ピクチャとして使用されることはないので、図１２に示すように、画質の良いＩピクチャやＰピクチャを参照画にして大幅に少ない情報量で少し画質が劣るＢピクチャを生成している。
【００１６】
ＭＰＥＧ−２のＭＰ＠ＭＬからＭＰＥＧ−２のＳＰ＠ＭＬ変換のような後方向予測もしくは両方向予測を用いたＢピクチャを含んだ符号化からピクチャ内符号化もしくは前方向予測を用いたピクチャのみの符号化への変換は、ＢピクチャもＩピクチャやＰピクチャと同様に同じ情報量（符号化長）を持つように一律に変換すると、元のピクチャの情報量の多いＩピクチャやＰピクチャから変換したピクチャの情報がそれだけ少なくなり、画質特性を活かすことができず、画質劣化が顕著である。
【００１７】
本発明は、このような点に鑑みてなされたものであり、後方向予測もしくは両方向予測を用いたピクチャを含んだ符号化からピクチャ内予測もしくは前方向予測を用いた符号化への変換の場合でも、再符号化する際の情報量配分を適切に行うことにより、再符号化の再生画質をできるだけ劣化させないような再符号化装置を提供することを目的としている。
【課題を解決するための手段】
【００１８】
本発明の一側面によれば、動画像がピクチャ内でのみ符号化されたＩピクチャ、ピクチャ内符号化と前方向予測符号化とに基づいて符号化されたＰピクチャ及びピクチャ内符号化と前方向予測符号化と後方向予測符号化と両方向予測符号化とに基づいて符号化されたＢピクチャを含む第１符号化データを前記Ｉピクチャ又は前記Ｐピクチャで第２符号化データに再符号化する動画像再符号化装置において、前記第１符号化データを復号して復号画像を生成する復号手段と、前記第１符号化データがＩピクチャ、Ｐピクチャ又はＢピクチャのいずれの予測タイプで符号化されたかを判別する予測タイプ判別手段と、前記復号画像を前記第２符号化データに符号化せずにスキップする候補を選定するスキップ候補選定手段と、前記スキップする候補が前記Ｉピクチャ又は前記Ｐピクチャの復号画像であれば、該候補の復号画像と時間的に近いＢピクチャの復号画像を優先してスキップ対象とするスキップ対象特定手段とを具備したことを特徴とする動画像再符号化装置が提供される。
【００１９】
本発明の他の側面によれば、動画像がピクチャ内でのみ符号化されたＩピクチャ、ピクチャ内符号化と前方向予測符号化とに基づいて符号化されたＰピクチャ及びピクチャ内符号化と前方向予測符号化と後方向予測符号化と両方向予測符号化とに基づいて符号化されたＢピクチャを含む第１符号化データを前記Ｉピクチャ又は前記Ｐピクチャで第２符号化データに再符号化する動画像再符号化装置において、前記第１符号化データを復号して復号画像を生成する復号手段と、前記第１符号化データがＩピクチャ、Ｐピクチャ又はＢピクチャのいずれの予測タイプで符号化されたかを判別する予測タイプ判別手段と、ピクチャ単位、ピクチャを分割したブロック又は複数のブロック単位にピクチャ内符号化をしてリフレッシュを行う場合に、リフレッシュする候補の復号画像を選定するリフレッシュ候補選定手段と、前記リフレッシュする候補が前記Ｂピクチャの復号画像であれば、該候補の前記復号画像と時間的に近いＩピクチャ又はＰピクチャを優先してリフレッシュ対象とするリフレッシュ対象特定手段とを具備したことを特徴とする動画像再符号化装置が提供される。
【発明の効果】
【００２０】
本発明によれば、後方向予測もしくは両方向予測を用いたＢピクチャを含んだ第１符号化データからピクチャ内符号化もしくは前方向予測を用いたピクチャのみの第２符号化データへの変換を行う場合、再生画像を出来るだけ劣化させないような効率的な符号化を行うことができる。
【発明を実施するための最良の形態】
【００２１】
図１は本発明の原理図である。この図に示すように、本発明は、動画像がピクチャ内でのみ符号化されたＩピクチャ、ピクチャ内符号化と前方向予測符号化とに基づいて符号化されたＰピクチャ及びピクチャ内符号化と前方向予測符号化と後方向予測符号化と両方向予測符号化とに基づいて符号化されたＢピクチャを含む第１符号化データをＩピクチャ又はＰピクチャで第２符号化データに再符号化する動画像再符号化装置において、第１符号化データを復号する復号手段１２と、第１符号化データがＩピクチャ、Ｐピクチャ又はＢピクチャのいずれの予測タイプで符号化されたかを判別する予測タイプ判別手段１４と、Ｂピクチャを再符号化した第２符号化データの符号化長ＬB 、Ｐピクチャを再符号化した第２符号化データの符号化長ＬP 及びＩピクチャを再符号化した第２符号化データの符号化長ＬI とした時、ＬB ＜ＬP＜ＬI となるように符号化パラメータを決定する再符号化制御手段１６と、符号化パラメータに基づいて、復号画像を第２符号化データに符号化する符号化手段１８とを具備したことを特徴とする動画像再符号化装置が提供される。
【００２２】
以上のような構成によれば、復号手段１２により第１符号化データを復号して復号画像を生成する。予測タイプ判別手段１４によりＰピクチャ又はＢピクチャのいずれの予測タイプで符号化されたかを判別する。
【００２３】
再符号化制御手段１６によりＢピクチャを再符号化した第２符号化データの符号化長ＬB 、Ｐピクチャを再符号化した第２符号化データの符号化長ＬP 及びＩピクチャを再符号化した第２符号化データの符号化長ＬI とした時、ＬB ＜ＬP＜ＬI となるように符号化パラメータを決定する。符号化手段１８により符号化パラメータに基づいて、復号画像を第２符号化データに符号化する。
【００２４】
これにより、第１符号化データの中で情報量の少ないＢピクチャよりも情報量の多いＩピクチャやＰピクチャを再符号化した第２符号化データに情報量を多く割り当てられ、再符号化の再生画質を出来るだけ劣化させないようにすることができる。
【００２５】
以下、図面を参照して本発明の実施の形態について説明する。
【００２６】
第１実施形態
図２は、本発明の第１実施形態による動画像再符号化装置の構成図である。
【００２７】
この動画像再符号化装置は、復号部２０、符号化制御部３４、符号化部４０、量子化制御部６６及びバッファ６８を具備し、ＭＰＥＧ−２のＭＰ＠ＭＬからＭＰＥＧ−２のＳＰ＠ＭＬ変換等のように、後方向予測もしくは両方向予測を用いたＢピクチャを含んだ第１符号化データからピクチャ内符号化もしくは前方向予測を用いたピクチャのみの第２符号化データへの変換を行う変換装置である。
【００２８】
復号部２０は、可変長復号部２２、逆量子化部２４、逆ＤＣＴ部２６、加算器２８、フレームメモリ３０及び動き補償部３２を有し、第１符号化データを復号して復号画像をフレームメモリ３３に格納するものである。
【００２９】
可変長復号部２２は、可変長符号化された第１符号化データを可変長復号すると共に、第１符号化データのピクチャヘッダ部からＩ，Ｐ，Ｂピクチャのいずれであるかを示す予測タイプと符号化長（以下、発生情報量）を取り出し、符号化制御部３３に出力するものである。
【００３０】
逆量子化部２４は、逆量子化をするものである。逆ＤＣＴ部２６は、逆離散コサイン変換を行って、予測誤差信号を求めるものである。フレームメモリ３０は、参照画像となる復号画像を格納するＲＡＭ等のメモリである。動き補償部３２は、参照画像となる復号画像に対して、動きベクトル情報に従って動き補償を行うものである。加算器２８は、逆ＤＣＴ部２６から出力される予測誤差信号と動き補償部３２の出力画像とを加算して、復号データに変換するものである。
【００３１】
第１符号化データは、上述したように、符号化データを蓄積するバッファがオーバフローをしないように発生情報量を制御する必要があるため、参照画像とならないＢピクチャの発生情報量を少なくしており、Ｂピクチャの復号画像は、ＩピクチャやＰピクチャの復号画像に比べると、画質が少し落ちる。
【００３２】
また、第２符号化データについても、バッファ６８がオーバフローをしないように、符号化量を制御する必要がある。よって、第１符号化データの復号画像を第２符号化データに再符号化する場合に、ＩピクチャやＰピクチャの復号画像の符号化データに、Ｂピクチャの復号画像の符号化データよりも符号化情報量を多く割り当てることにより再生画像の画質の劣化を防止することができるものと考えられる。
【００３３】
更に、Ｂピクチャについても、発生情報量にバラツキがある。これは、Ｂピクチャの元の画像の特性（例えば、頻繁なシーンチェンジ等のように、前後のフレーム画像と相関性が無い場合、発生情報量は相関性が有る場合に比べて、発生情報量が多い）やバッファの占有率等により生じる。
【００３４】
よって、Ｂピクチャについても、その発生情報量に応じて、第２符号化データの符号化情報を制御するのが再生画像の画質向上の観点からは望ましいものと考えられる。即ち、発生情報量の大きなＢピクチャは、発生情報量の小さなＢピクチャよりも第２符号化データの発生情報量を多くする。
【００３５】
符号化制御部３４は、再生画質を劣化させないように上記観点から符号化情報量の制御等を行うものであり、予測タイプ・発生情報量入力部３５、復号データ読み出し部３６、予測タイプ決定部３７及び新ピクチャ量算出部３８を有する。予測タイプ・発生情報量入力部３５は、可変長復号部２２から第１符号化データの予測タイプと発生情報量を入力するものである。
【００３６】
復号データ読み出し部３６は、新ピクチャ量算出部３８からの新ピクチャ量の出力と符号化部４０の符号化との同期を取りながら、復号画像の時間順序に従って、フレームメモリ３３から第１符号化データの復号画像を読み出すものである。予測タイプ決定部３７は、第２符号化データをＩピクチャ又はＰピクチャのいずれで予測するかを決定するものであり、一定のピクチャ間隔（例えば、１５ピクチャ）毎に、Ｉピクチャで予測するものとする。
【００３７】
新ピクチャ量算出部３８は、第１符号化データの予測タイプ（Ｉ，Ｐ，Ｂピクチャ）と発生情報量と後述する仮ピクチャ情報量Ｌとから、予測タイプ毎に、以下に示す新ピクチャ情報量を算出するものである。
【００３８】
予測タイプがＩピクチャならば、Ｌ×αI （αI ＞１）、ＰピクチャならばＬ×αP （αI ＞αP ＞１）、ＢピクチャならばＬ×αB （αB ＜１）を新ピクチャ情報量とする。ここで、αI ，αP は定数とし、αB はＢピクチャの発生情報量が大きければ大きな値とする。
【００３９】
符号化部４０は、動きベクトル検出部４２、動き補償部４４、減算器４６、ＤＣＴ部４８、量子化部５０、逆量子化部５２、逆ＤＣＴ部５４、加算器５６、フレームメモリ５８、可変長符号化部６０、仮ピクチャ情報量算出部６２及び量子化パラメータ算出部６４を有する。
【００４０】
動きベクトル検出部４２は、Ｐピクチャで第２符号化を行う場合は、現復号画像とフレームメモリ５８に格納された直前の復号画像とを比較して、ブロックマッチング法等により、動きベクトル情報を求めるものである。
【００４１】
動き補償部４４は、第２符号化データの予測タイプと直前の復号画像を動きベクトル情報に従って動き補償をするものである。減算器４６は、現画像と動き補償部４４の出力画像との差分を求めて、予測誤差信号を出力するものである。
【００４２】
ＤＣＴ部４８は、予測誤差信号に対して、８×８のブロック毎に、２次元離散コサイン変換係数を求めるものである。量子化部５０は、離散コサイン変換係数を第１量子化パラメータに従った量子化係数で割り算をして、量子化をした後、量子化制御部６６により制御される第２量子化パラメータに従った量子化係数で割り算して、量子化をするものである。第１量子化パラメータと第２量子化パラメータに従って、量子化を行うのは、バッファ６８がオーバフローしないようにフィードバック制御するためである。
【００４３】
逆量子化部５２は、逆量子化処理を行うものである。逆ＤＣＴ部５４は、逆ＤＣＴ処理を行うものである。加算器５６は、逆ＤＣＴ部５４の出力の予測誤差信号と動き補償部４４の出力画像とを加算するものである。逆量子化部５２、逆ＤＣＴ部５４及び加算器５６は、ローカルデコード部である。フレームメモリ５８は、ローカルデコード画像を格納するメモリである。ローカルデコードをするのは、予測誤差を小さくするためである。
【００４４】
可変長符号化部６０は、量子化部５０より量子化された画像を可変長符号化を行い、第１量子化パラメータによる量子化データの可変長符号化データについては、その符号化データ長（符号化情報）を量子化制御部６６に出力し、第２量子化パラメータによる量子化データの可変長符号化データは、バッファメモリ６８に格納するものである。
【００４５】
仮ピクチャ情報量算出部６２は、バッファ６８への書き込み速度（符号化速度）、バッファ６８の容量及びバッファ６８の読み出し速度等よりバッファ６８がオーバフローしない占有率における符号化データ長Ｌ（以下、仮ピクチャ情報量）を算出するものである。
【００４６】
量子化パラメータ算出部６４は、各ピクチャ情報量に対応する量子化パラメータをテーブルに記憶しておき、符号化制御部３４から出力される新ピクチャ情報量に対応する量子化パラメータを算出するものである。ここで、量子化パラメータとは、ブロックの画素毎に予め決められている量子化係数にかける定数をコード化したもの（量子化コード）をいう。
【００４７】
量子化制御部６６は、可変長符号化部６０から入力した符号化情報からバッファ６８の占有率が上限を越えないように、第２量子化パラメータを量子化部５０に出力するものである。バッファ６８は、第２符号化データを格納するＦＩＦＯメモリである。
【００４８】
以下、図２の動画像再符号化装置の動作説明をする。
【００４９】
（ａ）  復号
動画像再符号化装置は、ＭＰＥＧ−２のＭＰ＠ＭＬ等の後方向予測もしくは両方向予測を用いたＢピクチャを含んだ第１符号化データを図示しないネットワークを通して、受信する。可変長復号部２２は、第１符号化データを可変長復号して、復号したデータを逆量子化部２４に出力すると共に、ピクチャヘッダ部からＩ，Ｐ，Ｂピクチャの予測タイプと発生情報量とを取り出して、符号化制御部３３に出力する。
【００５０】
逆量子化部２４は、逆量子化処理を行う。逆ＤＣＴ部２６は、逆ＤＣＴ処理を行う。動き補償部３２は、フレームメモリ３０に格納した参照画像に対して、動きベクトル情報から動き補償を行う。尚、Ｉピクチャの場合は、零を出力する。加算器２８は、逆ＤＣＴ部２６からの予測誤差信号と動き補償部３２の出力画像とを加算して、復号データを符号化部４０に出力すると共に、フレームメモリ３０に格納する。
【００５１】
（ｂ）  第２符号化制御
符号化部４０中の仮ピクチャ情報量算出部６２は、仮ピクチャ情報量Ｌを算出して、符号化制御部３３に出力する。符号化制御部３４中の予測タイプ・発生情報量入力部３５は、予測タイプ及び発生情報量を入力して、メモリ等に格納する。
【００５２】
復号データ読み出し部３６は、新ピチクャ情報量の出力に同期して、フレームメモリ３３から復号画像を正しい並びの順に読み出す。予測タイプ決定部３７は、一定の時間間隔毎にＩピクチャで第２符号化データを生成するようにＩピクチャ又はＰピクチャのいずれかの予測タイプを復号画像毎に決定する。
【００５３】
新ピクチャ量算出部３８は、予測タイプがＩピクチャならば仮ピクチャ情報量Ｌ×αI （αI ＞１）、Ｐピクチャならば仮ピクチャ情報量Ｌ×αP （αI ＞αP ＞１）、Ｂピクチャならば仮ピクチャ情報量Ｌ×αB （αB ＜１）を求め、新ピクチャ情報量として、量子化パラメータ算出部６４に出力する。但し、αI ，αP は定数である。αB は、基準となる一定の発生情報量と比較して、Ｂピクチャの発生情報量が大きければ大きな値とする。
【００５４】
（ｃ）  第２符号化
動きベクトル検出部４２は、Ｐピクチャで第２符号化を行う場合は、現画像と直前の画像と比較して、動きベクトル情報を算出する。動き補償部４４は、Ｉピクチャで第２符号化を行う時は、零を出力し、Ｐピクチャで第２符号化を行う場合は、動きベクトルに従い、直前のローカルデコード画像に対して、動き補償を行う。減算器４６は、現復号画像と動き補償部された画像との差分画像を求め、予測誤差信号を出力する。ＤＣＴ部４８は、予測誤差信号に対してＤＣＴ処理を行う。
【００５５】
量子化パラメータ算出部６４は、テーブルを参照して、新ピクチャ情報量に対応する量子化コードを求めて、第１量子化パラメータとして量子化部５０に出力する。この量子化コードは、対応する第１符号化データがＩピクチャの時が最も小さく、次にＰピクチャが小さく、Ｂピクチャが最も大きくなる。その上、Ｂピクチャの発生情報量が大きいと、量子化コードは逆に小さくなる。
【００５６】
量子化部５０は、量子化テーブルを参照して、離散コサイン変換係数に対応する量子化係数を求め、離散コサイン変換係数をこの量子化係数に仮量子化コードを掛けた量子化係数で割って量子化を行う。可変長符号化部６０は、仮可変長符号化をして、符号化情報を量子化制御部６６に出力する。
【００５７】
ここで、この符号化情報量と新ピクチャ情報量との差分のピクチャ情報量を次にＩ，Ｐ，Ｂピクチャの復号画像を符号化する場合にフィードバックしてもよい。例えば、符号化情報量の方が新ピクチャ情報量よりも少ない場合は、次回の符号化において、この差分情報量を加えたピクチャ情報量を仮ピクチャ情報量としてもよい。
【００５８】
量子化制御部６６は、可変長符号化部６０から入力した符号化情報からバッファ６８の占有率が上限を越えないように、第２量子化パラメータを出力する。量子化部５０は、量子化テーブルを参照して、離散コサイン変換係数に対応する量子化係数と第２量子化パラメータを用いて再度量子化を行う。可変長符号化部６０は、量子化部５０の量子化データを可変長符号化して、第２符号化データをバッファ６８に出力する。バッファ６８に出力された第２符号化データは、一定の速度で読み出されて、通信回線等に送信される。
【００５９】
図３は、図２の動画像再符号化装置の効果説明図であり、縦軸は符号化データの情報量、横軸は時間、一点鎖線は第１符号化データ、破線は第２符号化データの情報量の改善の無い場合の第２符号化データ、実線は本実施形態による第２符号化データの情報量の改善の有り場合の第２符号化データを示す。
【００６０】
この図に示すように、本実施形態による第２符号化データの情報量は、第１符号化データの情報量に応じて、Ｉピクチャの復号画像の第２符号化データの情報量＞Ｐピクチャの復号画像の第２符号化データの情報量＞Ｂピクチャの復号画像の第２符号化データの情報量であり、第１符号化データの情報量に応じた情報量となっている。しかも、Ｂピクチャの復号画像の第２符号化データは、Ｂピクチャの発生情報量に応じた符号化情報量となっている。このため、第２符号化データの再生画像の画質を劣化させずに、効率的な符号化を行うことができる。
【００６１】
第２実施形態
図４は、本発明の第２実施形態による動画像再符号化装置の構成図であり、図２中の構成要素と実質的に同一の要素には同一の符号を附している。
【００６２】
第２実施形態の動画像再符号化装置が図２の動画像再符号化装置と異なる点は、第１符号化データの復号画像をスキップして第２符号化データに符号化する場合に、スキップ対象の復号画像が優先的にＢピクチャの復号画像となるように制御するようにしたことである。ここで、第１符号化データの復号画像のスキップは、高速回線から低速回線に中継する場合や記録媒体に蓄積する場合等において行う。
【００６３】
この動画像再符号化装置は、後方向予測もしくは両方向予測を用いたＢピクチャを含んだ第１符号化データからピクチャ内符号化もしくは前方向予測を用いたピクチャのみの第２符号化データへの変換を第１符号化データの復号画像をスキップして行う変換装置であり、復号部２０、符号化制御部７０、符号化部７６、量子化制御部６６及びバッファ６８を具備する。復号部２０は、第１実施形態と同様なので説明を省略する。
【００６４】
符号化制御部７０は、ピクチャのスキップを制御等するものであり、予測タイプ入力部７２、復号データ読み出し部７３、予測タイプ決定部３７及びピクチャスキップ制御部７４を有する。予測タイプ入力部７２は、可変長復号部２２から第１符号化データの予測タイプを入力するものである。
【００６５】
復号データ読み出し部７３は、ピクチャスキップ制御部７４の指示に従って、復号画像の時間順序で、フレームメモリ３３から第１符号化データの復号画像を読み出すものである。予測タイプ決定部３７は、第２符号化データをＩピクチャ又はＰピクチャのいずれで予測するかを決定するものであり、一定のピクチャ間隔（例えば、１５ピクチャ）毎に、Ｉピクチャで予測するものとする。
【００６６】
ピクチャスキップ制御部７４は、フレーム間隔がｎ1 秒である第１符号化データをフレーム間隔がｎ2 秒( ｎ2 ＞ｎ1 ）である第２符号化データに変換する場合等において、Ｂピクチャの復号画像を優先的にスキップ対象とすると共に、スキップ対象の復号画像のフレームメモリ３３からの読み出しをしないように復号データ読み出し部７３を制御するものである。
【００６７】
スキップ対象の復号画像をＢピクチャとするのは、ＢピクチャよりもＩピクチャやＰピクチャの第１符号化データの方が情報量が多く、画質が良いので、ＩピクチャやＰピクチャを優先的に符号化して再生画質を劣化させずに、効率的な符号化を行うためである。
【００６８】
符号化部７６は、図２中の符号化部４０から仮量子化パラメータ算出部６２及び量子化パラメータ算出部６４を除いたこと、量子化部７８がシステムで予め決められた仮量子化パラメータで量子化することが図２の符号化部４０と異なり、動きベクトル検出部４２等の他の要素は符号化部４０の要素と実質的に同一なので説明を省略する。量子化制御部６６及びバッファ６８は、第１実施形態と実施的に同一なので説明を省略する。
【００６９】
以下、図４の第２実施形態による動画像再符号化装置の動作説明をする。
【００７０】
（ａ）  復号
復号部２０は、第１実施形態と同様にして、ＭＰ＠ＭＬ等の後方向予測もしくは両方向予測を用いたＢピクチャを含み、ｎ1 秒間隔の動画像を符号化した第１符号化データを図示しないネットワークを通して受信して、復号し、復号データをフレームメモリ３３に格納すると共に、第１符号化データの予測タイプを符号化制御部７０に出力する。
【００７１】
（ｂ）  第２符号化制御
符号化制御部７０中の予測タイプ入力部７２は、第１符号化データの予測タイプ（Ｉ，Ｐ，Ｂピクチャ）を入力して、メモリ等に格納する。ピクチャスキップ制御部７４は、最初の第１符号化データはＩピクチャなので、スキップ対象外ととする。ピクチャスキップ制御部７４は、第１符号化データのフレーム間隔ｎ1
秒と第２符号化データのフレーム間隔ｎ2 と第１符号化データの復号画像の並び等から、次にピクチャスキップしない復号画像の候補を求める。
【００７２】
ピクチャスキップ制御部７４は、ピクチャスキップ対象外の候補がＩピクチャ又はＰピクチャの復号画像であれば、該復号画像をピクチャスキップ対象外と決定すると共に、該復号画像と直前のピクチャ対象外と決定した復号画像とに挟まれる復号画像はピクチャスキップ対象と決定して、フレームメモリ３３から読み出さないように復号データ読み出し部７３を制御する。
【００７３】
ピクチャスキップ制御部７４は、ピクチャ対象外の候補がＢピクチャの復号画像であれば、該復号画像に後続する一定範囲内の復号画像とピクチャ対象外と決定した直前の復号画像との間に挟まれるＩピクチャ又はＰピクチャが有れば、その１つをピクチャ対象外と決定して、ピクチャ対象外の候補の復号画像と直前のピクチャ対象外と決定した復号画像とに挟まれる復号画像はピクチャスキップ対象と決定して、フレームメモリ３３から読み出さないように復号データ読み出し部７３を制御する。
【００７４】
ピクチャスキップ制御部７４は、復号データ読み出し部７３にフレームメモリ３３からピクチャスキップ対象外とした復号画像の読み出しを指示すると共に、予測タイプ決定部３７に該復号画像の予測タイプの決定をするように指示する。
【００７５】
復号データ読み出し部７３は、ピクチャスキップ制御部７４の指示に従って、フレームメモリ３３から復号画像の読み出しを行う。予測タイプ決定部３７は、ピクチャスキップ制御部７４の制御により符号化対象となった復号画像の予測タイプ（例えば、一定の枚数のピクチャ間隔でＩピクチャとする）を決定する。
【００７６】
（ｃ）  第２符号化
ピクチャスキップ対象外の復号画像は、フレームメモリ３３から復号データ読み出し部７３により読み出される。読み出された復号画像は、予測タイプ決定部３７による予測タイプに従って、動きベクトル検出部４２、減算器４６、ＤＣＴ部４８、量子化部５０及び可変長符号化部６０により順次処理が施される。
【００７７】
量子化制御部６６により符号化長が制御され、量子化部５０、可変長符号化部６０により再量子化、再可変長符号化がなされて、第２符号化データがバッファ６８に格納される。バッファ６８に格納された第２符号化データは、一定の速度で読み出されて、通信回線や蓄積媒体等に送出される。
【００７８】
説明した第２実施形態によれば、ピクチャスキップ対象となるピクチャを優先的にＢピクチャの第１符号化データを復号したピクチャとなるように制御するので、再生画質を劣化させずに、効率的な符号化を行うことができる。
【００７９】
第３実施形態
図５は、本発明の第３実施形態による動画像再符号化装置の構成図であり、図４中の構成要素と実質的に同一の要素には同一の符号を附している。
【００８０】
第３実施形態の動画像再符号化装置が図４の動画像再符号化装置と異なる点は、第１符号化データのフレーム画像をリフレッュする場合に、リフレッシュ対象のピクチャが優先的にＩピクチャやＰピクチャの第１符号化データの復号画像となるよう制御するようにしたことである。
【００８１】
ここで、リフレッシュとは、エラー発生時の復帰や予測誤差の累積による画質劣化を防止するために、一定のピクチャの間隔毎に、ピクチャ単位、分割したピクチャ内のブロック又は複数のブロック単位に、他のフレームを予測値として用いずにフレーム内でのみ符号化を行うことをいう。
【００８２】
この動画像再符号化装置は、後方向予測もしくは両方向予測を用いたＢピクチャを含んだ第１符号化データからピクチャ内符号化もしくは前方向予測を用いたピクチャのみの第２符号化データに、リフレッシュを行いながら変換をする変換装置であり、復号部２０、符号化制御部８０、符号化部７６、量子化制御部６６及びバッファ６８を具備する。復号部２０、符号化部７６、量子化制御部６６及びバッファ６８は、第２実施形態と同様なので説明を省略する。
【００８３】
符号化制御部８０は、復号画像の読み出し、予測タイプの決定及びピクチャのリフレッシュの制御を行うものであり、予測タイプ入力部７２、復号データ読み出し部３６及びリフレッシュ制御部８２を有する。
【００８４】
予測タイプ入力部７２は、可変長復号部２２から第１符号化データの予測タイプを入力するものである。復号データ読み出し部３６は、リフレッシュ制御部８２の指示に従って、フレームメモリ３３から復号画像の読み出しを行うものである。
【００８５】
リフレッシュ制御部８２は、一定のピクチャの間隔毎に、ピクチャ単位、分割したピクチャ内のブロック又は複数のブロック単位に、リフレッシュする際に、リフレッシュ対象のピクチャやブロックが優先的にＩピクチャやＰピクチャの復号画像となるように復号画像を第２符号化データに再符号化する時の予測タイプを決定するものである。
【００８６】
リフレッシュ対象の復号画像を優先的にＩピクチャやＰピクチャとするのは、ＢピクチャよりもＩピクチャやＰピクチャの第１符号化データが発生情報量が多く、画質が良いので、ＩピクチャやＰピクチャに対応する復号画像で優先的に符号化をして再生画質を劣化させずに、効率的な符号化を行うためである。
【００８７】
符号化部７６は、符号化制御部８０により指定された予測タイプで復号画像を第２符号化データに符号化を行うものであり、図４中の符号化部７６と実質的に同一なので説明を省略する。量子化制御部６６及びバッファ６８は、図４中の量子化制御部６６及びバッファ６８と実質的に同一なので説明を省略する。
【００８８】
以下、図５の第３実施形態による動画像再符号化装置の動作説明をする。
【００８９】
（ａ）  復号
復号部２０は、第１実施形態と同様にして、ＭＰＥＧ−２のＭＰ＠ＭＬ等の後方向予測もしくは両方向予測を用いたＢピクチャを含んだ第１符号化データを図示しないネットワークを通して、受信する。復号部２２は、第１符号化データを復号して、復号画像をフレームメモリ３３に格納すると共に、第１符号化データの予測タイプを符号化制御部８０に出力する。
【００９０】
（ｂ）  第２符号化制御
符号化制御部８０中の予測タイプ入力部７２は、予測タイプ（Ｉ，Ｐ，Ｂピクチャ）を入力して、メモリ等に格納する。リフレッシュ制御部８２は、最初の第１符号化データはＩピクチャであるので、最初の復号画像の予測タイプをＩピクチャとする。
【００９１】
リフレッシュ制御部８２は、第２符号化データをリフレッシュするフレーム間隔から次にリフレッシュ対象の候補となる復号画像を決定する。尚、ブロック毎にリフレッシュする場合は、リフレッシュ対象のブロックを決定する。
【００９２】
リフレッシュ制御部８２は、リフレッシュ対象の候補の復号画像がＩピクチャ又はＰピクチャの第２符号化データを復号したものであれば、リフレッシュ対象の候補の復号画像（ピクチャ単位、ブロック単位又は複数のブロック単位）をリフレッシュ対象として決定する。
【００９３】
リフレッシュ制御部８２は、リフレッシュ対象の候補の復号画像がＢピクチャを復号したものであれば、該候補と時間的に近い一定範囲内の復号画像の中で、Ｉピクチャ又はＰピクチャの復号画像が有れば、その１つの復号画像をリフレッシュ対象と決定して、リフレッシュ対象の候補とした復号画像を含めて、リフレッシュ対象とした該復号画像と前回のリフレッシュ対象の復号画像との間に挟まれる復号画像の予測タイプをＰピクチャとする。
【００９４】
リフレッシュ制御部８２は、リフレッシュ対象の候補の復号画像がＢピクチャを復号したものであれば、該候補と時間的に近い一定範囲内の復号画像の中で、Ｉピクチャ又はＰピクチャの復号画像が無ければ、リフレッシュ対象の該候補をリフレッシュ対象と決定して、該復号画像と前回のリフレッシュ対象の復号画像との間に挟まれる復号画像の予測タイプをＰピクチャとする。
【００９５】
リフレッシュ制御部８２は、フレームメモリ３３から正しい時間順に従って、復号データ読み出し部３６に復号画像の読み出しを指示すると共に、該復号画像を符号化する予測タイプを符号化部７６に出力する。復号データ読み出し部３６は、リフレッシュ制御部８２の指示に従って、フレームメモリ３３から復号画像の読み出しを行う。
【００９６】
（ｃ）  第２符号化
復号画像は、フレームメモリ３３から復号データ読み出し部７３により読み出される。読み出された復号画像は、符号化制御部８０から出力される予測タイプに従って、動きベクトル検出部４２、動き補償部４４、減算器４６、ＤＣＴ部４８、量子化部５０及び可変長符号化部６０により順次処理が施される。
【００９７】
量子化制御部６６により符号化長が制御され、量子化部５０、可変長符号化部６０により再量子化、再可変長符号化がなされて、第２符号化データがバッファ６８に格納される。バッファ６８に格納された第２符号化データは、一定の速度で読み出されて、通信回線や蓄積媒体等に送出される。
【００９８】
説明した第３実施形態によれば、リフレッシュ対象となるピクチャが優先的にＩピクチャ又はＰピクチャの復号画像となるように制御するので、再生画質を劣化させずに、効率的な符号化を行うことができる。
【００９９】
第４実施形態
図６は、本発明の第４実施形態による動画像再符号化装置の構成図であり、図２中の構成要素と実質的に同一の要素には同一の符号を附している。
【０１００】
第４実施形態の動画像再符号化装置が図２の動画像再符号化装置と異なる点は、ＰピクチャやＢピクチャを復号した復号画像をＩピクチャで第２符号化をする場合に、ＰピクチャやＢピクチャを復号した復号画像をＰピクチャで第２符号化をする場合よりも情報量がより多くなるように制御するようにしたことである。
【０１０１】
第２符号化データのＩピクチャの情報量がＰピクチャの情報量よりも多くなるようにしているのは、Ｉピクチャは、前方向予測を行う場合に、参照画像の元の画像となるものであり、予測誤差の累積を小さくして、画質を向上させるためである。
【０１０２】
この動画像再符号化装置は、後方向予測もしくは両方向予測を用いたＢピクチャを含んだ第１符号化データからピクチャ内符号化もしくは前方向予測を用いたピクチャのみの第２符号化データへの変換を行う変換装置であり、復号部２０、符号化制御部９０、符号化部４０、量子化制御部６６及びバッファ６８を具備する。復号部２０、符号化部４０、量子化制御部６６及びバッファ６８は、第１実施形態と実質的に同一なので説明を省略する。
【０１０３】
符号化制御部９０は、復号画像の読み出し、第２符号化データの予測タイプの決定、第２符号化データの情報量を第１符号化データの予測タイプ、発生情報量及び第２符号化データの予測タイプに応じて制御をするものであり、予測タイプ・発生情報量入力部３５、復号データ読み出し部３６、予測タイプ決定部３７及び新ピクチャ量算出部９２を有する。
【０１０４】
予測タイプ・発生情報量入力部３４及び復号データ読み出し部３６は、第１実施形態と実質的に同一なので説明を省略する。予測タイプ決定部９１は、一定のフレーム間隔、例えば、１５ピクチャ毎に、第２符号化データがＩピクチャとなるように制御するものである。
【０１０５】
新ピクチャ情報量算出部９２は、第１符号化データの予測タイプがＰピクチャ又はＢピクチャであり、且つ、第２符号化データの予測タイプがＩピクチャならば、仮ピクチャ情報量で量子化する場合よりも情報量が多くなるように制御し、第１符号化データの予測タイプがＰピクチャ又はＢピクチャであり、且つ、第２符号化データの予測タイプがＰピクチャならば、仮ピクチャ情報量で量子化する場合よりも情報量が少なくなるように、ＰピクチャやＢピクチャの発生情報量に応じて、新ピクチャ情報量を算出するものである。
【０１０６】
以下、図６の第４実施形態による動画像再符号化装置の動作説明をする。
【０１０７】
（ａ）  復号
復号部２０は、第１実施形態と同様にして、ＭＰＥＧ−２のＭＰ＠ＭＬ等の後方向予測もしくは両方向予測を用いたＢピクチャを含む第１符号化データを図示しないネットワークを通して、受信して、復号して復号画像をフレームメモリ３３に格納すると共に、第１符号化データの予測タイプ及び発生情報量を符号化制御部９０に出力する。
【０１０８】
（ｂ）  第２符号化制御
符号化部４０中の仮ピクチャ情報量算出部６２は、第１符号化データの予測タイプＩ，Ｐ，Ｂピクチャ毎に、仮ピクチャ情報量ＬI ，ＬP ，ＬB を算出して、符号化制御部９０に出力する。符号化制御部９０中の予測タイプ・発生情報量入力部３５は、予測タイプ及び発生情報量を入力して、メモリ等に格納する。
【０１０９】
新ピクチャ量算出部９２は、仮ピクチャ情報量算出部６２から仮ピクチャ情報量ＬI ，ＬP ，ＬB を入力して、以下のように新ピクチャ情報量を決定する。
【０１１０】
（ｂ１）  第２符号化データの予測タイプがＩピクチャであり、対応する第１符号化データの予測タイプがＩピクチャの時は、仮ピクチャ情報量ＬI を新ピクチャ情報量として出力する。
【０１１１】
（ｂ２）  第２符号化データの予測タイプがＩピクチャであり、対応する第１符号化データの予測タイプがＰピクチャ又はＢピクチャの時は、発生情報量の多いピクチャはより情報量を多く持つようにパラメータαP （αP ≧１）、αL （αL ≧１）を決定して、αP ×ＬP 又はαB ×ＬB を新ピクチャ情報量として出力する。
【０１１２】
（ｂ３）  第２符号化データの予測タイプがＰピクチャであり、対応する第１符号化データの予測タイプがＰピクチャ又はＢピクチャの時は、発生情報量の多いピクチャはより情報量が多く持つようにパラメータαP ’（αP ’＜１）、αL ’（αL ’＜１）を決定して、αP ’×ＬP 又はαB ’×ＬB を新ピクチャ情報量として出力する。
【０１１３】
（ｂ４）  第２符号化データの予測タイプがＰピクチャであり、対応する第１符号化データの予測タイプがＩピクチャの時は、パラメータαI ’（αI ’≦１）を決定して、αI ’×ＬI を新ピクチャ情報量として出力する。
【０１１４】
新ピクチャ量算出部９２は、新ピクチャ情報量の出力に同期して、該当する復号画像の読み出しを復号データ読み出し部３６に指示すると共に、予測タイプ決定部９１に予測タイプの決定を指示する。
【０１１５】
復号データ読み出し部３６は、新ピクチャ量算出部９２の指示に従って、フレームメモリ３３から復号画像を順次読み出す。予測タイプ決定部９１は、一定の時間間隔毎にＩピクチャで第２符号化データに再符号化ように、予測タイプを復号画像毎に決定する。
【０１１６】
（ｃ）  第２符号化
復号画像は、フレームメモリ３３から復号データ読み出し部７３により読み出される。読み出された復号画像は、符号化制御部８０から出力される予測タイプに従って、動きベクトル検出部４２、動き補償部４４、減算器４６及びＤＣＴ部４８で順次処理が施されて、ＤＣＴ部４８から離散コサイン変換係数が出力される。
【０１１７】
量子化パラメータ算出部６４は、新ピクチャ情報量を第１量子化パラメータに変換する。量子化部５０は、ＤＣＴ部４８から出力される離散コサイン変換係数に対して、第１量子化パラメータに従って量子化処理をする。可変長符号化部６０により可変長符号化して、量子化制御部６６で符号化量が制御する。
【０１１８】
量子化部５０及び可変長符号化部６０で再度量子化、符号化を行い、第２符号化データをバッファ６８に格納する。バッファ６８に出力された第２符号化データは、一定の速度で読み出されて、通信回線や記憶媒体等に送信される。
【０１１９】
説明した第４実施形態によれば、Ｉピクチャの第２符号化データは、Ｐピクチャの第２符号化データよりも情報量を多く持つようにしたので、参照画像の元となる画像の画質を向上させることができ、再生画質を劣化させずに、効率的な符号化を行うことができる。
【０１２０】
第５実施形態
図７は、本発明の第５実施形態による動画像再符号化装置の構成図であり、図５中の構成要素と実質的に同一の要素には同一の符号を附している。
【０１２１】
第５実施形態の動画像再符号化装置が図５の動画像再符号化装置と異なる点は、シーンチェンジのフレーム画像については、Ｉピクチャで第２符号化を行うようにしたことである。これは、シーンチェンジのあったフレーム画像については、直前のフレーム画像と相関性が小さいので、Ｉピクチャで第２符号化を行うことにより、画質を向上させるためである。
【０１２２】
この動画像再符号化装置は、後方向予測もしくは両方向予測を用いたＢピクチャを含んだ第１符号化データからピクチャ内符号化もしくは前方向予測を用いたピクチャのみの第２符号化データへの変換を行う変換装置であり、復号部２０、符号化制御部１００、符号化部７６、量子化制御部６６及びバッファ６８を具備する。復号部２０、符号化部７６、量子化制御部６６及びバッファ６８は、第３実施形態と同様なので説明を省略する。
【０１２３】
符号化制御部１００は、復号画像の読み出し、シーンチャンジの検出及び第２符号化データの予測タイプの制御をするものであり、予測タイプ入力部７２、復号データ読み出し部３６、シーンチェンジ検出部１０２及び予測タイプ決定部１０４を有する。
【０１２４】
予測タイプ入力部７２、復号データ読み出し部３６は、第３実施形態と同様なので説明を省略する。シーンチェンジ検出部１０２は、現復号画像がシーンチェンジのあったか否かを判別するものである。シーンチェンジの検出は、例えば、画素情報（現復号画像の画素情報が前復号画像の画素情報と全く異なる場合にシーンチェンジであるとする）や動きベクトル情報（動きベクトル情報が直前までと全く異なる場合にシーンチェンジであるとする）等により検出する。本実施形態では、動きベクトル情報によりシーンチェンジを検出するものとする。
【０１２５】
予測タイプ決定部１０４は、一定間隔毎に、予測タイプをＩピクチャとなるように予測タイプを決め、シーンチェンジのあった復号画像の予測タイプがＰピクチャであれば、Ｉピクチャに予測タイプを変更するものである。
【０１２６】
以下、図７の第５実施形態による動画像再符号化装置の動作説明をする。
【０１２７】
（ａ）  復号
復号部２０は、第１実施形態と同様にして、ＭＰＥＧ−２のＭＰ＠ＭＬ等の後方向予測もしくは両方向予測を用いたＢピクチャを含む第１符号化データを図示しないネットワークを通して、受信して、復号して復号画像をフレームメモリ３３に格納すると共に、第１符号化データの予測タイプを符号化制御部９０に出力する。
【０１２８】
（ｂ）  第２符号化制御
復号データ読み出し部３６は、フレームメモリ３３に格納された復号画像を読み出す。動きベクトル検出部４２は、現復号画像と直前の復号画像とをブロックマッチング法等により比較して、動きベクトル情報を算出して、符号化制御部１００及び動き補償部４４に出力する。
【０１２９】
予測タイプ入力部７２は、可変長復号部２２より予測タイプを入力して、メモリ等に格納する。シーンチェンジ検出部１０２は、現復号画像の動きベクトル情報と直前の復号画像の動きベクトル情報とを比較して、現復号画像の動きベクトル情報に閾値を越える変動が有れば、現フレームがシーンチェンジであると判断し、そうでなければ、現復号画像がシーンチェンジで無いと判断する。
【０１３０】
予測タイプ決定部１０４は、一定間隔毎に、予測タイプをＩピクチャとなるように第２符号化データの予測タイプを決める。予測タイプをＩピクチャと決定した場合は、予測タイプを変更せずに予測タイプをＩピクチャのままとする。予測タイプをＰピクチャと決定した場合は、シーンチェンジのあった復号画像については、予測タイプをＩピクチャに変更し、シーンチェンジのあった復号画像については、予測タイプをＰピクチャのままとする。
【０１３１】
（ｃ）  第２符号化
動き補償部４４は、動きベクトル情報と第２符号化データの予測タイプに従って、予測タイプがＩピクチャであれば、零を出力し、予測タイプがＰピクチャであれば、フレームメモリ５８から前ローカルデコード画像をリードして、動き補償をする。減算器４６で現復号画像と動き補償部４４の出力との差分を取り、予測誤差を算出する。ＤＣＴ部４８は、ＤＣＴ処理を行う。
【０１３２】
量子化部５０は、予測タイプがＩピクチャの方がＰピクチャよりも情報量が多くなるような量子化パラメータに従って量子化処理を行う。可変長符号化部６０により可変長符号化して、量子化制御部６６で符号化量が制御する。
【０１３３】
量子化部５０及び可変長符号化部６０で再度量子化、符号化を行い、第２符号化データをバッファ６８に格納する。バッファ６８に出力された第２符号化データは、一定の速度で読み出されて、通信回線や記憶媒体等に送信される。
【０１３４】
説明した第５実施形態によれば、シーンチェンジのフレーム画像はＩピクチャで第２符号化をするようにしたので、シーンチェンジの第２符号化データに情報量を多く持たせることができ、再生画質を劣化させずに、効率的な符号化を行うことができる。
【０１３５】
第６実施形態
図８は、本発明の第６実施形態による動画像再符号化装置の構成図であり、図２中の構成要素と実質的に同一の要素には同一の符号を附している。
【０１３６】
第６実施形態の動画像再符号化装置が図２の動画像再符号化装置と異なる点は、第１符号化データのＩピクチャの発生情報量に対するＰピクチャやＢピクチャの第１符号化データの発生情報量の比率に従って、Ｂピクチャの第１符号化データを第２符号化データに符号化する時のピクチャ情報量を決定するようにしたことである。
【０１３７】
ＰピクチャやＢピクチャの第１符号化データについて、直前や直後のフレームと相関性の少ないフレーム画像等は、相関性の大きなＰピクチャやＢピクチャの第１符号化データよりも情報量が多い。情報量のより多いＰピクチャやＢピクチャの第１符号化データは、情報量の少ないＰピクチャやＢピクチャよりも第２符号化データに情報量を多く持たせることが画質の向上に寄与すると考えられるからである。Ｉピクチャの発生情報量との比率を取るのは、Ｉピクチャはピクチャ内予測であり、持つ情報量にバラツキが少ないと考えられるからである。
【０１３８】
この動画像再符号化装置は、後方向予測もしくは両方向予測を用いたＢピクチャを含んだ第１符号化データからピクチャ内符号化もしくは前方向予測を用いたピクチャのみの第２符号化データへの変換を行う変換装置であり、復号部２０、符号化制御部１１０、符号化部４０、量子化制御部６６及びバッファ６８を具備する。復号部２０、符号化部４０、量子化制御部６６及びバッファ６８は、第１実施形態と同様なので説明を省略する。
【０１３９】
符号化制御部１１０は、復号画像の読み出しの制御、第２符号化の予測タイプの決定、第１符号化データの予測タイプと発生情報量の比率に応じて、新ピクチャ情報量を決定するものであり、予測タイプ・発生情報量入力部３２、復号データ読み出し部３６、予測タイプ決定部３７、ピクチャ情報量比率算出部１１２及び新ピクチャ量算出部１１４を有する。
【０１４０】
予測タイプ・発生情報量入力部３５、復号データ読み出し部３６及び予測タイプ決定部３７は、第２実施形態と同様なので説明を省略する。ピクチャ情報量比率算出部１１２は、Ｉピクチャの発生情報量に対するＰピクチャの発生情報量の比率ＲP 及びＢピクチャの発生情報量の比率ＲB を算出するものである。
【０１４１】
Ｉピクチャの発生情報量とは、Ｐピクチャ又はＢピクチャの直前のＩピクチャの復号画像に含まれる全ての第１符号化データの発生情報量の平均値又は同一ブロックの第１符号化データの発生情報量をいう。
【０１４２】
新ピクチャ量算出部１１４は、第２符号化データの予測タイプ、比率ＲP 、ＲB 及び予測タイプ毎の仮ピクチャ情報量ＬI 、ＬP 、ＬB から新ピクチャ情報量を以下のように決定するものである。
【０１４３】
第１符号化データの予測タイプがＩピクチャであれば、新ピクチャ情報量＝仮ピクチャ情報量ＬI 、第１符号化データの予測タイプがＰピクチャであれば、新ピクチャ情報量＝仮ピクチャ情報量ＬP ×ＲP ×αP （αP は定数）、第１符号化データの予測タイプがＢピクチャであれば、新ピクチャ情報量＝仮ピクチャ情報量ＬB ×ＲB ×αB （αB は定数）とする。
【０１４４】
以下、図８の第６実施形態による動画像再符号化装置の動作説明をする。
【０１４５】
（ａ）  復号
復号部２０は、第１実施形態と同様にして、ＭＰＥＧ−２のＭＰ＠ＭＬ等の後方向予測もしくは両方向予測を用いたＢピクチャを含む第１符号化データを図示しないネットワークを通して、受信して、復号して復号画像をフレームメモリ３３に格納すると共に、第１符号化データの予測タイプ・発生情報量を符号化制御部１１０に出力する。
【０１４６】
（ｂ）  第２符号化制御
予測タイプ・発生情報量入力部３５は、可変長復号部２２より予測タイプ及び発生情報量を入力し、予測タイプがＩピクチャならば、Ｉピクチャに対して、ピクチャ単位又はブロック単位に設けた該当するメモリ領域に発生情報量を格納する。尚、ピクチャ単位の場合であれば、直前の１つのＩピクチャのブロックの第１符号化データの発生情報量の平均値を格納する。
【０１４７】
予測タイプ決定部３７は、一定間隔のフレーム毎に、第２符号化データの予測タイプがＩピクチャとなるように予測タイプを決定する。
【０１４８】
ピクチャ比率算出部１１２は、第１符号化データの予測タイプがＰピクチャ又はＢピクチャならば、Ｉピクチャの発生情報量（ブロック単位の場合は、対応するブロックの発生情報量）に対するそのピクチャの発生情報量の比率ＲP 又はＲB を算出して、メモリに格納する。
【０１４９】
新ピクチャ量算出部１１４は、第２符号化データの予測タイプがＩピクチャであれば、新ピクチャ情報量＝仮ピクチャ情報量ＬI 、第１符号化データの予測タイプがＰピクチャであれば、新ピクチャ情報量＝仮ピクチャ情報量ＬP ×ＲP ×αP （αP は定数）、第１符号化データの予測タイプがＢピクチャであれば、新ピクチャ情報量＝仮ピクチャ情報量ＬB ×ＲB ×αB （αB は定数）とすると共に、復号データ読み出し部３６に該当する復号画像の読み出しを指示する。復号データ読み出し部３６は、新ピクチャ量算出部１１４の指示に従って、フレームメモリ３３から復号画像の読み出しを行う。
【０１５０】
（ｃ）  第２符号化
量子化パラメータ算出部６４は、新ピクチャ情報量を入力して、テーブルを参照して、新ピクチャ情報量に対応する第１量子化パラメータを算出する。動きベクトル検出部４２、動き補償部４４、減算器４６及びＤＣＴ部４８により、予測誤差信号のＤＣＴ処理をする。
【０１５１】
量子化部５０は、第１量子化パラメータに従って、量子化をする。可変長符号化部６０は、可変長符号化をして、符号化情報を量子化制御部６６に出力する。量子化制御部６６は、バッファ６８の占有率から第２量子化パラメータを決定する。量子化部５０は、第２量子化パラメータに従って、量子化を行い、可変長符号化部６０は、可変長符号化を行って、バッファ６８に格納する。バッファ６８に出力された第２符号化データは、一定の速度で読み出されて、通信回線や記憶媒体等に送信される。
【０１５２】
説明した第６実施形態によれば、第１符号化データの予測タイプ及び発生情報量の比率に応じて、ピクチャ情報量を制御するようにしたので、再生画質を劣化させずに、効率的な符号化を行うことができる。
【０１５３】
第７実施形態
図９は、本発明の第７実施形態による動画像再符号化装置の構成図であり、図２中の構成要素と実質的に同一の要素には同一の符号を附している。
【０１５４】
第７実施形態の動画像再符号化装置が図２の動画像再符号化装置と異なる点は、第１符号化データのＩピクチャの量子化コードに対するＰピクチャやＢピクチャの第１符号化データの量子化コードの比率に従って、Ｂピクチャの第１符号化データを第２符号化データに再符号化する時の第１量子化パラメータを決定するようにしたことである。
【０１５５】
ここで、量子化コードとは、８×８のブロックに対して、予め決められた量子化係数に掛ける定数であり、量子化コードにより発生情報量が制御される。即ち、量子化コードが大きければ、量子化係数が大きくなり、第１符号化データが小さくなり、発生情報量が少なくなる。よって、量子化コードによって発生情報量を推測することが可能であり、この量子化コードにより第２符号化データの情報量を制御する。
【０１５６】
この動画像再符号化装置は、後方向予測もしくは両方向予測を用いたＢピクチャを含んだ第１符号化データからピクチャ内符号化もしくは前方向予測を用いたピクチャのみの第２符号化データへの変換を行う変換装置であり、復号部１２０、符号化制御部１２２、符号化部１３０、量子化制御部６６及びバッファ６８を具備する。
【０１５７】
復号部１２０中の可変長復号部１２１は、第１符号化データの予測タイプ及び量子化コードを符号化制御部１２２に出力することが第１実施形態の可変長復号部２２と異なる。復号部１２０の他の要素は、第１実施形態の復号部２０の要素と実質的に同一なので説明を省略する。
【０１５８】
符号化制御部１２２は、復号画像の読み出し制御、第２符号化の予測タイプの決定、第１符号化データの予測タイプと量子化コードの比率に応じて、第１量子化パラメータを決定するものであり、予測タイプ・量子化情報入力部１２４、復号データ読み出し部３６、予測タイプ決定部３７、量子化情報比率算出部１２５及び新量子化パラメータ量算出部１２６を有する。
【０１５９】
予測タイプ・量子化情報入力部１２４は、可変長復号部１２１より予測タイプ及び量子化コードを入力するものである。復号データ読み出し部３６及び予測タイプ決定部３７は、第１実施形態と実質的に同一なので説明を省略する。
【０１６０】
量子化情報比率算出部１２５は、Ｉピクチャの量子化コードに対するＰピクチャの量子化コードの比率ＣP 及びＢピクチャの量子化コードの比率ＣB を算出するものである。
【０１６１】
新量子化パラメータ算出部１２６は、第１符号化データの予測タイプ、比率ＣP 、ＣB 及び予測タイプ毎の仮量子化コードＫI 、ＫP 、ＫB から第１量子化パラメータ（量子化コード）を以下のように決定するものである。
【０１６２】
第１符号化データの予測タイプがＩピクチャであれば、第１量子化コード＝仮量子化コードＫI 、第１符号化データの予測タイプがＰピクチャであれば、第１量子化コード＝仮量子化コードＫP ×ＣP ×αP （αP は定数）、第１符号化データの予測タイプがＢピクチャであれば、第１量子化コード＝仮量子化コードＫB ×ＣB ×αB （αB は定数）とする。
【０１６３】
符号化部１３０中の仮量子化パラメータ算出部１３２は、第１符号化データの予測タイプ毎に仮量子化コードＫI 、ＫP 、ＫB （ＫI ＜ＫP ＜ＫB ）を算出するものである。符号化部１３０中の他の要素は、第１実施形態の符号化部４０中の要素と実質的に同一なので説明を省略する。
【０１６４】
以下、図９の第７実施形態による動画像再符号化装置の動作説明をする。
【０１６５】
（ａ）  復号
復号部２０は、第１実施形態と同様にして、ＭＰＥＧ−２のＭＰ＠ＭＬ等の後方向予測もしくは両方向予測を用いたＢピクチャを含む第１符号化データを図示しないネットワークを通して、受信して、復号して復号画像をフレームメモリ３３に格納すると共に、第１符号化データの予測タイプ・量子化コードを符号化制御部１２２に出力する。
【０１６６】
（ｂ）  第２符号化制御
予測タイプ・量子化コード入力部１２４は、可変長復号部１２１より予測タイプ及び量子化コードを入力し、予測タイプがＩピクチャならば、Ｉピクチャに対して、ピクチャ単位又はブロック単位に設けた該当するメモリ領域に量子化コードを格納する。尚、ピクチャ単位の場合であれば、直前の１ピクチャのブロックの第１符号化データの量子化コードの平均値を格納する。
【０１６７】
予測タイプ決定部３７は、一定間隔のフレーム毎に、第２符号化データの予測タイプがＩピクチャとなるように予測タイプを決定する。
【０１６８】
仮量子化パラメータ算出部１３２は、第１符号化データの予測タイプ毎に仮量子化コードＫI 、ＫP 、ＫB （ＫI ＜ＫP ＜ＫB ）を算出して、符号化制御部１２２に出力する。
【０１６９】
量子化コード比率算出部１２５は、第１符号化データの予測タイプがＰピクチャ又はＢピクチャならば、Ｉピクチャの量子化コード（ブロック単位の場合は、対応するブロックの量子化コード）に対するそのピクチャの量子化コードの比率ＣP 又はＣB を算出して、メモリに格納する。
【０１７０】
新量子化パラメータ算出部１２６は、第１符号化データの予測タイプがＩピクチャであれば、第１量子化パラメータ＝仮量子化コードＫI 、第１符号化データの予測タイプがＰピクチャであれば、第１量子化パラメータ＝仮量子化コードＫP ×ＣP ×αP （αP は定数）、第１符号化データの予測タイプがＢピクチャであれば、第１量子化パラメータ＝仮量子化コードＫB ×ＣB ×αB （αB は定数）とする。
【０１７１】
（ｃ）  第２符号化
動きベクトル検出部４２、動き補償部４４、減算器４６及びＤＣＴ部４８により、予測誤差信号のＤＣＴ処理をする。量子化部５０は、第１量子化パラメータに従って、量子化をする。可変長符号化部６０は、可変長符号化をして、符号化情報を量子化制御部６６に出力する。量子化制御部６６は、バッファ６８の使用率から第２量子化パラメータを決定する。
【０１７２】
量子化部５０は、第２量子化パラメータで量子化を行い、可変長符号化部６０は、可変長符号化を行って、バッファ６８に格納する。バッファ６８に出力された第２符号化データは、一定の速度で読み出されて、通信回線や記憶媒体等に送信される。
【０１７３】
説明した第７実施形態によれば、第１符号化データの予測タイプ及び量子化コードの比率に応じて、ピクチャ情報量を制御するようにしたので、再生画質を劣化させずに、効率的な符号化を行うことができる。
【０１７４】
尚、本実施形態では、第１〜第７実施形態をそれぞれ独立した構成にしたが、任意に組合せて構成してもよい。
【図面の簡単な説明】
【０１７５】
【図１】本発明の原理図である。
【図２】本発明の第１実施形態による動画像再符号化装置の構成図である。
【図３】図２の効果説明図である。
【図４】本発明の第２実施形態による動画像再符号化装置の構成図である。
【図５】本発明の第３実施形態による動画像再符号化装置の構成図である。
【図６】本発明の第４実施形態による動画像再符号化装置の構成図である。
【図７】本発明の第５実施形態による動画像再符号化装置の構成図である。
【図８】本発明の第６実施形態による動画像再符号化装置の構成図である。
【図９】本発明の第７実施形態による動画像再符号化装置の構成図である。
【図１０】ＭＰ＠ＭＬとＳＰ＠ＭＬの予測方式を示す図である。
【図１１】再符号化の問題点を示す図である。
【図１２】ＭＰ＠ＭＬによる符号化データの特徴を示す図である。
【符号の説明】
【０１７６】
１２  復号手段
１４  予測タイプ判別手段
１６  再符号化制御手段
１８  符号化手段
【図１】
2008109693.tif 000003
【図２】
2008109693.tif 000004
【図３】
2008109693.tif 000005
【図４】
2008109693.tif 000006
【図５】
2008109693.tif 000007
【図６】
2008109693.tif 000008
【図７】
2008109693.tif 000009
【図８】
2008109693.tif 000010
【図９】
2008109693.tif 000011
【図１０】
2008109693.tif 000012
【図１１】
2008109693.tif 000013
【図１２】
2008109693.tif 000014