(57)【特許請求の範囲】
【請求項１】
フレーム内符号化モードとフレーム間差分符号化モードの組み合わせからなる第１の動画像符号化方式によって生成された第１データ系列を、フレーム内符号化モードとフレーム間差分符号化モードの組み合わせからなる第２の動画像符号化方式によって生成される第２データ系列に変換する動画像符号化方式の変換方法であって、
現フレームの後に続く後続フレームの符号化モードを前記第１データ系列から先読みするステップと、
先読みされた前記後続フレームの符号化モードがフレーム内符号化であるか否か判断するステップと、
前記後続フレームの符号化モードがフレーム内符号化である場合、前記第２データ系列の発生符号量に応じて、前記現フレームを前記第２の動画像符号化方式により符号化するか否か決めるステップとを有する動画像符号化方式の変換方法。
【請求項２】
前記後続フレームの符号化モードがフレーム内符号化で、前記第２データ系列の発生符号量に応じて、前記現フレームを符号化しない場合は、前記現フレームを破棄して前記後続フレームへスキップすることを特徴とする請求項１記載の動画像符号化方式の変換方法。
【請求項３】
更に、前記第２の動画像符号化方式によって生成される前記第２データ系列を出力バッファに書き込み、前記出力バッファのバッファ充填量を前記第２データ系列の発生符号量として求めるステップを有することを特徴とする請求項２記載の動画像符号化方式の変換方法。
【請求項４】
前記第１のデータ系列から１符号化単位のデータを読出した際に、その１符号化単位のデータ量を記録するステップと、
前記記録されたデータ量に係数を乗じた値を、前記１符号化単位毎に第２データ系列の発生符号量の目標値として決めるステップと、
前記第２の動画像符号化方式により前記１符号化単位のデータから前記第２データ系列を生成する際に、前記第２データ系列の発生符号量が前記目標値に近づくようにレート制御するステップとを有することを特徴とする請求項１記載の動画像符号化方式の変換方法。
【請求項５】
前記第１のデータ系列からデータを読み出した際に、前記第１の動画像符号化方式において当該データを量子化した際の量子化幅を取得するステップと、
前記現フレームを前記第２の動画像符号化方式により符号化する際に前記第２データ系列の発生符号量を調節する場合、前記第２の動画像符号化方式における量子化幅を、前記取得された量子化幅の整数倍に変更するステップとを有する請求項１記載の動画像符号化方式の変換方法。
【請求項６】
前記現フレームを前記第２の動画像符号化方式により符号化し、且つ前記第２データ系列の発生符号量を調節する場合、前記第２の動画像符号化方式における量子化幅を変更することを特徴とする請求項１記載の動画像符号化方式の変換方法。
【請求項７】
フレーム内符号化モードとフレーム間差分符号化モードとをブロック単位で切り替える第１の動画像符号化方式によって生成された第１データ系列を、フレーム内符号化モードとフレーム間差分符号化モードとをブロック単位で切り替える第２の動画像符号化方式によって生成される第２データ系列に変換する動画像符号化方式の変換方法であって、
前記第２データ系列の発生符号量が目標値に達しない場合は、量子化特性を保存しつつ、前記第２の動画像符号化方式においてフレーム内符号化モードによって符号化されるブロック数を増加させることを特徴とする動画像符号化方式の変換方法。
【請求項８】
前記第１のデータ系列から１ブロック単位のデータを読出した際に、その１ブロック単位のデータ量を記録するステップと、
前記ブロック単位毎に前記記録されたデータ量に係数を乗じた値を第２データ系列の発生符号量の目標値として使用するステップとを有する請求項７記載の動画像符号化方式の変換方法。
【請求項９】
前記第１のデータ系列からデータを読み出した際に、前記第１の動画像符号化方式において当該データを量子化した際の量子化幅を取得するステップと、
現フレームを前記第２の動画像符号化方式により符号化する際に前記第２データ系列の発生符号量を調節する場合、前記第２の動画像符号化方式における量子化幅を、前記取得された量子化幅の整数倍に変更するステップとを有する請求項７記載の動画像符号化方式の変換方法。
【請求項１０】
前記ブロック単位は、フレーム単位又はマクロブロック単位であることを特徴とする請求項７記載の動画像符号化方式の変換方法。
【請求項１１】
動き補償されたブロック間差分の輝度分散を、フレーム内符号化モードがより多く選択されるように再定義して、フレーム内符号化モードによって符号化されるブロック数を増加させることを特徴とする請求項７記載の動画像符号化方式の変換方法。
【請求項１２】
動領域に属するマクロブロックのイントラリフレッシュの間隔を短縮して、フレーム内符号化モードによって符号化されるブロック数を増加させることを特徴とする請求項７記載の動画像符号化方式の変換方法。
【請求項１３】
フレーム内符号化モードとフレーム間差分符号化モードとをブロック単位で切り替える第１の動画像符号化方式によって生成された第１データ系列を、フレーム内符号化モードとフレーム間差分符号化モードとをブロック単位で切り替える第２の動画像符号化方式によって生成される第２データ系列に変換する動画像符号化方式の変換方法であって、
前記第２データ系列の発生符号量が目標値を越える場合は、量子化特性を保存しつつ、前記第２の動画像符号化方式においてフレーム間符号化モードによって符号化されるブロック数を増加させることを特徴とする動画像符号化方式の変換方法。
【請求項１４】
前記第１のデータ系列から１ブロック単位のデータを読出した際に、その１ブロック単位のデータ量を記録するステップと、
前記ブロック単位毎に前記記録されたデータ量に係数を乗じた値を第２データ系列の発生符号量の目標値として使用するステップとを有する請求項１３記載の動画像符号化方式の変換方法。
【請求項１５】
前記第１のデータ系列からデータを読み出した際に、前記第１の動画像符号化方式において当該データを量子化した際の量子化幅を取得するステップと、
現フレームを前記第２の動画像符号化方式により符号化する際に前記第２データ系列の発生符号量を調節する場合、前記第２の動画像符号化方式における量子化幅を、前記取得された量子化幅の整数倍に変更するステップとを有する請求項１３記載の動画像符号化方式の変換方法。
【請求項１６】
フレーム内符号化モードとフレーム間差分符号化モードとの組み合わせからなる第１の動画像符号化方式によって生成された第１データ系列を、同じくフレーム内符号化モードとフレーム間差分符号化モードとの組み合わせからなる第２の動画像符号化方式によって生成される第２データ系列に変換する動画像符号化変換装置であって、
現フレームの後に続く後続フレームの符号化モードを前記第１データ系列から先読みする手段と、
先読みされた前記後続フレームの符号化モードがフレーム内符号化であるか否か判断する手段と、
前記後続フレームの符号化モードがフレーム内符号化である場合、前記第２データ系列の発生符号量に応じて、前記現フレームを前記第２の動画像符号化方式により符号化するか否か決める手段とを具備することを特徴とする動画像符号化変換装置。
【請求項１７】
フレーム内符号化モードとフレーム間差分符号化モードとをブロック単位で切り替える第１の動画像符号化方式によって生成された第１データ系列を、フレーム内符号化モードとフレーム間差分符号化モードとをブロック単位で切り替える第２の動画像符号化方式によって生成される第２データ系列に変換する動画像符号化変換装置であって、前記第２データ系列の発生符号量が目標値に達しない場合は、量子化特性を保存しつつ、前記第２の動画像符号化方式においてフレーム内符号化モードによって符号化されるブロック数を増加させる機構を有する動画像符号化変換装置。
【請求項１８】
フレーム内符号化モードとフレーム間差分符号化モードとをブロック単位で切り替える第１の動画像符号化方式によって生成された第１データ系列を、フレーム内符号化モードとフレーム間差分符号化モードとをブロック単位で切り替える第２の動画像符号化方式によって生成される第２データ系列に変換する動画像符号化変換装置であって、
前記第２データ系列の発生符号量が目標値を越える場合は、量子化特性を保存しつつ、前記第２の動画像符号化方式においてフレーム間符号化モードによって符号化されるブロック数を増加させる機構を有する動画像符号化変換装置。
【請求項１９】
フレーム内符号化モードとフレーム間差分符号化モードの組み合わせからなる第１の動画像符号化方式によって生成された第１データ系列を、フレーム内符号化モードとフレーム間差分符号化モードの組み合わせからなる第２の動画像符号化方式によって生成される第２データ系列に変換するプログラムを、コンピュータにより読取り可能に格納した記録媒体であって、
前記プログラムは、
現フレームの後に続く後続フレームの符号化モードを前記第１データ系列から先読みする手順、
先読みされた前記後続フレームの符号化モードがフレーム内符号化であるか否か判断する手順、
前記後続フレームの符号化モードがフレーム内符号化である場合、前記第２データ系列の発生符号量に応じて、前記現フレームを前記第２の動画像符号化方式により符号化するか否か決める手順、を含む記録媒体。
【請求項２０】
フレーム内符号化モードとフレーム間差分符号化モードとをブロック単位で切り替える第１の動画像符号化方式によって生成された第１データ系列を、フレーム内符号化モードとフレーム間差分符号化モードとをブロック単位で切り替える第２の動画像符号化方式によって生成される第２データ系列に変換するプログラムを、コンピュータにより読取り可能に格納した記録媒体であって、
前記プログラムは、
前記第２データ系列の発生符号量が目標値に達しない場合は、量子化特性を保存しつつ、前記第２の動画像符号化方式においてフレーム内符号化モードによって符号化されるブロック数を増加させる手順を含む記録媒体。
【請求項２１】
フレーム内符号化モードとフレーム間差分符号化モードとをブロック単位で切り替える第１の動画像符号化方式によって生成された第１データ系列を、フレーム内符号化モードとフレーム間差分符号化モードとをブロック単位で切り替える第２の動画像符号化方式によって生成される第２データ系列に変換するプログラムを、コンピュータにより読取り可能に格納した記録媒体であって、
前記プログラムは、
前記第２データ系列の発生符号量が目標値を越える場合は、量子化特性を保存しつつ、前記第２の動画像符号化方式においてフレーム間符号化モードによって符号化されるブロック数を増加させる手順を含む記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ある符号化方式で記録された動画像データを他の符号化方式の動画像データに変換するための方法及び装置に関する。
【０００２】
【従来の技術】
近年、音声、画像、その他のデータを統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、例えば、新聞、雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。
【０００３】
一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。
ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり６４kb（電話品質）、さらに動画については１秒当たり１００Mb（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。
【０００４】
例えば、テレビ電話は、６４kbps〜１．５Mbpsの伝送速度を持つサービス総合ディジタル網（ＩＳＤＮ:Integrated Services Digital Network）によってすでに実用化されているが、テレビ・カメラの映像をそのままＩＳＤＮで送ることは不可能である。
【０００５】
そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ＩＴＵ−Ｔ（国際電気通信連合  電気通信標準化部門）で国際標準化されたＨ．２６１規格やH.263規格の動画圧縮技術が用いられている。
【０００６】
また、ＭＰＥＧ規格の情報圧縮技術によると、通常のテレビ放送動画データが２〜１５Mbpsに圧縮される。
【０００７】
ここで、ＭＰＥＧ（Moving Picture Experts Group)とは、世界標準化機構(International Organization for Standardization、 ISO)の音声・動画符号化の標準化を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG11)を指すが、同時にこのグループが定めたデータ圧縮の国際規格をも意味する。現在、ＭＰＥＧによって、物体単位で符号化・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するＭＰＥＧ４が規格化されつつある。
【０００８】
このように、複数の動画像符号化標準が用いられようとしているが、今後の課題に符号化データ（以後、ビットストリームとよぶ）に互換性がないことが挙げられる。
【０００９】
例えばMPEG4に基づく復号化器はH.263ビットストリームは復号できるとの規定はあるが、上記したH.261、H.263、MPEG2、MPEG4の符号化方式間では、一般的にビットストリームに互換性がない（すなわち、異なる方式に基づく符号化器と復号化器を対として用いることができない）。
【００１０】
このために、異なる符号化方式に基づくビットストリームを変換する装置（以後、トランスコーダーとよぶ）が必要になっている。
【００１１】
図１にトランスコーダーの概念図を示す。ここでは異なる符号化方式をA、Bとし、方式Aによる復号化器101と方式Bによる符号化器103をフレームメモリおよび画像変換部102を介して接続している。
【００１２】
例えば、方式Aと方式ＢをそれぞれMPEG2（画像サイズ７０４×４８０画素）、H.263（画像サイズ３６０×２８８画素）と考えてみる。画像サイズが異なるものの、一度、ビットストリームを画像に変換して、再度符号化するため変換を行うことができる。
【００１３】
ところで、上記したH.261、H.263、MPEG2、MPEG4の符号化方式は、いずれも動き補償離散コサイン変換(Motion-Compensated Discrete Cosine Transformation)符号化方式（MC-DCT符号化と以後略す）が共通の枠組みとして用いている。MC-DCT符号化方式では画像を１６×１６画素からなるマクロブロックと呼ばれるブロックに分割し、連続する画像（フレーム）間でマクロブロックの差分が最小となる移動量（動きベクトル）を計算し、その差分を離散コサイン変換(DCT)符号化を行う。
【００１４】
フレーム間差分最小となるよう動きベクトルを求め冗長性を除いた差分画像を得る作業は動き補償と呼ばれる。ＤＣＴは動き補償された画像（差分画像）に残る空間的冗長性を除くために用いられる。
【００１５】
なお、最初のフレームは、他のフレームとの差分符号化が行えないため、ＤＣＴのみを用いて符号化される。これをＩピクチャとよぶ。MC-DCT符号化される一般フレームをＰピクチャとよぶ。
【００１６】
以上のMC-DCT符号化方式が符号化方式A、Bに用いられるとすると図１の復号化時に動き情報やＤＣＴ係数量子化などＭＣ-DCT符号化時の副次的情報（以後、サイド情報とよぶ）を得ることができ、再符号化時の計算効率や符号化効率（画質と符号量）を向上させることが期待できる。
【００１７】
このサイド情報を利用したトランスコーダーの従来例として、特開平１０−２７１４９４号公報に開示されている動画符号変換装置がある。
【００１８】
この概念を図２に示す。図１に示すトランスコーダーにおける方式AをMPEG2、方式ＢをH.263と置くと図２の２０２から２０３の構成に相当する。
【００１９】
本従来例では、MC-DCT方式を二つの符号化方式が共通の枠組みとしてもつことから、MPEG2復号時に得られた動きベクトルをスケーリング（画像サイズの比を乗じて絶対値を変換）することにより、H．263の符号化時に、動きベクトル探索を省略することが可能になっている。
【００２０】
図２に示した従来例では、サイド情報に動きベクトルを取り、MPEG2の復号時に得られた情報を利用して再符号化の計算効率を向上させている。
【００２１】
【発明が解決しようとする課題】
しかし、実際のトランスコーダーを構成するに当たり、動きベクトルの再利用以外に検討すべき課題は多い。
【００２２】
実際の符号化器では、その出力ビットストリームのデータ量を調整するためにレート制御とよぶ機構が必須である。
【００２３】
通常、出力側にデータ発生量の変動を吸収する出力バッファを設けておき、その出力バッファに滞留したデータ量（以後、バッファ充填量とよぶ）に応じて符号量を調整する。
【００２４】
MC-DCT符号化方式では、通常、この符号量調整はＤＣＴ係数の量子化精度を可変とすることで行う（精度を細かくとれば、画質が向上する代わりに発生符号量が増大し、粗くとれば、その逆となる）。
【００２５】
図３にトランスコーダーの課題を示す概念図を示す。
【００２６】
出力バッファ304の先には通信路または蓄積媒体がある。今、固定のデータ速度を持つ通信路を仮定すると、出力バッファからは一定速度でビットストリームが出力される。方式Ｂによる符号化器３０３はバッファ３０４のデータが枯渇（アンダーフロー）しないように、また氾濫（オーバーフロー）しないように発生符号量を調整（レート制御）しなければならない。一方で、再符号化の画質向上のためには、量子化、符号化モードなど符号化手順に関するサイド情報の利用が必要である。一般的に述べれば、方式Ｂによる符号化器を方式Ａによる符号化手順と独立に動作させると、Ａにより生じる画質損失に加えて方式Ｂによる画質損失が重畳される。例えば、方式Ａによるビットストリームが、１０フレーム／秒で符号化されているとする。
【００２７】
これの再生結果を方式Ｂにより１５フレーム／秒で独立に再符号化すると、方式Ａの符号化時刻と一致する方式Ｂのフレームは3フレームに一フレームだけとなる。すなわち他の２フレームは復号化間隔が元の動画像と一致しない。このため、Ｂ方式の復号化結果は、フレームレートを高くしたにもかかわらず方式Ａの画質を維持できないばかりか、悪くなることが危惧される。
【００２８】
これは、ＤＣＴ係数の量子化にも言える。方式Ａの量子化を1/2による丸めとする。再量子化による累積誤差を防ぐ意味で、方式Ｂの量子化も同じく1/2とするほうが、対符号量の意味で最も望ましい。トランスコーダーにおけるフレームレートの変換、ＤＣＴ係数の再量子化、画像サイズの変換はいずれも、広い意味で動画像の“再量子化”を行う作業である。この再量子化は、図３において方式Ａによる復号化器301に従属するように方式Ｂによる符号化器303を動作させることが望ましい。
【００２９】
以上、まとめるとレート制御を行うには、方式Ｂによる符号化器３０３は、出力バッファ３０４の充填量を観察しながら、再量子化を制御できるよう復号化器３０１と独立に動作させる方が良い。一方で、広義の再量子化による画質低下を抑えるためには、方式Ｂによる符号化器３０３は、方式Ａによる復号化器３０１に従属させて動作させる方が良い。ところが、トランスコーダーに関する従来技術は、動きベクトルスケーリングによる再符号化などサイド情報利用による計算効率向上の観点から開発されており、レート制御と再量子化による画質低下抑圧を両立させる技術は開示されていない。
【００３０】
本発明は、かかる点に鑑み、動画像符号化方式を変換する際に画質劣化を抑えながらレート制御を行う方法及び装置を提供することを目的とする。
【００３１】
【課題を解決するための手段】
本発明の第1の態様は、フレーム内符号化モードとフレーム間差分符号化モードの組み合わせからなる第１の動画像符号化方式によって生成された第１データ系列を、同じくフレーム内符号化モードとフレーム間差分符号化モードの組み合わせからなる第２の動画像符号化方式によって生成される第２データ系列に、データ先頭から逐次的に変換する方法／装置であって、
１．第１データ系列から1フレーム分のデータを読み出し、さらに後続フレームの符号化モードを先読みし記録する
２．前記先読みされた後続フレームの符号化モードがフレーム内符号化である場合は、第2の動画像符号化方式に変換された第２データ系列の発生符号量に応じて現フレームの符号化を行わないか、あるいは、発生符号量を減ずる制御を行う。そして、第１データ系列中に存在するフレーム内符号化モードで符号化されたデータを、優先的に第２データ系列に変換する。
【００３２】
このような方法／装置によれば、後続フレームの符号化モードを先読みし記録し、このモードに応じて方式変換時の符号量に応じて現フレームの符号量を制御することによって、'I'フレームの符号化時にオーバーフローを生じさせない安定した符号化が行える。
【００３３】
第１の態様において、後続フレームの符号化モードがフレーム内符号化である場合、前記第２データ系列の発生符号量が所定値以上であれば、前記現フレームを破棄して前記後続フレームへスキップする。これにより、現フレームが破棄されるので後続の'I'フレームの符号化時にはオーバーフローを生じさせないようにすることができる。
【００３４】
また、第１の態様において、第２の動画像符号化方式によって生成される前記第２データ系列を出力バッファに書き込み、前記第２データ系列の発生符号量として前記出力バッファのバッファ充填量を使用する。これにより、オーバーフローを生じさせないようにする直接の対象である出力バッファのバッファ充填量を直接モニタして発生符号量を制御できる。
【００３５】
また、第１の態様において、前記第１のデータ系列から１符号化単位のデータを読出した際に、その１符号化単位のデータ量を記録し、前記記録されたデータ量に係数を乗じた値を、前記１符号化単位毎に第２データ系列の発生符号量の目標値として決める。そして、前記第２の動画像符号化方式により前記１符号化単位のデータから前記第２データ系列を生成する際に、前記第２データ系列の発生符号量が前記目標値に近づくようにレート制御する。これにより、第１データ系列を構成する各符号化単位の間でのデータ量の比が、対応する第２データ系列を構成する各符号化単位の間でのデータ量の比に近づけられるので、第１の動画像符号化方式で符号化した際の符号化単位間での符号発生量の比を保存したまま第２の動画像符号化方式に変換できる。
【００３６】
また、第１の態様において、前記第１のデータ系列からデータを読み出した際に、前記第１の動画像符号化方式において当該データを量子化した際の量子化幅を取得し、前記現フレームを前記第２の動画像符号化方式により符号化する際に前記第２データ系列の発生符号量を調節する場合、前記第２の動画像符号化方式における量子化幅を、前記取得された量子化幅の整数倍に変更する。これにより、第１の動画像符号化方式において当該データを量子化した際の量子化幅の整数倍の量子化幅にて量子化されるので、変換前後で量子化特性をある程度保存する事ができ効率的で且つ画質劣化の少ない変換を実現できる。
【００３７】
また、第１の態様において、前記現フレームを前記第２の動画像符号化方式により符号化し、且つ前記第２データ系列の発生符号量を調節する場合、前記第２の動画像符号化方式における量子化幅を変更する。これにより、最初にインター・イントラ制御を行い、それでも量子化幅の変更が必要な場合には量子化幅を制御して発生符号量を制御するので、符号化方式の独立動作と量子化特性の保存といった２つの方針を最大限満足する設計が可能となる。
【００３８】
本発明の第２の態様は、第１の動画像符号化方式によって生成された第１データ系列を第２の動画像符号化方式によって生成される第２データ系列に、データ先頭からフレームあるいはフレームを分割して得られる部分画像を符号化単位毎に逐次的に変換する方法／装置であって、
１．第１データ系列から１符号化単位のデータを読み出した際、その1符号化単位のデータ量を記録する
２．１符号化単位を第2の動画像符号化方式に変換する際に第２データ系列の発生符号量の目標値を前記データ量に所定の係数を乗じた値に定める。そして、第１データ系列を構成する各符号化単位のデータ量の比が、第２データ系列を構成する各符号化単位のデータ量の比に近づくよう制御する。
【００３９】
このような方法／装置によれば、元画像データの１フレーム分のデータ量を記録し、これを第2の動画像符号化方式に変換する際に発生符号量の目標値を前記データ量に所定の係数を乗じた値に定めることにより、元来のレート制御に忠実な再符号化が行え、再量子化による累積誤差による画質低下を抑制することができる。
【００４０】
第２の態様において、１符号化単位は、１フレーム又は複数フレームで構成されることが望ましい。これにより、１符号化単位は任意のフレーム数で構成されるので設計自由度を確保できる。
【００４１】
本発明の第３の態様は、フレーム内符号化モードとフレーム間差分符号化モードをブロック単位の切り替えで行う第１の動画像符号化方式によって生成された第１データ系列を、同じくフレーム内符号化モードとフレーム間差分符号化モードをブロック単位の切り替えで行う第２の動画像符号化方式によって生成される第２データ系列に、データ先頭から逐次的に変換する方法／装置であって、
第２データ系列の発生符号量が目標となる符号量に達しない場合は、第2の動画像方式においてフレーム内符号化モードをより多く選択する。
【００４２】
このような方法／装置によれば、出力バッファに余裕があるとき、イントラ符号化モードを挿入することにより調整する。これにより量子化特性を変更しなくてもレート制御が行え、再量子化による画質劣化を抑えることができる。
【００４３】
第３の態様において、前記第１のデータ系列から１ブロック単位のデータを読出した際に、その１ブロック単位のデータ量を記録し、前記ブロック単位毎に前記記録されたデータ量に係数を乗じた値を第２データ系列の発生符号量の目標値として使用することが望ましい。
【００４４】
また、第３の態様において、前記第１のデータ系列からデータを読み出した際に、前記第１の動画像符号化方式において当該データを量子化した際の量子化幅を取得し、現フレームを前記第２の動画像符号化方式により符号化する際に前記第２データ系列の発生符号量を調節する場合、前記第２の動画像符号化方式における量子化幅を、前記取得された量子化幅の整数倍に変更することが望ましい。
【００４５】
また、第３の態様において、前記ブロック単位は、フレーム単位又はマクロブロック単位である。
【００４６】
また、第３の態様において、動き補償されたブロック間差分の輝度分散を、フレーム内符号化モードがより多く選択されるように再定義して、フレーム内符号化モードによって符号化されるブロック数を増加させる用にしても良い。
【００４７】
また、第３の態様において、動領域に属するマクロブロックのイントラリフレッシュの間隔を短縮して、フレーム内符号化モードによって符号化されるブロック数を増加させるようにしてもよい。
【００４８】
本発明の第４の態様は、フレーム内符号化モードとフレーム間差分符号化モードをブロック単位の切り替えで行う第１の動画像符号化方式によって生成された第１データ系列を、同じくフレーム内符号化モードとフレーム間差分符号化モードをブロック単位の切り替えで行う第２の動画像符号化方式によって生成される第２データ系列に、データ先頭から逐次的に変換する方法／装置であって、
第２データ系列の発生符号量が目標となる符号量を越える場合は、第2の動画像方式においてフレーム間符号化モードをより多く選択する。
【００４９】
このような方法／装置によれば、出力バッファに余裕が無いときは、インター符号化モードを挿入することにより調整する。これにより量子化特性を変更しなくてもレート制御が行え、再量子化による画質劣化を押さえることができる。
【００５０】
また、第４の態様において、前記第１のデータ系列から１ブロック単位のデータを読出した際に、その１ブロック単位のデータ量を記録し、前記ブロック単位毎に前記記録されたデータ量に係数を乗じた値を第２データ系列の発生符号量の目標値として使用することが望ましい。
【００５１】
また、第４の態様において、前記第１のデータ系列からデータを読み出した際に、前記第１の動画像符号化方式において当該データを量子化した際の量子化幅を取得し、現フレームを前記第２の動画像符号化方式により符号化する際に前記第２データ系列の発生符号量を調節する場合、前記第２の動画像符号化方式における量子化幅を、前記取得された量子化幅の整数倍に変更することが望ましい。
【００５２】
本発明の第５の態様は、量子化により情報損失を伴う第１の不可逆動画像符号化方式によって生成された第１データ系列をおなじく量子化により情報損失を伴う第２の不可逆動画像符号化方式によって生成される第２データ系列に逐次的に変換する方法／装置であって、
１．第１データ系列からデータを読み出した際、量子化幅を記録する
２．第２データ系列の発生符号量を調節する際、前記記録された量子化幅の整数倍に量子化幅を変更する。
【００５３】
このような方法／装置によれば、レート制御を量子化幅の変更により行うとき、変更を整数倍にとることにより、再量子化による画質劣化を抑えることができる。
【００５４】
さらに、上記第１，２，３，４，５の態様と同等の処理をコンピュータに実行させるプログラムを、コンピュータによる機械読取り可能な記録媒体に格納した態様も本発明の１つの態様に含む。
【００５５】
【発明の実施の形態】
実施例として、ITU-T H.261勧告に基づく動画像符号化方式で符号化されたビットストリームをISO MPEG-4標準に基づく動画像符号化方式のビットストリームへ変換すること、およびその逆を考える。いずれもMC-DCT方式に基づく代表的な符号化方式であり、その詳細はＩＴＵ−Ｔ勧告H.261 文書（H.261 Recommendation、 LINE TRANSMISSION OF NON-TELEPHONE SIGNALS 03/1993)とＩＳＯ標準化文書（文書番号ISO/IEC JTC1/SC29/WG11 N2502文書名 INFORMATION TECHNOLOGY -GENERIC CODING OF AUDIO-VISUAL OBJECTS Part 2: Visual ISO/IEC 14496-2、発行年 10/1998）に記載されている。また標準化には規定されていないH.261符号化器の動作の参考としてCCITT（現在ITU-T）SG15 Working Party 15/4、Specialists Group on Coding for Visual Telephony Document 525、Description of Ref. Model8 (RM8)、June 1989を用いる。
【００５６】
はじめにH.261のデータ構造を説明する。
【００５７】
図４はH.261の画像データ構成を示している。符号化される画像はQCIF(Quarter Common Interface Format)とよばれ、横１７６画素、縦144画素であるとする。H.261においても画像を16×１６画素のマクロブロックに分割する。マクロブロック単位で動き補償が行われるが、ＤＣＴ符号化はマクロブロックを構成するＤＣＴブロックで行われる。ＤＣＴブロックの大きさは8×８画素であり、輝度について4ブロック、色差については、解像度が輝度の縦横それぞれ1/2であることから、1ブロックづつとなり計6ＤＣＴブロックでマクロブロックを構成する。マクロブロックを3行集めたものをGOB(Group of Block)とよぶ。
【００５８】
図５にH.261に基づいて符号化されたデータの構成を示す。理解のため、ビットストリームを4階層に分けて説明する。まずビットストリームは、ピクチャ（フレームと同義）の繰り返しである。PSC(Picture Start Code、フレーム開始符号)から始まり、TR(Temporal Reference、フレーム番号)が続く。そしてPTYPE(Picture Type、タイプ情報)がある。H.261ではPTYPEには画像サイズや再生モードが示されており、後述するそのフレームがフレーム内符号化（イントラ符号化）されているのか、フレーム間符号化（インター符号化）されているのかの情報はない。その後にGOBレイヤーの繰り返し（QCIFの場合3回）となる。
【００５９】
GOBレイヤーの先頭はGBSC(GOB Start Code):ＧＯＢ開始符号から始まり、GN(GOB Number、ＧＯＢ番号)が続き、GQUANT(量子化特性情報)が送られる。H.261ではＤＣＴ係数の量子化はインター符号化に関しては１から３１のインデックスで示される量子化幅で行われる。イントラ符号化に関しては、インデックス８に相当する１種類のみである。
【００６０】
GQUANTにより、当該ＧＯＢのＤＣＴ係数量子化幅が指示される。ＧＯＢレイヤーの最後はマクロブロックデータの繰り返しとなる。マクロブロックのデータはMBA(Macro Block Address、マクロブロックアドレス)で始まる。これは有効な符号を含むマクロブロックの位置を相対的に示している。MC-DCT符号化では、静止領域では動きベクトルもＤＣＴ係数も送らずとも画像が再現できる。
【００６１】
そこではマクロブロックの情報は送らなくてもよい。これはマクロブロックスキップとよばれ、そのためにＭＢＡが必要となっている。MTYPE(タイプ情報)は、マクロブロックがフレーム間符号化されているか、フレーム内符号化されているかの指示に用いられる。H、261を除くMC-DCT符号化では、フレーム単位のイントラ／インター切り替えの他に、マクロブロック単位で、イントラ／インターの切り替えが行うのが一般的である。
【００６２】
また同時にMTYPEには、ループフィルターが当該マクロブロックに施されているか、否かの情報も含まれている。ループフィルターはH.261特有の（他の符号化標準にはない）処理で、動き補償後の予測画像に局所平均によるフィルタを施す。場合により予測効率が向上するため、適応的に利用される。MQUANT(量子化特性)は、GQUANTにより、当該ＧＯＢのＤＣＴ係数量子化幅が定められるが、これをマクロブロック単位で、量子化幅を変更する必要が生じた場合に送られる。MVD (Motion Vector Data)は動き補償に用いられる動きベクトルである。CBP(Coded Block Pattern)は有意ブロックパターンを表す。
【００６３】
計6ＤＣＴブロックのうち、ＤＣＴ後の係数が量子化の結果全て零のものは送る必要がない。そこで、ＣＢＰにより、非零の係数をもつブロックのみを指定してＤＣＴ係数を伝送する。
【００６４】
次にMPEG-4標準について説明する。
【００６５】
MPEG-4にはプロファイルとよぶ応用により使用する機能の切り分けがなされている。ここで、変換の対象とするのは最も簡単なシンプルプロファイルである。
図６はMPEG4の画像データ構成を示している。H.261では画像サイズはQCIFおよびその縦横２倍サイズのCIF(Common Interface Format)画像と定められていたが、MPEG4では任意であり、画像サイズが１６の倍数であるとの制約もない。また、MPEG4では画素のアスペクト比（１画素を矩形と見たときの縦横の比率）も任意である。H.261では4:3となっている。
【００６６】
そこで、簡単のため、ここでは扱う画像のサイズをすべてH.261に合わせる。
MPEG4では、GOBの代わりにVideo Packetとよぶ構造が定義されている。GOBが画像を固定された矩形に分割して得られることに対して、Video Packetの開始位置はマクロブロック単位で任意である。他のＤＣＴブロックの構成はH.261とほぼ同じであるため図６から省略する。
【００６７】
MPEG4では、１フレームあるいはピクチャに相当する画像をVideo Object Planeとよんでいる。以後、これをVOPと略す。
【００６８】
まずVSC(VOP Start Code、VOP開始符号)から始まり、VTYPE(vop#coding#type)により、そのフレームがフレーム内符号化（イントラ符号化）されているのか、フレーム間符号化（インター符号化）されているのかが分かる。Ｈ．２６１ではTR(Temporal Reference)によりフレーム番号として、時間表示をしたが、MPEG-4では、詳細は引用文献に述べられているため省略するが基準フレームからの経過時間としてMTB(module#time#base)により秒単位の粒度で、VTI(vop#time#increment)により秒未満の粒度で時間を直接指示する。VQAUNTは量子化特性情報であり、H.261のGQUANTに相当するが、画像全体の量子化幅を指定する。RSM（Resync Marke、再同期符号）はVideo Packetの先頭に付され、伝送誤りに際して、再同期が迅速に行えるようになっている。Video Packetヘッダーには、再同期後に必要なVOPに関する情報が収められている。
【００６９】
マクロブロックデータの構成は、NCD(Not Coded、無効フラグ)から始まる。H.261ではMBAにより、次の有効マクロブロックへの相対アドレスとして無効マクロブロックをスキップしたが、MPEG４では１ビットのフラグを立てることにより、無効マクロブロックを表現する。MCBPC(macroblock type and the coded block pattern for crominance、マクロブロック情報)は、MTYPEと同様、イントラ／インターの切り替えを行うために用いられる。
【００７０】
ただし、MPEG4にはループフィルタがないため、この表示は含まれない。一方で、信号のＤＣＴブロックの有効／無効パターンがMCBPCでは示される。すなわちH.261のＣＢＰのうち、色差信号に関する情報が含まれる。輝度ＤＣＴブロックの有効／無効パターンについてはCBPY（輝度有意ブロックパターン）によりマクロブロックを構成する輝度４ブロックのパターンを表す。
【００７１】
DQUANTは、DCT係数の量子化幅をマクロブロック単位で変更する場合に用いられる。MQUANTと異なり、±２の範囲で増減値が指示される。MVD（動きベクトル情報）は、動き補償に用いられる動きベクトルである。H.261の精度は整数画素単位であったが、MPEG4では半画素（0.5画素）単位であることが異なる。ＤＣＴ係数ブロックの構成はほぼH.261と同じである。
【００７２】
以上、まとめるとH.261と最も単純な構成のMPEG4はMC-DCTの枠組みを共有し、データ構成も表現方法（符号化の文法）は異なるもののデータに多くの互換性がある。H．261とMPEG4の符号化方式変換上の大きな相違は以下となる。
【００７３】
動き補償
H.261:整数精度+ループフィルタ
MPEG4：半画素精度
Ｆ値とよぶスケーリングにより探索範囲が変更可能
動きベクトルがマクロブロック当たり４個存在するモードあり、
ＤＣＴ係数量子化
H.261、MPEG4とも同じ量子化幅をもつ線形量子化．
ただし、イントラ符号化モードの直流成分については、MPEG4では非線形量子化のモードがあり．
Ｈ．２６１のイントラ符号は、量子化インデックス８に固定．
以上の相違から、トランスコーダーは、ＤＣＴ係数をそのまま転記するような構成はとれず、図３に示すように、方式A(この場合H.261またはMPEG4)を方式Ｂ（MPEG4あるいはH.261）に変換する際、フレームメモリ３０２を介在させ、一度画像データに復号したのち、再符号化する方式または装置とする。
【００７４】
この際、サイド情報として図８に示すトランスコーダ中間データを考える。
【００７５】
図８中、メモリへの格納先を示したのは後で示す実施例の構成との対応をとるためである。
【００７６】
以下に、各データの意味を説明する。
【００７７】
これまで説明したデータ構成からH.261とＭPEG4共通の中間データとして用いることができる。
【００７８】
* 次フレーム符号化モード  NPTYPE＝ ['I'、 'P'、'U']
方式Aのデコード中先読みにより求める。MPEG4であればVTYPE、H.261であれば、'U':不定となる。
【００７９】
* 現フレーム符号化量  Pcontent (単位 Kbits)
方式Aの１フレームデコードにより求める。
【００８０】
１フレーム終了後に再符号化を行う場合は、１フレーム分のデータ量に相当する。再符号化を元画像復号途中からはじめる場合は、当該フレーム開始からその時刻までデータ量となる。
【００８１】
* 現フレーム符号化モード PTYPE = ['I'、 'P']
‘I'はイントラ符号化、'P'はインター符号化を表す。H.261ではすべてのマクロブロックがイントラ符号化であれば、'I'そうでなければ'P'である。これは、後述のPREDi、jから判定できる。
【００８２】
* 現フレーム番号 TR （整数値）
MPEG4からは、MTBとVTIより求める。
【００８３】
* 有効無効フラグ    CDij = [0、1、'U']
マクロブロックの有効：０、無効：１を表す。i、jは、マクロブロックの水平・垂直位置を表す。'U'は、不定の場合を表す。
【００８４】
例えばA方式のＰピクチャをB方式でIピクチャで再符号化する場合などは不定とする。
【００８５】
* ブロック有効無効フラグ CBPi、j、k = [0、1、'U']
ＤＣＴブロックの有効・無効を表す。MPEG4からは MCBPCとCBPYから定まる。
【００８６】
Y×４、Cr×１、Cb×１  であるので、  kは 0〜5の値をとる。
【００８７】
* 量子化スケール QUANTi、j = [1、〜、 31、 'U']
マクロブロック単位の量子化幅を示すインデックス
* 符号化モード  MTYPEi、j = ['I'、 'P'、 'U']
マクロブロック単位のイントラ・インターの符号化モードを表す。'U'は不定を示す。
【００８８】
* 動きベクトル   (MVXi、j、 MVYi、j) 値は [-15、〜、 15、 'U']
動きベクトルの水平、垂直絶対値を整数精度で示す。H.261が整数精度であるので、それに合わせる。
【００８９】
* イントラ間隔    PERIODi、j = [0、99]の整数値
MC-DCT方式では、フレーム間ＤＣＴ演算の精度が累積され符号化・復号化間で演算のミスマッチがおこる。
【００９０】
このために、132符号化フレーム間隔以内にマクロブロックをイントラ符号化しなければならない。
【００９１】
これをイントラリフレッシュとよぶ。このイントラリフレッシュを周期的に行うためのカウンターである。初期値は０とする。
【００９２】
* 動領域フラグ    MOVi、j =[0、1、 'U']
そのマクロブロックが動領域に含まれているか否かを示すフラグ。'1'で動領域であるとする。
【００９３】
実施例では  (MVXi、j、 MVYi、j)の要素のうちいずれかでも絶対値が１以上であれば動領域とする。
【００９４】
以上、H．261、 MPEG4のデータ構成を説明した上で、第１の実施例と第２の実施例に共通したフローチャートを図９に説明する。
【００９５】
まずはじめに、初期化により、PERIODi、jは全てのI、jについて０に設定する。このデータはマクロブロック単位のイントラ・インター制御に関する。
【００９６】
次に、方式A（H．261またはMPEG4）画像の再構成および中間データの生成ステップにより、再生画像と中間データ  NPTYPE、Pcontent、PTYPE、TR、CDi,j、CBPi,j,k、QUANTi,j、MTYPEi,j、(MVXi,j、 MVYi,j)、MOVi,jが生成される。
【００９７】
ここで全実施例を通してトランスコーダーの基本方針は以下のとおりである。
基本方針１：方式A復号化の際に生成されたサイド情報のうち、PTYPE、TR、CDi,j、CBPi,j,k、QUANTi,j、MTYPEi,jは基本的に全て方式Ｂの符号化モードに移して使う。これにより、再量子化による累積画質劣化を防ぐことができる。
【００９８】
ただし、方式A復号化の際に生成されたサイド情報のうち一部はレート制御のために変更する。変更のやり方に付いては後述する。
【００９９】
基本方針２：動きベクトル情報(MVXi,j、MVYi,j)は、方式Ｂにおける再符号化の際に参考情報として用いられる。すなわち、動きベクトル情報の値が確定している場合は、その近傍でマクロブロック間の差分が最小となる位置を動きベクトルとして再探索するのに使われる。'U'である場合は、(0、0)から探索する。
【０１００】
図９において、中間データを生成した後、条件分岐にはいる。
現在のフレームの符号化モードが、インター符号化で、次フレームの符号化モードがイントラ符号化であり、かつ現在のバッファ充填量(図中、Bcontent)が、
Pcontent(当該フレームの累積データ量)＞バッファ容量の半分
であれば、現入力フレームを廃棄して符号化をとりやめ、次フレームをイントラ符号化する。
【０１０１】
また、次フレームを強制的にイントラ符号化する指示が復号側から与えられた場合も同様である。エラーが発生した場合は、復号側から次フレームを強制的にイントラ符号化する指示が与えられる。
【０１０２】
MC-DCT符号化において、Iピクチャとよばれるイントラ符号化されたフレームは重要である。なぜならば、以後のインター符号化モードで符号化されたフレームは、これなくしては復号できないからである。一方で、出力バッファの容量に余裕がない場合、上記した基本方針１に従って再符号化を行っているとIピクチャの再符号化時に出力バッファがオーバーフローするおそれが生じる。出力バッファがオーバーフローによってIピクチャが符号化されない事態が生じると画質劣化が生じる。
【０１０３】
そこで、現入力フレームに続く後続フレームのNPTYPEを先読みし、後続フレームのNPTYPEと現在のバッファ充填量（Bcontent）とを勘案して方式Ｂにおける符号化処理を切り替えるようにした。すなわち、後続フレームがＩピクチャであり、且つIピクチャの再符号化時に出力バッファがオーバーフローする可能性が有れば、現入力フレーム（Ｐピクチャ）を破棄して、再符号化される後続フレームのＩピクチャのために出力バッファの容量を確保する。この概念を示したのが図９である。
【０１０４】
なお、H.261では、イントラ/インター符号化のモード表示がフレーム先頭にないため、図９の条件分岐はMPEG4→H．261の場合のみ適用できる。
【０１０５】
図９において、条件分岐において'NO'であれば（H．261→MPEG4変換では常に'NO'である）イントラ・インター符号化モード制御に入る。この制御以降の処理についてH．２６１からMPEG4への変換方法を実施例１、MPEG4からH．261への変換方法を実施例２として説明する。
【０１０６】
実施例１は、図９、図１０、図１１に示したフローチャートに基づいた変換が実行される。図９中の太枠で囲んだ処理ステップのうち、イントラ・インター符号化モード制御（Ｓ１）は、図１０に示すフローチャートにしたがって実行され、レート制御用マクロブロック単位の符号化情報の変更（Ｓ２）は図１１に示すフローチャートにしたがって実行される。
【０１０７】
ここで、レート制御に関する条件としてＨ．２６１の符号化速度は64Kbps、MPEG4の符号化速度も同じく64Kbpsとする。また出力バッファのバッファサイズは、6．4kbitとする。
【０１０８】
図１０に記されたイントラ・インター符号化モード制御では、H．261のデータ系列からMPEG-4のデータ系列へ変換する際、動領域に属するマクロブロックのうちリフレッシュ間隔が上位であるＮ（本実施例では３）個のマクロブロックを強制的にイントラ符号化モードに変更する。
【０１０９】
以上の処理により、動領域のマクロブロックを中心にイントラリフレッシュが行われるので、MPEG-4のビットストリームの耐エラー特性が改善される。これは、静止画領域に伝送誤りが生じた場合、前フレームの結果をコピーすることにより救われ、動領域では画質劣化となることが理由である。
【０１１０】
図１１は、インターモードであると判断されたマクロブロックに対する再符号化の処理ステップを示している。動き予測は、トランスコーダーの基本方針２に示した処理を実行する。
【０１１１】
この際、動き補償されたブロック間差分の輝度分散をVAR、入力画像のブロック内輝度分散をVARORとして計算する。
【０１１２】
H．261符号化器のモデルとして典型的なＲＭ８（前記した引用文献に記載）では、このVARとVARORを用いてマクロブロックの符号化モードをイントラ/インター判定している。具体的には、VAR < 64、すなわちフレーム間差分の信号電力が絶対的に小さい場合、またはVAR < VAROR、すなわちフレーム間差分の信号電力がフレーム内信号電力よりも小さい場合は、インター符号化が行われる。
【０１１３】
インター符号化の際には、バッファ充填量（Bcontent）が予定符号量に近づくように符合発生量を調節するレート制御が行われる。本実施例は、予定符号量を下式に基づいて計算している。
【０１１４】
予定符号量＝Pcontent×（MPEG-4符号化速度/Ｈ．２６１符号化速度）×現在のマクロブロック処理数/総数
本実施例では符号化速度はともに64kbpsであるので、（MPEG4符号化速度/Ｈ．２６１符号化速度）=1である。
【０１１５】
このように、予定符号量（言い換えれば目標符号量）を、Pcontentを元に計算することにより、H．261の量子化制御をなるべく保存しつつ、元来おこなわれたレート制御をも実現できる。例えば、方式Ａのデータ系列を構成する各符号化単位間でのデータ量の比に、方式Ｂのデータ系列を構成する各符号化単位間でのデータ量の比が近づくようにレート制御されることになる。その結果、方式Ａのデータ系列を構築した際のコンセプトが変換後の方式Ｂのデータ系列においても保存されることになる。
【０１１６】
また、VARに乗じる係数ｒは下式に基づいて計算している。
ｒ＝ｍａｘ（１．０，予定符号量／発生符号量）
このため、VARは発生符号量が予定符号量を下回っているとき、１より大きくなる。したがって、VAR= VAR*rとすることにより、出力バッファの容量に余裕がある場合（発生符合量が予定符号量を下回っているとき）は、VARを大くしてイントラ符号化モードがより多く選択されるようにモードを制御する。なお、VARは動き補償されたブロック間差分の画素２乗平均（輝度分散）のことであり、フレーム間差分の信号電力を示す。また、VAROR入力画像のブロック内の２乗画素平均（輝度分散）のことであり、フレーム内信号電力を示す。
【０１１７】
一般の符号化器制御では、ビットレートに余裕がある場合は量子化幅を小さくして画質を向上させるが、本発明のような方式変換符号化の場合は、前述したとおり量子化特性をなるべく変えないことが望ましいので、量子化幅の変更は最小限に抑えてイントラ符号化モードのフレーム（Ｉピクチャ）の数を増やしている。これにより、パケット落ちなどの障害に対して耐エラー特性が増す。一般的にMPEG-4がH．261よりも符号化効率が良いとされているため、同じ符号化速度の変換では、出力バッファの充填量に余裕がある範囲でイントラ符号化モードをとるよう制御することは以上のような利点がある。
【０１１８】
また、図１１に示すフローチャートの最終ステップは、QUANTi、jの制御である。ＲＭ８では、64Kbpsの場合、量子化幅を下式にて求めている。
【０１１９】
量子化幅= ２×  int(バッファ充填量[bit]/ 200) ＋  ２
上式に基づいて量子化幅を制御すれば、バッファ充填量が増えれば量子化幅が大きくなり、発生符号量が減少するフィードバック制御が実現される。
【０１２０】
本実施例では、量子化誤差の累積と発生ビット量の関係を考慮して、以下のように量子化幅を変更する。
バッファ充填量 >バッファ容量の７０％の場合
量子化幅 = QUANTi、j ×２
バッファ充填量 >バッファ容量の８０％の場合
量子化幅 = QUANTi、j ×３
バッファ充填量 >バッファ容量の９０％の場合
量子化幅 = QUANTi、j ×４
とする。
【０１２１】
ただし、MPEG4では、隣接するマクロブロックではQUANTi、jの値は最大２までの変更しか許されていないため、変更幅は最大２に制限する。
【０１２２】
このように、最初に符号化モードを制御してバッファ充填量を目標符号量に近づける制御を行い、それでも量子化特性（量子化幅）を変更する必要があれば、方式Ａにおける量子化幅の整数倍になるように方式Ｂにおける量子化幅を設定する。
【０１２３】
以上、第１の実施例を述べた。方式変更前の量子化特性を保存しつつ、レート制御を行う方法の一例が実現されている。
【０１２４】
なお、出力バッファに余裕があるとき、VAR値の再定義によりイントラマクロブロックを増やす方法を述べたが、これとは別に、動領域に属するマクロブロックのイントラリフレッシュの値Ｎを加減するようにしてもよい。
【０１２５】
次に、第２の実施例を説明する。
【０１２６】
第２の実施例は、MPEG4からH．261への変換方法であり、図９、図１２、図１３を示したフローチャートに基づいて変換動作が実行される。
【０１２７】
図９中の太枠で囲んだ処理ステップのうち、イントラ・インター符号化モード制御は、図１２内のフローチャートにしたがって実行され、レート制御用マクロブロック単位の符号化情報の変更は図１３内のフローチャートにしたがって実行される。
【０１２８】
理解を容易にするため第１の実施例との相違を中心に説明する。
【０１２９】
ここでは、MPEG4がH．261よりも符号化効率が良いが、エラー耐性を高めるために、マクロブロックが必要以上にイントラ符号化されていると仮定している。
【０１３０】
図１２に示したイントラ・インター符号化モードの制御では、イントラマクロブロックの中でPERIODi,jが最大のもの、またはPERIODi,jがマクロブロック総数（９９）を越えるものを除いて、符号化モードを'U'(不定)としている。このように、現フレームの符号化モードがフレーム間差分符号化モードの場合であっても、最小限のイントラマクロブロックを残して、それ以外は符号化モードを'U'(不定)とする。この結果、次のステップ（図１３）で再度インター符号化される機会が生じる。
【０１３１】
ここで、符号化効率が良い方式Ｂから相対的に符号化効率の悪い方式Ａへ変換する場合、方式Ｂのデーア系列に含まれている全てのＩピクチャ（イントラ符号化画像）を方式Ａのデータ系列に変換すると、Ｐピクチャ（インター符号化画像）に比べてＩピクチャはデータ量が多いので出力バッファがオーバーする可能性がある。本実施例は量子化幅を制御することなくバッファオーバーフローを回避するために、イントラ符号化されるマクロブロックの数を減させている。相対的にインター符号化されるマクロブロックの数を増加させている。
【０１３２】
図１３に示したイントラ/インター判定は、RM8で述べられているVARとVARORを用いた一般的な判定法である。図１３の最終ステップであるQUANTi,j制御は、第１の実施例と同一であるので説明は省略する。
【０１３３】
第２の実施例によれば、一般的に符号化効率がMPEG-4に比べて劣ると言われるH.261への方式変換を、イントラマクロブロックをインターマクロブロックへモード変更することにより、他のマクロブロックについて量子化幅を制御せずともバッファオーバーフローを避けることができる。
【０１３４】
次に、画像符号変換装置の実施例を２つ述べる。図１４は第３、第４の実施例に共通するトランスコーダーの概念図であり、図９の方法を装置化したものである。
【０１３５】
フレーム符号化モードメモリ４０６、動きベクトルメモリ４０７、マクロブロック符号化モードメモリ４０８、レート制御情報メモリ４０９には、図８記載の中間データが格納される。図９に記載された制御は符号化器制御部４０５で実現される。この制御信号をうけてフレーム符号化モード変更部４１０、マクロブロック符号化モード変更部４１１がそれぞれ、変更を行う。
【０１３６】
この図は、符号化器制御部４０５の制御信号が特別にない限り、PTYPE、TR、CDi、j、CBPi、j、k、QUANTi、j、MTYPEi、jの情報がそのまま方式Ｂによる符号化器に伝えられる構成を示している。
図１４を詳細化し、第１の方法実施例に対応する装置実施例を第３の実施例として図１５に示す。図１５中、５０１は可変長復号化部、５０２は逆量子化処理を行う逆量子化部、５０３は逆ＤＣＴ処理を行う逆ＤＣＴ部、５０４は加算器、５０５はフレームメモリ、５０６は動き補償の処理を行う動き補償部、５０７はループフィルタであり、H．261の復号化器を構成する。復号化された画像はフレームメモリ５０５を介して、MPEG4符号化器に伝えられる。
【０１３７】
５０８は減算器、５０９はＤＣＴ演算を行うＤＣＴ部、５１０はＤＣＴ係数を量子化する量子化部、５１１は逆量子化を行う逆量子化部、５１２は逆ＤＣＴ演算を行う逆ＤＣＴ部、５１３は加算器、５１４はフレームメモリ、５１５は動き予測及び動き補償の処理を行う動き予測・動き補償部、５１６は可変長符号化部、５１７は出力バッファであり、MPEG4符号化器を構成する。
【０１３８】
５１８はMPEG4レート制御部であり、図９、１０、１１の制御を実現している。中間データはレート制御情報メモリ５１９、マクロブロック符号化モードメモリ５２０、フレーム符号化モードメモリ５２１に記憶され、この中で、PTYPE、TR、CDi、j、CBPi、j、k、QUANTi、j、MTYPEi、jの情報をうけてMPEG4符号化器が制御される。より具体的にはブロックモード変更部５２２がマクロブロックの符号化モードを変更し、イントラ・インターモード変更部が、PTYPEとMTYPEの情報を元に、予測符号化を制御する。
【０１３９】
なお、図の簡略化のため示さないが、モード情報は、可変長符号化部５１６で多重化され出力バッファに送出される。
次に第４の実施例を図１６を用いて説明する。
【０１４０】
第４の実施例は第３の実施例と逆のMPEG-4からH.261への変換を行う。図１６中、６０１は可変長復号化部、６０２は逆量子化部、6０３は逆ＤＣＴ部、604は加算器、６０５はフレームメモリ、６０６は動き補償部であり、MPEG4の復号化器を構成する。
【０１４１】
復号化された画像はフレームメモリ605を介して、Ｈ．２６１符号化器に伝えられる。
【０１４２】
６０７は減算器、６０８はＤＣＴ部、６０９は量子化部、６１０は逆量子化部、６１１は逆ＤＣＴ部、６１２は加算器、６１３はフレームメモリ、６１４は動き予測・動き補償部、６１５はループフィルタ、６１６は可変長符号化部、６１７は出力バッファであり、H.261符号化器を構成する。６１８はH.261レート制御部であり、図９、１2、13の制御を実現している。中間データはレート制御情報メモリ6１９、マクロブロック符号化モードメモリ6２０、フレーム符号化モードメモリ6２１に記憶され、この中で、PTYPE、TR、CDi、j、CBPi、j、k、QUANTi、j、MTYPEi、jの情報をうけてＨ．２６１符号化器が制御される。
より具体的にはブロックモード変更部６２２がマクロブロックの符号化モードを変更し、イントラ・インターモード変更部が、PTYPEとMTYPEの情報を元に、予測符号化を制御する。なお、図の簡略化のため示さないが、モード情報は、可変長符号化部６２３で多重化され出力バッファに送出される。
【０１４３】
本発明を実施するコンピュータをプログラムするために使用できる命令を含む記録媒体であるコンピュータプログラム製品が本発明の範囲に含まれる。この記録媒体は、フロッピーディスク、光ディスク、ＣＤ−ＲＯＭ及び磁気ディスクなどのディスク、ＲＯＭ，ＲＡＭ，ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気又は光カードなどであるが、特にこれらに限定されない。また、このプログラムを記録媒体に記録して世界各地の端末に移送する、あるいはインターネット等の通信回線を経由して転送（暗号化して配信）することにより、コンピュータや携帯情報端末で実現することも考えられる。
【０１４４】
【発明の効果】
以上詳記したように本発明に係る動画像符号変換方法／装置によれば、次フレームの符号化モードを先読みし記録し、このモードに応じて方式変換時の符号量に応じて現フレームの符号量を制御することによって、'I'フレームの符号化時にオーバーフローを生じさせない安定した符号化が行える。
【０１４５】
また本発明に係る動画像符号変換方法／装置によれば、元画像データの１フレーム分のデータ量を記録し、これを第2の動画像符号化方式に変換する際に発生符号量の目標値を前記データ量に所定の係数を乗じた値に定めることにより、元来のレート制御に忠実な再符号化が行え、再量子化による累積誤差による画質低下を抑制することができる。
【０１４６】
また本発明に係る動画像符号変換方法／装置によれば、出力バッファに余裕があるとき、イントラ符号化モードを挿入することにより調整する。これにより量子化特性を変更しなくてもレート制御が行え、再量子化による画質劣化を押さえることができる。
【０１４７】
また本発明に係る画像符号変換方法／装置によれば、出力バッファに余裕が無いときは、インター符号化モードを挿入することにより調整する。これにより量子化特性を変更しなくてもレート制御が行え、再量子化による画質劣化を押さえることができる。
【０１４８】
また本発明に係る画像符号変換方法／装置によれば、レート制御を量子化幅の変更により行うとき、変更を整数倍にとることにより、再量子化による画質劣化を押さえることができる。
【図面の簡単な説明】
【図１】トランスコーダの概念図
【図２】従来例の符号変換装置を示す図
【図３】トランスコーダの課題を示す概念図
【図４】  H.261の画像データ構成図
【図５】  H.261の画像データ構成図
【図６】  MPEG4ビジュアルシンプルプロファイルの画像データ構成図
【図７】  MPEG4ビジュアルシンプルプロファイルのデータ構成図
【図８】トランスコーダ中間データを示す図
【図９】トランスコーダ全系フローチャート
【図１０】  H.261→MPEG4変換時のイントラ・インター符号化モード制御部分のフローチャート
【図１１】  H.261→MPEG4変換時のレート制御用マクロブロック単位符号化情報変更部分のフローチャート
【図１２】  MPEG4→H.261変換時のイントラ・インター符号化モード制御部分のフローチャート
【図１３】  MPEG4→H.261変換時のレート制御用マクロブロック単位符号化情報変更部分のフローチャート
【図１４】本発明によるトランスコーダの概念図
【図１５】  H.261→MPEG4トランスコーダーを示す図
【図１６】  MPEG4→H.261トランスコーダーを示す図
【符号の説明】
１０１  方式Aによる復号化器
１０２  フレームメモリ/画像変換部
１０３  方式Ｂによる符号化器
２０２  MPEG2復号化器
２０３  画像変換部
２０４  H．263符号化器
２０５  動きベクトルスケーリング部
３０１  方式Aによる復号化器
３０２  フレームメモリ/画像変換部
３０３  方式Ｂによる符号化器
３０４  出力バッファ
４０１  方式Aによる復号化器
４０２  フレームメモリ/画像変換部
４０３  方式Ｂによる符号化器
４０４  出力バッファ
４０５  符号化器制御部
４０６  フレーム符号化モードメモリ
４０７  動きベクトルメモリ
４０８  マクロブロック符号化モードメモリ
４０９  レート制御情報メモリ
４１０  フレーム符号化モード変更部
４１１  マクロブロック符号化モード変更部
５０１  可変長復号化部
５０２  逆量子化部
５０３  逆ＤＣＴ部
５０４  加算器
５０５  フレームメモリ
５０６  動き補償部
５０７  ループフィルタ
５０８  減算器
５０９  ＤＣＴ部
５１０  量子化部
５１１  逆量子化部
５１２  逆ＤＣＴ部
５１３  加算器
５１４  フレームメモリ
５１５  動き予測・動き補償部
５１６  可変長符号化部
５１７  出力バッファ
５１８  MPEG4レート制御部
５１９  レート制御情報メモリ
５２０  マクロブロック符号化モードメモリ
５２１  フレーム符号化モードメモリ
５２２  ブロックモード変更部
５２３  イントラ・インターモード変更部
５２４  動きベクトルメモリ
６０１  可変長復号化部
６０２  逆量子化部
６０３  逆ＤＣＴ部
６０４  加算器
６０５  フレームメモリ
６０６  動き補償部
６０７  減算器
６０８  ＤＣＴ部
６０９  量子化部
６１０  逆量子化部
６１１  逆ＤＣＴ部
６１２  加算器
６１３  フレームメモリ
６１４  動き予測・動き補償部
６１５  ループフィルタ
６１６  可変長符号化部
６１７  出力バッファ
６１８  MPEG4レート制御部
６１９  レート制御情報メモリ
６２０  マクロブロック符号化モードメモリ
６２１  フレーム符号化モードメモリ
６２２  ブロックモード変更部
６２３  イントラ・インターモード変更部
６２４  動きベクトルメモリ
【図１】
0004426689.tif 000002
【図２】
0004426689.tif 000003
【図３】
0004426689.tif 000004
【図４】
0004426689.tif 000005
【図５】
0004426689.tif 000006
【図６】
0004426689.tif 000007
【図７】
0004426689.tif 000008
【図８】
0004426689.tif 000009
【図９】
0004426689.tif 000010
【図１０】
0004426689.tif 000011
【図１１】
0004426689.tif 000012
【図１２】
0004426689.tif 000013
【図１３】
0004426689.tif 000014
【図１４】
0004426689.tif 000015
【図１５】
0004426689.tif 000016
【図１６】
0004426689.tif 000017