(57)【特許請求の範囲】
【請求項１】
第１の画像圧縮情報を第２の画像圧縮情報に変換する画像情報変換装置であって、
上記第１の画像圧縮情報と上記第１の画像圧縮情報の画像内符号化画像における平均量子化スケールとを受け取る受け取り手段と、
上記受け取り手段により受け取られた平均量子化スケールを用いて、上記第２の画像圧縮情報に変換する際の参照量子化スケールの初期値を決定する量子化スケール決定手段と、
上記量子化スケール決定手段により決定された参照量子化スケールの初期値と上記第２の画像圧縮情報に変換する際に使用する量子化スケールを表す整数の最大値とを乗算した値と、ビットレートとピクチャレートとの比に基づく変数と、の比率に従って、上記第２の画像圧縮情報を画像内符号化画像として変換する際の仮想バッファ占有量の初期値を決定する決定手段と、
上記決定手段により決定された仮想バッファ占有量の初期値に従って、上記受け取り手段により受け取られた上記第１の画像圧縮情報を上記第２の画像圧縮情報に変換する変換手段と
を備える画像情報変換装置。
【請求項２】
上記第１の画像圧縮情報及び上記第２の画像圧縮情報は、少なくとも画像内符号化画像と画像間予測符号化画像とを有し、上記画像間予測符号化画像は、前方予測符号化画像と双方向予測符号化画像とからなり、
上記画像内符号化画像に対する仮想バッファ占有量の初期値と、第１の定数との積の演算により、上記前方予測符号化画像に対する仮想バッファ占有量の初期値を求め、
上記前方予測符号化画像に対する仮想バッファ占有量の初期値と、第２の定数との積の演算により、上記双方向予測符号化画像に対する仮想バッファ占有量の初期値を求める請求項１記載の画像情報変換装置。
【請求項３】
上記第２の画像圧縮情報の符号量に対する上記第１の画像圧縮情報の符号量の割合と、上記第１の画像圧縮情報のフレームレートに対する上記第２の画像圧縮情報のフレームレートの割合と、上記第１の画像圧縮情報の最初の画像内符号化画像における平均量子化スケールとの積の演算により、上記第２の画像圧縮情報の最初の画像内符号化画像を生成するときの参照量子化スケールの初期値を求める請求項１記載の画像情報変換装置。
【請求項４】
上記第２の画像圧縮情報の符号化に使用される量子化スケールを表す整数のうち上記演算による値に最も近い整数を上記第２の画像圧縮情報の最初の画像内符号化画像を生成するときの参照量子化スケールの初期値とする請求項３記載の画像情報変換装置。
【請求項５】
上記第２の画像圧縮情報の最初の画像内符号化画像の目標符号量に対する上記第１の画像圧縮情報の最初の画像内符号化画像に割り当てられた符号量の割合と、上記第１の画像圧縮情報の１フレームあたりに含まれる所定の符号化単位の個数に対する上記第２の画像圧縮情報の１フレームあたりに含まれる所定の符号化単位の個数の割合と、上記第１の画像圧縮情報の最初の画像内符号化画像における平均量子化スケールとの積の演算により、上記第２の画像圧縮情報の最初の画像内符号化画像に対する参照量子化スケールの初期値を求める請求項１記載の画像情報変換装置。
【請求項６】
上記第２の画像圧縮情報の符号化に使用される量子化スケールを表す整数のうち上記演算による値に最も近い整数を上記第２の画像圧縮情報の最初の画像内符号化画像を生成するときの参照量子化スケールの初期値とする請求項５記載の画像情報変換装置。
【請求項７】
上記第１の画像圧縮情報は、ＭＰＥＧ−２規格に準じて符号化された情報である請求項１記載の画像情報変換装置。
【請求項８】
上記第２の画像圧縮情報は、ＭＰＥＧ−４規格に準じて符号化された情報である請求項１記載の画像情報変換装置。
【請求項９】
第１の画像圧縮情報を第２の画像圧縮情報に変換する画像情報変換方法であって、
上記第１の画像圧縮情報と上記第１の画像圧縮情報の画像内符号化画像における平均量子化スケールとを受け取る受け取り工程と、
上記受け取り工程により受け取られた平均量子化スケールを用いて、上記第２の画像圧縮情報に変換する際の参照量子化スケールの初期値を決定する量子化スケール決定工程と、
上記量子化スケール決定工程により決定された参照量子化スケールの初期値と上記第２の画像圧縮情報に変換する際に使用する量子化スケールを表す整数の最大値とを乗算した値と、ビットレートとピクチャレートとの比に基づく変数と、の比率に従って、上記第２の画像圧縮情報を画像内符号化画像として変換する際の仮想バッファ占有量の初期値を決定する決定工程と、
上記決定工程により決定された仮想バッファ占有量の初期値に従って、上記受け取り工程により受け取られた上記第１の画像圧縮情報を上記第２の画像圧縮情報に変換する変換工程と
を備える画像情報変換方法。
【請求項１０】
画像圧縮情報を復号して得られる画像情報を符号化する符号化装置において、
上記画像情報と上記画像圧縮情報の画像内符号化画像における平均量子化スケールとを受け取る受け取り手段と、
上記受け取り手段により受け取られた平均量子化スケールを用いて、上記受け取り手段により受け取られた画像情報を符号化する際の参照量子化スケールの初期値を決定する量子化スケール決定手段と、
上記量子化スケール決定手段により決定された参照量子化スケールの初期値と上記受け取り手段により受け取られた画像情報を符号化する際に使用する量子化スケールを表す整数の最大値とを乗算した値と、ビットレートとピクチャレートとの比に基づく変数と、の比率に従って、上記受け取り手段により受け取られた画像情報を画像内符号化画像として符号化する際の仮想バッファ占有量の初期値を決定する決定手段と、
上記決定手段により決定された仮想バッファ占有量の初期値に従って、上記受け取り手段により受け取られた画像情報を符号化する符号化手段と
を備える符号化装置。
【請求項１１】
画像圧縮情報を復号して得られる画像情報を符号化する符号化方法において、
上記画像情報と上記画像圧縮情報の画像内符号化画像における平均量子化スケールとを受け取る受け取り工程と、
上記受け取り工程により受け取られた平均量子化スケールを用いて、上記受け取り工程により受け取られた画像情報を符号化する際の参照量子化スケールの初期値を決定する量子化スケール決定工程と、
上記量子化スケール決定工程により決定された参照量子化スケールの初期値と上記受け取り工程により受け取られた画像情報を符号化する際に使用する量子化スケールを表す整数の最大値とを乗算した値と、ビットレートとピクチャレートとの比に基づく変数と、の比率に従って、上記受け取り工程により受け取られた画像情報を画像内符号化画像として符号化する際の仮想バッファ占有量の初期値を決定する決定工程と、
上記決定工程により決定された仮想バッファ占有量の初期値に従って、上記受け取り工程により受け取られた画像情報を符号化する符号化工程と
を備える符号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像情報変換装置及び画像情報変換方法並びに符号化装置及び符号化方法に関し、特に、離散コサイン変換等の直交変換と動き補償とによって圧縮された画像情報（ビットストリーム）を衛星放送、ケーブルＴＶ、インターネット等のネットワークメディアを介して受信する際、あるいは、光ディスク及び光磁気ディスク等の記録媒体上で処理する際に用いられる画像情報変換装置及び画像情報変換方法並びに符号化装置及び符号化方法に関するものである。
【０００２】
【従来の技術】
近年、画像情報をディジタルデータとして取り扱い、その際、画像情報特有の冗長性を利用し、効率の高い情報の伝送及び蓄積を目的とした、例えば離散コサイン変換等の直交変換と動き補償により圧縮する方式に準拠した装置が、放送局などの情報配信及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、ＭＰＥＧ（Moving Picture Experts Group：動画像符号化専門家会合）によって標準化されているＭＰＥＧ２は、汎用画像符号化方式としてＩＳＯ／ＩＥＣ  １３８１８−２に定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅している。そのためＭＰＥＧ２は、プロフェッショナル用途からコンシューマ用途まで、広範なアプリケーションに今後とも用いられるものと予想される。
【０００４】
このようなＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓの符号量（以下、ビットレートと記す。）を、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓのビットレートを割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００５】
ＭＰＥＧ２は、主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１よりも低いビットレート、つまり、より高い圧縮率の符号化方式には対応していなかった。ところが携帯端末の普及とともに、今後より高い圧縮率の符号化方式のニーズは高まると予想されたことからＭＰＥＧ４符号化方式の標準化が行われ、画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ  １４４９６−２として国際標準に承認されている。
【０００６】
ところで、ディジタル放送に対応するように一旦符号化されたＭＰＥＧ２画像圧縮情報（以下、ＭＰＥＧ２ビットストリームと記す。）を携帯端末等で処理するためには、より低いビットレートのＭＰＥＧ４画像圧縮情報（以下、ＭＰＥＧ４ビットストリームと記す。）に変換することが要求される。
【０００７】
かかる要求に応える画像情報変換装置（トランスコーダ）として、“Field-to-Frame Transcoding with Spatial and Temporal Downsampling”（Susie J Wee,John G.Apostlopoulos,and Nick Feamster,ICIP'99、これを以下、文献１と呼ぶ）において、図４示す装置が提案されている。
【０００８】
図４に示す画像情報変換装置１００は、ピクチャタイプ判別部１０１と、ＭＰＥＧ２画像情報（Ｉ／Ｐピクチャ）復号化部１０２と、間引き部１０３と、ビデオメモリ１０４と、ＭＰＥＧ４画像情報（Ｉ／Ｐ−ＶＯＰ）符号化部１０５と、動きベクトル合成部１０６と、動きベクトル検出部１０７とを備えている。ここで、ＭＰＥＧ４におけるＶＯＰ（Video Object Plane）とは、ＭＰＥＧ２におけるフレームに相当するものである。
【０００９】
まず、ピクチャタイプ判別部１０１は、飛び越し走査のＭＰＥＧ２画像圧縮情報（以下、ＭＰＥＧ２ビットストリームと記す。）における各フレームのデータを入力し、ＭＰＥＧ２画像情報（以下、Ｉ／Ｐピクチャと記す。）に関するものか、Ｂピクチャに関するものであるかを判別する。ピクチャタイプ判別部１０１は、前者のみを後続のＭＰＥＧ２画像情報復号化部１０２へと出力する。
【００１０】
ＭＰＥＧ２画像情報復号化部１０２における処理は、通常のＭＰＥＧ２画像情報復号化部と同様であるが、Ｂピクチャに関するデータはピクチャタイプ判別部１０１において廃棄されるため、ＭＰＥＧ２画像情報復号化部１０２における機能としてはＩ／Ｐピクチャのみを復号可能であればよい。
【００１１】
間引き部１０３は、ＭＰＥＧ２画像情報復号化部１０２からの画像値を入力し、水平方向に１／２の間引き処理を施し、垂直方向に第１フィールド、も
しくは第２フィールドのどちらか一方のデータのみを残し、他方を廃棄する処理を施すことによって、入力した画像情報の１／４の大きさを持つ順次走査画像を生成する。
【００１２】
ところで、例えば、ＭＰＥＧ２画像情報復号化部１０２から入力したＭＰＥＧ２ビットストリームがＮＴＳＣ（National Television System Committee）の規格に準拠した画像、つまり７２０×４８０画素、３０Ｈｚの飛び越し走査画像であった場合、間引き部１０３における間引き処理後の画枠は３６０×２４０画素になる。ところが、後続のＭＰＥＧ４画像情報符号化部１０５において符号化を行う際、マクロブロック単位の処理を行うには、水平方向、垂直方向ともに、その画素数が１６の倍数である必要がある。したがって、間引き部１０３は、さらに、そのための画素の補填または廃棄を行う。すなわち、上記の場合においては、例えば、水平方向の右端、もしくは左端の８ラインを廃棄して３５２×２４０画素とする。
【００１３】
間引き部１０３によって生成された順次走査画像は、ビデオメモリ１０４に蓄積された後、ＭＰＥＧ４画像情報符号化部１０５によって符号化処理が施され、ＭＰＥＧ４ビットストリームとして出力される。
【００１４】
入力となるＭＰＥＧ２ビットストリーム中の動きベクトル情報は、動きベクトル合成部１０６に供給されて、間引き後の画像情報に対する動きベクトルにマッピングされる。
【００１５】
動きベクトル検出部１０７は、動きベクトル合成部１０６において合成された動きベクトル値に基づいて、高精度の動きベクトルを検出する。
【００１６】
文献１に示される画像情報変換装置１００は、入力されたＭＰＥＧ２ビットストリームの１／２×１／２の大きさを持つ順次走査画像のＭＰＥＧ４ビットストリームを生成する装置である。すなわち、例えば入力となるＭＰＥＧ２ビットストリームがＮＴＳＣ規格に準拠している場合、出力されるＭＰＥＧ４ビットストリームは、ＳＩＦサイズ（３５２×２４０）となっている。画像情報変換装置１００は、間引き部１０３における動作の変更を行うことで、これ以外の画枠、例えば上記の例で、約１／４×１／４の画枠であるＱＳＩＦ（１７６×１１２画素）サイズの画像に変換することも可能である。
【００１７】
さらに、また、画像情報変換装置１００は、ＭＰＥＧ２画像情報復号化部１０２における処理として、水平方向、垂直方向それぞれについて入力したＭＰＥＧ２ビットストリーム内の８次の離散コサイン変換係数のうちのすべてを用いた復号処理を行うほか、水平方向のみ、あるいは水平方向、垂直方向ともに８次の離散コサイン変換係数のうちの低域成分のみを用いた復号処理を行い、画質劣化を最小限に抑えながら復号処理に伴う演算量とビデオメモリ容量とを削減している。
【００１８】
ところで、図４に示した画像情報変換装置１００においては、ＭＰＥＧ４画像情報符号化部１０５における符号量制御がＭＰＥＧ４ビットストリームにおける画質を決定する大きな要因となる。ＩＳＯ／ＩＥＣ  １４４９６−２においては、符号量制御の方式は、特に規定されておらず、各ベンダがアプリケーションに応じて演算量及び出力画質の観点から最適と考えられる方式を用いることができる。以下では、代表的な符号量制御方式として、ＭＰＥＧ２  Ｔｅｓｔ  Ｍｏｄｅｌ５（ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１ Ｎ０４００）に規定されている方式について説明する。
【００１９】
符号量制御の動作は、目標符号量（ターゲットビットレート）、及びＧＯＰ（Group Of Pictures）構成を入力変数として、まず、第１ステップとして各ピクチャヘのビット配分を行い、次に、仮想バッファを用いたレート制御を行い、最後に、視覚特性を考慮したマクロブロック毎の適応量子化を行う。この符号量制御の動作を図５に示す。
【００２０】
ステップＳ１０１において、ＭＰＥＧ４画像情報符号化部１０５は、ＧＯＰ内の各ピクチャに対する割り当てビット量を、割り当て対象ピクチャを含め、まだ復号化されていないピクチャに対して割り当てられるビット量（以下、これをＲとする）に基づいて配分する。この配分をＧＯＰ内の符号化ピクチャ順に繰り返す。この際、以下に述べる２つの仮定を用いて各ピクチャヘの符号量割り当てを行う。
【００２１】
まず第１に、各ピクチャを符号化する際に用いる平均量子化スケールコードと発生符号量との積は、画面が変化しない限りピクチャタイプ毎に一定値となると仮定する。そこで、各ピクチャを符号化した後、各ピクチャタイプ毎に、画面の複雑さを示す変数Ｘｉ、Ｘｐ、及びＸｂ（grobal complexity measure）を以下に示す式（１）乃至（３）により更新する。
【００２２】
【数１】
0004517495.tif 000002
【００２３】
ここでＳｉ、Ｓｐ、及びＳｂは、ピクチャ符号化時の発生符号ビット量であり、Ｑｉ、Ｑｐ、及びＱｂは、ピクチャ符号化時の平均量子化スケールコードである。また、初期値は、目標符号量（ターゲットビットレート）ｂｉｔ＿ｒａｔｅ［ｂｉｔｓ／ｓｅｃ］を用いて、以下に示す式（４）乃至（６）で表される値とする。
【００２４】
【数２】
0004517495.tif 000003
【００２５】
第２に、Ｉピクチャの量子化スケールコードを基準としたＰ、Ｂピクチャの量子化スケールコードの比率Ｋｐ、Ｋｂが式（７）に定めた値となる場合に常に全体の画質が最適化されると仮定する。
【００２６】
【数３】
0004517495.tif 000004
【００２７】
すなわち、Ｂピクチャの量子化スケールコードは、Ｉ及びＰピクチャの量子化スケールコードの常に１．４倍である。これは、ＢピクチャをＩ及びＰピクチャに比較して多少粗めに符号化することにより、Ｂピクチャで節約できる符号量をＩ，Ｐピクチャに加えると、Ｉ，Ｐピクチャの画質が改善され、これを参照するＢピクチャの画質も改善されることを想定している。
【００２８】
上記２つの仮定より、ＧＯＰの各ピクチャに対する割り当てビット量（Ｔｉ，Ｔｐ，Ｔｂ）は、式（８）乃至（１０）に示す値とする。
【００２９】
【数４】
0004517495.tif 000005
【００３０】
ここで、Ｎｐ及びＮｂは、ＧＯＰ内でまだ符号化されていないＰ，Ｂピクチャの枚数である。
【００３１】
このようにして求めた割当符号量に基づいて、各ピクチャをステップＳ１０１及び１０２にしたがってって符号化する毎にＧＯＰ内の未符号化ピクチャに対して割り当てられるビット量Ｒを、以下に示す式（１１）によって更新する。
【００３２】
【数５】
0004517495.tif 000006
【００３３】
また、ＧＯＰの最初のピクチャを符号化する際には、式（１２）によりＲを更新する。式（１２）において、Ｎは、ＧＯＰ内のピクチャ数を表している。シーケンスの最初におけるＲの初期値は、０とする。
【００３４】
【数６】
0004517495.tif 000007
【００３５】
ステップＳ１０２では、ステップＳ１０１において式（８）乃至（１０）により求められた各ピクチャに対する割当ビット量（Ｔｉ，Ｔｐ，Ｔｂ）と、実際の発生符号量を一致させるため、各ピクチャ毎に独立に設定した３種類の仮想バッファの容量に基づいて、量子化スケールコードをマクロブロック単位のフィードバック制御で求める。まず、ｊ番目のマクロブロック符号化に先立ち、仮想バッファの占有量を式（１３）乃至（１５）によって求める。
【００３６】
【数７】
0004517495.tif 000008
【００３７】
式（１３）乃至（１５）において、ｄ０ｉ、ｄ０ｐ、及びｄ０ｂは、各仮想バッファの初期占有量を示し、Ｂｊは、ピクチャの先頭からｊ番目のマクロブロックまでの発生ビット量を示し、ＭＢ＿ｃｎｔは、１ピクチャ内のマクロブロック数を示している。各ピクチャ符号化終了時の仮想バッファ占有量（ｄＭＢ＿ｃｎｔｉ，ｄＭＢ＿ｃｎｔｐ，ｄＭＢ＿ｃｎｔｂ）は、それぞれ同一のピクチャタイプであり、次のピクチャに対する仮想バッファ占有量の初期値（ｄ０ｉ，ｄ０ｐ，ｄ０ｂ）として用いられる。
【００３８】
次に、ｊ番目のマクロブロックに対する量子化スケールコードを式（１６）により計算する。
【００３９】
【数８】
0004517495.tif 000009
【００４０】
式（１６）において、ｒは、リアクションパラメータと呼ばれるフィードバックループの応答を制御する変数であり、続いて示す式（１７）により与えられる。
【００４１】
【数９】
0004517495.tif 000010
【００４２】
なお、符号化開始時における仮想バッファの初期値は、式（１８）乃至（２０）に示す値である。
【００４３】
【数１０】
0004517495.tif 000011
【００４４】
ステップＳ１０３では、ステップＳ１０２で求められた量子化スケールコードを視覚的に劣化の目立ちやすい平坦部において、より細かく量子化し、比較的劣化の目立ちにくい絵柄の複雑な部分で粗く量子化するように各マクロブロック毎のアクティビィティと呼ばれる変数によって変化させている。
【００４５】
アクティビティは、原画の輝度信号画素値を用い、フレーム離散コサイン変換モードにおける４個のブロックと、フィールド離散コサイン変換モードにおける４個のブロックとの、合計８ブロックの画素値を用いて、以下に示す式（２１）で与えられる。
【００４６】
【数１１】
0004517495.tif 000012
【００４７】
ここで、Ｐｋは、原画の輝度信号ブロック内画素値である。式（２１）において最小値を採るのは、マクロブロック内の一部だけでも平坦部分のある場合には量子化を細かくするためである。
【００４８】
さらに、以下に示す式（２２）により、その値が０．５〜２の範囲である正規化アクティビティＮａｃｔｊを求める。
【００４９】
【数１２】
0004517495.tif 000013
【００５０】
式（２２）において、ａｖｇ−ａｃｔは、直前に符号化したピクチャでのａｃｔｊの平均値を示している。
【００５１】
視覚特性を考慮した量子化スケールコードｍｑｕａｎｔｊは、ステップＳ１０２で得られた量子化スケールコードＱｊに基づいて、以下に示す式（２３）で与えられる。
【００５２】
【数１３】
0004517495.tif 000014
【００５３】
ところで、「ＭＰＥＧ圧縮効率の理論解析とその符号量制御への応用」（信学技報、ＩＥ−９５，ＤＳＰ９５−１０，１９９５年５月、以下、これを文献２と記す。）にも記述されているように、Ｔｅｓｔ  Ｍｏｄｅｌ５で定められている符号量制御方式は、ＭＰＥＧ２画像符号化部において、必ずしも良好な画質を与えるものではない。
【００５４】
文献２では、特に、良好な画質を与えるためのＧＯＰ内における各フレーム毎の最適な符号量配分を与える手法として、以下の方式を提案している。
【００５５】
ＮＩ，ＮＰ，及びＮＢをＧＯＰ内においてまだ符号化されていないＩ，Ｐ及びＢピクチャの枚数とし、これらに割り当てられる符号量をＲＩ，ＲＰ，ＲＢとすれば、以下の式（２４）に示すような固定レート条件が成立する。
【００５６】
【数１４】
0004517495.tif 000015
【００５７】
それぞれのフレームにおける量子化ステップサイズをＱＩ，ＱＰ，ＱＢとし、ｍを量子化ステップサイズと再生誤差分散を関係付ける次数とすれば、すなわち、量子化ステップサイズをｍ乗したものの平均値の最小化が再生誤差分散を最低にすると仮定すれば、以下に示す式（２５）を最小にすることによって、ＧＯＰ内における各フレーム毎の最適な符号量配分を与える。
【００５８】
【数１５】
0004517495.tif 000016
【００５９】
なお、それぞれのフレームにおける平均ＱスケールＱ、及び符号量Ｒは、Ｔｅｓｔ  Ｍｏｄｅｌ５においても用いられる媒体変数としての各フレームのコンプレキシティＸと、以下に示す式（２６）のように関係付けられる。
【００６０】
【数１６】
0004517495.tif 000017
【００６１】
したがって、式（２４）の拘束条件の下で式（２６）を考慮に入れて、式（２５）を最小にするようなＲＩ，ＲＰ，ＲＢをラグランジェの未定乗数法を用いて算出すると、最適なＲＩ，ＲＰ，ＲＢとして、以下に示す式（２７）乃至（２９）のような値が求められる。
【００６２】
【数１７】
0004517495.tif 000018
【００６３】
α＝１として、式（２７）乃至（２９）と、ＭＰＥＧ２  Ｔｅｓｔ  Ｍｏｄｅｌ５で定められた符号量制御方式における上述の式（８）乃至（９）との関係は、以下の通りである。すなわち、式（２７）乃至（２９）は、符号量制御の媒介変数であるＫｐ，Ｋｂを各フレームのコンプレキシティＸＩ，ＸＰ、ＸＢに応じて、以下に示す式（３０）のように適応的に算出している。
【００６４】
【数１８】
0004517495.tif 000019
【００６５】
文献２では、１／（１＋ｍ）の値として、０．６〜１．２程度に設定することで良好な画質が得られることが示されている。
【００６６】
【発明が解決しようとする課題】
ところが、ＭＰＥＧ２  Ｔｅｓｔ  Ｍｏｄｅｌ５において定められた上記符号量制御方式には、以下の制限のあることが知られている。
【００６７】
第１の制限は、図５におけるステップＳ１０１は、シーンチェンジに対応できず、また、シーンチェンジ後にステップＳ１０３で用いる媒介変数ａｖｇ＿ａｃｔが間違った値となるということである。また、第２の制限は、ＭＰＥＧ２及びＭＰＥＧ４において規定されているＶＢＶ（Video Buffer Verifier）の拘束条件を満たす保証がないことである。
【００６８】
したがって、実際、符号量制御を行う場合には、これらの制限に対する対策が必要となる。
【００６９】
また、式（１８）では、最初のＩ−ＶＯＰにおける参照量子化スケールの初期値を１０としているが、この初期値は、絵柄とビットレートによっては必ずしも適切な値であるとは限らない。特に、ＳＩＦ，ＱＳＩＦといった画像では、マクロブロックの数が少ないため、符号量制御のフィードバックループが安定するまでに数ＶＯＰを要することもある。そのため、Video Object初期における画質劣化が参照量子化スケールの初期値に起因する場合がある。
【００７０】
そこで本発明は、このような従来の実情に鑑みて提案されたものであり、ＭＰＥＧ２画像圧縮情報から抽出される情報に基づいてＭＰＥＧ４画像符号化における符号量制御を行う際、初期値設定に伴う画質劣化を回避する画像情報変換装置及び画像情報変換方法並びに符号化装置及び符号化方法を提供することを目的とする。
【００７１】
【課題を解決するための手段】
本発明にかかる画像情報変換装置は、第１の画像圧縮情報を第２の画像圧縮情報に変換する画像情報変換装置であって、上記第１の画像圧縮情報と上記第１の画像圧縮情報の画像内符号化画像における平均量子化スケールとを受け取る受け取り手段と、上記受け取り手段により受け取られた平均量子化スケールを用いて、上記第２の画像圧縮情報に変換する際の参照量子化スケールの初期値を決定する量子化スケール決定手段と、上記量子化スケール決定手段により決定された参照量子化スケールの初期値と上記第２の画像圧縮情報に変換する際に使用する量子化スケールを表す整数の最大値とを乗算した値と、ビットレートとピクチャレートとの比に基づく変数と、の比率に従って、上記第２の画像圧縮情報を画像内符号化画像として変換する際の仮想バッファ占有量の初期値を決定する決定手段と、上記決定手段により決定された仮想バッファ占有量の初期値に従って、上記受け取り手段により受け取られた上記第１の画像圧縮情報を上記第２の画像圧縮情報に変換する変換手段とを備えることにより、上述した課題を解決する。
【００７２】
また、本発明にかかる画像情報変換方法は、第１の画像圧縮情報を第２の画像圧縮情報に変換する画像情報変換方法であって、上記第１の画像圧縮情報と上記第１の画像圧縮情報の画像内符号化画像における平均量子化スケールとを受け取る受け取り工程と、上記受け取り工程により受け取られた平均量子化スケールを用いて、上記第２の画像圧縮情報に変換する際の参照量子化スケールの初期値を決定する量子化スケール決定工程と、上記量子化スケール決定工程により決定された参照量子化スケールの初期値と上記第２の画像圧縮情報に変換する際に使用する量子化スケールを表す整数の最大値とを乗算した値と、ビットレートとピクチャレートとの比に基づく変数と、の比率に従って、上記第２の画像圧縮情報を画像内符号化画像として変換する際の仮想バッファ占有量の初期値を決定する決定工程と、上記決定工程により決定された仮想バッファ占有量の初期値に従って、上記受け取り工程により受け取られた上記第１の画像圧縮情報を上記第２の画像圧縮情報に変換する変換工程とを備えることにより、上述した課題を解決する。
【００７３】
ここで、第１の画像圧縮情報から抽出される情報として、第１の画像圧縮情報の最初の画像内符号化画像における平均量子化スケールを用いることがあげられる。
【００７４】
【発明の実施の形態】
以下、図面を参照しながら、本発明の実施の形態について具体的に説明する。
【００７５】
本発明にかかる画像情報変換装置は、入力されるＭＰＥＧ２画像圧縮情報から抽出される情報に基づいて、ＭＰＥＧ４画像符号化を行う際の参照量子化スケールの初期値を算出し、これを用いて仮想バッファ占有量の初期値を算出することで、参照量子化スケールが不適切な値であることに起因する画質劣化を回避するものである。
【００７６】
本発明の第１の実施の形態として、図１に示す画像情報変換装置１は、ピクチャタイプ判別部１０、圧縮情報解析部１１、ＭＰＥＧ２画像情報復号化部１２、間引き部１３、ビデオメモリ１４、ＭＰＥＧ４画像情報（Ｉ／Ｐ−ＶＯＰ）符号化部１５、動きベクトル合成部１６、動きベクトル検出部１７、情報バッファ１８、コンプレキシティ算出部１９とを備えている。
【００７７】
ピクチャタイプ判別部１０は、飛び越し走査のＭＰＥＧ２画像圧縮情報（以下、ＭＰＥＧ２ビットストリームと記す。）における各フレームのデータを入力し、画像内符号化画像（以下、Ｉピクチャと記す。）、画像間予測符号化画像（以下、Ｐピクチャと記す。）、双方向予測符号化画像（以下、Ｂピクチャと記す。）の何れのピクチャに関するものであるかを判別する。ピクチャタイプ判別部１０は、Ｉピクチャ及びＰピクチャ（以下、Ｉ／Ｐピクチャと記す。）に関する情報は、後段の圧縮情報解析部１２に伝送するが、Ｂピクチャに関する情報は破棄する。
【００７８】
圧縮情報解析部１１は、復号処理に用いられた量子化スケールのフレーム全体にわたる平均値Ｑと、ＭＰＥＧ２ビットストリームにおいて当該フレームに割り当てられた総符号量（ビット数）Ｂとを解析し、必要な情報を情報バッファ１８に伝送する。
【００７９】
情報バッファ１８は、ＭＰＥＧ２ビットストリームにおけるＩ／Ｐピクチャの発生符号量（ビット数）及び平均量子化スケールを蓄積する。
【００８０】
コンプレキシティ算出装置１９は、情報バッファ１８に格納されたフレーム毎の情報Ｑ及びＢから、ＭＰＥＧ４画像圧縮情報（以下、ＭＰＥＧ４ビットストリームと記す。）の各ＶＯＰに対するコンプレキシティＸの推定値を上述した式（２０）により算出する。
【００８１】
ＭＰＥＧ２画像情報復号化部１２は、ＭＰＥＧ２ビットストリームにおけるＩ／Ｐピクチャに関する情報の復号処理を行う。ＭＰＥＧ２画像情報復号化部１２は、通常のＭＰＥＧ２画像情報復号化部と同様であるが、Ｂピクチャに関するデータは、ピクチャタイプ判別部１０において廃棄されるため、ＭＰＥＧ２画像情報復号化部１２は、少なくともＩ／Ｐピクチャを復号可能であればよい。
【００８２】
間引き部１３は、ＭＰＥＧ２画像情報復号化部１２からの画像値を入力し、水平方向に１／２の間引き処理を施し、垂直方向に第１フィールド、もしくは第２フィールドのどちらか一方のデータのみを残し、他方を廃棄する処理を施すことによって、入力した画像情報の１／４の大きさを持つ順次走査画像を生成する。
【００８３】
ところで、例えば、ＭＰＥＧ２画像情報復号化部１２から入力したＭＰＥＧ２ビットストリームがＮＴＳＣ（National Television System Committee）の規格に準拠した画像、つまり７２０×４８０画素、３０Ｈｚの飛び越し走査画像であった場合、間引き部１３における間引き処理後の画枠は３６０×２４０画素になる。ところが、後続のＭＰＥＧ４画像情報符号化部１５において符号化を行う際、マクロブロック単位の処理を行うには、水平方向、垂直方向ともに、その画素数が１６の倍数である必要がある。したがって、間引き部１３は、さらに、そのための画素の補填または廃棄を行う。すなわち、上記の場合においては、例えば、水平方向の右端、もしくは左端の８ラインを廃棄して３５２×２４０画素とする。ここで、ＭＰＥＧ４画像情報をＩ／Ｐ−ＶＯＰと記すものとする。ＶＯＰ（Video Object Plane）は、ＭＰＥＧ２におけるフレームに相当するものである。
【００８４】
間引き部１３によって生成された順次走査画像は、ビデオメモリ１４に蓄積された後、ＭＰＥＧ４画像情報符号化部１５によって符号化処理が施され、ＭＰＥＧ４ビットストリームとして出力される。
【００８５】
入力となるＭＰＥＧ２ビットストリーム中の動きベクトル情報は、動きベクトル合成部１６に供給されて、間引き後の画像情報に対する動きベクトルにマッピングされる。
【００８６】
動きベクトル検出部１７は、動きベクトル合成部１６において合成された動きベクトル値に基づいて、高精度の動きベクトルを検出する。
【００８７】
画像情報変換装置１は、入力されたＭＰＥＧ２ビットストリームの１／２×１／２の大きさを持つ順次走査画像のＭＰＥＧ４ビットストリームを生成する装置である。すなわち、例えば入力となるＭＰＥＧ２ビットストリームがＮＴＳＣ規格に準拠している場合、出力されるＭＰＥＧ４ビットストリームは、ＳＩＦサイズ（３５２×２４０）となっている。画像情報変換装置１は、間引き部１３における動作の変更を行うことで、これ以外の画枠、例えば上記の例で、約１／４×１／４の画枠であるＱＳＩＦ（１７６×１１２画素）サイズの画像に変換することも可能である。
【００８８】
さらに、また、画像情報変換装置１は、ＭＰＥＧ２画像情報復号化部１２における処理として、水平方向、垂直方向それぞれについて入力したＭＰＥＧ２ビットストリーム内の８次の離散コサイン変換係数のうちのすべてを用いた復号処理を行うほか、水平方向のみ、あるいは水平方向、垂直方向ともに８次の離散コサイン変換係数のうちの低域成分のみを用いた復号処理を行い、画質劣化を最小限に抑えながら復号処理に伴う演算量とビデオメモリ容量とを削減している。
【００８９】
圧縮情報解析部１１において、復号処理に用いられた量子化スケールのフレーム全体にわたる平均値Ｑ、及びＭＰＥＧ２ビットストリームにおいて、当該フレームに割り当てられた総符号量（ビット数）Ｂは、情報バッファ１８に格納される。
【００９０】
コンプレキシティ算出部１９においては、情報バッファ１８に格納されたフレーム毎の情報Ｑ及びＢから、当該フレームに対するコンプレキシティＸを以下の式（３１）により算出する。
【００９１】
【数１９】
0004517495.tif 000020
【００９２】
上述の式（３１）によって算出された当該フレームに対するコンプレキシティＸは、１ＧＯＶ分バッファリングされた後、ＭＰＥＧ４画像情報符号化部１５に符号量制御のための媒介変数として伝送される。このため、１ＧＯＶ分の遅延が必要となる。この遅延は遅延バッファを用いて実現される。
【００９３】
以下では、式（３１）において算出されたＧＯＶ内の各フレームに対するコンプレキシティＸがＭＰＥＧ４画像情報符号化部１５においてどの様に用いられるかについて述べる。なお、以下では、ピクチャタイプ判別部１０が装置内に存在せず、フレームレートの変換を行わない場合も考慮することにする。
【００９４】
式（３０）によって求められたＫｐ、Ｋｂは、Ｉ−ＶＯＰに対する理想的な平均量子化スケールＱｉ＿ｉｄｅａｌに対するＰ−ＶＯＰ／Ｂ−ＶＯＰに対する理想的な平均量子化スケールＱｐ＿ｉｄｅａｌとＱｂ＿ｉｄｅａｌとの比が、以下の式（３２）であることである。
【００９５】
【数２０】
0004517495.tif 000021
【００９６】
ＭＰＥＧ２  Ｔｅｓｔ  Ｍｏｄｅｌ５においては、式（３０）のように適応的にＫｐ、Ｋｂを算出することを行わず、式（７）に示したような固定値を用いている。
【００９７】
式（３０）及び式（３２）から、任意のＶＯＰ１と、任意のＶＯＰ２とに対するコンプレキシティをそれぞれＸ１，Ｘ２とし、理想的な量子化スケールをＱ１＿ｉｄｅａｌ、Ｑ２＿ｉｄｅａｌとすれば、以下の式（３３）に示すようになる。
【００９８】
【数２１】
0004517495.tif 000022
【００９９】
あるいはまた、ＭＰＥＧ２  Ｔｅｓｔ  Ｍｏｄｅｌ５のように式（７）に示した固定値を用いたい場合には、式（３３）に代えて以下の式（３４）を用いればよい。
【０１００】
【数２２】
0004517495.tif 000023
【０１０１】
ここで、ＧＯＶ内の未符号化されたＶＯＰに対して割り当てられる総符号量（ビット数）をＲとし、Ｒが各ＶＯＰに対して、Ｒ１、Ｒ２、・・・、Ｒｎと割り当てられるとき、当該ＧＯＶに対する画質が最適化されるものとする。このとき、ＲとＲ１、Ｒ２、・・・、Ｒｎの間には、以下の式（３５）に示す関係式が成り立つ。
【０１０２】
【数２３】
0004517495.tif 000024
【０１０３】
任意のＶＯＰｋに対する平均量子化スケールＱｋ、割当符号量Ｒｋ，コンプレキシティＸｋの間には、以下に示す式（３６）で表される関係が成り立つ。
【０１０４】
【数２４】
0004517495.tif 000025
【０１０５】
ここで、式（３６）を考慮して、式（３５）を変形すると以下に示す式（３７）を得る。
【０１０６】
【数２５】
0004517495.tif 000026
【０１０７】
式（３７）において、Ｋ（Ｘ１，Ｘ２）は、式（３３）に示した値を用いても、式（３４）に示した値を用いてもよいが、前者の方が画像に応じたより最適な符号量配分を実現することが可能である。
【０１０８】
その際、１／（１＋ｍ）の値を１．０と設定することで、指数演算を行うことが不要となるため、高速な実行が可能となる。また、１／（１＋ｍ）の値を１．０以外に設定する場合にも、予めテーブルを持ち、これを参照して指数演算を行うことで高速な実行が可能となる。
【０１０９】
式（３７）における各ＶＯＰに対するコンプレキシティＸｋは、ＭＰＥＧ４画像符号化によるものであるが、ＭＰＥＧ２画像符号化による各フレームに対するコンプレキシティと、ＭＰＥＧ４画像符号化による各フレームに対するコンプレキシティが等しいと仮定すれば、コンプレキシティ算出装置１７に格納されたＸｋを用いることで、式（３７）によって当該ＶＯＰに対する目標符号量を算出することを可能としている。
【０１１０】
図２に、画像情報変換装置１が目標符号量を算出する際の処理フローを示す。
【０１１１】
ステップＳ１において、ＭＰＥＧ２画像情報復号化部１２は、ＧＯＰ内の各フレームに対する平均量子化スケールＱ、及び割当符号量（ビット数）Ｂを抽出する。
【０１１２】
ステップＳ２において、コンプレキシティ算出部１９は、コンプレキシティＸを算出する。
【０１１３】
続いて、ステップＳ３において、ＭＰＥＧ４画像情報符号化部１５は、コンプレキシティＸに応じた目標符号量（ターゲットビットレート）の算出を行う。
【０１１４】
ＭＰＥＧ２  Ｔｅｓｔ  Ｍｏｄｅｌ５では、ＧＯＰ内におけるＩ，Ｐ，Ｂピクチャに対するコンプレキシティＸｉ、Ｘｐ、Ｘｂは、一定であると仮定しているが、実際には、ＧＯＰ内にシーンチェンジを含む場合やＧＯＰ内で背景が著しく変化する場合等はこの仮定が成り立たず、安定した符号量制御の妨げとなり、画質劣化の要因ともなる。図１に示した画像情報変換装置１によれば、入力されたＭＰＥＧ２ビットストリームにおける各フレームに対するコンプレキシティに基づいた符号量制御を行うため、画質劣化を引き起こすことなく、安定した符号量制御を行うことを可能としている。
【０１１５】
続いて、本発明の第２の実施の形態として示す画像情報変換装置２を、図３を参照にして具体的に説明する。
【０１１６】
図３に示す画像情報変換装置２は、ピクチャタイプ判別部２０と、圧縮画像解析部２１と、ＭＰＥＧ２画像情報復号化部２２と、間引き部２３と、ビデオメモリ２４と、ＭＰＥＧ４画像情報符号化部２５と、動きベクトル合成部２６と、動きベクトル検出部２７と、情報バッファ２８と、コンプレキシティ算出部２９と、初期参照量子化スケール決定部３０とを備えている。
【０１１７】
ピクチャタイプ判別部２０は、飛び越し走査のＭＰＥＧ２画像圧縮情報（以下、ＭＰＥＧ２ビットストリームと記す。）における各フレームのデータを入力し、ＭＰＥＧ２画像情報（以下、Ｉ／Ｐピクチャと記す。）に関するものか、Ｂピクチャに関するものであるかを判別する。ピクチャタイプ判別部２０は、Ｉ／Ｐピクチャに関する情報は後段の圧縮画像解析部２１に伝送するが、Ｂピクチャに関する情報は破棄する。
【０１１８】
圧縮情報解析部２１は、復号処理に用いられた量子化スケールのフレーム全体にわたる平均値Ｑと、ＭＰＥＧ２ビットストリームにおいて当該フレームに割り当てられた総符号量（ビット数）Ｂとを解析し、必要な情報を情報バッファ２８に伝送する。
【０１１９】
情報バッファ２８は、ＭＰＥＧ２ビットストリームにおけるＩ／Ｐピクチャの発生符号量（ビット数）及び平均量子化スケールを蓄積する。
【０１２０】
コンプレキシティ算出装置２０は、情報バッファ２８に格納されたフレーム毎の情報Ｑ及びＢから、ＭＰＥＧ４画像圧縮情報（以下、ＭＰＥＧ４ビットストリームと記す。）の各ＶＯＰに対するコンプレキシティＸの推定値を上述した式（２０）により算出する。
【０１２１】
ＭＰＥＧ２画像情報復号化部２２は、ＭＰＥＧ２ビットストリームにおけるＩ／Ｐピクチャに関する情報の復号処理を行う。ＭＰＥＧ２画像情報復号化部２２は、通常のＭＰＥＧ２画像情報復号化部と同様であるが、Ｂピクチャに関するデータは、ピクチャタイプ判別部２０において廃棄されるため、ＭＰＥＧ２画像情報復号化部１２は、少なくともＩ／Ｐピクチャを復号可能であればよい。
【０１２２】
間引き部２３は、ＭＰＥＧ２画像情報復号化部２２からの画像値を入力し、水平方向に１／２の間引き処理を施し、垂直方向に第１フィールド、もしくは第２フィールドのどちらか一方のデータのみを残し、他方を廃棄する処理を施すことによって、入力した画像情報の１／４の大きさを持つ順次走査画像を生成する。
【０１２３】
ところで、例えば、ＭＰＥＧ２画像情報復号化部２２から入力したＭＰＥＧ２ビットストリームがＮＴＳＣ（National Television System Committee）の規格に準拠した画像、つまり７２０×４８０画素、３０Ｈｚの飛び越し走査画像であった場合、間引き部２３における間引き処理後の画枠は３６０×２４０画素になる。ところが、後続のＭＰＥＧ４画像情報符号化部１５において符号化を行う際、マクロブロック単位の処理を行うには、水平方向、垂直方向ともに、その画素数が１６の倍数である必要がある。したがって、間引き部１３は、さらに、そのための画素の補填または廃棄を行う。すなわち、上記の場合においては、例えば、水平方向の右端、もしくは左端の８ラインを廃棄して３５２×２４０画素とする。ここで、ＭＰＥＧ４画像情報をＩ／Ｐ−ＶＯＰと記すものとする。ＶＯＰ（Video Object Plane）は、ＭＰＥＧ２におけるフレームに相当するものである。
【０１２４】
間引き部２３によって生成された順次走査画像は、ビデオメモリ１４に蓄積された後、ＭＰＥＧ４画像情報符号化部２５によって符号化処理が施され、ＭＰＥＧ４ビットストリームとして出力される。
【０１２５】
入力となるＭＰＥＧ２ビットストリーム中の動きベクトル情報は、動きベクトル合成部２６に供給されて、間引き後の画像情報に対する動きベクトルにマッピングされる。
【０１２６】
動きベクトル検出部２７は、動きベクトル合成部２６において合成された動きベクトル値に基づいて、高精度の動きベクトルを検出する。
【０１２７】
画像情報変換装置２は、入力されたＭＰＥＧ２ビットストリームの１／２×１／２の大きさを持つ順次走査画像のＭＰＥＧ４ビットストリームを生成する装置である。すなわち、例えば入力となるＭＰＥＧ２ビットストリームがＮＴＳＣ規格に準拠している場合、出力されるＭＰＥＧ４ビットストリームは、ＳＩＦサイズ（３５２×２４０）となっている。画像情報変換装置２は、間引き部１３における動作の変更を行うことで、これ以外の画枠、例えば上記の例で、約１／４×１／４の画枠であるＱＳＩＦ（１７６×１１２画素）サイズの画像に変換することも可能である。
【０１２８】
さらに、また、画像情報変換装置２は、ＭＰＥＧ２画像情報復号化部２２における処理として、水平方向、垂直方向それぞれについて入力したＭＰＥＧ２ビットストリーム内の８次の離散コサイン変換係数のうちのすべてを用いた復号処理を行うほか、水平方向のみ、あるいは水平方向、垂直方向ともに８次の離散コサイン変換係数のうちの低域成分のみを用いた復号処理を行い、画質劣化を最小限に抑えながら復号処理に伴う演算量とビデオメモリ容量とを削減している。
【０１２９】
初期参照量子化スケール決定部３０は、まず、予め定められたＭＰＥＧ２ビットストリーム、ＭＰＥＧ４ビットストリームに含まれるマクロブロックの個数、情報バッファ２８に格納されたＭＰＥＧ２ビットストリームの第１番目のＩピクチャに割り当てられた符号量（ビット数）、平均量子化スケールＱＭＰＥＧ２，Ｉ０、及びＭＰＥＧ４画像情報符号化部２５において算出されるＭＰＥＧ４ビットストリームの第１番目のＩ−ＶＯＰに対する目標符号量（ターゲットビット）から参照量子化スケールの初期値を決定し、仮想バッファ占有量の初期値の算出を行う。
【０１３０】
以上のような画像情報変換装置２は、以下に示すようにして、出力となるＭＰＥＧ４ビットストリームの最初のＩ−ＶＯＰに対する参照量子化スケールの初期値ｒｅｆＱＩ０を決定する。
【０１３１】
第１の方法は、画像情報変換装置２に入力されるＭＰＥＧ２ビットストリーム及び画像情報変換装置２から出力されるＭＰＥＧ４ビットストリームのビットレートをｂｉｔ＿ｒａｔｅＭＰＥＧ２、ｂｉｔ＿ｒａｔｅＭＰＥＧ４、フレームレートをｆｒａｍｅ＿ｒａｔｅＭＰＥＧ２、ｆｒａｍｅ＿ｒａｔｅＭＰＥＧ４として、以下に示す式（３８）によって参照量子化スケールの初期値ｒｅｆＱＩ０を表す方法である。
【０１３２】
【数２６】
0004517495.tif 000027
【０１３３】
式（３８）において、１／２とするのは、ＭＰＥＧ２における量子化スケールコード６２がＭＰＥＧ４量子化スケールコード３１に相当するためである。
【０１３４】
第２の方法は、入力となるＭＰＥＧ２ビットストリームの最初のＩピクチャに割り当てられた符号量（ビット数）をＢＭＰＥＧ２，Ｉ０とし、式（８）乃至（１０）、もしくは式（３７）によって計算される、出力されるＭＰＥＧ４ビットストリームの最初の１−ＶＯＰに対する目標符号量（ターゲットビット）をＴＩ０とし、入力となるＭＰＥＧ２ビットストリームの１フレームあたり、及び出力となるＭＰＥＧ４ビットストリームの１ＶＯＰあたりに含まれるマクロブロックの個数をそれぞれＭＢ＿ｃｎｔＭＰＥＧ２、ＭＢ＿ｃｎｔＭＰＥＧ４として、以下に示す式（３９）によって参照量子化スケールの初期値ｒｅｆＱＩ０を表す方法である。
【０１３５】
【数２７】
0004517495.tif 000028
【０１３６】
以上示した式（３８）及び（３９）において、ＭＰＥＧ４符号化における量子化スケールは、１から３１の整数値以外の値を取ることができない。そのため、式（３８）もしくは（３９）で計算されるｒｅｆＱＩ０に対し、１から３１の整数値で最も近い値を、その後の処理で用いるｒｅｆＱＩ０として採用する。
【０１３７】
Ｉ−ＶＯＰに対する仮想バッファ占有量の初期値ｄ０ｉは、以下に示す式（４０）を用いて求められる。
【０１３８】
【数２８】
0004517495.tif 000029
【０１３９】
以下では、ピクチャタイプ判別部２０を用いて、Ｂピクチャを破棄し、フレームレートの変換を行わない場合も考慮する。このとき、Ｐ／Ｂ−ＶＯＰに対する仮想バッファ占有量の初期値ｄ０ｐ、ｄ０ｂは、以下に示す何れの方法を用いて算出してもよい。
【０１４０】
まず、第１の方法は、式（４０）において求められたｄ０ｉに対して、Ｋｐ及びＫｂを上述の式（７）で与えられる定数としたとき、以下に示す式（４１）のように算出する方法である。
【０１４１】
【数２９】
0004517495.tif 000030
【０１４２】
続いて第２の方法は、式（３８）と同様に、まず、ｒｅｆＱＰ０、ｒｅｆＱＢ０を以下に示す式（４２）及び（４３）のように算出する。
【０１４３】
【数３０】
0004517495.tif 000031
【０１４４】
あるいは式（３９）と同様に、ｒｅｆＱＰ０，ｒｅｆＱＢ０を以下に示す式（４４）及び式（４５）のように算出する。
【０１４５】
【数３１】
0004517495.tif 000032
【０１４６】
そして、上記ｒｅｆＱＰ０及びｒｅｆＱＢ０を用いて、仮想バッファ占有量の初期値ｄ０ｐ、ｄ０ｂを以下に示す式（４６）及び（４７）のように算出する。
【０１４７】
【数３２】
0004517495.tif 000033
【０１４８】
以上詳細に説明したように、画像情報変換装置２は、初期参照量子化スケール決定部３０において、入力されたＭＰＥＧ２ビットストリーム（ビットストリーム）から抽出される情報に基づいてＭＰＥＧ４画像符号化を行う際の参照量子化スケールの初期値を算出し、これを用いて仮想バッファ占有量の初期値を算出することによって、参照量子化スケールが不適切な値であることに起因する画質劣化を回避することが可能である。
【０１４９】
なお、上記初期参照量子化スケール決定部３０は、参照量子化スケールの初期値の決定する際、情報バッファに格納されたＭＰＥＧ２ビットストリームにおける第１番目のＩピクチャに対する平均量子化スケールコード及びＭＰＥＧ２ビットストリーム、並びにＭＰＥＧ４ビットストリームのフレームレート及びビットレートから決定してもよい。
【０１５０】
また、上述の説明では、ＭＰＥＧ２ビットストリームを入力し、ＭＰＥＧ４ビットストリームを出力する場合について示したが、入力及び出力ともこの場合に限らず、画像圧縮情報は、例えばＭＰＥＧ−１やＨ．２６３等の画像圧縮情報であってもよい。
【０１５１】
【発明の効果】
以上詳細に説明したように、本発明にかかる画像情報変換装置は、第１の画像圧縮情報を入力し、第２の画像圧縮情報を出力する画像情報変換装置であって、第１の画像圧縮情報及び第２の画像圧縮情報は、少なくとも画像内符号化画像と画像間予測符号化画像とを有し、第１の画像圧縮情報から抽出される情報を用いて第２の画像圧縮情報の画像内符号化画像を生成するときの参照量子化スケールの初期値を決定し、第２の画像圧縮情報の最初の画像内符号化画像を生成するときの参照量子化スケールの初期値に基づいて画像内符号化画像に対する仮想バッファ占有量の初期値を決定する量子化スケール決定手段を備える。
【０１５２】
ここで、第１の画像圧縮情報から抽出される情報として、第１の画像圧縮情報の最初の画像内符号化画像における平均量子化スケールを用いることがあげられる。
【０１５３】
したがって、本発明にかかる画像情報変換装置は、飛び越し走査のＭＰＥＧ２画像圧縮情報に基づいて、ＭＰＥＧ４符号化における符号量制御を行う際の参照量子化スケールコードの初期値を決定し、これを用いて仮想バッファ占有量の初期値を算出することによって、参照量子化スケールコードの初期値設定に伴う画像劣化を回避した状態で順次操作のＭＰＥＧ４ビットストリームを出力することを可能にする。
【０１５４】
また、本発明にかかる画像情報変換方法は、第１の画像圧縮情報を入力し、第２の画像圧縮情報を出力する画像情報変換方法であって、第１の画像圧縮情報及び第２の画像圧縮情報は、少なくとも画像内符号化画像と画像間予測符号化画像とを有し、第１の画像圧縮情報から抽出される情報を用いて第２の画像圧縮情報の画像内符号化画像を生成するときの参照量子化スケールの初期値を決定し、第２の画像圧縮情報の最初の画像内符号化画像を生成するときの参照量子化スケールの初期値に基づいて画像内符号化画像に対する仮想バッファ占有量の初期値を決定する。
【０１５５】
ここで、第１の画像圧縮情報から抽出される情報として、第１の画像圧縮情報の最初の画像内符号化画像における平均量子化スケールを用いることがあげられる。
【０１５６】
したがって、本発明にかかる画像情報変換方法は、飛び越し走査のＭＰＥＧ２画像圧縮情報に基づいて、ＭＰＥＧ４符号化における符号量制御を行う際の参照量子化スケールコードの初期値を決定し、これを用いて仮想バッファ占有量の初期値を算出することによって、参照量子化スケールコードの初期値設定に伴う画像劣化を回避した状態で順次操作のＭＰＥＧ４ビットストリームを出力することを可能にする。
【図面の簡単な説明】
【図１】本発明の実施の形態として示す画像情報変換装置の構成を示すブロック図である。
【図２】本発明の実施の形態として示す画像情報変換装置が画像情報を変換する動作を示すフローチャートである。
【図３】本発明の実施の形態として示す画像情報変換装置の構成を示すブロック図である。
【図４】従来の画像情報変換装置の構成を示すブロック図である。
【図５】ＭＰＥＧ４画像情報符号化部が、ＭＰＥＧ２画像情報復号化部で抽出される各フレームに対するコンプレキシティＸを用いて、符号量制御を行う処理を示すフローチャートである。
【符号の説明】
１，２  画像情報変換装置、１０，２０  ピクチャタイプ判別部、１１，２１圧縮情報解析部、１２，２２  ＭＰＥＧ２画像情報復号化部、１３，２３  間引き部、１４，２４  ビデオメモリ、１５，２５  ＭＰＥＧ４画像情報符号化部、１６，２６  動きベクトル合成部、１７，２７  動きベクトル検出部、１８，２８  情報バッファ、１９，２９  コンプレキシティ算出部、３０  初期量子化スケール決定部
【図１】
0004517495.tif 000034
【図２】
0004517495.tif 000035
【図３】
0004517495.tif 000036
【図４】
0004517495.tif 000037
【図５】
0004517495.tif 000038