(57)【特許請求の範囲】
【請求項１】
第１の圧縮符号化方式で圧縮された飛び越し走査の入力画像圧縮情報を、第２の圧縮符号化方式で圧縮された順次走査の出力画像圧縮情報に変換する画像情報変換装置において、
上記入力画像圧縮情報のフレームごとの情報を抽出する抽出手段と、
この抽出手段により抽出された情報に基づいて上記出力画像圧縮情報のフレームごとの目標符号量を決定し、この目標符号量を用いて上記出力画像圧縮情報への符号化を行う符号化手段とを有し、
上記抽出手段は、Ｘ＝Ｑ・Ｂ（ただし、上記入力画像圧縮情報の各フレームに対する平均量子化スケールをＱ、割当ビット量をＢ、コンプレキシティをＸとする。）で与えられるコンプレキシティを上記入力画像圧縮情報のフレームごとの情報として抽出し、
上記出力画像圧縮情報の画像の内の第１の画像の目標符号量を次の式により与える画像情報変換装置。
【数１】
0004517453.tif 000027
（ただし、上記出力画像圧縮情報のランダムアクセス可能な単位の画像群に対して割り当てられる総符号量をＲとし、上記画像群内の第１，第２，…第ｎの画像に対するコンプレキシティをそれぞれＸ１，Ｘ２，…Ｘｎとし、コンプレキシティＸｊ（ｊ＝１，２，…ｎ），Ｘｋ（ｋ＝１，２，…ｎ）を変数とする関数をＫ（Ｘｊ，Ｘｋ）とし、第１の画像に対する目標符号量をＲ１とする。）
【請求項２】
上記関数を次の式により与える請求項１記載の画像情報変換装置。
【数２】
0004517453.tif 000028
【請求項３】
上記関数の指数１／（１＋ｍ）の値を０．６〜１．２の値にする請求項２記載の画像情報変換装置。
【請求項４】
上記関数の指数１／（１＋ｍ）の値を１．０とする請求項３記載の画像情報変換装置。
【請求項５】
上記関数の演算は、予め準備したテーブルを参照して行う請求項２記載の画像情報変換装置。
【請求項６】
上記関数を次の式により与える請求項１記載の画像情報変換装置。
【数３】
0004517453.tif 000029
ただし、Ｉピクチャの量子化スケールコードを基準としたＰ，Ｂピクチャの量子化スケールコードをそれぞれＫｐ、Ｋｂとする。
【請求項７】
上記第１の圧縮符号化方式はＭＰＥＧ２、上記第２の圧縮符号化方式はＭＰＥＧ４であり、上記出力画像圧縮情報の画像に相当するＶＯＰから構成される１ＧＯＶ分の遅延バッファと、
上記抽出手段によって抽出されたコンプレキシティを１ＧＯＶ分だけ蓄積する情報バッファとを有し、
上記符号化手段は、上記情報バッファから送られたコンプレキシティを用いて上記遅延バッファを介して送られた画像情報を符号化する請求項１記載の画像情報変換装置。
【請求項８】
上記第１の圧縮符号化方式はＭＰＥＧ２、上記第２の圧縮符号化方式はＭＰＥＧ４であり、上記抽出手段は、上記入力画像圧縮情報の画像に相当するピクチャから構成される１ＧＯＰ分を予め解析して各フレームに対するコンプレキシティを抽出し、
上記符号化手段は、上記コンプレキシティを用いて符号化を行う請求項１記載の画像情報変換装置。
【請求項９】
上記入力画像圧縮情報を構成する、フレーム内で符号化されたイントラ符号化画像、表示順序で順方向を参照して予測符号化された順方向予測符号化画像及び表示順序で順方向及び逆方向を参照して予測符号化された双方向予測符号化画像の種類を判別し、上記イントラ符号化画像及び上記順方向予測符号化画像は通過させるが上記双方向予測符号化画像を破棄してフレームレートを変換する変換手段を有する請求項１記載の画像情報変換装置。
【請求項１０】
第１の圧縮符号化方式で圧縮された飛び越し走査の入力画像圧縮情報を、第２の圧縮符号化方式で圧縮された順次走査の出力画像圧縮情報に変換する画像情報変換方法において、
上記入力画像圧縮情報のフレームごとの情報を抽出する抽出工程と、
この抽出工程により抽出された情報に基づいて上記出力画像圧縮情報のフレームごとの目標符号量を決定し、この目標符号量を用いて上記出力画像圧縮情報への符号化を行う符号化工程とを有し、
上記抽出工程では、Ｘ＝Ｑ・Ｂ（ただし、上記入力画像圧縮情報の各フレームに対する平均量子化スケールをＱ、割当ビット量をＢ、コンプレキシティをＸとする。）で与えられるコンプレキシティを上記入力画像圧縮情報のフレームごとの情報として抽出し、
上記出力画像圧縮情報の画像の内の第１の画像の目標符号量を次の式により与える画像情報変換方法。
【数４】
0004517453.tif 000030
（ただし、上記出力画像圧縮情報のランダムアクセス可能な単位の画像群に対して割り当てられる総符号量をＲとし、上記画像群内の第１，第２，…第ｎの画像に対するコンプレキシティをそれぞれＸ１，Ｘ２，…Ｘｎとし、コンプレキシティＸｊ（ｊ＝１，２，…ｎ），Ｘｋ（ｋ＝１，２，…ｎ）を変数とする関数をＫ（Ｘｊ，Ｘｋ）とし、第１の画像に対する目標符号量をＲ１とする。）
【請求項１１】
上記関数を次の式により与える請求項１０記載の画像情報変換方法。
【数５】
0004517453.tif 000031
【請求項１２】
第１の圧縮符号化方式で圧縮された飛び越し走査の入力画像圧縮情報を復号して得られる画像情報を、第２の圧縮符号化方式で圧縮された順次走査の出力画像圧縮情報に符号化する符号化装置において、
上記入力画像圧縮情報のフレームごとの情報を受け取る受け取り手段と、
この受け取り手段からの情報に基づいて上記出力画像圧縮情報のフレームごとの目標符号量を決定し、この目標符号量を用いて上記出力画像圧縮情報への符号化を行う符号化手段とを有し、
上記受け取り手段は、Ｘ＝Ｑ・Ｂ（ただし、上記入力画像圧縮情報の各フレームに対する平均量子化スケールをＱ、割当ビット量をＢ、コンプレキシティをＸとする。）で与えられるコンプレキシティを上記入力画像圧縮情報のフレームごとの情報として受け取り、
上記出力画像圧縮情報の画像の内の第１の画像の目標符号量Ｒ１を、上記出力画像圧縮情報のランダムアクセス可能な単位の画像群に対して割り当てられる総符号量Ｒに対して、上記画像群内の第１，第２，…第ｎの画像に対するそれぞれのコンプレキシティＸ１，Ｘ２，…Ｘｎと、コンプレキシティＸｊ（ｊ＝１，２，…ｎ），Ｘｋ（ｋ＝１，２，…ｎ）を変数とする関数Ｋ（Ｘｊ，Ｘｋ）とするとき、
【数６】
0004517453.tif 000032
の式により決定する符号化装置。
【請求項１３】
第１の圧縮符号化方式で圧縮された飛び越し走査の入力画像圧縮情報を復号して得られる画像情報を、第２の圧縮符号化方式で圧縮された順次走査の出力画像圧縮情報に符号化する符号化方法において、
上記入力画像圧縮情報のフレームごとの情報を受け取る受け取り工程と、
この受け取り工程からの情報に基づいて上記出力画像圧縮情報のフレームごとの目標符号量を決定し、この目標符号量を用いて上記出力画像圧縮情報への符号化を行う符号化工程とを有し、
上記受け取り工程では、Ｘ＝Ｑ・Ｂ（ただし、上記入力画像圧縮情報の各フレームに対する平均量子化スケールをＱ、割当ビット量をＢ、コンプレキシティをＸとする。）で与えられるコンプレキシティを上記入力画像圧縮情報のフレームごとの情報として受け取り、
上記出力画像圧縮情報の画像の内の第１の画像の目標符号量Ｒ１を、上記出力画像圧縮情報のランダムアクセス可能な単位の画像群に対して割り当てられる総符号量Ｒに対して、上記画像群内の第１，第２，…第ｎの画像に対するそれぞれのコンプレキシティＸ１，Ｘ２，…Ｘｎと、コンプレキシティＸｊ（ｊ＝１，２，…ｎ），Ｘｋ（ｋ＝１，２，…ｎ）を変数とする関数Ｋ（Ｘｊ，Ｘｋ）とするとき、
【数７】
0004517453.tif 000033
の式により決定する符号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像情報変換装置及び方法並びに符号化装置及び方法に関し、詳しくは、離散コサイン変換等の直交変換と動き補償によって圧縮されたＭＰＥＧ等の画像情報（ビットストリーム）を衛星放送、ケーブルＴＶ、インターネット等のネットワークメディアを介して受信する際に、若しくは光、磁気ディスクのような記憶メディア上で処理する際に用いられる画像情報を変換する画像情報変換装置及び方法並びに符号化装置及び方法に関するものである。
【０００２】
【従来の技術】
近年、画像情報をディジタルとして取り扱い、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧなどの画像情報圧縮方式が提供されている。そして、このような画像情報圧縮方法に準拠した装置は、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ  １３８１８−２）は、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する、汎用画像符号化方式として定義されている。
【０００４】
すなわち、ＭＰＥＧ２符号化圧縮方式によれば、例えば、７２０×４８０画素を持つ標準解像度の飛び越し走査画像に４〜８Ｍｂｐｓの符号量（ビットレート）を割り当て、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像に対して１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることにより、高い圧縮率と良好な画質の実現が可能となる。
【０００５】
このようなことから、ＭＰＥＧ２は、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに今後とも用いられるものと予想される。 しかし、ＭＰＥＧ２は、主として放送用に適合する高画質符号化を対象としており、例えばＭＰＥＧ１より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。
【０００６】
一方で、近年の携帯端末の普及により、今後とも高い圧縮率の符号化方式のニーズは高まると思われ、これに対応して、高い圧縮率を有するＭＰＥＧ４符号化方式の標準化が行われている。この画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ  １４４９６−２として国際標準の規格が承認された。
【０００７】
ところで、ディジタル放送用に一度符号化されたＭＰＥＧ２画像圧縮情報（ビットストリーム）を、携帯端末上等で処理するのにより適した、より低い符号量（ビットレート）の画像圧縮情報（ビットストリーム）に変換したいというニーズがある。
【０００８】
かかる目的を達成するために、“Field-to-Frame Transcoding with Spatial and Temporal Downsampling”（Susie L Wee,John G.Apostolopoulos, and Nick Feamster, ICIP 99、以下これを文献１と呼ぶ）において画像情報変換装置（トランスコーダ）が提供されている。
【０００９】
この文献１において提供された画像情報変換装置（トランスコーダ）は、図４に示すように、ピクチャタイプ判別部１と、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）２と、間引き部３と、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）４と、動きベクトル合成部５と、動きベクトル検出部６とから構成されている。
【００１０】
この画像情報変換装置には、フレーム内で符号化されたイントラ符号化画像（Ｉピクチャ；Ｉ）、表示順序で順方向を参照して予測符号化された順方向予測符号化画像（Ｐピクチャ；Ｐ）及び表示順序で順方向及び逆方向を参照して予測符号化された双方向予測符号化画像（Ｂピクチャ；Ｂ）から構成される飛び越し走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）が入力される。
【００１１】
このＭＰＥＧ２画像圧縮情報（ビットストリーム）は、ピクチャタイプ判別部１において、Ｉ／Ｐピクチャに関するものか、Ｂピクチャに関するものであるかを判別され、Ｉ／Ｐピクチャのみ後続のＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）２に出力され、Ｂピクチャは破棄される。
【００１２】
ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）２における処理は通常のＭＰＥＧ２画像情報復号化装置と同様に、ＭＰＥＧ２画像圧縮情報（ビットストリーム）を画像信号に復号するものである。
【００１３】
ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）２の出力となる画素値は、間引き部３に入力される。間引き部３は、水平方向には１／２の間引き処理を施し、垂直方向には、第一フィールド若しくは第二フィールドのどちらか一方のデータのみを残し、もう一方を廃棄する。このような間引きによって、入力となる画像情報の１／４の大きさを持つ順次走査画像を生成する。
【００１４】
間引き部３によって生成された順次走査画像はＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）４によってフレーム内で符号化されたＩ−ＶＯＰ及び表示順序で順方向を参照して予測符号化されたＰ−ＶＯＰに符号化され、ＭＰＥＧ４画像圧縮情報（ビットストリーム）として出力される。尚、ＶＯＰはVideo object Planeを意味し、ＭＰＥＧ２におけるフレームに相当するものである。
【００１５】
その際、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）中の動きベクトル情報は、動きベクトル合成部５において間引き後の画像情報に対する動きベクトルにマッピングされ、動きベクトル検出部６においては、動きベクトル合成部５において合成された動きベクトル値を元に高精度の動きベクトルを検出する。
【００１６】
文献１は、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）の１／２×１／２の大きさを持つ順次走査画像のＭＰＥＧ４画像圧縮情報（ビットストリーム）を生成する画像情報変換装置に関して記述している。すなわち、例えば入力となるＭＰＥＧ２画圧縮情報（ビットストリーム）がＮＴＳＣ（National Television System Committee）の規格に準拠したものであった場合、出力となるＭＰＥＧ４画像圧縮情報はＳＩＦサイズ（３５２×２４０画素）ということになる。
【００１７】
ところで、図４に示した画像情報変換装置においては、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）４における符号量制御が、出力となるＭＰＥＧ４画像圧縮情報（ビットストリーム）における画質を決定する大きな要因となる。ＩＳＯ／ＩＥＣ １４４９６−２においては、符号量制御の方式に関しては特に規定されておらず、各ベンダが、アプリケーションに応じて、演算量及び出力画質の観点から最適と考えられる方式を用いることが出来る。以下では、代表的な符号量制御方式として、ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ ５（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ Ｎ０４００）で述べられている方式について述べる。
【００１８】
この符号量制御のフローを図５に示すフローを用いて説明する。最初のステップＳ１１において、画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）４は、目標符号量（ターゲットビットレート）、及び、ＧＯＰ（ｇroup of pictures）構成を入力変数として、各ピクチャヘのビット配分を行う。ここで、ＧＯＰとは、ランダムアクセス可能なピクチャの組である。
【００１９】
すなわち、ステップＳ１１において、画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）４は、ＧＯＰ内の各ピクチャに対する割り当てビット量を、割り当て対象ピクチャを含めＧＯＰ内でまだ復号化されていないピクチャに対して割り当てられるビット量（以下、これをＲとする）を基に配分する。この配分をＧＯＰ内の符号化ピクチャ順に繰り返す。その際、以下に述べる２つの仮定を用いて各ピクチャヘの符号量割り当てを行う。
【００２０】
まず、第一に、各ピクチャを符号化する際に用いる平均量子化スケールコードと発生符号量の積は、画面が変化しない限り、ピクチャタイプ毎に一定値となると仮定する。そこで、各ピクチャを符号化した後、各ピクチャタイプ毎に、画面の複雑さを示す変数Ｘi，Ｘp，Ｘb（grobal complelxity measure）を次の式（１）によって更新する。
【００２１】
【数８】
0004517453.tif 000002
【００２２】
ここでＳi，Ｓp，Ｓbはピクチャ符号化時の発生符号ビット量であり、Ｑi，Ｑp，Ｑbは、ピクチャ符号化時の平均量子化スケールコードである。また、初期値は、目標符号量（ターゲットビットレート）ｂｉｔ＿ｒａｔｅ［ｂｉｔｓ／ｓｅｃ］を用いて、式（２）で示される値とする。
【００２３】
【数９】
0004517453.tif 000003
【００２４】
第二に、Ｉピクチャの量子化スケールコードを基準としたＰ，Ｂピクチャの量子化スケールコードの比率Ｋp，Ｋbが式（３）に定めた値となる場合に常に全体の画質が最適化されると仮定する。
【００２５】
【数１０】
0004517453.tif 000004
【００２６】
すなわち、Ｂピクチャの量子化スケールコードは、Ｉ，Ｐピクチャの量子化スケールコードの常に１．４倍としている。これは、ＢピクチャをＩ，Ｐピクチャに比較して多少粗めに符号化することにより、Ｂピクチャで節約できる符号量をＩ，Ｐピクチャに加えると、Ｉ，Ｐピクチャの画質が改善され、これを参照するＢピクチャの画質も改善されることを想定している。
【００２７】
上記２つの仮定より、ＧＯＰの各ピクチャに対する割り当てビット量（Ｔi，Ｔp，Ｔb）は式（４）に示す値とする。
【００２８】
【数１１】
0004517453.tif 000005
【００２９】
ここでＮp，ＮbはＧＯＰ内でまだ符号化されていないＰ，Ｂピクチャの枚数である。
【００３０】
このようにして求めた割当符号量を基にして、各ピクチャをステップＳ１１，Ｓ１２に従って符号化する毎に、ＧＯＰ内の未符号化ピクチャに対して割り当てられるビット量Ｒを式（５）で更新する。
【００３１】
【数１２】
0004517453.tif 000006
【００３２】
また、ＧＯＰの最初のピクチャを符号化する際には、式（６）によりＲを更新する。
【００３３】
【数１３】
0004517453.tif 000007
【００３４】
ＮはＧＯＰ内のピクチャ数である。また、シーケンスの最初でのＲの初期値は０とする。
【００３５】
次に、ステップＳ１２において、画像情報符号化装置（Ｉ／Ｐ−ＶＯＰ）４は、仮想バッファを用いたレート制御を行う。すなわち、ステップＳ１２において、画像情報符号化装置（Ｉ／Ｐ−ＶＯＰ）４は、ステップＳ１１で式（４）により求められた各ピクチャに対する割当ビット量（Ｔi，Ｔp，Ｔb）と、実際の発生符号量を一致させるため、各ピクチャ毎に独立に設定した３種類の仮想バッファの容量を基に、量子化スケールコードを、マクロブロック単位のフィードバック制御で求める。
【００３６】
まず、ｊ番目のマクロブロック符号化に先立ち、仮想バッファの占有量を式（７）によって求める。
【００３７】
【数１４】
0004517453.tif 000008
【００３８】
ここで、ｄ0i，ｄ0p，ｄ0bは各仮想バッファの初期占有量、Ｂjはピクチャの先頭からｊ番目のマクロブロックまでの発生ビット量、ＭＢ＿ｃｎｔは１ピクチャ内のマクロブロック数である。各ピクチャ符号化終了時の仮想バッファ占有量（ｄMB_cnti，ｄMB_cntp，ｄMB_cntb）は、それぞれ同一のピクチャタイプで、次のピクチャに対する仮想バッファ占有量の初期値（ｄ0i，ｄ0p，ｄ0b）として用いられる。
【００３９】
次に、ｊ番目のマクロブロックに対する量子化スケールコードを式（８）により計算する。
【００４０】
【数１５】
0004517453.tif 000009
【００４１】
ここで、ｒはリアクションパラメーターと呼ばれるフィードバックループの応答を制御する変数であり、式（９）により与えられる。
【００４２】
【数１６】
0004517453.tif 000010
【００４３】
尚、符号化開始時における仮想バッファの初期値は式（１０）で与えられる。
【００４４】
【数１７】
0004517453.tif 000011
【００４５】
最後に、ステップＳ１３において、画像情報符号化装置（Ｉ／Ｐ−ＶＯＰ）４は、視覚特性を考慮したマクロブロック毎の適応量子化を行う。すなわち、ステップＳ１３において、画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）４は、ステップＳ１２で求められた量子化スケールコードを、視覚的に劣化の目立ちやすい平坦部でより細かく量子化し、劣化の比較的目立ちにくい絵柄の複雑な部分で粗く量子化するように、各マクロブロック毎のアクティビティと呼ばれる変数によって変化させている。
【００４６】
アクティビティは、原画の輝度信号画素値を用い、フレーム離散コサイン変換モードにおける４個のブロックと、フィールド離散コサイン変換モードにおける４個のブロックとの、合計８ブロックの画素値を用いて式（１１）で与えられる。
【００４７】
【数１８】
0004517453.tif 000012
【００４８】
ここで、Ｐkは原画の輝度信号ブロック内画素値である。式（１１）において最小値を採るのは、マクロブロック内の一部だけでも平坦部分のある場合には量子化を細かくするためである。
【００４９】
更に、式（１２）によりその値が０．５〜２の範囲を取る正規化アクティビティＮａｃｔjを求める。
【００５０】
【数１９】
0004517453.tif 000013
【００５１】
ここで、ａｖｇ＿ａｃｔは、直前に符号化したピクチャでのａｃｔjの平均値である。
【００５２】
視覚特性を考慮した量子化スケールコードｍｑｕａｎｔjはステップＳ１２で得られた量子化スケールコードＱjを基に式（１３）で与えられる。
【００５３】
【数２０】
0004517453.tif 000014
【００５４】
ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ ５において定められた上記符号量制御方式には以下の制限のあることが知られており、実際の制御を行う場合には、これらの制限に対する対策が必要となる。すなわち、第一の制限は、第一ステップＳ１１はシーンチェンジに対応出来ず、また、シーンチェンジ後には第三ステップＳ１３で用いる媒介変数ａｖｇ＿ａｃｔが間違った値となるということである。第二の制限は、ＭＰＥＧ２及びＭＰＥＧ４において規定されているＶＢＶ（Video Buffer Verifier）の拘束条件を満たす保証がないことである。
【００５５】
ところで、文献”ＭＰＥＧ圧縮効率の理論解析とその符号量制御への応用”（信学技報、ＩＥ−９５， ＤＳＰ９５−１０， １９９５年５月、以下これを文献２と呼ぶ）でも述べられている通り、Ｔｅｓｔ Ｍｏｄｅｌ ５で定められている符号量制御方式は、ＭＰＥＧ−２画像符号化装置において、必ずしも良好な画質を与えるものではない。
【００５６】
この文献２では、特に、良好な画質を与えるための、ＧＯＰ内における各フレーム毎の最適な符号量配分を与える手法として以下の方式を提案している。すなわち、ＮI，ＮP，ＮBを、ＧＯＰ内においてまだ符号化されていないＩ，Ｐ，Ｂピクチャの枚数として、これらに割り当てられる符号量をＲI，ＲP，ＲBとする。また、式（１４）で与えられる固定レート条件の下に、それぞれにおける量子化ステップサイズをＱI，ＱP，ＱBとし、ｍを、量子化ステップサイズと再生誤差分散を関係付ける次数（すなわち、量子化ステップサイズをｍ乗したものの平均値の最小化が再生誤差分散を最低にすると仮定する）とする。そして、式（１５）を最小にすることを考える。
【００５７】
【数２１】
0004517453.tif 000015
【００５８】
【数２２】
0004517453.tif 000016
【００５９】
尚、それぞれのフレームにおける平均量子化スケールＱ、及び符号量Ｒは、Ｔｅｓｔ Ｍｏｄｅｌ ５でも用いられる媒体変数である各フレームのコンプレキシティＸと、式（１６）のように関係づけられる。
【００６０】
【数２３】
0004517453.tif 000017
【００６１】
式（１６）の関係も考慮しつつ、式（１４）の拘束条件の元に式（１５）を最小にするＲI，ＲP，ＲBを、ラグランジェの未定乗数法を用いて算出すると、最適なＲI，ＲP，ＲBとして以下の式のような値が求められる。
【００６２】
【数２４】
0004517453.tif 000018
【００６３】
α＝１として、式（１７）と、ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ ５で定められた符号量制御方式における式（４）との関係は以下の通りであると言える。すなわち、式（１７）は、符号量制御の媒介変数であるＫp，Ｋbを、各フレームのコンプレキシティＸI，ＸP，ＸBに応じて、式（１８）のように適応的に算出していることに他ならない。
【００６４】
【数２５】
0004517453.tif 000019
【００６５】
文献２では、１／（１＋ｍ）の値として、０．６〜１．２程度に設定することで良好な画質が得られることが示されている。
【００６６】
【発明が解決しようとする課題】
図４に示した画像情報変換装置内で、ＭＰＥＧ４画像情報符号化装置（Ｉ／Ｐ−ＶＯＰ）４において、ＭＰＥＧ２  Ｔｅｓｔ  Ｍｏｄｅ１  ５において定められたのと同様な手法を用いて符号量制御を行った場合、シーンチェンジ等に起因する、ＧＯＰ内でのコンプレキシティの変化に対応することが不可能であるため、安定した符号量制御が困難となり、画質劣化を引き起こすことが考えられる。
【００６７】
本発明は、上述の実情に鑑みて提案されるものであって、画像情報を変換する画像情報変換装置及び方法において、シーンチェンジ等に起因する、ＧＯＰ内でのコンプレキシティの変化に対応し、安定した符号量制御を行うような画像情報変換装置及び方法並びに符号化装置及び方法を提供することを目的とする。
【００６８】
【課題を解決するための手段】
上述の課題を解決するために、本発明にかかる画像情報変換装置は、第１の圧縮符号化方式で圧縮された飛び越し走査の入力画像圧縮情報を、第２の圧縮符号化方式で圧縮された順次走査の出力画像圧縮情報に変換する画像情報変換装置において、上記入力画像圧縮情報のフレームごとの情報を抽出する抽出手段と、この抽出手段により抽出された情報に基づいて上記出力画像圧縮情報のフレームごとの目標符号量を決定し、この目標符号量を用いて上記出力画像圧縮情報への符号化を行う符号化手段とを有し、上記抽出手段は、Ｘ＝Ｑ・Ｂ（ただし、上記入力画像圧縮情報の各フレームに対する平均量子化スケールをＱ、割当ビット量をＢ、コンプレキシティをＸとする。）で与えられるコンプレキシティを上記入力画像圧縮情報のフレームごとの情報として抽出し、上記出力画像圧縮情報の画像の内の第１の画像の目標符号量Ｒ１を、上記出力画像圧縮情報のランダムアクセス可能な単位の画像群に対して割り当てられる総符号量Ｒに対して、上記画像群内の第１，第２，…第ｎの画像に対するそれぞれのコンプレキシティＸ１，Ｘ２，…Ｘｎと、コンプレキシティＸｊ（ｊ＝１，２，…ｎ），Ｘｋ（ｋ＝１，２，…ｎ）を変数とする関数Ｋ（Ｘｊ，Ｘｋ）とに基づく比例配分を行うことにより決定する。
また、本発明にかかる符号化装置は、第１の圧縮符号化方式で圧縮された飛び越し走査の入力画像圧縮情報を復号して得られる画像情報を、第２の圧縮符号化方式で圧縮された順次走査の出力画像圧縮情報に符号化する符号化装置において、上記入力画像圧縮情報のフレームごとの情報を受け取る受け取り手段と、この受け取り手段からの情報に基づいて上記出力画像圧縮情報のフレームごとの目標符号量を決定し、この目標符号量を用いて上記出力画像圧縮情報への符号化を行う符号化手段とを有し、上記受け取り手段は、Ｘ＝Ｑ・Ｂ（ただし、上記入力画像圧縮情報の各フレームに対する平均量子化スケールをＱ、割当ビット量をＢ、コンプレキシティをＸとする。）で与えられるコンプレキシティを上記入力画像圧縮情報のフレームごとの情報を受け取り、上記出力画像圧縮情報の画像の内の第１の画像の目標符号量Ｒ１を、上記出力画像圧縮情報のランダムアクセス可能な単位の画像群に対して割り当てられる総符号量Ｒに対して、上記画像群内の第１，第２，…第ｎの画像に対するそれぞれのコンプレキシティＸ１，Ｘ２，…Ｘｎと、コンプレキシティＸｊ（ｊ＝１，２，…ｎ），Ｘｋ（ｋ＝１，２，…ｎ）を変数とする関数Ｋ（Ｘｊ，Ｘｋ）とに基づく比例配分を行うことにより決定する。
【００６９】
本発明は、飛び越し走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）を入力画像圧縮情報とし、順次操作のＭＰＥＧ４画像圧縮情報（ビットストリーム）を出力画像圧縮情報とする。これらＭＰＥＧ２画像圧縮情報（ビットストリーム）及びＭＰＥＧ４画像圧縮情報は、複数の画素から構成される画素ブロックすなわちマクロブロックから構成されている。
【００７０】
すなわち、本発明は、飛び越し走査のＭＰＥＧ２画像情報圧縮情報（ビットストリーム）を入力とし、ピクチャタイプ判別部、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）、間引き部、遅延バッファ、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）、動きベクトル合成部、動きベクトル検出部、情報バッファ、コンプレキシティ算出部を兼ね備え、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）における各フレームに対するコンプレキシティ情報を利用して、各フレームに対する符号量割当が画像に対して最適化された状態で、順次走査のＭＰＥＧ４画像圧縮情報（ビットストリーム）を出力するものである。なお、遅延バッファを持たず、圧縮情報解析部を兼ね備える装置構成も可能である。
【００７１】
上記構成において、ピクチャタイプ判別部は、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）内で、Ｉ／Ｐピクチャに関するものだけ残してＢピクチャに関するものは廃棄する。ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）は、ピクチャタイプ判別部の出力となる、Ｉ／Ｐピクチャに関する圧縮情報（ビットストリーム）を、水平方向垂直方向ともに、８次の離散コサイン係数全てを用いた、若しくはその低域成分のみを用いた復号処理を行う。間引き部は、ＭＰＥＧ２画像情報復号化装置（Ｉ／Ｐピクチャ）の出力である画像情報の第一フィールド若しくは第二ワイールドのみを取り出して順次走査画像への変換を行うと同時に、所望の画枠サイズに変換するためのダウンサンプリングを行う。遅延バッファは、１ＧＯＶ（Ｇｒｏｕｐ  ｏｆ  ＶＯＰ）分の遅延を実現するための画像情報の蓄積を行う。ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）は、遅延バッファの出力となる画像情報をＭＰＥＧ４符号化方式により符号化する。動きベクトル合成部は、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）で検出された、入力となる画像圧縮情報（ビットストリーム）内の動きベクトル値を元に、走査変換後の画像データに対する動きベクトル値にマッピングを行う。動きベクトル検出部は、動きベクトル合成部から出力される動きベクトル値を元に、高精度の動きベクトル検出を行う。情報バッファにおいては、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）において復号処理を行う際に得られる、各フレームに割り当てられた符号量（ビット数）、及び各フレームにおける平均量子化スケールを格納する。コンプレキシティ算出部においては、情報バッファに格納された、入力となる画像圧縮情報（ビットストリーム）における、各フレームに割り当てられた符号量（ビット数）、及び各フレームにおける平均量子化スケールから、各フレームに対するコンプレキシティを算出し、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）へ、符号量制御のための媒介変数として伝送する。
【００７２】
【発明の実施の形態】
以下、図面を参照し、本発明の実施の形態について、図面を参照して説明する。
【００７３】
まず、本発明の第１の実施の形態の画像情報変換装置について説明する。
【００７４】
この画像情報変換装置は、図１に示すように、ピクチャタイプ判別部７と、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）８と、間引き部９と、遅延バッファ１０と、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１と、動きベクトル合成部１２と、動きベクトル検出部１３と、情報バッファ１４と、コンプレキシティ算出部１５とを有している。
【００７５】
この画像情報変換装置には、フレーム内で符号化されたイントラ符号化画像（Ｉピクチャ；Ｉ）、表示順序で順方向を参照して予測符号化された順方向予測符号化画像（Ｐピクチャ；Ｐ）及び表示順序で順方向及び逆方向を参照して予測符号化された双方向予測符号化画像（Ｂピクチャ；Ｂ）から構成される飛び越し走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）が入力される。
【００７６】
このＭＰＥＧ２画像圧縮情報（ビットストリーム）は、ピクチャタイプ判別部７において、Ｉ／Ｐピクチャに関するものか、Ｂピクチャに関するものであるかを判別され、Ｉ／Ｐピクチャのみ後続のＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）８に出力され、Ｂピクチャは破棄される。
【００７７】
ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）８は、ＭＰＥＧ２画像圧縮情報（ビットストリーム）を画像信号に復号する。ここで、Ｂピクチャに関するデータはピクチャタイプ判別部７において廃棄されているので、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１は、Ｉ／Ｐピクチャのみを復号化出来る機能を有すればよい。
【００７８】
また、ＭＰＥＧ２画像情報復号化装置（Ｉ／Ｐピクチャ）８は、ＭＰＥＧ２画像圧縮情報（ビットストリーム）から抽出手段として情報を抽出し、復号処理に用いられた量子化スケールのフレーム全体に渡る平均値Ｑ、及び、ＭＰＥＧ２画像圧縮情報（ビットストリーム）において当該フレームに割り当てられた総符号量（ビット数）Ｂを情報バッファ１４に格納する。
【００７９】
ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）８の出力となる画素値は、間引き部９に入力される。間引き部９は、水平方向には１／２の間引き処理を施し、垂直方向には、第一フィールド若しくは第二フィールドのどちらか一方のデータのみを残し、もう一方を廃棄する。このような間引きによって、入力となる画像情報の１／４の大きさを持つ順次走査画像を生成する。
【００８０】
ところで、間引き部９から出力された画像をＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１において１６×１６画素で構成されるマクロブロック単位で符号化するためには、水平方向、垂直方向ともに、その画素数が１６の倍数である必要が有る。間引き部９においては、このための画素の補填若しくは廃棄を、間引きと同時に行う。
【００８１】
例えば、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）がＮＴＳＣ（National Television System Committee）の規格に準拠したもの、つまり７２０×４８０画素、３０Ｈｚの飛び越し走査画像であった場合、間引き後の画枠はＳＩＦ（３６０×２４０画素）サイズということになる。この画像に対して、間引き部３において、例えば水平方向の右端若しくは左端の８ラインを廃棄して３５２×２４０画素とする。
【００８２】
なお、間引き部９における動作の変更を行うことで、これ以外の画枠、例えば上記の例で、約１／４×１／４の画枠であるＱＳＩＦ（１７６×１１２画素）サイズの画像に変換することも可能である。
【００８３】
更に、上述した文献１は、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）８における処理として、水平方向、垂直方向それぞれについて、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）内の、８次の離散コサイン変換係数すべてを用いた復号処理を行う画像情報変換装置について述べられているが、図１に示した装置に関してはその限りではなく、水平方向のみ、或いは水平方向、垂直方向ともに、８次の離散コサイン変換係数のうちの低域成分のみを用いた復号処理を行い、画質劣化を最小限に抑えながら、復号処理に伴う演算量とビデオメモリ容量を削減することが可能である。
【００８４】
間引き部９によって生成された順次走査画像は遅延バッファ１０によって１フレーム遅延された後、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１によってフレーム内で符号化されたＩ−ＶＯＰ及び表示順序で順方向を参照して予測符号化されたＰ−ＶＯＰに符号化され、ＭＰＥＧ４画像圧縮情報（ビットストリーム）として出力される。
【００８５】
その際、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）中の動きベクトル情報は、動きベクトル合成部１２において間引き後の画像情報に対する動きベクトルにマッピングされ、動きベクトル検出部１３においては、動きベクトル合成部１２において合成された動きベクトル値を元に高精度の動きベクトルを検出する。
【００８６】
尚、ＶＯＰはVideo Object Planeを意味し、ＭＰＥＧ２におけるフレームに相当するものである。また、Ｉ−ＶＯＰはＩピクチャに対応するイントラ符号化ＶＯＰ、Ｐ−ＶＯＰはＰピクチャに対応する順方向予測符号化ＶＯＰ、Ｂ−ＶＯＰはＢピクチャに対応する双方向予測符号化ＶＯＰである。
【００８７】
この画像情報変換装置のコンプレキシテイ算出部１５においては、情報バッファ１４に格納されたフレーム毎の情報Ｑ及びＢから、当該フレームに対するコンプレキシティＸを式（１９）により算出する。
【００８８】
【数２６】
0004517453.tif 000020
【００８９】
式（１９）によって算出された、当該フレームに対するコンプレキシティＸは、１ＧＯＶ分バッファリングされた後、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１に符号量制御のための媒介変数として伝送される。このため、１ＧＯＶ分の遅延が必要となる。この遅延は遅延バッファ１０を用いて実現される。
【００９０】
以下では、式（１９）において算出された、ＧＯＶ内の各フレームに対するコンプレキシティＸが、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１においてどのように用いられるかについて述べる。尚、以下では、ピクチャタイプ判別部７が装置内に存在せず、フレームレートの変換を行わない場合をも考慮することにする。
【００９１】
式（１８）によつて求められたＫp，Ｋbの意味するところは、Ｉ−ＶＯＰに対する理想的な平均量子化スケールＱi_idealに対するＰ−ＶＯＰ／Ｂ−ＶＯＰに対する理想的な平均量子化スケールＱp_ideal，Ｑb_idealの比が、式（２０）によって与えられるということである。
【００９２】
【数２７】
0004517453.tif 000021
【００９３】
ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅ１ ５においては、式（１８）のように適応的にＫp，Ｋbを算出することを行わず、式（３）に示したような固定値を用いている。
【００９４】
式（１８）及び式（２０）から、或るＶＯＰ１と、或るＶＯＰ２に対するコンプレキシテイをそれぞれＸ1，Ｘ2とし、理想的な量子化スケールをＱ1_ideal，Ｑ2_idealとすれば、式（２１）となる。
【００９５】
【数２８】
0004517453.tif 000022
【００９６】
或いはまた、ＭＰＥＧ２  Ｔｅｓｔ  Ｍｏｄｅ１ ５のように、式（３）に示した固定値を用いたい場合には、式（２１）に代えて、式（２２）とすれば良い。
【００９７】
【数２９】
0004517453.tif 000023
【００９８】
今、ＧＯＶ内の未符号化されたＶＯＰに対して割り当てられる総符号量（ビット数）をＲとし、Ｒが各ＶＯＰに対して、Ｒ1，Ｒ2，…Ｒnといったように割り当てられる時、当該ＧＯＶに対する画質が最適化されるものとする。ここでＲとＲ1，Ｒ2，…Ｒnの間には式（２３）という関係式が成り立つ。
【００９９】
【数３０】
0004517453.tif 000024
【０１００】
或るＶＯＰkに対する平均量子化スケールＱk、割当符号量Ｒk、コンプレキシテイＸkの間には式（２４）なる関係があることにも注意して、式（２３）を変形すれば式（２５）となる。
【０１０１】
【数３１】
0004517453.tif 000025
【０１０２】
【数３２】
0004517453.tif 000026
【０１０３】
式（２５）において、Ｋ（Ｘ1，Ｘ2）に関しては、式（２１）に示した値を用いても、式（２２）に示した値を用いても良いが、前者の方が、画像に応じた、より最適な符号量配分を実現することが可能である。その際、１／（１＋ｍ）の値を１．０と設定することで、指数演算を行うことが不要となり、高速な実行が可能となる。また、１／（１＋ｍ）の値を１．０以外に設定する場合にも、予めテーブルを持ち、これを参照して指数演算を行うことで高速な実行が可能となる。
【０１０４】
式（２５）における各ＶＯＰに対するコンプレキシティＸkはＭＰＥＧ４画像符号化によるものであるが、ＭＰＥＧ２画像符号化による各フレームに対するコンプレキシティと、ＭＰＥＧ４画像符号化による各フレームに対するコンプレキシティが等しいと仮定すれば、コンプレキシティ算出装置１５に格納されたＸkを用いることで、式（２５）によって当該ＶＯＰに対する目標符号量を算出することが可能である。
【０１０５】
このように、式（２５）を用いた当該ＶＯＰに対する目標量算出に至る一連の手順を、図２を参照して説明する。
【０１０６】
最初のステップＳ２１においては、ＭＰＥＧ２画像情報復号化装置（Ｉ／Ｐピクチャ）８は、入力するＭＰＥＧ２画像圧縮情報（ビットストリーム）について、ＧＯＰ内の各フレームに対する平均量子化スケールＱ、及び割当符号量（ビット数）Ｂを抽出し、情報バッファ１４に格納する。
【０１０７】
ステップＳ２２においては、コンプレキシティ算出装置１５は、情報バッファ１４に格納した平均量子化スケールＱ及び割当符号量（ビット数）Ｂから、式（１９）を用いてコンプレキシティＸを算出する。
【０１０８】
ステップＳ２３においては、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１は、コンプレキシティに応じた目標符号量（ターゲットビット）を算出する。
【０１０９】
ＭＰＥＧ２  Ｔｅｓｔ  Ｍｏｄｅｌ  ５では、ＧＯＰ内におけるＩ，Ｐ，Ｂピクチャに対するコンプレキシティＸi， Ｘp， Ｘbは一定であると仮定しているが、実際にはシーンチェンジをＧＯＰ内に含む場合や、ＧＯＰ内で背景が著しく変化する場合等ではこの仮定が成り立たず、安定した符号量制御の妨げとなり、画質劣化の要因ともなる。図１に示した画像情報変換装置においては、そのような場合にも、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）における、各フレームに対するコンプレキシテイに基づいた符号量制御を行うため、画質劣化を引き起こすことなく、安定した符号量制御を行うことが可能である。
【０１１０】
次に、本発明の第２の実施の形態となる画像情報変換装置について説明する。
【０１１１】
この画像情報変換装置は、図３に示すように、ピクチャタイプ判別部１６と、圧縮情報解析部１７と、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１８と、間引き部１９と、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）２０と、動きベクトル合成部２１と、動きベクトル検出部２２と、情報バッファ２３と、コンプレキシティ算出部２４とを有している。
【０１１２】
図１に示した画像情報変換装置と、図３に示した画像情報変換装置の違いは、図１に示した画像情報変換装置においては、遅延バッファ１０を用いて１ＧＯＶ分の遅延を実現するのに対し、図３に示した画像情報変換装置においては、遅延バッファを持たず、圧縮情報解析装置１７によって、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）を１ＧＯＰ分先読みし、各フレームに対するコンプレキシティＸを、ＭＰＥＧ４画像符号化に先立って算出する点にある。
【０１１３】
他の部分については、上述した第１の実施の形態の画像情報変換装置と同様であるので、説明を省略する。
【０１１４】
上述の本実施の形態においては、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）において抽出される、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）内の情報をＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）４において利用することにより、安定した符号量制御を行うことを可能にしている。
【０１１５】
以上、入力としてＭＰＥＧ２画像圧縮情報（ビットストリーム）を、出力としてＭＰＥＧ４画像圧縮情報（ビットストリーム）を対象としてきたが、入力、出力ともこれに限らず、例えばＭＰＥＧ−１やＨ．２６３などの画像圧縮情報（ビットストリーム）でも良い。
【０１１６】
【発明の効果】
以上述べてきた様に、本発明は、飛び越し走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）を入力とし、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）における各フレームに対するコンプレキシティ情報を利用して、各フレームに対する符号量割当が画像に対して最適化された状態で、順次走査のＭＰＥＧ４画像圧縮情報（ビットストリーム）に変換して出力する手段を提供するものである。
【０１１７】
本発明は、ディーンチェンジ等に起因する、ＧＯＰ内でのコンプレキシティの変化に対応し、安定した符号量制御を行うことにより、画質を低減させることがない。
【図面の簡単な説明】
【図１】第１の実施の形態の画像情報変換装置の構成を示すブロック図である。
【図２】符号量制御の動作原理を示すフローチャートである。
【図３】第２の実施の形態の画像情報変換装置の構成を示すブロック図である。
【図４】従来の画像情報変換装置の構成を示すブロック図である。
【図５】従来の符号量制御方式の動作原理を示すフローチャートである。
【符号の説明】
７  ピクチャタイプ判別部、８  ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）、９  間引き部、１０  遅延バッファ、１１  ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）
【図１】
0004517453.tif 000034
【図２】
0004517453.tif 000035
【図３】
0004517453.tif 000036
【図４】
0004517453.tif 000037
【図５】
0004517453.tif 000038