(57)【特許請求の範囲】
【請求項１】
フレーム間動き補償により符号化を行い、ラグランジュの未定乗数法による未定乗数に対する評価に基づき符号量対雑音量の関係を最適化するために同一画像シーケンスを複数回符号化することで画像シーケンス全体の最適化を行う画像信号符号化方法において、
符号化単位の各々に対応する局所未定乗数を初期化する第一の手順と、
該符号化単位毎に量子化ステップを変化させ、取得した局所未定乗数に対する評価に基づき符号量対雑音量の関係が最適化されるように量子化ステップを決定して画像シーケンス全体を符号化する第二の手順と、
該画像シーケンス全体の符号化の度に画像シーケンス全体に対応する大域未定乗数に対する評価を行い、符号量対雑音量の関係が最適化されるまで該局所未定乗数を修正して該第二の手順を繰り返し行う第三の手順とを有し、
該第一の手順では該初期化の際に、該第三の手順では該修正の際に、他符号化単位から動き補償のために参照される符号化単位の局所未定乗数を大域未定乗数より小さくし、他符号化単位から動き補償のために参照されない符号化単位の局所未定乗数を大域未定乗数に等しくするように、大域未定乗数および局所未定乗数を決定する
ことを特徴とする繰り返し画像信号符号化方法。
【請求項２】
請求項１に記載の繰り返し画像信号符号化方法により符号化を行う第四の手順と、
該第四の手順の符号化による発生符号量と目標符号量とを比較して十分近ければ符号化を終了し、そうでなければ次の手順で符号化を行う第五の手順と、
符号量と未定乗数の既知の統計的関係を用いて、画像シーケンス全体に対応する大域未定乗数および符号化単位各々に対応する局所未定乗数を変更して請求項１に記載の繰り返し画像信号符号化方法における第二の手順により符号化を行った後、該第五の手順に戻る第六の手順とを有する
ことを特徴とする繰り返し画像信号符号化方法。
【請求項３】
フレーム間動き補償により符号化を行い、ラグランジュの未定乗数法による未定乗数に対する評価に基づき符号量対雑音量の関係を最適化するために同一画像シーケンスを複数回符号化することで画像シーケンス全体の最適化を行う画像信号符号化装置において、
符号化単位の各々に対応する局所未定乗数を初期化する第一の手段と、
該符号化単位毎に量子化ステップを変化させ、取得した局所未定乗数に対する評価に基づき符号量対雑音量の関係が最適化されるように量子化ステップを決定して画像シーケンス全体を符号化する第二の手段と、
該画像シーケンス全体の符号化の度に画像シーケンス全体に対応する大域未定乗数に対する評価を行い、符号量対雑音量の関係が最適化されるまで該局所未定乗数を修正して該第二の手段による符号化を繰り返し行う第三の手段とを備え、該第一の手段は、該初期化に際して、該第三の手段は、該修正に際して、他符号化単位から動き補償のために参照される符号化単位の局所未定乗数を大域未定乗数より小さくし、他符号化単位から動き補償のために参照されない符号化単位の局所未定乗数を大域未定乗数に等しくするように、大域未定乗数および局所未定乗数を決定する手段を備える
ことを特徴とする繰り返し画像信号符号化装置。
【請求項４】
請求項１に記載の繰り返し画像信号符号化装置により符号化を行う第四の手段と、
該第四の手段の符号化による発生符号量と目標符号量とを比較して十分近ければ符号化を終了し、そうでなければ第六の手段で符号化を行う第五の手段と、
符号量と未定乗数の既知の統計的関係を用いて、画像シーケンス全体に対応する大域未定乗数および符号化単位各々に対応する局所未定乗数を変更して請求項１に記載の繰り返し画像信号符号化装置における第二の手段により符号化を行った後、該第五の手段の処理に戻る該第六の手段とを備える
ことを特徴とする繰り返し画像信号符号化装置。
【請求項５】
請求項１または２に記載の繰り返し画像信号符号化方法における処理の手順をコンピュータに実行させるためのプログラムとした
ことを特徴とする繰り返し画像信号符号化プログラム。
【請求項６】
請求項５に記載の繰り返し画像信号符号化プログラムを、コンピュータが読み取り可能な記録媒体に記録した
ことを特徴とする繰り返し画像信号符号化プログラムの記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、処理時間を短縮した高能率繰り返し画像信号符号化方法および装置に関する。
【０００２】
【従来の技術】
符号量対雑音量の意味で符号化能率を向上させるために同一画像シーケンスについて複数回の符号化試行を許すビデオ符号化方法において、符号化能率の評価には、１８世紀に確立された「ラグランジュの未定乗数法」が応用されている。
【０００３】
この方法は、外部から与えられた未定乗数λに対し、シーケンス符号化時の全符号量Ｒと全誤差Ｄ（この測度は状況により誤差の二乗和であったり誤差の絶対値和であったりしてよい）から大域評価基準
Ｊ＝Ｒ＋λＤ  …（１）
を符号化の度に求め、このＪが最小となるよう、符号化を繰り返しつつ最適化探索（パラメータ調整）を行う。
【０００４】
なお、このパラメータ調整においては、フレームあるいはより小さな符号化単位毎に局所未定乗数をそれぞれ定め、局所的な未定乗数、符号量および誤差をそれぞれλ′，Ｒ′およびＤ′としたとき、局所評価規準
Ｊ′＝Ｒ′＋λ′Ｄ′  …（２）
を最小化するよう処理を局所化し、大域評価規準Ｊを最小化する方法がとられている。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記従来の技術においては、与えられた大域未定乗数に対応する最適化を行う際、この局所未定乗数を変化させ、乗数調整・符号化・Ｊ評価の最適化サイクルを繰り返し、最適化を行うが、この局所未定乗数を定める際、大域未定乗数との値のかかわりが不明確であり、結果として最適にならないはずの局所未定乗数を用いて符号化を試行してしまったりする、無駄な処理を行なっていた。
【０００６】
また、「最適化を伴う符号化の結果、符号量がトータルで何バイト以内に収まるようにする」といった制約があるような場合に符号量制御が必要となる。ラグランジュの大域評価規準Ｊが最小になった場合に必ずしも所望の符号量になっている保証はないため、再度大域未定乗数λを調整して最適化サイクルを繰り返すことになるが、従来の技術においてはその際、前回の最適化サイクルで求まった局所未定乗数を利用することなく、新たに最適化を行っていたため、処理時間がさらに伸びていた。
【０００７】
本発明の第一の課題は、高能率繰り返し画像信号符号化方法および装置において、符号化単位間の参照関係に基づき局所未定乗数の値を決定することで無駄な符号化試行をせず最適化サイクルにかかる計算量を削減することにある。
【０００８】
本発明の第二の課題は、高能率繰り返し画像信号符号化方法および装置において、符号量と未定乗数の間の既知の統計的関係を用いて、一度求まった局所未定乗数を利用し効率良く符号量を目的値に近づけることにある。
【０００９】
【課題を解決するための手段】
上記第一の課題を解決するための第一の発明による繰り返し画像信号符号化方法は、フレーム間動き補償により符号化を行い、ラグランジュの未定乗数法による未定乗数に対する評価に基づき符号量対雑音量の関係を最適化するために同一画像シーケンスを複数回符号化することで画像シーケンス全体の最適化を行う画像信号符号化方法において、符号化単位の各々に対応する局所未定乗数を初期化する第一の手順と、該符号化単位毎に量子化ステップを変化させ、取得した局所未定乗数に対する評価に基づき符号量対雑音量の関係が最適化されるように量子化ステップを決定して画像シーケンス全体を符号化する第二の手順と、該画像シーケンス全体の符号化の度に画像シーケンス全体に対応する大域未定乗数に対する評価を行い、符号量対雑音量の関係が最適化されるまで該局所未定乗数を修正して該第二の手順を繰り返し行う第三の手順とを有し、該第一の手順では該初期化の際に、該第三の手順では該修正の際に、他符号化単位から動き補償のために参照される符号化単位の局所未定乗数を大域未定乗数より小さくし、他符号化単位から動き補償のために参照されない符号化単位の局所未定乗数を大域未定乗数に等しくするように、大域未定乗数および局所未定乗数を決定することを特徴とする。
【００１０】
また、第一の発明による繰り返し画像信号符号化装置は、フレーム間動き補償により符号化を行い、ラグランジュの未定乗数法による未定乗数に対する評価に基づき符号量対雑音量の関係を最適化するために同一画像シーケンスを複数回符号化することで画像シーケンス全体の最適化を行う画像信号符号化装置において、符号化単位の各々に対応する局所未定乗数を初期化する第一の手段と、該符号化単位毎に量子化ステップを変化させ、取得した局所未定乗数に対する評価に基づき符号量対雑音量の関係が最適化されるように量子化ステップを決定して画像シーケンス全体を符号化する第二の手段と、該画像シーケンス全体の符号化の度に画像シーケンス全体に対応する大域未定乗数に対する評価を行い、符号量対雑音量の関係が最適化されるまで該局所未定乗数を修正して該第二の手段による符号化を繰り返し行う第三の手段とを備え、該第一の手段は、該初期化に際して、該第三の手段は、該修正に際して、他符号化単位から動き補償のために参照される符号化単位の局所未定乗数を大域未定乗数より小さくし、他符号化単位から動き補償のために参照されない符号化単位の局所未定乗数を大域未定乗数に等しくするように、大域未定乗数および局所未定乗数を決定する手段を備えることを特徴とする。
【００１１】
上記第二の課題を解決するための第二の発明による繰り返し画像信号符号化方法は、上記の第一の発明の繰り返し画像信号符号化方法により符号化を行う第四の手順と、該第四の手順の符号化による発生符号量と目標符号量とを比較して十分近ければ符号化を終了し、そうでなければ次の手順で符号化を行う第五の手順と、符号量と未定乗数の既知の統計的関係を用いて、画像シーケンス全体に対応する大域未定乗数および符号化単位各々に対応する局所未定乗数を変更して上記第一の発明の繰り返し画像信号符号化方法における第二の手順により符号化を行った後、該第五の手順に戻る第六の手順とを有することを特徴とする。
【００１２】
また、第二の発明による繰り返し画像信号符号化装置は、上記の第一の発明の繰り返し画像信号符号化装置により符号化を行う第四の手段と、該第四の手段の符号化による発生符号量と目標符号量とを比較して十分近ければ符号化を終了し、そうでなければ第六の手段で符号化を行う第五の手段と、符号量と未定乗数の既知の統計的関係を用いて、画像シーケンス全体に対応する大域未定乗数および符号化単位各々に対応する局所未定乗数を変更して請求項１に記載の繰り返し画像信号符号化装置における第二の手段により符号化を行った後、該第五の手段の処理に戻る該第六の手段とを備えることを特徴とする。
【００１３】
上記の第一、第二の繰り返し画像信号符号化方法における処理の手順は、コンピュータに実行させるための繰り返し画像信号符号化プログラムとすることが可能であり、また、この繰り返し画像信号符号化プログラムは、コンピュータが読み取り可能な記録媒体に記録することが可能である。
【００１４】
本発明による第一の発明では、最適化を行う際に変化させる局所未定乗数の、大域未定乗数との大小関係を考慮しつつ、局所未定乗数調整・符号化・大域評価規準評価という最適化サイクルを行うことにより、結果として最適にならないはずの局所未定乗数を用いて符号化を試行してしまったりする、無駄な処理を避ける。
【００１５】
また、本発明による第二の発明では、最適化サイクルと符号量制御を両立させる場合、得られた符号量と一回求めた局所未定乗数を元に、目的とする符号量において最適となる局所未定乗数を生成することにより、新たに最適化サイクルを繰り返す必要をなくす。
【００１６】
【発明の実施の形態】
以下、本発明の原理および実施の形態について図を用いて詳細に説明する。
【００１７】
〈第一の発明の原理〉
現在広く用いられているＭＰＥＧ−１（ＩＳＯ／ＩＥＣ１１１７２−２），ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ１３８１８−２），ＭＰＥＧ−４（ＩＳＯ／ＩＥＣ１４４９６−２）等のフレーム間動き補償を用いる高能率ビデオ符号化技術においては、他から参照されない独立符号化フレーム（Ｉフレーム）、他を参照して符号化するフレーム（Ｐフレーム）、Ｉ，Ｐフレームを参照するが自身はどこからも参照されないフレーム（Ｂフレーム）が存在する。
【００１８】
ここでＩ，Ｂ，Ｐフレームの３フレームが順に並ぶ最も単純な画像シーケンスの符号化について考察する。ＩフレームはＰ，Ｂフレームに参照されるため、この画品質がそれらの符号量に影響を及ぼすこと、ＰフレームはＢフレームに参照されるため、その符号量に影響を及ぼすことを考慮すると、総符号量Ｒは
Ｒ＝ＲI＋ＲP（ＲI）＋ＲB（ＲP（ＲI），ＲI）  …（３）
と書かれる。ここでＲI、ＲB，ＲPはそれぞれＩフレーム、Ｂフレーム、Ｐフレームの符号量である。同様の理由から、総誤差Ｄは
Ｄ＝ＤI（ＲI）＋ＤP（ＲP，ＲI）＋ＤB（ＲB，ＲP，ＲI）  …（４）
の様に書ける。ここでＤI，ＤB，ＤPはそれぞれＩフレーム、Ｂフレーム、Ｐフレームの誤差である。ラグランジュの未定乗数をλとすると、評価規準は
Ｊ＝Ｄ＋λ（Ｒ−Ｒtot）  …（５）
と書かれる。ここでＲtotは目標とする総符号量である。ラグランジュ法では、この最小化は
【００１９】
【数１】
0003854472.tif 000002
【００２０】
という連立方程式に帰着される。最初の３式は
【００２１】
【数２】
0003854472.tif 000003
【００２２】
となる。ここで
【００２３】
【数３】
0003854472.tif 000004
【００２４】
とおくと、Ｂフレームについて、式（７）より
ＴB＝λ  …（１１）
が成り立つ。
【００２５】
またＰフレームについて、ＲPが増加するとＰフレームの画品質が上がり、結果としてＰフレームを参照するＢフレームは符号化が楽になりＤBとＲBは減少することから、
【００２６】
【数４】
0003854472.tif 000005
【００２７】
が成り立つ。これらを式（８）に代入し
【００２８】
【数５】
0003854472.tif 000006
【００２９】
となる。
【００３０】
同様にＩフレームについて、ＲIが増加するとＩフレームの画品質が上がり、結果としてＩフレームを参照するＰ，Ｂフレームは符号化が楽になりＤP，ＲP，ＤB，ＲBが減少することから、
【００３１】
【数６】
0003854472.tif 000007
【００３２】
が成り立ち、これらを式（９）に代入し
【００３３】
【数７】
0003854472.tif 000008
【００３４】
を得る。
【００３５】
各フレームにおいて、Ｄ（Ｒ）のグラフは一般に下に凸であるので、−∂Ｄ／∂Ｒが局所未定乗数Ｔに等しくなる点は、局所評価規準Ｄ＋ＴＲが最小になる点と一致する。従って、ＴI，ＴB，ＴPを局所未定乗数、λを大域未定乗数とすると、
ＴI＜λ、ＴP＜λおよびＴB＝λ  …（１６）
を保ちながらＪ＝Ｄ＋λＲを最小化するよう（ＴI，ＴP，ＴB）を探索すればよい。この方法により、（ＴI，ＴP、ＴB）について何の先験的知識もなく最適化サイクルを繰り返すよりも、高速で効率的な最適化が可能になる。
【００３６】
上記は３フレームの最も単純な場合を考えたが、一般の長さを持つビデオクリップをフレーム単位でＭＰＥＧ方式にて最適化する場合へ、この考え方を応用すると、手順は以下のようになる。
【００３７】
１．フレーム数と同じ長さの局所未定乗数表（ＴI1，ＴP1，ＴB1，ＴB2，ＴP2，…）を初期化する。この表においては、最適化サイクルの途中、ＴIx＜λ、ＴPx＜λ、ＴBx＝λが常に保たれていなければならない。
【００３８】
２．ビデオクリップをフレーム毎に最適化する。最小符号化単位（ＭＰＥＧの場合マクロブロックと呼ぶ）の各々について、離散的に様々な値を取りうる（ＭＰＥＧの場合３１通り）量子化ステップの全てあるいは一部の値で符号化を試行し、最小の局所評価規準Ｄ＋ＴＲを与える量子化ステップを採用する。Ｄ，Ｒはそれぞれ、該マクロブロックを該量子化ステップで符号化した際の符号量および復号誤差であり、Ｔは該フレームの局所未定乗数である。
【００３９】
３．全フレームの符号化が終了後、大域評価規準Ｊ＝Ｄ＋λＲを最小化すべく局所未定乗数表を更新する。これは例えば、一般に用いられる多次元最適化アルゴリズムに基づき行う。もし収束したと判定されたら終了し、さもなくば２から繰り返す。
【００４０】
局所未定乗数に関する拘束条件（式（１６））の正当性を確かめるために、ある画像について、０．０００３〜０．００１２の範囲内の大域未定乗数λを数種類用い、拘束条件を用いずに最適化を行った結果を図１に示す。ここで第１フレームがＩフレーム、第２，３，５，６，８，９，１１，１２フレームがＢフレーム、第４，７，１０，１３フレームがＰフレームである。式（１６）の通り、Ｂピクチャに対する局所未定乗数が大域未定乗数に等しく、かつＩ，Ｐピクチャに対する局所未定乗数が大域未定乗数より小さくなっていることが確認できる。
【００４１】
なお、ビデオクリップが長大となると、変化しうる局所未定乗数の数も増え、最適化サイクルにおける探索空間が指数的に増大するが、ＭＰＥＧにおいてはＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅ）構造、すなわちビデオクリップを１枚のＩフレームおよび後続の複数のＢ，Ｐフレームから成るグループ構造を単位とする構造毎の符号化を行う。従って、ＧＯＰ末尾のＢフレーム群（もし、あれば）を除き、ＧＯＰ間は独立であるため、最適化もＧＯＰ単位に独立に行ってよい。
【００４２】
〈第二の発明の原理〉
図１の各グラフを、対応する大域未定乗数で除することにより正規化したグラフを図２に示す。この図においてグラフは互いにほぼ重なりあっている。つまり、最適な局所未定乗数の値は、大域未定乗数と比例関係にあることがわかる。
【００４３】
また、ＤとＲの間には反比例の関係Ｄ∝Ｒ-1があることが実験的、統計的に示されている（Ｓ．Ｔａｋａｍｕｒａ，  Ｈ．Ｗａｔａｎａｂｅ  ａｎｄ  Ｎ．Ｋｏｂａｙａｓｈｉ：“Ｏｎｅ−ｐａｓｓ  ＶＢＲ  ａｌｇｏｒｉｔｈｍ  ｆｏｒａｎ  ＭＰＥＧ−２  ｅｎｃｏｄｅｒ  ｃｈｉｐ  ＳｕｐｅｒＥＮＣ，”Ｐｉｃｔｕｒｅ  Ｃｏｄｉｎｇ  Ｓｙｍｐｏｓｉｕｍ  Ｊａｐａｎ，ＰＰ．３９−４０，Ｓｅｐ．１９９９．）。従って、∂Ｄ／∂Ｒ∝Ｒ-2となり、これに∂Ｄ／∂Ｒ＝−λを代入すると、以下のような逆二乗関係が成り立つことが予想される。
【００４４】
λ∝Ｒ-2  …（１７）
これを確かめるために、数種の画像について、０．０００３〜０．００１２の範囲内の大域未定乗数λを数種類用い、最適化サイクルを行った後のビット量Ｒとλとの関係を図３の点群としてプロットした。また、これらの点群を曲線λ＝ｋＲ-2により最小二乗あてはめしたものを、同図の曲線として示す。点群に曲線がよくあてはまっていることから、実際にλ−Ｒの逆二乗関係が成り立つことが確認できる。
【００４５】
以上の事実を用いれば、あるλについてひとたび最適な局所未定乗数表が得られれば、任意のλに対しても、この未定乗数表を定数倍することで、最適化サイクルを行うことなしに、最適な局所未定乗数表を得ることができる。具体的に、発生符号量を目標量（Ｒtgt）に近づける手順を記述すると、以下のようになる。
【００４６】
１．ある与えられたλに基づき、ビデオクリップを上記第一の発明の最適化方法で符号化する。
【００４７】
２．得られた符号量をＲとする。もしＲがＲtgtに十分近ければ終了する。さもなければ次へ進む。
【００４８】
３．式（１７）に基づき、局所未定乗数表の各未定乗数をＲ2／Ｒtgt2倍し、その表を用いて再度符号化を行う。その際、最適化のための繰り返しは不要である。符号化の後は２へ戻る。
【００４９】
実際のビデオクリップについて、第二の発明を用いた最適符号化・符号量制御を行った結果を以下に示す。目標ビットレートは４Ｍｂｉｔ／ｓと設定している。ここの例では１％以内の精度を達成するのには２回の試行で十分であることがわかる。
【００５０】
画像Ａ
１回目＝５．８０Ｍｂｉｔ／ｓ→４．０４Ｍｂｉｔ／ｓ（終了）
画像Ｂ
１回目＝５．１１Ｍｂｉｔ／ｓ→３．８６Ｍｂｉｔ／ｓ
２回目＝３．８６Ｍｂｉｔ／ｓ→４．０１Ｍｂｉｔ／ｓ（終了）
〈第一の発明の実施の形態〉
本発明による第一の発明の実施の形態について図４を参照して説明する。図４は、本実施形態例における処理の流れとともに処理部構成すなわち装置構成を示している。各処理部は、本発明の手段を構成する全部もしくは一部である。
【００５１】
始めに、処理開始後、局所未定乗数表初期化部１０１において局所未定乗数表記憶部１０２の局所未定乗数表（以下、局所未定乗数表を１０２と呼ぶ）を初期化する。この局所未定乗数表１０２においては、最適化サイクルの途中、ＴIx＜λ，ＴPx＜λ，ＴBx＝λが常に保たれていなければならない。したがって、局所未定乗数表初期化部１０１は、ＴIx＜λ，ＴPx＜λ，ＴBx＝λとなるように局所未定乗数表１０２の初期化を行う。
【００５２】
続いて、フレーム符号化部１２０にて符号化を行う。まず、局所未定乗数取得部１０３において符号化フレームを順に選択後、未定乗数表１０２より該当フレームの局所未定乗数Ｔを取得し、マクロブロック選択部１０４において該当フレームのマクロブロックを順に選択する。次に、量子化ステップ選択部１０５において、取り得る量子化ステップを順に全て発生させる。次に、符号化誤差・符号量取得部１０６において符号化を行った結果生じる誤差Ｄ′および符号量Ｒ′を取得し、局所価値基準算出部１０７において局所評価基準Ｄ′＋ＴＲ′を算出する。次に、最小判定部１０８においてこの局所評価規準が該マクロブロックにおいて最小であるかどうかを判断し、最小であれば量子化ステップ記憶部１０９において該量子化ステップを変数Ｑに記憶する。次に、全量子化判定部１１０にて取り得る量子化ステップを全て試行したと判断されなければ、量子化ステップ選択部１０５へ戻り再度別の量子化ステップを試行する。量子化ステップを全て試行したと判断されれば、マクロブロック符号化部１１１にて、記憶した量子化ステップＱで符号化を行う。次いで全マクロブロック判定部１１２にて該フレームの全マクロブロックについて符号化が完了したかどうかを判定し、未だであればマクロブロック選択部１０４へ戻り、次マクロブロックの処理を行う。完了していれば、全フレーム判定部１１３にて、全フレームの処理が完了したかを判定し、未だであれば局所未定乗数取得部１０３へ戻り次フレームの処理を行う。
【００５３】
全フレームの符号化処理が終了すると、総符号化誤差・総符号量取得部１１４ではビデオシーケンス全体での総符号誤差Ｄ、総符号量Ｒを取得し、大域評価基準算出部１１５にて大域評価基準Ｄ＋λＲを算出する。次に、収束判定部１１６では、この大域評価規準が収束したかどうかを判定し、まだ判定していないと判断すれば１１７の未定乗数表修正部へ進む。ここでは大域未定乗数による大域評価基準を最小化するよう、パラメータ（この場合１０２の局所未定乗数表）を調整するものである。ここで、未定乗数表修正部１１７は、ＴIx＜λ，ＴPx＜λ，ＴBx＝λとなるように局所未定乗数表１０２の調整（修正）を行う。その後、局所未定乗数取得部１０３から再度ビデオシーケンス全体での符号化を繰り返す。収束判定部１１６で収束したと判定されれば、処理を終了する。
【００５４】
〈第二の発明の実施の形態〉
本発明による第二の発明の実施の形態について図５を参照して説明する。図５は、本実施形態例における処理の流れとともに処理部構成すなわち装置構成を示している。各処理部は、本発明の手段を構成する全部もしくは一部である。
【００５５】
始めに、開始後、ビデオシーケンス全体をビデオクリップ最適化部２０１にて一度最適化を行う。これは、第一の発明の実施の形態におけるビデオクリップ最適化と同じ処理である。その結果得られた局所未定乗数表を局所未定乗数表記憶部２０２（以下、局所未定乗数表を２０２と呼ぶ）に保存する。
【００５６】
続いて、符号量取得部２０３にてビデオシーケンス全体の符号量Ｒを取得する。次に、Ｒ・Ｒtgt比較部２０４においてＲとＲtgtを比較し、差が十分に小さいと判定されたら終了する。さもなくば、局所未定乗数表更新部２０５において、局所未定乗数表２０２の各値を全てＲ2／Ｒtgt2倍する。
【００５７】
次いで、２０６のフレーム符号化部（これは第一の発明の実施形態例において示した、フレーム符号化部１２０と同一である）において、符号化を行う。ここで最適化のための繰り返しは不要である（但しマクロブロック単位の、量子化ステップ選択のための繰り返しは行う）。その後、符号量取得部２０３の処理より繰り返す。
【００５８】
なお、図４、図５で示した装置の各処理部の一部もしくは全部での処理、あるいはその処理の流れにおける処理手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができることは言うまでもなく、コンピュータでその処理部を実現するためのプログラム、あるいはコンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ（フロッピーディスク（登録商標））や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、そのプログラムをインターネットや電子メール等によりネットワークを通して配布することが可能である。
【００５９】
【発明の効果】
以上説明したように、本発明によれば、最適化を行う際に変化させる局所未定乗数の、大域未定乗数との大小関係を考慮しつつ局所未定乗数調整・符号化・大域評価規準評価という最適化サイクルが行えるようになり、結果として最適にならないはずの局所未定乗数を用いて符号化を試行してしまったりする、無駄な処理を避けられるようになる。
【００６０】
また、最適化サイクルと符号量制御を両立させる場合、得られた符号量と一回求めた局所未定乗数を元に、目的とする符号量において最適となる局所未定乗数を一撃で生成することができるため、新たに最適化サイクルを繰り返す必要がなくなる。
【図面の簡単な説明】
【図１】様々な大域未定乗数λに対する、最適化後の局所未定乗数表（λ）のグラフ。
【図２】図１のデータを正規化したグラフ。
【図３】大域未定乗数λおよび最適化後のＲをプロットし、かつ逆二乗曲線で最小二乗あてはめを行ったグラフ。
【図４】第一の発明の実施の形態によるビデオクリップ最適化符号化の処理の流れと装置構成を示した図。
【図５】第二の発明の実施の形態による最適化時の符号化レート制御の処理の流れと装置構成を示した図。
【符号の説明】
１０１…局所未定乗数表初期化部
１０２…局所未定乗数表記憶部（局所未定乗数表）
１０３…局所未定乗数取得部
１０４…マクロブロック選択部
１０５…量子化ステップ選択部
１０６…符号化誤差・符号量取得部
１０７…局所価値基準算出部
１０８…最小判定部
１０９…量子化ステップ記憶部
１１０…全量子化判定部
１１１…マクロブロック符号化部
１１２…全マクロブロック判定部
１１３…全フレーム判定部
１１４…総符号化誤差・総符号量取得部
１１５…大域評価基準算出部
１１６…収束判定部
１１７…未定乗数表修正部
１２０…フレーム符号化部
２０１…ビデオクリップ最適化部
２０２…局所未定乗数表記憶部（局所未定乗数表）
２０３…符号量取得部
２０４…Ｒ・Ｒtgt比較部
２０５…局所未定乗数表更新部
２０６…フレーム符号化部
【図１】
0003854472.tif 000009
【図２】
0003854472.tif 000010
【図３】
0003854472.tif 000011
【図４】
0003854472.tif 000012
【図５】
0003854472.tif 000013