(57)【要約】【課題】  対象とする画像全体の復号画像の品質を簡便に向上させること。【解決手段】  動画像のフレーム間予測符号化を実行可能な画像符号化装置であって、複数のフレーム分の動画像を蓄積するフレームメモリ（１０３）と、前記蓄積した動画像の各フレーム毎に特徴量を算出する画像特徴量算出手段（１００）と、前記フレームメモリに蓄積した動画像を前記算出した特徴量に基づいて符号化する画像符号化手段（１０５、１０６、１０７）と、前記特徴量に基づいて、複数のフレームを処理対象の１グループと判断する判断手段（１００）と、前記特徴量及び前記判断されたグループに含まれるフレーム数に基づいて、各フレームに符号量を割り当てる割当手段（１００）とを有し、前記画像符号化手段は、前記蓄積手段に蓄積した動画像を、前記割り当てられた符号量となるように符号化する。【選択図】  図１
2005176095.tif 000002
【特許請求の範囲】
【請求項１】
動画像のフレーム間予測符号化を実行可能な画像符号化装置であって、
複数のフレーム分の動画像を蓄積する蓄積手段と、
前記蓄積した動画像のフレーム毎に特徴量を算出する特徴量算出手段と、
前記蓄積手段に蓄積した動画像を前記算出した特徴量に基づいて符号化する画像符号化手段と、
前記特徴量算出手段により算出した特徴量に基づいて、複数のフレームを処理対象の１グループと判断する判断手段と、
前記特徴量及び前記判断されたグループに含まれるフレーム数に基づいて、各フレームに符号量を割り当てる割当手段とを有し、
前記画像符号化手段は、前記蓄積手段に蓄積した動画像を、前記割り当てられた符号量となるように符号化することを特徴とする画像符号化装置。
【請求項２】
前記判断手段は、所定値以上の特徴量を有するフレームの次のフレームから、次に所定値以上の特徴量を有するフレームまでのフレームを１グループと判断し、前記割当手段は、参照フレームに対して他フレームよりも符号量を多く割り当てることを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
動画像のフレーム間予測符号化を実行可能な画像符号化装置であって、
複数のフレーム分の動画像を蓄積する蓄積手段と、
前記蓄積した複数のフレーム分の動画像を符号化する符号化手段と、
前記符号化したフレームの再符号化の要否を判断する判断手段と、
前記判断手段が再符号化をすると判断した場合に、前記符号化手段により前記複数のフレーム分の動画像を再度符号化するように制御する制御手段と、
前記判断手段が再符号化をすると判断した場合に再符号化による符号化フレームを出力し、前記判断手段が再符号化をしないと判断した場合に１回目の符号化による符号化フレームを出力する出力手段と
を備えたことを特徴とする画像符号化装置。
【請求項４】
前記符号化手段において各フレームの１回目の符号化時に参照したフレームと、１回目の符号化により得られた各フレームの符号量を前記判断手段に通知し、前記判断手段は、前記複数のフレームの１回目の符号化時に最も多く参照されたフレームと、最も大きい符号量を有するフレームとを検出して比較し、異なる場合に再符号化を行うと判断し、同じ場合に再符号化を行わないと判断することを特徴とする請求項３に記載の画像符号化装置。
【請求項５】
前記判断手段が再符号化を行うと判断した場合に、前記検出した最も大きい符号量及びフレーム数に基づいて、各フレームに符号量を割り当てる割当手段を更に有し、
前記制御手段は、前記割り当てられた符号量となるように前記複数のフレームを再符号化するように前記符号化手段を制御することを特徴とする請求項４に記載の画像符号化装置。
【請求項６】
前記割当手段は、前記複数のフレームの１回目の符号化時に最も多く参照されたフレームに対して、それ以外のフレームよりも符号量を多く割り当てることを特徴とする請求項５に記載の画像符号化装置。
【請求項７】
動画像のフレーム間予測符号化を実行可能な画像符号化方法であって、
複数のフレーム分の動画像を蓄積する蓄積工程と、
前記蓄積した動画像のフレーム毎に特徴量を算出する特徴量算出工程と、
前記蓄積工程で蓄積した動画像を前記算出した特徴量に基づいて符号化する画像符号化工程と、
前記特徴量算出工程において算出した特徴量に基づいて、複数のフレームを処理対象の１グループと判断する判断工程と、
前記特徴量及び前記判断されたグループに含まれるフレーム数に基づいて、各フレームに符号量を割り当てる割当工程とを有し、
前記画像符号化工程では、前記蓄積工程で蓄積した動画像を、前記割り当てられた符号量となるように符号化することを特徴とする画像符号化方法。
【請求項８】
前記判断工程では、所定値以上の特徴量を有するフレームの次のフレームから、次に所定値以上の特徴量を有するフレームまでのフレームを１グループと判断し、前記割当工程では、参照フレームに対して他フレームよりも符号量を多く割り当てることを特徴とする請求項７に記載の画像符号化方法。
【請求項９】
動画像のフレーム間予測符号化を実行可能な画像符号化方法であって、
複数のフレーム分の動画像を蓄積する蓄積工程と、
前記蓄積した複数のフレーム分の動画像を符号化する符号化工程と、
前記符号化したフレームの再符号化の要否を判断する判断工程と、
前記判断工程で再符号化をすると判断した場合に、前記複数のフレーム分の動画像を再度符号化する再符号化工程と、
前記判断工程で再符号化をすると判断した場合に再符号化工程で得た符号化フレームを出力し、前記判断工程が再符号化をしないと判断した場合に符号化工程で得た符号化フレームを出力する出力工程と
を備えたことを特徴とする画像符号化方法。
【請求項１０】
前記判断工程は、
前記符号化工程において各フレームの符号化時に参照したフレームと、符号化により得られた各フレームの符号量を得る工程と、
前記符号化工程における符号化時に最も多く参照されたフレームと、最も大きい符号量を有するフレームとを検出して比較する工程と、
異なる場合に再符号化を行うと判断し、同じ場合に再符号化を行わないと判断する工程と
を有することを特徴とする請求項９に記載の画像符号化方法。
【請求項１１】
前記判断工程で再符号化を行うと判断した場合に、前記検出した最も大きい符号量及びフレーム数に基づいて、各フレームに符号量を割り当てる割当工程を更に有し、
前記再符号化工程では、前記割り当てられた符号量となるように前記複数のフレームを再符号化することを特徴とする請求項１０に記載の画像符号化方法。
【請求項１２】
前記割当工程では、前記符号化工程において最も多く参照されたフレームに対して、それ以外のフレームよりも符号量を多く割り当てることを特徴とする請求項１１に記載の画像符号化方法。
【請求項１３】
情報処理装置が実行可能なプログラムであって、前記プログラムを実行した情報処理装置を、請求項１乃至６のいずれかに記載の画像符号化装置として機能させることを特徴とするプログラム。
【請求項１４】
請求項７乃至１２のいずれかに記載の画像符号化方法を実現するためのプログラムコードを有することを特徴とする情報処理装置が実行可能なプログラム。
【請求項１５】
請求項１３又は１４に記載のプログラムを記憶したことを特徴とする情報処理装置が読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を符号化する画像符号化装置及び方法に関するものである。
【背景技術】
【０００２】
従来、画像の符号化方式として、フレーム内符号化方式であるMotion JPEGやDigital Video等の符号化方式や、フレーム間予測符号化を用いたＨ．２６１、Ｈ．２６３、ＭＰＥＧ−１，ＭＰＥＧ−２等の符号化方式が知られている。これらの符号化方式は、ＩＳＯ（International Organization for Standardization：国際標準化機構）やＩＴＵ（International Telecommunication Union：国際電気通信連合）によって国際標準化されている。フレーム内符号化方式はフレーム単位で独立に符号化を行うもので、フレームの管理がしやすいため、動画像の編集や特殊再生が必要な場合に適している。また、フレーム間予測符号化方式は、フレーム間での画像データの差分に基づくフレーム間予測を用いるため、符号化効率が高いという特徴を持っている。
【０００３】
ＭＰＥＧなどでは、前後２枚の参照画像を用いてフレーム間予測を行うことで符号化効率を向上させている。現在符号化対象となるフレームと参照フレームとの間で高い相関があれば符号化効率は向上する。このとき、参照フレームには符号化器内で既に符号化し、復号した局部復号フレームを用いるため、何らかの符号化歪みを持つ画像となる。この歪みはフレーム間の相関を低下させる場合があり、極力少ないことが望まれる。
さらに新しい動画像の符号化方式としてＨ．２６４符号化方式が注目されている。Ｈ．２６４符号化方式はＩＴＵ−ＴとＩＳＯが共同で開発した符号化方式である。Ｈ．２６４符号化方式の特徴は、従来のＭＰＥＧ−１、２、４符号化方式と異なり、４ｘ４整数変換を用い、イントラ予測は複数用意されていることである。また、ループ内フィルタが用いられ、動き補償は７種類のサブブロックで行われる。動き補償の画素精度はＭＰＥＧ−４符号化方式と同様で、１／４画素精度の動き補償を行うことができる。エントロピー符号化としてユニバーサル可変長符号化やコンテキスト適応可変長符号化が用いられている。
【０００４】
さらに大きな特徴として、ＭＰＥＧ−１、２、４では前後２枚の参照画像を用いて動き補償を行っていたことに対し、Ｈ．２６４ではより多くの、且つ離れた参照画像を用いることが可能になった。ビットストリームの先頭のヘッダに含まれるnum_ref_frames符号は最大１６の値をとることができる。すなわち、前後１６フレームを参照することが可能である。符号化対象となるマクロブロックは前述のとおり、最大１６フレーム、且つ７種類のサブブロックについて１／４画素精度で予測誤差を求め、予測誤差が最小になるマクロブロックを選択することで、符号化効率を大幅に改善することが可能となる（例えば、非特許文献１参照）。
【０００５】
この概念を図９（ｂ）に示す。前述のとおりＭＰＥＧ−１，２，４に比べ、Ｈ．２６４では参照画像の選択方法に対し自由度を高めることができる。
【０００６】
【非特許文献１】“Overview of the H.264 / AVC Video Coding Standard”, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FORVIDEO TECHNOLOGY, JULY 2003
【発明の開示】
【発明が解決しようとする課題】
【０００７】
Ｈ．２６４の枠組みにおいては、図９のように１つの画像を複数の画像から参照できるが、この参照画像の選択などの具体的方法は明示されていない。
【０００８】
本発明は上記問題点を鑑みてなされたものであり、対象とする画像全体の復号画像の品質を簡便に向上させることを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、動画像のフレーム間予測符号化を実行可能な本発明の画像符号化装置は、複数のフレーム分の動画像を蓄積する蓄積手段と、前記蓄積した動画像のフレーム毎に特徴量を算出する特徴量算出手段と、前記蓄積手段に蓄積した動画像を前記算出した特徴量に基づいて符号化する画像符号化手段と、前記特徴量算出手段により算出した特徴量に基づいて、複数のフレームを処理対象の１グループと判断する判断手段と、前記特徴量及び前記判断されたグループに含まれるフレーム数に基づいて、各フレームに符号量を割り当てる割当手段とを有し、前記画像符号化手段は、前記蓄積手段に蓄積した動画像を、前記割り当てられた符号量となるように符号化する。
【００１０】
また、動画像のフレーム間予測符号化を実行可能な本発明の画像符号化方法は、複数のフレーム分の動画像を蓄積する蓄積工程と、前記蓄積した動画像のフレーム毎に特徴量を算出する特徴量算出工程と、前記蓄積工程で蓄積した動画像を前記算出した特徴量に基づいて符号化する画像符号化工程と、前記特徴量算出工程において算出した特徴量に基づいて、複数のフレームを処理対象の１グループと判断する判断工程と、前記特徴量及び前記判断されたグループに含まれるフレーム数に基づいて、各フレームに符号量を割り当てる割当工程とを有し、前記画像符号化工程では、前記蓄積工程で蓄積した動画像を、前記割り当てられた符号量となるように符号化する。
【００１１】
また、動画像のフレーム間予測符号化を実行可能な本発明の別の画像符号化装置は、複数のフレーム分の動画像を蓄積する蓄積手段と、前記蓄積した複数のフレーム分の動画像を符号化する符号化手段と、前記符号化したフレームの再符号化の要否を判断する判断手段と、前記判断手段が再符号化をすると判断した場合に、前記符号化手段により前記複数のフレーム分の動画像を再度符号化するように制御する制御手段と、前記判断手段が再符号化をすると判断した場合に再符号化による符号化フレームを出力し、前記判断手段が再符号化をしないと判断した場合に１回目の符号化による符号化フレームを出力する出力手段とを備える。
【００１２】
更に、動画像のフレーム間予測符号化を実行可能な本発明の別の画像符号化方法は、複数のフレーム分の動画像を蓄積する蓄積工程と、前記蓄積した複数のフレーム分の動画像を符号化する符号化工程と、前記符号化したフレームの再符号化の要否を判断する判断工程と、前記判断工程で再符号化をすると判断した場合に、前記複数のフレーム分の動画像を再度符号化する再符号化工程と、前記判断工程で再符号化をすると判断した場合に再符号化工程で得た符号化フレームを出力し、前記判断工程が再符号化をしないと判断した場合に符号化工程で得た符号化フレームを出力する出力工程とを備える。
【発明の効果】
【００１３】
上記構成により、対象とする画像全体の復号画像の品質を簡便に向上させることができる。
【発明を実施するための最良の形態】
【００１４】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。
【００１５】
尚、本実施の形態では、フレーム間予測符号化方式として、Ｈ．２６４における実現方法を述べるが、本発明はこれに限るものではなく、複数のフレームを参照画像として用いることが可能なフレーム間予測符号化方式に適用することが可能である。また、マクロブロックとは符号化処理の単位であり、輝度信号１６画素×１６ライン、色差信号８画素×８ラインの画像の領域を示す。
【００１６】
＜第１の実施形態＞
図１は本発明の第１の実施形態における符号化装置の構成を示すブロック図である。
【００１７】
図１において、１００はフレームメモリ１０３に蓄積されたフレームの特徴量を算出する画像特徴量算出器、１０１は画像特徴量算出器１００からの特徴量を格納する制御メモリ、１０２は符号化装置全体の発生符号量を制御するレート制御器であり、同時に制御メモリ１０１からの特徴量を入力する。１０３は複数フレームの画像を蓄積するフレームメモリであり、入力画像１フレーム分を格納し、符号化単位であるマクロブロックとして出力する。
【００１８】
１０４、１１１は、フレーム内符号化を行うＩＮＴＲＡモードと、フレーム間予測符号化を行うＩＮＴＥＲモードに応じて切り替えられるスイッチ、１０５は８×８画素（ブロック）単位の２次元の離散コサイン変換（Discrete Cosign Transform）を行うＤＣＴ器であり、入力されたマクロブロックをブロック毎に順次変換し、ＤＣＴ係数を出力する。
【００１９】
１０６は、ブロック毎に量子化を行い、量子化代表値を出力する量子化器、１０７は、ハフマン符号化を行い、ハフマンコードを出力する可変長符号化器である。
【００２０】
１０８はＩＮＴＲＡモードとＩＮＴＥＲモードのいずれを選択するかを判定するモード判定器、１０９は量子化代表値をＤＣＴ係数として出力する逆量子化器、１１０はＤＣＴ係数を画像へ変換する逆ＤＣＴ器、１１２はフレームメモリ１０３からの入力画像とフレームメモリ１１３からの局部復号画像を入力し、マクロブロック毎に動きベクトル検出を行い、予測画像を出力する動き補償器、１１３は局部復号画像を格納するフレームメモリである。
【００２１】
次に、図１の構成を有する符号化装置動作について、図２のフローチャートを参照して説明する。
【００２２】
まず、ステップＳ１００でフレームカウンタcnt_finをリセットする。次にステップＳ１０１においてフレームメモリ１０３に画像を１フレーム分格納し、画像特徴量算出器１００に出力する。画像特徴量算出器１００はステップＳ１０２で入力したフレームの特徴量Ｘを算出する。なお、本第１の実施形態では、算出する特徴量Ｘをフレーム全体の画素の分散値とする。
【００２３】
次に、ステップＳ１０３でフレームカウンタcnt_finが０であるか判断し、０であればステップＳ１０４に進んで、全符号化対象フレームから１シーケンスを切り出すための閾値ＸＢ及びＸＢＬを定める。ＸＢは、先頭フレームのＸより大きく、且つＸＢＬは小さな値とすることが望ましい。本第１の実施形態では、先頭フレームのＸとの差をαとして設け次のように設定する。
ＸＢ    ＝  先頭フレームのＸ＋α
ＸＢＬ  ＝  先頭フレームのＸ−α
【００２４】
次のステップＳ１０５ではフレームカウンタcnt_finを１インクリメントする。
【００２５】
ステップＳ１０６では、ステップＳ１０２で算出した特徴量Ｘが比較値ＸＢよりも小さく、且つ比較値ＸＢＬよりも大きいかどうかを判断し、条件を満たす場合には上述したステップＳ１０１〜Ｓ１０５の処理を繰り返す。なお、この比較値ＸＢは、全符号化対象フレームから１シーケンスを切り出すための閾値であり、予め定めておく。
【００２６】
ステップＳ１０６で、算出した分散値が比較値ＸＢ以上、またはＸＢＬ以下であると判断された場合、ステップＳ１０５に進み、その時のcnt_fin、すなわち、比較値ＸＢ以上またはＸＢＬ以下の特徴量Ｘを持つフレームにあたるまでに処理したフレーム数を１シーケンスのフレーム数finとして格納する。このフレーム数を用いて、フレーム毎の目標符号量Ｔr及びＴeを求め（ステップＳ１０８）、求めた目標符号量Ｔr及びＴeを制御メモリ１０１へ格納する（ステップＳ１０９）。なお、画像特徴量算出器１００による目標符号量Ｔr及びＴeの算出方法については後述する。
【００２７】
次に、フレームカウンタcnt_finをリセットし（ステップＳ１１０）。フレームメモリ１０３に格納された画像データを１フレーム分入力する（ステップＳ１１１）。レート制御器１０２は、制御メモリ１０１に格納された各フレームの目標符号量ＴrまたはＴeを入力し（ステップＳ１１２）、この目標符号量ＴrまたはＴeに応じて制御し、１フレーム毎の符号化を行う。
【００２８】
モード判定器１０８は、フレームメモリ１０３からの現フレームと動き補償器１１２からの予測信号から、それぞれの分散値を算出し小さな信号を選択することで、ＩＮＴＲＡモードとＩＮＴＥＲモードのどちらで符号化を行うかを判定し（ステップＳ１１３）、スイッチ１０４、１１１を制御する。
【００２９】
ＩＮＴＲＡモードの時は（ステップＳ１１４でＹＥＳ）、モード判定器１０８はスイッチ１０４をａ端子に接続すると共に、スイッチ１１１を開く。従って、フレームメモリ１０３に格納された画像が、スイッチ１０４を経て、ＤＣＴ器１０５でＤＣＴ係数へ変換され、量子化器１０６にて量子化され、可変長符号化器１０７へ入力される（ステップＳ１１５）。
【００３０】
また、量子化器１０６の出力は、逆量子化器１０９、逆ＤＣＴ器１１０へも入力され（ステップＳ１１６）、局部復号画像としてフレームメモリ１１３へ格納される（ステップＳ１２１）。
【００３１】
一方、ＩＮＴＥＲモードの時は（ステップＳ１１４でＮＯ）、モード判定器１０８はスイッチ１０４をｂ端子に接続すると共に、スイッチ１１１を閉じる。従って、フレームメモリ１０３に格納された画像は、フレームメモリ１１３に格納された局部復号画像から動き補償器１１２を経て生成された予測画像との差分がとられて、ＤＣＴ器１０５へ予測誤差信号として入力される（ステップＳ１１７）。この予測誤差信号は、ＩＮＴＲＡモード時と同様に、ＤＣＴ器１０５でＤＣＴ係数へ変換され、量子化器１０６にて量子化され、可変長符号化器１０７へ入力される（ステップＳ１１８）。
【００３２】
また、量子化器１０６の出力は、逆量子化器１０９、逆ＤＣＴ器１１０へも入力され（ステップＳ１１９）る。逆ＤＣＴ器１１０からの信号は、スイッチ１１１を介して入力される動き補償器１１２を経て生成された予測画像信号と加算されて（ステップＳ１２０）、局部復号画像としてフレームメモリ１１３へ格納される（ステップＳ１２１）。
【００３３】
可変長符号化器１０７は、入力された係数を可変長符号化し、ストリームとして出力する（ステップＳ１２２）。以上を１シーケンス分、cnt_finがfinとなるまで繰り返す。
【００３４】
以上の処理を符号化対象のフレーム全てに対して繰り返し行う。
【００３５】
次に、ステップＳ１０８における画像特徴量算出器１００で行われる目標符号量の算出処理について詳述する。
【００３６】
Ｔrは、参照フレーム、Ｔeはその他のフレームの目標符号量である。
Ｔr  ＝  Ｔ  *  (1  +  0.01  *  ＴＸ)
Ｔe  ＝  Ｔ  *  (1  -  0.01  *  ＴＸ/(fin - 1))
【００３７】
Ｔは画像特徴量を算出する前の、レート制御器１０２で予想された目標符号量である。Ｔは主として、シーケンス全体のフレーム数、及びその中のピクチャタイプ構成などで決定する。本第１の実施形態では、動画像シーケンスはフレーム数finで構成されており、その中で先頭フレームを一意に参照画像とする。
【００３８】
比較値ＸＢ及びＸＢＬはシーケンスの区切りを切り分けるための指標となる。この操作で同じ絵柄を持つフレームの連続を判定しようとする。そして、Ｈ．２６４特有の「１フレームを複数のフレームから参照できる」という機能を利用して、その１フレームに多くの符号量を集中的に割り当てる具体的方法を示している。
【００３９】
なお、本第１の実施形態では、フレーム数finで切り出されたシーケンスの先頭フレームを参照フレームとしている。
【００４０】
本第１の実施形態では、Ｔrは参照画像でＴＸ％の増加としている。
【００４１】
この目標符号量の割当概念を図３に示す。
【００４２】
上記の通り本第１の実施形態によれば、Ｈ．２６４画像符号化において、任意に離れた複数の参照画像を選ぶ際、参照画像の符号の割当量を増加させることで、符号化効率上げることができ、対象とする画像全体の復号画像の品質を簡便に向上させることができる。
【００４３】
なお、本第１の実施形態では、目標符号量を算出する際は、参照しているフレーム数の比率を考慮したものとしているが、この式にさらに乗数を加えるなど、その他の式に適用しても構わない。
【００４４】
また本第１の実施形態では、MPEGのピクチャタイプＩ，Ｐ，Ｂのどのピクチャに対して適用してもよい。
【００４５】
また、画像特徴量算出部では特徴量として分散値を算出しているが、それ以外の値であってもよい。
【００４６】
また、本第１の実施形態では、割り当てる目標符号量を参照フレームとそれ以外のフレームとで異ならせる場合について説明したが、これに限るものではなく、特徴量に応じて適宜目標符号量の割合を変更するようにすることも可能である。
【００４７】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。
【００４８】
図４は本発明の第２の実施形態における符号化装置の構成を示すブロック図である。
【００４９】
図４において、２０１は複数フレームの画像を格納可能なフレームメモリ、２０２はフレームメモリ２０１からの画像を符号化する画像符号化器である。画像符号化器２０２は、フレームメモリ２０１内の画像を２回にわたって符号化する。１回目は、仮符号化であり、符号化処理と同時に、マクロブロック毎の動きベクトル探索処理にて参照画像を選択する際、最も多く参照画像として選択したフレームの識別コードとして、予測フレーム識別コードＦを出力する。２回目は後述する再符号割当器２００からの符号割当信号によりフレーム毎の符号割当をし直し、同対象画像を再度符号化する。
【００５０】
２０３は画像符号化器２０２からのストリームを蓄積するストリームメモリ、２００は、画像符号化器２０２からの予測フレーム識別コードＦ、及びストリームメモリ２０３からの符号化したフレーム毎の発生符号量Ｓを入力し、再符号化のためのフレーム毎の目標符号量Ｔを算出し画像符号化器２０２へ出力する再符号割当器である。
【００５１】
次に、図４の構成を有する符号化装置の動作概要について、図５のフローチャートを参照して説明する。
【００５２】
なお、第２の実施形態では１シーケンスのフレーム数をfinとする。
【００５３】
まず、１シーケンス分の画像をフレームメモリ２０１へ蓄積する（ステップＳ２００）。次に蓄積された画像を順次画像符号化器２０２にて符号化し、符号化したストリームをストリームメモリ２０３へ蓄積する（ステップＳ２０１）。次に、再符号割当器２００により１シーケンス分の再符号割当量を算出し（ステップＳ２０２）、算出した再符号割当量に基づいて再符号化が必要か否かを判定する（ステップＳ２０３）、再符号化が必要な場合（ステップＳ２０３でＹＥＳ）、ステップＳ２０４に進んで１シーケンス分の画像を再符号化し、ステップＳ２０５で新たなストリームを出力する。一方、再符号化が必要でない場合（ステップＳ２０３でＮＯ）、ステップＳ２０５に進んで、ステップＳ２０１で得たストリームを出力する。
【００５４】
以上を符号化対象のフレーム全てにおいて（ステップＳ２０７でＹＥＳとなるまで）繰り返す。
【００５５】
次に、ステップＳ２０１で行われる画像符号化器２０２の処理について、図６のフローチャートを参照して詳述する。
【００５６】
まず、フレームカウンタcnt_finをリセットし（ステップＳ３００）、フレームメモリ２０１から蓄積された画像を１フレーム分入力する（ステップＳ３０１）。次に入力した画像を符号化し（ステップＳ３０２）、ストリームメモリ２０３へ出力し蓄積する（ステップＳ３０３）。
【００５７】
このとき、１フレームの符号化毎に、予測フレーム識別コードＦを再符号割当器２０３へ出力する（ステップＳ３０４）。予測フレーム識別コードＦとは、上述したように、当該フレームにて、マクロブロック毎の動きベクトル探索処理にて参照画像を選択する際、最も多く参照画像として選択したフレームの番号である。なお、この時、ストリームメモリ２０３からは１フレーム毎の発生符号量Ｓが再符号割当器２０３へ出力されている。
【００５８】
以上の処理が済むとステップＳ３０５でフレームカウンタcnt_finをインクリメントする。以上の処理をシーケンス内フレーム数finまで（ステップＳ３０６でＮＯとなるまで）繰り返す。
【００５９】
次に、ステップＳ２０２で行われる再符号割当器２００の処理について、図７のフローチャートを参照して詳述する。
【００６０】
まず、フレームカウンタcnt_finをリセットし（ステップＳ４００）、ストリームメモリ２０３から発生符号量Ｓを（ステップＳ４０１）、画像符号化器２０２から予測フレーム識別コードＦを入力する（ステップＳ４０２）。そしてステップＳ４０３でフレームカウンタcnt_finをインクリメントし、シーケンス内フレーム数finまで（ステップＳ４０４でＮＯとなるまで）繰り返す。
【００６１】
なお、発生符号量及び予測フレーム識別コードＦは、それぞれ蓄積し、多い番号の順序にソートする。
【００６２】
ステップＳ４０５において、発生符号量Ｓの最大値を持つフレームと最も多い予測フレーム識別コードＦの番号が等しいか否かを判断する。等しくない場合（ステップＳ４０５でＮＯ、シーケンス内の各フレームの目標符号量Ｔを再度計算し（ステップＳ４０６）、画像符号化器２０２へ出力する（ステップＳ４０７）。
【００６３】
一方、等しい場合は目標符号量Ｔ＝０として出力する（ステップＳ４０９）。
【００６４】
なお、第２の実施形態では、予測フレーム識別コードＦのソート結果を次のものとする。
3(x), 1(y), 2(z),…
【００６５】
（）内は参照しているフレーム数を、（）の前の数字はフレーム番号を示すものとする。この場合、最も多く参照されるフレーム番号は３で、フレーム数xの画像から参照されている。
ステップＳ４０６における目標符号量Ｔの再割当の具体的方法について記述する。
【００６６】
ここでは予測フレーム識別コードＦのソート結果より、最も多く参照されているフレームに対する増加させるべき符号量を算出する。シーケンス内の総フレーム数がfinなので、目標符号量Ｔは次の式で算出する。
Ｔ  ＝  Ｓ  ×  (1 + x / fin)
【００６７】
このように、最も多く参照されているフレームにより多い符号量を割り当てることになる。それ以外の残フレームに対しては、上記式を反映して目標符号量を削減することになる。本第２の実施形態では以下の式により均一に削減することとする。
Ｔ＝Ｓ×（１−（ｘ/fin）/（fin-1））
上記の通り本第２の実施形態によれば、Ｈ．２６４画像符号化において、任意に離れた複数の参照画像を選ぶ際、多く参照される画像の符号の割当量を増加させ、再度符号化することで、対象とする画像全体の復号画像の品質を簡便に向上させることができる。
【００６８】
なお、本第２の実施形態では、目標符号量を算出する際は、参照しているフレーム数の比率を考慮したものとしているが、この式にさらに乗数を加えるなど、その他の式に適用しても構わない。
【００６９】
また本第２の実施形態では、MPEGのピクチャタイプＩ，Ｐ，Ｂのどのピクチャに対しても適用してもよい。
【００７０】
また、本第２の実施形態では、割り当てる目標符号量を、最も多く参照されたフレームとそれ以外のフレームとで異ならせる場合について説明したが、これに限るものではなく、参照回数に応じて適宜目標符号量の割合を変更するようにすることも可能である。
【００７１】
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。
【００７２】
図８は、第３の実施形態におけるコンピュータの構成を示すブロック図である。
【００７３】
１０００はコンピュータ全体の制御、及び種々の処理を行う中央演算装置（ＣＰＵ）、１００１は本コンピュータの制御に必要なオペレーティングシステム（ＯＳ）、ソフトウエア、データ、演算に必要な記憶領域を提供するメモリである。また、ＣＰＵ１０００が各種の処理を行う際のワークエリアとしても用いられる。
【００７４】
１００２は種々の装置をつなぎ、データ、制御信号をやりとりするバス、１００３は各種の祖ソフトウエアを蓄積する記憶装置、１００４は動画像データを蓄積する記憶装置、１００５は画像やコンピュータからのシステムメッセージなどを表示するモニタである。
【００７５】
１００７は通信回路１００８に符号化データを送信する通信インターフェースであり、装置外部のLAN、公衆回線、無線回線、放送電波等と接続されている。１００６はコンピュータを起動したり、ビットレート等の各種条件を設定したりするための端末である。
【００７６】
メモリ１００１にはコンピュータ全体を制御し、各種ソフトウエアを動作させるためのOSや動作させるソフトウエアを格納し、画像データを符号化のために読み込むエリア、一時的に符号データを格納する符号エリア、各種演算のパラメータ等を格納しておくワーキングエリアが存在する。
【００７７】
このような構成において、処理に先立ち、端末１００６から記憶装置１００４に蓄積されている動画像データから符号化する動画像データを選択し、コンピュータの起動が指示される。すると、記憶装置１００３に格納されているソフトウエアがバス１００２を介してメモリ１００１に展開され、ソフトウエアが起動される。
【００７８】
そして、ＣＰＵ１０００による記憶装置１００４に格納されている動画像データの符号化動作は図２、または図５〜図７に示したフローチャートに従ったプログラムコード（前述のソフトウエア）が実行されることになる。
【００７９】
このように、本第３の実施形態におけるコンピュータは、第１及び第２の実施形態における画像符号化を実現する装置として機能する。
【図面の簡単な説明】
【００８０】
【図１】本発明の第１の実施形態にかかる画像符号化装置の構成を示すブロック図である。
【図２】本発明の第１の実施形態における画像符号化装置の動作を示すフローチャートである。
【図３】本発明の第１の実施形態における１つの参照画像へ集中して符号量を割り当てる概念を示す図である。
【図４】本発明の第２の実施形態にかかる画像符号化装置の構成を示すブロック図である。
【図５】本発明の第２の実施形態における画像符号化装置の動作概念を示すフローチャーである。
【図６】本発明の第２の実施形態における符号化動作の詳細を示すフローチャートである。
【図７】本発明の第２の実施形態における再符号割当動作の詳細を示すフローチャートである。
【図８】本発明の第３の実施形態にかかるコンピュータの構成を示すブロック図である。
【図９】ＭＰＥＧ−１，２，４とＨ．２６４におけるフレーム間符号化の参照フレームと被参照フレームとの関係図である。
【符号の説明】
【００８１】
１００  画像特徴量算出器
１０１  制御メモリ
１０２  レート制御器
１０３、１１３  フレームメモリ
１０４、１１１  スイッチ
１０５  ＤＣＴ器
１０６  量子化器
１０７  可変長符号化器
１０８  モード判定器
１０９  逆量子化器
１１０  逆ＤＣＴ器
１１２  動き補償器
２００  再符号割当器
２０１  フレームメモリ
２０２  画像符号化器
２０３  ストリームメモリ
１０００  ＣＰＵ
１００１  メモリ
１００２  バス
１００３、１００４  記憶メディア
１００５  モニタ
１００６  端末
１００７  通信Ｉ／Ｆ
【図１】
2005176095.tif 000003
【図２】
2005176095.tif 000004
【図３】
2005176095.tif 000005
【図４】
2005176095.tif 000006
【図５】
2005176095.tif 000007
【図６】
2005176095.tif 000008
【図７】
2005176095.tif 000009
【図８】
2005176095.tif 000010
【図９】
2005176095.tif 000011