(57)【要約】【課題】  符号化効率の低下を可及的に防止しつつ、容易に且つ確実に画像を符号化することができるようにする。【解決手段】  シェイプ画像の１フレーム分の目標符号量を算出するシェイプ符号量算出器１０５と、前記シェイプ画像のフレームを補正するシェイプ画像補正器１０６と、シェイプ符号量算出器１０５により算出された１フレーム分の目標符号量に基づいて、前記シェイプ画像の符号量を制御するレート制御器１０１と、シェイプ画像補正器１０６により補正されたシェイプ画像を、レート制御器１０１により制御された符号量で符号化するシェイプ画像符号化器１０７とを有し、シェイプ画像補正器１０６は、符号化対象のシェイプ画像のフレームの画素値と、そのフレームよりも前に得られたシェイプ画像のフレームの画素値とを用いて、前記符号化対象のシェイプ画像のフレームを補正する画像符号化装置を提供する。【選択図】  図１
2005175821.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクトの形状画像のフレームを補正する形状画像補正手段と、
前記形状画像補正手段により補正された形状画像のフレームを符号化する形状画像符号化手段とを有し、
前記形状画像補正手段は、符号化対象となっている形状画像のフレームの画素値と、そのフレームよりも前に得られた形状画像のフレームの画素値とを用いて、前記符号化対象となっている形状画像のフレームを補正することを特徴とする画像符号化装置。
【請求項２】
自然画像の１フレーム分の目標符号量を算出する自然画像目標符号量算出手段と、
前記自然画像に対応する形状画像の１フレーム分の目標符号量を算出する形状画像目標符号量算出手段と、
前記形状画像のフレームを補正する形状画像補正手段と、
前記自然画像目標符号量算出手段により算出された目標符号量と、前記形状画像目標符号量算出手段により算出された目標符号量とに基づいて、前記自然画像及び前記形状画像のそれぞれに対する符号量を制御するレート制御手段と、
前記自然画像のフレームを、前記レート制御手段により制御された符号量で符号化する自然画像フレーム符号化手段と、
前記形状画像補正手段により補正された形状画像のフレームを、前記レート制御手段により制御された符号量で符号化する形状画像フレーム符号化手段と、
前記自然画像フレーム符号化手段により符号化された自然画像のフレームと、前記形状画像フレーム符号化手段により符号化された形状画像のフレームとを多重化する多重化手段とを有することを特徴とする画像符号化装置。
【請求項３】
前記形状画像目標符号量算出手段は、前記自然画像に対応する形状画像のフレームから、符号化の処理単位であるブロックを取得する形状画像ブロック取得手段と、
前記形状画像ブロック取得手段により取得されたブロックが、オブジェクトの境界にあるか否かを判定する形状モード判定手段とを有し、
前記形状モード判定手段によりオブジェクトの境界にあると判定されたブロックに対し、１フレーム分の目標符号量を算出することを特徴とする請求項２に記載の画像符号化装置。
【請求項４】
前記自然画像目標符号量算出手段は、所望の１フレーム当たりの目標符号量を用いて、前記自然画像の１フレーム分の目標符号量を算出する目標符号量算出手段を有し、
前記形状画像目標符号量算出手段は、前記所望の１フレーム当たりの目標符号量を用いて、前記形状画像の１フレーム分の目標符号量を算出する目標符号量算出手段を有することを特徴とする請求項２又は３に記載の画像符号化装置。
【請求項５】
前記自然画像フレーム符号化手段で符号化することにより得られるストリームを蓄積する自然画像フレーム蓄積手段と、
前記形状画像フレーム符号化手段で符号化することにより得られるストリームを蓄積する形状画像フレーム蓄積手段とを有し、
前記多重化手段は、前記自然画像フレーム蓄積手段により蓄積されたストリームと、前記形状画像フレーム蓄積手段に蓄積されたストリームとを多重化することを特徴とする請求項２〜４の何れか１項に記載の画像符号化装置。
【請求項６】
前記自然画像目標符号量算出手段は、自然画像のフレームから、符号化の処理単位であるブロックを取得する自然画像ブロック取得手段と、
前記自然画像ブロック取得手段により取得されたブロック内の発生符号量を予測する自然画像ブロック発生符号量予測手段と、
前記自然画像ブロック発生符号量予測手段により予測された発生符号量を、１フレーム分だけ蓄積する自然画像発生符号量蓄積手段と、
前記自然画像発生符号量蓄積手段により蓄積された１フレーム分の発生符号量と、予め定められた定数とを用いて、前記自然画像の１フレーム分の目標符号量を算出する目標符号量算出手段とを有することを特徴とする請求項２〜５の何れか１項に記載の画像符号化装置。
【請求項７】
前記形状画像目標符号量算出手段は、前記自然画像に対応する形状画像のフレームから、符号化の処理単位であるブロックを取得する形状画像ブロック取得手段と、
前記形状画像ブロック取得手段により取得されたブロックが、オブジェクトの境界にあるか否かを判定する形状モード判定手段と、
前記形状画像ブロック取得手段により取得されたブロック内の発生符号量を予測する形状画像ブロック発生符号量予測手段と、
前記形状モード判定手段によりオブジェクトの境界にあると判定されたブロック内の発生符号量が、前記形状画像ブロック発生符号量予測手段により予測された場合に、その予測された発生符号量を、１フレーム分だけ蓄積する形状画像発生符号量蓄積手段と、
前記形状画像発生符号量蓄積手段により蓄積された１フレーム分の発生符号量と、予め定められた定数とを用いて、前記形状画像の１フレーム分の目標符号量を算出する目標符号量算出手段とを有することを特徴とする請求項２〜６の何れか１項に記載の画像符号化装置。
【請求項８】
前記ブロック発生符号量予測手段は、前記形状モード判定手段により、オブジェクトの境界にあると判定されたブロック内の分散値を計算する手段を有することを特徴とする請求項７に記載の画像符号化装置。
【請求項９】
前記形状画像補正手段は、前記形状画像の複数のフレームを格納するフレーム格納手段と、
前記フレーム格納手段に格納された形状画像の複数のフレームに対し、オブジェクトの境界における画素毎の微細な変動を抑制する形状画像境界変動抑制手段とを有することを特徴とする請求項２〜８の何れか１項に記載の画像符号化装置。
【請求項１０】
前記形状画像境界変動抑制手段は、前記フレーム格納手段に格納された形状画像の複数のフレームに対し、オブジェクトの境界にあるブロックの画素値を平均化する画素値平均化手段を有することを特徴とする請求項９に記載の画像符号化装置。
【請求項１１】
オブジェクトの形状画像のフレームを補正する形状画像補正ステップと、
前記形状画像補正ステップにより補正された形状画像のフレームを符号化する形状画像符号化ステップとを有し、
前記形状画像補正ステップは、符号化対象となっている形状画像のフレームの画素値と、そのフレームよりも前に得られた形状画像のフレームの画素値とを用いて、前記符号化対象となっている形状画像のフレームを補正することを特徴とする画像符号化方法。
【請求項１２】
自然画像の１フレーム分の目標符号量を算出する自然画像目標符号量算出ステップと、
前記自然画像に対応する形状画像の１フレーム分の目標符号量を算出する形状画像目標符号量算出ステップと、
前記形状画像のフレームを補正する形状画像補正ステップと、
前記自然画像目標符号量算出ステップにより算出された目標符号量と、前記形状画像目標符号量算出ステップにより算出された目標符号量とに基づいて、前記自然画像及び前記形状画像のそれぞれに対する符号量を制御するレート制御ステップと、
前記自然画像のフレームを、前記レート制御ステップにより制御された符号量で符号化する自然画像フレーム符号化ステップと、
前記形状画像補正ステップにより補正された形状画像のフレームを、前記レート制御ステップにより制御された符号量で符号化する形状画像フレーム符号化ステップと、
前記自然画像フレーム符号化ステップにより符号化された自然画像のフレームと、前記形状画像フレーム符号化ステップにより符号化された形状画像のフレームとを多重化する多重化ステップとを有することを特徴とする画像符号化方法。
【請求項１３】
オブジェクトの形状画像のフレームを補正する形状画像補正ステップと、
前記形状画像補正ステップにより補正された形状画像のフレームを符号化する形状画像符号化ステップとを含むステップをコンピュータに実行させ、
前記形状画像補正ステップは、符号化対象となっている形状画像のフレームの画素値と、そのフレームよりも前に得られた形状画像のフレームの画素値とを用いて、前記符号化対象となっている形状画像のフレームを補正することを特徴とするコンピュータプログラム。
【請求項１４】
自然画像の１フレーム分の目標符号量を算出する自然画像目標符号量算出ステップと、
前記自然画像に対応する形状画像の１フレーム分の目標符号量を算出する形状画像目標符号量算出ステップと、
前記形状画像のフレームを補正する形状画像補正ステップと、
前記自然画像目標符号量算出ステップにより算出された目標符号量と、前記形状画像目標符号量算出ステップにより算出された目標符号量とに基づいて、前記自然画像及び前記形状画像のそれぞれに対する符号量を制御するレート制御ステップと、
前記自然画像のフレームを、前記レート制御ステップにより制御された符号量で符号化する自然画像フレーム符号化ステップと、
前記形状画像補正ステップにより補正された形状画像のフレームを、前記レート制御ステップにより制御された符号量で符号化する形状画像フレーム符号化ステップと、
前記自然画像フレーム符号化ステップにより符号化された自然画像のフレームと、前記形状画像フレーム符号化ステップにより符号化された形状画像のフレームとを多重化する多重化ステップとを含むステップをコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項１５】
前記請求項１３又は１４に記載のコンピュータプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置、画像符号化方法、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体に関し、特に、画像を符号化するために用いて好適なものである。
【背景技術】
【０００２】
従来、画像の符号化方式として、フレーム内符号化方式であるMotion JPEG及びDigital Video等の符号化方式や、フレーム間予測符号化を用いたH.261、H.263、MPEG（Moving Picture Expert Group）-1、及びMPEG-2等の符号化方式が知られている。
これらの符号化方式は、ＩＳＯ（International Organization for Standardization：国際標準化機構）やＩＴＵ（International Telecommunication Union：国際電気通信連合）によって国際標準化されている。
【０００３】
フレーム内符号化方式は、フレーム単位で独立に画像の符号化を行うもので、フレームの管理がしやすいため、動画像の編集や特殊再生が必要な装置に最適である。また、フレーム間予測符号化方式は、フレーム間における画像データの差分に基づくフレーム間予測を用いるため、符号化効率が高いという特徴を持っている。
さらに、コンピュータ、放送、及び通信などの多くの領域で利用できる、汎用的な次世代マルチメディア符号化規格として、MPEG-４の国際標準化作業が進められている。MPEG-4の大きな特徴として、オブジェクト・ベース符号化を行う機能がある。
【０００４】
オブジェクト・ベース符号化とは、MPEG-1やMPEG-2で採用されているような長方形の画像全体を符号化する方法ではなく、予め何等かの方法で生成された形状情報の画像によって、画像の中の切り出された人物やその他の物体、つまり画像のオブジェクト毎に符号化を行う方法である。以降では、この形状画像と区別するため、一般的に処理対象とする画像を自然画像と称す。
形状画像とは、符号化の対象となっている自然画像と全く同じ縦横の画素数を持ち、オブジェクトの形状を表す一種の画像である。形状画像には、各画素が１bitで表されるバイナリ・アルファ・プレーンと、各画素が２bit以上で表されるグレイスケール・アルファ・プレーンとがある。バイナリ・アルファ・プレーンは、通常、画素の値が"１"の領域はオブジェクト領域、"０"の領域はオブジェクト外の領域を表す。
尚、その他のMPEG-4の詳細な内容については、ISO/IECによる国際標準の文書に委ねることとし、説明を省略する（例えば、非特許文献１参照）。
【０００５】
【非特許文献１】ＩＳＯ  １４４９６−２
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ここで、図１０を用いて、オブジェクト・ベース符号化の一般的な方法を説明する。図１０（ａ）は自然画像であり、図１０（ｂ）は、図１０（ａ）に示す自然画像に対応する形状画像である。
形状画像は、自然画像と同様の単位でブロック化される。各ブロックには、オブジェクトの内部を示す有効画素を配置する。形状情報における有効画素の値は１以上であり、０を無効画素とする。以下の説明では、説明の都合上、有効画素の値を１とし、無効画素の値を０とする。オブジェクトの内部の場合、その有効画素はブロック全域に存在することになる。一方、オブジェクトの外部の場合、その画素の値は０となる。オブジェクト・ベース符号化における形状情報の符号化で注目すべき点は、このオブジェクトの境界部であり、境界部の有効画素の配置は、形状情報の符号化効率に大きく影響する。
【０００７】
符号量の制御では、伝送路の条件等による単位時間当たりの符号量から、１フレーム当たりの目標符号量を算出し、算出した目標符号量を自然画像と形状画像とに割り当てることになる。しかしながら、通常の形状画像においては、その発生符号量が予測しにくい。そのため、従来は、形状符号化自体、つまり、Context-based Arithmetic Encoding（以降CAEと称す）と呼ばれる算術符号化を実際に行い、その結果、発生符号量が多いと判断される場合、対象とする形状画像をサブサンプルした画像を生成し、それを再び入力してCAEを行うという処理を繰り返す。MPEG-4では、このサブサンプルの方法を規定し、その範疇にて制御を行う。
【０００８】
このように、従来の形状符号化では、その処理のパス（CAE）を数回繰り返すことで符号量を制御する。このため、符号化を行うための処理に対する負荷が大きくなるばかりか、符号量が予測しずらいものになるという問題点があった。
また、通常の形状画像は、符号化の対象となるオブジェクトの形状の変化に対応し、時間的に微細に変化する。このため、所望の符号量に対してフレーム間の符号量が増大し、符号化効率の低下を招くことになる。
【０００９】
本発明は、前述の問題点に鑑みてなされたものであり、符号化効率の低下を可及的に防止しつつ、容易に且つ確実に画像を符号化することができるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明の画像符号化装置は、オブジェクトの形状画像のフレームを補正する形状画像補正手段と、前記形状画像補正手段により補正された形状画像のフレームを符号化する形状画像符号化手段とを有し、前記形状画像補正手段は、符号化対象となっている形状画像のフレームの画素値と、そのフレームよりも前に得られた形状画像のフレームの画素値とを用いて、前記符号化対象となっている形状画像のフレームを補正することを特徴とする。
また、本発明の他の特徴とするところは、自然画像の１フレーム分の目標符号量を算出する自然画像目標符号量算出手段と、前記自然画像に対応する形状画像の１フレーム分の目標符号量を算出する形状画像目標符号量算出手段と、前記形状画像のフレームを補正する形状画像補正手段と、前記自然画像目標符号量算出手段により算出された目標符号量と、前記形状画像目標符号量算出手段により算出された目標符号量とに基づいて、前記自然画像及び前記形状画像のそれぞれに対する符号量を制御するレート制御手段と、前記自然画像のフレームを、前記レート制御手段により制御された符号量で符号化する自然画像フレーム符号化手段と、前記形状画像補正手段により補正された形状画像のフレームを、前記レート制御手段により制御された符号量で符号化する形状画像フレーム符号化手段と、前記自然画像フレーム符号化手段により符号化された自然画像のフレームと、前記形状画像フレーム符号化手段により符号化された形状画像のフレームとを多重化する多重化手段とを有することを特徴とする。
【００１１】
本発明の画像符号化方法は、オブジェクトの形状画像のフレームを補正する形状画像補正ステップと、前記形状画像補正ステップにより補正された形状画像のフレームを符号化する形状画像符号化ステップとを有し、前記形状画像補正ステップは、符号化対象となっている形状画像のフレームの画素値と、そのフレームよりも前に得られた形状画像のフレームの画素値とを用いて、前記符号化対象となっている形状画像のフレームを補正することを特徴とする。
また、本発明の他の特徴とするところは、自然画像の１フレーム分の目標符号量を算出する自然画像目標符号量算出ステップと、前記自然画像に対応する形状画像の１フレーム分の目標符号量を算出する形状画像目標符号量算出ステップと、前記形状画像のフレームを補正する形状画像補正ステップと、前記自然画像目標符号量算出ステップにより算出された目標符号量と、前記形状画像目標符号量算出ステップにより算出された目標符号量とに基づいて、前記自然画像及び前記形状画像のそれぞれに対する符号量を制御するレート制御ステップと、前記自然画像のフレームを、前記レート制御ステップにより制御された符号量で符号化する自然画像フレーム符号化ステップと、前記形状画像補正ステップにより補正された形状画像のフレームを、前記レート制御ステップにより制御された符号量で符号化する形状画像フレーム符号化ステップと、前記自然画像フレーム符号化ステップにより符号化された自然画像のフレームと、前記形状画像フレーム符号化ステップにより符号化された形状画像のフレームとを多重化する多重化ステップとを有することを特徴とする。
【００１２】
本発明のコンピュータプログラムは、オブジェクトの形状画像のフレームを補正する形状画像補正ステップと、前記形状画像補正ステップにより補正された形状画像のフレームを符号化する形状画像符号化ステップとを含むステップをコンピュータに実行させ、前記形状画像補正ステップは、符号化対象となっている形状画像のフレームの画素値と、そのフレームよりも前に得られた形状画像のフレームの画素値とを用いて、前記符号化対象となっている形状画像のフレームを補正することを特徴とする。
また、本発明の他の特徴とするところは、自然画像の１フレーム分の目標符号量を算出する自然画像目標符号量算出ステップと、前記自然画像に対応する形状画像の１フレーム分の目標符号量を算出する形状画像目標符号量算出ステップと、前記形状画像のフレームを補正する形状画像補正ステップと、前記自然画像目標符号量算出ステップにより算出された目標符号量と、前記形状画像目標符号量算出ステップにより算出された目標符号量とに基づいて、前記自然画像及び前記形状画像のそれぞれに対する符号量を制御するレート制御ステップと、前記自然画像のフレームを、前記レート制御ステップにより制御された符号量で符号化する自然画像フレーム符号化ステップと、前記形状画像補正ステップにより補正された形状画像のフレームを、前記レート制御ステップにより制御された符号量で符号化する形状画像フレーム符号化ステップと、前記自然画像フレーム符号化ステップにより符号化された自然画像のフレームと、前記形状画像フレーム符号化ステップにより符号化された形状画像のフレームとを多重化する多重化ステップとを含むステップをコンピュータに実行させることを特徴とする。
本発明のコンピュータ読み取り可能な記録媒体は、前記記載のコンピュータプログラムを記録したことを特徴とする。
【００１３】
本発明はこのように構成したので、オブジェクトの形状画像の発生符号量を予測して、自然画像を含めた動画像全体の符号量の制御を行う、簡便な手段を提供する。また、複数のフレームの画素値を利用して、形状画像を補正する手段を提供する。
【発明の効果】
【００１４】
本発明によれば、複数のフレームの画素値を利用して、符号化対象となっている形状画像のフレームを補正し、補正した形状画像のフレームを符号化するようにしたので、フレーム間の相関が高まるように、形状画像の各フレームを補正することができる。これにより、形状画像が安定し、オブジェクトの画質を損なうことなく、符号化効率を向上させることができる。
また、本発明の他の特徴によれば、自然画像及び形状画像の発生符号量を、符号化前に予測して、自然画像及び形状画像に対する符号量を制御するようにしたので、自然画像及び形状画像に対して、符号量を適切に配分することができる。これにより、オブジェクトの画質を損なうことなく、符号化効率を向上させることができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施形態を、図面を用いて詳細に説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態を示し、画像符号化装置の構成の一例を示すブロック図である。
尚、本実施形態では、MPEG-4における実現方法を一例として述べる。
また、符号化の対象となる自然画像のマクロブロックのサイズは、符号化の単位である輝度信号では１６画素×１６ライン、色差信号では８画素×８ラインであるとする。また、符号化の対象となる形状画像のマクロブロックのサイズは、１６画素×１６ラインであるとする。
また、MPEG-4に従い、自然画像による動画像をテクスチャ画像（texture image）と称し、このテクスチャ画像に対応する符号化すべきオブジェクトの形状画像をシェイプ画像（shape image）と称する。
【００１６】
本実施形態の画像符号化装置では、前記テクスチャ画像と、前記シェイプ画像とで構成される２種類の動画像を入力する。
本実施形態において、形状情報は、画素の値が０と１とで示されるバイナリ・アルファ・プレーンであり、オブジェクト内部の画素の値を１、オブジェクト外部の画素の値を０とする。
【００１７】
［画像符号化装置（図１）の構成］
１００は、テクスチャ画像を入力し、既に求められている１フレーム当たりの目標符号量から、テクスチャ画像の目標符号量の比率を算出するテクスチャ符号量算出器である。
１０１は、テクスチャ画像及びシェイプ画像の符号量を制御するレート制御器である。
１０２は、テクスチャ画像を符号化するテクスチャ画像符号化器である。
１０３は、テクスチャ画像符号化器１０２からのストリームを蓄積するバッファである。
【００１８】
１０５は、シェイプ画像を入力し、オブジェクトの内部、外部、及び境界の３種類のシェイプモードをマクロブロック毎に判定し、また、既に求められている１フレーム当たりの目標符号量から、シェイプ画像の目標符号量の比率を算出するシェイプ符号量算出器である。
【００１９】
１０６は、シェイプ画像を補正するシェイプ画像補正器である。
１０７は、シェイプ画像を符号化するシェイプ画像符号化器である。
１０８は、シェイプ画像符号化器１０７からのストリームを蓄積するバッファである。
１０４は、バッファ１０３、１０８からのストリームを多重化する多重化器である。
【００２０】
［画像符号化装置（図１）の動作］
次に、図１に示した画像符号化装置の動作について説明する。
図２に、本実施形態の画像符号化装置の動作の一例を説明するフローチャートを示す。
まず、予め設定された符号化対象の１フレーム分の目標符号量が、テクスチャ符号量算出器１００、及びシェイプ符号量算出器１０５に入力される（ステップＳ２０１）。
シェイプ画像は、シェイプ符号量算出器１０５に入力され（ステップＳ２０２）、マクロブロック毎にシェイプモードが判定される。また、シェイプ画像の１フレーム分の目標符号量が算出される（ステップＳ２０３）。なお、前記ステップＳ２０２において、シェイプ画像は、シェイプ画像補正器１０６にも入力される。
【００２１】
一方、テクスチャ画像は、テクスチャ符号量算出器１００に入力され（ステップＳ２０４）、テクスチャ画像の１フレーム分の目標符号量が算出される（ステップＳ２０５）。なお、前記ステップＳ２０４において、テクスチャ画像は、テクスチャ画像符号化器１０２にも入力される。
ステップＳ２０２で入力されたシェイプ画像は、シェイプ画像補正器１０６により、その時間的形状が補正され（ステップＳ２０６）、シェイプ画像符号化器１０７へ入力される。
レート制御器１０１は、テクスチャ符号量算出器１００と、シェイプ符号量算出器１０５とからの各目標符号量に応じて、テクスチャ画像符号化器１０２とシェイプ画像符号化器１０７とに対し、目標の符号量を発生するように制御する。
シェイプ画像符号化器１０７で符号化されたシェイプストリームは、バッファ１０８に蓄積され、その蓄積量はレート制御器１０１へ出力される（ステップＳ２０７）。
【００２２】
一方、テクスチャ画像符号化器１０２で符号化されたテクスチャストリームは、バッファ１０３に蓄積され、その蓄積量はレート制御器１０１へ出力される（ステップＳ２０８）。
バッファ１０３に蓄積されたテクスチャストリームと、バッファ１０８に蓄積されたシェイプストリームは、多重化器１０４にて１つのストリームに多重化され（ステップＳ２０９）、出力される（ステップＳ２１０）。
【００２３】
［テクスチャ符号量算出器１００の詳細動作］
図３に、テクスチャ符号量算出器１００の詳細な動作の一例を説明するフローチャートを示す。
まず、テクスチャマクロブロック（テクスチャ画像のマクロブロック）を入力し（ステップＳ３０１）、その分散値を算出した後、分散値をフレーム内で累積する（ステップＳ３０２）。以上の処理をフレーム内の全てのマクロブロックに対して繰り返す（ステップＳ３０３）。
【００２４】
全てのマクロブロックに対して処理が終了した後、１フレーム分の目標符号量を入力し（ステップＳ３０４）、予め定められたテクスチャ符号量の割合から、テクスチャ画像の１フレーム分の目標符号量を算出し（ステップＳ３０５）、レート制御器１０１へ出力する（ステップＳ３０６）。本実施形態におけるテクスチャ画像の１フレーム分の目標符号量の算出方法を次の（１式）に示す。
【００２５】
テクスチャ画像の１フレーム分の目標符号量Ｔｔ＝Ｔ＊Ｅｔ＊Ａ・・・（１式）
Ｅｔ  ：  測定したテクスチャフレームの累積分散値
Ｔ  ：  １フレーム分の目標符号量
Ａ  ：  １フレーム内の目標符号量におけるテクスチャ画像の符号量の割合
【００２６】
［シェイプ符号量算出器１０５の詳細動作］
図４に、シェイプ符号量算出器１０５の詳細な動作の一例を説明するフローチャートを示す。
まず、シェイプマクロブロック（シェイプ画像のマクロブロック）を入力する（ステップＳ４０１）。次に、マクロブロックがオブジェクト内部か、外部か、もしくは境界かを判定し（ステップＳ４０２）、境界であるならば、その分散値を算出した後、分散値をフレーム内で累積する（ステップＳ４０３）。以上の処理をフレーム内の全てのマクロブロックに対して繰り返す（ステップＳ４０４）。
【００２７】
全てのマクロブロックに対して処理が終了した後、１フレーム分の目標符号量を入力し（ステップＳ４０５）、予め定められたシェイプ符号量の割合から、シェイプフレームの目標符号量を算出し（ステップＳ４０６）。レート制御器１０１へ出力する（ステップＳ４０７）。本実施形態におけるシェイプ画像の１フレーム分の目標符号量の算出方法を次の（２式）に示す。
【００２８】
シェイプ画像の１フレーム分の目標符号量Ｔｓ＝Ｔ＊Ｅｓ＊（１−Ａ）・・・（２式）
Ｅｓ  ：  測定したシェイプフレームの累積分散値
Ｔ  ：  １フレーム分の目標符号量
Ａ  ：  １フレーム内の目標符号量におけるテクスチャ画像の符号量の割合
【００２９】
［シェイプ画像補正器１０６の詳細動作］
図５に、シェイプ画像補正器１０６の構成の一例を示す。
本実施形態では、３フレーム分のメモリを使用した３フレーム間での補正処理を例に挙げて説明する。
図５において、６００は、マクロブロック単位でシェイプ画像を補正するシェイプマクロブロック補正器である。
６０１〜６０３は、各々１フレーム分のメモリであり、フレームメモリ（nFM）６０１は、現在処理中のフレームを格納し、フレームメモリ（n-1FM）６０２は、直前のフレームを格納し、フレームメモリ（n-2FM）６０３は、２フレーム前のフレームを格納する。
【００３０】
図６に、シェイプ画像補正器１０６の詳細な動作の一例を説明するフローチャートを示す。
まず、シェイプ画像マクロブロックを入力し（ステップＳ５０１）、入力したらフレームメモリ（nFM）６０１へ格納する（ステップＳ５０２）。次に、対象となるマクロブロックがオブジェクトの境界であるか否かを判定し（ステップＳ５０３）、境界であるならば、フレームメモリ（n-1FM）６０２及びフレームメモリ（n-2FM）６０３から、ステップＳ５０１で入力したマクロブロックと同一位置のマクロブロックを獲得し（ステップＳ５０４、Ｓ５０５）、後述する手続きにより、シェイプ画像を補正する（ステップＳ５０６）。以上のステップＳ５０１〜Ｓ５０６の処理を、フレーム内の全てのマクロブロックに対して繰り返し行う（ステップＳ５０７）。
【００３１】
フレーム内の全てのマクロブロックに対して処理が終了した後、フレームメモリ（n-1FM）６０２内のデータを、フレームメモリ（n-2FM）６０３へ転送し（ステップＳ５０８）、フレームメモリ（nFM）６０１内のデータをフレームメモリ（n-1FM）６０２へ転送する（ステップＳ５０９）。
【００３２】
図７に、図６に示したステップＳ５０６における処理（シェイプ画像の補正を行う処理）のより詳細な動作の一例を説明するフローチャートを示す。図８に、図７に示すフローチャートで行われる処理の概念の一例を示す。
尚、図７及び図８では、各画素が０と１との何れかの値をとるシェイプマクロブロックに対する処理を例に挙げて示す。
補正前の３フレーム（現在処理中のフレーム、直前のフレーム、及び２フレーム前のフレーム）内にある（同一位置の）シェイプマクロブロック８０１〜８０３を入力し（ステップＳ７０１）、これらのマクロブロックのＡＮＤ（論理積）をとったシェイプマクロブロック（以下、ＡＮＤマクロブロックと称す）８０４を生成する（ステップＳ７０２）。次に、補正前のシェイプマクロブロック８０１〜８０３から、ＡＮＤマクロブロック８０４を差し引いたフレーム間差分シェイプマクロブロック８０５〜８０７を各々生成する（ステップＳ７０３）。このとき、シェイプマクロブロック８０１〜８０３と、ＡＮＤマクロブロック８０４との画素差分値は０以上とする。
【００３３】
次に、３つのフレーム間差分シェイプマクロブロック８０５〜８０７を加算し、加算値が２以上となった画素を１とするシェイプマクロブロック（以下、加算マクロブロックと称す）８０８を生成する（ステップＳ７０４）。
次に、ＡＮＤマクロブロック８０４と、加算マクロブロック８０８とのＯＲ（論理和）をとったシェイプマクロブロック（以下、補正マクロブロックと称す）８０９を生成し（ステップＳ７０５）、これを補正前の３フレームのマクロブロック８０１〜８０３と入れ替えて出力する（ステップＳ７０６）。結果として３フレーム分のマクロブロック８０１〜８０３を補正し、シェイプ画像のフレーム間誤差を少なくすることができる。
【００３４】
（第１の実施形態のその他の構成）
本実施形態では、MPEG-4を用いた場合について説明したが、その他のオブジェクト・ベース画像符号化を用いた場合にも、前述した方法と同様にして、マクロブロック８０１〜８０３を補正することができる。
また、本実施形態では、目標符号量を算出する目安として、マクロブロック内の分散値を計算する場合について説明したが、分散値以外の値や、乗数や定数を設けるその他の計算方法で算出した値を、目標符号量を算出する目安にするようにしても構わない。
また、本実施形態では、シェイプ画像をバイナリ・アルファ・プレーンとした場合について説明したが、オブジェクトの内部であることを示す値（＝１）に、グレイスケール・アルファ・プレーンにおける０以外の値を対応させ、グレイスケール・アルファ・プレーンを用いて、オブジェクト・ベース画像符号化を行っても、前述した本実施形態の方法と同様にして、画像を符号化することができる。
さらに、本実施形態では、シェイプ画像補正器１０６内に３フレーム分のフレームメモリ６０１〜６０３を設けるようにしたが、３フレーム分以外のフレームに対応するメモリ容量をシェイプ画像補正器１０６に設け、そのフレーム数で前述したマクロブロックの補正処理を行っても構わない。また、前述したマクロブロックの補正処理においては、対象とするフレーム間の同一位置の画素を対象としてデジタルフィルタを施すなどの処理を行っても構わない。
【００３５】
（第１の実施形態の効果）
以上の説明から明らかなように、本実施形態では、オブジェクト・ベース画像符号化において、１フレームにおける画像の符号化を行う前に、テクスチャ画像とシェイプ画像の発生符号量の割合を予測するようにしたので、各画像ストリームの符号量を適切に配分することができる。これにより、オブジェクトの画質を損なうことなく、符号化効率を向上させる簡便な手段を提供することができる。
また、本実施形態では、能動的にシェイプ画像を補正し、フレーム間の微細な変動を吸収し、フレーム間の誤差を少なくする（フレーム間の相関が高まるようにする）ことにより、シェイプ画像の符号化効率を向上させるようにしたので、結果としてシェイプ画像を安定させることができ、オブジェクトの境界を見やすくする簡便な手段を提供することができる。
【００３６】
（第２の実施形態）
次に、本発明の第２の実施形態を説明する。本実施形態では、図１〜図８を用いて説明した画像符号化装置を、コンピュータを用いることにより実現するようにしている。このように、前述した第１の実施形態の画像符号化装置が有する機能と、本実施形態の画像符号化装置が有する機能とは、同一であるので、以下の説明において、前述した第１の実施形態と同一の部分についての詳細な説明を省略する。
【００３７】
［画像符号化装置（図９）の構成］
図９は、本発明の第２の実施形態を示し、画像符号化装置に配設されるコンピュータの構成の一例を示すブロック図である。
１０００は、コンピュータ全体の制御、及び種々の処理を行う中央演算装置（CPU）である。１００１は、本コンピュータの制御に必要なオペレーティングシステム（OS）と、ソフトウェアと、データと、演算とに必要な記憶領域を提供するメモリである。また、中央演算装置（CPU）１０００は、各種の処理を行う際のワークエリアとしても用いられる。
【００３８】
１００２は、種々の装置を通信可能につなぎ、データ、及び制御信号をやりとりするバスである。１００３は、各種のソフトウェアを蓄積する記録装置（記録メディア）である。１００４は動画像データを蓄積する記録装置（記録メディア）である。１００５は、画像やコンピュータからのシステムメッセージなどを表示するモニタである。
【００３９】
１００７は、通信回路１００８に符号化データを送信する通信インターフェースであり、この通信インターフェース１００７を介して、画像符号化装置は、外部のLAN、公衆回線、無線回線、及び放送電波等と通信可能に接続される。１００６は、コンピュータを起動したり、ビットレート等の各種条件を設定したりするための端末である。
メモリ１００１には、コンピュータ全体を制御し、各種ソフトウェアを動作させるためのオペレーティングシステム（OS）や、オペレーティングシステム（OS）により動作されるソフトウェアを格納する。そして、画像データを符号化のために読み込むエリア、一時的に符号データを格納する符号エリア、及び各種演算のパラメータ等を格納しておくワーキングエリアが存在する。
【００４０】
［画像符号化装置（図９）の動作］
このような構成において、処理に先立ち、ユーザの端末１００６の操作に従って記録装置１００４に蓄積されている動画像データの中から符号化する動画像データを選択し、コンピュータの起動が指示される。すると、記録装置１００３に格納されているソフトウェアがバス１００２を介してメモリ１００１に展開され、ソフトウェアが起動される。
【００４１】
そして、中央演算装置（CPU）１０００は、記録装置１００４に格納されている動画像データの符号化を、図２〜図４、図６及び図７に示したフローチャートに従ったプログラムコード（前述のソフトウェア）を実行することによって実現する。
以上のように、本実施形態におけるコンピュータは、第１の実施形態におけるオブジェクト・ベース画像符号化を実現する装置として機能する。
【００４２】
（本発明の他の実施形態）
上述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、前記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【００４３】
また、この場合、前記ソフトウェアのプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えば、かかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００４４】
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００４５】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。
【図面の簡単な説明】
【００４６】
【図１】本発明の第１の実施形態を示し、画像符号化装置の構成の一例を示すブロック図である。
【図２】本発明の第１の実施形態を示し、画像符号化装置の動作の一例を説明するフローチャートである。
【図３】本発明の第１の実施形態を示し、画像符号化装置におけるテクスチャ符号量算出器の詳細な動作の一例を説明するフローチャートである。
【図４】本発明の第１の実施形態を示し、シェイプ符号量算出器の詳細な動作の一例を説明するフローチャートある。
【図５】本発明の第１の実施形態を示し、シェイプ画像補正器の構成の一例を示すブロック図である。
【図６】本発明の第１の実施形態を示し、シェイプ画像補正器の詳細な動作の一例を説明するフローチャートである。
【図７】本発明の第１の実施形態を示し、シェイプ画像の補正を行う処理のより詳細な動作の一例を説明するフローチャートである。
【図８】本発明の第１の実施形態を示し、シェイプ画像の補正を行う処理の概念の一例を示す図である。
【図９】本発明の第２の実施形態を示し、画像符号化装置に配設されるコンピュータの構成の一例を示すブロック図である。
【図１０】自然画像と、その自然画像に対応する形状画像とを示した図である。
【符号の説明】
【００４７】
１００  テクスチャ符号量算出器
１０１  レート制御器
１０２  テクスチャ画像符号化器
１０３、１０８  バッファ
１０４  多重化器
１０５  シェイプ符号量算出器
１０６  シェイプ画像補正器
１０７  シェイプ画像符号化器
６００  シェイプマクロブロック補正器
６０１、６０２、６０３  フレームメモリ
１０００  中央演算装置（CPU）
１００１  メモリ
１００２  バス
１００３、１００４  記憶装置
１００５  モニタ
１００６  端末
１００７  通信インターフェース
【図１】
2005175821.tif 000003
【図２】
2005175821.tif 000004
【図３】
2005175821.tif 000005
【図４】
2005175821.tif 000006
【図５】
2005175821.tif 000007
【図６】
2005175821.tif 000008
【図７】
2005175821.tif 000009
【図８】
2005175821.tif 000010
【図９】
2005175821.tif 000011
【図１０】
2005175821.tif 000012