(57)【要約】【課題】  予め設定された目標符号量内で効率良く自然画像と形状画像の発生符号量を定めて好適にオブジェクト符号化処理を行うことができる画像符号化装置及び画像符号化方法を提供する。【解決手段】  テクスチャ画像中に含まれる対象物とそれを除いた部分とを表すシェイプ画像を符号化した後の目標符号量を設定する符号量算出器１００に設定する。符号量算出器１００では、テクスチャ画像及びシェイプ画像の特徴量が算出され、それぞれの特徴量と目標符号量とを用いて、テクスチャ画像及びシェイプ画像のそれぞれの目標符号量が算出される。そして、それぞれの目標符号量になるようにテクスチャ画像符号化器１０２とシェイプ画像符号化器１０６で符号化が行われ、符号化されたそれぞれの符号化データは多重化器１０４で多重化される。【選択図】  図１
2005218018.tif 000002
【特許請求の範囲】
【請求項１】
原画像中に含まれる対象物と該対象物を除いた部分とを表す形状画像と、前記原画像とを符号化する画像符号化装置であって、
前記形状画像及び前記原画像を符号化した後の目標符号量を設定する設定手段と、
前記原画像及び前記形状画像のそれぞれの特徴量を算出する第１の算出手段と、
前記第１の算出手段により算出されたそれぞれの特徴量と前記目標符号量とを用いて、前記原画像及び前記形状画像のそれぞれの目標符号量を算出する第２の算出手段と、
前記原画像及び前記形状画像を前記第２の算出手段により算出されたそれぞれの目標符号量で符号化する符号化手段と、
前記符号化手段により符号化されたそれぞれの符号化データを多重化する多重化手段と
を備えることを特徴とする画像符号化装置。
【請求項２】
動画像中の任意のフレーム画像を前記原画像として取得し、該原画像から抽出された前記対象物と該対象物を除いた部分とを区別した２値画像として前記形状画像を取得する取得手段をさらに備えることを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記形状画像から、前記原画像中に含まれる対象物と該対象物を除いた部分との境界ブロックを判定する判定手段をさらに備え、
前記第１の算出手段が、前記原画像のブロックごとに算出された分散値を全ブロックについて累積した第１の累積分散値を該原画像の特徴量として算出し、前記境界ブロックに相当する前記原画像のブロックの分散値のみを累積した第２の累積分散値を前記形状画像の特徴量として算出し、
前記第２の算出手段が、前記第１の累積分散値と前記第２の累積分散値との割合に応じて前記目標符号量を分配して、前記原画像及び前記形状画像のそれぞれの目標符号量として算出する
ことを特徴とする請求項１に記載の画像符号化装置。
【請求項４】
前記第１の算出手段が、
前記原画像を所定ブロックごとに入力する手段と、
前記原画像の前記所定ブロックの特徴量を算出するとともに、該特徴量を前記原画像の全ブロックについて累積して該原画像の特徴量を算出する手段と、
前記所定ブロックに対応する前記形状画像のブロックを入力する手段と、
前記形状画像のブロックが、前記対象物と該対象物を除いた部分との境界ブロックであるか否かを判定する手段と、
前記境界ブロックであると判定されたブロックに対応する前記原画像のブロックの特徴量のみを算出するとともに、該特徴量を全ブロックについて累積して前記形状画像の特徴量を算出する手段とを備え、
前記第２の算出手段が、前記第１の算出手段により算出された前記原画像の特徴量と前記形状画像の特徴量とを加算した特徴量に占めるそれぞれの特徴量の割合に応じて前記目標符号量を分配して、前記原画像及び前記形状画像のそれぞれの目標符号量として算出する
ことを特徴とする請求項１に記載の画像符号化装置。
【請求項５】
符号化データに占める前記原画像及び前記形状画像の割合を設定する第２の設定手段をさらに備え、
前記第１の算出手段が、
前記原画像を所定ブロックごとに入力する手段と、
前記原画像の前記所定ブロックの特徴量を算出するとともに、該特徴量を前記原画像の全ブロックについて累積して前記原画像の特徴量を算出する手段と、
前記所定ブロックに対応する前記形状画像のブロックを入力する手段と、
前記形状画像のブロックが、前記対象物と該対象物を除いた部分との境界ブロックであるか否かを判定する手段と、
前記境界ブロックであると判定されたブロックに対応する前記原画像のブロックの特徴量のみを算出するとともに、該特徴量を全ブロックについて累積して前記形状画像の特徴量を算出する手段とを備え、
前記第２の算出手段が、前記割合と前記目標符号量とそれぞれの特徴量に基づいて、前記原画像の目標符号量及び前記形状画像の目標符号量を算出する
ことを特徴とする請求項１に記載の画像符号化装置。
【請求項６】
前記第２の算出手段が、
前記第１の算出手段により算出された前記原画像の特徴量と前記設定手段により設定された前記目標符号量と前記第２の設定手段により設定された前記原画像の割合とを乗算して前記原画像の目標符号量を算出し、
前記第１の算出手段により算出された前記形状画像の特徴量と前記設定手段により設定された前記目標符号量と前記第２の設定手段により設定された前記形状画像の割合とを乗算して前記形状画像の目標符号量を算出する
ことを特徴とする請求項５に記載の画像符号化装置。
【請求項７】
前記第１の算出手段が、
前記原画像を所定ブロックごとに入力する手段と、
前記原画像の前記所定ブロックの特徴量を算出するとともに、該特徴量を前記原画像の全ブロックについて累積して該原画像の特徴量を算出する手段と、
前記所定ブロックに対応する前記形状画像のブロックを入力する手段と、
前記形状画像のブロックが、前記対象物と該対象物を除いた部分との境界ブロックであるか否かを判定する手段と、
前記境界ブロックであると判定されたブロックに対応する前記原画像のブロックの特徴量のみを算出するとともに、該特徴量を全ブロックについて累積して前記形状画像の特徴量を算出する手段とを備え、
前記第２の算出手段が、前記第１の算出手段により算出された前記原画像の特徴量及び前記形状画像の特徴量を用いて前記原画像及び前記形状画像のそれぞれの目標符号量の比率を算出し、該比率に基づいて前記目標符号量を分配して、該原画像及び該形状画像のそれぞれの目標符号量を算出する
ことを特徴とする請求項１に記載の画像符号化装置。
【請求項８】
前記第２の算出手段が、前記形状画像の特徴量に対して、前記原画像の特徴量と整合させるための定数を乗算することを特徴とする請求項７に記載の画像符号化装置。
【請求項９】
前記形状画像中の前記対象物を領域成長する領域成長手段をさらに備え、
前記符号化手段は、前記原画像及び領域成長した前記形状画像を前記第２の算出手段により算出されたそれぞれの目標符号量になるように符号化する
ことを特徴とする請求項１に記載の画像符号化装置。
【請求項１０】
領域成長した前記対象物の輪郭をフィルタリングすることにより滑らかにするフィルタ手段をさらに備えることを特徴とする請求項９に記載の画像符号化装置。
【請求項１１】
前記原画像の特徴量が、該原画像のブロックごとに算出された分散値を全ブロックについて累積した累積分散値であって、
前記形状画像の特徴量が、前記境界ブロックに相当する前記原画像のブロックの分散値のみを累積した累積分散値である
ことを特徴とする請求項４から１０までのいずれか１項に記載の画像符号化装置。
【請求項１２】
原画像中に含まれる対象物と該対象物を除いた部分とを表す形状画像と、前記原画像とを符号化する画像符号化方法であって、
前記形状画像及び前記原画像を符号化した後の目標符号量を設定する設定工程と、
前記原画像及び前記形状画像のそれぞれの特徴量を算出する第１の算出工程と、
前記第１の算出工程により算出されたそれぞれの特徴量と前記目標符号量とを用いて、前記原画像及び前記形状画像のそれぞれの目標符号量を算出する第２の算出工程と、
前記原画像及び前記形状画像を前記第２の算出工程により算出されたそれぞれの目標符号量で符号化する符号化工程と、
前記符号化工程により符号化されたそれぞれの符号化データを多重化する多重化工程と
を有することを特徴とする画像符号化方法。
【請求項１３】
前記第１の算出工程が、
前記原画像を所定ブロックごとに入力する工程と、
前記原画像の前記所定ブロックの特徴量を算出するとともに、該特徴量を前記原画像の全ブロックについて累積して該原画像の特徴量を算出する工程と、
前記所定ブロックに対応する前記形状画像のブロックを入力する工程と、
前記形状画像のブロックが、前記対象物と該対象物を除いた部分との境界ブロックであるか否かを判定する工程と、
前記境界ブロックであると判定されたブロックに対応する前記原画像のブロックの特徴量のみを算出するとともに、該特徴量を全ブロックについて累積して前記形状画像の特徴量を算出する工程とを有し、
前記第２の算出工程が、前記第１の算出工程により算出された前記原画像の特徴量と前記形状画像の特徴量とを加算した特徴量に占めるそれぞれの特徴量の割合に応じて前記目標符号量を分配して、前記原画像及び前記形状画像のそれぞれの目標符号量として算出する
ことを特徴とする請求項１２に記載の画像符号化方法。
【請求項１４】
符号化データに占める前記原画像及び前記形状画像の割合を設定する第２の設定工程をさらに有し、
前記第１の算出工程が、
前記原画像を所定ブロックごとに入力する工程と、
前記原画像の前記所定ブロックの特徴量を算出するとともに、該特徴量を前記原画像の全ブロックについて累積して前記原画像の特徴量を算出する工程と、
前記所定ブロックに対応する前記形状画像のブロックを入力する工程と、
前記形状画像のブロックが、前記対象物と該対象物を除いた部分との境界ブロックであるか否かを判定する工程と、
前記境界ブロックであると判定されたブロックに対応する前記原画像のブロックの特徴量のみを算出するとともに、該特徴量を全ブロックについて累積して前記形状画像の特徴量を算出する工程とを有し、
前記第２の算出工程が、前記割合と前記目標符号量とそれぞれの特徴量に基づいて、前記原画像の目標符号量及び前記形状画像の目標符号量を算出する
ことを特徴とする請求項１２に記載の画像符号化方法。
【請求項１５】
前記第１の算出工程が、
前記原画像を所定ブロックごとに入力する工程と、
前記原画像の前記所定ブロックの特徴量を算出するとともに、該特徴量を前記原画像の全ブロックについて累積して該原画像の特徴量を算出する工程と、
前記所定ブロックに対応する前記形状画像のブロックを入力する工程と、
前記形状画像のブロックが、前記対象物と該対象物を除いた部分との境界ブロックであるか否かを判定する工程と、
前記境界ブロックであると判定されたブロックに対応する前記原画像のブロックの特徴量のみを算出するとともに、該特徴量を全ブロックについて累積して前記形状画像の特徴量を算出する工程とを有し、
前記第２の算出工程が、前記第１の算出工程により算出された前記原画像の特徴量及び前記形状画像の特徴量を用いて前記原画像及び前記形状画像のそれぞれの目標符号量の比率を算出し、該比率に基づいて前記目標符号量を分配して、該原画像及び該形状画像のそれぞれの目標符号量を算出する
ことを特徴とする請求項１２に記載の画像符号化方法。
【請求項１６】
前記形状画像中の前記対象物を領域成長する領域成長工程をさらに有し、
前記符号化工程は、前記原画像及び領域成長した前記形状画像を前記第２の算出手段により算出されたそれぞれの目標符号量になるように符号化する
ことを特徴とする請求項１２に記載の画像符号化方法。
【請求項１７】
請求項１２から１６までのいずれか１項に記載の画像符号化方法をコンピュータに実行させるためのプログラム。
【請求項１８】
請求項１７に記載のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の各フレームに対してフレーム画像内の人物やその他の物体等のオブジェクトに基づいてオブジェクトベース符号化を行う画像符号化装置及び画像符号化方法に関する。
【背景技術】
【０００２】
従来、動画像の符号化方式として、フレーム内符号化方式であるMotion JPEGやDigital Video等の符号化方式や、フレーム間予測符号化を用いたＨ．２６１、Ｈ．２６３、ＭＰＥＧ−１、ＭＰＥＧ−２等の符号化方式が知られている。これらの符号化方式は、ＩＳＯ（International Organization for Standardization：国際標準化機構）やＩＴＵ（International Telecommunication Union：国際電気通信連合）によって国際標準化されている。「フレーム内符号化方式」は、フレーム単位で独立に符号化を行うものであり、フレームの管理がし易いため、動画像の編集や特殊再生が必要な装置に最適である。一方、「フレーム間予測符号化方式」は、フレーム間での画像データの差分に基づくフレーム間予測を用いるため、符号化効率が高いという特徴を持っている。
【０００３】
さらに、コンピュータ・放送・通信など多くの領域で利用できる、汎用的な次世代マルチメディア符号化規格としてＭＰＥＧ（Moving Picture Expert Group）−４の国際標準化作業が進められている。ＭＰＥＧ−４の大きな特徴として、オブジェクトベース符号化を行う機能がある。
【０００４】
オブジェクトベース符号化とは、ＭＰＥＧ−１やＭＰＥＧ−２で採用されているような長方形の画像全体を符号化する方法ではなく、予め何らかの方法で生成された形状情報を含む画像（形状画像）によって、画像の中の切り出された人物やその他の物体、すなわち画像中のオブジェクトである形状情報毎に符号化を行う方法である。以降では、上記形状画像と区別するため、一般的に処理対象とする画像を「自然画像」と称す。
【０００５】
ここで、形状画像は、符号化対象となっている自然画像と全く同じ縦横の画素数を持ち、オブジェクトの形状を表す一種の画像である。形状画像には、各画素が１ビットで表されるバイナリ・アルファ・プレーンと、各画素が２ビット以上で表されるグレイスケール・アルファ・プレーンがある。バイナリ・アルファ・プレーンでは、通常、画素の値が「１」の領域はオブジェクト領域、「０」の領域はオブジェクト外の領域を表す。
【０００６】
尚、その他のＭＰＥＧ−４の詳細内容については、ＩＳＯ／ＩＥＣによる国際標準の文書に委ねることとする。
【０００７】
上述したような形状情報を用いた符号化手続に関しては、（株）工業調査会が発行している「ＭＰＥＧ−４のすべて」に記載されているが、その内容は規格の説明にとどまっており、符号量を制御するという内容については開示されておらず、出願人が知る限り出願時に本発明に関連する従来技術文献については見当たらない。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
図４を用いて本発明の前提となるオブジェクトベース符号化方法について説明する。図４は、オブジェクトベース符号化に用いられる自然画像とその形状画像の一例を示す図である。
【０００９】
図４（ｂ）に示される形状画像は、図４（ａ）に示される自然画像と同様の単位でブロック化される。形状画像中の各ブロックには、オブジェクトの内部を示す有効画素を配置する。一般に、形状情報における有効画素の値は１以上であり、無効画素の値は０であるが、ここでは説明の都合上、有効画素を１、無効画素を０とする。オブジェクト内部の場合、その有効画素数はブロック全域に存在することになり、オブジェクト外部の場合は０となる。オブジェクトベース符号化における形状情報の符号化で注目すべき点はこのオブジェクト境界部であり、境界部の有効画素の配置は、形状情報の符号化効率に大きく影響する。
【００１０】
一般に、符号量の制御では、伝送路の条件等による単位時間当たりの符号量から、１フレーム当たりの目標符号量を算出し、それを自然画像と形状画像に割り当てることになる。しかし、通常の形状画像においては、その発生符号量が予測しにくい。そのため、形状符号化自体、すなわちＣＡＥ（Context-based Arithmetic Encoding）と呼ばれる算術符号化を実際に行い、符号化した結果から発生符号量が多いと判断される場合、対象とする形状画像をサブサンプルした画像を生成し、再びそれを入力してＣＡＥを行うという処理を繰り返す。ＭＰＥＧ−４では、このサブサンプルの方法を規定し、その範疇において制御が行われる。
【００１１】
このように、従来の形状符号化では、その処理のパスを数回繰り返すことで符号量を制御するため処理における負荷が大きく、また符号量を効率良く制御することが難しい。
【００１２】
本発明は、このような事情を考慮してなされたものであり、予め設定された目標符号量内で効率良く自然画像と形状画像の発生符号量を定めて好適にオブジェクト符号化処理を行うことができる画像符号化装置及び画像符号化方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記課題を解決するために、本発明は、原画像中に含まれる対象物と該対象物を除いた部分とを表す形状画像と、前記原画像とを符号化する画像符号化装置であって、
前記形状画像及び前記原画像を符号化した後の目標符号量を設定する設定手段と、
前記原画像及び前記形状画像のそれぞれの特徴量を算出する第１の算出手段と、
前記第１の算出手段により算出されたそれぞれの特徴量と前記目標符号量とを用いて、前記原画像及び前記形状画像のそれぞれの目標符号量を算出する第２の算出手段と、
前記原画像及び前記形状画像を前記第２の算出手段により算出されたそれぞれの目標符号量で符号化する符号化手段と、
前記符号化手段により符号化されたそれぞれの符号化データを多重化する多重化手段と
を備えることを特徴とする。
【００１４】
また、前記画像符号化装置は、動画像中の任意のフレーム画像を前記原画像として取得し、該原画像から抽出された前記対象物と該対象物を除いた部分とを区別した２値画像として前記形状画像を取得する取得手段をさらに備えることを特徴とする。
【００１５】
さらに、前記画像符号化装置は、前記形状画像から、前記原画像中に含まれる対象物と該対象物を除いた部分との境界ブロックを判定する判定手段をさらに備え、
前記第１の算出手段が、前記原画像のブロックごとに算出された分散値を全ブロックについて累積した第１の累積分散値を該原画像の特徴量として算出し、前記境界ブロックに相当する前記原画像のブロックの分散値のみを累積した第２の累積分散値を前記形状画像の特徴量として算出し、
前記第２の算出手段が、前記第１の累積分散値と前記第２の累積分散値との割合に応じて前記目標符号量を分配して、前記原画像及び前記形状画像のそれぞれの目標符号量として算出する
ことを特徴とする。
【００１６】
さらにまた、前記画像符号化装置は、前記第１の算出手段が、
前記原画像を所定ブロックごとに入力する手段と、
前記原画像の前記所定ブロックの特徴量を算出するとともに、該特徴量を前記原画像の全ブロックについて累積して該原画像の特徴量を算出する手段と、
前記所定ブロックに対応する前記形状画像のブロックを入力する手段と、
前記形状画像のブロックが、前記対象物と該対象物を除いた部分との境界ブロックであるか否かを判定する手段と、
前記境界ブロックであると判定されたブロックに対応する前記原画像のブロックの特徴量のみを算出するとともに、該特徴量を全ブロックについて累積して前記形状画像の特徴量を算出する手段とを備え、
前記第２の算出手段が、前記第１の算出手段により算出された前記原画像の特徴量と前記形状画像の特徴量とを加算した特徴量に占めるそれぞれの特徴量の割合に応じて前記目標符号量を分配して、前記原画像及び前記形状画像のそれぞれの目標符号量として算出する
ことを特徴とする。
【００１７】
さらにまた、前記画像符号化装置は、符号化データに占める前記原画像及び前記形状画像の割合を設定する第２の設定手段をさらに備え、
前記第１の算出手段が、
前記原画像を所定ブロックごとに入力する手段と、
前記原画像の前記所定ブロックの特徴量を算出するとともに、該特徴量を前記原画像の全ブロックについて累積して前記原画像の特徴量を算出する手段と、
前記所定ブロックに対応する前記形状画像のブロックを入力する手段と、
前記形状画像のブロックが、前記対象物と該対象物を除いた部分との境界ブロックであるか否かを判定する手段と、
前記境界ブロックであると判定されたブロックに対応する前記原画像のブロックの特徴量のみを算出するとともに、該特徴量を全ブロックについて累積して前記形状画像の特徴量を算出する手段とを備え、
前記第２の算出手段が、前記割合と前記目標符号量とそれぞれの特徴量に基づいて、前記原画像の目標符号量及び前記形状画像の目標符号量を算出する
ことを特徴とする。
【００１８】
さらにまた、前記画像符号化装置は、前記第２の算出手段が、
前記第１の算出手段により算出された前記原画像の特徴量と前記設定手段により設定された前記目標符号量と前記第２の設定手段により設定された前記原画像の割合とを乗算して前記原画像の目標符号量を算出し、
前記第１の算出手段により算出された前記形状画像の特徴量と前記設定手段により設定された前記目標符号量と前記第２の設定手段により設定された前記形状画像の割合とを乗算して前記形状画像の目標符号量を算出する
ことを特徴とする。
【００１９】
さらにまた、前記画像符号化装置は、前記第１の算出手段が、
前記原画像を所定ブロックごとに入力する手段と、
前記原画像の前記所定ブロックの特徴量を算出するとともに、該特徴量を前記原画像の全ブロックについて累積して該原画像の特徴量を算出する手段と、
前記所定ブロックに対応する前記形状画像のブロックを入力する手段と、
前記形状画像のブロックが、前記対象物と該対象物を除いた部分との境界ブロックであるか否かを判定する手段と、
前記境界ブロックであると判定されたブロックに対応する前記原画像のブロックの特徴量のみを算出するとともに、該特徴量を全ブロックについて累積して前記形状画像の特徴量を算出する手段とを備え、
前記第２の算出手段が、前記第１の算出手段により算出された前記原画像の特徴量及び前記形状画像の特徴量を用いて前記原画像及び前記形状画像のそれぞれの目標符号量の比率を算出し、該比率に基づいて前記目標符号量を分配して、該原画像及び該形状画像のそれぞれの目標符号量を算出する
ことを特徴とする。
【００２０】
さらにまた、前記画像符号化装置は、前記第２の算出手段が、前記形状画像の特徴量に対して、前記原画像の特徴量と整合させるための定数を乗算することを特徴とする。
【００２１】
さらにまた、前記画像符号化装置は、前記形状画像中の前記対象物を領域成長する領域成長手段をさらに備え、
前記符号化手段は、前記原画像及び領域成長した前記形状画像を前記第２の算出手段により算出されたそれぞれの目標符号量になるように符号化する
ことを特徴とする。
【００２２】
さらにまた、前記画像符号化装置は、領域成長した前記対象物の輪郭をフィルタリングすることにより滑らかにするフィルタ手段をさらに備えることを特徴とする。
【００２３】
さらにまた、前記画像符号化装置は、前記原画像の特徴量が、該原画像のブロックごとに算出された分散値を全ブロックについて累積した累積分散値であって、
前記形状画像の特徴量が、前記境界ブロックに相当する前記原画像のブロックの分散値のみを累積した累積分散値である
ことを特徴とする。
【００２４】
さらにまた、本発明は、原画像中に含まれる対象物と該対象物を除いた部分とを表す形状画像と、前記原画像とを符号化する画像符号化方法であって、
前記形状画像及び前記原画像を符号化した後の目標符号量を設定する設定工程と、
前記原画像及び前記形状画像の特徴量を算出する第１の算出工程と、
前記第１の算出工程により算出されたそれぞれの特徴量と前記目標符号量とを用いて、前記原画像及び前記形状画像のそれぞれの目標符号量を算出する第２の算出工程と、
前記原画像及び前記形状画像を前記第２の算出工程により算出されたそれぞれの目標符号量になるように符号化する符号化工程と、
前記符号化工程により符号化されたそれぞれの符号化データを多重化する多重化工程と
を有することを特徴とする。
【発明の効果】
【００２５】
本発明によれば、予め設定された目標符号量内で効率良く自然画像と形状画像の発生符号量を定めて好適にオブジェクト符号化処理を行うことができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の各実施形態について、図面を参照して詳細に説明する。
【００２７】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る画像符号化装置の構成を示すブロック図である。尚、本実施形態では、符号化方式としてＭＰＥＧ−４を用いた場合の実現例について説明する。
【００２８】
尚、マクロブロックの対象画像サイズは、自然画像では、符号化の単位である輝度信号について１６画素×１６ライン、色差信号について８画素×８ライン、形状画像は１６画素×１６ラインとする。
【００２９】
また、ＭＰＥＧ−４に従い、以下では、動画像中の各フレーム画像である自然画像を「テクスチャ画像（Texture Image）」、当該テクスチャ画像に対応した符号化すべきオブジェクトの形状画像を「シェイプ画像（Shape Image）」と称する。すなわち、以下で説明する画像符号化装置には、上記テクスチャ画像と上記シェイプ画像とで構成される２種類の動画像が入力される。さらに、本実施形態では、形状情報は０と１で示すバイナリ・アルファ・プレーンで構成されており、オブジェクト内部を１、オブジェクト外部を０とする。
【００３０】
図１において、１００は、予め設定されている目標符号量（Target Bit）から、テクスチャ画像及びシェイプ画像の目標符号量を算出する符号量算出器である。１０１は、テクスチャ画像及びシェイプ画像の符号量を制御するレート制御器である。１０２は、入力されたテクスチャ画像を符号化するテクスチャ画像符号化器である。１０３は、テクスチャ画像符号化器１０２から出力された符号化データのストリームを蓄積するバッファ（Buffer）である。
【００３１】
一方、１０５は、入力されたシェイプ画像について、マクロブロック毎に、マクロブロックがオブジェクト内部であることを示すモード、外部であることを示すモード、又は境界を示すモードの３種類のシェイプモードを判定するシェイプモード判定器である。１０６は、入力されたシェイプ画像を符号化するシェイプ画像符号化器である。１０７は、シェイプ画像符号化器１０５から出力された符号化データのストリームを蓄積するバッファである。１０４は、バッファ１０３、１０７から出力された符号化データのストリームを多重化する多重化器である。
【００３２】
次に、図１に示す第１の実施形態に係る画像符号化装置の動作例について説明する。図２は、図１に示す第１の実施形態に係る画像符号化装置の動作手順を説明するためのフローチャートである。
【００３３】
まず、予め設定された符号化対象の１フレーム分の目標符号量が符号量算出器１００に入力される（ステップＳ１０１）。次いで、シェイプ画像がシェイプモード判定器１０５に入力され（ステップＳ１０２）、シェイプモード判定器１０５では、マクロブロック毎のシェイプモードが判定される（ステップＳ１０３）。一方で、テクスチャ画像が符号量算出器１００に入力される（ステップＳ１０４）。
【００３４】
そして、符号量算出器１００では、ステップＳ１０３で判定されたシェイプモードに基づいて、テクスチャ画像とシェイプ画像のそれぞれの目標符号量が算出される（ステップＳ１０５）。尚、ステップＳ１０５での符号化算出器１００における目標符号量の算出要領の詳細については後述する。
【００３５】
ステップＳ１０５において符号量算出器１００でそれぞれの画像の目標符号量が算出されると、シェイプモード判定器１０５で判定されたシェイプモードがシェイプ画像符号化器１０６に入力され、そのシェイプモードに応じてシェイプ画像が符号化される（ステップＳ１０６）。ここでは、シェイプモードをマクロブロック毎に付加情報として符号化し、マクロブロックが境界を示すモードのときに、そのマクロブロックをＣＡＥと呼ばれる算術符号化を行う。また、テクスチャ画像符号化器１０２では、テクスチャ画像が符号化される（ステップＳ１０７）。
【００３６】
この際、符号量算出器１００からの目標符号量に応じて、レート制御器１０１は、テクスチャ画像符号化器１０２とシェイプ画像符号化器１０６からそれぞれ目標の符号量を発生させるように制御する。その結果、シェイプ画像符号化器１０６から出力される符号化データの出力ストリーム（シェイプストリーム）は、バッファ１０７に蓄積され、その蓄積量はレート制御器１０１へ出力される。同様に、テクスチャ画像符号化器１０２から出力される符号化データの出力ストリーム（テクスチャストリーム）は、バッファ１０３に蓄積され、その蓄積量はレート制御器１０１へ出力される。
【００３７】
そして、バッファ１０３に蓄積されたテクスチャストリーム、バッファ１０６に蓄積されたシェイプストリームは、多重化器１０４において１つのストリームに多重化され（ステップＳ１０８）、多重化された符号化データのストリームが外部に出力される（ステップＳ１０９）。
【００３８】
［符号量算出器１００における符号量算出動作（ステップＳ１０５）］
符号量算出器１００では、シェイプモード判定器１０５で判定されたシェイプモードに基づいて境界マクロブロックの位置を判別し、その位置のテクスチャ画像の情報を入力し、シェイプの目標符号量を予測・算出する。図３は、第１の実施形態に係る画像符号化装置の符号量算出器１００がステップＳ１０５で行う符号量算出処理の詳細な動作手順を説明するためのフローチャートである。
【００３９】
まず、符号量算出器１００にはテクスチャ画像のマクロブロック（ＭＢ）が入力され（ステップＳ２０１）、当該ブロック内の分散値が算出された後、当該分散値をフレーム内で累積する（ステップＳ２０２）。尚、この累積は１フレーム分だけ行うようにする。同時に、当該ブロックがオブェクトの境界ブロック（境界ＭＢ）であるかどうかをステップＳ１０３で判定されたシェイプモードに基づいて判定する（ステップＳ２０３）。その結果、当該ブロックが境界ブロックであれば（Ｙｅｓ）、当該ブロックの分散値をシェイプフレームの分散値として、上記ステップＳ２０２で累積した分散値をは別に累積する（ステップＳ２０４）。以上の処理をフレーム内の全マクロブロックに対して繰り返す（ステップＳ２０５）。
【００４０】
そして、全マクロブロックに対して上記処理を繰り返した後（ステップＳ２０５でＹｅｓの場合）、ステップＳ１０１で入力された１フレーム分の目標符号量を取り出して（ステップＳ２０６）、テクスチャ画像とシェイプ画像のそれぞれの目標符号量を算出し（ステップＳ２０７）、算出されたそれぞれの目標符号量をレート制御器１０１へ出力する（ステップＳ２０８）。
【００４１】
本実施形態では、テクスチャ画像とシェイプ画像のそれぞれの目標符号量の算出方法の一例として、
テクスチャフレームの目標符号量：Tt  ＝  T  *  Et / (Et + Es)
シェイプフレームの目標符号量  ：Ts  ＝  T  *  Es / (Et + Es)
ここで、Et  ：  測定したテクスチャフレームの累積分散値
Es  ：  測定したシェイプフレームの累積分散値
T   ：  フレームの目標符号量
を用いる。
【００４２】
尚、上述した第１の実施形態では、ＭＰＥＧ−４を用いて符号化を行っているが、その他の符号化形式のオブジェクトベース画像符号化に本発明を適用してもよい。また、本実施形態では、目標符号量を算出する目安として、マクロブロック内の分散値を計算して用いているが、分散値以外に乗数や定数を設けるようなその他の計算方法を用いるようにしてもよい。
【００４３】
また、本実施形態では、シェイプ画像をバイナリ・アルファ・プレーンとしたが、オブジェクト内部を示す１に対してグレイスケール・アルファ・プレーンにおける０以外の値を対応させ、グレイスケール・アルファ・プレーンを用いたオブジェクトベース画像符号化に適用してもよい。
【００４４】
図５は、第１の実施形態に係る画像符号化装置をコンピュータを用いて実現した場合の細部構成を示すブロック図である。
【００４５】
図５において、１０００はコンピュータ全体の制御、及び上述した符号化処理等の種々な処理を行う中央演算装置（ＣＰＵ）、１００１は本コンピュータの制御に必要なオペレーティングシステム（ＯＳ）、ソフトウェア、データ、演算に必要な記憶領域等を提供するメモリである。また、メモリ１００１は、ＣＰＵ１０００が各種の処理を行う際のワークエリアとしても用いられる。
【００４６】
１００３は各種ソフトウェアを蓄積する記憶装置、１００４は動画像データを蓄積する記憶装置である。尚、これらの記憶装置１００３、１００４は着脱可能な記憶媒体、可搬可能な記憶媒体であってもよい。また、１００５は画像やコンピュータからのシステムメッセージ等を表示するモニタである。
【００４７】
１００７は通信回路１００８に符号化データを送信するための通信インタフェース（Ｉ／Ｆ）であり、装置外部のＬＡＮ、公衆回線、無線回線、放送電波等に接続されている。１００６は本コンピュータを起動したり、ビットレート等の各種条件を設定したりするために、ユーザが各種操作を行うキーボードやマウスを用いて操作を行うためのユーザインタフェース（ＵＩ）である。さらに、１００２は本コンピュータの各部（ＣＰＵ１０００、メモリ１００１、記憶装置１００３、１００４、モニタ１００５、ＵＩ１００６、通信Ｉ／Ｆ１００７を互いに接続し、データや制御信号をやりとりするためのバスである。
【００４８】
図５に示されるような構成のコンピュータを用いて、ユーザは、符号化処理に先立って、まずＵＩ１００６から記憶装置１００４に蓄積されている動画像データから符号化する動画像データを選択し、コンピュータの起動を指示する。これにより、記憶装置１００３に格納されているソフトウェアがバス１００２を介してメモリ１００１に展開され、ソフトウェアが起動する。
【００４９】
そして、ＣＰＵ１０００によって記憶装置１００４に格納されている動画像データの符号化動作が、各フレーム単位に、図２及び図３に示したフローチャートに従ったプログラムコード（すなわち、前述のソフトウェア）が実行されることで実現される。このように、図５に示す構成のコンピュータは、図１に示すオブジェクトベース画像符号化を実現する画像符号化装置として機能することとなる。
【００５０】
以上の説明から明らかなように、第１の実施形態に係る画像符号化装置によれば、レート制御情報に応じて目標符号量内で効率良く画像の符号化を行うことができる。また、この際に、処理の対象とする画像のオブジェクト境界やオブジェクトの画像品質を対応付けて符号化することができるので符号量の制御が容易であり、処理負荷の軽減並びに処理の高速化を図ることができる。
【００５１】
＜第２の実施形態＞
次に、本発明の第２の実施形態に係る画像符号化装置について説明する。図６は、本発明の第２の実施形態に係る画像符号化装置の構成を示すブロック図である。尚、本実施形態では、符号化方式としてＭＰＥＧ−４を用いた場合の実現例について説明する。
【００５２】
尚、マクロブロックの対象画像サイズは、自然画像では、符号化の単位である輝度信号について１６画素×１６ライン、色差信号について８画素×８ライン、形状画像は１６画素×１６ラインとする。
【００５３】
また、ＭＰＥＧ−４に従い、以下では、動画像の各フレームとなる自然画像を「テクスチャ画像（Texture Image）」、当該テクスチャ画像に対応した符号化すべきオブジェクトの形状画像を「シェイプ画像（Shape Image）」と称する。すなわち、以下で説明する画像符号化装置には、上記テクスチャ画像と上記シェイプ画像とで構成される２種類の動画像が入力される。さらに、本実施形態では、形状情報は０と１で示すバイナリ・アルファ・プレーンで構成され、オブジェクト内部を１、オブジェクト外部を０とする。
【００５４】
図６において、２００は、予め設定されている目標符号量（Target Bit）から、テクスチャ画像目標符号量を算出するテクスチャ目標符号量算出器である。２０１は、テクスチャ画像及びシェイプ画像の符号量を制御するレート制御器である。２０２は、テクスチャ画像を符号化するテクスチャ画像符号化器である。２０３は、テクスチャ画像符号化器２０２から出力された符号化データのストリームを蓄積するバッファ（Buffer）である。
【００５５】
一方、２０５は、予め設定されている目標符号量（Target Bit）から、シェイプ画像を入力し、マクロブロック毎のオブジェクト内部、外部、又は境界の３種類のシェイプモードを判定するとともに、シェイプ画像の目標符号量を算出するシェイプ目標符号量算出器である。２０６は、シェイプ画像を符号化するシェイプ画像符号化器である。２０７は、シェイプ画像符号化器１０５からのストリームを蓄積するバッファである。２０４は、バッファ２０３、２０７からのストリームを多重化する多重化器である。
【００５６】
次に、図６に示す第２の実施形態に係る画像符号化装置の動作例について説明する。図７は、図６に示す第２の実施形態に係る画像符号化装置の動作手順を説明するためのフローチャートである。
【００５７】
まず、予め設定された符号化対象の１フレーム分の目標符号量がテクスチャ目標符号量算出器２００及びシェイプ目標符号量算出器２０５に入力される（ステップＳ３０１）。また、シェイプ画像がシェイプ目標符号量算出器２０５に入力され（ステップＳ３０２）、マクロブロック毎のシェイプモードが判定され、シェイプ画像の１フレーム分の目標符号量が算出される（ステップＳ３０３）。尚、シェイプ目標符号量算出器２０５で判定されたシェイプモードは、シェイプ画像符号化器２０６に入力される。尚、シェイプ目標符号量算出器２０５における目標符号量算出処理については後述する。
【００５８】
一方、テクスチャ画像がテクスチャ目標符号量算出器２００に入力され（ステップＳ３０４）、テクスチャ画像の１フレーム分の目標符号量が算出される（ステップＳ３０５）。尚、テクスチャ目標符号量算出器２００における目標符号量算出処理については後述するｌ
ここで、レート制御器２０１は、テクスチャ目標符号量算出器２００とシェイプ目標符号量算出器２０５からの各目標符号量、及びバッファ２０３、２０７から入力されるストリームの蓄積量に応じて、テクスチャ画像符号化器２０２とシェイプ画像符号化器２０６に対して、目標の符号量を発生するように制御する。例えば、テクスチャ画像に対しては量子化を制御し、シェイプ画像に対してはマクロブロック単位にサブサンプルすることで制御する。
【００５９】
シェイプ画像符号化器２０６から出力される符号化データの出力ストリームは、バッファ２０７に蓄積され、その蓄積量はレート制御器２０１へ出力される（ステップＳ３０６）。同様に、テクスチャ画像符号化器２０２から出力される出力ストリームは、バッファ２０３に蓄積され、その蓄積量はレート制御器２０１へ出力される（ステップＳ３０７）。
【００６０】
そして、バッファ２０３に蓄積されたテクスチャストリーム、バッファ２０７に蓄積されたシェイプストリームは、多重化器１０４において１つのストリームに多重化され（ステップＳ３０８）、多重化された符号化データのストリームが外部に出力される（ステップＳ３０９）。
【００６１】
［テクスチャ目標符号量算出器２００における処理］
図８（ａ）は、第２の実施形態に係る画像符号化装置のテクスチャ目標符号量算出器２００がステップＳ３０５で行う符号量算出処理の詳細な動作手順を説明するためのフローチャートである。
【００６２】
まず、テクスチャ目標符号量算出器２００にはテクスチャ画像のマクロブロックが入力され（ステップＳ４０１）、当該ブロック内の分散値が算出された後、当該分散値をフレーム内で累積していく（ステップＳ４０２）。以上の処理をフレーム内の全マクロブロックに対して繰り返す（ステップＳ４０３）。尚、この累積は１フレーム分だけ行うようにする。
【００６３】
そして、全マクロブロックに対して上記処理を繰り返した後（ステップＳ４０３でＹｅｓの場合）、入力された１フレーム分の目標符号量を取り出して（ステップＳ４０４）、予め定められたテクスチャ画像の符号量の割合から、テクスチャ画像の目標符号量を算出し（ステップＳ４０５）、算出されたそれぞれの目標符号量をレート制御器２０１へ出力する（ステップＳ４０６）。
【００６４】
本実施形態では、テクスチャ画像の目標符号量の算出方法の一例として、
テクスチャフレームの目標符号量：Tt  ＝  T  *  Et  *  A
ここで、Et  ：  測定したテクスチャフレームの累積分散値
T   ：  フレームの目標符号量
A   ：  １フレーム内の符号量におけるテクスチャの符号量の割合
を用いる。
【００６５】
［シェイプ目標符号量算出器２０５における処理］
図８（ｂ）は、第２の実施形態に係る画像符号化装置のシェイプ目標符号量算出器２０６がステップＳ３０３で行う符号量算出処理の詳細な動作手順を説明するためのフローチャートである。
【００６６】
まず、シェイプ目標符号量算出器２０６にはシェイプ画像のマクロブロックが入力され（ステップＳ５０１）、当該ブロックがオブジェクトの境界ブロックであるか否かを判定する（ステップＳ５０２）。その結果、入力されたマクロブロックが境界ブロックであると判定された場合（Ｙｅｓ）は、当該境界ブロックに対応するテクスチャ画像のブロックの分散値を算出した後、算出された分散値を前述したステップＳ４０２の累積処理とは別に、フレーム内で累積していく（ステップＳ５０３）。以上の処理をフレーム内の全マクロブロックに対して繰り返す（ステップＳ５０４）。尚、この累積は１フレーム分だけ行うようにする。
【００６７】
そして、全マクロブロックに対して上記処理を繰り返した後（ステップＳ５０４でＹｅｓの場合）、入力された１フレーム分の目標符号量を取り出して（ステップＳ０５）、予め定められたシェイプ画像の符号量の割合から、シェイプ画像の目標符号量を算出し（ステップＳ５０６）、レート制御器１０１へ出力する（ステップＳ５０７）。
【００６８】
本実施形態では、シェイプ画像の目標符号量の算出方法の一例として、
シェイプフレームの目標符号量：Ts  ＝  T  *  Es  *  (1-A)
ここで、Es  ：  測定したシェイプフレームの累積分散値
T   ：  フレームの目標符号量
A   ：  １フレーム内の符号量におけるテクスチャの符号量の割合
を用いる。
【００６９】
尚、上述した第２の実施形態では、第１の実施形態と同様に、ＭＰＥＧ−４を用いて符号化を行っているが、その他の符号化形式のオブジェクトベース画像符号化に本発明を適用してもよい。また、本実施形態では、目標符号量を算出する目安として、マクロブロック内の分散値を計算して用いているが、分散値以外に乗数や定数を設けるようなその他の計算方法を用いるようにしてもよい。
【００７０】
また、本実施形態では、シェイプ画像をバイナリ・アルファ・プレーンとしたが、オブジェクト内部を示す１に対してグレイスケール・アルファ・プレーンにおける０以外の値を対応させ、グレイスケール・アルファ・プレーンを用いたオブジェクトベース画像符号化に適用してもよい。また、本実施形態に係る画像符号化装置をコンピュータを用いて実現した場合の細部構成及び動作については、第１の実施形態において図５を用いて説明したものと同様であるため、ここでは省略する。
【００７１】
以上の説明から明らかなように、第２の実施形態に係る画像符号化装置によれば、対象となるフレームの符号化直前に、テクスチャ画像とシェイプ画像の発生符号量の割合を予測することで、各画像ストリームの符号量の配分を適切に行うことができるため、オブジェクトの画像品質を損なうことなく、符号化効率を向上させることができる。また、テクスチャ画像の発生符号量の予測を行う処理と、シェイプ画像の発生符号量を予測する処理とを同様の算出処理で行うため、処理を共通化することによって装置規模を小さくすることができる。
【００７２】
＜第３の実施形態＞
次に、本発明の第３の実施形態に係る画像符号化装置について説明する。図９は、本発明の第３の実施形態に係る画像符号化装置の構成を示すブロック図である。尚、本実施形態では、符号化方式としてＭＰＥＧ−４を用いた場合の実現例について説明する。
【００７３】
尚、マクロブロックの対象画像サイズは、自然画像では、符号化の単位である輝度信号について１６画素×１６ライン、色差信号について８画素×８ライン、形状画像は１６画素×１６ラインとする。
【００７４】
また、ＭＰＥＧ−４に従い、以下では、動画像中の各フレーム画像である自然画像を「テクスチャ画像（Texture Image）」、当該テクスチャ画像に対応した符号化すべきオブジェクトの形状画像を「シェイプ画像（Shape Image）」と称す。すなわち、以下で説明する画像符号化装置には、上記テクスチャ画像と上記シェイプ画像とで構成される２種類の動画像が入力される。さらに、本実施形態では、形状情報は０と１で示すバイナリ・アルファ・プレーンであり、オブジェクト内部を１、オブジェクト外部を０とする。
【００７５】
図９において、３００は、テクスチャ画像が入力されると予め設定されている１フレーム当たりの目標符号量（Target Bit）から、テクスチャ画像目標符号量の比率を算出するテクスチャ目標符号比算出器である。３０１は、テクスチャ画像及びシェイプ画像の符号量を制御するレート制御器である。３０２は、テクスチャ画像を符号化するテクスチャ画像符号化器である。３０３は、テクスチャ画像符号化器３０２から出力された符号化データのストリームを蓄積するバッファ（Buffer）である。
【００７６】
一方、３０５は、シェイプ画像を入力し、マクロブロック毎のオブジェクト内部、外部、又は境界の３種類のシェイプモードを判定するとともに、予め定められている１フレーム当たりの目標符号量から、シェイプ画像の目標符号量の比率を算出するシェイプ目標符号比算出器である。３０６は、シェイプ画像を符号化するシェイプ画像符号化器である。３０７は、シェイプ画像符号化器３０６から出力された符号化データのストリームを蓄積するバッファである。３０４は、バッファ３０３、３０７から出力されたストリームを多重化する多重化器である。
【００７７】
次に、図９に示す第３の実施形態に係る画像符号化装置の動作例について説明する。図１０は、図９に示す第３の実施形態に係る画像符号化装置の動作手順を説明するためのフローチャートである。
【００７８】
まず、予め設定された符号化対象のテクスチャ画像（原画像）及びシェイプ画像（形状画像）の１フレーム分の目標符号量が、テクスチャ画像符号比算出器３００、及びシェイプ画像符号比算出器３０５にそれぞれ入力される（ステップＳ６０１）。次に、シェイプ画像がシェイプ画像符号比算出器１０５に入力され（ステップＳ６０２）、マクロブロック毎のシェイプモードが判定される（ステップＳ６０３）。また、テクスチャ画像がテクスチャ画像符号比算出器１００に入力され（ステップＳ６０４）、テクスチャ画像１フレーム分の目標符号比が算出される（ステップＳ６０５）。さらに、シェイプ画像１フレーム分の目標符号比が算出される（ステップＳ６０６）。
【００７９】
また、シェイプ画像符号比算出器３０５で判定されたシェイプモードは、シェイプ画像符号化器３１０６に入力される。ここで、レート制御器３０１は、テクスチャ画像符号比算出器３００及びシェイプ画像符号比算出器３０５からのそれぞれの目標符号比、及びバッファ３０３、３０７から入力される蓄積量に応じて、テクスチャ画像符号化器３０２とシェイプ画像符号化器３０６に対して、目標符号量を発生するように制御する。例えば、テクスチャ画像に対しては量子化を制御し、シェイプ画像に対してはマクロブロック単位にサブサンプルすることで制御する。
【００８０】
シェイプ画像符号化器３０６で符号化された出力ストリームはバッファ３０７に蓄積され（ステップＳ６０７）、テクスチャ画像符号化器１０２で符号化された出力ストリームはバッファ３０３に蓄積される（ステップＳ６０８）。バッファ３０３のテクスチャストリーム、バッファ３０６のシェイプストリームは、多重化器１０４において１つのストリームに多重化され（ステップＳ６０９）、多重化された符号化データのストリームが外部に出力される（ステップＳ６１０）。
【００８１】
［テクスチャ画像符号比算出器３００の詳細動作］
図１１（ａ）は、第３の実施形態に係る画像符号化装置のテクスチャ画像目標符号比算出器３００がステップＳ６０５で行う符号比算出処理の詳細な動作手順を説明するためのフローチャートである。本実施例では、テクスチャ画像目標符号比算出器３００は、テクスチャ画像の目標符号比を、テクスチャ画像のマクロブロック内分散値に基づいて算出する。
【００８２】
まず、テクスチャマクロブロックを入力し（ステップＳ７０１）、その分散値を算出して、算出された分散値をフレーム内で累積する（ステップＳ７０２）。以上の処理をフレーム内の全マクロブロックに対して繰り返す（ステップＳ７０３）。そして、全マクロブロックに対して上記処理を繰り返した後（ステップＳ７０３でＹｅｓの場合）、ステップＳ７０２で累積された分散値をテクスチャの目標符号比として算出し（ステップＳ７０４）、レート制御器３０１へ出力する（ステップＳ７０５）。
【００８３】
［シェイプ画像符号比算出器３０５の詳細動作］
図１１（ｂ）は、第３の実施形態に係る画像符号化装置のシェイプ目標符号比算出器３０６がステップＳ６０６で行う符号比算出処理の詳細な動作手順を説明するためのフローチャートである。
【００８４】
まず、シェイプマクロブロックを入力し（ステップＳ８０１）、入力されたマクロブロックがオブジェクトの内部、外部、又は境界であるかを判定する（ステップＳ８０２）。その結果、当該ブロックが境界ブロックである場合（Ｙｅｓ）、後述する測定方法を用いてシェイプ画像符号量に対応する値を測定した後、その測定値をフレーム内で累積する（ステップＳ８０３）。以上の処理をフレーム内の全マクロブロックに対して繰り返す（ステップＳ８０４）。そして、全マクロブロックに対して上記処理を繰り返した後（ステップＳ８０４でＹｅｓの場合）、累積した測定値をシェイプ画像の目標符号比として算出し（ステップＳ８０５）、レート制御器１０１へ出力する（ステップＳ８０６）。
【００８５】
［レート制御器１０１における目標符号量の算出処理］
ここでは、テクスチャ目標符号比算出器３００及びシェイプ目標符号比算出器３０５で算出されたテクスチャ及びシェイプの目標符号比から、各々の実際の符号量を求める処理について説明する。本実施例での算出方法は、一例として、
テクスチャフレームの目標符号量：Tt  ＝  T  *  Et / (Et + (Es*A))
シェイプフレームの目標符号量  ：Ts  ＝  T  *  (Es*A) / (Et + (Es*A))
ここで、T   ：  フレームの目標符号量
Et  ：  測定したテクスチャフレームの累積分散値（目標符号比）
Es  ：  測定したシェイプフレームの累積測定値（目標符号比）
A   ：  テクスチャ分散値との整合のためのシェイプ測定値の乗数
を用いる。
【００８６】
［シェイプ画像に対する目標符号比の測定方法］
次に、シェイプ目標符号比算出器３０５内において、発生するであろう符号量を符号化しないで測定する方法について説明する。
【００８７】
本来のシェイプ符号化処理では、ブロック内を水平及び垂直にスキャンしてＣＡＥ符号化を行い、発生符号量の少ないスキャンを選択し符号化する。そこで、本実施例では、これにならってまず水平方向にスキャンし、形状画像の端部となる変化画素でフラグ「１」を立てるようにし、この値をブロック内で累積する。次に、垂直方向に同様の処理を行い、累積値の少ないスキャンを選択し、その累積値を保持する。
【００８８】
図１２は、第３の実施形態におけるシェイプ目標符号比算出器３０５による処理において８×８ブロックを用いた具体的な形状画像例と水平及び垂直方向にスキャンした場合のフラグ「１」の立つ画素位置を示す図である。図１２に示す例の場合、水平方向スキャンでは累積値は３、垂直方向スキャンでの累積値は６となり、その結果から水平方向スキャンが選択されることとなる。
【００８９】
尚、上述した第３の実施形態では、第１及び第２の実施形態と同様に、ＭＰＥＧ−４を用いて符号化を行っているが、その他の符号化形式のオブジェクトベース画像符号化に本発明を適用してもよい。また、本実施形態では、目標符号量を算出する目安として、マクロブロック内の分散値を計算して用いているが、分散値以外に乗数や定数を設けるようなその他の計算方法を用いるようにしてもよい。
【００９０】
また、本実施形態では、シェイプ画像をバイナリ・アルファ・プレーンとしたが、オブジェクト内部を示す１に対してグレイスケール・アルファ・プレーンにおける０以外の値を対応させ、グレイスケール・アルファ・プレーンを用いたオブジェクトベース画像符号化に適用してもよい。また、本実施形態に係る画像符号化装置をコンピュータを用いて実現した場合の細部構成及び動作については、第１の実施形態において図５を用いて説明したものと同様であるため、ここでは省略する。
【００９１】
以上の説明から明らかなように、第３の実施形態に係る画像符号化装置によれば、オブジェクトベース画像符号化において、１フレームの符号化前にテクスチャ画像とシェイプ画像の発生符号量の割合を予測することで、各画像ストリームの符号量の配分を適切に行うことができ、オブジェクトの画像品質を損なうことなく、符号化効率を向上させることができる。特に、本実施形態では、目標符号比を算出することにより、シェイプ画像の発生符号量を予測する簡便な手段を提供することができる。さらに、テクスチャ画像とシェイプ画像の目標符号量の比率を予め計算し、レート制御処理へ入力することで、レート制御処理において、さらにその比率を修正し動作させることが容易である。
【００９２】
＜第４の実施形態＞
通常の形状画像では、その境界に微細な凹凸が発生するため、所望の符号量に対して算術符号化の結果の符号量が増大し、符号化効率の低下を招くことになる。そこで、第４の実施形態ではこのような符号化効率の低下を防ぐことができる画像符号化装置について説明する。
【００９３】
図１３は、本発明の第４の実施形態に係る画像符号化装置の細部構成を示すブロック図である。尚、本実施形態では、符号化方式としてＭＰＥＧ−４を用いた場合の実現例について説明する。
【００９４】
尚、マクロブロックの対象画像サイズは、自然画像では、符号化の単位である輝度信号について１６画素×１６ライン、色差信号について８画素×８ライン、形状画像は１６画素×１６ラインとする。
【００９５】
また、ＭＰＥＧ−４に従い、以下では、動画像中の各フレーム画像である自然画像を「テクスチャ画像（Texture Image）」、当該テクスチャ画像に対応した符号化すべきオブジェクトの形状画像を「シェイプ画像（Shape Image）」と称する。すなわち、以下で説明する画像符号化装置には、上記テクスチャ画像と上記シェイプ画像とで構成される２種類の動画像が入力される。さらに、本実施形態では、形状情報は０と１で示すバイナリ・アルファ・プレーンであり、オブジェクト内部を１、オブジェクト外部を０とする。
【００９６】
図１３において、４００は、予め設定されている１フレーム当たりの目標符号量（Target Bit）から、テクスチャ画像を入力し、テクスチャ画像の目標符号量の比率を算出するテクスチャ目標符号量算出器である。４０１は、テクスチャ画像及びシェイプ画像の符号量を制御するレート制御器である。４０２は、テクスチャ画像を符号化するテクスチャ画像符号化器である。４０３は、テクスチャ画像符号化器１０２で符号化されたデータのストリームを蓄積するバッファである。
【００９７】
４０５は、既に求められている１フレーム当たりの目標符号量から、シェイプ画像を入力し、マクロブロック毎にオブジェクト内部、外部、境界の３種類のシェイプモードを判定し、シェイプ画像の目標符号量の比率を算出するシェイプ目標符号量算出器である。４０６は、シェイプ画像を目標符号量に応じて領域成長するシェイプ画像領域成長器である。４０７は、シェイプ画像を符号化するシェイプ画像符号化器である。４０８は、シェイプ画像符号化器１０７で符号化されたデータのストリームを蓄積するバッファである。また、４０４は、バッファ４０３、４０７からのストリームを多重化する多重化器である。
【００９８】
次に、図１３に示す第４の実施形態に係る画像符号化装置の動作例について説明する。図１４は、図１３に示す第４の実施形態に係る画像符号化装置の動作手順を説明するためのフローチャートである。
【００９９】
まず、予め設定された符号化対象のテクスチャ画像（原画像）及びシェイプ画像（形状画像）の１フレーム分の目標符号量が、テクスチャ目標符号量算出器４００、及びシェイプ目標符号量算出器４０５にそれぞれ入力される（ステップＳ９０１）。次に、シェイプ画像がシェイプ目標符号量算出器４０５に入力され（ステップＳ９０２）、マクロブロック毎のシェイプモードが判定されるとともに、シェイプ画像１フレーム分の目標符号量が算出される（ステップＳ９０３）。
【０１００】
一方、テクスチャ画像がテクスチャ目標符号量算出器４００に入力され（ステップＳ９０４）、テクスチャ画像１フレーム分の目標符号量が算出される（ステップＳ９０５）。
【０１０１】
シェイプ画像は、ステップＳ９０３で算出された目標符号量に応じてシェイプ画像領域成長器１０６においてその形状領域が成長し（ステップＳ９０６）、シェイプ画像符号化器４０７へ入力される。尚、レート制御器１０１は、テクスチャ目標符号量算出器４００とシェイプ目標符号量算出器４０５から出力される各目標符号量に応じて、テクスチャ画像符号化器４０２とシェイプ画像符号化器４０７に対して、それぞれ目標符号量を発生するように制御する。
【０１０２】
シェイプ画像符号化器４０７からの出力ストリームは、バッファ４０８に蓄積され、その蓄積量はレート制御器４０１へ出力される（ステップＳ９０７）。一方、テクスチャ画像符号化器４０２からの出力ストリームは、バッファ４０３に蓄積され、その蓄積量はレート制御器４０１へ出力される（ステップＳ９０８）。バッファ４０３のテクスチャストリーム及びバッファ４０８のシェイプストリームは、多重化器４０４において１つのストリームに多重化され（ステップＳ９０９）、多重化された符号化データのストリームが外部に出力される（ステップＳ９１０）。
【０１０３】
尚、テクスチャ目標符号量算出器４００の詳細な動作及びシェイプ目標符号量算出器４０５の詳細な動作については、前述した第２の実施形態における図８に示されるテクスチャ目標符号量算出器２００及びシェイプ目標符号量算出器２０５の動作と同一であるため、ここでは省略する。
【０１０４】
［シェイプ画像領域成長器４０６の処理］
図１５及び図１６は、シェイプ画像領域成長器４０６による領域成長処理を説明するための図である。尚、本実施形態では、形状データのフィルタリング処理の一例として、モルフォロジカルフィルタのｏｐｅｎｉｎｇ又はｃｌｏｓｉｎｇを行うものとする。
【０１０５】
まず、モルフォロジカルフィルタの手続きであるｄｉｌａｔｉｏｎについて説明する。
【０１０６】
図１５において、処理対象の形状データを（ａ）、構成要素を（ｂ）とするとき、ｄｉｌａｔｉｏｎ結果は（ｃ）となる。すなわち、ｄｉｌａｔｉｏｎは、構成要素の中心が、形状データの画素上を移動したときの、構成要素が覆うことができる領域となる。ここで、（ｂ）の構成要素は３×３の正方形であるため、ｄｉｌａｔｉｏｎの結果は、外側に１画素分拡張された形になる。すなわち、（ｄ）における白丸で示した画素がｄｉｌａｔｉｏｎで拡張された画素を示している。また、（ｃ）の形状データに再度構成要素（ｂ）を作用させたときのｄｉｌａｔｉｏｎ結果が、（ｅ）である。そして、（ｆ）の白丸で示した画素がｄｉｌａｔｉｏｎで拡張された画素を示す。このようにｄｉｌａｔｉｏｎには、形状データを膨張させる効果がある。
【０１０７】
次に、モルフォロジカルフィルタの手続きであるｅｒｏｓｉｏｎについて説明する。
【０１０８】
図１６において、処理対象の形状データを（ａ）、構成要素を（ｂ）とするとき、ｅｒｏｓｉｏｎ結果は（ｃ）となる。すなわち、ｅｒｏｓｉｏｎは、構成要素が形状データの画素上をはみ出さずに移動したときの、構成要素の中心から外側で削り取った残りの領域となる。図１６において、（ｂ）の構成要素は３×３の正方形であるため、ｅｒｏｓｉｏｎの結果は、外形を１画素分収縮させた形になる。すなわち、（ｄ）の白丸で示した画素がｅｒｏｓｉｏｎで削り取られた画素である。また、（ｃ）の形状データに再度構成要素（ｂ）を作用させたときのｅｒｏｓｉｏｎ結果が、（ｅ）である。そして、（ｆ）の白丸で示した画素がｅｒｏｓｉｏｎで削り取られた画素である。このようにｅｒｏｓｉｏｎには、形状データを収縮させる効果がある。
【０１０９】
前述したｅｒｏｓｉｏｎを施した後にｄｉｌａｔｉｏｎを行う処理をｏｐｅｎｉｎｇという。これは、形状データの大きさをほとんど変えずに輪郭を滑らかでき、背景領域に孤立したオブジェクトの点がある場合、それを除去するのに効果がある。
【０１１０】
また、前述したｄｉｌａｔｉｏｎを施した後にｅｒｏｓｉｏｎを行う処理をｃｌｏｓｉｎｇという。これも形状データの大きさをほとんど変えずに輪郭を滑らかにでき、オブジェクト内に背景とされる孤立した点がある場合、それを埋めるのに効果がある。
【０１１１】
尚、上述した第４の実施形態では、第１の実施形態と同様に、ＭＰＥＧ−４を用いて符号化を行っているが、その他の符号化形式のオブジェクトベース画像符号化に本発明を適用してもよい。また、本実施形態では、目標符号量を算出する目安として、マクロブロック内の分散値を計算して用いているが、分散値以外に乗数や定数を設けるようなその他の計算方法を用いるようにしてもよい。
【０１１２】
また、本実施形態では、シェイプ画像をバイナリ・アルファ・プレーンとしたが、オブジェクト内部を示す１に対してグレイスケール・アルファ・プレーンにおける０以外の値を対応させ、グレイスケール・アルファ・プレーンを用いたオブジェクトベース画像符号化に適用してもよい。
【０１１３】
また、本実施形態においてシェイプ領域成長器内では、モルフォロジカルフィルタのｏｐｅｎｉｎｇ処理又はｃｌｏｓｉｎｇ処理を用いたが、そのほかのローパスフィルタ等の処理を行ってもかまわない。尚、本実施形態に係る画像符号化装置をコンピュータを用いて実現した場合の細部構成及び動作については、第１の実施形態において図５を用いて説明したものと同様であるため、ここでは省略する。
【０１１４】
以上説明したように、本実施形態に係る画像符号化装置によれば、オブジェクトベース画像符号化において、１フレームの符号化前に、テクスチャ画像とシェイプ画像の発生符号量の割合を予測することで、各画像ストリームの符号量の配分を適切に行うことができ、オブジェクトの画像品質を損なうことなく、符号化効率を向上させることができる。また、形状画像の境界の微細な凹凸を滑らかにすることにより、シェイプ画像の符号化効率をより向上させることができる。さらに、形状画像におけるオブジェクトから離れた孤立点のデータを効率的に除去することができるので、オブジェクトの画像品質を損なうことなく、符号化効率を向上させることができる。
【０１１５】
＜その他の実施形態＞
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０１１６】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【０１１７】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１１８】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【０１１９】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【０１２０】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１２１】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１２２】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０１２３】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【０１２４】
【図１】本発明の第１の実施形態に係る画像符号化装置の構成を示すブロック図である。
【図２】図１に示す第１の実施形態に係る画像符号化装置の動作手順を説明するためのフローチャートである。
【図３】第１の実施形態に係る画像符号化装置の符号量算出器１００がステップＳ１０５で行う符号量算出処理の詳細な動作手順を説明するためのフローチャートである。
【図４】オブジェクトベース符号化に用いられる自然画像とその形状画像の一例を示す図である。
【図５】第１の実施形態に係る画像符号化装置をコンピュータを用いて実現した場合の細部構成を示すブロック図である。
【図６】本発明の第２の実施形態に係る画像符号化装置の構成を示すブロック図である。
【図７】図６に示す第２の実施形態に係る画像符号化装置の動作手順を説明するためのフローチャートである。
【図８】（ａ）は、第２の実施形態に係る画像符号化装置のテクスチャ目標符号量算出器２００がステップＳ３０５で行う符号量算出処理の詳細な動作手順を説明するためのフローチャートであり、（ｂ）は、第２の実施形態に係る画像符号化装置のシェイプ目標符号量算出器２０６がステップＳ３０３で行う符号量算出処理の詳細な動作手順を説明するためのフローチャートである。
【図９】本発明の第３の実施形態に係る画像符号化装置の構成を示すブロック図である。
【図１０】図９に示す第３の実施形態に係る画像符号化装置の動作手順を説明するためのフローチャートである。
【図１１】（ａ）は、第３の実施形態に係る画像符号化装置のテクスチャ画像目標符号比算出器３００がステップＳ６０５で行う符号比算出処理の詳細な動作手順を説明するためのフローチャートであり、（ｂ）は、第３の実施形態に係る画像符号化装置のシェイプ目標符号比算出器３０６がステップＳ６０６で行う符号比算出処理の詳細な動作手順を説明するためのフローチャートである。
【図１２】第３の実施形態におけるシェイプ目標符号比算出器３０５による処理において８×８ブロックを用いた具体的な形状画像例と水平及び垂直方向にスキャンした場合のフラグ「１」のたつ画素位置を示す図である。
【図１３】本発明の第４の実施形態に係る画像符号化装置の細部構成を示すブロック図である。
【図１４】図１３に示す第４の実施形態に係る画像符号化装置の動作手順を説明するためのフローチャートである。
【図１５】シェイプ画像領域成長器４０６による領域成長処理を説明するための図である。
【図１６】シェイプ画像領域成長器４０６による領域成長処理を説明するための図である。
【符号の説明】
【０１２５】
１００  符号量算出器
１０１、２０１、３０１、４０１  レート制御器
１０２、２０２、３０２、４０２  テクスチャ画像符号化器
１０３、１０７、２０３、２０７、３０３、３０７、４０３、４０８  バッファ
１０４、２０４、３０４、４０４  多重化器
１０５  シェイプ画像判定器
１０６、２０６、３０６、４０７  シェイプ画像符号化器
２００、４００  テクスチャ目標符号量算出器
２０５、４０５  シェイプ目標符号量算出器
３００  テクスチャ目標符号比算出器
３０５  シェイプ目標符号比算出器
４０６  シェイプ画像領域成長器
【図１】
2005218018.tif 000003
【図２】
2005218018.tif 000004
【図３】
2005218018.tif 000005
【図４】
2005218018.tif 000006
【図５】
2005218018.tif 000007
【図６】
2005218018.tif 000008
【図７】
2005218018.tif 000009
【図８】
2005218018.tif 000010
【図９】
2005218018.tif 000011
【図１０】
2005218018.tif 000012
【図１１】
2005218018.tif 000013
【図１２】
2005218018.tif 000014
【図１３】
2005218018.tif 000015
【図１４】
2005218018.tif 000016
【図１５】
2005218018.tif 000017
【図１６】
2005218018.tif 000018