(57)【要約】【課題】  背景画像の設定のための事前処理を必要とせず、汎用性の高い高能率符号化技術を提供することを課題とする。【解決手段】  複数のフレームから構成される動画像を入力する動画像入力手段（２１０１）と、動画像の中から背景画像とするフレームを選択する際に、画像内の被写体の有無に関わらず背景画像とするフレームを選択する画像選択手段（１０１）と、背景画像とするフレームと入力画像のフレームとを比較し、その差分値を基に形状データを生成する形状データ生成手段（１０３）と、形状データを基に背景画像を補正する背景データ補正手段（１０４）と、入力画像を形状データと共に任意形状画像として符号化する任意形状画像符号化手段（２１０５）とを有する画像処理装置が提供される。【選択図】        図１
2005303738.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレームから構成される動画像を入力する動画像入力手段と、
前記動画像の中から背景画像とするフレームを選択する際に、画像内の被写体の有無に関わらず背景画像とするフレームを選択する画像選択手段と、
前記背景画像とするフレームと前記入力画像のフレームとを比較し、その差分値を基に形状データを生成する形状データ生成手段と、
前記形状データを基に前記背景画像を補正する背景データ補正手段と、
前記入力画像を前記形状データと共に任意形状画像として符号化する任意形状画像符号化手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記背景データ補正手段は、前記背景画像と前記形状データの共通領域を求め、その共通領域毎の平均画像を生成し、１枚の合成背景画像データを生成することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記背景データ補正手段は、背景画像データの補正に伴い、前記形状データを補正することを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記形状データ生成手段は、入力画像が背景画像とするフレームである場合は、形状データを全画素オブジェクトとして出力することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記画像選択手段は、先頭のフレームから、一定の周期で背景画像とするフレームを選択することを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記画像選択手段は、前記動画像のシーンチェンジ検出時にそのフレームを背景画像とするフレームとして選択することを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項７】
前記画像選択手段は、前記動画像のシーンチェンジ検出後から一定周期で背景画像とするフレームを選択することを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記任意形状画像符号化手段は、フレーム内符号化とフレーム間符号化を切り替えて行うことを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項９】
前記画像選択手段は、前記任意形状画像符号化手段におけるフレーム内符号化処理に対応させて背景画像とするフレームを選択することを特徴とする請求項８記載の画像処理装置。
【請求項１０】
複数のフレームから構成される動画像を入力する動画像入力ステップと、
前記動画像の中から背景画像とするフレームを選択する際に、画像内の被写体の有無に関わらず背景画像とするフレームを選択する画像選択ステップと、
前記背景画像とするフレームと前記入力画像のフレームとを比較し、その差分値を基に形状データを生成する形状データ生成ステップと、
前記形状データを基に前記背景画像を補正する背景データ補正ステップと、
前記入力画像を前記形状データと共に任意形状画像として符号化する任意形状画像符号化ステップと
を有することを特徴とする画像処理方法。
【請求項１１】
請求項１０記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
【請求項１２】
請求項１０記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、特に動画像を符号化するための画像処理技術に関する。
【背景技術】
【０００２】
近年、デジタル技術を利用して画像を対象物（オブジェクト）毎に分離、合成する処理が注目されている。特に、動画像の符号化においては、国際標準としてＭＰＥＧ−４符号化方式が規格化されている。ＭＰＥＧ−４符号化方式では、任意形状の画像データが扱え、オブジェクト毎の符号化／復号化を行うことにより、符号化効率の向上、伝送路に応じたデータ配分、画像の再加工等、従来は困難であったさまざまな応用が期待されている。
【０００３】
また、動画像処理における対象物の抽出方法としては、一般に背景差分方式という手法が知られている。これは、予め撮影した背景画像と実際の入力画像とを比較することにより、変化点を検出する方法である。以下、簡単にその原理について説明する。
【０００４】
まず、画像平面上の座標（ｘ，ｙ）における点の入力画像の画素値をＰｃ（ｘ，ｙ）、背景画像の画素値をＰｂ（ｘ，ｙ）とする。このとき、Ｐｃ（ｘ，ｙ）とＰｂ（ｘ，ｙ）との差分をとり、その絶対値をある閾値Ｔｈと比較する。
【０００５】
判定式の例を示すと次の通りである。
ｉｆ（｜Ｐｃ（ｘ，ｙ）−Ｐｂ（ｘ，ｙ）｜ ≦ Ｔｈ）  Ｓ（ｘ，ｙ）＝０；
ｅｌｓｅ  Ｓ（ｘ，ｙ）＝１；                                    …  （１）
【０００６】
差分絶対値が閾値Ｔｈ以下の場合、この点（ｘ，ｙ）は変化なしということで、Ｐｃ（ｘ，ｙ）は背景と判定され、Ｓ（ｘ，ｙ）＝０となる。一方、差分絶対値が閾値Ｔｈを超えている場合は、値が変化したということで抽出対象とみなされＳ（ｘ、ｙ）＝１となる。画面上のすべての点において上記の判定を行うことで、１フレーム分の抽出が完了する。
【０００７】
図１５は、背景差分方式とＭＰＥＧ−４符号化方式を組み合わせた従来のシステムの構成を示すブロック図である。図１５において、画像入力部２１０１は、例えばカメラの撮像部であり、動画像を入力する部分である。画像分離部２１０２は、背景画像として処理するフレームと任意形状画像として処理するフレームとを切り替えるスイッチ回路である。背景画像に設定したフレームは、矩形画像符号化部２１０４で、１フレーム分符号化される。形状データ生成部２１０３では、先の背景画像と現在入力された画像との比較により、形状データＳ（ｘ，ｙ）を生成する。一般に形状データＳ（ｘ，ｙ）は、オブジェクトであるか否かの２値データである。任意形状画像符号化部２１０５では、画像データと形状データを入力とし、符号化した結果をビットストリームとして出力する。多重化部２１０６では図示した矩形画像と任意形状画像の２種類のビットストリームの他に、オーディオのビットストリームなどを１本のデータにまとめるべく、多重化処理を行う。
【０００８】
図１７は、図１５のブロック図をより具体的に説明するための図である。フレーム２３０１から２３１８は、画像入力部２１０１から入力されたフレームのデータ列であり、先頭のフレーム２３０１が背景のみが映っている画像、フレーム２３１１以降が抽出対象も映っている画像である。画像分離部２１０２では、フレーム２３０１を背景画像に、フレーム２３１１以降を任意形状画像に切り替えている。この切り替えの最も簡単な方法は、入力画像を見ながら、手動で操作するのが確実である。
【０００９】
実際のデータ処理の流れを図１９を用いて説明する。画像２５００が背景画像２３０１に対応し、画像２５０１が任意形状画像２３１１に対応しているものとする。このとき、差分処理部２３５１では、画像２５００と２５０１が入力され、先に説明した背景差分法により、対応する画素間の差が閾値以下か否かで２値化したデータを出力する。形状データ２５１１は２値化された形状データであり、黒い部分が背景、白い部分がオブジェクトを示している。同様に、画像２５０２、２５０３がそれぞれフレーム２３１２、２３１３に対応しているとすると、生成される形状データは、背景画像２５００との差分閾値処理をした結果、形状データ２５１２、２５１３となる。
【００１０】
図１７では、任意形状画像符号化にＭＰＥＧ−４のＣｏｒｅ  Ｐｒｏｆｉｌｅのエンコーダ２３５３を用いている。以下、この符号化方式について説明する。
【００１１】
オブジェクト（対象物）を符号化する場合には、オブジェクトの形と位置の情報を符号化する必要がある。そのために、まず、オブジェクトを内包する矩形領域を設定し、この矩形の左上位置の座標と矩形領域の大きさを符号化する。この矩形領域はバウンディングボックスと呼ばれる。また、画像データ、形状データにより表現されるオブジェクト内部の領域をＶＯＰ（Ｖｉｄｅｏ  Ｏｂｊｅｃｔ  Ｐｌａｎｅ）と呼ぶ。
【００１２】
図２１は、図１７の符号化部２３５３の細部構成を示すブロック図である。尚、入力されるデータは画像の輝度・色差データと形状データであり、それらはマクロブロック単位で処理される。
【００１３】
まず、イントラモードでは、各ブロックをＤＣＴ部２７０１において離散コサイン変換（ＤＣＴ）し、量子化部２７０２で量子化する。量子化されたＤＣＴ係数と量子化幅は、可変長符号化部２７１２で可変長符号化される。また、インターモードで利用する参照画像を生成するため、一旦量子化されたデータは、逆量子化部２７０３、逆ＤＣＴ部２７０４を経て、画像データに戻される。これはローカルデコードの画像とも呼ばれる。この画像はメモリ部２７０５に保存される。
【００１４】
一方、インターモードでは、動き検出部２７０７においてメモリ部２７０５に保存されている時間的に隣接する別のＶＯＰの中からブロックマッチングをはじめとする動き検出方法により動きを検出し、動きベクトル予測部２７０８で対象マクロブロックに対して誤差のもっとも小さい予測マクロブロックを検出する。誤差の最も小さい予測マクロブロックへの動きを示すデータが動きベクトルである。尚、予測マクロブロックを生成するために参照する画像を参照ＶＯＰと呼ぶ。
【００１５】
検出された動きベクトルに基づいて、参照ＶＯＰを動き補償部２７０６において動き補償し、最適な予測マクロブロックを取得する。次に対象となるマクロブロックと対応する予測マクロブロックとの差分を求め、この差分画像に対してＤＣＴ部２７０１でＤＣＴを施し、ＤＣＴ変換係数を量子化部２７０２で量子化する。この時も量子化されたデータは、逆量子化部２７０３、逆ＤＣＴ部２７０４を経て、画像データに戻される。この時の逆ＤＣＴ部２７０４の出力は差分画像となるので、前の画像と合成した後、メモリ部２７０５に保存される。
【００１６】
一方、形状データは、形状符号化ＣＡＥ部２７０９で符号化される。但し、ここで実際にＣＡＥ符号化が行われるのは境界ブロックのみであり、ＶＯＰ内のブロック（ブロック内全てのデータがオブジェクト内）やＶＯＰ外のブロック（ブロック内全てのデータがオブジェクト外）はヘッダ情報のみが可変長符号化部２７１２に送られる。また、ＣＡＥ符号化が施される境界ブロックは、画像データと同様に、インターモードにおいては、動き検出部２７０７による動き検出を行い、動きベクトル予測部２７０８で動きベクトルの予測を行う。そして、動き補償した形状データと前フレームの形状データとの差分値に対しＣＡＥ符号化を行う。
【００１７】
また、図１７では、矩形画像符号化にＭＰＥＧ−４のＳｉｍｐｌｅ  Ｐｒｏｆｉｌｅのエンコーダ２３５２を用いている。以下、この符号化方式について説明する。Ｓｉｍｐｌｅ  Ｐｒｏｆｉｌｅのエンコーダ２３５２は、Ｃｏｒｅ  Ｐｒｏｆｉｌｅのエンコーダ２３５３と下位互換がある。図２１において、任意形状に関する処理、すなわち形状符号化ＣＡＥ部２７０９、メモリ部２７１０、動き補償部２７１１を除いたものがＳｉｍｐｌｅ  Ｐｒｏｆｉｌｅのエンコーダとなる。画像データの処理手順は、Ｃｏｒｅ  Ｐｒｏｆｉｌｅの画像データの処理と同じである。背景画像は１フレーム分符号化すればよいので、必ずしも動画像の符号化方式を用いなくてもよく、静止画符号化方式でもよい。
【００１８】
ＭＵＸ処理部２３５４は、多重化部２１０６に対応し、多重化を行う。
【００１９】
次に復号側の処理について説明する。
図１６が、全体の概略構成ブロック図である。符号化側で１本にまとめられたビットストリームは、分離部２２０１で各デコーダが入力できるビットストリームに分離処理される。このうち、符号化された背景画像は、矩形画像復号化部２２０２により１フレームの画像データに復号される。任意形状画像復号化部２２０３では、形状データと形状データに対応した画像データを復号する。画像合成部２２０４では、形状データの値を基に、背景画像と任意形状画像を画素単位で切り替え、合成画像を生成する。画像出力部２２０５は、一般的にはモニタ等の画像表示装置である。
【００２０】
図１８と図２０を用いて、図１６のブロック図をより具体的に説明する。図１６における分離部２２０１、矩形画像符号化部２２０２、任意形状符号化部２２０３、画像合成部２２０４がそれぞれ、図１８におけるＤＥＭＵＸ処理２４５１、ＭＰＥＧ−４  Ｓｉｍｐｌｅ  Ｐｒｏｆｉｌｅのデコーダ２４５２、ＭＰＥＧ−４  Ｃｏｒｅ  Ｐｒｏｆｉｌｅのデコーダ２４５３、合成処理部２４５４に対応している。フレーム２４１１から２４１８は、画像出力部２２０５において表示されるフレームのデータ列であり、図１７における入力画像２３１１から２３１８に対応している。
【００２１】
ＭＰＥＧ−４  Ｓｉｍｐｌｅ  Ｐｒｏｆｉｌｅデコーダ２４５２の出力は図２０における背景画像２６００となる。背景画像は最初に１フレーム復号するだけなので、デコーダは静止画の復号化方式でもよい。また、背景画像は必ず他の画像と合成処理されるので、背景画像がそのまま出力されることはない。
【００２２】
ＭＰＥＧ−４  Ｃｏｒｅ  Ｐｒｏｆｉｌｅデコーダ２４５３は、まず形状データ２６０１、画像データ２６１１を出力する。合成処理２４５４では、形状データ２６０１で背景と判断されている画素に関しては、背景画像２６００の画素を、オブジェクトと判断されている画素に関しては、画像データ２６１１の画素を選択し、合成画像２６２１を生成する。この画像は、符号化側における画像２５０１に対応している。画像２５０２に対応する復号画像は、形状データ２６０２と画像データ２６１２ならびに復号背景画像２６００から合成され、画像２６２２となる。同様に、画像２５０３に対応する復号画像は、画像２６２３となる。
【００２３】
ここで、ＭＰＥＧ−４  Ｃｏｒｅ  Ｐｒｏｆｉｌｅデコーダ２４５３の詳細を、図２２を用いて説明する。基本的には図２１の逆の動作であり、マクロブロック単位で、画像の輝度・色差データと形状データが復号される。
【００２４】
まず、イントラモードでは、可変長復号化部２８０１が、量子化されたＤＣＴ係数の復号化を行い、それを逆量子化部２８０２に入力する。逆量子化部２８０２の出力は、復号したＤＣＴ係数となり、逆ＤＣＴ部２８０３の入力となる。逆ＤＣＴ部２８０３では、逆ＤＣＴ処理を行うことにより、復号画像を出力する。この時の画像は、インターモードで利用する参照画像とするため、メモリ部２８０４に保存される。
【００２５】
一方、インターモードでは、逆量子化部２８０２、逆ＤＣＴ部２８０３を経て復号される画像は、フレーム間の差分画像である。また、動きベクトル復号部２８０６においては、動きベクトルを復号する。動き補償部２８０５では、復号した動きベクトルを用いてメモリ部２８０４に保存されている前フレームの画像から動き補償した画像を生成する。この画像と先の差分画像を合成することにより、インターモードにおける画像の復号が行われる。
【００２６】
また、形状データは、可変長復号化部２８０１から形状復号化ＣＡＥ部２８０７を経て復号される。インターモードの場合は、メモリ部２８０８に保存しておいた前フレームの形状データを動きベクトル復号化部２８０６によって復号した動きベクトルを用いて、動き補償部２８０９で動き補償した後、形状復号化ＣＡＥ部２８０７にて復号される。
【００２７】
図１８では、矩形画像復号化にＭＰＥＧ−４のＳｉｍｐｌｅ  Ｐｒｏｆｉｌｅのデコーダ２４５２を用いている。以下、この符号化方式について説明する。Ｓｉｍｐｌｅ  Ｐｒｏｆｉｌｅのデコーダ２４５２は、Ｃｏｒｅ  Ｐｒｏｆｉｌｅのデコーダ２４５３と下位互換がある。図２２において、任意形状に関する処理、すなわち形状復号化ＣＡＥ部２８０７、メモリ部２８０８、動き補償部２８０９を除いたものがＳｉｍｐｌｅ  Ｐｒｏｆｉｌｅのデコーダ２４５２となる。画像データの処理手順は、Ｃｏｒｅ  Ｐｒｏｆｉｌｅの画像データの処理と同じである。背景画像は１フレーム分復号化すればよいので、必ずしも動画像の復号化方式を用いなくてもよく、静止画復号化方式でもよい。
【００２８】
しかしながら、上述したシステムは、あらかじめ背景のみの画像を用意しておかなければならないという欠点があった。また、入力画像と背景画像の間に相対的な位置のずれが生じると、正しくオブジェクトが抽出できない、という問題もある。カメラの動く範囲があらかじめわかっている場合は、下記の特許文献１に開示されているように、スプライトと呼ばれる広範囲の画像を用意しておくことで、ある程度の対策は可能だが、あらかじめ前準備が必要であることには変わりがない。
【００２９】
つまり、上記のシステムは、精度のよい抽出結果を得るにはよい構成であるが、符号化効率の向上を目的としてみた場合、適応範囲が限定されてしまうため、単純に矩形の動画像符号化システムから任意形状の動画像符号化システムへ置き換えることができないという問題があった。
【００３０】
【特許文献１】特開２００２−１１８８４３号公報
【発明の開示】
【発明が解決しようとする課題】
【００３１】
本発明は、このような事情を考慮してなされたものであり、事前処理を必要とせず、矩形の動画像符号化システムとの単純な置き換えが可能である汎用性の高い高能率符号化技術を提供することを目的とする。
【課題を解決するための手段】
【００３２】
本発明の画像処理装置は、複数のフレームから構成される動画像を入力する動画像入力手段と、前記動画像の中から背景画像とするフレームを選択する際に、画像内の被写体の有無に関わらず背景画像とするフレームを選択する画像選択手段と、前記背景画像とするフレームと前記入力画像のフレームとを比較し、その差分値を基に形状データを生成する形状データ生成手段と、前記形状データを基に前記背景画像を補正する背景データ補正手段と、前記入力画像を前記形状データと共に任意形状画像として符号化する任意形状画像符号化手段とを有することを特徴とする。
また、本発明の画像処理方法は、複数のフレームから構成される動画像を入力する動画像入力ステップと、前記動画像の中から背景画像とするフレームを選択する際に、画像内の被写体の有無に関わらず背景画像とするフレームを選択する画像選択ステップと、前記背景画像とするフレームと前記入力画像のフレームとを比較し、その差分値を基に形状データを生成する形状データ生成ステップと、前記形状データを基に前記背景画像を補正する背景データ補正ステップと、前記入力画像を前記形状データと共に任意形状画像として符号化する任意形状画像符号化ステップとを有することを特徴とする。
【００３３】
また、本発明のプログラムは、上記の画像処理方法の各ステップをコンピュータに実行させるためのプログラムである。
また、本発明の記録媒体は、上記の画像処理方法の各ステップをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００３４】
画像内の被写体の有無に関わらず背景画像とするフレームを選択することができるので、背景画像を設定するための事前処理が必要なくなる。また、矩形画像符号化手段を必要とせず、任意形状画像符号化手段のみで符号化することができる。また、背景データを補正することにより、動画像のノイズや微小変動による影響を抑制でき、復号後の合成画像においても、より自然な画像を得ることができる。
【発明を実施するための最良の形態】
【００３５】
以下、図面を参照して、本発明の好適な実施形態について詳細に説明する。
＜第１の実施形態＞
本発明の第１の実施形態について説明する。図１（ａ）は、符号化側の全体構成を示すブロック図である。背景技術で説明した図１５との大きな違いは、背景画像と任意形状画像の選択方法が異なる（画像選択部１０１）こと、形状データ生成後にそれを反映させた背景データ補正部１０４を設けていること、矩形形状符号化部２１０４が不要であること、などである。図１７における２３０１に相当する背景画像というものをあらかじめ用意しておかないことが、本実施形態の大きな特徴である。本実施形態では、フレーム列の中から背景画像を選択し、符号化する。
【００３６】
画像入力部２１０１から入力された複数のフレーム列から構成される動画像は、画像選択部１０１によって、背景とするフレームとそれ以外のフレームに選択される。その際、画像内の被写体の有無に関わらず背景とするフレームを選択する。形状データ生成部１０３では、フレーム画像を入力し、その入力画像のフレームと背景のフレームとを比較し、そのフレーム差分により生成したデータを２値化して任意形状符号化用の形状データを生成する。背景データ補正部１０４では、背景として選択されたフレームを、形状データの生成結果を基に補正処理を行う。任意形状画像符号化部２１０５では、先に生成した形状データと画像データを同じフレームのタイミングで入力し、符号化を行う。その際、イントラモード（フレーム内符号化）とインターモード（フレーム間符号化）とを切り替えて行う。また、タイミングを合わせるためのデータ一時保存（メモリ）機能については、ここでは明示しないが、各機能ブロックが有しているものとする。画像データの符号化および形状データの符号化の詳細は、背景技術で説明したとおりである。多重化部２１０６は、複数のエンコードしたビットストリームの多重化を行う。ビデオの他にオーディオのビットストリームなども多重化する部分であるが、ここでは特に本発明固有の処理がないため、説明を省略する。
【００３７】
背景画像の選択方法は後に詳しく説明するが、ここではまず、その後の処理である、形状データの生成とそれに伴う背景データの補正処理について、図３の画面イメージ、および図５、図６、図７のフローチャートを用いて説明する。
【００３８】
まず図５のステップＳ７０１にて、最初の画像を入力する。ここでは、図３の画像５０１を最初の画像とする。背景フレームの判定ステップＳ７０２で、このフレームは背景と判定されるので、ステップＳ７０３にて、一時保存される。一時保存は差分処理を行うためのものである。次にステップＳ７０４にて、このフレームの形状データとして、全画面（全画素）オブジェクトの形状データを生成する。形状データ５１１は、この形状データを示している。終了判定Ｓ７０９では最終フレームか否かの判定を行う。この時点ではＮＯなので、ステップＳ７０１に戻り、次のフレームの画像入力に移る。２番目の画像５０２は、背景フレーム判定Ｓ７０２において、ＮＯと判定されるので、ステップＳ７０５に進み、背景フレームとの差分検出を行う。このとき背景となる画像が、先ほど一時保存しておいたフレーム５０１である。ステップＳ７０６にて、差分値の２値化を行い、形状データ生成する。フレーム５０１と５０２の差分値から生成される形状データは、形状データ５１２となる。補正判定ステップＳ７０７では、背景フレームの補正を行うか否かの判定を行う。判定方法の詳細は後に説明する。ここでは、ＮＯと判定として、ステップＳ７０１に戻る。３番目の画像５０３は、背景フレーム判定Ｓ７０２において、ＮＯと判定されるので、２番目の画像５０２と同様、ステップＳ７０５、Ｓ７０６の処理を行う。フレーム５０１と５０３の差分値から生成される形状データは、形状データ５１３となる。補正判定ステップＳ７０７で、ＹＥＳと判定されると、ステップＳ７０８に進み、背景データの補正を行う。背景データ補正時には、背景フレームを含むすべての入力画像と、各フレームにおける形状データの生成結果を利用する。補正方法の詳細は後ほど説明する。ステップＳ７０９の終了判定では、すべてのフレームを処理したかどうかを判定し、終了（ＹＥＳ）ならば一連の処理を終える。
【００３９】
次に図６（ａ）を用いて、背景フレーム以外のフレームを処理する方法の詳細を説明する。図６（ａ）において、ステップＳ８０１では、背景データ補正に必要な初期設定処理を行う。初期設定処理の詳細を、図７（ｂ）に示す。ステップＳ８０８のカウント値のセットは、各位置で背景と判定されたデータがいくつあるかを示すカウンタ値をセットするものである。ある位置（ｘ，ｙ）におけるカウンタ値をｃ（ｘ，ｙ）とすると、背景フレームのみを入力した状態では、画面全体で次式になる。
【００４０】
ｃ（ｘ，ｙ）＝１    ・・・（２）
【００４１】
ステップＳ８０９の画素値のセットは、各位置における背景の累積画素値の初期設定をするものである。ある位置（ｘ，ｙ）における画素値をｐ（ｘ，ｙ）とすると、背景フレームのみを入力した状態では、ｐ（ｘ，ｙ）は背景フレームの画素値そのものとなる。ステップＳ８１０の終了判定で、画面内の全画素を処理した段階でこの初期設定は終了となる。水平方向の画素数をＷ、垂直方向の画素数をＨとすると、Ｗ×Ｈの回数だけ上記の処理を行うことになる。ＲＧＢのカラー画像の場合はＷ×Ｈ×３、４：２：２と呼ばれるフォーマットの場合はＷ×Ｈ×２となる。図３のフレーム５０１を背景フレームとすると、領域５５１すなわち画面上すべての位置で、累積画素値は背景フレームの画素値となる。
【００４２】
図６（ａ）のステップＳ８０２では、背景以外のフレームを入力し、ステップＳ８０３で、背景データ補正のための前処理を行う。詳細を、図７（ｃ）を用いて説明する。まず、ステップＳ８１１にてあらかじめ保存しておいた背景フレームと、現入力との差分値を検出する。ステップＳ８１２にて、差分値と閾値の比較を行い、２値化する。ステップＳ８１３にて、２値化した結果の形状データが背景だった場合は、ステップＳ８１４にて、画素数のカウントを行う。ある位置（ｘ，ｙ）の２値化した結果が背景であったとすると、ｃ（ｘ，ｙ）は、０から１になる。ステップＳ８１５では、画素値の加算を行う。（ｘ，ｙ）における最初の背景フレームの画素値が５２で、現フレームの画素値が５０であったとすると、加算後の画素値は次式になる。
【００４３】
ｐ（ｘ，ｙ）＝５２＋５０＝１０２    ・・・（３）
【００４４】
また、２値化した結果が背景でなかった場合は、何も処理は行わない。これらの処理を画面内の全画素数だけ繰り返す。図３のフレーム５０２を最初の背景以外のフレームとすると、形状データ５１２における黒の領域がこのフレームにおける背景領域となる。したがって、領域５５３が、背景フレームの画素値、領域５５２が、フレーム５０１の画素値とフレーム５０２の画素値を加算した値となる。
【００４５】
全部の画素の処理が終了した段階（ステップＳ８１６の判定がＹＥＳ）で一連の前処理を終える。
【００４６】
ステップＳ８０４は、補正の後処理を開始するか否かの判定処理である。１つの背景フレームから、次の背景フレームまでの期間が、ひとつの処理単位となるので、次の背景フレームの直前のフレームまでは、ループ処理を繰り返す。背景フレームの挿入間隔が一定の場合には、次の背景フレームが来る前に判定が可能である。背景フレームの間隔が一定でない場合は、次の背景フレームを検出するまで、それまでの処理内容を保持しておく必要がある。また、最終フレームを検出した場合も、それまでの結果から後処理に移ることになる。図３のフレーム５０３を背景直前のフレームとすると、形状データ５１３の形状データ生成結果から、背景データの重なり具合によって、いくつかの領域が生じる。領域５５３は、フレーム５０１でのみ背景と判定された領域であり、この領域におけるカウンタ値ｃ（ｘ，ｙ）は１であり、累積画素値は、背景フレーム５０１の画素値そのものである。領域５５５は、フレーム５０１と５０２で背景と判定された領域であり、この領域におけるカウンタ値ｃ（ｘ，ｙ）は２、累積画素値は、５０１と５０２の画素値の和となる。領域５５４は、フレーム５０１、５０２、５０３で背景と判定された領域であり、この領域におけるカウンタ値ｃ（ｘ，ｙ）は３、累積画素値は、フレーム５０１、５０２、５０３の画素値の和となる。
【００４７】
ステップＳ８０５は、背景データ補正の後処理である。図７（ｄ）を用いて説明する。ステップＳ８１７で、平均画素値を算出する。これまで累積してきた画素値とカウンタ値から、ある位置（ｘ，ｙ）の平均画素値ａ（ｘ，ｙ）は、次式で求めることができる。
【００４８】
ａ（ｘ，ｙ）＝ｐ（ｘ，ｙ）／ｃ（ｘ，ｙ）  ・・・（４）
【００４９】
この処理を画面内の全画素数だけ繰り返し、全部の画素の処理が終了した段階（ステップＳ８１８の判定がＹＥＳ）で一連の後処理を終える。図３においては、領域５５３では、カウンタ値１なので、平均画素値は、累積画素値のまま、領域５５５では、カウンタ値２なので、平均画素値は、累積画素値／２、領域５５４では、カウンタ値３なので、平均画素値は、累積画素値／３となる。すなわち、背景画像と形状データの共通領域を求め、その共通領域毎の平均画像を生成し、１枚の合成背景画像データを生成する。
【００５０】
ステップＳ８０６は、最終の終了判定であり、シーケンスの最終フレームの処理が終わり（ＹＥＳ）ならば、終了となる。
【００５１】
このように、複数のフレームを用いて画像を平均化することにより、ノイズや微小変動による影響を抑制でき、復号後の合成画像においても、より自然な画像を得ることができる。図１の任意形状符号化部２１０５には、この補正した背景データと、その形状データ５１１を入力することになる。
【００５２】
先に説明したように、ＭＰＥＧ−４任意形状画像符号化方式では、フレーム内の処理を行うイントラモード（フレーム内符号化）と、フレーム間の処理を行うインターモード（フレーム間符号化）がある。符号化の処理モードをどう選ぶかという問題は、背景に設定するフレームをどう決めるかという問題と直接の関連はなく、自由に設定可能である。ただし、背景に設定したフレームをイントラモードにすると、効率のよい符号化が可能となる。インターモードでは、形状データもフレーム間のマッチングを取るため、各フレームの形状データが似ている場合は、形状データにおける発生符号量を小さくすることができる。フレーム５１１をイントラモードとして、フレーム５１２、５１３をインターモードとすると、形状データ５１３は、形状データ５１２と似ているため、発生符号量は、少なくて済むことになる。
【００５３】
ここで、背景フレームの設定方法について、図１０から図１３を用いて説明する。図１０は、シーンの内容とは無関係に周期的に背景を選択する方法である。先頭フレームから周期的に背景を更新することにより、画像の内容が変化しても発生符号量を抑えることができる。まず初期設定としてステップＳ１２０１にてフレーム数をカウントする値ｉを０にセットする。次にステップＳ１２０２にて、現フレームが先頭フレームであるか否かを判定する。カウント値ｉ＝０ならば、先頭フレームなので、ステップＳ１２０４にて背景フレームと設定する。先頭フレームでない場合は、ステップＳ１２０３にて、現フレームが周期Ｔの倍数か否かを判定する。カウント値ｉを周期Ｔで割った余りが０ならば、周期Ｔの倍数なので、ステップＳ１２０４にて背景フレームと設定する。現フレームが周期Ｔの倍数でない場合は、背景設定をせずに終了判定のステップＳ１２０５に進む。最終フレームでなければ、終了判定Ｓ１２０５はＮＯとなり、ステップＳ１２０６にてフレーム数のカウント値ｉを１つ増やして、ステップＳ１２０２に戻り、次のフレームの処理に移る。以下同様の処理を繰り返し、最終フレームの処理が終わった段階で、終了判定Ｓ１２０５がＹＥＳとなり、一連の処理を終える。
【００５４】
図１１は、動画像のシーンの内容を解析し、シーンチェンジが発生したところで背景フレームを設定する方法であり、図１０とは異なる方法を示している。シーンチェンジ検出直後の画像は直前の画像との相関が低いため、大きな差分データを発生してしまう。シーンチェンジが発生したフレームを背景とすることで、シーンにまたがっての差分処理を防ぎ、発生符号量を抑えることができる。まずステップＳ１３０１にて、現フレームが先頭フレームか否かの判定を行い、先頭フレームならば、ステップＳ１３０３にて背景フレームに設定する。現フレームが先頭フレームでない場合は、ステップＳ１３０２にて、シーンチェンジが発生しているか否かの判定を行う。シーンチェンジ検出法は、本実施形態に特に限定されるものはないが、フレーム間の差分絶対値を閾値処理により２値化し、閾値を超える領域の面積によって判定するのはその一例である。このようにして、現フレームがシーンチェンジを発生したフレームであると判定されると、ステップＳ１５０３にて背景フレームに設定する。シーンチェンジがなければ、背景設定をせずに終了判定のステップＳ１３０４に進む。最終フレームでなければ、終了判定Ｓ１３０４はＮＯとなり、ステップＳ１３０１に戻り、次のフレームの処理に移る。以下同様の処理を繰り返し、最終フレームの処理が終わった段階で、終了判定Ｓ１３０４がＹＥＳとなり、一連の処理を終える。
【００５５】
図１２は、図１０と図１１を組み合わせた背景フレーム設定法である。毎回周期Ｔ毎に背景を設定するが、それ以外にもシーンチェンジがあるフレームは背景とする。まず、ステップＳ１４０１にて、フレーム数を数えるカウンタ値ｉを０に初期設定する。次にステップＳ１４０２にて、ｉが０かどうかの判定を行う。これは、先頭フレームか否かの判定となる。先頭フレームならば、ステップＳ１４０５に進み、背景フレームに設定する。先頭フレームでない場合は、ステップＳ１４０３にて現フレームが周期Ｔの倍数か否かの判定を行う。判定は、フレーム値ｉを周期Ｔで割った余りが０ならば、倍数とするのが簡便な方法である。現フレームが周期Ｔの倍数ならば、ステップＳ１４０５にて、背景フレームに設定し、そうでなければ、ステップＳ１４０４のシーンチェンジ判定に進む。シーンチェンジがあればステップＳ１４０５にて背景フレームに設定し、そうでなければ、終了判定ステップＳ１４０６に進む。終了判定では最終フレームか否かの判定を行い、最終フレームでない場合は、ステップＳ１４０７にてカウンタ値ｉを１つ増やし、ステップＳ１４０２からの処理を繰り返す。最終フレームを処理した段階で終了判定のループを抜け、一連の処理を終了する。
【００５６】
図１３も、図１０と図１１を組み合わせた他の背景フレーム設定法である。図１３の場合は、図１２の場合と異なり、シーンチェンジ検出後、シーンチェンジのない区間の続く場合に周期的に背景を設定する。まず、ステップＳ１５０１にて、先頭フレームか否かの判定を行う。先頭フレームの判定方法は先に説明した方法でよい。先頭フレームならば、ステップＳ１５０３にて、背景フレームに設定し、ステップＳ１５０４にてフレームのカウンタ値ｉを１にセットする。ここでのカウンタ値ｉは先ほど説明した先頭からのフレーム数ではなく、背景フレームを常に１として、そこからのフレーム数を数えるものである。先頭フレームでなければ、ステップＳ１５０２で、シーンチェンジの判定を行う。シーンチェンジのフレームであれば、ステップＳ１５０３にて、背景フレームに設定し、ステップＳ１５０４にてカウンタ値ｉを１に設定する。シーンチェンジのフレームでなければ、ステップＳ１５０５にて、フレームのカウンタ値ｉを１つ増やす。背景フレームの直後であれば、ｉ＝２となる。次にステップＳ１５０６にて現フレームが周期Ｔの倍数か否かを判定する。判定方法としては、背景フレームからのカウント値ｉが周期Ｔと同じ値ならば、Ｔの倍数とするが簡便である。現フレームが周期Ｔの倍数ならば、ステップＳ１５０３にて、背景フレームに設定し、ステップＳ１５０４にてカウンタ値ｉを１に設定する。また、背景フレームからのカウント値ｉが周期Ｔに満たなければ、ステップＳ１５０７の終了判定に進む。終了判定では最終フレームか否かの判定を行い、最終フレームでない場合は、ステップＳ１５０１からの処理を繰り返す。これにより、シーンチェンジを検出時に背景フレーム設定をし、シーンチェンジがない区間が続く場合は、周期Ｔで背景フレーム設定をする、ということが可能となる。最終フレームを処理した段階で終了判定Ｓ１５０７はＹＥＳとなり、一連の処理を終了する。
【００５７】
次に、第１の実施形態で説明した符号化側の処理に対応する復号化側の処理について、図２、図４、図１４を用いて説明する。
【００５８】
図２は、復号化側の全体構成を示すブロック図である。分離部２２０１では、複数のビットストリームをデコーダ毎のビットストリームに分離する。ビットストリームの種類としては、ビデオの他にオーディオなどもあるが、ここでは本実施形態固有の処理であるビデオのビットストリームについてのみ図示している。任意形状画像復号化部２２０３では、分離されたビデオのビットストリームを入力し、画像データと形状データを復号画像として出力する。これは、背景技術で説明したＭＰＥＧ−４  Ｃｏｒｅ  Ｐｒｏｆｉｌｅのデコーダを用いるのがよい。画像合成部２０１では、入力した背景画像と現フレームの画像データおよび形状データから合成画像を生成し、画像出力部２２０５へ出力する。画像出力部２２０５は、ディスプレイのような画像表示装置が代表的なものであり、入力したフレームを所望のタイミングで順次表示する。
【００５９】
画像合成部２０１の処理手順を、図１４のフローチャートを用いて説明する。まずステップＳ１８０１にて、最初に入力されたフレームが背景かどうかの判定を行う。形状データが全画素オブジェクトであれば、その画像は背景であると判定できる。入力されたフレームが背景ならば、ステップＳ１８０２にて、合成のためにデータを一時保存する。ステップＳ１８０３では、背景フレームと現フレームとの合成を行うが、この時点では現フレームが背景フレームなので、ステップＳ１８０４では現フレームをそのまま出力する。ステップＳ１８０５の終了判定では最終フレームか否かの判定を行い、最終フレームでない場合は、ステップＳ１８０１に戻り、次のフレームの判定を行う。背景フレームでない場合は、ステップＳ１８０３にて先ほど一時保存した背景画像と現フレームの任意形状画像との合成を形状データを基にして行う。合成した画像は、ステップＳ１８０４にて出力し、終了判定ステップＳ１８０５に進む。以上の処理を繰り返し、最終フレームを処理した段階で終了判定のループを抜け、一連の処理を終了する。
【００６０】
図４において最初のフレームでは、画像データ６１１が任意形状の画像データ、形状データ６０１がその形状データ、画像データ６４１が合成画像データである。形状データ６０１がすべてオブジェクトを示しているので、画像データ６１１がそのまま合成後の出力画像６４１になっている。次のフレームでは、画像データ６１２が任意形状の画像データ、形状データ６０２がその形状データ、画像データ６４１が背景画像データである。形状データ６０２の黒い部分はオブジェクトでないので、背景画像データ６４１の画素を当てはめ、白い部分はオブジェクトなので、画像データ６１２の画素を当てはめる。各画素単位で画像データ６４１もしくは６１２の画素値を当てはめていくことにより、合成画像６４２を得ることができる。同様に、背景画像データ６４１と任意形状画像データ６１３を形状データ６０３に基づいて処理すると、合成画像６４３を得ることができる。
【００６１】
上述したように、第１の実施形態に係る画像処理装置によれば、あらかじめ背景画像を用意するような構成を採らなくても、連続して入力するフレームの中から背景画像と任意形状画像を選択することにより、シーンに限定されない汎用的な高能率符号化システムを実現することができる。特に背景データの補正処理により、ノイズや微小変動による影響を抑制でき、復号後の合成画像においても、より自然な画像を得ることが可能となる。
【００６２】
＜第２の実施形態＞
本発明の第２の実施形態について説明する。全体構成を図１（ｂ）に示す。第１の実施形態との違いは、背景データ補正部１０４によって得られたデータを、形状データの補正に利用することにある。図１（ａ）の形状データ生成部１０３を図１（ｂ）では、形状データ生成・補正部１０５としている。この２つの機能ブロックにおける画像データと形状データの処理手順を、図８、図９のフローチャートを用いて詳しく説明する。なお、図８には第１の実施形態の図５が、図９には第１の実施形態の図６が、それぞれ対応しており、同じ処理を行う部分については、同じ番号を付してある。
【００６３】
まず図８を用いて、全体の処理の流れを示す。ステップＳ７０１からステップＳ７０７までの処理は、図５で説明したとおりである。ステップＳ７０８にて、背景データの補正を行うが、第１の実施形態では、ひとつの処理区間につき１回補正するのみであった。ステップＳ１００１では、ステップＳ７０８の背景補正データを基に、形状データの補正を行う。形状データの補正を行うと、そのフレーム内で背景と判定される領域も変化するので、その情報を基に再度ステップＳ７０８にて、背景データの補正を行う。この処理をステップＳ１００２の補正終了判定がＹＥＳとなるまで繰り返す。補正終了判定がＹＥＳとなった時点で、ひとつの背景フレームに対応した区間の処理が終わり、次の背景フレームに対応した区間の処理を開始する。最終フレームまで処理すると、ステップＳ７０９の終了判定がＹＥＳとなり、一連の処理を終了する。
【００６４】
次に図９を用いて、背景フレーム以外のフレームを処理する方法の詳細を説明する。まずステップＳ８０１にて、図６で説明した初期設定を行う。次にステップＳ１１０１にて、フレーム数カウントのための初期設定を行う。ここでは、カウント値ｋ＝０とする。ステップＳ８０２にて、画像の入力をし、ステップＳ１１０２にて、フレーム数をカウントする。最初の背景以外のフレームを入力した時点では、ｋ＝１となる。次にステップＳ８０３にて、図６で説明した前処理を行う。ステップＳ８０４は、ひとつの背景に対し、処理するフレームの最後を判定するものである。次のフレームが背景である場合、またはシーケンスの最後のフレームである場合は、ＹＥＳとなり、処理終了となる。ＮＯの場合はステップＳ８０２からＳ８０３の処理を繰り返し、繰り返した回数がｋのカウント値となる。ここでは、ｋ＝ｋｍａｘとする。このループを抜けると、ステップＳ８０５にて、背景補正の後処理を行う。ここまでの処理により、補正後の背景データが得られることになる。この背景データを用いて、形状データの補正処理に進む。ステップＳ１１０３にて、処理するフレーム数をカウントする。ここでは、ｋｍａｘからカウントダウンを行う。ステップＳ１１０４では、新たな背景データを用いて前処理を行う。この処理は、ステップＳ１１０５にて終了と判定するまで、繰り返す。終了フレーム数の判定は、カウント値ｋ＝０となった時点で、ＹＥＳとなる。ここで、ステップＳ１１０６の後処理を行うと、最初に補正した背景データを用いて生成した補正形状データと、補正形状データによって再度補正された背景データが得られることになる。ステップＳ１１０７は、この再補正処理を何回繰り返すかの判定処理である。終了条件に満たない場合は、ステップＳ１１０８にて、０になったカウンタ値を再度ｋｍａｘに設定し、ステップＳ１１０３からの処理を繰り返す。ステップＳ１１０７の終了判定は、あらかじめ設定した回数の繰り返すという方法でも良いし、繰り返し毎に背景データや形状データの変化量を算出し、それが閾値以下の場合に繰り返しを打ち切る、といった動的な処理方法としても良い。このループを抜けると、ひとつの背景フレームに対応した区間の処理が終わることになる。最終フレームまで処理すると、ステップＳ８０６の終了判定がＹＥＳとなり、一連の処理を終了する。
【００６５】
このように、複数のフレームを用いて背景データを補正し、更に補正した背景データを用いて、形状データの補正を行う、といった処理を繰り返すと、より精度の高い背景データならびに形状データが得られることとなる。図１（ｂ）の任意形状符号化部２１０５には、この補正した背景データと補正した形状データを入力することになる。
【００６６】
また、背景フレームの設定方法については、第１の実施形態で説明したものと同様である。更に、復号側の処理についても、同様なので、ここでは説明を省略する。
【００６７】
上述したように、第２の実施形態に係る画像処理装置によれば、あらかじめ背景画像を用意するような構成を採らなくても、連続して入力するフレームの中から背景画像と任意形状画像を選択することにより、シーンに限定されない汎用的な高能率符号化システムを実現することができる。特に背景データならびに形状データの補正処理により、高精度の抽出結果が得られ、高能率の符号化が可能となる。
【００６８】
＜第３の実施形態＞
図２３は、本発明の第３の実施形態によるコンピュータのハードウエア構成例を示す。本実施形態は、前記第１及び第２の実施形態の装置をコンピュータで実現する例を示す。
【００６９】
バス２９０１には、中央処理装置（ＣＰＵ）２９０２、ＲＯＭ２９０３、ＲＡＭ２９０４、ネットワークインタフェース２９０５、入力装置２９０６、出力装置２９０７及び外部記憶装置２９０８が接続されている。
【００７０】
ＣＰＵ２９０２は、データの処理又は演算を行うと共に、バス２９０１を介して接続された各種構成要素を制御するものである。ＲＯＭ２９０３には、予めＣＰＵ２９０２の制御手順（コンピュータプログラム）を記憶させておき、このコンピュータプログラムをＣＰＵ２９０２が実行することにより、起動する。外部記憶装置２９０８にコンピュータプログラムが記憶されており、そのコンピュータプログラムがＲＡＭ２９０４にコピーされて実行される。ＲＡＭ２９０４は、データの入出力、送受信のためのワークメモリ、各構成要素の制御のための一時記憶として用いられる。外部記憶装置２９０８は、例えばハードディスク記憶装置やＣＤ−ＲＯＭ等であり、画像データ等を記憶し、電源を切っても記憶内容が消えない。ＣＰＵ２９０２は、ＲＡＭ２９０４内のコンピュータプログラムを実行することにより、第１及び第２の実施形態の処理を行う。
【００７１】
ネットワークインタフェース２９０５は、ネットワークに接続するためのインタフェースである。入力装置２９０６は、例えばキーボード及びマウス等であり、各種指定又は入力等を行うことができる。出力装置２９０７は、ディスプレイ及びプリンタ等である。
【００７２】
本実施形態は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録したコンピュータ読み取り可能な記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによって、達成することができる。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、第１及び第２の実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７３】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７４】
本実施形態を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【００７５】
尚、本実施形態は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用してもよい。
【００７６】
以上説明したように、第１〜第３の実施形態によれば、あらかじめ背景画像を用意するような構成を採らなくても、連続して入力するフレームの中から背景画像と任意形状画像を選択し、分離・合成することにより、シーンに限定されない汎用的な高能率符号化システムを実現することができる。
【００７７】
画像内の被写体の有無に関わらず背景画像とするフレームを選択することができるので、背景画像を設定するための事前処理が必要なくなる。また、矩形画像符号化手段を必要とせず、任意形状画像符号化手段のみで符号化することができる。また、背景データを補正することにより、動画像のノイズや微小変動による影響を抑制でき、復号後の合成画像においても、より自然な画像を得ることができる。
【００７８】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【００７９】
【図１】本発明の第１の実施形態における画像処理装置の構成を示すブロック図である。
【図２】復号化システムの構成を示すブロック図である。
【図３】本発明の第１の実施形態における形状データと画像データの処理について説明するための図である。
【図４】復号化システムにおける形状データと画像データの処理について説明するための図である。
【図５】本発明の第１の実施形態における形状データと画像データの全体の処理の流れを説明するためのフローチャートである。
【図６】本発明の第１の実施形態における形状データと画像データの詳細な処理の流れを説明するためのフローチャートである。
【図７】本発明の第１の実施形態における形状データと画像データの詳細な処理の流れを説明するためのフローチャートである。
【図８】本発明の第２の実施形態における形状データと画像データの全体の処理の流れを説明するためのフローチャートである。
【図９】本発明の第２の実施形態における形状データと画像データの詳細な処理の流れを説明するためのフローチャートである。
【図１０】本発明の実施形態に係る背景フレームの設定手順を説明するためのフローチャートである。
【図１１】本発明の実施形態に係る他の背景フレームの設定手順を説明するためのフローチャートである。
【図１２】本発明の実施形態に係る他の背景フレームの設定手順を説明するためのフローチャートである。
【図１３】本発明の実施形態に係る他の背景フレームの設定手順を説明するためのフローチャートである。
【図１４】復号化システムにおける画像データの合成手順を説明するためのフローチャートである。
【図１５】従来例に係る符号化側の画像処理装置の構成を示すブロック図である。
【図１６】従来例に係る復号化側の画像処理装置の構成を示すブロック図である。
【図１７】従来例に係る符号化側の画像処理装置の構成を示すブロック図であり、特に画像分離部の処理について説明するための図である。
【図１８】従来例に係る復号化側の画像処理装置の構成を示すブロック図であり、特に画像表示部の処理について説明するための図である。
【図１９】従来例に係る符号化側の形状データと画像データの処理について説明するための図である。
【図２０】従来例に係る復号化側の形状データと画像データの処理について説明するための図である。
【図２１】任意形状符号化部の構成を示すブロック図である。
【図２２】任意形状復号化部の構成を示すブロック図である。
【図２３】コンピュータのハードウエア構成例を示すブロック図である。
【符号の説明】
【００８０】
１０１  画像選択部
１０３  形状データ生成部
１０４  背景データ補正部
１０５  形状データ生成・補正部
２１０１  画像入力部
２１０５  任意形状画像符号化部
２１０６  多重化部
２９０１  バス
２９０２  ＣＰＵ
２９０３  ＲＯＭ
２９０４  ＲＡＭ
２９０５  ネットワークインタフェース
２９０６  入力装置
２９０７  出力装置
２９０８  外部記憶装置
【図１】
2005303738.tif 000003
【図２】
2005303738.tif 000004
【図３】
2005303738.tif 000005
【図４】
2005303738.tif 000006
【図５】
2005303738.tif 000007
【図６】
2005303738.tif 000008
【図７】
2005303738.tif 000009
【図８】
2005303738.tif 000010
【図９】
2005303738.tif 000011
【図１０】
2005303738.tif 000012
【図１１】
2005303738.tif 000013
【図１２】
2005303738.tif 000014
【図１３】
2005303738.tif 000015
【図１４】
2005303738.tif 000016
【図１５】
2005303738.tif 000017
【図１６】
2005303738.tif 000018
【図１７】
2005303738.tif 000019
【図１８】
2005303738.tif 000020
【図１９】
2005303738.tif 000021
【図２０】
2005303738.tif 000022
【図２１】
2005303738.tif 000023
【図２２】
2005303738.tif 000024
【図２３】
2005303738.tif 000025