(57)【要約】【課題】  背景画像を設定するための事前処理を必要とせず、汎用性の高い高能率符号化技術を提供することを課題とする。【解決手段】  複数のフレームから構成される動画像を入力する動画像入力手段（２１０１）と、動画像の中から背景画像とするフレームを選択する際に、画像内の被写体の有無に関わらず背景画像とするフレームを選択する画像選択手段（１０１）と、背景画像とするフレームと入力画像のフレームとを比較し、その差分値を基に形状データを生成する形状データ生成手段（１０３）と、形状データを補正する形状データ補正手段（１０４）と、入力画像を補正後の形状データと共に任意形状画像として符号化する任意形状画像符号化手段（２１０５）とを有する画像処理装置が提供される。【選択図】        図１
2005303739.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレームから構成される動画像を入力する動画像入力手段と、
前記動画像の中から背景画像とするフレームを選択する際に、画像内の被写体の有無に関わらず背景画像とするフレームを選択する画像選択手段と、
前記背景画像とするフレームと前記入力画像のフレームとを比較し、その差分値を基に形状データを生成する形状データ生成手段と、
前記形状データを補正する形状データ補正手段と、
前記入力画像を前記補正後の形状データと共に任意形状画像として符号化する任意形状画像符号化手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記形状データ補正手段は、形状データ内のノイズを除去することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記形状データ補正手段は、
形状データのオブジェクト領域を拡張する拡張手段と、
前記拡張されたオブジェクト領域の孤立領域を除去する除去手段と
を有することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記拡張手段は、形状データの対象オブジェクト領域の面積の変化量が小さくなるまで拡張を行うことを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記拡張手段は、形状データのオブジェクト領域数の変化が小さくなるまで拡張を行うことを特徴とする請求項３記載の画像処理装置。
【請求項６】
前記除去手段は、前記拡張後にオブジェクト領域の面積の変化が大きかった領域を残し、小さかった領域をノイズとして除去することを特徴とする請求項３又は４記載の画像処理装置。
【請求項７】
前記除去手段は、前記拡張後に統合された領域が多かったオブジェクト領域を残し、少なかったオブジェクト領域を除去することを特徴とする請求項３又は５記載の画像処理装置。
【請求項８】
前記形状データ補正手段は、さらに、前記孤立領域除去後の形状データと前記拡張前の形状データとの論理積を形状データとする論理積手段を有することを特徴とする請求項３〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記形状データ補正手段は、さらに、前記孤立領域除去後の形状データのオブジェクト領域を縮小する縮小手段を有することを特徴とする請求項３〜７のいずれか１項に記載の画像処理装置。
【請求項１０】
前記拡張手段は、モルフォロジカルフィルタにおけるディレージョン処理により拡張することを特徴とする請求項３〜９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記縮小手段は、モルフォロジカルフィルタにおけるエロージョン処理により縮小することを特徴とする請求項９記載の画像処理装置。
【請求項１２】
前記形状データ補正手段又は前記形状データ生成手段は、形状データを２値化した結果を、前記任意形状画像符号化手段における形状データの処理単位ブロックの形状データに変換する手段を有することを特徴とする請求項１〜１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記形状データ生成手段は、入力画像が背景画像とするフレームである場合は、形状データを全画素オブジェクトとして出力することを特徴とする請求項１〜１２のいずれか１項に記載の画像処理装置。
【請求項１４】
前記画像選択手段は、先頭のフレームから、一定の周期で背景画像とするフレームを選択することを特徴とする請求項１〜１３のいずれか１項に記載の画像処理装置。
【請求項１５】
前記画像選択手段は、前記動画像のシーンチェンジ検出時にそのフレームを背景画像とするフレームとして選択することを特徴とする請求項１〜１３のいずれか１項に記載の画像処理装置。
【請求項１６】
前記画像選択手段は、前記動画像のシーンチェンジ検出後から一定周期で背景画像とするフレームを選択することを特徴とする請求項１５記載の画像処理装置。
【請求項１７】
前記任意形状画像符号化手段は、フレーム内符号化とフレーム間符号化を切り替えて行うことを特徴とする請求項１〜１３のいずれか１項に記載の画像処理装置。
【請求項１８】
前記画像選択手段は、前記任意形状画像符号化手段におけるフレーム内符号化処理に対応させて背景画像とするフレームを選択することを特徴とする請求項１７記載の画像処理装置。
【請求項１９】
複数のフレームから構成される動画像を入力する動画像入力ステップと、
前記動画像の中から背景画像とするフレームを選択する際に、画像内の被写体の有無に関わらず背景画像とするフレームを選択する画像選択ステップと、
前記背景画像とするフレームと前記入力画像のフレームとを比較し、その差分値を基に形状データを生成する形状データ生成ステップと、
前記形状データを補正する形状データ補正ステップと、
前記入力画像を前記補正後の形状データと共に任意形状画像として符号化する任意形状画像符号化ステップと
を有することを特徴とする画像処理方法。
【請求項２０】
請求項１９記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
【請求項２１】
請求項１９記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、特に動画像を符号化するための画像処理技術に関する。
【背景技術】
【０００２】
近年、デジタル技術を利用して画像を対象物（オブジェクト）毎に分離、合成する処理が注目されている。特に、動画像の符号化においては、国際標準としてＭＰＥＧ−４符号化方式が規格化されている。ＭＰＥＧ−４符号化方式では、任意形状の画像データが扱え、オブジェクト毎の符号化／復号化を行うことにより、符号化効率の向上、伝送路に応じたデータ配分、画像の再加工等、従来は困難であったさまざまな応用が期待されている。
【０００３】
また、動画像処理における対象物の抽出方法としては、一般に背景差分方式という手法が知られている。これは、予め撮影した背景画像と実際の入力画像とを比較することにより、変化点を検出する方法である。以下、簡単にその原理について説明する。
【０００４】
まず、画像平面上の座標（ｘ，ｙ）における点の入力画像の画素値をＰｃ（ｘ，ｙ）、背景画像の画素値をＰｂ（ｘ，ｙ）とする。このとき、Ｐｃ（ｘ，ｙ）とＰｂ（ｘ，ｙ）との差分をとり、その絶対値をある閾値Ｔｈと比較する。
【０００５】
判定式の例を示すと次の通りである。
ｉｆ（｜Ｐｃ（ｘ，ｙ）−Ｐｂ（ｘ，ｙ）｜ ≦ Ｔｈ）  Ｓ（ｘ，ｙ）＝０；
ｅｌｓｅ  Ｓ（ｘ，ｙ）＝１；                                    …  （１）
【０００６】
差分絶対値が閾値Ｔｈ以下の場合、この点（ｘ，ｙ）は変化なしということで、Ｐｃ（ｘ，ｙ）は背景と判定され、Ｓ（ｘ，ｙ）＝０となる。一方、差分絶対値が閾値Ｔｈを超えている場合は、値が変化したということで抽出対象とみなされＳ（ｘ、ｙ）＝１となる。画面上のすべての点において上記の判定を行うことで、１フレーム分の抽出が完了する。
【０００７】
図１７は、背景差分方式とＭＰＥＧ−４符号化方式を組み合わせた従来のシステムの構成を示すブロック図である。図１７において、画像入力部２１０１は、例えばカメラの撮像部であり、動画像を入力する部分である。画像分離部２１０２は、背景画像として処理するフレームと任意形状画像として処理するフレームとを切り替えるスイッチ回路である。背景画像に設定したフレームは、矩形画像符号化部２１０４で、１フレーム分符号化される。形状データ生成部２１０３では、先の背景画像と現在入力された画像との比較により、形状データＳ（ｘ，ｙ）を生成する。一般に形状データＳ（ｘ，ｙ）は、オブジェクトであるか否かの２値データである。任意形状画像符号化部２１０５では、画像データと形状データを入力とし、符号化した結果をビットストリームとして出力する。多重化部２１０６では図示した矩形画像と任意形状画像の２種類のビットストリームの他に、オーディオのビットストリームなどを１本のデータにまとめるべく、多重化処理を行う。
【０００８】
図１９は、図１７のブロック図をより具体的に説明するための図である。フレーム２３０１から２３１８は、画像入力部２１０１から入力されたフレームのデータ列であり、先頭のフレーム２３０１が背景のみが映っている画像、フレーム２３１１以降が抽出対象も映っている画像である。画像分離部２１０２では、フレーム２３０１を背景画像に、フレーム２３１１以降を任意形状画像に切り替えている。この切り替えの最も簡単な方法は、入力画像を見ながら、手動で操作するのが確実である。
【０００９】
実際のデータ処理の流れを図２１を用いて説明する。画像２５００が背景画像２３０１に対応し、画像２５０１が任意形状画像２３１１に対応しているものとする。このとき、差分処理部２３５１では、画像２５００及び２５０１が入力され、先に説明した背景差分法により、対応する画素間の差が閾値以下か否かで２値化したデータを出力する。形状データ２５１１は２値化された形状データであり、黒い部分が背景、白い部分がオブジェクトを示している。同様に、画像２５０２、２５０３がそれぞれフレーム２３１２、２３１３に対応しているとすると、生成される形状データは、背景画像２５００との差分閾値処理をした結果、形状データ２５１２、２５１３となる。
【００１０】
図１９では、任意形状画像符号化にＭＰＥＧ−４のＣｏｒｅ  Ｐｒｏｆｉｌｅのエンコーダ２３５３を用いている。以下、この符号化方式について説明する。
【００１１】
オブジェクト（対象物）を符号化する場合には、オブジェクトの形と位置の情報を符号化する必要がある。そのために、まず、オブジェクトを内包する矩形領域を設定し、この矩形の左上位置の座標と矩形領域の大きさを符号化する。この矩形領域はバウンディングボックスと呼ばれる。また、画像データ、形状データにより表現されるオブジェクト内部の領域をＶＯＰ（Ｖｉｄｅｏ  Ｏｂｊｅｃｔ  Ｐｌａｎｅ）と呼ぶ。
【００１２】
図２３は、図１９の符号化部２３５３の細部構成を示すブロック図である。尚、入力されるデータは画像の輝度・色差データと形状データであり、それらはマクロブロック単位で処理される。
【００１３】
まず、イントラモードでは、各ブロックをＤＣＴ部２７０１において離散コサイン変換（ＤＣＴ）し、量子化部２７０２で量子化する。量子化されたＤＣＴ係数と量子化幅は、可変長符号化部２７１２で可変長符号化される。また、インターモードで利用する参照画像を生成するため、一旦量子化されたデータは、逆量子化部２７０３、逆ＤＣＴ部２７０４を経て、画像データに戻される。これはローカルデコードの画像とも呼ばれる。この画像はメモリ部２７０５に保存される。
【００１４】
一方、インターモードでは、動き検出部２７０７においてメモリ部２７０５に保存されている時間的に隣接する別のＶＯＰの中からブロックマッチングをはじめとする動き検出方法により動きを検出し、動きベクトル予測部２７０８で対象マクロブロックに対して誤差のもっとも小さい予測マクロブロックを検出する。誤差の最も小さい予測マクロブロックへの動きを示すデータが動きベクトルである。尚、予測マクロブロックを生成するために参照する画像を参照ＶＯＰと呼ぶ。
【００１５】
検出された動きベクトルに基づいて、参照ＶＯＰを動き補償部２７０６において動き補償し、最適な予測マクロブロックを取得する。次に対象となるマクロブロックと対応する予測マクロブロックとの差分を求め、この差分画像に対してＤＣＴ部２７０１でＤＣＴを施し、ＤＣＴ変換係数を量子化部２７０２で量子化する。この時も量子化されたデータは、逆量子化部２７０３、逆ＤＣＴ部２７０４を経て、画像データに戻される。この時の逆ＤＣＴ部２７０４の出力は差分画像となるので、前の画像と合成した後、メモリ部２７０５に保存される。
【００１６】
一方、形状データは、形状符号化ＣＡＥ部２７０９で符号化される。但し、ここで実際にＣＡＥ符号化が行われるのは境界ブロックのみであり、ＶＯＰ内のブロック（ブロック内全てのデータがオブジェクト内）やＶＯＰ外のブロック（ブロック内全てのデータがオブジェクト外）はヘッダ情報のみが可変長符号化部２７１２に送られる。また、ＣＡＥ符号化が施される境界ブロックは、画像データと同様に、インターモードにおいては、動き検出部２７０７による動き検出を行い、動きベクトル予測部２７０８で動きベクトルの予測を行う。そして、動き補償した形状データと前フレームの形状データとの差分値に対しＣＡＥ符号化を行う。
【００１７】
また、図１９では、矩形画像符号化にＭＰＥＧ−４のＳｉｍｐｌｅ  Ｐｒｏｆｉｌｅのエンコーダ２３５２を用いている。以下、この符号化方式について説明する。Ｓｉｍｐｌｅ  Ｐｒｏｆｉｌｅのエンコーダ２３５２は、Ｃｏｒｅ  Ｐｒｏｆｉｌｅのエンコーダ２３５３と下位互換がある。図２３において、任意形状に関する処理、すなわち形状符号化ＣＡＥ部２７０９、メモリ部２７１０、動き補償部２７１１を除いたものがＳｉｍｐｌｅ  Ｐｒｏｆｉｌｅのエンコーダとなる。画像データの処理手順は、Ｃｏｒｅ  Ｐｒｏｆｉｌｅの画像データの処理と同じである。背景画像は１フレーム分符号化すればよいので、必  ずしも動画像の符号化方式を用いなくてもよく、静止画符号化方式でもよい。
【００１８】
ＭＵＸ処理部２３５４は、多重化部２１０６に対応し、多重化を行う。
【００１９】
次に復号側の処理について説明する。
図１８が、全体の概略構成ブロック図である。符号化側で１本にまとめられたビットストリームは、分離部２２０１で各デコーダが入力できるビットストリームに分離処理される。このうち、符号化された背景画像は、矩形画像復号化部２２０２により１フレームの画像データに復号される。任意形状画像復号化部２２０３では、形状データと形状データに対応した画像データを復号する。画像合成部２２０４では、形状データの値を基に、背景画像と任意形状画像を画素単位で切り替え、合成画像を生成する。画像出力部２２０５は、一般的にはモニタ等の画像表示装置である。
【００２０】
図２０と図２２を用いて、図１８のブロック図をより具体的に説明する。図１８における分離部２２０１、矩形画像符号化部２２０２、任意形状符号化部２２０３、画像合成部２２０４がそれぞれ、図２０におけるＤＥＭＵＸ処理２４５１、ＭＰＥＧ−４  Ｓｉｍｐｌｅ  Ｐｒｏｆｉｌｅのデコーダ２４５２、ＭＰＥＧ−４  Ｃｏｒｅ  Ｐｒｏｆｉｌｅのデコーダ２４５３、合成処理部２４５４に対応している。フレーム２４１１から２４１８は、画像出力部２２０５において表示されるフレームのデータ列であり、図１９における入力画像２３１１から２３１８に対応している。
【００２１】
ＭＰＥＧ−４  Ｓｉｍｐｌｅ  Ｐｒｏｆｉｌｅデコーダ２４５２の出力は図２２における背景画像２６００となる。背景画像は最初に１フレーム復号するだけなので、デコーダは静止画の復号化方式でもよい。また、背景画像は必ず他の画像と合成処理されるので、背景画像がそのまま出力されることはない。
【００２２】
ＭＰＥＧ−４  Ｃｏｒｅ  Ｐｒｏｆｉｌｅデコーダ２４５３は、まず形状データ２６０１、画像データ２６１１を出力する。合成処理２４５４では、形状データ２６０１で背景と判断されている画素に関しては、背景画像２６００の画素を、オブジェクトと判断されている画素に関しては、画像データ２６１１の画素を選択し、合成画像２６２１を生成する。この画像は、符号化側における画像２５０１に対応している。画像２５０２に対応する復号画像は、形状データ２６０２と画像データ２６１２ならびに復号背景画像２６００から合成され、画像２６２２となる。同様に、画像２５０３に対応する復号画像は、画像２６２３となる。
【００２３】
ここで、ＭＰＥＧ−４  Ｃｏｒｅ  Ｐｒｏｆｉｌｅデコーダ２４５３の詳細を、図２４を用いて説明する。基本的には図２３の逆の動作であり、マクロブロック単位で、画像の輝度・色差データと形状データが復号される。
【００２４】
まず、イントラモードでは、可変長復号化部２８０１が、量子化されたＤＣＴ係数の復号化を行い、それを逆量子化部２８０２に入力する。逆量子化部２８０２の出力は、復号したＤＣＴ係数となり、逆ＤＣＴ部２８０３の入力となる。逆ＤＣＴ部２８０３では、逆ＤＣＴ処理を行うことにより、復号画像を出力する。この時の画像は、インターモードで利用する参照画像とするため、メモリ部２８０４に保存される。
【００２５】
一方、インターモードでは、逆量子化部２８０２、逆ＤＣＴ部２８０３を経て復号される画像は、フレーム間の差分画像である。また、動きベクトル復号部２８０６においては、動きベクトルを復号する。動き補償部２８０５では、復号した動きベクトルを用いてメモリ部２８０４に保存されている前フレームの画像から動き補償した画像を生成する。この画像と先の差分画像を合成することにより、インターモードにおける画像の復号が行われる。
【００２６】
また、形状データは、可変長復号化部２８０１から形状復号化ＣＡＥ部２８０７を経て復号される。インターモードの場合は、メモリ部２８０８に保存しておいた前フレームの形状データを動きベクトル復号化部２８０６によって復号した動きベクトルを用いて、動き補償部２８０９で動き補償した後、形状復号化ＣＡＥ部２８０７にて復号される。
【００２７】
図２０では、矩形画像復号化にＭＰＥＧ−４のＳｉｍｐｌｅ  Ｐｒｏｆｉｌｅのデコーダ２４５２を用いている。以下、この符号化方式について説明する。Ｓｉｍｐｌｅ  Ｐｒｏｆｉｌｅのデコーダ２４５２は、Ｃｏｒｅ  Ｐｒｏｆｉｌｅのデコーダ２４５３と下位互換がある。図２４において、任意形状に関する処理、すなわち形状復号化ＣＡＥ部２８０７、メモリ部２８０８、動き補償部２８０９を除いたものがＳｉｍｐｌｅ  Ｐｒｏｆｉｌｅのデコーダ２４５２となる。画像データの処理手順は、Ｃｏｒｅ  Ｐｒｏｆｉｌｅの画像データの処理と同じである。背景画像は１フレーム分復号化すればよいので、必ずしも動画像の復号化方式を用いなくてもよく、静止画復号化方式でもよい。
【００２８】
しかしながら、上述したシステムは、あらかじめ背景のみの画像を用意しておかなければならないという欠点があった。また、入力画像と背景画像の間に相対的な位置のずれが生じると、正しくオブジェクトが抽出できない、という問題もある。カメラの動く範囲があらかじめわかっている場合は、下記の特許文献１に開示されているように、スプライトと呼ばれる広範囲の画像を用意しておくことで、ある程度の対策は可能だが、あらかじめ前準備が必要であることには変わりがない。
【００２９】
つまり、上記のシステムは、精度のよい抽出結果を得るにはよい構成であるが、符号化効率の向上を目的としてみた場合、適応範囲が限定されてしまうため、単純に矩形の動画像符号化システムから任意形状の動画像符号化システムへ置き換えることができないという問題があった。
【００３０】
【特許文献１】特開２００２−１１８８４３号公報
【発明の開示】
【発明が解決しようとする課題】
【００３１】
本発明は、このような事情を考慮してなされたものであり、背景画像を設定するための事前処理を必要とせず、矩形の動画像符号化システムとの単純な置き換えが可能である汎用性の高い高能率符号化技術を提供することを目的とする。
【課題を解決するための手段】
【００３２】
本発明の画像処理装置は、複数のフレームから構成される動画像を入力する動画像入力手段と、前記動画像の中から背景画像とするフレームを選択する際に、画像内の被写体の有無に関わらず背景画像とするフレームを選択する画像選択手段と、前記背景画像とするフレームと前記入力画像のフレームとを比較し、その差分値を基に形状データを生成する形状データ生成手段と、前記形状データを補正する形状データ補正手段と、前記入力画像を前記補正後の形状データと共に任意形状画像として符号化する任意形状画像符号化手段とを有することを特徴とする。
また、本発明の画像処理方法は、複数のフレームから構成される動画像を入力する動画像入力ステップと、前記動画像の中から背景画像とするフレームを選択する際に、画像内の被写体の有無に関わらず背景画像とするフレームを選択する画像選択ステップと、前記背景画像とするフレームと前記入力画像のフレームとを比較し、その差分値を基に形状データを生成する形状データ生成ステップと、前記形状データを補正する形状データ補正ステップと、前記入力画像を前記補正後の形状データと共に任意形状画像として符号化する任意形状画像符号化ステップとを有することを特徴とする。
【００３３】
また、本発明のプログラムは、上記の画像処理方法の各ステップをコンピュータに実行させるためのプログラムである。
また、本発明の記録媒体は、上記の画像処理方法の各ステップをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００３４】
画像内の被写体の有無に関わらず背景画像とするフレームを選択することができるので、背景画像を設定するための事前処理が必要なくなる。また、矩形画像符号化手段を必要とせず、任意形状画像符号化手段のみで符号化することができる。また、形状データを補正することにより、形状データ内のノイズを除去し、高能率の符号化を行うことができる。
【発明を実施するための最良の形態】
【００３５】
以下、図面を参照して、本発明の好適な実施形態について詳細に説明する。
＜第１の実施形態＞
本発明の第１の実施形態について説明する。図１（ａ）は、符号化側の全体構成を示すブロック図である。背景技術で説明した図１７との大きな違いは、背景画像と任意形状画像の選択方法が異なる（画像選択部１０１）こと、形状データ生成後にそれの補正部１０４を設けていること、画像データ用のメモリ部１０５を設けていること、矩形形状符号化部２１０４が不要であること、などである。図１９における背景画像２３０１をあらかじめ用意しておかないことが、本実施形態の大きな特徴である。本実施形態では、フレーム列の中から背景画像を選択し、符号化する。
【００３６】
画像入力部２１０１から入力された複数のフレーム列から構成される動画像は、画像選択部１０１によって、背景とするフレームとそれ以外のフレームに選択される。その際、画像内の被写体の有無に関わらず背景とするフレームを選択する。形状データ生成部１０３では、フレーム画像を入力し、その入力画像のフレームと背景のフレームとを比較し、そのフレーム差分により生成したデータを二値化して任意形状符号化用の形状データを生成する。形状補正部１０４では、複数の任意形状データをまとめて１つの形状に加工し、ノイズを除去する。メモリ部１０５は、形状補正部１０４の出力タイミングに合わせて画像データを出力するためのものである。任意形状画像符号化部２１０５では、先に生成した形状データとメモリ部１０５からの出力である画像データを同じフレームのタイミングで入力し、符号化を行う。画像データの符号化および形状データの符号化の詳細は、背景技術で説明したとおりである。任意形状画像符号化部２１０５は、イントラモード（フレーム内符号化）とインターモード（フレーム間符号化）とを切り替えて符号化を行う。多重化部２１０６は、複数のエンコードしたビットストリームの多重化を行う。ビデオの他にオーディオのビットストリームなども多重化する部分であるが、ここでは特に本実施形態固有の処理がないため、説明を省略する。
【００３７】
メモリ部１０５で行う画像データの保持を、形状データ生成部１０３や形状補正部１０４に含められる場合は、図１（ｂ）のようなブロック図となる。この場合、形状データ生成部１０３の出力が、画像データと形状データのペアとなり、以降この組み合わせを保持したまま処理を行うこととなる。
【００３８】
背景画像の選択方法は後に詳しく説明するが、ここではまず、その後の処理である、形状データの生成とその補正処理について、図３の画面イメージ、および図８のフローチャートを用いて説明する。
【００３９】
まずステップＳ１００１で、最初の画像５０１を入力する。背景フレームの判定ステップＳ１００２で、このフレームは背景と判定されるので、ステップＳ１００３にて、一時保存される。一時保存は差分処理を行うためのものである。次にステップＳ１００４にて、このフレームの形状データとして、全画面（全画素）オブジェクトの形状データを生成する。形状データ５１１はこの形状データを示している。終了判定Ｓ１００７では最終フレームか否かの判定を行う。この時点ではＮＯなので、ステップＳ１００１に戻り、次のフレームの画像入力に移る。２番目の画像５０２は、背景フレーム判定Ｓ１００２において、ＮＯと判定されるので、ステップＳ１００５に進み、入力画像５０２と背景フレームとの差分検出を行う。このとき背景となる画像が、先ほど一時保存しておいたフレーム５０１である。ステップＳ１００６にて、差分値の２値化を行い、形状データを生成する。このときオブジェクト（ここでは人物）の動きが大きい場合は、動いた領域全体を抽出することができるが、小さい動きの場合は、隣接画素の相関が低い部分だけが抽出されることになる。したがって、フレーム５０１と５０２の差分値から生成される形状データは、形状データ５１２に示す形状となる。これは、一種のエッジ検出のような結果となる。目や口のようなオブジェクト内部のエッジ領域も抽出されるが、この図の説明では省略する。終了判定Ｓ１００７では再度ＮＯとなり、ステップＳ１００１に戻り、次のフレームの画像入力に移る。３番目の画像５０３は、背景フレーム判定Ｓ１００２において、ＮＯと判定されるので、ステップＳ１００５に進み、画像５０２と同じ処理が行われる。生成された形状データは、形状データ５１３に示す形状となる。以上の処理を繰り返し行い、最後のフレームの処理が終わったところで、終了判定Ｓ１００７にてＹＥＳとなり、一連の処理を終える。
【００４０】
ただし、図３の形状データ５１２や５１３は、ノイズを含まない理想状態の場合であり、実際の処理結果は、図４の形状データ５２２のようなノイズを含んだものとなる。形状データのノイズをそのまま符号化しては、全体の符号化効率が低下することになるので、次の処理として、形状データの補正処理を行う。ここでは、図４の形状データ５２２を用いて説明する。まず図９（ａ）のステップＳ１１０１にて、補正前の形状データ５２２を入力する。次にステップＳ１１０３にて領域拡張処理を行う。領域拡張方法の詳細は、後に図６を用いて説明する。ステップＳ１１０４では、終了判定を行い、ＮＯであればステップＳ１１０３に戻り、領域拡張処理を繰り返す。繰り返しの回数は固定でも良いが、動的に変化させる場合の終了判定方法については、後に図１５を用いて説明する。領域拡張終了時に得られる結果が、図４の形状データ５３２である。この処理によって、細かい断片であった輪郭線上の領域は、まとまった領域となる。次にステップＳ１１０６にて、孤立領域除去を行う。これは、領域拡張後もどこにもつながらなかった領域を、ノイズにより発生した領域とみなし、削除するものである。除去後の結果が、図４の形状データ５４２である。次にステップＳ１１１０にて、入力した形状データ（拡張前の形状データ）５２２と孤立領域除去後の形状データ５４２とのＡＮＤ（論理積）処理を行う。これにより、領域拡張によって広がった分の領域を除去し、元の入力データ５２２からノイズだけを除去した形状データ５５２を得ることができる。ステップＳ１１１１は、このデータの出力処理であり、図４の形状データ５５２がその結果を示している。
【００４１】
ここで、図６を用いて、領域拡張の処理について説明する。これはモルフォロジカルフィルタのディレージョンと呼ばれる処理である。図６（ａ）が処理対象の形状データ、図６（ｂ）がオペレータと呼ばれるものであり、ここでは３×３画素の矩形データである。図６（ａ）の画素上に図６（ｂ）のオペレータの中心を配置した時に、図６（ｂ）の画素で覆われる部分を拡張したデータとみなす。図６（ａ）の形状データの画素すべてにこの処理を加えると、図６（ｃ）の結果を得る。このとき、図６（ｄ）における白丸の画素が新たに拡張された画素である。この形状データに更に同じオペレータで処理を加えたのが、図６（ｅ）の結果である。同様に、図６（ｆ）における白丸の画素が新たに拡張された画素である。本実施形態では、終了判定までこの処理を繰り返す。近隣にオブジェクト領域があれば、拡張処理を繰り返すことによって、領域が統合されていく。
【００４２】
次に、図１５を用いて、領域拡張の終了を動的に判定する処理について説明する。ここでは２種類の方法を説明する。図１５（ａ）は、領域面積の変化量を検出する方法である。抽出された複数の領域のうち、ひとつの領域をオブジェクト領域と仮定する。領域拡張を繰り返すと、このオブジェクト領域は近隣の領域と統合して面積が次々と増加していく。近隣に統合する領域がなくなると、面積増加は鈍くなる。更に領域拡張を続けると、今度は拡張されたノイズ領域との統合が始まる。このときの面積増加は不連続なものとなる。これらの関係から閾値を求め、この時点を領域拡張の終了とする。ノイズ領域との統合は、確認のためのものであるので、面積増加が鈍く（小さく）なった時点で、終了判定をしても構わない。図１５（ｂ）は、領域数の変化量を検出する方法である。領域拡張を繰り返していくにつれ、近隣の領域が統合されていくため、領域数は減少していく。近隣に統合される領域がなくなると、領域数の変化がなくなる。更に領域拡張を続けると、今度は拡張されたノイズ領域との統合によって領域数が減少する。このときの領域数の減少は不連続なものとなる。これらの関係から閾値を求め、この時点を領域拡張の終了とする。ノイズ領域との統合は、確認のためのものであるので、領域数の減少が鈍く（小さく）なった時点で、終了判定をしても構わない。
【００４３】
図９のステップＳ１１０６の孤立領域除去は、図１５（ａ）に対応し、拡張後にオブジェクト領域の面積の変化が大きかった領域を残し、小さかった領域をノイズとして除去することができる。また、図１５（ｂ）に対応し、拡張後に統合された領域が多かったオブジェクト領域を残し、少なかったオブジェクト領域を除去することができる。
【００４４】
先に説明したように、ＭＰＥＧ−４任意形状画像符号化方式では、フレーム内の処理を行うイントラモード（フレーム内符号化）と、フレーム間の処理を行うインターモード（フレーム間符号化）がある。符号化の処理モードをどう選ぶかという問題は、背景に設定するフレームをどう決めるかという問題と直接の関連はなく、自由に設定可能である。ただし、背景に設定したフレームをイントラモードにすると、効率のよい符号化が可能となる。インターモードでは、形状データもフレーム間のマッチングを取るため、各フレームの形状データが似ている場合は、形状データにおける発生符号量を小さくすることができる。図３のフレーム５１１をイントラモードとして、フレーム５１２、５１３をインターモードとすると、形状データ５１３は、形状データ５１２と似ているため、発生符号量は、少なくて済むことになる。
【００４５】
ここで、背景フレームの設定方法について、図１０から図１３を用いて説明する。図１０は、シーンの内容とは無関係に周期的に背景を選択する方法である。先頭フレームから周期的に背景を更新することにより、画像の内容が変化しても発生符号量を抑えることができる。まず初期設定としてステップＳ１２０１にてフレーム数をカウントする値ｉを０にセットする。次にステップＳ１２０２にて、現フレームが先頭フレームであるか否かを判定する。カウント値ｉ＝０ならば、先頭フレームなので、ステップＳ１２０４にて背景フレームと設定する。先頭フレームでない場合は、ステップＳ１２０３にて、現フレームが周期Ｔの倍数か否かを判定する。カウント値ｉを周期Ｔで割った余りが０ならば、周期Ｔの倍数なので、ステップＳ１２０４にて背景フレームと設定する。現フレームが周期Ｔの倍数でない場合は、背景設定をせずに終了判定のステップＳ１２０５に進む。最終フレームでなければ、終了判定Ｓ１２０５はＮＯとなり、ステップＳ１２０６にてフレーム数のカウント値ｉを１つ増やして、ステップＳ１２０２に戻り、次のフレームの処理に移る。以下同様の処理を繰り返し、最終フレームの処理が終わった段階で、終了判定Ｓ１２０５がＹＥＳとなり、一連の処理を終える。
【００４６】
図１１は、動画像のシーンの内容を解析し、シーンチェンジが発生したところで背景フレームを設定する方法であり、図１０とは異なる方法を示している。シーンチェンジ検出直後の画像は直前の画像との相関が低いため、大きな差分データを発生してしまう。シーンチェンジが発生したフレームを背景とすることで、シーンにまたがっての差分処理を防ぎ、発生符号量を抑えることができる。まずステップＳ１３０１にて、現フレームが先頭フレームか否かの判定を行い、先頭フレームならば、ステップＳ１３０３にて背景フレームに設定する。現フレームが先頭フレームでない場合は、ステップＳ１３０２にて、シーンチェンジが発生しているか否かの判定を行う。シーンチェンジ検出法は、本実施形態に特に限定されるものはないが、フレーム間の差分絶対値を閾値処理により２値化し、閾値を超える領域の面積によって判定するのはその一例である。このようにして、現フレームがシーンチェンジを発生したフレームであると判定されると、ステップＳ１３０３にて背景フレームに設定する。シーンチェンジがなければ、背景設定をせずに終了判定のステップＳ１３０４に進む。最終フレームでなければ、終了判定Ｓ１３０４はＮＯとなり、ステップＳ１３０１に戻り、次のフレームの処理に移る。以下同様の処理を繰り返し、最終フレームの処理が終わった段階で、終了判定Ｓ１３０４がＹＥＳとなり、一連の処理を終える。
【００４７】
図１２は、図１０と図１１を組み合わせた背景フレーム設定法である。毎回周期Ｔ毎に背景を設定するが、それ以外にもシーンチェンジがあるフレームは背景とする。まず、ステップＳ１４０１にて、フレーム数を数えるカウンタ値ｉを０に初期設定する。次にステップＳ１４０２にて、ｉが０かどうかの判定を行う。これは、先頭フレームか否かの判定となる。先頭フレームならば、ステップＳ１４０５に進み、背景フレームに設定する。先頭フレームでない場合は、ステップＳ１４０３にて現フレームが周期Ｔの倍数か否かの判定を行う。判定は、フレーム値ｉを周期Ｔで割った余りが０ならば、倍数とするのが簡便な方法である。現フレームが周期Ｔの倍数ならば、ステップＳ１４０５にて、背景フレームに設定し、そうでなければ、ステップＳ１４０４のシーンチェンジ判定に進む。シーンチェンジがあればステップＳ１４０５にて背景フレームに設定し、そうでなければ、終了判定ステップＳ１４０６に進む。終了判定では最終フレームか否かの判定を行い、最終フレームでない場合は、ステップＳ１４０７にてカウンタ値ｉを１つ増やし、ステップＳ１４０２からの処理を繰り返す。最終フレームを処理した段階で終了判定のループを抜け、一連の処理を終了する。
【００４８】
図１３も、図１０と図１１を組み合わせた他の背景フレーム設定法である。図１３の場合は、図１２の場合と異なり、シーンチェンジ検出後、シーンチェンジのない区間の続く場合に周期的に背景を設定する。まず、ステップＳ１５０１にて、先頭フレームか否かの判定を行う。先頭フレームの判定方法は先に説明した方法でよい。先頭フレームならば、ステップＳ１５０３にて、背景フレームに設定し、ステップＳ１５０４にてフレームのカウンタ値ｉを１にセットする。ここでのカウンタ値ｉは先ほど説明した先頭からのフレーム数ではなく、背景フレームを常に１として、そこからのフレーム数を数えるものである。先頭フレームでなければ、ステップＳ１５０２で、シーンチェンジの判定を行う。シーンチェンジのフレームであれば、ステップＳ１５０３にて、背景フレームに設定し、ステップＳ１５０４にてカウンタ値ｉを１に設定する。シーンチェンジのフレームでなければ、ステップＳ１５０５にて、フレームのカウンタ値ｉを１つ増やす。背景フレームの直後であれば、ｉ＝２となる。次にステップＳ１５０６にて現フレームが周期Ｔの倍数か否かを判定する。判定方法としては、背景フレームからのカウント値ｉが周期Ｔと同じ値ならば、Ｔの倍数とするが簡便である。現フレームが周期Ｔの倍数ならば、ステップＳ１５０３にて、背景フレームに設定し、ステップＳ１５０４にてカウンタ値ｉを１に設定する。また、背景フレームからのカウント値ｉが周期Ｔに満たなければ、ステップＳ１５０７の終了判定に進む。終了判定では最終フレームか否かの判定を行い、最終フレームでない場合は、ステップＳ１５０１からの処理を繰り返す。これにより、シーンチェンジを検出時に背景フレーム設定をし、シーンチェンジがない区間が続く場合は、周期Ｔで背景フレーム設定をする、ということが可能となる。最終フレームを処理した段階で終了判定Ｓ１５０７はＹＥＳとなり、一連の処理を終了する。
【００４９】
第１の実施形態に係る他の実施形態を説明する。本実施形態にて説明したように、任意形状符号化では、画像データと形状データを同時に符号化するため、画像データの発生符号量と形状データの発生符号量の和がトータルの発生符号量となる。画像データは、符号化対象面積が小さいほど必要な符号量は少なくなる傾向にあり、形状データは、形状が複雑になるほど発生符号量が増える。発生符号量が最も少なくなる形状は、マクロブロック（例えば１６×１６画素）内がすべてオブジェクトとみなせる場合である。マクロブロックは、図１（ａ）の任意形状画像符号化部２１０５における形状データの処理単位ブロックである。形状データをマクロブロック内で拡大すると、画像の符号化対象領域は増えるが、形状の複雑度は下がるので、トータルとして発生符号量を抑えることができる。差分処理に、この機能を加えた場合の処理の流れを以下に説明する。
【００５０】
図１４は、形状データをブロック化するフローチャートを示している。これはフレーム内のマクロブロック単位の処理である。図１（ａ）の形状データ生成部１０３又は形状補正部１０４は、マクロブロックの形状データに変換する。まず、ステップＳ１６０１にて、マクロブロック内にオブジェクトの画素があるか否かを判定する。マクロブロック内にオブジェクトの画素が存在すれば、ステップＳ１６０２にて、マクロブロック内すべてをオブジェクトの画素に設定する。すなわち、形状データのマクロブロックのサイズが１６×１６であるとすると、１６×１６＝２５６の画素すべてが２５５（ＭＰＥＧ−４の場合のオブジェクトを示す値）となる。
【００５１】
図３において説明した形状データ５１２では、オブジェクトが存在するブロックが形状データ５１０２で示したブロックであり、このブロックをすべてオブジェクトとした結果が形状データ５１１２である。図４の実際のノイズを含んだ形状データ５２２では、オブジェクトを含むブロックが形状データ５１２２に示す数になるので、ブロック化したオブジェクトは、形状データ５１３２のような形状になる。しかし先に説明した形状補正処理を行うと、形状データ５５２に対するブロック化となるので、対象ブロックが形状データ５１６２のようになり、形状データ５１７２の結果を得る。これは、図３の形状データ５１１２の理想状態と同じ結果となっている。
【００５２】
次に、第１の実施形態で説明した符号化側の処理に対応する復号化側の処理について、図２、図５、図１６を用いて説明する。
【００５３】
図２は、復号化側の全体構成を示すブロック図である。分離部２２０１では、複数のビットストリームをデコーダ毎のビットストリームに分離する。ビットストリームの種類としては、ビデオの他にオーディオなどもあるが、ここでは本実施形態固有の処理であるビデオのビットストリームについてのみ図示している。任意形状画像復号化部２２０３では、分離されたビデオのビットストリームを入力し、画像データと形状データを復号画像として出力する。これは、背景技術で説明したＭＰＥＧ−４  Ｃｏｒｅ  Ｐｒｏｆｉｌｅのデコーダを用いるのがよい。画像合成部２０１では、入力した背景画像と現フレームの画像データおよび形状データから合成画像を生成し、画像出力部２２０５へ出力する。画像出力部２２０５は、ディスプレイのような画像表示装置が代表的なものであり、入力したフレームを所望のタイミングで順次表示する。
【００５４】
画像合成部２０１の処理手順を、図１６のフローチャートを用いて説明する。まずステップＳ１８０１にて、最初に入力されたフレームが背景かどうかの判定を行う。形状データが全画素オブジェクトであれば、その画像は背景であると判定できる。入力されたフレームが背景ならば、ステップＳ１８０２にて、合成のためにデータを一時保存する。ステップＳ１８０３では、背景フレームと現フレームとの合成を行うが、この時点では現フレームが背景フレームなので、ステップＳ１８０４では現フレームをそのまま出力する。ステップＳ１８０５の終了判定では最終フレームか否かの判定を行い、最終フレームでない場合は、ステップＳ１８０１に戻り、次のフレームの判定を行う。背景フレームでない場合は、ステップＳ１８０３にて先ほど一時保存した背景画像と現フレームの任意形状画像との合成を形状データを基にして行う。合成した画像は、ステップＳ１８０４にて出力し、終了判定ステップＳ１８０５に進む。以上の処理を繰り返し、最終フレームを処理した段階で終了判定のループを抜け、一連の処理を終了する。
【００５５】
図５において最初のフレームでは、６０１が形状データ、６４１が合成画像データである。形状データ６０１ではすべてがオブジェクトとなっているので、入力した復号画像がそのまま合成後の出力画像になっている。次のフレームでは、６０２が形状データ、６４１が背景画像データである。形状データ６０２の黒い部分はオブジェクトでないので、背景画像データ６４１の画素を当てはめ、白い部分はオブジェクトなので、復号画像の画素を当てはめる。各画素単位で画像データ６４１もしくは復号画像の画素値を当てはめていくことにより、合成画像６４２を得ることができる。同様に、背景画像データ６４１と次に復号した任意形状画像データを形状データ６０３に基づいて処理すると、合成画像６４３を得ることができる。
【００５６】
第１の実施形態に係る他の実施形態として説明した、図３及び図４のオブジェクトブロック化に対応した処理を図５を用いて説明する。復号側の処理は先に説明した処理内容と何ら変わることはない。最初のフレームでは、６２１が形状データ、形状データ６２１に対応する合成後の画像データは、６４１となる。次のフレームでは、背景画像データ６４１と復号した任意形状画像データを形状データ６２２に基づいて処理し、合成画像６４２を得る。同様に、背景画像データ６４１と復号した任意形状画像データを形状データ６２３に基づいて処理し、合成画像６４３を得ることができる。
【００５７】
したがって、復号後の画像６４１から６４３が図３の画像５０１から５０３に対応し、図２の復号側と図１の符号化側の処理とが完全に対応することとなる。
【００５８】
上述したように、第１の実施形態に係る画像処理装置によれば、あらかじめ背景画像を用意するような構成を採らなくても、連続して入力するフレームの中から背景画像と任意形状画像を選択することにより、シーンに限定されない汎用的な高能率符号化システムを実現することができる。特に形状データの補正処理により、形状データの面積が小さくなり、扱う画像データをより小さくすることが可能となる。
【００５９】
＜第２の実施形態＞
本発明の第２の実施形態について説明する。全体構成は、第１の実施形態で説明したものと同じであり、違いは形状補正部１０４の処理にある。よって、図３の画面イメージおよび図９（ｂ）のフローチャートを用いて、形状データの補正について詳しく説明する。
【００６０】
第１の実施形態で説明したとおり、図３の形状データ５１２や５１３は、ノイズを含まない理想状態の場合であり、実際の処理結果は、図４の形状データ５２２のようなノイズを含んだものとなる。形状データのノイズをそのまま符号化しては、全体の符号化効率が低下することになるので、次の処理として、形状データの補正処理を行う。ここでも、図４の形状データ５２２を用いて説明する。まず図９（ｂ）のステップＳ１１０１にて、補正前の形状データ５２２を入力する。ステップＳ１１０２にて、補正処理の初期設定として、カウンタ値ｉを１とする。次にステップＳ１１０３にて領域拡張処理を行う。領域拡張方法の詳細は、先に図６を用いて説明したとおりである。ステップＳ１１０４では、終了判定を行い、ＮＯであれば、ステップＳ１１０５にてカウンタ値ｉを１つ増やし、ステップＳ１１０３の領域拡張処理を繰り返す。繰り返しの回数は固定でも良いし、動的に変化させる場合は、先に図１５で説明した終了判定方法を用いてもよい。この処理によって得られる結果が、図４の形状データ５３２である。この処理によって、細かい断片であった輪郭線上の領域は、まとまった領域となる。次にステップＳ１１０６にて、孤立領域除去を行う。これは、領域拡張後もどこにもつながらなかった領域を、ノイズにより発生した領域とみなし、削除するものである。除去後の結果が、図４の形状データ５４２であり、ここまでは第１の実施形態と同じである。次にステップＳ１１０７にて、領域縮小処理を行う。領域縮小方法の詳細は、後に図７を用いて説明する。ステップＳ１１０８では、終了判定を行い、ＮＯであればステップＳ１１０９にて、カウンタ値ｉを１つ減らし、ステップＳ１１０７の縮小処理を繰り返す。終了判定は、カウンタ値ｉが１になったか否かの判定である。これにより領域拡張によって広がった形状データを滑らかに削り取り、元の入力データからノイズだけを除去した形状に近いデータを得ることができる。ステップＳ１１１１は、このデータの出力処理であり、図４の形状データ５６２がその結果を示している。
【００６１】
ここで図７の縮小処理について説明する。これはモルフォロジカルフィルタのエロージョンと呼ばれる処理である。図７（ａ）が処理対象の形状データ、図７（ｂ）がオペレータと呼ばれるものであり、ここでは３×３画素の矩形データである。図７（ａ）の画素上に図７（ｂ）のオペレータを順次配置し、図７（ｂ）の画素がすべて図７（ａ）の画素に覆われる場合に図７（ｂ）の中心となる画素のデータを残し、それ以外を削り取る。図７（ａ）の形状データの画素すべてにこの処理を加えると、図７（ｃ）の結果を得る。このとき、図７（ｄ）における白丸の画素が新たに縮小された画素である。この形状データに更に同じオペレータで処理を加えたのが、図７（ｅ）の結果である。同様に、図７（ｆ）における白丸の画素が新たに縮小された画素である。本実施形態では、拡張前のサイズまでこの処理を繰り返す。拡張と縮小の処理を行うことにより、形状データの面積を増やさずに複雑度を低下させることができる。
【００６２】
第２の実施形態に係る他の実施形態を説明する。第１の実施形態でも説明したように、任意形状符号化では、画像データと形状データを同時に符号化するため、画像データの発生符号量と形状データの発生符号量の和がトータルの発生符号量となる。画像データは、符号化対象面積が小さいほど必要な符号量は少なくなる傾向にあり、形状データは、形状が複雑になるほど発生符号量が増える。発生符号量が最も少なくなる形状は、マクロブロック内がすべてオブジェクトとみなせる場合である。形状データをマクロブロック内で拡大すると、画像の符号化対象領域は増えるが、形状の複雑度は下がるので、トータルとして発生符号量を抑えることができる。差分処理にこの機能を加えた場合の処理の流れを以下に説明する。形状データをブロック化するフローチャートは、図１４で説明したものと同様である。
【００６３】
図４において説明した形状データ５６２では、オブジェクトが存在するブロックが形状データ５１８２で示したブロックであり、このブロックをすべてオブジェクトとした結果が形状データ５１９２である。これは、図３の形状データ５１１２の理想状態と同じ結果となっている。
【００６４】
復号側の処理もまったく同様である。最初のフレームでは、図５の６２１が形状データ、形状データ６２１に対応する合成後の画像データは、６４１となる。次のフレームでは、背景画像データ６４１と復号した任意形状画像データを形状データ６２２に基づいて処理し、合成画像６４２を得る。同様に、背景画像データ６４１と復号した任意形状画像データを形状データ６２３に基づいて処理し、合成画像６４３を得ることができる。
【００６５】
したがって、復号後の画像６４１から６４３が図３の画像５０１から５０３に対応し、図２の復号側と図１の符号化側の処理とが完全に対応することとなる。
【００６６】
上述したように、第２の実施形態に係る画像処理装置によれば、あらかじめ背景画像を用意するような構成を採らなくても、連続して入力するフレームの中から背景画像と任意形状画像を選択することにより、シーンに限定されない汎用的な高能率符号化システムを実現することができる。特に形状データの補正処理により、形状データの複雑度が小さくなり、形状データに必要な符号量をより小さくすることが可能となる。
【００６７】
＜第３の実施形態＞
図２５は、本発明の第３の実施形態によるコンピュータのハードウエア構成例を示す。本実施形態は、前記第１及び第２の実施形態の装置をコンピュータで実現する例を示す。
【００６８】
バス２９０１には、中央処理装置（ＣＰＵ）２９０２、ＲＯＭ２９０３、ＲＡＭ２９０４、ネットワークインタフェース２９０５、入力装置２９０６、出力装置２９０７及び外部記憶装置２９０８が接続されている。
【００６９】
ＣＰＵ２９０２は、データの処理又は演算を行うと共に、バス２９０１を介して接続された各種構成要素を制御するものである。ＲＯＭ２９０３には、予めＣＰＵ２９０２の制御手順（コンピュータプログラム）を記憶させておき、このコンピュータプログラムをＣＰＵ２９０２が実行することにより、起動する。外部記憶装置２９０８にコンピュータプログラムが記憶されており、そのコンピュータプログラムがＲＡＭ２９０４にコピーされて実行される。ＲＡＭ２９０４は、データの入出力、送受信のためのワークメモリ、各構成要素の制御のための一時記憶として用いられる。外部記憶装置２９０８は、例えばハードディスク記憶装置やＣＤ−ＲＯＭ等であり、画像データ等を記憶し、電源を切っても記憶内容が消えない。ＣＰＵ２９０２は、ＲＡＭ２９０４内のコンピュータプログラムを実行することにより、第１及び第２の実施形態の処理を行うことができる。
【００７０】
ネットワークインタフェース２９０５は、ネットワークに接続するためのインタフェースである。入力装置２９０６は、例えばキーボード及びマウス等であり、各種指定又は入力等を行うことができる。出力装置２９０７は、ディスプレイ及びプリンタ等である。
【００７１】
本実施形態は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録したコンピュータ読み取り可能な記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによって、達成することができる。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、第１及び第２の実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７２】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７３】
本実施形態を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【００７４】
尚、本実施形態は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用してもよい。
【００７５】
以上説明したように、第１〜第３の実施形態によれば、あらかじめ背景画像を用意するような構成を採らなくても、連続して入力するフレームの中から背景画像と任意形状画像を選択し、分離・合成することにより、シーンに限定されない汎用的な高能率符号化システムを実現することができる。
【００７６】
画像内の被写体の有無に関わらず背景画像とするフレームを選択することができるので、背景画像を設定するための事前処理が必要なくなる。また、矩形画像符号化手段を必要とせず、任意形状画像符号化手段のみで符号化することができる。また、形状データを補正することにより、形状データ内のノイズを除去し、高能率の符号化を行うことができる。
【００７７】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【００７８】
【図１】本発明の第１の実施形態における画像処理装置の構成を示すブロック図である。
【図２】復号化システムの構成を示すブロック図である。
【図３】本発明の第１の実施形態における形状データと画像データの処理について説明するための図である。
【図４】本発明の第１の実施形態における形状データと画像データの処理について説明するための図である。
【図５】復号化システムにおける形状データと画像データの処理について説明するための図である。
【図６】本発明の実施形態に係る領域拡張処理を説明するための図である。
【図７】本発明の第２の実施形態に係る領域縮小処理を説明するための図である。
【図８】本発明の実施形態に係る形状データの生成手順を説明するためのフローチャートである。
【図９】本発明の実施形態に係る形状データの補正手順を説明するためのフローチャートである。
【図１０】本発明の実施形態に係る背景フレームの設定手順を説明するためのフローチャートである。
【図１１】本発明の実施形態に係る他の背景フレームの設定手順を説明するためのフローチャートである。
【図１２】本発明の実施形態に係る他の背景フレームの設定手順を説明するためのフローチャートである。
【図１３】本発明の実施形態に係る他の背景フレームの設定手順を説明するためのフローチャートである。
【図１４】本発明の実施形態に係る形状データの修正手順を説明するためのフローチャートである。
【図１５】本発明の実施形態に係る領域拡張の終了判定処理手順を説明するためのフローチャートである。
【図１６】復号化システムにおける画像データの合成手順を説明するためのフローチャートである。
【図１７】従来例に係る符号化側の画像処理装置の構成を示すブロック図である。
【図１８】従来例に係る復号化側の画像処理装置の構成を示すブロック図である。
【図１９】従来例に係る符号化側の画像処理装置の構成を示すブロック図であり、特に画像分離部の処理について説明するための図である。
【図２０】従来例に係る復号化側の画像処理装置の構成を示すブロック図であり、特に画像表示部の処理について説明するための図である。
【図２１】従来例に係る符号化側の形状データと画像データの処理について説明するための図である。
【図２２】従来例に係る復号化側の形状データと画像データの処理について説明するための図である。
【図２３】任意形状符号化部の構成を示すブロック図である。
【図２４】任意形状復号化部の構成を示すブロック図である。
【図２５】コンピュータのハードウエア構成例を示すブロック図である。
【符号の説明】
【００７９】
１０１  画像選択部
１０３  形状データ生成部
１０４  形状補正部
１０５  メモリ部
２１０１  画像入力部
２１０５  任意形状画像符号化部
２１０６  多重化部
２９０１  バス
２９０２  ＣＰＵ
２９０３  ＲＯＭ
２９０４  ＲＡＭ
２９０５  ネットワークインタフェース
２９０６  入力装置
２９０７  出力装置
２９０８  外部記憶装置
【図１】
2005303739.tif 000003
【図２】
2005303739.tif 000004
【図３】
2005303739.tif 000005
【図４】
2005303739.tif 000006
【図５】
2005303739.tif 000007
【図６】
2005303739.tif 000008
【図７】
2005303739.tif 000009
【図８】
2005303739.tif 000010
【図９】
2005303739.tif 000011
【図１０】
2005303739.tif 000012
【図１１】
2005303739.tif 000013
【図１２】
2005303739.tif 000014
【図１３】
2005303739.tif 000015
【図１４】
2005303739.tif 000016
【図１５】
2005303739.tif 000017
【図１６】
2005303739.tif 000018
【図１７】
2005303739.tif 000019
【図１８】
2005303739.tif 000020
【図１９】
2005303739.tif 000021
【図２０】
2005303739.tif 000022
【図２１】
2005303739.tif 000023
【図２２】
2005303739.tif 000024
【図２３】
2005303739.tif 000025
【図２４】
2005303739.tif 000026
【図２５】
2005303739.tif 000027