(57)【要約】【課題】画像中の対象物の画素値と背景の画像値とが近い値であっても誤判定を生じることなく、高精度な対象物の抽出処理をすることができる画像処理装置及び画像処理方法を提供する。【解決手段】クリッピング領域検出部１０７で、入力画像における各画素について画素値が所定値にクリッピングされているか否かが判定される。また、閾値データ生成部１０８では、入力画像においてクリッピングされている画素とクリッピングされていない画素に対してそれぞれ所定の閾値が設定される。そして、背景差分処理部１１１では、入力画像と平均画像生成部１０６で生成された背景画像との差分成分の大きさを各画素毎に算出し、各画素毎に算出された差分成分の大きさと入力画像の各画素に対して設定された閾値との大きさとを比較し、その比較結果に基づいて、オブジェクトを構成する画素が決定される。【選択図】  図１
2004215040.tif 000002
【特許請求の範囲】
【請求項１】
入力画像と背景画像との差分成分をオブジェクトとして抽出する画像処理装置であって、
前記入力画像における各画素について画素値が所定値にクリッピングされているか否かを判定するクリッピング判定手段と、
前記入力画像においてクリッピングされている画素とクリッピングされていない画素に対してそれぞれ所定の閾値を設定する閾値設定手段と、
前記入力画像と前記背景画像との差分成分の大きさを各画素毎に算出する差分成分算出手段と、
各画素毎に算出された前記差分成分の大きさと前記入力画像の各画素に対して設定された前記閾値との大きさとを比較する比較手段と、
前記比較手段による比較結果に基づいて、オブジェクトを構成する画素を決定する決定手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記決定手段は、前記差分成分の大きさが前記閾値よりも大きい場合にオブジェクトを構成する画素とし、前記差分成分の大きさが前記閾値よりも小さい場合に背景を構成する画素とすることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記クリッピング判定手段は、前記入力画像における各画素の画素値がとり得ることのできる最大値又は最小値の場合、該画素をクリッピングされている画素と判定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記クリッピング判定手段は、
前記入力画像における各画素の画素値がとり得ることのできる最大値又は最小値の場合、該画素をクリッピングされている候補画素とする候補決定手段と、
クリッピングされている前記候補画素に隣接する画素の画素値に基づいて、該候補画素をクリッピングされている画素と判定する第１の判定手段と
を備えることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項５】
前記第１の判定手段は、クリッピングされている前記候補画素に隣接するすべての画素の画素値が前記候補画素と同一画素値の場合、該候補画素をクリッピングされている画素と判定することを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記入力画像が動画像の１フレームであって、
前記クリッピング判定手段は、
前記入力画像における各画素の画素値がとり得ることのできる最大値又は最小値の場合、該画素をクリッピングされている候補画素とする候補決定手段と、
前記入力画像における前記候補画素に相当する前記動画像中の他フレームにおける画素の画素値に基づいて、該候補画素をクリッピングされている画素と判定する第２の判定手段と
を備えることを特徴とする請求項３記載の画像処理装置。
【請求項７】
前記動画像から現フレームにおいてクリッピングされている画素の判定の際に参照する複数のフレームを選択する選択手段をさらに備え、
前記第２の判定手段が、現フレームにおける前記候補画素に相当する前記動画像から選択された前記複数のフレームにおける画素値が、すべて前記候補画素と同一画素値の場合、前記候補画素をクリッピングされている画素と判定する
ことを特徴とする請求項６記載の画像処理装置。
【請求項８】
現フレームと前記動画像から選択された前記複数のフレームとの間における画素の動き量を算出する動き量算出手段をさらに備え、
前記第２の判定手段が、現フレームにおける前記候補画素に相当する前記動画像から選択された前記複数のフレームにおける前記動き量を利用して求められる画素の画素値が、すべて前記候補画素と同一画素値の場合、前記候補画素をクリッピングされている画素と判定する
ことを特徴とする請求項７記載の画像処理装置。
【請求項９】
前記動き量算出手段が、
フレームを複数の小領域に分割する分割手段と、
分割した前記小領域毎に動きのパラメータを検出する検出手段と
を備えることを特徴とする請求項８記載の画像処理装置。
【請求項１０】
前記入力画像が動画像の１フレームであって、
前記動画像の複数フレームの平均画像を背景画像として生成する平均画像生成手段をさらに備えることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項１１】
入力画像と背景画像との差分成分をオブジェクトとして抽出する画像処理装置であって、
前記背景画像における各画素について画素値が所定値にクリッピングされているか否かを判定するクリッピング判定手段と、
前記背景画像においてクリッピングされている画素とクリッピングされていない画素に対してそれぞれ所定の閾値を設定する閾値設定手段と、
前記入力画像と前記背景画像との差分成分の大きさを各画素毎に算出する差分成分算出手段と、
各画素毎に算出された前記差分成分の大きさと前記背景画像の各画素に対して設定された前記閾値との大きさとを比較する比較手段と、
前記比較手段による比較結果に基づいて、オブジェクトを構成する画素を決定する決定手段と
を備えることを特徴とする画像処理装置。
【請求項１２】
前記決定手段は、前記差分成分の大きさが前記閾値よりも大きい場合にオブジェクトを構成する画素とし、前記差分成分の大きさが前記閾値よりも小さい場合に背景を構成する画素とすることを特徴とする請求項１１記載の画像処理装置。
【請求項１３】
前記クリッピング判定手段は、前記背景画像における各画素の画素値がとり得ることのできる最大値又は最小値の場合、該画素をクリッピングされている画素と判定することを特徴とする請求項１１又は１２に記載の画像処理装置。
【請求項１４】
前記クリッピング判定手段は、
前記背景画像における各画素の画素値がとり得ることのできる最大値又は最小値の場合、該画素をクリッピングされている候補画素とする候補決定手段と、
クリッピングされている前記候補画素に隣接する画素の画素値に基づいて、該候補画素をクリッピングされている画素と判定する第１の判定手段と
を備えることを特徴とする請求項１１又は１２に記載の画像処理装置。
【請求項１５】
前記第１の判定手段は、クリッピングされている前記候補画素に隣接するすべての画素の画素値が前記候補画素と同一画素値の場合、該候補画素をクリッピングされている画素と判定することを特徴とする請求項１４記載の画像処理装置。
【請求項１６】
前記入力画像が動画像の１フレームであって、
前記動画像の複数フレームの平均画像を背景画像として生成する平均画像生成手段をさらに備えることを特徴とする請求項１１又は１２に記載の画像処理装置。
【請求項１７】
前記クリッピング判定手段は、
前記背景画素の画素値がとり得ることのできる最大値又は最小値の場合、該画素をクリッピングされている候補画素とする候補決定手段と、
前記入力画像における前記候補画素のうち、前記背景画像の生成に用いられた前記複数のフレームにおける同一位置画素の画素値に基づいて、該候補画像をクリッピングされている画素と判定する第２の判定手段と
を備えることを特徴とする請求項１６記載の画像処理装置。
【請求項１８】
前記第２の判定手段が、現フレームにおける前記候補画素に相当する前記動画像から選択された前記複数のフレームにおける画素値が、すべて前記候補画素と同一画素値の場合、前記候補画素をクリッピングされている画素と判定する
ことを特徴とする請求項１７記載の画像処理装置。
【請求項１９】
入力画像と背景画像との差分成分をオブジェクトとして抽出する画像処理方法であって、
前記入力画像における各画素について画素値が所定値にクリッピングされているか否かを判定するクリッピング判定工程と、
前記入力画像においてクリッピングされている画素とクリッピングされていない画素に対してそれぞれ所定の閾値を設定する閾値設定工程と、
前記入力画像と前記背景画像との差分成分の大きさを各画素毎に算出する差分成分算出工程と、
各画素毎に算出された前記差分成分の大きさと前記入力画像の各画素に対して設定された前記閾値との大きさとを比較する比較工程と、
前記比較工程による比較結果に基づいて、オブジェクトを構成する画素を決定する決定工程と
を有することを特徴とする画像処理方法。
【請求項２０】
コンピュータに、入力画像と背景画像との差分成分をオブジェクトとして抽出させるためのプログラムであって、
前記入力画像における各画素について画素値が所定値にクリッピングされているか否かを判定するクリッピング判定手順と、
前記入力画像においてクリッピングされている画素とクリッピングされていない画素に対してそれぞれ所定の閾値を設定する閾値設定手順と、
前記入力画像と前記背景画像との差分成分の大きさを各画素毎に算出する差分成分算出手順と、
各画素毎に算出された前記差分成分の大きさと前記入力画像の各画素に対して設定された前記閾値との大きさとを比較する比較手順と、
前記比較手順による比較結果に基づいて、オブジェクトを構成する画素を決定する決定手順と
を実行するためのプログラム。
【請求項２１】
請求項２０記載のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像の中から対象物を検出して符号化する画像処理装置及び画像処理方法に関する。
【０００２】
【従来の技術】
動画像処理における対象物検出方法として、従来より背景差分方式が知られている。この方式は、入力画像と背景画像とを比較することにより、変化点を検出するものである。以下、簡単にその原理について説明する。画像平面上の座標（ｘ，ｙ）における点の入力画像の画素値をＰｃ（ｘ，ｙ）、背景画像の画素値をＰｂ（ｘ，ｙ）とする。このとき、Ｐｃ（ｘ，ｙ）とＰｂ（ｘ，ｙ）との差分をとり、その絶対値を閾値Ｔｈと比較する。この比較における判定式の例を式（１）に示す。
【０００３】
｜Ｐｃ（ｘ，ｙ）−Ｐｂ（ｘ，ｙ）｜  ≦  Ｔｈ  …  （１）
式（１）に基づいて、差分絶対値が閾値以下の場合、画素Ｐｃは背景画素と判定される。一方、閾値を超えている場合は、検出対象画素とみなされる。そして、画面上のすべての点において上記の判定を行うことで、１フレーム分の検出が完了する。
【０００４】
理想的には、差分絶対値が０の場合は背景、それ以外の場合はオブジェクトという判定が成り立つ。しかし、実際には画像中にノイズが重畳するため、差分絶対値にある程度の幅を持たせる必要がある。この幅が閾値となり、ノイズの分布を求めて決定される。ここで、撮像系のノイズは、平均値０で正規分布であると仮定するのが一般的であり、閾値は通常画面全体でひとつの固定した値としている。図１６は、動画像中の背景画像の時間変化を説明するためのグラフである。図１６（ａ）は、背景領域中のある位置における画素値の時間変化を示している。背景が固定されている場合、本来は時間変化によるレベル変動がないので、図１６（ｂ）のようになるはずである。しかしながら、実際にはノイズの影響を受けて、図１６（ａ）のように一定の範囲でばらついている。このばらつきの幅が閾値となる。
【０００５】
図１７は、背景差分処理によるオブジェクト抽出例を説明するためのグラフである。図１７（ａ）は、入力画素値の時間変化を示すものである。図１７（ａ）において、直線で示されたレベルは背景画像の値であり、図１６（ａ）の平均値である。そして、この値から一定の閾値内に収まっているものを背景、閾値の範囲を超えているものをオブジェクトと判定する。この結果、この位置の画素は、区間１７０１、１７０２で背景、それ以外の区間がオブジェクトであると判断される。また、図１７（ｂ）は、別の位置における例である。図１７（ｂ）においても先程と同様、実線で示したレベルが背景画像の画素値である。そして、区間１７０３、１７０４で背景、それ以外の区間がオブジェクトとなる。
【０００６】
一方、図１３は、背景差分処理による別のオブジェクト抽出例を説明するためのグラフである。図１３（ａ）は、入力画素値の時間変化を示すものである。図１３（ａ）において、直線で示されたレベルは背景画像の値であり、図１６（ａ）の平均値である。そして、この値から一定の閾値内に収まっているものを背景、閾値の範囲を超えているものをオブジェクトと判定する。この結果、この位置の画素は、区間１３０１、１３０２で背景、それ以外の区間がオブジェクトであると判断される。また、図１３（ｂ）は、別の位置における例である。図１３（ｂ）においても先程と同様、実線で示したレベルが背景画像の画素値である。そして、区間１３０３、１３０４で背景、それ以外の区間がオブジェクトとなる。以上、クリッピング処理していない画素に対する処理について説明した。
【０００７】
【発明が解決しようとする課題】
しかしながら、クリッピングした画素に対して同様な処理を行った場合、オブジェクトの抽出精度を損なうという問題がある。まず、クリッピングと呼ばれる処理について説明する。デジタル画像で表現できる階調は、一つの画素を何ビットで表すかで決まり、白黒画像では通常８ビットを用いることが多い。８ビットの場合、表現できる階調数は、２の８乗で２５６となる。カラー画像では、ＲＧＢそれぞれに８ビットを用い、計２４ビットが１画素となる。したがってカメラなどによって撮像した画像データは、すべて０から２５５までのうちのいずれかの値をとることになる。
【０００８】
説明を簡略化するため、８ビットの白黒画像を例に説明する。白黒画像の場合は、最も暗いレベルが０となり、数値が上がるごとに輝度が高くなり、２５５が最も明るいレベルとなる。しかしながら、実際にはこの０から２５５の範囲で表現できない明るさの領域も存在する。２５５よりも明るい部分においては、白の階調を表現することができない。この場合、２５５よりも明るい部分は信号処理上すべて２５５として扱う。この処理をクリッピングと言う。また、暗い部分においても、０以下のレベルで黒の階調を表現することができない。ここでもクリッピング処理が行われ、０よりも小さくなる値はすべて０として扱う。
【０００９】
図１５は、クリッピング処理を説明するためのグラフである。図１５において横軸は入力のレベルを示しており、縦軸は観測される出力レベルを示している。クリッピング処理により、２５５よりも大きくなる値は２５５とされる。実際にこの部分を画面上で見た場合は、あるレベル以上の白い部分は均一な明るさとなって見える。これは「白トビ」とも言われている。また、クリッピング処理により、０より小さくなる値は０とされ、実際にこの部分を画面上で見た場合は、あるレベル以下の黒い部分は均一な暗さとなって見える。これは「黒ツブレ」とも言われている。
【００１０】
以下、クリッピング処理された画素の問題点について、図１８と図１９を用いて詳しく説明する。図１８は、クリッピング領域における背景画素値の時間変化を説明するためのグラフである。図１８（ａ）の黒丸で示すように、元々の信号がクリッピング領域にある場合、画素値の時間変化は本来図１８（ｂ）に示すような画素値の変化となるべきである。しかし、実際には、クリッピングの結果、図１８（ｃ）のようにすべての時間で値が２５５となる。
【００１１】
このことは暗いところでも同様で、元々の信号が図１８（ｄ）の黒丸で示すような値であった場合、得られるべき画素値の変化は図１８（ｅ）のような画素値の変化とは異なり、図１８（ｆ）のようにすべての時間で値が０となってしまう。
【００１２】
さらに、クリッピング領域に近い値で、クリッピングしていない画素に対する場合と同じ閾値を使用すると誤判定が生じてしまう。図１９は、クリッピング領域近傍における背景差分処理の問題点を説明するためのグラフである。図１９（ａ）は、入力画素の時間変化を示しており、図１７（ａ）で示した画素分布と類似しているが、全体のレベルが高くなっている。クリッピング処理により、実際に得られる値は、図１９（ｂ）のような分布となる。このとき、背景画像の画素値は２５５より幾分か小さい値であるとする。
【００１３】
例えば、入力画像がオブジェクトの画素にも関わらず、その値が２５５にクリッピングされていると、背景レベルの閾値の範囲に入ってしまい、誤判定してしまう。この例では、オブジェクトは抽出されず、全区間が背景となってしまう。また、図１９（ｃ）は別の例であり、図１７（ｂ）で示した画素分布と類似しているが、全体のレベルが低くなっている。クリッピング処理により、実際に得られる値は、図１９（ｄ）のような分布となる。このとき背景画像の画素値は０より幾分か大きな値であるとする。ここで、入力画像がオブジェクトの画素にも関わらず、その値が０にクリッピングされていると、背景レベルの閾値の範囲に入ってしまい、誤判定してしまう。この例でも、オブジェクトは抽出されず、全区間が背景となってしまう。
【００１４】
上述した問題が、実際の画面上でどう見えるかを図２０を用いて説明する。図２０は、クリッピング領域近傍における背景差分処理の問題点を説明するための画像データの図である。
【００１５】
図２０（ａ）は、背景画像を示している。図２０（ａ）に示す画面上、ＰＣモニタの左上の部分が、２５５に近い明るい部分であり、机の右下の影になっているところが０に近い暗い部分であるとする。図２０（ｂ）は、ある時刻における入力画像を示している。図２０（ｂ）において、図中の人物が持っているノートが明るすぎて２５５にクリッピングされているものとする。いわゆる「白トビ」を起こしている状態であるとする。
【００１６】
このとき背景差分処理を行うと、ＰＣモニタの明るい部分における閾値が２５５を含んでしまうので、ノートの画素値である２５５という値を背景画素と誤判定してしまう。図２０（ｃ）は、背景差分処理を行った結果得られるマスクデータを示しており、ノートとＰＣモニタの重なった部分が欠けてしまっていることが分かる。
【００１７】
また、図２０（ｄ）は、別の時刻における入力画像を示している。この場合、図中の人物のズボンが、暗すぎて０にクリッピングされているものとする。いわゆる「黒ツブレ」を起こしている状態であるとする。
【００１８】
このとき背景差分処理を行うと、机右下の暗い部分における閾値が０を含んでしまうので、ズボンの画素値である０という値を背景画素と誤判定してしまう。図２０（ｅ）は、背景差分処理を行った結果得られるマスクデータを示しており、机の影と人物のズボンの重なった部分が欠けてしまっていることがわかる。
【００１９】
同様にして、クリッピング処理された画素の問題点について、図２８を用いて詳しく説明する。図１８は、クリッピング領域における背景画素値の時間変化を説明するためのグラフである。図２８は、クリッピング領域近傍における背景差分処理の問題点を説明するためのグラフである。図２８（ａ）は、入力画素の時間変化を示しており、図１３（ａ）で示した画素分布と類似しているが、全体のレベルが高くなっている。クリッピング処理により、実際に得られる値は、図２８（ｂ）のような分布となる。このとき、背景画像の画素値は２５５である。
【００２０】
従って、入力画像がオブジェクトの画素にも関わらず、その値が２５５に近いと閾値の範囲に入ってしまい、背景画素と誤判定してしまう。この例では、２８０１、２８０２、２８０３が背景と判定され、それ以外がオブジェクトと判定されている。ここで、２８０２の区間は本来オブジェクトと判定されるべき区間であり、大きな誤判定を生じている。図２８（ｃ）は、別の例であり、図１３（ｂ）で示した画素分布と類似しているが、全体のレベルが低くなっている。クリッピング処理により、実際に得られる値は、図２８（ｄ）のような分布となる。このとき背景画像の画素値は０である。
【００２１】
従って、入力画像がオブジェクトの画素にも関わらず、その値が０に近いと、閾値の範囲に入ってしまい、背景画素と誤判定してしまう。この例でも、２８０４と２８０５が背景と判定された区間であるが、２８０５の区間で誤判定を生じていることがわかる。
【００２２】
上述した問題が、実際の画面上でどう見えるかを図２０を用いて説明する。前述したように図２０（ａ）は、背景画像を示しているが、図２０（ａ）に示す画面上、ＰＣモニタの左上の部分が明るすぎて２５５にクリッピングされているものとする。いわゆる「白トビ」を起こしている状態であるとする。また、机の右下部分が暗すぎて０にクリッピングされているものとする。いわゆる「黒ツブレ」を起こしている状態である。
【００２３】
図２０（ｂ）は、ある時刻における入力画像を示している。このとき背景差分処理を行うと、人物の持っているノートが２５５に近い値の場合、背景の画素値２５５の閾値内に入ってしまい、背景画素と誤判定してしまう。図２０（ｃ）は、背景差分処理を行った結果得られるマスクデータを示しており、ノートとＰＣモニタの重なった部分が欠けてしまっていることが分かる。また、図２０（ｄ）は、別の時刻における入力画像を示している。この場合、背景差分処理を行うと、人物のズボンが０に近い値の場合、背景の画素値０の閾値内に入ってしまい、背景画素と誤判定されてしまう。図２０（ｅ）は、背景差分処理を行った結果得られるマスクデータを示しており、ズボンと机の影との重なった部分が欠けてしまっていることがわかる。
【００２４】
本発明は、このような事情を考慮してなされたものであり、画像中の対象物の画素値と背景の画像値とが近い値であっても誤判定を生じることなく、高精度な対象物の抽出処理をすることができる画像処理装置及び画像処理方法を提供することを目的とする。
【００２５】
【課題を解決するための手段】
上記課題を解決するために、本発明は、入力画像と背景画像との差分成分をオブジェクトとして抽出する画像処理装置であって、前記入力画像における各画素について画素値が所定値にクリッピングされているか否かを判定するクリッピング判定手段と、前記入力画像においてクリッピングされている画素とクリッピングされていない画素に対してそれぞれ所定の閾値を設定する閾値設定手段と、前記入力画像と前記背景画像との差分成分の大きさを各画素毎に算出する差分成分算出手段と、各画素毎に算出された前記差分成分の大きさと前記入力画像の各画素に対して設定された前記閾値との大きさとを比較する比較手段と、前記比較手段による比較結果に基づいて、オブジェクトを構成する画素を決定する決定手段とを備えることを特徴とする。
【００２６】
また、本発明は、入力画像と背景画像との差分成分をオブジェクトとして抽出する画像処理装置であって、前記背景画像における各画素について画素値が所定値にクリッピングされているか否かを判定するクリッピング判定手段と、前記背景画像においてクリッピングされている画素とクリッピングされていない画素に対してそれぞれ所定の閾値を設定する閾値設定手段と、前記入力画像と前記背景画像との差分成分の大きさを各画素毎に算出する差分成分算出手段と、各画素毎に算出された前記差分成分の大きさと前記背景画像の各画素に対して設定された前記閾値との大きさとを比較する比較手段と、前記比較手段による比較結果に基づいて、オブジェクトを構成する画素を決定する決定手段とを備えることを特徴とする。
【００２７】
さらに、本発明は、入力画像と背景画像との差分成分をオブジェクトとして抽出する画像処理方法であって、前記入力画像における各画素について画素値が所定値にクリッピングされているか否かを判定するクリッピング判定工程と、前記入力画像においてクリッピングされている画素とクリッピングされていない画素に対してそれぞれ所定の閾値を設定する閾値設定工程と、前記入力画像と前記背景画像との差分成分の大きさを各画素毎に算出する差分成分算出工程と、各画素毎に算出された前記差分成分の大きさと前記入力画像或いは背景画像の各画素に対して設定された前記閾値との大きさとを比較する比較工程と、前記比較工程による比較結果に基づいて、オブジェクトを構成する画素を決定する決定工程とを有することを特徴とする。
【００２８】
【発明の実施の形態】
以下、図面を参照して、本発明の好適な実施の形態について詳細に説明する。
【００２９】
＜第１の実施形態＞
本発明の第１の実施形態について、図１から図７を用いて説明する。図１は、本発明の第１の実施形態における画像処理装置の構成を示すブロック図である。まず、図１（ａ）は第１の実施形態に係る画像処理装置の全体構成を示すブロック図である。例えば、本発明をオブジェクト抽出処理を遠隔監視装置などに用いる場合、その構成は、図１（ａ）に示すように、画像入力部１０１、オブジェクト抽出部１０２、画像符号化部１０３と大きく３つのブロックに分かれる。
【００３０】
画像入力部１０１は、例えば、カメラ等の撮像装置であり、デジタル化した画像データを後段のオブジェクト抽出部１０２に出力する。オブジェクト抽出部１０２は、本発明の特徴部分であり、後に詳しく説明する。画像符号化部１０３は、抽出したオブジェクトや背景を符号化するものであり、ネットワークへの伝送や、ファイルへの蓄積等を行うためのビットストリームを生成する。
【００３１】
図１（ｂ）は、第１の本実施形態に係るオブジェクト抽出部１０２及び画像符号化部１０３の詳細な構成を示すブロック図である。背景差分によるオブジェクト抽出は、まず背景画像の生成処理、次いで差分処理という２つのステップで実行される。背景画像の生成時には、スイッチ回路１０４は図中上側にセットし、１０５のスイッチ回路はＯＦＦに設定する。
【００３２】
平均画像生成部１０６では、一定時間に入力した複数のフレーム画像から、平均値を求めた画像を１枚生成する。この画像は、背景画像として差分処理時の基準画像となるため、データ記憶部１０９に一時保存しておく。また、閾値データ生成部１０８では、入力画像の頻度分布から閾値を生成する。そして、生成された閾値データもデータ記憶部１０９に一時保存しておく。
【００３３】
次に、差分処理時の動作を説明する。差分処理時は、スイッチ回路１０４は、図中下側にセットし、スイッチ回路１０５はＯＮにする。クリッピング領域検出部１０７では、入力画像の中からクリッピングされている画素領域を検出する。そして、背景差分処理部１１１では、クリッピング領域検出部１０７のクリッピング識別情報と入力画像とが入力され、データ記憶部１０９から読み出した背景画像および閾値データから、比較処理が行われる。このとき比較に用いる閾値データは、クリッピングの識別情報に応じて変更される。比較結果は、背景画素の場合は０、オブジェクト（対象物）の画素の場合は２５５という２値で出力される。これによって生成される２値画像は、形状データ若しくはマスクデータと呼ばれる。
【００３４】
ここで、任意形状符号化部１１２には、形状データと画像データが入力される。本実施形態では、任意形状符号化部１１２における任意形状符号化に国際標準規格のＭＰＥＧ−４を用いる。ＭＰＥＧ−４による任意形状符号化は、同じ画素位置の画像データ、形状データ及び透過度データをまとめて１つのマクロブロックを構成し、マクロブロック単位で符号化する。任意形状符号化する場合には、物体を包含するバウンディングボックスと呼ばれる領域を設定し、この左上の座標位置と矩形領域の大きさを併せて符号化する。透過度データは半透明物体以外のオブジェクトに対しては使用されないのでここでの説明は省略する。
【００３５】
図１４は、マクロブロック毎の符号化処理を行う第１の実施形態に係る任意形状符号化部１１２（ＭＰＥＧ−４エンコーダ）の細部構成を示すブロック図である。形状データの符号化には、形状符号化ＣＡＥ部１４０９で行われるＣＡＥと呼ばれる算術符号化を用いる。そして、可変長符号化部１４１２の処理が終わると、ビットストリームが出力される。尚、ＭＰＥＧ−４のアルゴリズムの詳細については、工業調査会発行、三木弼一編著「ＭＰＥＧ−４のすべて」等に記載されているので、これ以上の説明は省略する。
【００３６】
一方、背景画像符号化部１１０では、生成した１枚の背景画像を符号化する。この符号化方式は、特に限定されるものでなく、静止画符号化方式が使用可能である。また、フレーム数が１の動画とみなして動画像の符号化方式を用いることも可能である。されに、ＭＰＥＧ−４を用いれば、任意形状符号化部１１２と共通の符号化方式が使えることになる。また、人物検出などが目的で、背景画像が必要ない場合には、この背景画像符号化部２１１０は省略が可能である。
【００３７】
次に、全体の処理の流れをについて説明する。図２は、本発明の第１の実施形態に係る画像処理装置を用いたオブジェクト抽出処理を説明するためのフローチャートである。図２（ａ）は、図１のスイッチ回路１０４を上側にセットした時の処理フローである。まず、動画像の入力が画像入力部１０１で行われる（ステップＳ２０１）。次いで、平均画像生成部１０６で入力画像から背景画像が生成される（ステップＳ２０２）。背景画像の生成は、複数の入力画像から各画素位置における平均値を計算することで簡単に求めることができる。
【００３８】
一方、閾値データ生成部１０８は、複数の入力画像のばらつきからその分布範囲を推定し、その幅を閾値として求める（ステップＳ２０３）。そして、メモリ若しくはハードディスク等で実現されるデータ記憶部１０９に、生成した背景画像と閾値のデータが一時保存される（ステップＳ２０４）。
【００３９】
次に、図２（ｂ）を用いて、図１のスイッチ回路１０４を下側にセットした時の処理フローを説明する。まず、先にデータ記憶部１０９に一時保存しておいた背景画像を背景差分処理部１１１に入力する（ステップＳ２０５）。また、同様に、閾値データを入力する（ステップＳ２０６）。さらに、画像入力部１０１からスイッチ回路１０４を介して現画像を入力し（ステップＳ２０７）、クリッピング領域検出部１０７で領域分類を行う（ステップＳ２０８）。これは、入力画像の中から、クリッピングされた画素とそうでない画素に分類する処理である。
【００４０】
そして、入力した各画素または領域がクリッピングされているかどうかの判定に応じて、背景差分処理部１１１は閾値データを設定する（ステップＳ２０９）。次に、背景差分処理部１１１は比較処理を行う（ステップＳ２１０）。この処理は、現画像の入力画素と背景画像の画素の差分絶対値を求め、閾値データとの比較を行うものである。その結果、差分が閾値以下であれば０、閾値を超えていれば２５５とする。
【００４１】
ステップＳ２１０の比較処理の後、この２値データを任意形状符号化部１１２に出力する（ステップＳ２１１）。尚、差分処理で誤判定が生じる場合、モルフォロジカルフィルタなどの後処理をここで行う。また、ＭＰＥＧ−４で符号化する場合は、マスクデータをバウンディングボックスと呼ばれる外接矩形で囲まれた領域とし、その位置と大きさのデータを出力することで、効率のよい符号化処理を行うことができる。ここでは、フレーム単位の処理として説明したが、後処理以外は画素単位で処理することもできる。
【００４２】
すなわち、本実施形態は、入力画像と平均画像生成部１０６で生成された背景画像との差分成分をオブジェクトとして抽出する画像処理装置である。そこで、クリッピング領域検出部１０７で、入力画像における各画素について画素値が所定値にクリッピングされているか否かが判定される。また、閾値データ生成部１０８では、入力画像においてクリッピングされている画素とクリッピングされていない画素に対してそれぞれ所定の閾値が設定される。そして、背景差分処理部１１１では、入力画像と背景画像との差分成分の大きさを各画素毎に算出し、各画素毎に算出された差分成分の大きさと入力画像の各画素に対して設定された閾値との大きさとを比較し、その比較結果に基づいて、オブジェクトを構成する画素が決定される。
【００４３】
ここで、ステップＳ２０８の領域分類の処理について、図３を用いて説明する。図３は、本発明の第１の実施形態における領域分類処理（ステップＳ２０８）の詳細を説明するためのフローチャートである。領域の分類は、ある画素がクリッピングされているかどうかの判定により行うことができる。尚、図３は、画素単位での処理例について示すものである。まず、入力画像の値が２５５であるかどうかを判定する（ステップＳ３０１）。その結果、２５５であると判定された場合（Ｙｅｓ）、ステップＳ３０３に進んで、その画素はクリッピングされているとみなす。
【００４４】
一方、２５５ではないと判定された場合（Ｎｏ）、同様にして、入力画像の値が０か否かを判定する（ステップＳ３０２）。その結果、０と判定された場合（Ｙｅｓ）、ステップＳ３０３に進んで、その画素はクリッピングされているとみなす。一方、入力画像の値が２５５でも０でもない場合（Ｎｏ）、当該画素はクリッピングされていない通常の画素であるとみなす（ステップＳ３０４）。尚、この方法は簡易的な判定方法であり、画素値が２５５や０になる場合は、クリッピングのときのみであるという仮定に基づいた処理である。すなわち、本実施形態では、クリッピング領域検出部１０７は、入力画像における各画素の画素値がとり得ることのできる最大値又は最小値の場合、当該画素をクリッピングされている画素と判定することを特徴とする。
【００４５】
次に、図４を用いて、ステップＳ２０９の閾値データ設定について説明する。図４は、本発明の第１の実施形態における閾値データ設定処理（ステップＳ２０９）の詳細を説明するためのフローチャートである。図３と同様に図４も、画素単位での処理例について示している。
【００４６】
まず、当該画素がクリッピング領域に判定されているかどうかをチェックする（ステップＳ４０１）。その結果、クリッピング領域であると判定された場合（Ｙｅｓ）、クリッピング領域用の閾値設定を行う（ステップＳ４０２）。一方、クリッピング領域でないと判定された場合（Ｎｏ）、通常領域用の閾値設定を行う（ステップＳ４０３）。ここで、通常領域用の閾値をいくつにするかは、既知の方法を用いて求めることができる。一例として、ｔ分布による区間推定を説明する。サンプル数をｎ、標本平均をｘ＾、標本標準偏差をｓ、区間推定をμとすると、式（２）に示す関係を得ることができる。
【００４７】
μ＝ｘ＾−ｔ・（ｓ／√（ｎー１））  …  （２）
背景画像の生成に１００フレームを用いる場合は、ｎ＝１００であり、ｘ＾は、画素の１００フレームの平均値である。μ＝±５であれば、閾値は５と設定すればよい。一方、クリッピング領域用の閾値は、通常領域用の閾値よりも小さくすべきであり、０と設定してもよい。閾値が０であれば、値が一致しないとオブジェクト（対象物）と判定しないということを意味する。
【００４８】
次に、図５を用いて領域データ設定の詳細を説明する。図５は、本発明の第１の実施形態における差分処理（ステップＳ２１０）の詳細を説明するためのフローチャートである。図５も、画素単位での処理例について示すものである。
【００４９】
まず、背景画素の値と入力画素の値の差分をとり、その絶対値を求める（ステップＳ５０１）。次に、求めた差分絶対値とこの画素における閾値との比較を行う（ステップＳ５０２）。このとき閾値は、前述したように、クリッピング領域と通常閾値領域といった領域毎で異なる値をとる。そして、その結果、差分絶対値が閾値より大きい場合（Ｙｅｓ）、その画素をオブジェクトと判定する（ステップＳ５０４）。一方、差分絶対値が閾値以下の場合（Ｎｏ）、その画素を背景と判定する（ステップＳ５０３）。このように、判定結果の出力値は、画素ごとに１ビットの情報量しか持たないが、ＭＰＥＧ−４符号化では、この２値データを８ビットで表現する。このとき、オブジェクトのマスクデータは２５５、背景のマスクデータは０と設定する。
【００５０】
ここで、通常領域用の閾値が５、クリッピング領域用の閾値が０の場合を例にとって具体的に説明する。尚、入力画素が２５４の場合、この画素は通常領域に設定され、閾値は５である。この画素位置における背景画素値が２５３の場合は、｜２５３−２５４｜＝１となり、閾値５より小さいので、この画素は背景と判定する。そして、マスクデータは０となる。
【００５１】
また、入力画素値が２５５の場合、この画素はクリッピング領域に設定され、閾値は０である。このとき、｜２５４−２５５｜＝１となり、閾値０より大きいので、この画素はオブジェクトと判断する。従って、マスクデータは２５５となる。
【００５２】
同様に、入力画素値が３の場合、この画素は通常領域に設定され、閾値は５である。この画素位置における背景画素値が１の場合は、｜１−３｜＝２となり、閾値５より小さいので、この画素は背景と判定する。また、マスクデータは０となる。
【００５３】
そして、入力画素値が０の場合、この画素はクリッピング領域に設定され、閾値は０である。｜１−０｜＝１となり、閾値０より大きいので、この画素はオブジェクトと判断する。また、マスクデータは、２５５となる。
【００５４】
以上の処理から得られる結果について、図６のグラフを用いて説明する。図６は、本発明の第１の実施形態におけるオブジェクト抽出結果を説明するためのグラフである。図６（ａ）は、図１９（ｂ）と同じ入力画素の時間変化の波形を示している。図６（ａ）では、背景の画素値が２５５に近い値で、閾値の範囲が２５５を含んでいても、入力画素値が２５５の場合には、これを例外処理することでオブジェクトと判定し、背景領域と誤判定することがない。よって６０１、６０２という背景区間及びそれ以外のオブジェクト区間を正しく抽出することができる。
【００５５】
また、図６（ｂ）は、図１９（ｄ）と同じ入力画素の時間変化の波形を示している。図６（ｂ）では、背景の画素値が０に近い値で、閾値の範囲が０を含んでいても、入力画素値が０の場合には、これを例外処理することでオブジェクトと判定し、背景領域と誤判定することがない。よって６０３、６０４という背景区間及びそれ以外のオブジェクト区間を正しく抽出することができる。
【００５６】
以上の処理から得られるマスクデータを図７を用いて説明する。図７は、本発明の第１の実施形態におけるオブジェクト抽出結果であるマスクデータを説明するための図である。図７（ａ）は、図２０の（ａ）を背景画像、（ｂ）を入力画像として処理した結果を示している。本実施形態に係る画像処理装置によれば、図２０（ｃ）で見られる誤判定の部分、すなわちクリッピングされているノートの２５５の領域と、２５５に近いＰＣモニタの領域が正しく分離できている。
【００５７】
また、図７（ｂ）も同様の方法で図２０の（ａ）を背景画像、（ｄ）を入力画像として処理した結果を示している。本実施形態に係る画像処理装置によれば、図２０（ｃ）で見られる誤判定の部分、すなわちクリッピングされてしまっているズボンの０の領域と０に近い机の影の領域とが本実施形態では正しく分離でき、誤判定のないマスクデータを得ることができる。
【００５８】
＜第２の実施形態＞
本発明の第２の実施形態について、図８と図９を用いて説明する。尚、本実施形態に係る画像処理装置の構成は図１に示す構成とし、そのオブジェクト抽出処理手順は図２に示すフローチャートに基づくものとする。但し、本実施形態では、図２のＳ２０８における領域分類処理が、第１の実施形態よりも更に精度を上げた処理になっている。図８は、本発明の第２の実施形態における領域分類処理（ステップＳ２０８）の詳細を説明するためのフローチャートである。尚、図８を画素単位の処理として説明する。
【００５９】
まず、入力画像の値が、２５５であるかどうかを判定する（ステップＳ８０１）。その結果、画素値が２５５の場合（Ｙｅｓ）、その画素に隣接する画素がすべて２５５かどうかの判定を行う（ステップＳ８０２）。その結果、隣接画素がすべて２５５の場合（Ｙｅｓ）、その画素はクリッピングされているとみなす（ステップＳ８０３）。一方、ステップＳ８０２で隣接する画素に２５５でないものがある場合（Ｎｏ）、当該画素を通常領域の画素とする（ステップＳ８０４）。
【００６０】
また、ステップＳ８０１で入力画像の値が２５５でない場合（Ｎｏ）、次に入力画像の値が０か否かを判定する（ステップＳ８０５）。その結果、当該画素値が０の場合（Ｙｅｓ）、さらに隣接する画素すべてが０かどうかの判定を行う（ステップＳ８０６）。その結果、隣接画素がすべて０の場合（Ｙｅｓ）、その画素はクリッピングされているとみなす（ステップＳ８０７）。一方、ステップＳ８０６で隣接する画素に０でないものがある場合（Ｎｏ）、通常領域の画素とする（ステップＳ８０４）。また、ステップＳ８０５で入力画像の値が２５５でも０でもない場合（Ｎｏ）、当該画素をクリッピングされていない通常の画素とする（ステップＳ８０４）。
【００６１】
この処理手順は、上述した第１の実施形態の処理手順を更に改良した方法であり、背景の画素値が２５５や０であるときに一意にクリッピングした画素とはせず、それがクリッピングした結果の値であるのか元々の値であるのかを周辺の画素値から推定しようとするものである。
【００６２】
図９を用いて、背景画像の画素毎の分類例を説明する。図９は、本発明の第２の実施形態における領域分類処理を説明するための概要図である。図９（ａ）は、背景画像のある一部分の画素値を示している。画素値が２５５でないものは、通常領域に設定され、画素値が２５５のものは、隣接画素の状態によって設定が変わる。
【００６３】
ここでは、隣接画素の値が全て２５５の場合のみ、クリッピング領域とし、それ以外を通常領域とした結果が図９（ｂ）で示されている。すなわち、９０１で示した領域が通常領域、９０２で示した領域がクリッピング領域である。これは、周辺画素の値が全て２５５であれば、クリッピングされる前の値は２５５よりも大きかったと考えられ、周辺画素の値が２５５に近い値であれば、対象画素の値も２５５である可能性が高いとの予測に基づくものである。
【００６４】
すなわち、本実施形態では、クリッピング領域検出部１０７は、入力画像における各画素の画素値がとり得ることのできる最大値又は最小値の場合、当該画素をクリッピングされている候補画素とし、クリッピングされている候補画素に隣接する画素の画素値に基づいて、当該候補画素をクリッピングされている画素と判定することを特徴とする。そして、例えば、クリッピング領域検出部１０７は、クリッピングされている候補画素に隣接するすべての画素の画素値が候補画素と同一画素値の場合、当該候補画素をクリッピングされている画素と判定する。
【００６５】
尚、上記実施形態では、隣接する全ての画素が同一画素値の場合だけについて説明したが、これに限定されることなく、例えば、一定数以上の隣接画素が同一画素値の場合等であるようなケースであってもよい。
【００６６】
本実施形態において得られる結果では、入力画像の値が２５５や０である部分の抽出精度は、第１の実施形態の時よりも向上する。
【００６７】
＜第３の実施形態＞
本発明の第３の実施形態について、図１０を用いて説明する。尚、本実施形態に係る画像処理装置の構成は図１に示す構成とし、そのオブジェクト抽出処理手順は図２に示すフローチャートに基づくものとする。但し、本実施形態では、図２のＳ２０８における領域分類処理が、第１の実施形態よりも更に精度を上げた処理になっている。図１０は、本発明の第３の実施形態における領域分類処理（ステップＳ２０８）の詳細を説明するためのフローチャートである。本実施形態では、入力画素の時間変化を観測し、領域分類を行う。尚、図１０は画素単位の処理として説明する。
【００６８】
まず、入力画像の値が２５５であるかどうかを判定する（ステップＳ１００１）。その結果、２５５であると判定された場合（Ｙｅｓ）、その画素位置における時間的に前後の画素（別フレームにおける同一位置の画素）がすべて２５５かどうかの判定を行う（ステップＳ１００２）。その結果、前後フレームの同一位置の画素がすべて２５５の場合（Ｙｅｓ）、その画素はクリッピングされているとみなす（ステップＳ１００３）。
【００６９】
一方、ステップＳ１００２で前後フレームの同一位置の画素に２５５でないものがある場合（Ｎｏ）、当該画素を通常領域の画素とする（ステップＳ１００４）。また、ステップＳ１００１で入力画像の値が２５５でないと判定された場合（Ｎｏ）、さらに、入力画像の値が０か否かを判定する（ステップＳ１００５）。その結果、当該画素値が０の場合（Ｙｅｓ）、さらに前後フレームの同一位置の画素すべてが０かどうかの判定を行う（ステップＳ１００６）。
【００７０】
その結果、前後画素を含みすべて０と判定された場合（Ｙｅｓ）、その画素はクリッピングされているとみなす（ステップＳ１００７）。一方、前後フレームの同一位置の画素に０でないものがあると判定された場合（Ｎｏ）、当該画素を通常領域の画素とする（ステップＳ１００４）。また、入力画像の値が、ステップＳ１００１で２５５でなく、ステップＳ１００５で０でないと判定された場合（Ｎｏ）、クリッピングされていない通常の画素とする（ステップＳ１００４）。
【００７１】
すなわち、本実施形態では、クリッピング領域検出部１０７は、動画像の１フレームである入力画像における各画素の画素値がとり得ることのできる最大値又は最小値の場合、当該画素をクリッピングされている候補画素とし、入力画像における候補画素に相当する動画像中の他フレームにおける画素の画素値に基づいて、当該候補画素をクリッピングされている画素と判定することを特徴とする。また、本実施形態に係る画像処理装置では、動画像から現フレームにおいてクリッピングされている画素の判定の際に参照する複数のフレームが選択され、現フレームにおける候補画素に相当する動画像から選択された複数のフレームにおける画素値が、すべて候補画素と同一画素値の場合、当該候補画素をクリッピングされている画素と判定することを特徴とする。
【００７２】
この第３の実施形態の方法は、第１の実施形態の処理を更に改良した方法であり、入力画像の画素値が２５５や０であるとき、それがクリッピングした結果の値であるのか、元々の値であるのかを、前後フレームの同一位置の画素の画素値から推定しようとするものである。
【００７３】
本実施形態において得られる結果では、入力画像の画素値が２５５や０である部分の抽出精度は、第１の実施形態の時よりも向上する。また、第２の実施形態と第３の実施形態とは、互いに独立した別の処理であるため、両者を併用することで、個々の処理だけによる場合よりも高い精度を得ることが可能である。
【００７４】
＜第４の実施形態＞
本発明の第４の実施形態について、図１１、図１２を用いて説明する。尚、本実施形態に係る画像処理装置の構成は図１に示す構成とする。本実施形態は、第１及び第２の実施形態とは別の形態をとるものであり、第３の実施形態よりも更に精度を上げようというものである。図１１は、本発明の第４の実施形態に係る画像処理装置を用いたオブジェクト抽出処理を説明するためのフローチャートである。図１１に示すフローチャートは、図２のステップＳ２０８における領域分類処理に前処理（ステップＳ１１０１、Ｓ１１０２）を加えたものである。尚、第３の実施形態では、現画素の時間的に前後の状態の同じ位置の画素として求めていたが、第４の実施形態では、オブジェクトの動きを考慮し、対応画素を動きパラメータから求める。
【００７５】
図１１に示すフローチャートにおいて、ステップＳ２０７の現画像入力までの処理手順は、上述した第１の実施形態における図２のフローチャートと同様である。そして、本実施形態では、現画像入力後、クリッピング領域検出部１０７では、画面をいくつかのブロックに分割するブロック化処理を行う（ステップＳ１１０１）。次に、ブロック同士でマッチング処理を行い、フレーム間で対応している画素の値を求める（ステップＳ１１０２）。マッチングに用いるパラメータはいろいろ考えられるが、ここではアフィン変換を例に説明する。アフィン変換は、座標（ｘ，ｙ）を式（３）、（４）式に従って、（Ｘ，Ｙ）に変換するものである。
【００７６】
Ｘ＝ａ・ｘ＋ｂ・ｙ＋ｃ  …  （３）
Ｙ＝ｄ・ｘ＋ｅ・ｙ＋ｆ  …  （４）
ブロック内の現画像と参照画像の各画素の差分二乗和が最小になるようなａ〜ｆまでのパラメータを求めることにより、そのブロックにおける動きを求めることができる。これら６つのパラメータにより、拡大・縮小、移動、回転の動きを求めることが可能である。各ブロック毎のパラメータが求まったら、領域分類処理のため、データを一時保存しておく。
【００７７】
図１２は、本発明の第４の実施形態における領域分類処理（ステップＳ２０８）の詳細を説明するためのフローチャートである。尚、図１２は画素単位の処理について示したものである。まず、入力画像の値が２５５であるかどうかを判定する（ステップＳ１２０１）。その結果、２５５であると判定された場合（Ｙｅｓ）、前後のフレームからこの画素に対応する位置の画素値を求める（ステップＳ１２０８）。この処理は、前述したアフィン変換のパラメータにより求めることができる。
【００７８】
そして、前後の対応する画素の値が求まった後、その画素値も２５５かどうかを判定する（ステップＳ１２０２）。その結果、対応する前後の画素値がすべて２５５であると判定された場合（Ｙｅｓ）、その画素はクリッピングされているとみなす（ステップＳ１２０３）。一方、対応する前後の画素に２５５でないものがある場合（Ｎｏ）、当該画素を通常領域の画素とする（ステップＳ１２０４）。
【００７９】
また、ステップＳ１２０１で入力値が２５５でないと判定された場合（Ｎｏ）、入力画像の値が０か否かを判定する（ステップＳ１２０５）。その結果、入力画像の値が０であると判定された場合（Ｙｅｓ）、前後のフレームからこの画素に対応する位置の画素値を求める（ステップＳ１２０９）。さらに、前後の対応する画素の値が求まった後、その画素値も０かどうかを判定する（ステップＳ１２０６）。
【００８０】
その結果、対応する前後の画素値がすべて０の場合（Ｙｅｓ）、その画素はクリッピングされているとみなす（ステップＳ１２０７）。一方、対応する前後の画素に０でないものがある場合（Ｎｏ）、その画素を通常領域の画素とする（ステップＳ１２０４）。また、ステップＳ１２０５で入力画像の値が２５５でも０でもないと判定された場合（Ｎｏ）、クリッピングされていない通常の画素とする（ステップＳ１２０４）。
【００８１】
すなわち、本実施形態に係る画像処理装置では、現フレームと動画像から選択された複数のフレームとの間における画素の動き量が算出され、現フレームにおける候補画素に相当する動画像から選択された複数のフレームにおける動き量を利用して求められる画素の画素値が、すべて候補画素と同一画素値の場合、当該候補画素をクリッピングされている画素と判定することを特徴とする。また、本実施形態では、動き量を算出するために、フレームを複数の小領域に分割し、分割した小領域毎に動きのパラメータを検出することを特徴とする。
【００８２】
上述した第４の実施形態は、第３の実施形態を更に改良した方法であり、入力画像の画素値が２５５や０であるとき、それがクリッピングした結果の値なのか、元々の値なのかを、前後の画素値から推定しようとするものであり、その前後の対応する画素値の検出精度を高めたものである。なお、前後の画素は、現画像の直前と直後のフレームから求めるのが一般的であるが、後のフレームのみや前のフレームのみを用いても構わない。また、前後それぞれ複数のフレームを用いて重み付けを行い、より高い精度を出すことももちろん可能である。
【００８３】
本実施形態において得られる結果では、入力画像の画素値が２５５や０である部分の抽出精度は、第１の実施形態の時よりも向上する。また、第２の実施形態と第４の実施形態とは独立した別の処理であるため、両者を併用することで個々の処理よりも高い精度を得ることが可能である。
【００８４】
＜第５の実施形態＞
本発明の第５の実施形態について説明する。図２１は、本発明の第５の実施形態における画像処理装置の構成を示すブロック図である。まず、図２１（ａ）は本実施形態に係る画像処理装置の全体構成を示すブロック図である。例えば、本発明をオブジェクト抽出処理を遠隔監視装置などに用いる場合、その構成は、図２１（ａ）に示すように、画像入力部２１０１、オブジェクト抽出部２１０２、画像符号化部２１０３と大きく３つのブロックに分かれる。
【００８５】
画像入力部２１０１は、例えば、カメラ等の撮像装置であり、デジタル化した画像データを後段のオブジェクト抽出部２１０２に出力する。オブジェクト抽出部２１０２は、本発明の特徴部分であり、後に詳しく説明する。画像符号化部２１０３は、抽出したオブジェクトや背景を符号化するものであり、ネットワークへの伝送や、ファイルへの蓄積等を行うためのビットストリームを生成する。
【００８６】
図２１（ｂ）は、本実施形態に係るオブジェクト抽出部２１０２及び画像符号化部２１０３の詳細な構成を示すブロック図である。背景差分によるオブジェクト抽出は、まず背景画像の生成処理、次いで差分処理という２つのステップで実行される。背景画像の生成時には、スイッチ回路２１０４は図中上側にセットし、２１０５のスイッチ回路はＯＦＦに設定する。
【００８７】
平均画像生成部２１０６では、一定時間に入力した複数のフレーム画像から、平均値を求めた画像を１枚生成する。この画像は、差分処理時の基準画像となるため、データ記憶部２１０９に一時保存しておく。クリッピング領域検出部２１０７では、平均画像の生成過程からクリッピングされている画素領域を検出する。また、閾値データ生成部２１０８では、入力画像の頻度分布から閾値を生成する。このとき、クリッピング領域検出部２１０７の出力結果を閾値設定に反映させ、画素位置に応じた閾値データをデータ記憶部２１０９に一時保存しておく。
【００８８】
次に、差分処理時の動作を説明する。差分処理時は、スイッチ回路２１０４は、図中下側にセットし、スイッチ回路２１０５はＯＮにする。そして、背景差分処理部２１１１では、スイッチ回路２１０４を介して入力された入力画像と、データ記憶部２１０９から読み出した背景画像および閾値データから、比較処理が行われる。このとき、各画素単位で入力画素と背景画素との比較を行い、画素毎に設定されている閾値と比較しながら、背景画素又はオブジェクト画素の判定を行う。比較結果は、背景画素の場合は０、オブジェクト（対象物）の画素の場合は２５５という２値で出力される。これによって生成される２値画像は、形状データ若しくはマスクデータと呼ばれる。
【００８９】
ここで、任意形状符号化部２１１２には、形状データと画像データが入力される。本実施形態では、任意形状符号化部１１２における任意形状符号化に国際標準規格のＭＰＥＧ−４を用いる。ＭＰＥＧ−４による任意形状符号化は、同じ画素位置の画像データ、形状データ及び透過度データをまとめて１つのマクロブロックを構成し、マクロブロック単位で符号化する。任意形状符号化する場合には、物体を包含するバウンディングボックスと呼ばれる領域を設定し、この左上の座標位置と矩形領域の大きさを併せて符号化する。透過度データは半透明物体以外のオブジェクトに対しては使用されないのでここでの説明は省略する。
【００９０】
また、本実施形態において、マクロブロック毎の符号化処理を行う第１の実施形態に係る任意形状符号化部２１１２（ＭＰＥＧ−４エンコーダ）の細部構成は、第１の実施形態で図１４を用いて説明したものと同様である。また、形状データの符号化には、形状符号化ＣＡＥ部１４０９で行われるＣＡＥと呼ばれる算術符号化を用いる。さらに、可変長符号化部１４１２の処理が終わると、ビットストリームが出力される。
【００９１】
一方、背景画像符号化部２１１０では、生成した１枚の背景画像を符号化する。この符号化方式は、特に限定されるものでなく、静止画符号化方式が使用可能である。また、フレーム数が１の動画とみなして動画像の符号化方式を用いることも可能である。されに、ＭＰＥＧ−４を用いれば、任意形状符号化部１１２と共通の符号化方式が使えることになる。また、人物検出などが目的で、背景画像が必要ない場合には、この背景画像符号化部２１１０は省略が可能である。
【００９２】
次に、全体の処理の流れをについて説明する。図２２は、本発明の第５の実施形態に係る画像処理装置を用いたオブジェクト抽出処理を説明するためのフローチャートである。図２２（ａ）は、図２１のスイッチ回路２１０４を上側にセットした時の処理フローである。まず、動画像の入力が画像入力部２１０１で行われる（ステップＳ２２０１）。次いで、平均画像生成部２１０６で入力画像から背景画像が生成される（ステップＳ２２０２）。背景画像の生成は、複数の入力画像から各画素位置における平均値を計算することで簡単に求めることができる。
【００９３】
次に、クリッピング領域検出部２１０７で領域分類が行われる（ステップＳ２２０３）。この処理は、背景画像の中からクリッピングされた画素とそうではない画素（通常の画素）とに分類する処理である。そして、閾値データ生成部２１０８で、各画素又は領域における閾値データが設定される（ステップＳ２２０４）。さらに、生成した背景画像と閾値データは、メモリ若しくはハードディスクで実現されるデータ記憶部２１０９に、生成した背景画像と閾値のデータが一時保存される（ステップＳ２２０５）。
【００９４】
次に、図２２（ｂ）を用いて、図２１のスイッチ回路２１０４を下側にセットした時の処理フローを説明する。まず、先にデータ記憶部２１０９に一時保存しておいた背景画像を背景差分処理部２１１１に入力する（ステップＳ２２０６）。また、同様に、閾値データを入力する（ステップＳ２２０７）。さらに、画像入力部２１０１からスイッチ回路２１０４を介して現画像を入力し（ステップＳ２２０８）、背景差分処理部２１１１は比較処理を行う（ステップＳ２２０９）。その結果、差分が閾値以下であれば０、閾値を超えていれば２５５とする。
【００９５】
比較した後、この２値データを任意形状符号化部２１１２に出力する（ステップＳ２２１０）。尚、差分処理で誤判定が生じる場合、モルフォロジカルフィルタなどの後処理をここで行う。また、ＭＰＥＧ−４で符号化する場合は、マスクデータをバウンディングボックスと呼ばれる外接矩形で囲まれた領域とし、その位置と大きさのデータを出力することで、効率のよい符号化処理を行うことができる。ここでは、フレーム単位の処理として説明したが、後処理以外は、画素単位で処理することもできる。
【００９６】
ここで、ステップＳ２２０３の領域分類の処理について、図２３を用いて説明する。図２３は、本発明の第５の実施形態における領域分類処理（ステップＳ２２０３）の詳細を説明するためのフローチャートである。領域の分類は、ある画素がクリッピングされているかどうかの判定により行うことができる。尚、図２３は、画素単位での処理例について示すものである。まず、生成した背景画像の値（本実施形態では、複数の入力画像の平均値としている）が２５５であるかどうかを判定する（ステップＳ２３０１）。その結果、２５５であると判定された場合（Ｙｅｓ）、ステップＳ２３０３に進んで、その画素はクリッピングされているとみなす。
【００９７】
一方、２５５ではないと判定された場合（Ｎｏ）、同様にして、平均値が０か否かを判定する（ステップＳ２３０２）。その結果、０と判定された場合（Ｙｅｓ）、ステップＳ２３０３に進んで、その画素はクリッピングされているとみなす。一方、平均値が２５５でも０でもない場合（Ｎｏ）、当該画素はクリッピングされていない通常の画素であるとみなす（ステップＳ２３０４）。尚、この方法は簡易的な判定方法であり、画素値が２５５や０になる場合は、クリッピングのときのみであるという仮定に基づいた処理である。すなわち、本実施形態に係る画像処理装置において、クリッピング領域検出部２１０７は、背景画像における各画素の画素値がとり得ることのできる最大値又は最小値の場合、当該画素をクリッピングされている画素と判定することを特徴とする。
【００９８】
ここで、ステップＳ２２０４の閾値データ設定処理の詳細は、前述した第１の実施形態における図４で示された処理と同様であるため、ここでは省略する。また、領域データ設定処理の詳細についても、前述した第１の実施形態における図５で示された処理と同様であるため、ここでは省略する。
【００９９】
ここで、背景画素の値が１８０の場合、この画素は通常領域に設定され、閾値は５となる。ここで、入力画素が１７９の場合、｜１８０−１７９｜＝１となり、閾値５より小さいので、この画素は背景と判定する。そして、マスクデータは０となる。
【０１００】
また、背景画素の値が２５５の場合、この画素はクリッピング領域に設定され、閾値は０である。ここで、入力画素の値が２５４の場合、｜２５５−２５４｜＝１となり、閾値０より大きいので、この画素はオブジェクトと判断する。マスクデータは、２５５となる。
【０１０１】
さらに、背景画素の値が０の場合も同様に、入力画素の値が１の場合、｜０−１｜＝１となり、閾値０より大きいので、この画素はオブジェクトと判断する。また、マスクデータは、２５５となる。
【０１０２】
すなわち、本実施形態は、入力画像と背景画像との差分成分をオブジェクトとして抽出する画像処理装置である。ここで、クリッピング領域検出部２１０７は、背景画像における各画素について画素値が所定値にクリッピングされているか否かを判定する。一方、閾値データ生成部２１０８は、背景画像においてクリッピングされている画素とクリッピングされていない画素に対してそれぞれ所定の閾値を設定する。そして、背景差分処理部２１１１は、入力画像と背景画像との差分成分の大きさを各画素毎に算出し、各画素毎に算出された差分成分の大きさと背景画像の各画素に対して設定された閾値との大きさとを比較し、その比較結果に基づいて、オブジェクトを構成する画素を決定することを特徴とする。
【０１０３】
また、本実施形態に係る画像処理装置では、差分成分の大きさが閾値よりも大きい場合にオブジェクトを構成する画素とし、差分成分の大きさが閾値よりも小さい場合に背景を構成する画素とすることを特徴とする。
【０１０４】
以上の処理から得られる結果について、図２４のグラフを用いて説明する。図２４は、本発明の第５の実施形態におけるオブジェクト抽出結果を説明するためのグラフである。図２４（ａ）は、図２８（ｂ）と同じ入力画素の時間変化の波形を示している。図２４（ａ）では、図２８における区間２８０２のように、画素値が２５５に近い値であってもオブジェクトと判定し、背景画素と誤判定することがない。よって２４０１、２４０２という背景区間及びそれ以外のオブジェクト区間を正しく抽出することができる。
【０１０５】
また、図２４（ｂ）は、図２８（ｄ）と同じ入力画素の時間変化の波形を示している。図２４（ｂ）では、区間２８０５のように、画素値が０に近い値であってもオブジェクトと判定し、背景領域と誤判定することがない。よって２４０３、２４０４という背景区間及びそれ以外のオブジェクト区間を正しく抽出することができる。
【０１０６】
以上の処理から得られるマスクデータを第１の実施形態と同様に図７を用いて説明する。図７（ａ）は、図２０の（ａ）を背景画像、（ｂ）を入力画像として処理した結果を示している。本実施形態に係る画像処理装置によれば、図２０（ｃ）で見られる誤判定の部分、すなわちクリッピングされているモニタの２５５の領域と、２５５に近いノートの領域が正しく分離できている。
【０１０７】
また、図７（ｂ）も同様の方法で図２０の（ａ）を背景画像、（ｄ）を入力画像として処理した結果を示している。本実施形態に係る画像処理装置によれば、図２０（ｃ）で見られる誤判定の部分、すなわちクリッピングされてしまっている机右下の０の領域と、０に近いズボンの領域とが正しく分離でき、誤判定のないマスクデータを得ることができる。
【０１０８】
＜第６の実施形態＞
本発明の第６の実施形態について説明する。尚、本実施形態に係る画像処理装置の構成は図２１に示す構成とし、そのオブジェクト抽出処理手順は図２２に示すフローチャートに基づくものとする。但し、本実施形態では、図２２のステップＳ２２０３における領域分類処理が、第５の実施形態よりも更に精度を上げた処理になっている。図２５は、本発明の第６の実施形態における領域分類処理（ステップＳ２２０３）の手順を説明するためのフローチャートである。尚、本実施形態では図２５の処理を画素単位の処理として説明する。
【０１０９】
まず、生成した背景画像の値（ここでは、複数の入力画像の平均値）が、２５５であるかどうかを判定する（ステップＳ２５０１）。その結果、画素値が２５５の場合（Ｙｅｓ）、その画素に隣接する画素がすべて２５５かどうかの判定を行う（ステップＳ２５０２）。その結果、隣接画素がすべて２５５の場合（Ｙｅｓ）、その画素はクリッピングされているとみなす（ステップＳ２５０３）。一方、ステップＳ２５０２で隣接する画素に２５５でないものがある場合（Ｎｏ）、当該画素を通常領域の画素とする（ステップＳ２５０４）。
【０１１０】
また、ステップＳ２５０１で背景画像の値が２５５でない場合（Ｎｏ）、次に平均値が０か否かを判定する（ステップＳ２５０５）。その結果、当該画素値が０の場合（Ｙｅｓ）、さらに隣接する画素すべてが０かどうかの判定を行う（ステップＳ２５０６）。その結果、隣接画素がすべて０の場合（Ｙｅｓ）、その画素はクリッピングされているとみなす（ステップＳ２５０７）。一方、ステップＳ２５０６で隣接する画素に０でないものがある場合（Ｎｏ）、通常領域の画素とする（ステップＳ２５０４）。また、ステップＳ２５０５で入力画像の値が２５５でも０でもない場合（Ｎｏ）、当該画素をクリッピングされていない通常の画素とする（ステップＳ２５０４）。
【０１１１】
すなわち、本実施形態においてクリッピング領域検出部２１０７は、背景画像における各画素の画素値がとり得ることのできる最大値又は最小値の場合、当該画素をクリッピングされている候補画素とし、クリッピングされている候補画素に隣接する画素の画素値に基づいて、当該候補画素をクリッピングされている画素と判定することを特徴とする。そして、例えば、クリッピングされている候補画素に隣接するすべての画素の画素値が候補画素と同一画素値の場合、当該候補画素をクリッピングされている画素と判定する。
【０１１２】
この処理手順は、上述した第５の実施形態の処理手順を更に改良した方法であり、背景の画素値が２５５や０であるときに一意にクリッピングした画素とはせず、それがクリッピングした結果の値であるのか元々の値であるのかを周辺の画素値から推定しようとするものである。また、背景画像の画素毎の分類例については、第２の実施形態において図９を用いて説明した通りである。すなわち、周辺画素の値が全て２５５であれば、クリッピングされる前の値は２５５よりも大きかったと考えられ、周辺画素の値が２５５に近い値であれば、対象画素の値も２５５である可能性が高いとの予測に基づくものである。
【０１１３】
本実施形態において得られる結果では、背景画素の値が２５５や０である部分の抽出精度は、第５の実施形態の時よりも向上する。
【０１１４】
＜第７の実施形態＞
本発明の第７の実施形態について説明する。尚、本実施形態に係る画像処理装置の構成は図２１に示す構成とし、そのオブジェクト抽出処理手順は図２２に示すフローチャートに基づくものとする。但し、本実施形態は、図２２のＳ２２０３における領域分類処理が、第５の実施形態よりも更に精度を上げた処理になっており、第６の実施形態とは別の形態をとるものである。
【０１１５】
本実施形態は、背景画像生成時の入力画素の時間変化を観測し、領域分類を行うものである。背景画像の生成は、複数の画像の平均をとることによって求める。図２６は、本発明の第７の実施形態における領域分類を説明するためのグラフである。ここで、クリッピングをする前の平均値が２５５である画素については、図２６（ａ）に示すような時間変化をしていると考えられる。実際には、クリッピング処理によって、観測可能な値は図２６（ｂ）に示すようになる。
【０１１６】
ここで、図１８（ｂ）に示すようにクリッピングする前の平均値が２５５よりもある程度大きい場合は、観測可能な値は図１８（ｃ）に示すようにすべて２５５になる。すなわち、平均画像を生成する過程において、入力画素値の中に２５５より小さい値がある場合、クリッピング処理をする前の平均値も２５５である可能性が高いと考えられえる。
【０１１７】
同様のことが、０近傍の画素値を有する画素に関しても言える。平均値が０である画素は、図２６（ｃ）に示すような時間変化をしていると考えられる。実際には、クリッピング処理により、観測可能な値は図２６（ｄ）に示すようになる。これについても同様に、図１８（ｅ）に示すようなクリッピングする前の平均値が０よりもある程度小さい場合には、観測可能な値は図１８（ｆ）に示すように、すべて０になる。
【０１１８】
すなわち、平均画像を生成する過程において、入力画像値の中に０より大きい値があった場合、クリッピング処理をする前の画素の平均値も０である可能性が高いと考えられる。図２７は、本発明の第７の実施形態における領域分類処理（ステップＳ２２０３）の手順を説明するためのフローチャートである。尚、図２７は画素単位の処理として説明する。
【０１１９】
まず、入力画素の画素値の最小値が２５５であるかどうかを判定する（ステップＳ２７０１）。その結果、最小値が２５５であると判定された場合（Ｙｅｓ）、入力されたすべての画素が２５５であるということから、その画素はクリッピングされているとみなす（ステップＳ２７０２）。
【０１２０】
一方、最小値が２５５ではないと判定された場合（Ｎｏ）、さらに、入力画素の最大値が０か否かを判定する（ステップＳ２７０３）。その結果、最大値が０であると判定された場合（Ｙｅｓ）、入力された画素はすべて０であるということから、その画素はクリッピングされているとみなす（ステップＳ２７０２）。また、入力画素の最小値が２５５でなく、最大値が０でもない場合（Ｎｏ）、平均の画素値が２５５や０であっても、当該画素を通常領域の画素とする（ステップＳ２７０４）。
【０１２１】
すなわち、本実施形態に係るクリッピング領域検出部２１０７は、背景画素の画素値がとり得ることのできる最大値又は最小値の場合、当該画素をクリッピングされている候補画素とし、入力画像における候補画素のうち、背景画像の生成に用いられた複数のフレームにおける同一位置画素の画素値に基づいて、当該候補画像をクリッピングされている画素と判定することを特徴とする。そして、例えば、現フレームにおける候補画素に相当する動画像から選択された複数のフレームにおける画素値が、すべて候補画素と同一画素値の場合、当該候補画素をクリッピングされている画素と判定する。
【０１２２】
本実施形態において得られる結果では、入力画像の画素値が２５５や０である部分の抽出精度は、第５の実施形態の時よりも向上する。また、第６の実施形態と本実施形態とは、互いに独立した別の処理であるため、両者を併用することで、個々の処理だけによる場合よりも高い精度を得ることが可能である。
【０１２３】
＜その他の実施形態＞
尚、本発明は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用してもよい。
【０１２４】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２５】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２６】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【０１２７】
【発明の効果】
以上説明したように、本発明によれば、画像中の対象物の画素値と背景の画像値とが近い値であっても誤判定を生じることなく、高精度な対象物の抽出処理をすることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における画像処理装置の構成を示すブロック図である。
【図２】本発明の第１の実施形態に係る画像処理装置を用いたオブジェクト抽出処理を説明するためのフローチャートである。
【図３】本発明の第１の実施形態における領域分類処理（ステップＳ２０８）の詳細を説明するためのフローチャートである。
【図４】本発明の第１の実施形態における閾値データ設定処理（ステップＳ２０９）の詳細を説明するためのフローチャートである。
【図５】本発明の第１の実施形態における差分処理（ステップＳ２１０）の詳細を説明するためのフローチャートである。
【図６】本発明の第１の実施形態におけるオブジェクト抽出結果を説明するためのグラフである。
【図７】本発明の第１の実施形態におけるオブジェクト抽出結果であるマスクデータを説明するための図である。
【図８】本発明の第２の実施形態における領域分類処理（ステップＳ２０８）の詳細を説明するためのフローチャートである。
【図９】本発明の第２の実施形態における領域分類処理を説明するための概要図である。
【図１０】本発明の第３の実施形態における領域分類処理（ステップＳ２０８）の詳細を説明するためのフローチャートである。
【図１１】本発明の第４の実施形態に係る画像処理装置を用いたオブジェクト抽出処理を説明するためのフローチャートである。
【図１２】本発明の第４の実施形態における領域分類処理（ステップＳ２０８）の詳細を説明するためのフローチャートである。
【図１３】背景差分処理による別のオブジェクト抽出例を説明するためのグラフである。
【図１４】マクロブロック毎の符号化処理を行う第１の実施形態に係る任意形状符号化部１１２（ＭＰＥＧ−４エンコーダ）の細部構成を示すブロック図である。
【図１５】クリッピング処理を説明するためのグラフである。
【図１６】動画像中の背景画像の時間変化を説明するためのグラフである。
【図１７】背景差分処理によるオブジェクト抽出例を説明するためのグラフである。
【図１８】クリッピング領域における背景画素値の時間変化を説明するためのグラフである。
【図１９】クリッピング領域近傍における背景差分処理の問題点を説明するためのグラフである。
【図２０】クリッピング領域近傍における背景差分処理の問題点を説明するための画像データの図である。
【図２１】本発明の第５の実施形態における画像処理装置の構成を示すブロック図である。
【図２２】本発明の第５の実施形態に係る画像処理装置を用いたオブジェクト抽出処理を説明するためのフローチャートである。
【図２３】本発明の第５の実施形態における領域分類処理（ステップＳ２２０３）の詳細を説明するためのフローチャートである。
【図２４】本発明の第５の実施形態におけるオブジェクト抽出結果を説明するためのグラフである。
【図２５】本発明の第６の実施形態における領域分類処理（ステップＳ２２０３）の手順を説明するためのフローチャートである。
【図２６】本発明の第７の実施形態における領域分類を説明するためのグラフである。
【図２７】本発明の第７の実施形態における領域分類処理（ステップＳ２２０３）の手順を説明するためのフローチャートである。
【図２８】クリッピング領域近傍における背景差分処理の問題点を説明するための別のグラフである。
【符号の説明】
１０１、２１０１  画像入力部
１０２、２１０２  オブジェクト抽出部
１０３、２１０３  画像符号化部
１０４、１０５、２１０４、２１０５  スイッチ回路
１０６、２１０６  平均画像生成部
１０７、２１０７  クリッピング領域検出部
１０８、２１０８  閾値データ生成部
１０９、２１０９  データ記憶部
１１０、２１１０  背景画像符号化部
１１１、２１１１  背景差分処理部
１１２、２１１２  任意形状符号化部
【図１】
2004215040.tif 000003
【図２】
2004215040.tif 000004
【図３】
2004215040.tif 000005
【図４】
2004215040.tif 000006
【図５】
2004215040.tif 000007
【図６】
2004215040.tif 000008
【図７】
2004215040.tif 000009
【図８】
2004215040.tif 000010
【図９】
2004215040.tif 000011
【図１０】
2004215040.tif 000012
【図１１】
2004215040.tif 000013
【図１２】
2004215040.tif 000014
【図１３】
2004215040.tif 000015
【図１４】
2004215040.tif 000016
【図１５】
2004215040.tif 000017
【図１６】
2004215040.tif 000018
【図１７】
2004215040.tif 000019
【図１８】
2004215040.tif 000020
【図１９】
2004215040.tif 000021
【図２０】
2004215040.tif 000022
【図２１】
2004215040.tif 000023
【図２２】
2004215040.tif 000024
【図２３】
2004215040.tif 000025
【図２４】
2004215040.tif 000026
【図２５】
2004215040.tif 000027
【図２６】
2004215040.tif 000028
【図２７】
2004215040.tif 000029
【図２８】
2004215040.tif 000030