(57)【特許請求の範囲】
【請求項１】
画素化されたイメージをセグメント化する方法であって、
（ａ）第１の基準イメージから少なくとも１つの第１領域を選択するステップと、
（ｂ）該少なくとも１つの第１領域に含まれる画素の値から、該画素のうちの第１の所定の割合の画素が、第１の閾値の第１の側にある値を有するような第１の閾値を得るステップと、
（ｃ）該イメージの各画素と非遮蔽背景のイメージの対応する画素との差分として、差分イメージを形成するステップと、
（ｄ）該差分イメージ画素の値が該第１の閾値の該第１の側にあり、且つ、第１の所定の数よりも多くの数の近隣差分イメージ画素の値が該第１の閾値の該第１の側にある場合、各差分イメージ画素を、少なくとも１つの第１タイプの領域に割り当てるステップと、
を含む方法。
【請求項２】
前記第１の所定の割合が０．５〜１である、請求項１に記載の方法。
【請求項３】
前記第１の所定の割合が０．７５に等しい、請求項２に記載の方法。
【請求項４】
前記第１の所定の数が、近隣差分イメージ画素の数の半分に等しい、請求項２または３に記載の方法。
【請求項５】
前記第１領域および前記第１タイプの領域の各々が、背景領域を含み、前記第１の閾値の第１の側にある値が該第１の閾値よりも小さい値である、請求項１から４のいずれか１つに記載の方法。
【請求項６】
前記第１の基準イメージが、前記非遮蔽背景の２つのイメージの間の差分を含み、該少なくとも１つの第１領域が、該第１の基準イメージの全体を含む、請求項５に記載の方法。
【請求項７】
前記少なくとも１つの第１領域が、自動的に選択される、請求項１から５のいずれか１つに記載の方法。
【請求項８】
前記少なくとも１つの第１領域が、前記第１の基準イメージの少なくとも１つの側部を含む、請求項７に記載の方法。
【請求項９】
前記少なくとも１つの第１領域が、手動で選択される、請求項１から５のいずれか１つに記載の方法。
【請求項１０】
前記ステップ（ｄ）における前記近隣画素がアレイ状に配置され、前記差分イメージ画素の位置が該アレイの中心にある、請求項１から９のいずれか１つに記載の方法。
【請求項１１】
共通の背景を有するシーケンスのイメージについて、前記ステップ（ａ）〜（ｄ）を繰り返すことを特徴とする、請求項１から１０のいずれか１つに記載の方法。
【請求項１２】
前記第１の基準イメージが、先行する差分イメージである、請求項１１に記載の方法。
【請求項１３】
前記少なくとも１つの第１領域が、前記先行するステップ（ｄ）の、前記少なくとも１つの第１タイプの領域を含む、請求項１２に記載の方法。
【請求項１４】
各ステップ（ｄ）は、前記少なくとも１つの第１タイプの領域に割り当てられた前記差分イメージ画素の値を含む第１の初期ヒストグラムを形成するステップを含み、
前記ステップ（ｂ）は、先行するステップ（ｄ）において形成された該第１の初期ヒストグラムと先行するステップ（ｂ）の第１の得られたヒストグラムの１つよりも小さな第１の所定の分画との合計を含む該第１の得られたヒストグラムから、前記第１の閾値を得る、請求項１３に記載の方法。
【請求項１５】
前記第１の所定の分画が１／２である、請求項１４に記載の方法。
【請求項１６】
画素化されたイメージをセグメント化する方法であって、
（ｅ）第２の基準イメージから少なくとも１つの第２領域を選択するステップと、
（ｆ）該少なくとも１つの第２領域に含まれる画素の値から、該画素のうちの第２の所定の割合の画素が、第２の閾値の、前記第１の側の反対の第２の側にある値を有するような第２の閾値を得るステップと、
（ｇ）前記差分イメージ画素の値が該第２の閾値の該第２の側にあり、且つ、第２の所定の数よりも多くの数の近隣差分イメージ画素の値が該第２の閾値の該第２の側にある場合、前記少なくとも１つの第１タイプの領域に割り当てられない差分イメージ画素の各々を、少なくとも１つの第２タイプの領域に割り当てるステップと、
を含む、請求項１から１５のいずれか１つに記載の方法。
【請求項１７】
前記第２の所定の割合が０．５〜１である、請求項１６に記載の方法。
【請求項１８】
前記第２の所定の割合が０．７５に等しい、請求項１７に記載の方法。
【請求項１９】
前記第２の所定の数が、近隣差分イメージ画素の数の半分に等しい、請求項１６または１７に記載の方法。
【請求項２０】
前記第２領域および前記第２タイプの領域の各々が、前面領域を含み、前記第２の閾値の第２の側にある値が該第２の閾値よりも大きい値である、請求項１６から１９のいずれか１つに記載の方法。
【請求項２１】
前記少なくとも１つの第２領域が、自動的に選択される、請求項１６から２０のいずれか１つに記載の方法。
【請求項２２】
前記少なくとも１つの第２領域が、前記第２の基準イメージの中間部分を含む、請求項２１に記載の方法。
【請求項２３】
前記少なくとも１つの第２領域が、手動で選択される、請求項１６から２０のいずれか１つに記載の方法。
【請求項２４】
前記第２の基準イメージが前記第１の基準イメージを含む、請求項１６から２３のいずれか１つに記載の方法。
【請求項２５】
前記ステップ（ｇ）における前記近隣画素がアレイ状に配置され、前記差分イメージ画素の位置が該アレイの中心にある、請求項１６から２４のいずれか１つに記載の方法。
【請求項２６】
共通の背景を有するシーケンスのイメージについて、前記ステップ（ｅ）〜（ｇ）を繰り返すことを特徴とする、請求項１６から２５のいずれか１つに記載の方法。
【請求項２７】
前記第２の基準イメージが、先行する差分イメージである、請求項２６に記載の方法。
【請求項２８】
前記少なくとも１つの第２領域が、前記先行するステップ（ｇ）の、前記少なくとも１つの第２タイプの領域を含む、請求項２７に記載の方法。
【請求項２９】
各ステップ（ｇ）は、前記少なくとも１つの第２タイプの領域に割り当てられた前記差分イメージ画素の値を含む第２の初期ヒストグラムを形成するステップを含み、
前記ステップ（ｆ）は、先行するステップ（ｇ）において形成された該第２の初期ヒストグラムと先行するステップ（ｆ）の第２の得られたヒストグラムの１つよりも小さな第２の所定の分画との合計を含む該第２の得られたヒストグラムから、前記第２の閾値を得る、請求項２８に記載の方法。
【請求項３０】
前記第２の所定の分画が１／２である、請求項２９に記載の方法。
【請求項３１】
前記少なくとも１つの第１タイプの領域に割り当てられず、且つ、前記少なくとも１つの第２タイプの領域に割り当てられない、各差分イメージ画素のうち、該差分イメージ画素の値が第３の閾値よりも小さい画素を、第１タイプの画素の候補として割り当てるステップを含む、請求項１６から３０のいずれか１つに記載の方法。
【請求項３２】
前記第３の閾値が、前記第１の閾値と前記第２の閾値との間の値である、請求項３１に記載の方法。
【請求項３３】
前記第３の閾値が、前記第１および第２の閾値の算術平均である、請求項３２に記載の方法。
【請求項３４】
前記少なくとも１つの第１タイプの領域に割り当てられず、且つ、前記少なくとも１つの第２タイプの領域に割り当てられない、各差分イメージ画素について、該差分イメージ画素の前記近隣画素のうちの、第３の所定の数を超える数の近隣画素が、該少なくとも１つの第１タイプの領域に割り当てられるか、または、第１タイプの画素の候補として割り当てられる場合、該各差分イメージ画素を該少なくとも１つの第１タイプの領域に割り当てるステップを含む、請求項３１から３３のいずれか１つに記載の方法。
【請求項３５】
前記近隣画素が１アレイの画素を含み、前記差分イメージ画素の位置が該アレイの中心にある、請求項３４に記載の方法。
【請求項３６】
前記第３の所定の数が、近隣差分イメージ画素の数の半分である、請求項３４または３５に記載の方法。
【請求項３７】
前記少なくとも１つの第１タイプの領域に割り当てられず、且つ、前記少なくとも１つの第２タイプの領域に割り当てられない、各差分イメージ画素を、該少なくとも１つの第２タイプの領域に割り当てるステップを含む、請求項３４から３６のいずれか１つに記載の方法。
【請求項３８】
前記イメージまたは各イメージならびに前記背景イメージが、グレイレベルイメージであり、前記ステップ（ｃ）が、各イメージ画素と対応する背景画素との差分を、該各イメージ画素のグレイレベルと該対応する背景画素のグレイレベルとの差分として形成する、請求項１から３７のいずれか１つに記載の方法。
【請求項３９】
前記ステップ（ｃ）は、前記差分イメージまたは各差分イメージに対して移動ウィンドウ平均化ステップを実行するステップを含む、請求項１から３８のいずれか１つに記載の方法。
【請求項４０】
前記イメージまたは各イメージならびに前記背景イメージが、カラーイメージであり、前記ステップ（ｃ）が、各イメージ画素と対応する背景画素との差分を、該各イメージ画素の色と該対応する背景画素の色との間の色距離として形成する、請求項１から３７のいずれか１つに記載の方法。
【請求項４１】
前記色距離は、
【数１】
0003862140.tif 000035
（ｎは各画素の色成分の数であり、Ｉiはイメージ画素のｉ番目の色成分であり、Ｂiは背景画素のｉ番目の色成分であり、αiは重み係数である）として形成される、請求項４０に記載の方法。
【請求項４２】
各αiは１に等しい、請求項４１に記載の方法。
【請求項４３】
ｎが３に等しく、Ｉ1およびＢ1が赤色成分であり、Ｉ2およびＢ2が緑色成分であり、Ｉ3およびＢ3が青色成分である、請求項４１または４２に記載の方法。
【請求項４４】
前記ステップ（ｃ）が色成分差分イメージＩi−Ｂiを形成し、該色成分差分イメージの各々に対して、移動ウィンドウ平均化ステップを実行する、請求項４１から４３のいずれか１つに記載の方法。
【請求項４５】
前記ウィンドウは、３×３画素のサイズを有する、請求項３９または４４に記載の方法。
【請求項４６】
差分イメージ画素に対応するエレメントを有するバイナリマスクを形成するステップであって、各エレメントは、前記対応する差分イメージ画素が前記少なくとも１つの第１タイプの領域に割り当てられた場合に第１の値を有し、該対応する差分イメージ画素が前記少なくとも１つの第２タイプの領域に割り当てられた場合に該第１の値と異なる第２の値を有することを含む、請求項１から４５のいずれか１つに記載の方法。
【請求項４７】
前記少なくとも１つの背景領域に割り当てられた差分イメージ画素に対応する前記イメージまたは各イメージの各画素の値を、対応する背景イメージ画素の値と置き換えるステップを含む、請求項５に記載の方法。
【請求項４８】
前記少なくとも１つの背景領域に割り当てられた差分イメージ画素に対応する前記イメージまたは各イメージの各画素の値を、異なる背景の対応する画素の値と置き換えるステップを含む、請求項５に記載の方法。
【請求項４９】
少なくとも１つの前面領域の境界線に割り当てられた差分イメージ画素に対応する前記イメージまたは各イメージの各画素の値を、該イメージ画素の値と前記対応する異なる背景画素の値との線形結合と置き換えるステップを含むことを含む、請求項４８に記載の方法。
【請求項５０】
前記線形結合が、対または各対の対応する画素成分値の算術平均を含む、請求項４９に記載の方法。
【請求項５１】
各色成分について、前記少なくとも１つの背景領域に割り当てられた画素の色成分値と、前記非遮蔽背景イメージの対応する画素の色成分値との差分の分布を形成するステップと；該分布におけるピークの位置の、所定の位置からのシフトを判定するステップと；該シフトに基づいて、該少なくとも１つの背景領域に割り当てられた画素の該色成分値を補正するステップとを含む、請求項５に記載の方法。
【請求項５２】
画素化されたイメージをセグメント化する装置であって、
第１の基準イメージから少なくとも１つの第１領域を選択する手段と、
該少なくとも１つの第１領域に含まれる画素の値から、該画素のうちの第１の所定の割合の画素が、第１の閾値の第１の側にある値を有するような第１の閾値を得る手段と、
該イメージの各画素と非遮蔽背景のイメージの対応する画素との差分として、差分イメージを形成する手段と、
該差分イメージ画素の値が該第１の閾値の該第１の側にあり、且つ、第１の所定の数よりも多くの数の近隣差分イメージ画素の値が該第１の閾値の該第１の側にある場合、各差分イメージ画素を、少なくとも１つの第１タイプの領域に割り当てる手段と、
を含む装置。
【請求項５３】
画素化されたイメージをセグメント化する装置であって、
プログラミング可能なデータプロセッサと、
該データプロセッサを制御して、請求項１から５１のいずれか１つに記載の方法を実行するプログラムを含む記憶媒体と、
を含む装置。
【請求項５４】
データプロセッサを制御して、請求項１から５１のいずれか１つに記載の方法を実行するプログラムを含む記憶媒体。
【請求項５５】
データプロセッサを制御して、請求項１から５１のいずれか１つに記載の方法を実行するプログラム。
【請求項５６】
請求項５２または５３に記載の装置を含むイメージキャプチャデバイス。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ピクセル化されたイメージを、少なくとも１つの前面領域および少なくとも１つの背景領域へとセグメント化する方法および装置に関する。このような技術は、ビデオ圧縮の分野において、データ速度を低減させるためおよび／または前面領域の圧縮品質の向上のために使用され得る。このような技術はまた、セグメント化された背景を、別の背景イメージまたは背景シーンの別のシーケンスと置き換えることにより、新たなイメージシーケンスを構成するために使用され得る。さらに考え得るアプリケーションは、ビデオ通信、ビデオ会議、テレビ放送、インターネットマルチメディアアプリケーション、ＭＰＥＧ−４アプリケーション、顔検出アプリケーション、およびオブザーバトラッキングオートステレオスコピック３Ｄディスプレイ等のリアルタイムビデオトラッキングシステムを含む。このような技術の具体的な用途は、マルチメディアアプリケーション用の、デジタルビデオカメラおよび他のデジタルイメージ撮像・記録装置である。このような装置の一例は、Ｓｈａｒｐ（登録商標）  Ｉｎｔｅｒｎｅｔ  ＶｉｅｗＣａｍである。
【０００２】
【従来の技術】
多くの公知のイメージ処理・解析アプリケーションは、通常は一時的にアクティブである「前面」オブジェクトと比較的静的な「背景」領域とを含むイメージシーケンスに関与する。前面オブジェクトが移動するおよび／または形を変えると、背景シーンの一部が隠れるか、かつ／または、現れる。これらのアプリケーションが、イメージを前面領域および背景領域へとセグメント化する能力を有するのは非常に有用である。
【０００３】
Ｓｈａｒｐ（登録商標）  Ｃｏｒｐｏｒａｔｉｏｎ  Ｉｎｔｅｒｎｅｔ  ＶｉｅｗＣａｍ  ＶＮ−ＥＺ１は、マルチメディアアプリケーション用に製造されたＭＰＥＧ−４デジタルレコーダである。このレコーダにより、コンピュータユーザは、ホームページ、インターネット放送、および電子メール通信等の自分のマルチメディアアプリケーションに動画を取り込むことができる。このレコーダは、ＭＰＥＧ−４デジタル動画圧縮規格およびＭｉｃｒｏｓｏｆｔ（登録商標）  Ａｄｖａｎｃｅｄ  Ｓｔｒｅａｍｉｎｇ  Ｆｏｒｍａｔを用いて、サイズが小さく、したがってインターネット配信のためにより実用的な動画ファイルを形成する。ビデオデータは、約１時間の記録時間を提供するＳｍａｒｔＭｅｄｉａTMメモリカードに記録される。
【０００４】
例えば、セグメント化が上手くいくと、前面領域および背景領域に異なる圧縮技術を使用することができる。そして、より高い圧縮比が達成され得、前面領域において、改良された品質で、より長い記録時間が可能になる。さらに、背景領域を他のシーンと置き換えて、消費者をいっそう惹き付ける特殊効果を生成し得る。
【０００５】
初期のシステムは、前面オブジェクトの背後にある均一に着色されたスクリーンまたは明るく照明されたバッキング（ｂａｃｋｉｎｇ）等の、慎重に制御された背景を用いることによりセグメント化を行った。例えば、ＵＳ５８０８６８２は、公知の色によって均一に照明された特殊背景（ｓｐｅｃｉａｌ  ｂａｃｋｇｒｏｕｎｄ）から前面オブジェクトをセグメント化するデータ圧縮システムを開示している。任意の色を使用し得るが、青が最もよく用いられる。したがって、このタイプの着色されたバッキングは、しばしば、ブルーバッキング（ｂｌｕｅｂａｃｋｉｎｇ）と呼ばれる。その後、前面オブジェクトは、周知のクロマキー技術を用いてセグメント化され得る。
【０００６】
【発明が解決しようとする課題】
着色された大きなバッキング上において、均一な照明を実現するのは簡単な問題ではない。ＵＳ５４２４７８１は、線形イメージ構成システム（ｌｉｎｅａｒｉｍａｇｅ  ｃｏｍｐｏｓｉｔｉｏｎ  ｓｙｓｔｅｍ）を開示している。このシステムは、エッジグロー、エッジダークニング、エッジディテールのロス、および他の異常等の損失を引き起こすことなく、非均一な輝度および／または着色されたバッキングの色を補正する。
【０００７】
白黒イメージについて、制御された背景を用いて、前面オブジェクトおよび背景シーンを２つの異なる範囲のグレースケールに分離しようとすることが公知である。通常、グレイレベルのヒストグラム内に深い谷を見つけることにより、セグメント化が達成され得る。Ｎｏｂｕｙｕｋｉ  Ｏｔｓｕの”Ａ  ｔｈｒｅｓｈｏｌｄ  ｓｅｌｅｃｔｉｏｎ  ｍｅｔｈｏｄ  ｆｒｏｍ  ｇｒｅｙ−ｌｅｖｅｌｈｉｓｔｏｇｒａｍｓ”，  ＩＥＥＥ  Ｔｒａｎｓ．  ｏｎ  Ｓｙｓｔｅｍｓ，  Ｍａｎ  ａｎｄ  Ｃｙｂｅｒｎｅｔｉｃｓ，  Ｖｏｌ．  ＳＭＥ−９，  Ｎｏ．  １，  Ｊａｎｕａｒｙ  １９７９  ｐｐ．  ６２−６６は、背景から前面オブジェクトをセグメント化する最適な閾値を見つける方法を開示している。添付の図面の図１は、このタイプのヒストグラムを示す。図１において、ｈ（ｔ）は画素数を示し、ｔは画素値の振幅を示す。制御された背景は、背景画素の大部分が比較的低いレベルを有するのに対して、前面画素がより高い範囲を占める傾向にあるレベルを有するようになっている。Ｏｔｓｕは、２つの範囲の間の谷に閾値Ｔを規定することを試みる。
【０００８】
この技術にはいくつかの問題がある。例えば、図１は、明確に規定された谷が背景グレイレベル範囲と前面グレイレベル範囲との間に存在することを示すが、これは、極めて慎重に制御された背景についての場合にのみ当てはまるものであり、いくつかの前面に当てはまるが、決して全ての前面に当てはまるものではない。
【０００９】
この技術が非常に慎重に制御された条件に限定されない場合、上記の問題はより深刻になる。特に、全てのイメージがセグメント化されない多くの場合について、かなりの数の前面画素が閾値を下回るレベルを有し、かなりの数の背景画素が閾値を上回るレベルを有する。したがって、選択された任意の閾値Ｔにより、セグメント化は不正確になる。
【００１０】
イメージをセグメント化する他の技術が、Ｔ  Ｆｕｇｉｍｏｔｏらの”Ａ  ｍｅｔｈｏｄ  ｆｏｒ  ｒｅｍｏｖｉｎｇ  ｂａｃｋｇｒｏｕｎｄ  ｒｅｇｉｏｎｓ  ｆｒｏｍ  ｍｏｖｉｎｇ  ｉｍａｇｅｓ”，  ＳＰＩＥ  ｖｏｌ．  １６０６  Ｖｉｓｕａｌ  ｃｏｍｍｕｎｉｃａｔｉｏｎｓ  ａｎｄ  ｉｍａｇｅ  ｐｒｏｃｅｓｓｉｎｇ  １９９１，  ｉｍａｇｉｎｇ  ｐｒｏｃｅｓｓｉｎｇ，  ｐｐ．  ５９９−６０６に開示されている。この技術は、照明強度の変動の影響を受けないようにするため、画素値のレベルおよび極性の両方を利用する。
【００１１】
添付の図面の図２は、図１と同じ軸であるが、照明強度の変動の影響を示すヒストグラムである。このような変動がない状態で、ヒストグラムに示した分布は、縦軸を中心とした左右対称の傾斜を有する狭いピークを有する。照明強度の変動が起こった場合、このピークは水平方向にオフセットされる。Ｆｕｇｉｍｏｔｏらの技術は、ガウス分布をピークの実際の位置に適合させ、定関数で曲線の残りの部分（前面画素レベルを示すとみなされる）をシミュレートすることにより、非対称な正および負の閾値Ｔ１およびＴ２を導き出す。ガウス分布と定関数との交差は、処理されるイメージについての閾値Ｔ１およびＴ２を与える。閾値の間の全ての画素値がノイズを示すと仮定する。
【００１２】
この技術は、Ｏｔｓｕと同じ問題を生じる。照明強度の変動の影響は受けないかもしれないが、現れそうな全てのイメージが正確にセグメント化されるように閾値の選択を行うことが出来ない。
【００１３】
ＵＳ５８７８１６３は、イメージングターゲットトラッカー、およびターゲットを背景から最適に識別するために使用される閾値を決定する方法を開示している。ターゲットは、ターゲットの内部領域および外部領域にそれぞれ対応する２つのヒストグラムから識別されるグレイレベル領域を占有するものとみなされている。両方のヒストグラムは帰納的に平滑化されており、その後、実際に観察された画素値からなるルックアップテーブルが計算される。２つの最適な閾値が選択され、ヒストグラムセグメントの両端に設定される。尤度マップは、経時的に、ターゲットの識別特性（ｓｉｇｎａｔｕｒｅ）に適合される。ターゲットのグレイレベル分布を使用して、ターゲットに含まれる、尤度が高いグレイレベルのバンドを通過する閾値を選択する。このタイプのアプリケーションには、正確なセグメント化が必ずしも必要でない。
【００１４】
これらの方法は、所望のアプリケーションについて、セグメント化の適切な結果を実現し得、通常は計算上効率的であるが、強度または色のいずれかについてターゲットから区別し得る、慎重に制御された背景を有するという要件は、利用可能なアプリケーションの範囲を厳しく制限する。
【００１５】
したがって、さらに興味深い課題は、一般的なシーンの背景から前面オブジェクトをどのようにセグメント化するかということである。これらの方法は、しばしば、現在のフレームと所定のフレームとの差分を特徴付ける差分イメージの計算を必要とする。所定のフレームは、背景または前のフレームのあらかじめ記録されたイメージか、もしくは、多くの前のフレームから生成されたイメージのいずれかであり得る。ＵＳ５９１４７４８は、異なる背景に対象を挿入する電子構成システムを開示している。この方法は、シーケンスの各イメージから、背景のあらかじめ記録されたイメージを取り去って、異なるイメージを生成する。その後、この差分イメージを閾値化することにより、マスクイメージが生成される。このマスクイメージを用いて、前面オブジェクトをその背景からセグメント化する。この方法は、実行するのが簡単だが、セグメント化された前面領域および背景領域の両方において大きなアーチファクトを除去するために、ユーザによる手動補正を必要とし得る。
【００１６】
コンピュータでの実行の点では、前面領域および背景領域のセグメント化は、画素単位のレベルまたはブロック毎のレベルで実行され得る。ブロック毎のセグメント化は、イメージをブロックに分割する。これらブロックの各々が、多くの画素を含んでおり、これらの画素は全て、前面画素または背景画素のいずれかに分類されている。ピクセル単位の方法およびブロック毎の方法は、それぞれ利点および欠点を有する。例えば、ピクセル単位のセグメント化は、前面オブジェクトの境界線をより綿密に追跡し得るが、良好な接続性を有し得ず、よりノイズの影響を受けやすい。一方で、ブロック毎の方法は、セグメント化された前面領域および背景領域におけるアーチファクトの数がより少ないが、境界線近傍の性能が劣り得る。場合によっては、アプリケーションに依存した異なる結果を生じる異なる組み合わせで、これら２つのアプローチを組み合わせることができる。
【００１７】
データ圧縮システムにおいて、離散コサイン変換等のブロック毎のコーディング方法およびその変形例は、通常、データの方形ブロックに対して実行され、イメージを、所望の方形サブセグメントからなる一時的にアクティブ／インアクティブな領域へとセグメント化する。ＳａｕｅｒおよびＪｏｎｅｓの”Ｂａｙｅｓｉａｎ  ｂｌｏｃｋ−ｗｉｓｅ  ｓｅｇｍｅｎｔａｔｉｏｎ  ｏｆ  ｉｎｔｅｒｆｒａｍｅ  ｄｉｆｆｅｒｅｎｃｅｓ  ｉｎ  ｖｉｄｅｏ  ｓｅｑｕｅｎｃｅｓ”，  ＣＶＧＩＰ：  Ｇｒａｐｈｉｃｓ  ａｎｄ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，  Ｖｏｌ．  ５５，  Ｎｏ．  ２，  Ｍａｒｃｈ  １９９３，  ｐｐ．１２９−１３９は、一時的に動的な領域および静的な領域の差分コーディングのために、ビデオシーケンスのイメージを、静的な背景および動的な前面として選択されたブロックへとセグメント化する、ベイズのアルゴリズムを開示している。このアプリケーションにおいて、一時的にアクティブな領域は「前面」として規定され、そうでない領域は「背景」として規定され、前面オブジェクトの一部または全体が背景領域（これらの領域上では変化が起こらない）となり得る。この方法は、データを、２つのレベルの解像度で、ランダムフィールドとしてモデリングする。各画素におけるフレーム間の差分が第１の閾値であり、バイナリイメージを生成する。イメージデータの自然な空間的相関関係は、マルコフのランダムフィールドモデルによって、標準的なイジングモデル（Ｉｓｉｎｇ  ｍｏｄｅｌ）の形態のバイナリ値画素からなるこのフィールド上に撮像される。第２のレベルの解像度において、近接領域（ｎｅｉｇｈｂｏｕｒｓ）の間の相関関係を示すブロックから構成されるフィールドは、また、マルコフモデルによって説明される。
【００１８】
ＵＳ５９１５０４４は、自動ゲイン制御を実行するビデオカメラに関連するゲインを補正するビデオエンコーディングシステムを開示している。ゲイン補正されたイメージを解析して、前面オブジェクトに対応するブロックおよび背景シーンに対応するブロックを識別する。この前面／背景セグメント化は、イメージのエンコード方法を決定するために用いられ得、また、次のビデオイメージのゲイン制御補正の間にも使用され得る。セグメント化解析は、画素レベルおよびブロックレベルの両方のレベルで行われる。画素レベルにおいて、現在のフレームと基準フレームとの間の画素差分は、変化した画素を示す画素マスクを生成する閾値である。その後、多くの前のフレームの平均値から基準フレームが生成される。ブロックレベルは、画素レベルの結果を取り出し、画素のブロックを前面または背景として分類する。これは、ブロック型圧縮スキームにとっては通常のことである。分類のための基準は、画素の著しい変化は、前面オブジェクトにおいてしか起こらないはずであるという仮定である。閾値は、ゼロ平均ガウス分布型確率変数モデリングに基づいて、変化した領域の最大尤度推定値を考慮することにより生成される。ブロックレベル処理を用いて各ブロックを前面または背景に属するものとして分類する前に、形態フィルタ（ｍｏｒｐｈｏｌｏｇｉｃａｌ  ｆｉｌｔｅｒ）を使用して、間違った前面検出を低減する。このアプリケーションは、前面オブジェクトの検出が正確であることをさほど要求しない。主要な目的は、一時的に変化する領域を静的な領域から分離して、それらを別々にエンコードできるようにすることである。
【００１９】
一般に、これらの方法は、計算的に高価になる傾向にあり、Ｓｈａｒｐ（登録商標）  Ｃｏｒｐｏｒａｔｉｏｎ  Ｉｎｔｅｒｎｅｔ  ＶｉｅｗＣａｍ等の、限られた計算能力および記憶装置を有する、リアルタイムアプリケーションに適し得ない。これらの方法のロバストは制限され得、しばしば、手動のユーザ補正を必要とする。画素単位の方法が、セグメント化された前面および背景の両方にアーチファクトを残す傾向があるのに対して、ブロック毎の方法は、でこぼこな境界線を生成する傾向がある。
【００２０】
【課題を解決するための手段】
本発明の画素化されたイメージをセグメント化する方法は、（ａ）第１の基準イメージから少なくとも１つの第１領域を選択するステップと、（ｂ）該少なくとも１つの第１領域に含まれる画素の値から、該画素のうちの第１の所定の割合の画素が、第１の閾値の第１の側にある値を有するような第１の閾値を得るステップと、（ｃ）該イメージの各画素と非遮蔽背景のイメージの対応する画素との差分として、差分イメージを形成するステップと、（ｄ）該差分イメージ画素の値が該第１の閾値の該第１の側にあり、且つ、第１の所定の数よりも多くの数の近隣差分イメージ画素の値が該第１の閾値の該第１の側にある場合、各差分イメージ画素を、少なくとも１つの第１タイプの領域に割り当てるステップと、を含む。
【００２１】
前記第１の所定の割合が０．５〜１であってもよい。
【００２２】
前記第１の所定の割合が０．７５にほぼ等しくてもよい。
【００２３】
前記第１の所定の数が、近隣差分イメージ画素の数の半分にほぼ等しくてもよい。
【００２４】
前記少なくとも１つの第１領域および前記少なくとも１つの第１タイプの領域の各々が、少なくとも１つの背景領域を含み、前記第１の閾値の前記第１の側が、該第１の閾値よりも小さくてもよい。
【００２５】
前記第１の基準イメージが、前記非遮蔽背景の２つのイメージの間の差分を含み、該少なくとも１つの第１領域が、該第１の基準イメージのほぼ全体を含んでもよい。
【００２６】
前記少なくとも１つの第１領域が、自動的に選択されてもよい。
【００２７】
前記少なくとも１つの第１領域が、前記第１の基準イメージの少なくとも１つの側部を含んでもよい。
【００２８】
前記少なくとも１つの第１領域が、手動で選択されてもよい。
【００２９】
前記ステップ（ｄ）における前記近隣画素がアレイ状に配置され、前記差分イメージ画素の位置が該アレイのほぼ中心にあってもよい。
【００３０】
共通の背景を有するシーケンスのイメージについて、前記ステップ（ａ）〜（ｄ）を繰り返すことを特徴としてもよい。
【００３１】
前記第１の基準イメージが、先行する差分イメージであってもよい。
【００３２】
前記少なくとも１つの第１領域が、前記先行するステップ（ｄ）の、前記少なくとも１つの第１タイプの領域を含んでもよい。
【００３３】
各ステップ（ｄ）は、前記少なくとも１つの第１タイプの領域に割り当てられた前記差分イメージ画素の値を含む第１の初期ヒストグラムを形成するステップを含み、前記ステップ（ｂ）は、先行するステップ（ｄ）において形成された該第１の初期ヒストグラムと先行するステップ（ｂ）の第１の得られたヒストグラムの１つよりも小さな第１の所定の分画との合計を含む該第１の得られたヒストグラムから、前記第１の閾値を得てもよい。
【００３４】
前記第１の所定の分画が１／２であってもよい。
【００３５】
本発明の画素化されたイメージをセグメント化する方法は、（ｅ）第２の基準イメージから少なくとも１つの第２領域を選択するステップと、（ｆ）該少なくとも１つの第２領域に含まれる画素の値から、該画素のうちの第２の所定の割合の画素が、第２の閾値の、前記第１の側の反対の第２の側にある値を有するような第２の閾値を得るステップと、（ｇ）前記差分イメージ画素の値が該第２の閾値の該第２の側にあり、且つ、第２の所定の数よりも多くの数の近隣差分イメージ画素の値が該第２の閾値の該第２の側にある場合、前記少なくとも１つの第１タイプの領域に割り当てられない差分イメージ画素の各々を、少なくとも１つの第２タイプの領域に割り当てるステップと、を含んでもよい。
【００３６】
前記第２の所定の割合が０．５〜１であってもよい。
【００３７】
前記第２の所定の割合が０．７５にほぼ等しくてもよい。
【００３８】
前記第２の所定の数が、近隣差分イメージ画素の数の半分にほぼ等しくてもよい。
【００３９】
前記少なくとも１つの第２領域および前記少なくとも１つの第２タイプの領域の各々が、少なくとも１つの前面領域を含み、前記第２の閾値の前記第２の側が、該第２の閾値よりも大きくてもよい。
【００４０】
前記少なくとも１つの第２領域が、自動的に選択されてもよい。
【００４１】
前記少なくとも１つの第２領域が、前記第２の基準イメージの中間部分を含んでもよい。
【００４２】
前記少なくとも１つの第２領域が、手動で選択されてもよい。
【００４３】
前記第２の基準イメージが前記第１の基準イメージを含んでもよい。
【００４４】
前記ステップ（ｇ）における前記近隣画素がアレイ状に配置され、前記差分イメージ画素の位置が該アレイのほぼ中心にあってもよい。
【００４５】
共通の背景を有するシーケンスのイメージについて、前記ステップ（ｅ）〜（ｇ）を繰り返すことを特徴としてもよい。
【００４６】
前記第２の基準イメージが、先行する差分イメージであってもよい。
【００４７】
前記少なくとも１つの第２領域が、前記先行するステップ（ｇ）の、前記少なくとも１つの第２タイプの領域を含んでもよい。
【００４８】
各ステップ（ｇ）は、前記少なくとも１つの第２タイプの領域に割り当てられた前記差分イメージ画素の値を含む第２の初期ヒストグラムを形成するステップを含み、前記ステップ（ｆ）は、先行するステップ（ｇ）において形成された該第２の初期ヒストグラムと先行するステップ（ｆ）の第２の得られたヒストグラムの１つよりも小さな第２の所定の分画との合計を含む該第２の得られたヒストグラムから、前記第２の閾値を得てもよい。
【００４９】
前記第２の所定の分画が１／２であってもよい。
【００５０】
前記少なくとも１つの第１タイプの領域に割り当てられず、且つ、前記少なくとも１つの第２タイプの領域に割り当てられない、各差分イメージ画素のうち、該差分イメージ画素の値が第３の閾値よりも小さい画素を、第１タイプの画素の候補として割り当てるステップを含んでもよい。
【００５１】
前記第３の閾値が、前記第１の閾値と前記第２の閾値との間の値であってもよい。
【００５２】
前記第３の閾値が、前記第１および第２の閾値の算術平均であってもよい。
【００５３】
前記少なくとも１つの第１タイプの領域に割り当てられず、且つ、前記少なくとも１つの第２タイプの領域に割り当てられない、各差分イメージ画素について、該差分イメージ画素の前記近隣画素のうちの、第３の所定の数を超える数の近隣画素が、該少なくとも１つの第１タイプの領域に割り当てられるか、または、第１タイプの画素の候補として割り当てられる場合、該各差分イメージ画素を該少なくとも１つの第１タイプの領域に割り当てるステップを含んでもよい。
【００５４】
前記近隣画素が１アレイの画素を含み、前記差分イメージ画素の位置が該アレイのほぼ中心にあってもよい。
【００５５】
前記第３の所定の数が、近隣差分イメージ画素の数の半分であってもよい。
【００５６】
前記少なくとも１つの第１タイプの領域に割り当てられず、且つ、前記少なくとも１つの第２タイプの領域に割り当てられない、各差分イメージ画素を、該少なくとも１つの第２タイプの領域に割り当てるステップを含んでもよい。
【００５７】
前記イメージまたは各イメージならびに前記背景イメージが、グレイレベルイメージであり、前記ステップ（ｃ）が、各イメージ画素と対応する背景画素との差分を、該各イメージ画素のグレイレベルと該対応する背景画素のグレイレベルとの差分として形成してもよい。
【００５８】
前記ステップ（ｃ）は、前記差分イメージまたは各差分イメージに対して移動ウィンドウ平均化ステップを実行するステップを含んでもよい。
【００５９】
前記イメージまたは各イメージならびに前記背景イメージが、カラーイメージであり、前記ステップ（ｃ）が、各イメージ画素と対応する背景画素との差分を、該各イメージ画素の色と該対応する背景画素の色との間の色距離として形成してもよい。
【００６０】
前記色距離は、
【００６１】
【数２】
0003862140.tif 000002
（ｎは各画素の色成分の数であり、Ｉiはイメージ画素のｉ番目の色成分であり、Ｂiは背景画素のｉ番目の色成分であり、αiは重み係数である）として形成されてもよい。
【００６２】
各αiは１に等しくてもよい。
【００６３】
ｎが３に等しく、Ｉ1およびＢ1が赤色成分であり、Ｉ2およびＢ2が緑色成分であり、Ｉ3およびＢ3が青色成分であってもよい。
【００６４】
前記ステップ（ｃ）が色成分差分イメージＩi−Ｂiを形成し、該色成分差分イメージの各々に対して、移動ウィンドウ平均化ステップを実行してもよい。
【００６５】
前記ウィンドウは、３×３画素のサイズを有してもよい。
【００６６】
差分イメージ画素に対応するエレメントを有するバイナリマスクを形成するステップであって、各エレメントは、前記対応する差分イメージ画素が前記少なくとも１つの第１タイプの領域に割り当てられた場合に第１の値を有し、該対応する差分イメージ画素が前記少なくとも１つの第２タイプの領域に割り当てられた場合に該第１の値と異なる第２の値を有することを含んでもよい。
【００６７】
前記少なくとも１つの背景領域に割り当てられた差分イメージ画素に対応する前記イメージまたは各イメージの各画素の値を、対応する背景イメージ画素の値と置き換えるステップを含んでもよい。
【００６８】
前記少なくとも１つの背景領域に割り当てられた差分イメージ画素に対応する前記イメージまたは各イメージの各画素の値を、異なる背景の対応する画素の値と置き換えるステップを含んでもよい。
【００６９】
少なくとも１つの前面領域の境界線に割り当てられた差分イメージ画素に対応する前記イメージまたは各イメージの各画素の値を、該イメージ画素の値と前記対応する異なる背景画素の値との線形結合と置き換えるステップを含むことを含んでもよい。
【００７０】
前記線形結合が、対または各対の対応する画素成分値の算術平均を含んでもよい。
【００７１】
各色成分について、前記少なくとも１つの背景領域に割り当てられた画素の色成分値と、前記非遮蔽背景イメージの対応する画素の色成分値との差分の分布を形成するステップと；該分布におけるピークの位置の、所定の位置からのシフトを判定するステップと；該シフトに基づいて、該少なくとも１つの背景領域に割り当てられた画素の該色成分値を補正するステップとを含んでもよい。
【００７２】
本発明の画素化されたイメージをセグメント化する装置は、第１の基準イメージから少なくとも１つの第１領域を選択する手段と、該少なくとも１つの第１領域に含まれる画素の値から、該画素のうちの第１の所定の割合の画素が、第１の閾値の第１の側にある値を有するような第１の閾値を得る手段と、該イメージの各画素と非遮蔽背景のイメージの対応する画素との差分として、差分イメージを形成する手段と、該差分イメージ画素の値が該第１の閾値の該第１の側にあり、且つ、第１の所定の数よりも多くの数の近隣差分イメージ画素の値が該第１の閾値の該第１の側にある場合、各差分イメージ画素を、少なくとも１つの第１タイプの領域に割り当てる手段と、を含む。
【００７３】
本発明の画素化されたイメージをセグメント化する装置は、プログラミング可能なデータプロセッサと、該データプロセッサを制御して、上記に記載の方法を実行するプログラムを含む記憶媒体と、を含む。
【００７４】
本発明の記憶媒体は、データプロセッサを制御して、上記に記載の方法を実行するプログラムを含む。
【００７５】
本発明のプログラムは、データプロセッサを制御して、上記に記載の方法を実行する。
【００７６】
本発明のイメージキャプチャデバイスは、上記に記載の装置を含む。
【００７７】
本発明の第１の局面によると、画素化されたイメージをセグメント化する方法であって、
（ａ）第１の基準イメージから少なくとも１つの第１領域を選択するステップと、
（ｂ）上記少なくとも１つの第１領域に含まれる画素の値から、上記画素のうちの第１の所定の割合の画素が、第１の閾値の第１の側にある値を有するような第１の閾値を得るステップと、
（ｃ）上記イメージの各画素と非遮蔽背景のイメージの対応する画素との差分として、差分イメージを形成するステップと、
（ｄ）上記差分イメージ画素の値が上記第１の閾値の上記第１の側にあり、且つ、第１の所定の数よりも多くの数の近隣差分イメージ画素の値が上記第１の閾値の上記第１の側にある場合、各差分イメージ画素を、少なくとも１つの第１タイプの領域に割り当てるステップと、
を含む方法が提供される。
【００７８】
上記第１の所定の割合が０．５〜１であってもよい。上記第１の所定の割合が０．７５にほぼ等しくてもよい。
【００７９】
上記第１の所定の数が、近隣差分イメージ画素の数の半分にほぼ等しくてもよい。
【００８０】
上記少なくとも１つの第１領域および上記少なくとも１つの第１タイプの領域の各々が、少なくとも１つの背景領域を含んでもよく、上記第１の閾値の上記第１の側が、上記第１の閾値よりも小さくてもよい。上記第１の基準イメージが、上記非遮蔽背景のイメージの２つのイメージの間の差分を含んでもよく、上記少なくとも１つの第１領域が、上記第１の基準イメージのほぼ全体を含んでもよい。
【００８１】
上記少なくとも１つの第１領域が、自動的に選択されてもよい。上記少なくとも１つの第１領域が、上記第１の基準イメージの少なくとも１つの側部を含んでもよい。
【００８２】
上記少なくとも１つの第１領域が、手動で選択されてもよい。
【００８３】
上記ステップ（ｄ）における上記近隣画素がアレイ状に配置されてもよく、上記差分イメージ画素の位置が上記アレイのほぼ中心にあってもよい。
【００８４】
上記方法は、共通の背景を有するシーケンスのイメージについて、上記ステップ（ａ）〜（ｄ）を繰り返すことをふくんでもよい。上記第１の基準イメージが、先行する差分イメージでありえる。上記少なくとも１つの第１領域が、上記先行するステップ（ｄ）の、上記少なくとも１つの第１タイプの領域を含んでもよい。各ステップ（ｄ）は、上記少なくとも１つの第１タイプの領域に割り当てられた上記差分イメージ画素の値を含む第１の初期ヒストグラムを形成するステップを含んでもよく、上記ステップ（ｂ）は、先行するステップ（ｄ）において形成された上記第１の初期ヒストグラムと先行するステップ（ｂ）の第１の得られたヒストグラムの１つよりも小さな第１の所定の分画との合計を含む上記第１の得られたヒストグラムから、上記第１の閾値を得てもよい。上記第１の所定の分画が１／２であってもよい。
【００８５】
上記方法は、（ｅ）第２の基準イメージから少なくとも１つの第２領域を選択するステップと、（ｆ）上記少なくとも１つの第２領域に含まれる画素の値から、上記画素のうちの第２の所定の割合の画素が、第２の閾値の、上記第１の側の反対の第２の側にある値を有するような第２の閾値を得るステップと、（ｇ）上記差分イメージ画素の値が上記第２の閾値の上記第２の側にあり、且つ、第２の所定の数よりも多くの数の近隣差分イメージ画素の値が上記第２の閾値の上記第２の側にある場合、上記少なくとも１つの第１タイプの領域に割り当てられない差分イメージ画素の各々を、少なくとも１つの第２タイプの領域に割り当てるステップとを含んでもよい。
【００８６】
上記第２の所定の割合が０．５〜１であってもよい。上記第２の所定の割合が０．７５にほぼ等しくてもよい。
【００８７】
上記第２の所定の数が、近隣差分イメージ画素の数の半分にほぼ等しくてもよい。
【００８８】
上記少なくとも１つの第２領域が、自動的に選択されてもよい。上記少なくとも１つの第２領域が、上記第２の基準イメージの中間部分を含んでもよい。
【００８９】
上記少なくとも１つの第２領域が、手動で選択されてもよい。
【００９０】
上記第２の基準イメージが上記第１の基準イメージを含んでもよい。
【００９１】
上記ステップ（ｇ）における上記近隣画素がアレイ状に配置されてもよく、上記差分イメージ画素の位置が上記アレイのほぼ中心にあってもよい。
【００９２】
上記方法は、共通の背景を有するシーケンスのイメージについて、上記ステップ（ｅ）〜（ｇ）を繰り返すことをふくんでもよい。上記第２の基準イメージが、先行する差分イメージであってもよい。上記少なくとも１つの第２領域が、上記先行するステップ（ｇ）の、上記少なくとも１つの第２タイプの領域を含んでもよい。各ステップ（ｇ）は、上記少なくとも１つの第２タイプの領域に割り当てられた上記差分イメージ画素の値を含む第２の初期ヒストグラムを形成するステップを含んでもよく、上記ステップ（ｆ）は、先行するステップ（ｇ）において形成された上記第２の初期ヒストグラムと先行するステップ（ｆ）の第２の得られたヒストグラムの１つよりも小さな第２の所定の分画との合計を含む上記第２の得られたヒストグラムから、上記第２の閾値を得てもよい。上記第２の所定の分画が１／２であってもよい。
【００９３】
上記方法は、上記少なくとも１つの第１タイプの領域に割り当てられず、且つ、上記少なくとも１つの第２タイプの領域に割り当てられない、各差分イメージ画素のうち、上記差分イメージ画素の値が第３の閾値よりも小さい画素を、第１タイプの画素の候補として割り当てるステップを含んでもよい。
【００９４】
上記第３の閾値が、上記第１の閾値と上記第２の閾値との間の値であってもよい。上記第３の閾値が、上記第１および第２の閾値の算術平均であってもよい。
【００９５】
上記方法は、上記少なくとも１つの第１タイプの領域に割り当てられず、且つ、上記少なくとも１つの第２タイプの領域に割り当てられない、各差分イメージ画素について、上記差分イメージ画素の上記近隣画素のうちの、第３の所定の数を超える数の近隣画素が、上記少なくとも１つの第１タイプの領域に割り当てられるか、または、第１タイプの画素の候補として割り当てられる場合、上記差分イメージ画素を上記少なくとも１つの第１タイプの領域に割り当てるステップを含んでもよい。
【００９６】
上記近隣画素が１アレイの画素を含んでもよく、上記差分イメージ画素の位置が上記アレイのほぼ中心にあってもよい。
【００９７】
上記第３の所定の数が、近隣差分イメージ画素の数の半分であってもよい。
【００９８】
上記方法は、上記少なくとも１つの第１タイプの領域に割り当てられず、且つ、上記少なくとも１つの第２タイプの領域に割り当てられない、各差分イメージ画素を、上記少なくとも１つの第２タイプの領域に割り当てるステップを含んでもよい。
【００９９】
上記イメージまたは各イメージならびに上記背景イメージが、グレイレベルイメージであってもよく、上記ステップ（ｃ）が、各イメージ画素と対応する背景画素との差分を、上記各イメージ画素のグレイレベルと上記対応する背景画素のグレイレベルとの差分として形成してもよい。
【０１００】
上記ステップ（ｃ）は、上記差分イメージまたは各差分イメージに対して移動ウィンドウ平均化ステップを実行するステップを含んでもよい。
【０１０１】
セグメント化されるイメージは色成分イメージであり得、各色成分に対して移動ウィンドウ平均化ステップが実行され得る。
【０１０２】
上記イメージまたは各イメージならびに上記背景イメージが、カラーイメージであってもよく、上記ステップ（ｃ）が、各イメージ画素と対応する背景画素との差分を、上記各イメージ画素の色と上記対応する背景画素の色との間の色距離として形成してもよい。  上記色距離は、
【０１０３】
【数３】
0003862140.tif 000003
（ｎは各画素の色成分の数であり、Ｉiはイメージ画素のｉ番目の色成分であり、Ｂiは背景画素のｉ番目の色成分であり、αiは重み係数である）として形成されてもよい。各αiは１に等しくてもよい。ｎが３に等しくてもよく、Ｉ1およびＢ1が赤色成分であってもよく、Ｉ2およびＢ2が緑色成分であってもよく、Ｉ3およびＢ3が青色成分であってもよい。
【０１０４】
上記ステップ（ｃ）が色成分差分イメージＩi−Ｂiを形成してもよく、上記色成分差分イメージの各々に対して、移動ウィンドウ平均化ステップを実行してもよい。
【０１０５】
上記ウィンドウは、３×３画素のサイズを有し得る。
【０１０６】
上記方法は、差分イメージ画素に対応するエレメントを有するバイナリマスクを形成するステップであって、各エレメントは、上記対応する差分イメージ画素が上記少なくとも１つの第１タイプの領域に割り当てられた場合に第１の値を有し、上記対応する差分イメージ画素が上記少なくとも１つの第２タイプの領域に割り当てられた場合に上記第１の値と異なる第２の値を有する、ステップを含んでもよい。
【０１０７】
上記方法は、上記少なくとも１つの背景領域に割り当てられた差分イメージ画素に対応する上記イメージまたは各イメージの各画素の値を、対応する背景イメージ画素の値と置き換えるステップを含んでもよい。
【０１０８】
上記方法は、上記少なくとも１つの背景領域に割り当てられた差分イメージ画素に対応する上記イメージまたは各イメージの各画素の値を、異なる背景の対応する画素の値と置き換えるステップを含んでもよい。
【０１０９】
上記方法は、少なくとも１つの前面領域の境界線に割り当てられた差分イメージ画素に対応する上記イメージまたは各イメージの各画素の値を、上記イメージ画素の値と上記対応する異なる背景画素の値との線形結合と置き換えるステップを含んでもよい。上記線形結合が、対または各対の対応する画素成分値の算術平均を含んでもよい。
【０１１０】
上記方法は、各色成分について、上記少なくとも１つの背景領域に割り当てられた画素の色成分値と、上記非遮蔽背景イメージの対応する画素の色成分値との差分の分布を形成するステップと；上記分布におけるピークの位置の、所定の位置からのシフトを判定するステップと；上記シフトに基づいて、上記少なくとも１つの背景領域に割り当てられた画素の上記色成分値を補正するステップとを含んでもよい。
【０１１１】
本発明の第２の局面によると、画素化されたイメージをセグメント化する装置であって、第１の基準イメージから少なくとも１つの第１領域を選択する手段と、上記少なくとも１つの第１領域に含まれる画素の値から、上記画素のうちの第１の所定の割合の画素が、第１の閾値の第１の側にある値を有するような第１の閾値を得る手段と、上記イメージの各画素と非遮蔽背景のイメージの対応する画素との差分として、差分イメージを形成する手段と、上記差分イメージ画素の値が上記第１の閾値の上記第１の側にあり、且つ、第１の所定の数よりも多くの数の近隣差分イメージ画素の値が上記第１の閾値の上記第１の側にある場合、各差分イメージ画素を、少なくとも１つの第１タイプの領域に割り当てる手段とを含む装置が提供される。
【０１１２】
本発明の第３の局面によると、画素化されたイメージをセグメント化する装置であって、プログラミング可能なデータプロセッサと、上記データプロセッサを制御して、本発明の第１の局面による方法を実行するプログラムを含む記憶媒体とを含む装置が提供される。
【０１１３】
本発明の第４の局面によると、データプロセッサを制御して、本発明の第１の局面による方法を実行するプログラムを含む記憶媒体が提供される。
【０１１４】
本発明の第５の局面によると、データプロセッサを制御して、本発明の第１の局面による方法を実行するプログラムが提供される。
【０１１５】
本発明の第６の局面によると、本発明の第２または第３の局面による装置を含むイメージキャプチャデバイスが提供される。
【０１１６】
したがって、イメージまたはシーケンスのイメージの前面領域および背景領域をセグメント化するロバストな技術を提供することができる。このことは、画素単位の方法およびブロック毎の方法の利点を組み合わせることにより部分的に達成され得、セグメント化された前面領域の周囲に良好な境界線が形成され、前面領域および背景領域の両方においてアーチファクトが少なくなる。
【０１１７】
他の画素よりも確実かつ容易に分類し得る画素を初めに識別する段階的なアプローチの使用により、ロバスト性も実現される。より多くの画素が割り当てられるにしたがって、残りの画素がより良く判定され得る。
【０１１８】
閾値の決定に使用される領域を選択することにより、上記閾値または各閾値がより正確に決定され、セグメント化が向上され得る。例えば、第１の閾値を用いて背景画素を判定する場合、その閾値自体は背景領域の大部分または全体から決定され得るので、前面領域内の画素の値の影響を全くまたは実質的に受けない。第２の閾値は、それが使用される場合、イメージのセグメント化の向上が達成され得るように、前面領域内の画素値に基づいて、同様に決定され得る。各イメージは帰納的に処理されて、向上されたセグメント化の結果、閾値の選択が向上し、向上した閾値の選択の結果、セグメント化が向上する。十分な計算能力が利用可能な場合は、再帰的なアプローチをリアルタイムで行うことができる。計算能力が十分でない場合は、そのような再帰的アプローチは、オフラインのアプリケーションまたは非リアルタイムのアプリケーションに限定される。
【０１１９】
シーケンスのイメージを処理する場合、上記または各閾値は、複数のまたは全ての先行するイメージを利用して決定され得るので、閾値の選択を向上させ、その結果、イメージのセグメント化を向上させる。例えば、上記または各閾値を決定するためのヒストグラムを形成し、各ヒストグラムは、現在のヒストグラムおよび前のヒストグラムの一部分（例えば半分）を含み得る場合、時間の経過に従って各再帰の影響が減少するが、閾値の選択は、例えば比較的小さな背景領域または前面領域を有するイメージ等の望ましくないイメージの影響をさほど受けない（望ましくないイメージの影響を受ける場合は、閾値の選択が歪められる）。従って、セグメント化の結果が、背景内のノイズおよび前面の信号強度の統計学的特性の推定を向上させるにつれて、ロバスト性は自ら向上し得る。向上された推定が順に次のイメージのセグメント化を向上させ、従って、連続的な向上のループが形成される。制御された背景は要求されず、前面オブジェクトの動的な変化に対する漸次的な変化を含み得る一般的なシーンの背景を処理することができる。
【０１２０】
閾値の決定は、各閾値化演算の後のフィルタリング処理に直接関係し得る。複雑な統計学的モデルは要求されないので、この技術を容易に行える。
【０１２１】
本発明の技術は、計算能力およびメモリ要求の点で、計算上の効率が良い方法で実行され得、もっぱら整数を用いて実行され得る単純な算術演算のみを含む。こういった理由から、上記技術は、計算能力が制限され、記憶装置が比較的小さな、Ｓｈａｒｐ（登録商標）  Ｃｏｒｐｏｒａｔｉｏｎ  ＭＰＥＧ−４  Ｉｎｔｅｒｎｅｔ  ＶｉｅｗＣａｍまたは他のマルチメディアアプリケーション用イメージキャプチャ・記録デバイス等の、リアルタイムアプリケーションに非常に適している。
【０１２２】
本発明の技術は、例えば、ＥＰ０８７７２７４、ＧＢ２３２４４２８、ＥＰ０９３２１１４、およびＧＢ２３３５９０に開示された、ビデオトラッキングおよび顔検出アプリケーションにおいて使用され得る。例えば、セグメント化された前面領域を用いて、イメージ内に顔を配置するための検索領域を制限し得る。これは、例えば、欧州特許出願番号第９９３０６９６２．４号および英国特許出願番号第９８１９３２３．８号に開示されているように、リアルタイムビデオトラッキングシステムと共に使用され得る。
【０１２３】
【発明の実施の形態】
以下、添付の図面を参照しつつ、例示することにより本発明をさらに説明する。
【０１２４】
図中、同じ参照符号は同じ部分を示す。
【０１２５】
図３のブロック機能図は、ステップまたは動作のシーケンスと共にデータの供給を示すフローチャートの形態である。この方法は、ステップ１ａにおいて、非遮蔽（ｎｏｎ−ｏｃｃｌｕｄｅｄ）背景イメージ１ｂ（つまり、前面オブジェクトを有さない背景シーンのイメージ）を記録する、初期準備１で開始される。ステップ５において、背景イメージ１ｂが供給され、あらかじめ規定された関数を用いて差分イメージが計算される。ステップ３は、第１の差分イメージが処理されているかどうかを判定する。処理されている場合、ステップ１ｃは、第１の差分イメージの背景領域および前面領域の統計学的特性から、ノイズヒストグラムおよび／または信号ヒストグラム１ｄを計算する。
【０１２６】
ステップ４によってシーケンスの次のイメージが得られる場合、背景イメージ１ｂと共に、ステップ５にこれが供給される。ステップ５は、次の差分イメージを計算する。これを図４に示す。図４は、背景イメージ１ｂ、および同じ背景を有する、前面イメージを含むシーケンスのイメージ７を示す。ステップ５は、図４の参照符号８に示した差分イメージを計算する。差分イメージは、ノイズ領域９を有する。このノイズ領域において、画素は主にまたは完全にノイズを示す値を有する。イメージ８はまた、前面イメージに対応する信号領域１０を有する。この前面イメージの画素は、イメージ画素と、背景イメージ１ｂの対応する背景画素との間の差分を示す。
【０１２７】
ステップ３は、差分イメージが第１の差分イメージでないと判定する。制御はステップ１１に進む。ステップ１１は、差分イメージにおける背景画素の強力な候補を識別する。特に、各画素が順に第１の閾値と比較される。この第１の閾値は、ステップ１ｃにおいて判定されたノイズの統計学的特性に基づいて、ステップ２４において決定される。値が第１の閾値未満であり、且つ、それを取り囲む近隣画素の大多数の画素の値が第１の閾値未満である画素は、背景領域（複数のそのような背景領域が存在する場合には、それら複数の背景領域のうちの１つに）に割り当てられる。
【０１２８】
ステップ１２は、ステップ１１において少なくとも１つの背景領域に割り当てられなかった差分イメージ画素の各々を、第２の閾値と比較することにより、前面画素の強力な候補を識別する。なお、第２の閾値は、ステップ１ｃにおいて判定された信号領域１０の信号強度ヒストグラムに基づいて、ステップ２５において決定される。値が第２の閾値よりも大きく、且つ、それを取り囲む近隣画素の大多数の画素の値が第２の閾値を超える値である画素は、各前面領域に割り当てられる。
【０１２９】
その後、ステップ１３は、背景領域または前面領域にまだ割り当てられていない画素が、少なくとも１つの背景領域または少なくとも１つの前面領域に割り当てられるべきかどうかを確認する。そのような画素の各々は、第３の閾値と比較される。第３の閾値は、ステップ２６において、第１および第２の閾値から決定され、第１の閾値と第２の閾値との間の値を有する。レベルが第３の閾値未満である画素は、背景画素候補と認められる。近隣画素の大部分が既に背景画素または背景画素の候補として認められている場合、背景画素候補の各々は、上記少なくとも１つの背景領域に割り当てられる。その後、残りの画素が前面画素として割り当てられる。
【０１３０】
ステップ１１、１２、および１３の各々において、閾値化される差分イメージの全体に「空間フィルタリング」を行って、どのように画素を割り当てるかを決定することは都合がよい。しかし、各イメージのエッジおよび角の近傍に存在する画素について、各画素の近隣領域が制限される。空間フィルタリングは、イメージの境界線まで全て同じ様態で行われ得るが、少なくともいくつかのアプリケーションにおいて、空間フィルタリングを、各画素が近隣画素の完全な補完を有する上記イメージまたは各イメージの中央部分に制限するのがより適切であり得る。このことにより、周辺のマージンがフィルタリングされないまま残される。
【０１３１】
例えば、イメージサイズはＭ×Ｎ画素であり、空間フィルタリングに使用されるウィンドウサイズはｍ×ｎ画素である場合、（Ｍ−ｍ＋１）×（Ｎ−ｎ＋１）個の画素を含む中央領域に対して空間フィルタリングが行われ、周辺のマージンにおける画素には、適切なより小さいウィンドウサイズを用いて空間フィルタリングが行われ得るか、または、空間フィルタリングが行われないままであり得る。さほど正確にセグメント化を行う必要のないアプリケーションについて、周辺のマージンにおける画素の割り当ては、閾値化のみを用い、且つ、フィルタリング処理を行うことなく決定し得る。
【０１３２】
ステップ１４は、バイナリマスクを形成する。具体的には、このマスクは、差分イメージの画素に対応するエレメントを含む。バイナリマスクの各画素は、対応する差分イメージ画素が少なくとも１つの背景領域に割り当てられた場合には、第１の値を有し、対応する差分イメージ画素が少なくとも１つの前面領域に割り当てられた場合には、第１の値とは異なる第２の値を有する。したがって、バイナリマスクは、参照符号１５に示す所望のセグメント化を示し、イメージのさらなる処理のために使用され得る。例えば、イメージの背景領域は、背景イメージ自身の対応する画素と置き換え得る。あるいは、背景領域の画素は、固定されたイメージまたは一時的に変動するイメージであり得る別の背景イメージの対応する画素と置き換えて、特殊効果を提供し得る。この場合、より視覚的に許容し得る方法で背景領域および前面領域を混合するために、前面領域の境界画素の各々を、イメージ画素の値と対応する新たな背景画素の値との線形結合を示す値と置き換え得る。
【０１３３】
ステップ１６は、シーケンスの現在のイメージの解析に基づいて、信号ヒストグラムおよびノイズヒストグラムを更新し、更新されたヒストグラムが、ステップ３に戻され、シーケンスの次のイメージのセグメント化のために使用可能になる。ステップ１７は、シーケンスの最後のイメージが処理されたかどうかを判定する。判定されていない場合、制御はステップ４に戻る。ステップ４において、次のイメージが得られ、ステップ５およびステップ１１〜１７が繰り返される。そうでない場合、この方法は、ステップ１８で終了する。
【０１３４】
イメージのシーケンスは、イメージ処理の間は比較的変化されずにある実質的に静的な背景の前を移動するオブジェクトを含むシーンのビデオシーケンスを含み得る。
【０１３５】
いくつかのアプリケーションについて、残りの画素を識別するステップ１３は実行されなくてもよい。また、いくつかのアプリケーションにおいて、ステップ１１および１２の両方を実行しなくてもよい。その代わり、これらのステップのうち一方のステップを実行すればよい。
【０１３６】
例えば、イメージがオフラインで処理される場合、または、例えばビデオカメラからのビデオイメージのシーケンスについてリアルタイムでステップを繰り返す十分な計算能力がある場合、シーケンスの各イメージについて、図３に示すステップを繰り返すことも可能である。ステップを繰り返すことにより、現在のイメージのセグメント化に基づいて、ノイズヒストグラムおよび信号ヒストグラムを更新し得る。これにより、現在のイメージの改良されたセグメント化が可能になり、その時、現在のイメージが、信号ヒストグラムおよびノイズヒストグラムを精密にするために使用され得る。各イメージについて、この処理を停止するための任意の適切な基準が使用され得る。例えば、そのような「反復」が、所定の回数行われ得る。他の可能性は、ステップの反復を続けても、ノイズヒストグラムおよび信号ヒストグラムが実質的に変更されなくなるまで、上記ステップを繰り返すことである。
【０１３７】
ステップ１１および１２の両方が実行されるアプリケーションにおいて、ステップ１２を実行して前面画素を識別する前に、ステップ１１を実行して背景画素を識別することに、ある一定の利点があると考えられる。しかし、その逆の場合のアプリケーションもいくつかあり得る。また、ステップ１３において、残りの画素は、まず、閾値化および近隣画素に基づく割り当てによって前面画素として認められ、残りの未割り当ての画素がデフォルトで背景画素として認められる。
【０１３８】
以下、図３に示した方法において使用される個々の技術を、より詳細に説明する。
【０１３９】
ビデオシーケンスのｎ番目のフレームは、デジタルイメージＩn（ｘ，ｙ）（ｎ＝１，２，．．．）と表し得る（（ｘ，ｙ）は各画素の個々の座標である）。背景イメージは、Ｂ（ｘ，ｙ）と表され、シーン内に動いているオブジェクトが無い場合に、あらかじめキャプチャされている。各イメージＩn（ｘ，ｙ）において、画素が前面オブジェクトに属する場合、この画素は「前面画素」または「オブジェクト画素」と呼ばれる。同様に、前面オブジェクトによって遮られない背景内の画素は、「背景画素」と呼ばれる。
【０１４０】
ステップ５は、次の式によって、差分イメージＤn（ｘ，ｙ）を規定する。
【０１４１】
【数４】
0003862140.tif 000004
ここで、Ｆは、Ｉn（ｘ，ｙ）とＢ（ｘ，ｙ）との間の差分を特徴付ける、ユーザ定義測定値である。簡略化のため、上記式における上付文字ｎを、以降の説明では省略する。
【０１４２】
例えば、Ｉ（ｘ，ｙ）とＢ（ｘ，ｙ）の両方がグレイレベルイメージである最も簡単な場合において、Ｄ（ｘ，ｙ）は、それらの直接の差分（ｄｉｒｅｃｔ  ｄｉｆｆｅｒｅｎｃｅ）、つまり、
【０１４３】
【数５】
0003862140.tif 000005
として規定され得る。
【０１４４】
ノイズの無い理想的な場合において、そのようなＤ（ｘ，ｙ）の値は、次の式によって得られる。
【０１４５】
【数６】
0003862140.tif 000006
ここで、ｓ（ｘ，ｙ）は信号の測定値であり、∈は「〜の構成要素である」という意味を持つ。項ｓ（ｘ，ｙ）は、オブジェクト画素と背景イメージ内の同じ位置にある画素との差分測定値を示す。全ての前面画素がゼロでない信号値を生成している場合、その時、これらの画素は識別され、差分測定値が０である背景画素から分離される。
【０１４６】
イメージ内には常にノイズが存在し、いくつかのオブジェクト画素が背景イメージ内の対応する画素と同じ値を有することがあり得るので、この単純なアプローチは、実際には機能しない。ノイズの影響を含めるために、前の式を、次に示すように修正し得る。
【０１４７】
【数７】
0003862140.tif 000007
ここで、ノイズの項ｎ（ｘ，ｙ）は、平均値が０であり分散がσである確率変数とみなされる。
【０１４８】
背景画素からの前面画素のセグメント化を可能にするために、信号の強度はノイズの強度よりもかなり強い必要がある。そこで、上記式は次のように書き直され得る。
【０１４９】
【数８】
0003862140.tif 000008
ここで、上記式においては、ｓ（ｘ，ｙ）はノイズの成分を含むものとみなされ得る。このノイズ成分は、実際には、実際の信号自体から分離し得ない。
【０１５０】
ノイズの項ｎ（ｘ，ｙ）から信号の項ｓ（ｘ，ｙ）を分離する最も簡単な方法は、全ての前面画素が閾値Ｔを超える信号値を有し、且つ、全ての背景画素が閾値Ｔを下回るノイズ値を有するような閾値Ｔを見つけることである。そこで、バイナリマスキング関数が次のように得られ得る。
【０１５１】
【数９】
0003862140.tif 000009
ここで、１は前面画素を示し、０は背景画素を示す。
【０１５２】
例えば、背景が濃青色等の均一な色である場合、このことは、いくつかの制限的な条件により可能である。差分イメージＤ（ｘ，ｙ）は、後で説明する式（３）を用いて計算され得る。前面オブジェクトが同じ濃青色の領域を含まない場合、および、イメージングシステムのノイズレベルが低い場合、差分イメージは、前面領域について強い信号値を有し、背景領域においては、非常に小さな値を有するはずである。そこで、これらの信号値およびノイズ値を分離する閾値Ｔを見つけることができる。
【０１５３】
実際には、この過度に単純化された方法は、一般的な背景のシーンに対して十分に機能しないかもしれない。例えば、いくつかの前面画素は、対応する背景画素と同様であり得、任意の所与の閾値Ｔを下回り得る信号値を生成する。同様に、いくつかの背景画素が、閾値Ｔを超えるノイズ値を生成し得る。この後者の問題を引き起こし得る多くの理由が考えられる。その理由として、イメージングシステム内に電子ノイズが存在すること、背景における照明の変化、および／またはイメージングシステムのわずかな外乱が挙げられる。本発明の方法の複数の閾値が、以下に説明するこの問題を実質的に克服する。
【０１５４】
カラーイメージは、赤（Ｒ）成分、緑（Ｇ）成分、および青（Ｂ）成分に分解され得る。あるいは、カラーイメージは、ＹＵＶまたはＨＳＶ等の他のカラーフォーマットで表され得る。簡略化のために、以下の説明では、イメージをＲＧＢフォーマットで示すが、この技術は、他のカラーフォーマットにも有効である。ＲＧＢ色成分をＹＵＶまたはＨＳＶ成分と置き換えることにより、全ての式を他のカラーフォーマットに適応し得る。
【０１５５】
一般に使用される、イメージＩ（ｘ，ｙ）とＢ（ｘ，ｙ）との間の差分測定値は、次の式で表される色距離（ｃｏｌｏｒ  ｄｉｓｔａｎｃｅ）である。
【０１５６】
【数１０】
0003862140.tif 000010
ここで、α、β、およびγは重み係数であり、[ＲI，ＧI，ＢI]および[ＲB，ＧB，ＢB]は、それぞれイメージＩ（ｘ，ｙ）およびＢ（ｘ，ｙ）についてのＲＧＢ色成分である。
【０１５７】
上記式において、色成分を正規化するのがしばしば魅力的である。この正規化は、各色成分を、色成分の合計で割ることにより達成される。例えば、ＲI成分は、次のように正規化され得る。
【０１５８】
【数１１】
0003862140.tif 000011
このような正規化されたカラーフォーマットを用いる関数Ｆの例は、次の式によって得られる。
【０１５９】
【数１２】
0003862140.tif 000012
ここで、ＹI＝ＲI＋ＧI＋ＢIであり、ＹB＝ＲB＋ＧB＋ＢBである。この正規化は、異なる照明強度による影響を低減する際に有用であるが、ＹIまたはＹBの値が非常に小さい場合には欠点がある。非常に小さな値による除算の結果、各色成分におけるノイズの成分が非常に大きく増幅され、したがって、いかなるセグメント化方法も困難になる。したがって、この正規化は、注意して適用する必要がある。
【０１６０】
計算コストを低減するために、式（１）において説明した色距離測定値は、次のように概算され得る。
【０１６１】
【数１３】
0003862140.tif 000013
重み係数は、各色成分の重要度を反映するように、あらかじめ決定され得る。多くのアプリケーションについて、通常の値の組、α＝β＝γ＝１、が適切であるとわかっている。この結果、次のようになる。
【０１６２】
【数１４】
0003862140.tif 000014
差分測定値関数Ｆを規定する他の方法がある。例えば、信号およびノイズの統計学的特性に基づくエントロピー測定を使用し得る。このような方法は、よりよい差分特性を生成し得るが、計算がより集中的になる傾向にある。
【０１６３】
式（３）によって説明される差分測定値関数Ｆに基づくと、差分イメージＤ（ｘ，ｙ）は、次の式によって得られる。
【０１６４】
【数１５】
0003862140.tif 000015
ここで、各色成分中のノイズは、平均値が０であり分散がσである確率変数とみなされる。これらの確率変数はまた、色チャネル毎および画素毎に独立しているとみなされる。
【０１６５】
理論的には、ノイズｎr、ｎg、ｎbの値は、負の無限大から正の無限大へと変動し得る。現実のコンピュータインプリメンテーションにおいて、これらの値は、有限範囲（例えば−Ｎ〜＋Ｎ（Ｎは整数））内の整数で示され得、通常、２５５に等しい。その時、｜ｎr｜、｜ｎg｜および｜ｎb｜の値は、０からＮまでの範囲を変動する。
【０１６６】
ノイズの項を、絶対値演算子「｜｜」を用いて｜ｎr｜、｜ｎg｜、｜ｎb｜と示すことについての理由がある。このことは、イメージング平均化によるノイズ低減について後でおこなう説明においてより明らかになる。これは、絶対値演算を適用する前に適用される。ノイズの統計学的特性は、まず、ヒストグラミング法を用いて推定され得る。例えば、イメージＩ（ｘ，ｙ）が背景のみを含み、且つ、Ｂ（ｘ，ｙ）が捕捉される時点とは異なる時に捕捉される場合、差分イメージＤ（ｘ，ｙ）は、各画素におけるノイズ変数を示す。その後、特定のノイズ値ｔが発生した合計回数を数えることにより、ヒストグラムｈn（ｔ）が構成され得る。なお、このノイズ値ｔについて、Ｄ（ｘ，ｙ）＝｜ｎr｜＋｜ｎg｜＋｜ｎb｜＝ｔである。図５の上側のグラフは、このようなノイズヒストグラムの一例である。
【０１６７】
理論上、｜ｎr｜＋｜ｎg｜＋｜ｎb｜の値は、０〜３Ｎの範囲で変動する。これは、ｈn（ｔ）が、それぞれが整数カウンタ（ｉｎｔｅｇｅｒ  ｃｏｕｎｔｅｒ）である３Ｎ個のエレメントすなわちビン（ｂｉｎ）を有することを意味する。しかし、３つの項全てがその最大値であるＮに達する場合にかぎり、｜ｎr｜＋｜ｎg｜＋｜ｎb｜の値は３Ｎに等しい。実際には、｜ｎr｜＋｜ｎg｜＋｜ｎb｜の値は、おそらく、この最大値３Ｎよりもかなり小さい。しばしば、Ｎ個だけのビンからなるヒストグラムを使用するのが適切である。Ｎの値を超える画素について、これらの画素の値は、Ｎにまで切り捨てられ得る。計算能力および記憶装置が制限されている場合、このことは有用である。
【０１６８】
ノイズヒストグラムは、イメージ内の全背景画素から計算され得る。ノイズヒストグラムはイメージの複数のフレームに亘って蓄積され得、ノイズの統計学的特性をより良く概算し得る。
【０１６９】
このノイズヒストグラムは、セグメント化の開始前に計算される必要がある。一方で、背景画素が既に知られている場合に計算のみが行われ得る。これらの相反する要件に対する１つの考え得る解決方法は、第１のイメージまたは、さらに望ましくは、第１のいくつかのイメージが背景シーンのみを含み、ノイズヒストグラムがこれらのイメージを用いてまず計算され得ることを確実にすることである。
【０１７０】
Ｓｈａｒｐ（登録商標）  Ｃｏｒｐｏｒａｔｉｏｎ  ＭＰＥＧ−４  Ｉｎｔｅｒｎｅｔ  ＶｉｅｗＣａｍ等のいくつかのアプリケーションについて、「ターゲット」が視界内へと移動する直前にイメージの記録を開始することによりこのことが達成され得る。ビデオカメラが数秒間スイッチオンされた後に、それから、ターゲットは視界内に入り得る。このことにより、初めのいくつかのイメージが背景のみを含むことが確実になる。
【０１７１】
あるいは、上記ターゲットまたは各ターゲットが、図６に示すように、背景のみを含む左側および右側の余白の領域１９を有するイメージの中央領域にまず配置され得る。左側および右側の余白の領域１９を用いて、ノイズヒストグラムを推定し得る。Ｓｈａｒｐ（登録商標）  Ｉｎｔｅｒｎｅｔ  ＶｉｅｗＣａｍ等のアプリケーションについて、このことは、ターゲットが中央にある場合、イメージの中央に矩形のガイドを表示して、ユーザが単に記録を開始することにより達成され得る。この制約は、初めのいくつかのイメージについてのみ必要とされ得、その後ターゲットは自由に動き得る。
【０１７２】
いくつかのアプリケーションについて、計算がオフラインで実行された場合、ノイズ特性の推定を行う背景領域をユーザに手動で選択させることも可能である。例えば、アプリケーションがパーソナルコンピュータ（ＰＣ）上で実行された場合、イメージがモニタ上に表示され得、この目的のために、ユーザがマウスポインタを用いて領域を選択し得る。
【０１７３】
同様に、背景画素についての信号のヒストグラムｈs（ｔ）が構成される。やはり、このことが達成され得る前に、前面オブジェクトを知る必要がある。ターゲットがまず、図６に示すようにイメージの中央領域２０に配置された場合、中央領域を用いて信号ヒストグラムを計算することによりこのことが可能である。あるいは、上で説明した手動の方法を使用して、信号ヒストグラムの初めの推定を行うための領域を識別し得る。
【０１７４】
全てのアプリケーションについてこれらの制約が可能でないかもしれない。一般に、この信号ヒストグラムの初めの推定は、動いているオブジェクトを含む第１のイメージがセグメント化されるまで、行うことが出来ない。これについて、以下に説明する。
【０１７５】
信号ヒストグラムおよびノイズヒストグラムは、イメージをセグメント化するための閾値を決定する根拠を形成する。
【０１７６】
差分イメージが一旦計算されると、まず、背景画素の強力な候補が、第１の閾値Ｔnを用いて判定される。ほとんどの前面画素がこの第１の閾値を超える信号値を有し、ほとんどの背景画素が第１の閾値未満のノイズ値を有するようにこの閾値の値が決定される。
【０１７７】
この閾値は、ノイズヒストグラムｈn（ｔ）から決定される。理想的には、ノイズ値は、ヒストグラムの初めのいくつかのビンのみがゼロにならないように、制限される。その後、閾値Ｔnはｔの第１の値であり、この値を超えると、残りのビンはゼロである。つまり、
【０１７８】
【数１６】
0003862140.tif 000016
となる。
【０１７９】
残念なことに、通常、このような理想に近い状況は存在しない。実際、背景は、制御された均一な色の領域ではなく、一般的なシーンを含み得る。イメージングシステムは、無視できない程度のノイズの影響を受け得、イメージング処理の間、照明が変化し得るか、または、イメージングシステムがイメージングプロセスの間わずかな外乱を受け得る。この全てがノイズ項に寄与し、ノイズ項の値がヒストグラムの全範囲を占め得る。
【０１８０】
ヒストグラムがｔの高い範囲に亘って完全に０になり得ないのに対して、ノイズ値の大部分は、通常、図５に示すように、ヒストグラムの初めのいくつかのビンのまわりに集まる。残りのビンは、通常、ｔが増大するのに従って減少する長いすそを形成する。その後、閾値Ｔnは、所与の割合の背景画素よりも大きなｔの最小値として規定され得る。
【０１８１】
次いで、この閾値Ｔnは、あらかじめ設定された割合値ηn（０．５＜ηn≦１）と関連づけられる。それは、次の不等式を満たす最小のＴnとして決定される。
【０１８２】
【数１７】
0003862140.tif 000017
ここで、Ｋnは背景画素の合計数であり、次の式によって求められる。
【０１８３】
【数１８】
0003862140.tif 000018
その後、差分イメージは、第１の閾値Ｔnを用いて閾値化されて、背景画素の強力な候補を識別する。バイナリマスクが次の式によって得られる。
【０１８４】
【数１９】
0003862140.tif 000019
ここで、０は、背景画素の強力な候補を示し、１は、前面画素または上記閾値によるフィルタリングを通過した背景画素のいずれかであり得る他の画素の候補を示す。ここでは、背景画素の強力な候補のみに関心がある。他の画素は、以下に説明する処理においてさらに分類される。Ｋn個の背景画素を含むイメージＩ（ｘ，ｙ）について、約ηn・Ｋn個の画素が、閾値Ｔn未満のノイズ値を有する。残りの（１−ηn）・Ｋn個の画素は、この閾値Ｔnを超える値を有し、この処理において、背景画素として検出されない。
【０１８５】
ここでの暗黙の仮定は、前面画素のほとんどが第１の閾値を超える信号強度を有するということである。しかし、少ない数の前面画素がこの閾値未満に減少する信号値を有し得ることもあり得る。この単純な閾値化方法は、それらを誤って背景画素として分類する。
【０１８６】
ηnの値がより高く設定された場合、Ｔnの値もより高くなり、検出されない背景画素の数がより少なくなる。一方で、閾値Ｔnが大きくなるに従って、前面画素が、誤って背景画素として分類されやすくなる。セグメント化の目的は、動いているオブジェクトを背景から分離することなので、理想的には、セグメント化は、信号値が小さい場合であっても、前面オブジェクトと背景との違いを識別できなければならない。このことは、セグメント化のために、より小さな閾値Ｔnがより良いことを意味する。したがって、妥協が必要であり、通常、ηnは０．７５に設定される。
【０１８７】
真の背景画素は独立して存在せず、常に他の背景画素とつながっている。画素が実際に背景画素である場合、近隣画素のほとんどが背景画素であることもあり得る。一方で、誤って背景画素として検出された前面画素は、しばしば、背景内に小さなアーチファクトとして現れる。この観察の結果、これらの誤って検出された画素を除去する以下のフィルタリング方法が行われる。
【０１８８】
背景画素の現在の候補の各々について、小さな近隣領域（通常、現在の画素を中心とする方形のウィンドウ）が選択される。このウィンドウ内の画素の合計数がｍである場合、約ηn・ｍ個（ηn＞０．５）の画素が背景画素として正確に分類されることが期待される。ｍの値が充分大きな場合、このことは正しい。
【０１８９】
背景画素が前面オブジェクトの近傍に存在する場合、上記の小さなウィンドウは、いくつかの前面画素を含み得る。現在の背景画素が前面オブジェクトに隣接している場合であっても、直感的に考えて、近隣画素の約半分が背景画素であり、約半分が前面画素である。明らかなことに、このことは、ウィンドウサイズが十分に小さい場合にのみ正しい。これは、ｍが「十分に大きい」値である必要があるという上記要件と矛盾する。
【０１９０】
したがって、妥協が必要である。試行錯誤の結果、ｍの典型的な値は１００であり、したがって９×９画素または１１×１１画素のウィンドウサイズとなることが示される。通常、ウィンドウサイズには奇数の数が用いられ、現在の画素はウィンドウの中心に配置される。
【０１９１】
背景画素の候補は、この近隣領域における背景画素の割合Ψnに基づいて背景画素として認められてもよく、または、認められなくてもよい。Ψnが０．５以上の場合、この候補は背景画素と認められる。そうでない場合には、背景画素と認められない。
【０１９２】
【数２０】
0003862140.tif 000020
計算上、このプロセスは、閾値０．５での閾値化方法によって従ったバイナリイメージＭn（ｘ，ｙ）に適用された移動ウィンドウ平均化演算として実行され得る。
【０１９３】
同様に、第２の閾値Ｔsを用いて、前面画素の強力な候補が検出され得る。この第２の閾値Ｔsは、信号ヒストグラムｈs（ｔ）から計算され得る。前に示したように、信号ヒストグラムは、初めは、第１のイメージがセグメント化されるまで、利用可能でないかもしれない。第１のイメージについて、この閾値は、Ｔnから単に推定され得、次のように得られる。
【０１９４】
【数２１】
0003862140.tif 000021
ここで、μは１よりも大きい実数である。通常、μは１．５〜２に設定される。
【０１９５】
上記式は、第１のイメージが完全にセグメント化される前に、信号強度の初めの推定にのみ使用され得る。前面ターゲットの初期位置についてのさらなる情報がある場合には、この式を使わなくても良い。前面オブジェクトが、図６に示すように，まずイメージの中心に配置された場合、その時例えば、イメージの中央領域が使用され、初めの信号ヒストグラムが構成され得る。
【０１９６】
一般に、信号ヒストグラムｈs（ｔ）は、セグメント化された前面オブジェクトから構成される。セグメント化された前面オブジェクトは、第１のイメージがセグメント化されてすぐに利用可能になる。次いで、第２の閾値Ｔsは、次の不等式を満たすｔの最大値として規定される。
【０１９７】
【数２２】
0003862140.tif 000022
ここで、０．５＜ηn≦１であり、Ｋsは前面画素の合計数である。ηnの通常の値は０．７５である。
【０１９８】
通常、閾値ＴsはＴnよりも大きい。そうでない場合には、動いているオブジェクトの強度および色は背景と類似しており、それらの差分はノイズの影響よりも小さい。したがって、セグメント化は非常に難しくなる。
【０１９９】
第２の閾値Ｔsが一旦得られると、この閾値Ｔsを用いて、差分イメージを閾値化して、前面画素の強力な候補を検出する。閾値化の後にバイナリマスクが得られる。
【０２００】
【数２３】
0003862140.tif 000023
強力な背景画素として既に識別された画素を再び処理する必要はないが、これらの画素は、以下に説明するようにフィルタリング処理に寄与する。
【０２０１】
Ｋs個の前面画素を含むイメージＩ（ｘ，ｙ）について、約ηs・Ｋs個の画素が、閾値Ｔsを超える信号値を有する。残りの（１−ηs）・Ｋs個の画素は、この閾値Ｔs未満の値を有し、このプロセスでは、前面画素として検出されない。背景画素の強力な候補の検出においてと同様、ノイズ値が第２の閾値Ｔsを超えた場合、背景画素を誤って前面画素として検出することがある。これらの誤って検出された画素は、通常、孤立した状態で不規則に分布しており、これまでに説明した演算と同様の移動ウィンドウ演算を用いて除去し得る。その基準もまた同様の基準である。初めに識別された前面画素候補に隣接する画素のうち、少なくとも半分が前面画素の候補である場合、初めに識別された前面画素候補は、前面画素と認められる。そうでない場合には、前面画素と認められない。
【０２０２】
【数２４】
0003862140.tif 000024
ここで、ΨSは、現在の画素の小さな近隣領域における、前面画素の強力な候補の割合であり、近隣領域は、通常、現在の画素を中心とする方形のウィンドウとして選択される。そのサイズは、通常、背景画素の強力な候補を検出するために、９×９または１１×１１に設定される。場合によって、前面オブジェクトが小さい場合は、このウィンドウサイズは減少され得る。
【０２０３】
背景画素の強力な候補としても前面画素の強力な候補としても認められない画素は、さらなる閾値化およびフィルタリング処理において分類され得る。第３の閾値Ｔmが導入され、この閾値Ｔmは、次の式によって得られる、閾値Ｔnと閾値Ｔsとの間の値を有する。
【０２０４】
【数２５】
0003862140.tif 000025
ここで、０＜α＜１である。通常、αの値は０．５に設定され得る。
【０２０５】
差分イメージは、第３の閾値Ｔmを用いて再び閾値化される。しかし、ここでは、残りの画素のみを処理すればよい。新たなバイナリマスク関数は、次の式によって得られる。
【０２０６】
【数２６】
0003862140.tif 000026
前の処理においてと同様、フィルタリング演算は「未決定」の画素に適用される。ウィンドウ内の半数を超える数の画素が背景画素である場合、現在の画素は、背景画素として分類され、そうでない場合は、前面画素として分類される。バイナリマスクは最終的に次の式によって得られる。
【０２０７】
【数２７】
0003862140.tif 000027
ここで、Ｍ（ｘ，ｙ）は最終のバイナリマスクであり、Ψmは、検証される現在の画素を中心とする方形ウィンドウ内の前面画素の割合である。前に述べたように、ウィンドウサイズは、通常、９×９または１１×１１であるが、異なるサイズのオブジェクトに適合するように調節され得る。
【０２０８】
コンピュータでの実行について、異なる段において、異なるタイプの候補を示すために、異なる値を使用する場合、Ｍs、Ｍn、およびＭmの記憶装置が共有され得る。例えば、背景画素の強力な候補を決定する第１の処理において、背景画素の強力な候補を０と示し、それ以外を（１の代わりに）２と示し得る。第２の処理において、前面画素の強力な候補を１と示し、残りの画素を３と示し得る。Ｓｈａｒｐ（登録商標）  Ｉｎｔｅｒｎｅｔ  ＶｉｅｗＣａｍ等のアプリケーションについて、記憶装置が制限される場合、このことは有用である。
【０２０９】
その後、バイナリマスクＭ（ｘ，ｙ）を使用して、イメージを前面領域および背景領域へとセグメント化し得る。セグメント化された前面領域は、さらに処理される（例えば、データ速度を減少するために圧縮される）。背景領域は、破棄されるか、または他のイメージと置き換えられて、使用者が望む特殊効果が生成される。
【０２１０】
イメージが一旦セグメント化されると、信号ヒストグラムおよびノイズヒストグラムが、前面領域および背景領域を用いてそれぞれ再度計算され得る。また、イメージは、バイナリマスクと共にセーブされ得る。その後、次のイメージが得られ、上のプロセスを繰り返すことによりセグメント化される。
【０２１１】
ノイズレベルが低減され得る場合、セグメント化の結果が向上され得る。前に述べたように、ノイズの項ｎr、ｎg、およびｎbは、画素毎に独立した確率変数である。ここで、絶対値演算が適用される前、ノイズの項は直接差分である。一方で、前面画素についての信号値は、小さな近隣領域に亘って、互いに相関付けられる。例えば、赤成分について、直接差分イメージＤrは次のように得られる。
【０２１２】
【数２８】
0003862140.tif 000028
絶対値演算が適用される前に、移動ウィンドウ平均化演算がこのイメージに適用された場合、ウィンドウサイズが小さい場合には、平均化された信号がほぼ同じままであるが、ノイズ分散は低減される。簡略化のために、ノイズの項ｎr、ｎg、およびｎbの各々は分散σを有するものとする。ｎ×ｎ画素のウィンドウサイズについて、平滑化されたイメージのノイズ分散は、σからσ／ｎへと低減される。通常、ウィンドウサイズは３×３に設定され、各カラー成分におけるノイズ分散は、３分の１に低減される。この演算は、絶対値演算子が適用される前に、３つの色成分全てに適用されて、式（３）によって規定された差分イメージが生成される。
【０２１３】
図７は、ノイズ低減を含むように修正された点で図３に示した方法とは異なる方法を示す。ステップ５は、サブステップ５ａ〜５ｃを含む。ステップ５ａが、全ての色成分またはチャネルについて直接差分イメージを計算し、ステップｂが、移動ウィンドウ平均化演算を実行して、直接色成分差分イメージの各々にノイズ低減を提供する。その後、ステップ５ｃが、最終的な差分イメージを生成する。
【０２１４】
上で説明したように、現在のイメージがセグメント化された後に信号ヒストグラムおよびノイズヒストグラムが再度計算されるので、これらのヒストグラムは、常に信号およびノイズの最新の統計学的特性を反映する。しかし、この方法は、前面オブジェクトのサイズの影響を受け得る。いくつかの場合において、前面オブジェクトが非常に大きく、イメージのほぼ全体を占め、わずかな背景のみがイメージ内の残され得る。したがって、ノイズのヒストグラムを計算するために、少数の画素しか使用できず、このことが推定の精度に影響を及ぼす。同様に、前面オブジェクトが小さい場合もあり得、この場合、信号ヒストグラムの推定は信頼できないかもしれない。
【０２１５】
この問題は、累積的な手順を用いてヒストグラムを更新することにより解決され得る。例えば、信号ヒストグラムは次のように更新され得る。
【０２１６】
【数２９】
0003862140.tif 000029
ここで、Ｈst-1（ｘ）は、直前のフレームをセグメント化するのに使用された前の信号ヒストグラムであり、Ｈs（ｘ）は、直前のフレームのセグメント化された結果を用いて得られた新しいヒストグラムであり、λは、通常１／２の値を有する定数である。
【０２１７】
これは、例えば次の式に示すような、減少する重み付けで前の全てのヒストグラムから部分的に得た、重み付けされたヒストグラムを有することに相当する。
【０２１８】
【数３０】
0003862140.tif 000030
同様に、ノイズヒストグラムが、この累積的な方法を用いて計算され得る。
【０２１９】
この改良された方法に要求されるさらなる計算能力および記憶装置は、重要である必要はない。これは、Ｈs（ｘ）の計算コストが、この手順の主要なコストからなり、それは、累積的な技術が使用されるかどうかに関わりなく要求されるからである。
【０２２０】
その後、背景イメージが、セグメント化された結果に基づいて更新され得る。背景の元のイメージをＢ0（ｘ，ｙ）、最新のイメージをＩ（ｘ，ｙ）、バイナリマスクイメージをＭ（ｘ，ｙ）と示した場合、新たな背景イメージは次の式によって得られる。
【０２２１】
【数３１】
0003862140.tif 000031
これは、例えば照明の変化またはカメラの移動によるわずかな外乱による、背景における小さな変化を克服するために非常に有用である。
【０２２２】
図７は、背景イメージの更新を含む、図３のステップ１６に対する修正を示す。
【０２２３】
セグメント化が一旦実行されると、静的な背景が除去され、新たな背景イメージと置き換えられる。新たな背景イメージは、前面オブジェクトとの大きなコントラストを有し得、したがって、前面オブジェクトの周囲の境界線において明瞭な切り抜き（ｃｕｔ−ｏｕｔ）を有する。これは、境界画素についての平滑化演算を適用することにより「和らげ」られ得る。
【０２２４】
オブジェクト画素は、その全ての隣接画素が前面画素である場合、オブジェクト内に存在するとみなされる。これらの隣接画素は、図８の参照符号２２に示すような４個の接続された近隣画素または図８の参照符号２３に示すような８個の接続された近隣画素として規定され得る。オブジェクト内のオブジェクト画素に対して、演算は要求されない。
【０２２５】
少なくとも１つの隣接画素が背景画素である場合、オブジェクト画素は境界線とみなされる。この画素は、次の式によって得られる新たな画素と置き換えられ得る。
【０２２６】
【数３２】
0003862140.tif 000032
ここで、Ｂ’（ｘ，ｙ）はユーザが選択した新たな背景イメージであり、εは、通常１／２の値を有する定数である。
【０２２７】
あらかじめ記録された背景のイメージは、前面オブジェクトが存在する現実の背景とは異なり得る。この問題を引き起こす多くの要因のうち、最も重要な要因が２つある：
１）イメージングデバイスは、スイッチオフし得ないホワイトバランス自動調節機能を有し得る。
２）前面オブジェクトは、背景から入射する光を遮る。
【０２２８】
これらの問題の結果、前面オブジェクトが存在する場合、背景における強度および色が変化する。これらの変化が著しくない場合、これらの変化を各色要素について定数として概算し得る。つまり、これらの変化を次のように表し得る。
【０２２９】
【数３３】
0003862140.tif 000033
ここで、ＤR、ＤG、およびＤBは、位置（ｘ，ｙ）に関係のない定数である。
【０２３０】
これらの定数を推定するために、３つのヒストグラムＨR、ＨG、およびＨBが次に示す式から計算される。
【０２３１】
【数３４】
0003862140.tif 000034
ここで、各色成分Ｒ、Ｇ、およびＢが範囲（０，２５５）内の値を有するものとし、各色成分Ｒ、Ｇ、およびＢの有する値が確実に範囲（０，５１１）内になるように定数２５５が加えられる。照明の変化が無い場合、各ヒストグラムは、２５５の位置にピークを示すはずである。実際のピーク位置と２５５との間の差分は、色成分の一定のシフトを示し、それにしたがって背景が調節され得る。
【０２３２】
この背景イメージの補正は、通常、第１のイメージがセグメント化される前の初めにのみ要求される。しかし、イメージング処理の間に照明の変化が起こる場合、この処理は、各フレームがセグメント化された後に繰り返され得る。あるいは、この処理は、固定された個数のイメージがセグメント化された後に実行されて、計算コストを低減し得る。
【０２３３】
本発明の方法は、図９に示した装置等の、任意の適切な装置上で実行され得る。プログラミングされたデータプロセッサが、ＣＰＵバス３１に接続された中央処理ユニット（ＣＰＵ）３０を含む。システムメモリ３２は、バス３１に接続され、データプロセッサを動作させるためのシステムソフトウェアまたはプログラムを全て含んでいる。
【０２３４】
ビデオデジタイザ３４に接続された、Ｓｈａｒｐ（登録商標）  Ｉｎｔｅｒｎｅｔ  ＶｉｅｗＣａｍ等のイメージングデバイス３３によって、イメージが得られる。なお、イメージ信号がデジタルデータフォーマットになっていない場合、ビデオデジタイザ３４はデータバス３５に接続される。また、追加的な表示デバイス３６がデータバス３５に接続されて、全画面内に、または、出力イメージが１つのウィンドウ内に表示される場合には別のウィンドウ内に、入力が表示され得る。
【０２３５】
あるいは、入来するイメージは他のソースを形成し得、既に、ハードディスクまたはデータバス３５に接続された他の記憶デバイス３７に格納され得るコンピュータファイルの形態であり得る。
【０２３６】
本発明のシステムは、入来するイメージを格納するフレームバッファ３８と、背景のイメージのためのフレームバッファ３９と、バイナリマスクのためのフレームバッファ４０と、セグメント化処理の間に生成された一時的なデータのために必要な場合には、他のメモリバッファ４１とを含む。
【０２３７】
セグメント化された前面領域および背景領域は、さらなる処理のために、バイナリマスクと共に他の装置に送信され得るか、または、ハードディスク等の他の記憶装置に格納され得る。
【０２３８】
セグメント化された前面領域およびユーザが割り当てた新たな背景イメージを用いて、構成されたイメージが生成され得る。新たな構成されたイメージが、表示デバイス３６上の、全画面内に、または、別個のウィンドウ内に表示された元のイメージと比較するために、ウィンドウ内に表示され得る。
【０２３９】
本発明によれば、ピクセル化されたイメージを、前面領域と背景領域とにセグメント化する技術が提供される。先行するイメージの背景領域および前面領域が分析され、ノイズヒストグラムおよび信号ヒストグラムが提供される。第１の閾値は、所定の割合の背景画素がより低いノイズレベルを有するような最低のレベルとして生成される。第２の閾値は、所定の割合の前面画素が最も高い信号レベルを有するような最高のレベルとして生成される。イメージの各画素と非遮蔽背景イメージの対応する画素との差分として、差分イメージが形成される。差分イメージ画素の値が第１の閾値よりも小さく、且つ、この画素を取り囲む近隣差分イメージ画素の大部分が背景領域に割り当てられている場合、差分イメージ画素の各々は、背景画素として割り当てられる。その後、残りの画素の各々は、その値が第２の閾値よりも大きく、且つ、その近隣画素の大部分が前面領域に割り当てられている場合に、前面領域に割り当てられる。その後、残りの画素は、第１の閾値と第２の閾値との間にある第３の閾値との比較によって、前面画素の候補または背景画素の候補として割り当てられる。その後、各候補画素は、近隣画素の大部分が既に背景領域に割り当てられているか、または、背景画素の候補である場合に、背景画素として割り当てられる。そうでない場合には、各候補画素は、前面に割り当てられる。
【０２４０】
【発明の効果】
したがって、本発明によれば、イメージまたはシーケンスのイメージの前面領域および背景領域をセグメント化するロバストな技術が提供される。
【図面の簡単な説明】
【図１】イメージをセグメント化する、第１の公知のタイプ技術を示すヒストグラムである。
【図２】イメージをセグメント化する、第２の公知のタイプ技術を示すヒストグラムである。
【図３】本発明のある実施形態を構成する、シーケンスのイメージをセグメント化する方法の機能図である。
【図４】図３に示す方法において、異なるイメージの生成を示す図である。
【図５】図３に示す方法において形成された、ノイズヒストグラムおよび信号ヒストグラムを示す図である。
【図６】ノイズヒストグラムおよび信号のヒストグラムの始めの計算を行なう技術を示す図である。
【図７】本発明の別の実施形態を構成する、シーケンスのイメージをセグメント化する方法を示す機能図である。
【図８】４個の接続された近隣画素および８個の接続された近隣画素を示す図である。
【図９】本発明のさらなる実施形態を構成する、シーケンスのイメージをセグメント化する装置のブロック図である。
【符号の説明】
３０  中央処理ユニット（ＣＰＵ）
３１  ＣＰＵバス
３２  システムメモリ
３３  イメージングデバイス
３４  ビデオデジタイザ
３５  データバス
３６  表示デバイス
３７  記憶デバイス
３８  フレームバッファ
３９  フレームバッファ
４０  フレームバッファ
４１  メモリバッファ
【図１】
0003862140.tif 000036
【図２】
0003862140.tif 000037
【図３】
0003862140.tif 000038
【図４】
0003862140.tif 000039
【図５】
0003862140.tif 000040
【図６】
0003862140.tif 000041
【図７】
0003862140.tif 000042
【図８】
0003862140.tif 000043
【図９】
0003862140.tif 000044