(57)【要約】  一般に、前景セグメント化画像を分析するための技術について開示している。この技術は、クラスタが前景セグメント化画像から決定されことを可能にする。新しいクラスタを付加し、古いクラスタを取り除き、現時点のクラスタを追跡することが可能である。本発明の分析のために確率的フレームワークを用いる。開示する方法は、セグメントか領域を有する画像から決定される１つまたはそれ以上のクラスタのためのクラスタパラメータを推定する段階と、クラスタを修正するべきかどうかを決定するためにクラスタを評価する段階とを有する。これらの段階は、一般に、１つまたはそれ以上の収束が適合されるまで、実行される。さらに、クラスタは、このプロセスの間に、付加され、取り除かれ、分離される。本発明の他の特徴においては、一連の画像の間にクラスタを追跡し、クラスタの動きの予測を行う。
2005509983.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つのセグメント化領域を有する画像から少なくとも１つのクラスタを決定する段階；
前記少なくとも１つのクラスタのためにクラスタパラメータを推定する段階；並びに
前記少なくとも１つのクラスタを評価する段階であって、これにより、前記少なくとも１つのクラスタを修正するかどうかを決定するために実行される、段階；
を有することを特徴とする方法。
【請求項２】
請求項１に記載の方法であって：
前記クラスタパラメータを推定する段階は、少なくとも１つの第１収束基準に適合するまで、前記少なくとも１つのクラスタの各々のためにクラスタパラメータを推定する手順をさらに有し；
前記クラスタパラメータを評価する段階は、少なくとも１つの第２収束基準に適合するまで、前記少なくとも１つのクラスタのためにクラスタパラメータを評価する手順であって、少なくとも１つの前記第２収束基準に適合しない場合は前記推定する段階を実行する、手順をさらに有する；
ことを特徴とする方法。
【請求項３】
請求項１に記載の方法であって、前記クラスタパラメータを推定する段階は：
前記クラスタの１つに前記セグメント化領域の選択された１つからの画素を割り当てる手順であって、前記セグメント化領域の選択された１つからの各々の画素がクラスタに割り当てられるまで実行される、手順；
各々の前記クラスタのためにクラスタパラメータを再推定する手順；並びに
少なくとも１つの収束基準に適合する手順；
をさらに有する、ことを特徴とする方法。
【請求項４】
請求項１に記載の方法であって、前記クラスタパラメータを評価する段階は：
選択されたクラスタが削除される必要があるかどうかを決定する手順；並びに
前記選択されたクラスタが削除される必要があることを決定するとき、前記選択されるクラスタを削除する手順；
をさらに有する、ことを特徴とする方法。
【請求項５】
請求項４に記載の方法であって、前記選択されたクラスタが削除される必要があるかどうかを決定する段階は：
前記選択されたクラスタがセグメント化領域から所定数の画素を含むかどうかを決定する手順；並びに
前記選択されたクラスタがセグメント化領域から前記所定数の画素を含まないとき、前記選択されたクラスタは削除される必要があることを決定される手順；
を有する、ことを特徴とする方法。
【請求項６】
請求項１に記載の方法であって、前記クラスタパラメータを評価する段階は：
選択されたクラスタが分離される必要があるかどうかを決定する手順；
前記選択されたクラスタが分離される必要があることを決定されるとき、前記選択されたクラスタを少なくとも２つのクラスタに分離する手順；
をさらに有する、ことを特徴とする方法。
【請求項７】
請求項６に記載の方法であって、選択されたクラスタが分割される必要があるかどうかを決定する手順は；
そのクラスタの第１領域内にセグメント化領域からの第１画素がどれ位の数あるかを決定する段；
そのクラスタの第２領域内にセグメント化領域からの第１画素がどれ位の数あるかを決定する段；並びに
前記第２画素と前記第１画素との比が所定の値に適合するとき、前記選択されたクラスタは分離される必要があることを決定される段；
を有する、ことを特徴とする方法。
【請求項８】
請求項１に記載の方法であって：
前記決定する段階は前のフレームのためにクラスタパラメータを決定する手順をさらに有し；
前記クラスタを評価する段階は：
前記画像においてどれ位多くの画素がクラスタに割り当てられないかを決定することにより、新しいクラスタが付加される必要があるかどうかを決定する手順；並びに
クラスタに割り当てられない画素数が所定値に適合するとき、新しいクラスタに割り当てられなかった画素を付加する手順；
をさらに有する、ことを特徴とする方法。
【請求項９】
請求項１に記載の方法であって：
前記決定する段階は前のフレームのためにクラスタパラメータを決定する手順をさらに有し；
前記クラスタを評価する段階は：
前記画像においてどれ位多くの画素がクラスタに割り当てられないかを決定することにより、新しいクラスタが付加される必要があるかどうかを決定する手順；並びに
少なくとも１つの新しいクラスタを付加するために、割り当てられなかった画素において連結成分アルゴリズムを実行する手順；
をさらに有する、ことを特徴とする方法。
【請求項１０】
請求項１に記載の方法であって、前記少なくとも１つのクラスタを評価する段階は、新しいクラスタを付加する手順、現時点のクラスタを削除する手順、または現時点のクラスタを分離する手順を有する、ことを特徴とする方法。
【請求項１１】
請求項１に記載の方法であって、セグメント化領域は背景−前景セグメント化により決定される、ことを特徴とする方法。
【請求項１２】
請求項１１に記載の方法であって、前記背景−前景セグメント化は背景差分化を有する、ことを特徴とする方法。
【請求項１３】
請求項１１に記載の方法であって、前記セグメント化領域はマークが付けられ、このマーク付けは２値マーク付けにより実行され、これにより、背景の画素は１つのカラーでマーク付けされ、前景画素は異なるカラーでマーク付けされる、ことを特徴とする方法。
【請求項１４】
請求項１に記載の方法であって：
前記クラスタの各々は楕円形、θｋであり；
セグメント化領域に属する各々の画素は前景画素であり；
前記クラスタパラメータを評価する段階は：
画素が選択された楕円形、Ｐ（Ｘ｜θｋ）に属する確率が最大になるように、楕円形の各々に各々の前景クラスタを割り当てる手順；並びに
選択された楕円形に割り当てられた画素が所定のエラーの範囲内に適合するように、各々の楕円形のパラメータを評価する手順；
を有する、ことを特徴とする方法。
【請求項１５】
コンピュータ読み出し可能符号を記憶するメモリ；並びに
前記メモリに動作可能であるようにして連結されるプロセッサであって、前記コンピュータ読み出し可能符号を実行するために構成され、前記コンピュータ読み出し可能符号は：
少なくとも１つのセグメント領域を有する画像から少なくも１つのクラスタを決定する段階；
前記少なくとも１つのクラスタのためにクラスタパラメータを推定する段階；
前記少なくとも１つを評価する段階であって、これにより、前記少なくとも１つのクラスタを修正するべきかどうかを決定するために実行される、段階；
を有する、ことを特徴とするシステム。
【請求項１６】
具体化されるコンピュータ読み出し可能符号を有するコンピュータ読み出し可能媒体であって、前記コンピュータ読み出し可能プログラム符合化手段は：
少なくとも１つのセグメント化領域を有する画像から少なくとも１つのクラスタを決定する段階；
前記少なくとも１つのクラスタのためのクラスタパラメータを推定する段階；並びに
前記少なくとも１つのクラスタを評価する段階であって、これにより、前記少なくとも１つのクラスタを修正するべきかどうかを決定するために実行される、段階；
を有することを特徴とする製造の物品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータビジョンおよび分析に関し、さらに詳細には、確率的フレームワークを用いるブロブベースの分析のためのコンピュータビジョン方法およびシステムに関する。
【背景技術】
【０００２】
１つの一般的なコンピュータビジョン方法は、“背景−前景セグメント化”またはより単純に“前景セグメント化”と呼ばれる。前景セグメント化において、前景対象はある方法で決定され、強調される。前景セグメント化を実行するための１つの技術は“背景差分化”である。このスキームにおいては、コンピュータビジョンシステムが背景を“学習する”ように、カメラは所定数のイメージに対すル背景を視野に入れる。一旦、背景が学習されると、コンピュータビジョンシステムは、新しい画像を背景画像の表示と比較することにより、シーンにおける変化を決定することができる。２つのイメージの間の違いは、前景の対象により表される。背景差分化のための技術は、参考文献、Ａ．Ｅｌｇａｍｍａｌ，Ｄ．Ｈａｒｗｏｏｄ，ａｎｄ  Ｌ．Ｄａｖｉｓ，“Ｎｏｎ−ｐａｒａｍｅｔｒｉｃ  Ｍｏｄｅｌ  ｆｏｒ  Ｂａｃｋｇｒｏｕｎｄ  Ｓｕｂｔｒａｃｔｉｏｎ”，Ｌｅｃｔｕｒｅ  Ｎｏｔｅｓ  ｉｎ  Ｃｏｍｐ．Ｓｃｉｅｎｃｅ  １８４３，７５１−７６７（２０００）に開示され、この文献の援用によって説明を一部代替する。
【０００３】
前景の対象は多くの方法で表されることが可能である。一般に、前景の対象を表すために２値化技術が用いられる。この技術において、背景に関連する画素はブラックにマークが付けられる一方、前景に関連する画素はホワイトにマークが付けられるか、またはその逆の場合もある。階調画像はまた、カラー画像の場合に用いることが可能である。その技術の特性に関係なく、前景の対象は、それらが背景から区別されるようにマークが付けられる。そのようにマークが付けられるとき、何が前景であるかを決定することが困難であるシーンにおいては、前景の対象は“ブロブ”のようにみえる傾向にある。
【０００４】
それにも拘わらず、これらの前景セグメント化画像は、さらに分析されることが可能である。これらの種類の画像において用いられる分析ツールは連結成分ラベリングと呼ばれる。このツールは、“接続された”画素領域であって、強度値の同じ集合を共有する隣接画素からなる領域を決定するために、画像を走査する。これらのツールは、どれ位の画素が共にグループ化される必要があるかを決定するために、種々のプロセスを実行する。これらのツールは、例えば、参考文献、Ｄ．Ｖｅｒｎｏｎ，“Ｍａｃｈｉｎｅ  Ｖｉｓｉｏｎ”，Ｐｒｅｎｔｉｃｅ−Ｈａｌｌ，３４−３６（１９９１）および
Ｅ．Ｄａｖｉｅｓ，“Ｍａｃｈｉｎｅ  Ｖｉｓｉｏｎ：  Ｔｈｅｏｒｙ，Ａｌｇｏｒｉｔｈｍ  ａｎｄ  Ｐｒａｃｔｉｃａｌｉｔｉｅｓ”，  Ａｃａｄｅｎｍｉｃ  Ｐｒｅｓｓ，Ｃｈａｐ．６（１９９０）に開示されており、この文献の援用によって説明を一部代替する。以上のおよび類似するツールは、カメラの視野の中に入る、外に出るまたはカメラの視野を通過する対象を追跡するために用いられることが可能である。
【０００５】
連結成分技術および他のブロブベースの技術は実際的且つ有用であるが、これらの技術には問題点が存在する。一般に、これらの技術は、（１）ノイズの存在を落とし、（２）シーンの個々の部分を独立して処理し、（３）シーンに存在するブロブの数を自動的にカウントするための手段を提供しない。それ故、これらの問題点を克服し、前景セグメントか画像を適切に分析する技術に対する要請が存在している。
【０００６】
一般に、前景セグメント化画像を分析するための技術は開示されている。それらの技術は、クラスタが前景セグメント化画像から決定されることを可能にする。新しいクラスタが加えられ、古いクラスタが取り除かれ、現時点のクラスタが追跡されることが可能である。本発明の分析のために、統計的フレームワークを用いる。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明の一特徴においては、セグメント化領域から決定される１つまたはそれ以上のクラスタのためのクラスタパラメータを推定し、クラスタを修正するか否かを決定するためにクラスタを評価する方法について開示している。これらの段階は、一般に、１つまたはそれ以上の収束基準が満たされるまで、実行される。さらに、このプロセスの間に、クラスタは加えられ、取り除かれ、または分割されることが可能である。
【０００８】
本発明の他の特徴においては、クラスタは、ビデオカメラ等からの一連の画像において追跡される。本発明の他の特徴においては、クラスタの動きの予測を実行する。
【０００９】
本発明の他の特徴においては、入力画像を分析し、入力画像からブロブ情報を生成するシステムを開示する。ブロブ情報は、各々のブロブについての追跡情報、位置情報およびサイズ情報を有することができ、また、存在するブロブの数を含むことができる。
【００１０】
本発明についてのさらに十分な理解と、本発明のさらなる特徴および優位性とについては、以下の詳細な説明および図面により得ることができるであろう。
【課題を解決するための手段】
【００１１】
本発明は、前記電流ピークをもたらす物理的機構の理解にさらに基づいている。この理解に基づいて、本発明は、起動の間に、ランプ電流の位相に関連して特定時点においてイグニッションパルスを生成することを提供する。
【００１２】
本発明の以上のおよび他の側面、特徴および優位性については、同じ参照番号が同じまたは類似する構成要素を示す図面を参照して好適な実施形態を以下の詳述において、さらに説明する。
【発明を実施するための最良の形態】
【００１３】
本発明は、ブロブベースの分析のためのシステムおよび方法について開示する。ここで開示する技術は、画像におけるブロブの数、位置およびサイズを決定するために、統計的フレームワークお呼びインタラクティブプロセスを用いる。一般に、強調表示が、“前景セグメント化”とここで呼ぶ背景−前景セグメント化により発生する。クラスタは、共にグループ化される画素であり、ここで、グループ化は、特定の画素のグループに適合するために決定される形状により規定される。ここでは、用語“クラスタ”は、特定の画素のグループに適合するために決定される形状と画素自身との両方を表すために用いる。図２を参照して詳細に示すように、１つのブロブは複数のクラスタに割り当てられることが可能であり、複数のブロブは１つのクラスタに割り当てられることが可能である。
【００１４】
本発明はまた、クラスタを加え、取り除き、削除することができる。さらに、クラスタは独立して追跡されることができ、追跡情報は出力されることができる。
【００１５】
図１をここで参照するに、画像１１０、ネットワークおよびＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）１８０が相互作用し、この例においては、ブロブ情報を生成するコンピュータビジョンシステム１００について示している。コンピュータビジョンシステム１００は、プロセッサ１２０とメモリ１３０とを有する。メモリ１３０は、前景セグメント化プロセス１４０と、セグメント化画像１５０と、ブロブベースの分析プロセス１６０とを有する。
【００１６】
入力画像１１０は、一般に、デジタルカメラまたは端おデジタル映像入力装置からの一連の画像である。さらに、デジタルフレームグラバに接続されたアナログカメラを用いることが可能である。前景セグメント化プロセス１４０は入力画像１１０をセグメント化画像１５０にセグメント化する。セグメント化画像１５０は画像１１０の表示であり、セグメント化された領域を有する。当業者に周知の、画像の前景セグメント化のための種々の技術が存在する。上記のように、そのような技術の１つは、背景差分化である。また、上記のように、差分化のための技術は、文献の援用によって説明を一部代替した、“Ｎｏｎ−ｐａｒａｍｅｔｒｉｃ  Ｍｏｄｅｌ  ｆｏｒ  Ｂａｃｋｇｒｏｕｎｄ  Ｓｕｂｔｒａｃｔｉｏｎ”に開示されている。用いられることが可能である他の技術は、肌調についての画像を調べることである。人間の肌については、文献の援用によって説明を一部代替する、Ｆｏｒｓｙｔｈ  ａｎｄ  Ｆｌｅｃｋ，“Ｉｄｅｎｔｉｆｙｉｎｇ  Ｎｕｄｅ  Ｐｉｃｔｕｒｅｓ”，Ｐｒｏｃ．ｏｆ  ｔｈｅ  Ｔｈｉｒｄ  ＩＥＥＥ  ｗｏｒｋｓｈｏｐ，  Ａｐｐｌ．ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，１０３−１０８，Ｄｅｃ，２−４，１９９６に開示された技術のような、種々の技術により理解することができる。
【００１７】
一旦、セグメント化される必要のある領域が見つかると、セグメント化される領域は、画像の他の領域とは区別してマークを付けられる。例えば、セグメント化される画像を表す１つの技術は２値画像によるものであり、その技術において、前景の画素はホワイトにマーク付けされ、背景の画素はブラックにマーク付けされ、またその逆も可能である。他の表示は階調画像を有し、カラーを用いる表示をも含む。表示されるものが何であれ、重要なことは、画像のセグメント化領域を示す境界が存在することである。
【００１８】
一旦、セグメント化される画像１５０が決定されると、ブロブベースの分析プロセス１６０が、セグメント化される画像１５０を分析するために用いられる。ブロブベースの分析プロセス１６０は、セグメント化される画像１５０を分析するために図３乃至５において開示される全てのまたは一部の方法を用いる。ブロブベースの分析プロセス１６０は入力画像１１０を調べ、ブロブ情報１７０を生成することができる。ブロブ情報１７０は、例えば、ブロブの追跡情報、ブロブの位置、ブロブのサイズおよびブロブの数を提供する。また、ブロブベースの分析プロセス１６０はブロブ情報を出力する必要はないことに留意する必要がある。その代わりに、ブロブベースの分析プロセス１６０は、例えば、人間がある限定された領域に歩いて入る場合、警告信号を出力することが可能である。
【００１９】
コンピュータビジョンシステム１００は、ＣＰＵ（中央演算処理装置）のようなプロセッサ１２０とＲＡＭ（ランダムアクセスメモリ）およびＲＯＭ（読み出し専用メモリ）のようなメモリ１３０とを有する、パーソナルコンピュータまたはワークステーションのようないずれのコンピューティング装置として具体化されることが可能である。他の実施形態においては、ここで開示するコンピュータビジョンシステム１００は、例えば、映像処理システムの一部として、ＡＳＩＣ（特定用途向け集積回路）として実施されることができる。
【００２０】
当該技術分野において周知であるように、ここで開示する方法および装置は、具体化されるコンピュータ読み出し可能符合化手段を有するコンピュータ読み出し可能媒体をそれ自身が有する製造物品として流通されることが可能である。コンピュータ読み出し可能プログラム符号化手段は、ここで開示する装置を作製するためまたは方法を実行するための全てのまたは一部の段階を実行するために、コンピュータシステムと共に機能することが可能である。コンピュータ読み出し可能媒体は記録加納媒体（例えば、フロッピー（登録商標）ディスク、ハードディスク、ＤＶＤ１８０のようなコンパクトディスク、またはメモリカード）とすることが可能であり、また、伝送媒体（例えば、光ファイバ、ワールドワイドウェブ、ケーブル、または時分割多元接続を用いる無線チャネル）とすることが可能である。コンピュータシステムと共に用いるための適切な情報を記憶することができる、周知のまたは開発されたいずれの媒体を用いることが可能である。コンピュータ読み出し可能符号化手段は、ＤＶＤ１８０のようなコンパクトディスクの表面の高さの変化または磁気媒体における磁性の変化のようなデータおよび命令をコンピュータが読み出すことを可能にするためのいずれの機構とすることが可能である。
【００２１】
メモリ１３０は、ここで開示する方法、段階または機能を実行するためのプロセッサ１２０を構成する。メモリ１３０は、分散型またはローカルとすることが可能であり、プロセッサ１２０は、分散型または単数とすることが可能である。メモリ１３０は、電気的、磁気的または光学的メモリ、またはそれらのいずれの組み合わせ或いは他の種類の記憶装置とすることが可能である。用語“メモリ”は、プロセッサ１２０によりアクセスされるアドレス可能なスペースにおけるアドレスに書き込みまたはそのアドレスから読み出されることが可能であるいずれの情報を網羅するために十分広く解釈される必要がある。この定義により、プロセッサ１２０はネットワークから情報を受けることができるため、ネットワークにおける情報は、コンピュータビジョンシステム１００のメモリ１３０内に静止している。
【００２２】
図２は、本発明のクラスタ検出技術を示す例示としての一連の画像である。図２においては、４つの画像表示２０１、２０５、２３５および２５５を示している。各々の画像表示は、本発明が静止画像２０３においてどのようにクラスタを生成するかを示している。画像２０３はデジタルカメラからの１つの画像である。静止画像は簡単のために用いることに留意されたい。本発明の利点は、本発明が画像における対象を追跡できる容易さにある。しかしながら、静止画像は説明するにはより容易である。また、図２を参照して説明するプロセスは、基本的には、図３の方法であることに留意する必要がある。図２はより視覚的であり且つより理解し易いため、図３の前に図２について説明する。
【００２３】
画像２０３においては、画像表示２０１に示すように、２つのブロブ２０５および２１０がある。画像表示２０１において、ブロブベースの分析プロセス１６０のようなブロブベースの分析プロセスには、画像表示２０５に座標系を加えられていることが理解できる。このような座標系は、Ｘ軸２１５およびＹ軸２２０を有する。座標系は、その中に含まれるブロブまたはクラスタの位置を決定し、また、追跡情報のようなさらなる情報を提供するために用いられる。さらに、全てのブロブは、中心２３１、軸２３２および２３３を有する楕円２３０により囲まれる。楕円２３０は、画素のクラスタの表示であり、またクラスタである。
【００２４】
楕円２３０に対するクラスタのパラメータを推定する段階およびクラスタ２３０を評価する段階により、本発明は、画像表示を画像表示２３５に精緻化する。この表示においては、ブロック２０５および２１０を表すために２つの楕円を選択した。中心２４１と、軸２４２および２４３とを有する楕円２４０は、ブロブ２０５を表している。一方、中心２５１と、軸２５２および２５３とを有する楕円２５０は、ブロブ２１０を表している。
【００２５】
さらに繰り返した後、本発明は、画像表示２５５が画像２０３の最もよい表示であることを決定することが可能である。画像表示２５５において、ブロブ２１０は、中心２６１、軸２６２および２６３を有する楕円２６０によりさらに表される。ブロブ２１０は、中心２７１、２８１、軸２７２、２８２および２７３、２８３を有する楕円２７０および２８０により表される。
【００２６】
それ故、本発明は、図２の例においては、３つのクラスタが存在することを決定した。しかしながら、これらのクラスタは、実際には、そのような個別の３つの分離したエンティティを表すことも、また表さないことも可能である。本発明がクラスタを追跡するために用いられる場合、一連の画像においてブロックがどのように動くかを観察するために、恐らく付加的な段階が必要とされる。
【００２７】
また、本発明の方法について説明する前に、セグメント化された画像が統計的フレームワークによりどのようにモデル化されることが可能であるかについて説明することは一助となる。上記の図３乃至５のアルゴリズムは、前景の観測を表すためにパラメトリック統計モデルを用いる。基本的仮定は、少ないパラメータ数を用いてこれらの観測を表すことは画像に捕捉される情報の分析および理解を容易にすることである。さらに、観測されたデータの統計的分析の性質は、実際のデータに存在するエラーおよびノイズに抗して適当なロバスト性を提供する。
【００２８】
この統計的フレームワークにおいては、前景画素が前景セグメント化画像において観測されることが予測される位置に関連して、２次元（２Ｄ）ランダムプロセス、Ｘ＝（ｘ，ｙ）∈Ｒ２を用いることが有利である。その結果、２値画像の画素の集合に含まれる情報は、それ故、対応するランダムプロセスの確率分布のパラメータにより捕捉されることができる。例えば、画像における対象の輪郭を表す領域は、対象の位置および形状を捕捉するパラメータの∈により表されることができる。
【００２９】
２値画素値の２次元アレイである２値画像は、次式により、非ゼロ値を持つ画素の収集を用いて表される。
【００３０】
画像＝｛ＫｋＩ（Ｘｉ）≠０｝              （１）
この画素の収集は、一部のパラメータ化された統計的分布Ｐ（Ｘ｜θ）をもつ２次元ランダムプロセスから集められた観測サンプルとして解釈されることができる。
【００３１】
このように表すことに基づいて、ランダムプロセスは、シーンにおいた観測される前景対象、並びにノイズおよび形状変形のような、これらの観測における不確定性をモデル化するために用いられることができる。例えば、球形の画像は、２次元ガウス分布、Ｐ（Ｘ｜θ）＝Ｎ（Ｘ；Ｘ０，Σ）により表現される画素のクラスタとして表されることができ、ここで、平均Ｘ０はその中心位置を提供し、共分散Σはそのサイズおよび形状についての情報を捕捉する。
【００３２】
複雑な対象は、互いに関連させることが可能であるかまたは可能でない複数のクラスタを用いて表されることができる。これらの複雑なランダムプロセスは、次式のように表されることができる。
【００３３】
【数１】
2005509983.tif 000003
前景画素の確率分布を与える場合、ある閾値の確率より大きい確率をもつ画素位置全てに対して非ゼロ値を、そして残りの画素にゼロ値を与えることにより、画像近似を構築することができる。しかしながら、その最大関連性の問題は、確率モデルを得るために画像を分析する問題である。
【００３４】
入力画像の分析は、それ故、画像により与えられる観測サンプルに分析を適合させることによりモデルのパラメータを推定する問題に変わる。即ち、２値セグメント化画像を与える場合、アルゴリズムは、画像における非ゼロ画素を最もよく表す各々のクラスタのパラメータとクラスタ数とを決定し、ここでは、非ゼロ画素は前景対象である。
【００３５】
本発明の方法は、次のような手順により表すことができる。（１）図３は、画像からクラスタを決定する初期クラスタ検出方法を表している。（２）図４は、幾つかのまたは多くの画像における対象を追跡するために用いられる一般的クラスタ追跡方法を表している。（３）図５は、例えば、ルームに下げたカメラ視点から対象をカウントし、追跡することを含む状況に適切な特定クラスタ追跡方法を表している。
【００３６】
初期クラスタ検出について説明する。
【００３７】
図３は、本発明の好適な実施形態に従って、初期クラスタ検出のための例示としての方法３００について示すフロー図である。方法３００は、ブロブ情報を決定するためにブロブベースの分析プロセスにより用いられ、方法３００は分析のためにセグメント化画像を受け入れている。
【００３８】
方法３００は、基本的には、３つの主要段階であって、初期化する段階３０５、クラスタパラメータを推定する段階３１０およびクラスタパラメータを評価する段階３３０を有する。
【００３９】
方法３００は、初期化されるとき、段階３０５を開始する。方法３００に対して、この段階は、図２の画像表示によって示されるように、全体的な画像をカバーする１つの楕円から開始することを伴う。
【００４０】
段階３１０においては、クラスタパラメータが推定される。段階３１０は、文献、Ａ．Ｄｅｍｐｓｔｅｒ，Ｎ．Ｌａｉｒｄ  ａｎｄ  Ｄ．Ｒｕｂｉｎ，“Ｍａｘｉｍｕｍ  Ｌｉｋｅｌｉｈｏｏｄ  Ｆｒｏｍ  Ｉｎｃｏｍｐｌｅｔｅ  Ｄａｔａ  ｖｉａ  ｔｈｅ  ＥＭ  Ａｌｇｏｒｉｔｈｍ”，Ｊ．Ｒｏｙ．Ｓｔａｔｉｓｔ．Ｓｏｃ．Ｂ３９：１−３８（１９７７）において詳細に説明されている、期待値最大化（ＥＭ）アルゴリズムのバージョンであって、これについては、文献の援用によって説明を一部代替する。段階３１５においては、画像の前景セグメント化部分に属する画素は現時点のクラスタに割り当てられる。ここでは、“画像の前景セグメント化部分に属する画素”は “前景画素”と略して表現することにする。初期的には、全ての前景画素は１つのクラスタに割り当てられる。
【００４１】
段階３１５においては、各々の前景画素は最も近い楕円に割り当てられる。従って、画素Ｘは、Ｐ（Ｘ｜θｋ）が最大化されるような楕円θｋに割り当てられる。
【００４２】
段階３２０においては、クラスタパラメータは、各々のクラスタに割り当てられた画素に基づいて再推定される。この段階は、このクラスタθｋに割り当てられる前景画素に最もよく適合するように各々のθｋのパラメータを推定する。
【００４３】
段階３２５においては、収束のためのテストが実行される。収束された（段階３２５で肯定される）場合、段階３２５は終了する。そうでない（段階３２５で否定される）場合、方法３００は再び段階３１５を開始する。
【００４４】
収束のためにテストするために、それに続く段階が実行される。各々のクラスタθｋのために、最後の繰り返しにおいてどれ位クラスタが変化したかを測定する。変化を測定するために、位置、サイズおよび方向における変化を用いることができる。その変化が小さく、所定値より小さい場合、クラスタは収束したとしてマークが付けられる。全てのクラスタが収束したとしてマークが付けられたとき、全体の収束が実行されたこととなる。
【００４５】
段階３２５はまた、繰り返しの最大数に対してテストすることができることに留意する必要がある。繰り返しの最大数に達した場合、方法３００は段階３３０に進む。
【００４６】
段階３３０において、クラスタは評価される。この段階において、特定の条件に適合した場合、クラスタは分割されまたは削除されることが可能である。段階３３５において、特定のクラスタが選択される。段階３４０において、選択されたクラスタが削除される必要があるかどうかが決定される。クラスタは、クラスタに画素が全く割り当てられないかまたは割り当てられたとしても非常に少ない場合は、削除される（段階３４０で肯定され、段階３４５が実行される）。それ故、クラスタに割り当てられる画素の所定数より少ない場合、クラスタは削除される（段階３４０で肯定され、段階３４５が実行される）。クラスタが削除された場合、この方法は段階３６０に進み、そうでない場合、この方法は段階３５０に進む。
【００４７】
段階３５０において、選択されたクラスタが分割される必要があるかどうかを決定する。分割条件が満たされる場合、クラスタは分割される（段階３５０で肯定され、段階３５５が実行される）。分割条件を推定するために、方法３００は、クラスタに割り当てられた画素全てを考慮する。各々の画素に対して、距離（Ｘ−Ｘ０）ＴΣ−１（Ｘ−Ｘ０）を評価する。ここで、平均Ｘ０は楕円の中心位置を提供し、共分散Σは楕円のサイズおよび形状についての情報を捕捉する。楕円の輪郭は、距離Ｄ０であって、典型的には、Ｄ０＝３＊３＝９であるポイントである。“内側ポイント”は、例えば、０．２５＊Ｄ０より小さい距離の画素であり、“外側ポイント”は、例えば、０．７５＊Ｄ０より大きい距離の画素である。内側ポイントの数で外側ポイントの数を除する比を計算する。この比がある閾値より大きい場合、楕円は分割される（段階３５５）。
【００４８】
段階３６０において、さらにクラスタが存在するかどうかを決定する。付加的なクラスタが存在する（段階３６０で肯定される）場合、方法３００は、再び、他のクラスタを選択する（段階３３５）。それ以上クラスタが存在しない場合、方法３００は段階３７０に進む。
【００４９】
段階３７０は、収束のために１つまたはそれ以上のテストを実行する。段階３７０においては、先ず、この方法が収束するかどうかについての決定がなされる。収束のためのテストは、次のように、段階３２５におけるテストと同様である。各々のクラスタθｋに対して、最後の繰り返しにおいてどれ位クラスタが変化したかを測定する。この変化を測定するために、位置、サイズおよび方向における変化を用いることができる。この変化が小さく、所定値より小さい場合、クラスタは収束したとしてマークを付けられる。全てのクラスタが収束したとしてマークを付けられたとき、全体的な収束が達成される。
【００５０】
収束しない（段階３７０で否定される）場合、方法３００は、再び、段階３１５を続ける。段階３７０はまた、繰り返しの最大数に達したかどうかを決定することに留意する必要がある。繰り返しの最大数に達した場合、方法３００は段階３８０に進む。
【００５１】
収束が得られ（段階３７０で肯定され）、または任意に、繰り返しの最大数に達した場合、ブロブ情報は段階３８０において出力される。ブロブ情報は、例えば、全てのブロブの位置、サイズおよび方向、並びにブロブ数を有することができる。また、上記のように、ブロブ情報は出力される必要はない。それに代えて、警告またはアラームのような情報を出力することが可能である。例えば、人が制限された領域に入る場合、方法３００は、段階３８０においてアラーム信号を出力することができる。
【００５２】
方法３００は追跡に適するクラスタがないことを決定することが可能であることに留意する必要がある。例えば、上記で説明していないが、クラスタは最小寸法を割り当てられることが可能である。この寸法に適合するクラスタがない場合、画像はクラスタを有しないものとみなすことが可能である。画像の前景セグメント化領域がない場合に、このような場合がある。
【００５３】
従って、方法３００は、画像においてクラスタを決定するための技術を提供する。確率的フレームワークを用いるため、本発明は、前景セグメント化アルゴリズムにおけるノイズおよびエラーに抗して、システムのロバスト性を高める。
【００５４】
一般的クラスタ追跡について説明する。
【００５５】
一般的クラスタ追跡は、例示としての図４の方法４００により実行される。このアルゴリズムは連続する画像を仮定し、次のフレームのための推定のプロセスを初期化するために各々のフレームのための解を用いる。代表的な追跡の適用において、方法４００は、第１フレームからの初期クラスタ検出から始め、次いで、それ以後のフレームのためにクラスタ追跡を進める。方法４００における多くの段階は、方法３００における段階を同様である。従って、ここでは、違いのみを説明することにする。
【００５６】
段階４１０において、この方法は、前の画像フレームにおいて得られた解により初期化する。これは、方法４００の現時点の繰り返しに、方法４００の前の繰り返しの結果を提供する。
【００５７】
上記のように、クラスタのパラメータは段階３１０において推定される。この段階は、一般に、画像間のブロブの動きを追跡するために、クラスタを修正する。
【００５８】
クラスタを評価する段階、即ち、段階４３０は、基本的には、同様のままである。例えば、方法４００は、上記のアルゴリズム３００のように、クラスタを削除し（段階３４０および３４５）、クラスタを分割する（段階３５０および３５５）ことができる。しかしながら、新しいクラスタが、初期の解により表されなかったデータに対して付加されることが可能である。段階４２５において、当たらしクラスタが付加される必要があるかどうかについての決定がなされる。新しいクラスタが付加される必要がある（団塊４２５で肯定される）場合、新しいクラスタが生成され、既存のクラスタに割り当てられなかった全ての画素は新しいクラスタに割り当てられる（段階４２８）。その後の繰り返しは  精緻され、必要に応じて、新しく付加されたクラスタを分割する。新しい対象がシーンに入ったとき、付加的クラスタが代表的に発生する。
【００５９】
特定クラスタ追跡について説明する。
【００６０】
図５は、例えば、部屋を視野とする頭上カメラにおける特定のクラスタ追跡のための例示としての方法５００について示すフロー図である。この節においては、頭上カメラの追跡と人のカウントのために用いられる、例示としての特定の修正について説明する。全体的なスキームは上記と同様であり、それ故、違いのみについて、ここでは説明することとする。
【００６１】
段階４１０において、システムは、前の画像フレームにより決定された解により初期化される。しかしながら、各々の楕円に対して、楕円の前の解は、現時点の繰り返しにおける位置を予測するために用いられる。これは段階５１０において行われる。予測された楕円のサイズおよび方向は同じまま保たれるが、所望に応じて、楕円のサイズおよび方向に対する変化は予測されることができる。楕円の中心の位置は前の中心の位置に基づいて予測される。この予測に対して、Ｋａｌｍａｎフィルタを用いることが可能である。Ｋａｌｍａｎフィルタリングについての参考文献は、“Ａｐｐｌｉｅｄ  Ｏｐｔｉｍａｌ  Ｅｓｔｉｍａｔｉｏｎ”，Ａｒｔｈｕｒ  Ｇｅｌｂ（Ｅｄ．），ＭＩＴ  Ｐｒｅｓｓ，Ｃｈａｐｔｅｒ  ４．２（１９７４）に記載されており、文献の援用によって説明を一部代替する。また、次式のように、簡単な線形予測の式により予測することが可能である。
【００６２】
【数２】
2005509983.tif 000004
ここで、
（外１）
2005509983.tif 000005
は時間ｔ＋１における予測中心であり、Ｘ０（ｔ）およびＸ０（ｔ−１）は、時間ｔおよびｔ−１それぞれにおける中心である。
【００６３】
クラスタパラメータを予測する段階、即ち、段階３１０は、基本的には同様である。１秒当たり１０フレームのようなフレーム速度のリアルタイムの映像処理に対しては、追跡される対象はゆっくり変化するため、各々のループにおいて単に１回または２回の繰り返し実行することが可能である。
【００６４】
クラスタを評価する段階（５３０）は、基本的には変わっていない。しかしながら、新しいクラスタの付加（図４の段階４２５）は、方法５００において修正される。特に、新しいクラスタが付加される必要があることを決定する（段階４２５で肯定する）場合、現時点のクラスタに割り当てられなかった前景画素の全てが調べられる。しかしながら、１つの新しいクラスタにそれらの画素全てを割り当てる代わりに、連結成分アルゴリズムが割り当てられなかった画素において実行され（段階５２８）、１つまたはそれ以上の新しいクラスタが各々の連結成分のために生成される（段階５２８）。これは、ブロブが確率的シーンにおいて連結されるかどうかを連結成分アルゴリズムが決定するため、複数の対象が画像の異なる部分において同時に現れるとき、有利である。連結成分アルゴリズムについては、例えば、文献、Ｄ．Ｖｅｒｎｏｎ，“Ｍａｃｈｉｎｅ  Ｖｉｓｉｏｎ”，Ｐｒｅｎｔｉｃｌｅ−Ｈａｌｌ，３４−３６（１９９１）および文献Ｅ．Ｄａｖｉｅｓ，“Ｍａｃｈｉｎｅ  Ｖｉｓｉｏｎ：Ｔｈｅｏｒｙ，  Ａｌｇｏｒｉｔｈｍｅ  ａｎｄ  Ｐｒａｃｔｉｃａｌｉｔｉｅｓ”，Ａｃａｄｅｍｉｃ  Ｐｒｅｓｓ，Ｃｈａｐ．６（１９９０）に記載されており、文献の援用によって説明を一部代替する。
【００６５】
本発明は、少なくとも次のような利点を有する。（１）本発明は、各々の個々のブロブのパラメータの推定において役に立つブロブ全てからの全体的な情報を用いることにより性能を改善する。（２）本発明は、前景セグメント化アルゴリズムにおけるノイズおよびエラーに抗してシステムのロバスト性を向上させる。（３）本発明は、シーンにおけるブロブの数を自動的に決定する。
【００６６】
楕円がクラスタであるとして示される一方、他の形状を用いることが可能である。
【００６７】
ここで図を参照しながら詳述した種々の実施形態は本発明の原理について単に示したものであり、本発明の主旨および範囲から逸脱することなく、種々の変更を実施することが可能であることを理解される必要がある。さらに、請求の範囲における“これにより”の箇所は、単に説明目的であって、それに限定することを意図したものではない。
【図面の簡単な説明】
【００６８】
【図１】本発明の好適な実施形態に従った、例示としてのコンピュータビジョンシステムの動作を示す図である。
【図２】本発明のクラスタ検出技術を示す、例示としての一連の画像を表す図である。
【図３】本発明の好適な実施形態に従った、初期クラスタ検出のための例示としての方法を示すフロー図である。
【図４】本発明の好適な実施形態に従った、一般的クラスタ追跡のための例示としての方法を示すフロー図である。
【図５】本発明の好適な実施形態に従った、例えば、ルームを視野とする頭上カメラにおいて用いられる特定のクラスタ追跡のための例示としての方法を示すフロー図である。
【図１】
2005509983.tif 000006
【図２】
2005509983.tif 000007
【図３】
2005509983.tif 000008
【図４】
2005509983.tif 000009
【図５】
2005509983.tif 000010
【国際調査報告】
2005509983.tif 000011
2005509983.tif 000012
2005509983.tif 000013