(57)【要約】【課題】階層的外観モデルを用いた物体を識別する監視方法及び監視装置を提供する。【解決手段】物体の識別は、物体の画像に含まれる特徴量から構築した、複数の階層を備え且つ各階層がそれぞれの階層に対応した精細度の１つまたは複数の特徴量を含むノードからなる階層的外観モデルを使用し、取得した物体の画像に含まれる特徴量を、対応する精細度の階層に含ませて階層的外観モデルを構築する構築ステップと、当該構築した階層的外観モデルから、不審物体を識別するための、当該ノードが属する階層に対応した精細度の特徴量を抽出する抽出ステップと、当該抽出した特徴量と、当該物体特徴量プール内に保存されている複数の物体の階層的外観モデルの特徴量とを比較する比較ステップと、当該比較した階層的外観モデルの特徴量から、不審物体を識別する識別ステップとを備える。【選択図】図２
2010134927.tif 000002
【特許請求の範囲】
【請求項１】
不審物体と物体特徴量を蓄積した特徴量プール内の物体とを取得した画像を用いて比較して当該不審物体を識別する監視方法であって、
物体識別は、物体の画像に含まれる特徴量から構築した、複数の階層を備え且つ各階層がそれぞれの階層に対応した精細度の１つまたは複数の特徴量を含むノードからなる階層的外観モデルを使用し、
取得した物体の画像に含まれる特徴量を、対応する精細度の階層のノードに含ませて階層的外観モデルを構築する構築ステップと、
当該構築した階層的外観モデルから、不審物体を識別するための、当該ノードが属する階層に対応した精細度の特徴量を抽出する抽出ステップと、
当該抽出した特徴量を用いて、当該不審物体と、当該物体特徴量プール内に保存されている複数の物体とを比較する比較ステップと、
当該特徴量同士の比較により、不審物体を識別する識別ステップとを備えたことを特徴とする監視方法。
【請求項２】
前記階層的外観モデルは、上層である第１階層から下層である第ｎ（但し、ｎ≧２）階層までの複数の階層を備え、
第（ｎ−１）階層から第ｎ階層へ向かって前記ノードが分岐した状態で含まれ、
第（ｎ−１）階層よりも第ｎ階層の方が、より高い精細度の特徴量を含むノードの属する階層である請求項１に記載の監視方法。
【請求項３】
前記ノードは、前記物体の外観に関する特徴量を含む請求項１または請求項２に記載の監視方法。
【請求項４】
前記特徴量は、取得した物体の画像の色調と明度とをパラメータとして含む請求項３に記載の監視方法。
【請求項５】
前記構築ステップは、不審物体の識別をするために取得した物体の画像から得られる当該物体の特徴量を、当該特徴量の精細度に対応した精細度の階層に属するノードに含ませ、
階層的外観モデルが構築されるまで同一物体の画像を追加して取得して、当該特徴量を得る請求項１〜請求項４のいずれかに記載の監視方法。
【請求項６】
前記抽出ステップは、不審物体の識別をするために取得した物体の画像から構築される前記階層的外観モデルから、当該階層的外観モデルに含まれる各ノードに対応した精細度の特徴量を抽出する請求項１〜請求項４のいずれかに記載の監視方法。
【請求項７】
前記抽出ステップは、前記抽出された特徴量を、当該特徴量と対応した精細度の前記ノードに保存するステップを更に含む請求項６に記載の監視方法。
【請求項８】
前記比較ステップは、前記不審物体の階層的外観モデルと前記特徴量プール内の物体の階層的外観モデルとの、それぞれ対応する精細度の階層に属するノードに含まれる特徴量同士について比較を行い、
当該比較に際し、当該階層的外観モデルが備える上層である第１階層から下層である第ｎ（但し、ｎ≧２）階層へ向かい各階層毎に順次比較を行う請求項１〜請求項４のいずれかに記載の監視方法。
【請求項９】
前記比較ステップは、前記特徴量が統計モデルで表されたものであり、
前記不審物体の階層的外観モデルと当該特徴量プール内の物体の階層的外観モデルとの、それぞれ対応する精細度の階層に属するノードに含まれる統計モデル同士について比較をする請求項８に記載の監視方法。
【請求項１０】
前記統計モデル同士について比較をする際、当該統計モデルによる一致確率について計算して得られた結果を基に比較をする請求項９に記載の監視方法。
【請求項１１】
前記統計モデル同士について比較をする際、当該統計モデル同士の一致確率を得るための計算を複数回繰り返し、この計算で得られた結果を統合した一致確率の統合により比較をする請求項１０に記載の監視方法。
【請求項１２】
前記一致確率の統合は、前記対応する階層同士の一致確率を合計して求める請求項１１に記載の監視方法。
【請求項１３】
前記一致確率の統合は、前記対応する階層同士の一致確率の加重和を計算して求める請求項１１に記載の階層外観モデル作成方法。
【請求項１４】
前記比較ステップは、前記統計モデルが混合正規分布モデルである請求項９〜請求項１３のいずれかに記載の監視方法。
【請求項１５】
前記識別ステップは、前記階層的外観モデルの特徴量が、物体の外観を含んだ画像の各画素をパラメータについて数値化したものからヒストグラムを作成し、
当該ヒストグラムが、複数のバーを含み、当該バーのそれぞれの大きさが当該特徴量の一部を構成するものであり、
当該ヒストグラムを統合して作成される混合正規分布モデルを用いて物体の識別を行う請求項１〜請求項４のいずれかに記載の監視方法。
【請求項１６】
前記特徴量に基づき作成されるヒストグラムは、当該ヒストグラムのバーの大きさについて平均値を求め、当該平均値に基づいた比率によって各バーの幅と高さとが定められる請求項１５に記載の監視方法。
【請求項１７】
前記識別ステップは、前記不審物体の階層的外観モデルと前記特徴量プール内の物体の１つの階層的外観モデルとの、それぞれ対応する階層に含まれる前記混合正規分布モデル同士を比較し、その一致確率により当該不審物体が当該特徴量プール内に含まれる物体と同一の物体かどうかを識別する請求項１５に記載の監視方法。
【請求項１８】
前記識別ステップは、作成された前記混合正規分布モデルを対応する精細度の階層に属するノードに保存するステップを更に含む請求項１５に記載の監視方法。
【請求項１９】
請求項１〜請求項１８のいずれかに記載の監視方法で用いる監視装置であって、
当該監視装置は、物体の画像を取得するための少なくとも１つのカメラと、当該画像から当該物体の階層的外観モデルを作成するためのコンピュータとから構成され、
当該コンピュータは、当該カメラから取得した物体の画像に含まれる特徴量から階層的外観モデルを構築し、
当該構築した階層的外観モデルから、当該階層的外観モデルに含まれる各ノードに対応した精細度の特徴量を抽出し、
当該抽出した特徴量を、当該物体の外観を含んだ画像の各画素を特定のパラメータについて数値化させて作成したヒストグラムで表し、
不審物体の階層的外観モデルと特徴量プール内の物体の階層的外観モデルとを、当該ヒストグラムを統合して作成される混合正規分布モデルを用いて比較し、
当該不審物体の識別をすることを特徴とする監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体を識別する監視方法及び監視装置に関し、その手段として階層的外観モデルを用いるものである。
【背景技術】
【０００２】
企業または政府は、監視システムを用いて管轄領域内の活動を監視し、セキュリティを強化している。監視システムの１つの課題は、不審な物体を検出することと、物体の特徴量プールからその物体を正しく識別することである。例えば、屋内駐車場では、監視システムが、特定の瞬間に離れる不審な対象を検出して、複数の既知の人物から特定の人物を識別する。
【０００３】
知的監視システムは、コンピュータ技術に依存して物体を検出し識別する。知的監視システムは、通常、物体の画像を取得するためのビデオカメラなどの画像取得手段（ｖｉｄｅｏ  ａｃｑｉｓｉｔｉｏｎ  ｍｅａｎｓ）と、画像を処理して物体の特徴量と一致させるコンピュータシステムとを含む。物体のデータベースである特徴量プールを作るために、画像取得手段は、全ての目標物件の画像を捕らえ、画像をコンピュータシステムに提供することができる。コンピュータは画像を処理し、特定のフォーマットで画像を特徴量プールに保存する。画像取得手段が不審な物体の画像を取得した時、コンピュータシステムは、画像を処理し、それを特徴量プール内の物体の画像と一致させるように試みる。
【０００４】
異なる瞬間または異なる環境での同一物体の画像は、物体の姿勢や照明の変化のような環境要因により実質的に異なることもありうる。よって、画像の各詳細を比較することによって２つの異なる瞬間または２つの異なる環境から同一物体である２つの画像を一致させようとすることは、コンピュータにとって非常に大きな負担であるばかりでなく、得られる結果は通常信頼できないものとなる。よって、通常、監視システムにおけるコンピュータは、統計モデルを用いて、画像から取得する情報を減少または抽象化する。例えば、ヒストグラムは、可変的なパラメータの範囲でデータの分布を図示するのに用いられることが可能である。更に、具体的に言えば、パラメータの範囲は、より小さな範囲にしたり、またはサブ範囲に分割することができる。そして、ヒストグラムは、複数のバーを含むことができ、各バーは対応するサブ範囲のサイズに相等しい幅と、対応するサブ範囲内のデータ部分に対応する高さを有する。例えば、カラー画像は、赤、黄、そして緑チャネルの複数のカラーチャネルで示すことができ、それぞれ画像の特定の色成分を含む。カラー画像のヒストグラムは、特定のカラーチャネルのサブ範囲に対応するバーの幅と、それぞれのサブ範囲内の色を有する画素の数に対応するバーの高さとで、特定のカラーチャネルの画素の分布を表すことができる。次に、識別は、２つの物体のヒストグラムを比較することを要する。２つの物体のヒストグラムが一致した場合、２つの物体は互いに一致するものと見なすことができる。
【０００５】
コンピュータが物体の特徴量プールにおいて、より多くの情報を持つほど、識別のプロセスは、より正確なものとなる。監視システムは、連続的に複数の画像を撮るビデオカメラによって、及び／または、同時に複数の画像を捕らえる複数のカメラによって、特徴量プール内に各物体の複数の画像を提供することができる。よって、コンピュータは、その複数の画像を用いて各物体に対して複数のヒストグラムを作ることができる。不審な物体を識別するために、コンピュータは、特徴量プール内の物体の全てのヒストグラムに対して、不審な物体のヒストグラムを比較することができ、それによって正確性を向上させる。また、コンピュータは物体の複数の画像を統合して外観モデルを作り、物体を表す。不審な物体を識別するため、コンピュータは、不審な物体の画像が特徴量プール内の物体の外観モデルに適合するかどうかを判断する。
【０００６】
研究者は、異なる目的に対して異なる外観モデルを提案している。
【０００７】
例えば、非特許文献１には、物体の複数のヒストグラムを統合し、主成分分析を用いてヒストグラムの次元を減少する適応モデルを提案している。よって、全てのヒストグラムからの情報が統合される。
【０００８】
非特許文献２には、各画素について統計を用いた外観モデルを作ることを提案している。
【０００９】
非特許文献３には、環境が変化した時、不変な特徴を持つ特徴点（ｒｅｐｒｅｓｅｎｔａｔｉｖｅ  ｉｎｔｅｒｅｓｔ  ｄａｔａ  ｐｏｉｎｔｓ）を取り出すスケール不変特徴変換（ＳＩＦＴ）と言われる方法が記載されている。
【先行技術文献】
【特許文献】
【００１０】
【非特許文献１】“Ｇｌｏｂａｌ  Ｃｏｌｏｒ  Ｍｏｄｅｌ  Ｂａｓｅｄ  Ｏｂｊｅｃｔ  Ｍａｔｃｈｉｎｇ  ｉｎ  ｔｈｅ  Ｍｕｌｔｉ−Ｃａｍｅｒａ  Ｅｎｖｉｒｏｎｍｅｎｔ，”Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ２００６  ＩＥＥＥ／ＲＳＪ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｉｎｔｅｌｌｉｇｅｎｔ  Ｒｏｂｏｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ，  Ｏｃｔｏｂｅｒ  ９−１５，  ２００６，  ｐｐ．  ２６４４−４９，  Ｍｏｒｉｏｋａ
【非特許文献２】“Ａｐｐｅａｒａｎｃｅ  ｍｏｄｅｌｓ  ｆｏｒ  ｏｃｃｌｕｓｉｏｎ  ｈａｎｄｌｉｎｇ，”  Ｉｍａｇｅ  ａｎｄ  Ｖｉｓｉｏｎ  Ｃｏｍｐｕｔｉｎｇ，  ２４（１１），  １２３３−４３  （２００６），  Ｓｅｎｉｏｒ
【非特許文献３】“Ｄｉｓｔｉｎｃｔｉｖｅ  Ｉｍａｇｅ  Ｆｅａｔｕｒｅｓ  ｆｒｏｍ  Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｋｅｙｐｏｉｎｔｓ，”  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，  ６０（２），  ９１−１１０，  ２００４，  Ｌｏｗｅ
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかし、非特許文献１の方法では、画像内で物体への視界が遮られた時、困難を来たすことがある。
【００１２】
また、非特許文献２の方法では、物体が姿勢を変えた時、２つの画像を関連付けるのに役に立たない場合がある。
【００１３】
また、非特許文献３の方法では、ＳＩＦＴ法により必要とされる計算量は、画像量が大きくなるにつれ非実用的となる可能性がある。
【００１４】
上述した以外に、物体を複数の部分に分割し、各部分に対して外観モデルを作ることが提案されているが、複数の画像全体でそれぞれの部分を識別することは、コンピュータにとって困難である。
【００１５】
よって、本発明は、画像内で物体への視界が遮られたり、物体が姿勢を変えたり、画像量が大きくなったりした場合でも正確に物体識別が行うことができる監視方法及び監視装置の提供を目的とする。
【課題を解決するための手段】
【００１６】
本発明者等は、鋭意研究を行った結果、階層的外観モデルを用いた監視方法及び監視装置を採用することで、上述した課題を解決するに到った。以下、本件発明に関して説明する。
【００１７】
本発明の階層的外観モデルを用いた監視方法は、不審物体と物体特徴量を蓄積した特徴量プール内の物体とを取得した画像を用いて比較して当該不審物体を識別する監視方法であって、物体識別が、物体の画像に含まれる特徴量から構築した、複数の階層を備え且つ各階層がそれぞれの階層に対応した精細度の１つまたは複数の特徴量を含むノードからなる階層的外観モデルを使用し、取得した物体の画像に含まれる特徴量を、対応する精細度の階層のノードに含ませて階層的外観モデルを構築する構築ステップと、当該構築した階層的外観モデルから、不審物体を識別するための、当該ノードが属する階層に対応した精細度の特徴量を抽出する抽出ステップと、当該抽出した特徴量を用いて、当該不審物体と、当該物体特徴量プール内に保存されている複数の物体とを比較する比較ステップと、当該特徴量同士の比較により、不審物体を識別する識別ステップとを備えたことを特徴としている。
【００１８】
本発明の階層的外観モデルを用いた監視方法は、前記階層的外観モデルが、上層である第１階層から下層である第ｎ（但し、ｎ≧２）階層までの複数の階層を備え、第（ｎ−１）階層から第ｎ階層へ向かって前記ノードが分岐した状態で含まれ、第（ｎ−１）階層よりも第ｎ階層の方が、より高い精細度の特徴量を含むノードの属する階層であることが好ましい。
【００１９】
本発明の階層的外観モデルを用いた監視方法は、前記ノードが、前記物体の外観に関する特徴量を含むことが好ましい。
【００２０】
本発明の階層的外観モデルを用いた監視方法は、前記特徴量が、取得した物体の画像の色調と明度とをパラメータとして含むことが好ましい。
【００２１】
本発明の階層的外観モデルを用いた監視方法は、前記構築ステップが、不審物体の識別をするために取得した物体の画像から得られる当該物体の特徴量を、当該特徴量の精細度に対応した精細度の階層に属するノードに含ませ、階層的外観モデルが構築されるまで同一物体の画像を追加して取得して、当該特徴量を得ることが好ましい。
【００２２】
本発明の階層的外観モデルを用いた監視方法は、前記抽出ステップが、不審物体の識別をするために取得した物体の画像から構築される前記階層的外観モデルから、当該階層的外観モデルに含まれる各ノードに対応した精細度の特徴量を抽出することが好ましい。
【００２３】
本発明の階層的外観モデルを用いた監視方法は、前記抽出ステップが、前記抽出された特徴量を、当該特徴量と対応した精細度の前記ノードに保存するステップを更に含むことが好ましい。
【００２４】
本発明の階層的外観モデルを用いた監視方法は、前記比較ステップが、前記不審物体の階層的外観モデルと前記特徴量プール内の物体の階層的外観モデルとの、それぞれ対応する精細度の階層に属するノードに含まれる特徴量同士について比較を行い、当該比較に際し、当該階層的外観モデルが備える上層である第１階層から下層である第ｎ（但し、ｎ≧２）階層へ向かい各階層毎に順次比較を行うことが好ましい。
【００２５】
本発明の階層的外観モデルを用いた監視方法は、前記比較ステップが、前記特徴量が統計モデルで表されたものであり、前記不審物体の階層的外観モデルと当該特徴量プール内の物体の階層的外観モデルとの、それぞれ対応する精細度の階層に属するノードに含まれる統計モデル同士について比較をすることが好ましい。
【００２６】
本発明の階層的外観モデルを用いた監視方法は、前記統計モデル同士について比較をする際、当該統計モデルによる一致確率について計算して得られた結果を基に比較をすることが好ましい。
【００２７】
本発明の階層的外観モデルを用いた監視方法は、前記統計モデル同士について比較をする際、当該統計モデル同士の一致確率を得るための計算を複数回繰り返し、この計算で得られた結果を統合した一致確率の統合により比較をすることが好ましい。
【００２８】
本発明の階層的外観モデルを用いた監視方法は、前記一致確率の統合が、前記対応する階層同士の一致確率を合計して求めることが好ましい。
【００２９】
本発明の階層的外観モデルを用いた監視方法は、前記一致確率の統合が、前記対応する階層同士の一致確率の加重和を計算して求めることが好ましい。
【００３０】
本発明の階層的外観モデルを用いた監視方法は、前記比較ステップが、前記統計モデルが混合正規分布モデルであることが好ましい。
【００３１】
本発明の階層的外観モデルを用いた監視方法は、前記識別ステップが、前記階層的外観モデルの特徴量が、物体の外観を含んだ画像の各画素をパラメータについて数値化したものからヒストグラムを作成し、当該ヒストグラムが、複数のバーを含み、当該バーのそれぞれの大きさが当該特徴量の一部を構成するものであり、当該ヒストグラムを統合して作成される混合正規分布モデルを用いて物体の識別を行うことが好ましい。
【００３２】
本発明の階層的外観モデルを用いた監視方法は、前記特徴量に基づき作成されるヒストグラムが、当該ヒストグラムのバーの大きさについて平均値を求め、当該平均値に基づいた比率によって各バーの幅と高さとが定められることが好ましい。
【００３３】
本発明の階層的外観モデルを用いた監視方法は、前記識別ステップが、前記不審物体の階層的外観モデルと前記特徴量プール内の物体の１つの階層的外観モデルとの、それぞれ対応する階層に含まれる前記混合正規分布モデル同士を比較し、その一致確率により当該不審物体が当該特徴量プール内に含まれる物体と同一の物体かどうかを識別することが好ましい。
【００３４】
本発明の階層的外観モデルを用いた監視方法は、前記識別ステップが、作成された前記混合正規分布モデルを対応する精細度の階層に属するノードに保存するステップを更に含むことが好ましい。
【００３５】
本発明の階層的外観モデルを用いた監視装置は、上記監視方法で用いる監視装置であって、当該監視装置が、物体の画像を取得するための少なくとも１つのカメラと、当該画像から当該物体の階層的外観モデルを作成するためのコンピュータとから構成され、当該コンピュータが、当該カメラから取得した物体の画像に含まれる特徴量から階層的外観モデルを構築し、当該構築した階層的外観モデルから、当該階層的外観モデルに含まれる各ノードに対応した精細度の特徴量を抽出し、当該抽出した特徴量を、当該物体の外観を含んだ画像の各画素を特定のパラメータについて数値化させて作成したヒストグラムで表し、不審物体の階層的外観モデルと特徴量プール内の物体の階層的外観モデルとを、当該ヒストグラムを統合して作成される混合正規分布モデルを用いて比較し、当該不審物体の識別をすることを特徴としている。
【発明の効果】
【００３６】
本発明の監視方法及び監視装置によれば、画像内で物体への視界が遮られたり、物体が姿勢を変えたり、画像量が大きくなったりした場合でも正確に物体識別が行うことができる。
【図面の簡単な説明】
【００３７】
【図１】本発明の実施例と合致した階層的外観モデルを示した図である。
【図２】本発明の実施例と合致した階層的外観モデルを作成する流れ図である。
【図３】本発明の実施例と合致して物体識別に対して階層的外観モデルを用いた監視方法を示す流れ図である。
【図４】本発明の実施例と合致して物体識別に対して階層的外観モデルを用いた監視方法を示す流れ図である。
【図５】本発明の実施例と合致して物体識別に対して階層的外観モデルを用いた監視方法を示す流れ図である。
【図６】本発明の実施例と合致して物体識別に対して階層的外観モデルを用いた監視方法を示す流れ図である。
【図７】物体の画像で環境と物体の姿勢の変化に与える影響を示した図である。
【図８】本発明の実施例と合致した物体の画像から作成したヒストグラムを示した図である。
【図９】本発明の実施例と合致した物体の画像から作成したヒストグラムを示した図である。
【図１０】本発明の実施例と合致したヒストグラムを作成する監視方法を示した図である。
【図１１】図１０で示された実施例から作られた本発明の実施例と合致した階層的外観モデルを示した図である。
【図１２】背景光が変わった時の本発明の実施例と合致した階層的外観モデルのパフォーマンスを示した図である。
【図１３】カメラと物体間の距離の変化による拡大縮小の変化を有する本発明の実施例と合致した階層的外観モデルのパフォーマンスを例示した図である。
【図１４】カメラの視角または観測される物体の方向が変化した時の本発明の実施例と合致した階層的外観モデルのパフォーマンスを示した図である。
【図１５】物体の姿勢が変化した時の本発明の実施例と合致した階層的外観モデルのパフォーマンスを示した図である。
【図１６】異なる物体を識別する本発明の実施例と合致した階層的外観モデルのパフォーマンスを示した図である。
【図１７】本発明の実施例と合致した同型の階層的外観モデルのパフォーマンスを示した図である。
【図１８】本発明の実施例と合致した監視装置を示した図である。
【発明を実施するための形態】
【００３８】
本発明についての目的、特徴、長所が一層明確に理解されるよう、以下に実施形態を例示し、図面を参照しながら、詳細に説明する。
【実施例】
【００３９】
本発明の実施例に合致して、物体の階層的外観モデルを用いた監視方法と監視装置とが提供され、物体の識別をする。本発明の実施例に合致した階層的外観モデルは、多層構造を有して物体を表す。各階層は、他の階層と異なる精細度で物体の情報である特徴量を含む。本発明の実施例に合致した監視方法は、物体を識別するためにｃｏａｒｓｅ−ｔｏ−ｆｉｎｅ手法を提供する。本発明の実施例に合致した監視装置は、１つまたは複数の画像センサを用いることで物体の画像を捕らえることができ、物体の階層的外観モデルを作成し、保存し、そして、比較するコンピュータを含む。
【００４０】
図１は、物体を表す本発明の実施例と合致した階層的外観モデルの簡易図を示している。階層的外観モデルは、複数の階層を含む。各階層は、表示物体の特徴量を含む１つまたは複数のノードを含む。各階層のノードは、他の階層のノードと異なる精細度を有する表示物体の特徴量を含む。言い換えれば、階層的外観モデルでは、各階層は、それぞれ他の階層と異なる解像度を有する。精細度が高ければ高いだけ、解像度も高い。図１を参照すると、階層的外観モデルの最上層は、“ｌａｙｅｒ  １”と表示され、１つのノードを含む。ｌａｙｅｒ  １のノードに含む特徴量は、最も一般のレベルで表示物体を記述し、階層的識別モデルの他の階層より低い精細度を有する。ｌａｙｅｒ  １のすぐ下は、“ｌａｙｅｒ  ２”と表示され、ｌａｙｅｒ  １のノードより高い精細度で表示物体の特徴量をノードに含む。ｌａｙｅｒ  ２のすぐ下は、“ｌａｙｅｒ  ３”と表示され、ｌａｙｅｒ  ２のノードより更に高い精細度で表示物体の特徴量をノードに含む。よって、本発明の実施例と合致した階層的外観モデルのより深い階層は、浅い階層より高い解像度または高い精細度を有する。
【００４１】
図１は、階層的外観モデルの各ノードは２つの子ノードに分岐するのを示しているが、本発明はこれを限定するものではない。本発明の実施例と合致した階層的外観モデルのノードは、複数の子ノードを有することができる。
【００４２】
図２と図３は、本発明の実施例と合致した階層的外観モデルを作成し、それを用いた監視方法を示す流れ図である。図２は、本発明の実施例と合致した階層的外観モデルを用いて物体のデータベースを作る監視方法を図示している。図３は、当該物体のデータベースで不審な物体を識別する監視方法を示している。
【００４３】
図２を参照すると、本発明の実施例と合致した監視装置は、まず、不審物体の識別をするための、物体特徴量のプールを定義する（２０２）。監視装置は、特徴量プール内の物体を選択し（２０４）、選択した物体から本発明の実施例と合致した階層的外観モデルを作る（２０６）。監視装置は、特徴量プール内の全ての物体の階層的外観モデルが作られるまで（２０８）、特徴量プール内の物体を選択して（２０４）、選択した物体の階層的外観モデルを作るステップを繰り返す（２０６）。最後に、特徴量プール内の物体全ての階層的外観モデルが保存されてデータベースが作られる（２１０）。
【００４４】
図３より、監視装置が不審な物体を検出した時（２５２）、監視装置は、当該不審な物体に対して、本発明の実施例と合致した階層的外観モデルを作る（２５４）。続いて、監視装置は、データベースの特徴量プールから物体を選択し（２５６）、当該不審な物体の階層的外観モデルを当該選択した物体の階層的外観モデルと比較する（２５８）。２つの階層的外観モデルが互いに一致した場合（２６０−Ｙｅｓ）、監視装置は、不審な物体が選択された物体であると識別する（２６２）。２つの階層的外観モデルが一致しない場合（２６０−Ｎｏ）、監視装置は更に別の物体を選択し（２５６）、特徴量プール内の全ての物体が比較されるまで（２６４）比較のステップを繰り返す（２５８）。監視装置が特徴量プール内の全ての物体を比較し、一致するものが見つけられなかった場合、監視装置は、不審な物体が当該特徴量プール内にないものとみなす（２６６）。
【００４５】
参照する特徴量プールは、その時々の状況によって異なる。物体は、人物、または車などの移動物体とすることができる。例えば、不審な物体が日中の特定の時間に店から出てきた人物の場合、物体特徴量のプールは、同じ日の特定時間前に店に入った全ての人を含むものから参照することができる。別の実施例では、不審な物体が車庫から出てきた車の場合、物体特徴量のプールは、不審な車が車庫を離れた時点の前に車庫に入った全ての車を含むことができる。
【００４６】
本発明の実施例に合致した階層的外観モデルは、既定数の階層を有する。複数の階層は、アプリケーションの特定のニーズまたは模擬結果に基づいて決めることができる。模擬で４階層の階層的外観モデルが物体識別で十分な正確性を表した場合、本発明の実施例と合致した階層的識別モデルは、４階層だけ含めば足りる。
【００４７】
本発明の実施例に合致した階層的外観モデルは、環境または物体の姿勢が変化した時、比較的不変な物体の特徴量を含む。例えば、店に入る人物の色分布は、その人物が店に入る瞬間からその人物が店を離れる瞬間までに変わる可能性はない。この状況では、本発明の実施例に合致した階層的外観モデルは、特徴量として移動物体の色分布の情報を含むことができる。しかし、異なる設定では、色分布以外の例えばサイズ、速度などのパラメータを本発明の実施例に合致して階層的外観モデルのニーズに適合させることができる。
【００４８】
図３のステップ２５８では、本発明の実施例に合致して、ｃｏａｒｓｅ−ｔｏ−ｆｉｎｅ手法が不審な物体とデータベースの候補物体の階層的外観モデルとを比較するのに用いることができる。図４より、具体的には、監視装置が、まず不審な物体の階層的外観モデルの上階層のノードを候補物体の階層的外観モデルの上階層のノードと比較する（２５８−１）。階層的外観モデルの上階層ノードの比較が良い結果となった場合、即ち一致した場合（２６０−１−Ｙｅｓ）、監視装置は、２つの階層的外観モデルの第２階層のノードの比較に進む（２５８−２）。ある階層の比較後、他の階層が比較される必要がある場合（２６０−２−Ｙｅｓ）、監視装置は、階層的外観モデルの次の階層の比較に進む（２５８−２）。
【００４９】
本発明の実施例に合致したｃｏａｒｓｅ−ｔｏ−ｆｉｎｅ手法は、階層的外観モデルの全ての階層の比較を必要としない。むしろ、個々の適用要求に応じて、比較は特定数の階層の後に終了させることができる。模擬は比較される階層の数を決めることも支援する。例えば、模擬が階層的外観モデルの３つの階層の比較が十分な正確さを有すると示した場合、監視装置は、比較するために３つの階層のみあればよい。
【００５０】
環境または物体の姿勢が画像間で変化することがあるため、同じ物体の画像の比較は、階層的外観モデルの各階層で完全な一致とならない可能性がある。本発明の実施例に合致して、図５に示されるように統計的監視方法が２つの画像を比較する際に用いられ、環境と物体の姿勢との可能な変化を考慮に入れる。より具体的に言えば、図５より、監視装置は、不審な物体と候補物体の階層的外観モデルの複数階層を比較する（２５８−１〜２５８−３）。各階層で監視装置は一致確率を計算する（２５８−１）。続いて、複数階層で一致確率が統計的に統合され（２５８−４）、これに基づき監視装置が当該統合結果に基づいて不審な物体が候補物体に一致するかどうかを識別する（２６０）。例えば平均値、加重和（重み付け合計）、または重み付けしない合計（ｕｎｗｅｉｇｈｔｅｄ  ｓｕｍ）などの各種の統計ツールは、階層的外観モデルの複数階層を統合して比較をするのに用いることができる。
【００５１】
本発明の実施例と合致した物体識別のもう１つの監視方法が図６に示されている。本発明の実施例と合致した監視装置は、その階層的外観モデルに基づいて不審な物体を特徴量プール内の全ての物体と比較し（２５６、２５８−１〜２５８−４、そして２６４）、階層的外観モデルの複数階層で計算された一致確率を統合することで特徴量プール内の全ての物体に対して統合された一致確率を作り（２５８−４）、最も高い一致確率を有する特徴量プール内の物体を不審な物体として識別する（２６２）。
【００５２】
１つの態様では、階層的外観モデルの複数階層で計算された一致確率は、候補物体の最終的な一致確率を提供するために用いられる（図５と図６の２５８−４）。別の態様では、異なる階層の一致確率は、用いられる前にまず加重される（図５と図６の２５８−４）。加重は、監視装置が精細度に焦点を当てるかどうかを制御する。精細度が重要な場合、更に重み付けをすることで階層的外観モデルの深い階層で計算された一致確率に割り当てられることができる。
【００５３】
特定の実施例を、本発明の具体的な実施を示して説明する。この特定例では、物体は人物である。人物が建物の中を動き回る。１つまたは複数のビデオカメラが建物の中に設置され、人物の活動を監視する。コンピュータはビデオカメラに接続され、ビデオカメラで捕らえられた画像を取得し、保存して処理する。何か不審な活動が発生した場合、ビデオカメラは不審な人物の画像を捕らえ、その画像をコンピュータに送り、識別させる。
【００５４】
ビデオカメラは建物の異なる場所に設置させることができ、その結果異なる視角で画像を捕らえることができる。ビデオカメラは、建物の同じ場所の画像も撮影することができるが、異なる角度、または異なる距離から撮影する。また、人物は画像間でその位置や姿勢を変える可能性がある。図７は、同一人物の５対の画像を示しており、このように可能な変化を表している。図７の一番上の一対３０２は、異なる距離で同一人物を撮影した２つの画像である。図７の左側の一対３０４は、異なる光線で撮影した２つの画像である。図７の左下角の一対３０６は、異なる視角で撮影した２つの画像である。他の２対の３０８と３１０は、人物が姿勢を変えた時に撮影されたものである。
【００５５】
本発明の実施例と合致した階層的外観モデルは、環境の変化に合わせ物体の識別をさせることができる。特に、当該階層的外観モデルは、例えば人物などの物体のパラメータに基づき、図７に示されるように、このような変化の環境下で大きく変化はしない。例えば、人物の外観の対応した色分布は、背景光、カメラの視角、人物からカメラの距離、または人物の姿勢の変化で大きく変わることはない。よって、本発明の実施例の模範的な実施の下記の詳細な説明は、色分布をパラメータとして用いて階層的外観モデルを作り出している。しかし、他のパラメータも必要に応じて、本発明の実施例と合致した階層的外観モデルを作るのに用いることができる。
【００５６】
階層的外観モデルを作る前に、コンピュータはまず、関心のある物体を識別して抽出する。即ち、この特定の例における人物は、人物を有する画像から人物を有さない画像をなくすことによって関心のある物体を識別して抽出する。このプロセスは、前景抽出と言われ、当技術分野で周知である。このとき、関心のある物体は、人物の全身像である必要はない。関心のある物体は、例えば人物の顔の一部とすることができる。以下、関心のある物体は、人物の全身像であるものと仮定する。
【００５７】
次に、コンピュータは、人物の色分布に基づいて階層的外観モデルを作る。当技術分野で周知のように画像の画素の色は、さまざまな方法を用いてデジタル表示されることができる。例えば、ＲＧＢ法は、赤、緑、そして青の色のパラメータのそれぞれに組成値を与える。ＨＳＶは、色相、彩度、そして明度に関する色を表している。また、画像の各画素は、明度（ｉｎｔｅｎｓｉｔｙ）も有する。画像が黒と白の場合、明度のみが画素の色を表すのに必要となる。どの方法が色を表すのに用いられるかに関わらず、１つまたは複数のパラメータが物体を表すのに用いられることができる。
【００５８】
まず、コンピュータは、画像の色を表すそれぞれのパラメータに対して１セットのヒストグラムを作る。よって、１セットのヒストグラムのみが黒と白の画像に対して作られる。画像がカラー画像の場合、１セット以上のヒストグラムが作られる。
【００５９】
本発明の実施例と合致して、各セットのヒストグラムは、異なる精細のレベルを有する複数のヒストグラムを含む。特に、図８に示されるように、異なる幅を有するバーをヒストグラムを作る際に定義することができる。画素の明度を例として考えてみる。明度の全範囲が２つのサブ範囲に分割され、２つのサブ範囲に対応した２つのバーを含む第１ヒストグラム１−１を作ることができる。第２ヒストグラム２−１は、ヒストグラム１−１の１つのバーを２つのバーに更に分割することで作ることができる。第３ヒストグラム２−２は、ヒストグラム１−１のもう１つのバーを２つのバーに更に分割することで作ることができる。同様に、図８のヒストグラム３−１、３−２、３−３、３−４などの他のヒストグラムは、ヒストグラム２−１、２−２のバーを更に分割することで作ることができ、バーが小さくなるにつれ、ヒストグラムに含まれる画像の精細レベルが向上する。
【００６０】
本発明の実施例と合致して、階層的外観モデルは、ヒストグラムが階層的外観モデルのノードを構成するように作られる。図８に例示したように、本発明の実施例と合致した階層的外観モデルは、最上階層のノードとしてのヒストグラム１−１、第２階層のノードとしてのヒストグラム２−１と２−２、第３階層のノードとしてのヒストグラム３−１、３−２、３−３、そして３−４などを有することができる。よって、階層的外観モデルは、図８のセットのヒストグラムのように同じツリー構造を有する。
【００６１】
図８では、各ヒストグラムは、次の階層で２つのヒストグラムに分岐して示されているが、このとき、バーの分割は、より細かくすることができ、各ヒストグラムを２つのヒストグラムより多く分割することができる。この場合、階層的外観モデルのノードは、２つ以上の子ノードを有することができる。
【００６２】
本発明の実施例と合致して、１セットのヒストグラムが画像を表す各パラメータに対して作られ、階層的外観モデルを各セットのヒストグラムから作ることができる。よって、複数の階層的外観モデルは、複数のパラメータによって表された１つの画像から作られることができる。また、複数のパラメータの全セットのヒストグラムは、１つの階層的外観モデルに統合されることができる。例えば、全セットのヒストグラムが図８で示したセットのように同じ構造を有する場合、統合されて階層的外観モデルを作ることができ、階層的外観モデルの各ノードは、それぞれ画像を表す１つのパラメータの複数のヒストグラムを含む。図９は、本発明の実施例と合致した階層的外観モデルを例示しており、各ノードが４つの異なるパラメータに対応した４つのヒストグラムを含んでいる。
【００６３】
本発明の実施例と合致して、物体の階層的外観モデルの各ノードは、対応する１つまたは複数のヒストグラムの特徴量を保存することができる。また、階層的外観モデルの各ノードは、その親ノードに既に保存されていない特徴量のみ保存することができる。例えば、図８に示すように、ヒストグラム２−１を含む階層的外観モデルのノードは、ヒストグラム１−１を含む親ノードで既に保存された点線で表されたバーの情報を保存する必要がなく、バーａ，ｂの情報のみ保存する必要がある。また、階層的外観モデルの各ノードは、他のバーを作る分割点と他のバーの幅を表す数値の保存のみ必要とする。例えば図８を再度参照すると、階層的外観モデルのノードは、バーａ，ｂを分割する点ｄと、バーａ，ｂの高さとの識別のみを必要とするヒストグラム２−２を含む。
【００６４】
一形態において、各ヒストグラムのバーは同じ幅を有する。別の形態において、図８と図９に示されるように、各ヒストグラムのバーは異なる幅を有する。図１０に示されるように、本発明の実施例に合致して、ヒストグラムのバーを作る範囲を適応に応じて分割する方法が提供される。
【００６５】
図１０では、画像は７×７＝４９画素を有し、例えば４９画素の明度の１つのパラメータは、１〜９の数値を有する。第１ヒストグラムでは、パラメータの全範囲は、明度の平均値によって２つのサブ範囲に分割される。即ち３．８である。よって、第１ヒストグラムは２つのバーを有し、１つのバー０は、３．８以下の明度を有する画素数を表し、もう１つのバー１は、３．８以上の明度を有する画素数を表す。図１０に示されるように、２つのバーはサイズ２４と２５をそれぞれ有する。
【００６６】
２つのサブ範囲に範囲を分割する平均値を用いたプロセスは、繰り返され、子ヒストグラムを作る。特に、３．８以下の明度を有する２４画素中の平均値は、２．１７である。よって、１〜３．８の明度の範囲は、２つのサブ範囲１〜２．１７と２．１７〜３．８に更に分割され、対応するヒストグラム（図示せず）は、２つのサブ範囲に対応する２つのバーに２４画素を示す。同様に、画素の平均値は、３．８〜５．７６以上の明度を有するため、対応する明度の範囲は、２つのサブ範囲３．８〜５．７６と５．７６〜９に更に分割される。その結果、第３ヒストグラム（図示せず）は、作られ、２つのサブ範囲に対応する２つのバーに３．８以上の明度を有する２５画素を示す。図１０は、１つのヒストグラムのみを示しているが、当業者はどのように他のヒストグラムを作るかについて理解をしている。
【００６７】
本発明の実施例と合致して、画像の明度の階層的外観モデルは、図１０を参考に上述の方法により作られたヒストグラムに基づいて作られる。図１１は、図１０の例に基づいて作られた階層的外観モデルを示している。階層的外観モデルの各ノードは、対応するヒストグラムで示された画素の平均値を保存する。最上階層のノードは、Ｍ１＝３．８の平均値を保存する。第２階層の２つのノードの１つは、Ｍ２−１＝２．１７の平均値を保存する。第２階層のもう１つのノードは、Ｍ２−２＝５．７６の平均値を保存する。
【００６８】
一形態において、階層的外観モデルの各ノードが画素比を保存する。即ち、対応するヒストグラムの画像数が全ての画素の総数に対応する。例えば、図１０の第１ヒストグラムは、全ての４９画素を表し、階層的外観モデルの対応したノードは、Ｗ１＝１の画素比を保存する。第２ヒストグラムは、３．８以下の明度を有する２４画素を表し、よって階層的外観モデルの対応したノードは、Ｗ２−１＝２４／４９＝０．４８９８の画素比を保存する。同様に、図１１の階層的外観モデルのノードは、第３ヒストグラムに対応し、Ｗ２−２＝０．５１０２の画素比を保存する。
【００６９】
同様に複数のパラメータが画像を表すのに用いられた場合、本発明の実施例と合致した階層的外観モデルの各ノードは、各パラメータの平均値と各パラメータの対応の画素比を含む。
【００７０】
本発明の実施例と合致して、階層的外観モデルの各ノードの平均値と画素比は、下記のように計算される。まず、平均値Ｍ１は、画像の全ての画素のパラメータの平均値であり、Ｗ１＝１である。Ｒ１は、画像の全ての画素のセットである。次に、階層的外観モデルのノードｉ＞１では、下記数１の式のようにセットＲｉを定義する。
【数１】
2010134927.tif 000003
【００７１】
上記数１の式において、［ａ］は、ａより小さい最大整数であり、「ｘ｜ｘ∈Ｒ［ｉ／２］，ｘ≧Ｍ［ｉ／２］」は、Ｒ［ｉ／２］に属する画素のセットを表すがＭ［ｉ／２］と同じまたはそれより大きいパラメータであり、「ｘ｜ｘ∈Ｒ［ｉ／２］，ｘ＜Ｍ［ｉ／２］」は、Ｒ［ｉ／２］に属する画素のセットを表すがＭ［ｉ／２］と同じまたはそれより小さいパラメータである。続いて、平均値Ｍｉと画素比Ｗｉは、下記数２の式のように計算される。
【数２】
2010134927.tif 000004
【００７２】
上記数２の式において、｜Ｒｉ｜は、セットＲｉに属する画素数である。階層的外観モデルは、ノード１、２、・・・、ノードｉが２つの子ノード２ｉと２ｉ＋１に分岐するように作ることができる。
【００７３】
本発明の実施例に合致した色分布に基づいた階層的外観モデルは、背景光、物体とカメラ間の距離、視角、そして物体の姿勢の変化に対応性がある。
【００７４】
例えば、図１２（ａ）〜図１２（ｅ）は、異なる背景光の同一人物の５つの画像を示している。具体的には、背景光の明度は、図１２（ａ）から図１２（ｂ）に２０％増加し、図１２（ａ）から図１２（ｃ）に８０％増加し、図１２（ａ）から図１２（ｄ）に２０％減少し、図１２（ａ）から図１２（ｅ）に４０％減少している。本発明の実施例に合致して、５つの階層的外観モデルが図１２（ａ）〜図１２（ｅ）に表される５つの画像から作られる。図１２（ｆ）と図１２（ｇ）は、本発明の実施例に合致した、図１２（ａ）〜図１２（ｅ）に示された５つの画像で作られた、階層的外観モデルの第２階層の２つのノードに保存された画素の明度に対する平均値と画素比をそれぞれ示している。図１２（ｈ）と図１２（ｉ）は、本発明の実施例に合致した、図１２（ａ）〜図１２（ｅ）に示された５つの画像で作られた、階層的外観モデルの第３階層の４つのノードに保存された画素の明度に対する平均値と画素比をそれぞれ示している。図１２（ｆ）〜図１２（ｉ）の標記“ａ”、“ｂ”、“ｃ”、“ｄ”、そして“ｅ”は、図１２（ａ）〜図１２（ｅ）の画像に基づいて計算された数値にそれぞれ対応する。図１２（ｆ）と図１２（ｇ）の標記“１”と“２”は、階層的外観モデルの第２階層の２つのノードにそれぞれ対応する。図１２（ｈ）と図１２（ｉ）の標記“１”、“２”、“３”、そして“４”は、階層的外観モデルの第３階層の４つのノードにそれぞれ対応する。
【００７５】
図１２（ｆ）と図１２（ｈ）に示されるように、背景光が図１２（ａ）〜図１２（ｅ）に示された画像間で変化するため、明度の平均値も変化する。しかし、図１２（ｇ）と図１２（ｉ）に示されるように、画素比は、平均値より低いか、または高い相対画素数を示し、背景光の変化に関わらず、比較的一定である。よって、明度に基づいた階層的外観モデルは、照明不変で、背景光が変化しても信頼できる識別の結果を作ることができる。
【００７６】
図１３（ａ）〜図１３（ｉ）は、例えば、カメラと物体間の距離の変化による拡大縮小の変化（ｓｃａｌｉｎｇ  ｃｈａｎｇｅ）を有する本発明の実施例に合致した階層的外観モデルのパフォーマンスを示している。具体的には、図１３（ａ）〜図１３（ｅ）は、異なる距離から撮った同一人物の５つの画像を示している。画像の人物のサイズは、図１３（ａ）から図１３（ｂ）に２０％減少し、図１３（ａ）から図１３（ｃ）に８０％減少し、図１３（ａ）から図１３（ｄ）に２０％増加し、図１３（ａ）から図１３（ｅ）に８０％増加している。本発明の実施例に合致して、５つの階層的外観モデルが図１３（ａ）〜図１３（ｅ）に示される５つの画像から作られる。図１３（ｆ）と図１３（ｇ）は、図１３（ａ）〜図１３（ｅ）に表された５つの画像で作られた、階層的外観モデルの第２層の２つのノードに保存された画素の明度に対する平均値と画素比をそれぞれ示している。図１３（ｈ）と図１３（ｉ）は、階層的外観モデルの第３層の４つのノードに保存された画素の明度に対する平均値と画素比をそれぞれ示している。図１３（ｆ）〜図１３（ｉ）の標記“ａ”、“ｂ”、“ｃ”、“ｄ”、そして“ｅ”は、図１３（ａ）〜図１３（ｅ）の画像に基づいて計算された数値にそれぞれ対応する。図１３（ｆ）と図１３（ｇ）の標記“１”と“２”は、階層的外観モデルの第２層の２つのノードにそれぞれ対応する。図１３（ｈ）と図１３（ｉ）の標記“１”、“２”、“３”、そして“４”は、階層的外観モデルの第３層の４つのノードにそれぞれ対応する。
【００７７】
図１３（ｆ）〜図１３（ｉ）に示されるように、各画像の人物のサイズが他の画像のサイズと異なっても、明度の平均値と画素比は、比較的一定を保つ。よって、画素の明度に基づいた階層的外観モデルは、照明不変で、画像の物体の大きさが変化しても信頼できる識別の結果を得ることができる。
【００７８】
図１４（ａ）〜図１４（ｇ）に示されるように、本発明の実施例と合致した階層的外観モデルは、視角変化または観測される物体の方向の変化にも対応性がある。具体的に言うと、図１４（ａ）〜図１４（ｃ）は、異なる角度で撮られた同一人物の３つの画像を示している。本発明の実施例と合致して、３つの階層的外観モデルは、図１４（ａ）〜図１４（ｃ）に示された３つの画像から作られる。図１４（ｄ）と図１４（ｅ）は、図１４（ａ）〜図１４（ｃ）に示された３つの画像で作られた、階層的外観モデルの第２階層の２つのノードに保存された画素の明度に対する平均値と画素比をそれぞれ示している。図１４（ｆ）と図１４（ｇ）は、図１４（ａ）〜図１４（ｃ）に示された３つの画像で作られた、階層的外観モデルの第３階層の４つのノードに保存された画素の明度に対する平均値と画素比をそれぞれ示している。図１４（ｄ）〜図１４（ｇ）の標記“ａ”、“ｂ”、そして“ｃ”、は、図１４（ａ）〜図１４（ｃ）の画像に基づいて計算された数値にそれぞれ対応する。図１４（ｄ）と図１４（ｅ）の標記“１”と“２”は、階層的外観モデルの第２階層の２つのノードにそれぞれ対応する。図１４（ｆ）と図１４（ｇ）の標記“１”、“２”、“３”、そして“４”は、階層的外観モデルの第３階層の４つのノードにそれぞれ対応する。
【００７９】
図１４（ｄ）〜図１４（ｇ）に示されるように、視角が変えられても、明度の平均値と画素比は、比較的一定の値を保つ。よって、本発明の実施例と合致した階層的外観モデルは、視角の変化に対応性がある。  
【００８０】
図１５（ａ）〜図１５（ｊ）は、本発明の実施例に合致した階層的外観モデルのパフォーマンスに対する姿勢の変化の影響を示している。具体的には、図１５（ａ）〜図１５（ｆ）は、異なる姿勢の同一人物の６つの画像を示している。本発明の実施例と合致して、６つの階層的外観モデルは、図１５（ａ）〜図１５（ｆ）に示された６つの画像から作られる。図１５（ｇ）と図１５（ｈ）は、図１５（ａ）〜図１５（ｆ）に示された６つの画像で作られた、階層的外観モデルの第２階層の２つのノードに保存された画素の明度に対する平均値と画素比をそれぞれ示している。図１５（ｉ）と図１５（ｊ）は、図１５（ａ）〜図１５（ｆ）に示された６つの画像で作られた、階層的外観モデルの第３階層の４つのノードに保存された画素の明度に対する平均値と画素比をそれぞれ示している。図１５（ｇ）〜図１５（ｊ）の標記“ａ”、“ｂ”、“ｃ”、“ｄ”、“ｅ”、そして“ｆ”は、図１５（ａ）〜図１５（ｆ）の画像に基づいて計算された数値にそれぞれ対応する。図１５（ｇ）と図１５（ｈ）の標記“１”と“２”は、階層的外観モデルの第２階層の２つのノードにそれぞれ対応する。図１５（ｉ）と図１５（ｊ）の標記“１”、“２”、“３”、そして“４”は、階層的外観モデルの第３階層の４つのノードにそれぞれ対応する。
【００８１】
図１５（ｇ）〜図１５（ｊ）に示されるように、物体の姿勢が変化しても明度の平均値と画素比は、比較的一定の値を保つ。よって、本発明の実施例と合致した階層的外観モデルは、物体の姿勢の変化に対応性がある。
【００８２】
図１６（ａ）〜図１６（ｈ）は、異なる物体の画像を識別する本発明の実施例と合致した階層的外観モデルのパフォーマンスを表している。具体的には、図１６（ａ）〜図１６（ｄ）は、４つの異なる人物の画像を示している。本発明の実施例と合致して、４つの階層的外観モデルが図１６（ａ）〜図１６（ｄ）に示された４つの画像から作られる。図１６（ｅ）と図１６（ｆ）は、図１６（ａ）〜図１６（ｄ）に示された４つの画像で作られた、階層的外観モデルの第２階層の２つのノードに保存された画素の明度に対する平均値と画素比をそれぞれ示している。図１６（ｇ）と図１６（ｈ）は、図１６（ａ）〜図１６（ｄ）に示された４つの画像で作られた、階層的外観モデルの第３階層の４つのノードに保存された画素の明度に対する平均値と画素比をそれぞれ示している。図１６（ｅ）〜図１６（ｈ）の標記“ａ”、“ｂ”、“ｃ”、そして“ｄ”は、図１６（ａ）〜図１６（ｄ）の画像に基づいて計算された数値にそれぞれ対応する。図１６（ｅ）と図１６（ｆ）の標記“１”と“２”は、階層的外観モデルの第２階層の２つのノードにそれぞれ対応する。図１６（ｇ）と図１６（ｈ）の標記“１”、“２”、“３”、そして“４”は、階層的外観モデルの第３階層の４つのノードにそれぞれ対応する。
【００８３】
図１６（ｅ）〜図１６（ｈ）に示されるように、異なる物体の画像は、階層的外観モデルの複数階層で実質的に異なる平均値と画素比となる。よって、本発明の実施例と合致した階層的外観モデルは、異なる物体を正確に識別することができる。
【００８４】
図１７に示されるように、本発明の実施例と合致して、物体の複数の画像を統合して、同型の階層的外観モデルを作り、物体の属性を効果的に推定する監視方法も提供する。物体の複数の画像が有効な時、画像の１つにそれぞれ基づいた複数の階層的外観モデルＡＭ１、ＡＭ２、…、ＡＭＮを作ることができる。これらの階層的外観モデルは、続いてノード結合または階層結合で統合することができ、新たな同型の階層的外観モデル（ｕｎｉｆｏｒｍ  ＨＡＭ）を作る。同型の階層的外観モデルの各ノードまたは各階層は、画像を表示するパラメータの統計モデルを含む。
【００８５】
図１７に示されるように、例えば、平均値と画素比が明度に基づいて計算された時、階層的外観モデルの各ノードは、２つの数値、対応する平均値と対応する画素比を含む。複数の階層的外観モデルの対応層のノードの平均値と画素比は、統計的に統合され、例えば、混合正規分布モデル（ＧＭＭ）の統計モデルを作る。混合正規分布モデルは、多次元モデルであり、物体の１つまたは複数のパラメータを表すことができる。よって、パラメータの分布をそれぞれ表す複数の階層的外観モデルの代わりに、本発明の実施例と合致した混合正規分布モデルを用いた同型の階層的外観モデルは、物体を多面的に表示することができる。同型の階層的外観モデルの各階層は、それぞれの階層がノードを表示する混合正規分布モデルを含む。この適用によって、同型の階層的外観モデルの層の各ノードは、混合正規分布モデルの１つまたは複数のパラメータを含むことができる。識別のプロセスでは、不審な物体の階層的外観モデルの階層のノードが分析され、候補物体の同型の階層的外観モデルの対応階層の混合正規分布モデルに適合するかどうかが判断される。
【００８６】
図３〜図６に示された識別の異なる手段は、本発明の実施例と合致して同型の階層的外観モデルを用いた監視方法を用いることもできる。具体的には、例えば、混合正規分布モデルの統計モデルが用いられた時、各階層（図３〜図６の２５８−３）のパラメータの一致確率は、混合正規分布モデルから直接計算することができる。
【００８７】
ここで、本発明は、同型の階層的外観モデルの階層に混合正規分布モデルを用いることを限定するものではない。いかなる統計モデルも複数の画像を統合して物体の属性を表すのに用いられることができる。
【００８８】
例えば、ＨＳＶと強度の複数のパラメータが画像を表示するのに用いられる時、本発明の実施例と合致した識別方法は、図６に示されるように、各パラメータを用いて特徴量プール内の各候補物体との一致確率を計算する。一形態において、同じ物体が全てのパラメータに一致する最も高い確率を有する場合、その物体は、不審な物体と一致するものとして識別される。しかし、特徴量プール内の異なる物体が異なるパラメータに一致する最も高い確率を有する場合、特徴量プール内に一致する不審な物体が存在しないものと判断することができる。本発明の実施例の別の形態に合致した、複数のパラメータに一致する最終的な確率は、更に統合されることで各候補物体の最終的な一致確率を得る。統合された最も高い最終的な確率を有する特徴量プール内の候補物体は、不審な物体と一致するものとして判断される。
【００８９】
不審な物体と候補物体間の一致する確率の測定例を上述して提供したが、当業者は本発明がこれら特定した方法に限定するものではないことを理解しなければならない。現在、存在する各種の統計ツールが、本発明の実施例と合致した階層的外観モデルを用いた監視方法に用いられ、不審な物体を識別することができる。
【００９０】
同型の階層的外観モデルを作る際、同じ物体の複数の画像を提供するために、本発明の実施例と合致した監視装置は、連続的に複数の画像を捕らえることができるカメラ、または同時に同じ物体の複数の画像を撮る複数のカメラ、または建物の異なる場所に設置され、物体が動き回った時の複数の画像を捕らえる複数のカメラ、またはこれらの組み合わせを採ることができる。例えば、図１８は、建物（番号付けされていない）に設置された本発明の実施例と合致した監視装置１４００を表している。監視装置１４００は、複数のカメラ１４０２−１、１４０２−２、１４０２−３、１４０２−４、そして１４０２−５を含み、１つまたは複数の物体の画像を捕らえることができる。監視装置１４００は、画像を取得して処理するカメラ１４０２−１、１４０２−２、１４０２−３、１４０２−４、そして１４０２−５に接続されたコンピュータ１４０４も含み、本発明の実施例と合致した階層的外観モデルを作り、比較する。
【００９１】
以上、本発明の好適な実施例を例示したが、これは本発明を限定するものではなく、本発明の精神及び範囲を逸脱しない限りにおいては、当業者であれば行い得る少々の変更や修飾を付加することが可能である。従って、本発明が請求する保護範囲は、特許請求の範囲を基準とする。
【産業上の利用可能性】
【００９２】
本発明に係る監視方法及び監視装置によれば、監視システムにより検出された不審な物体を正しく識別することができるため、空港や駅などにおける不審物体の監視の他にも例えば、不審物の持ち込み（放置）や自転車等の盗難を防ぐための監視にも好適に用いることができる。
【符号の説明】
【００９３】
１４００  監視装置
１４０２−１〜１４０２−２  カメラ
１４０４  コンピュータ
【図１】
2010134927.tif 000005
【図２】
2010134927.tif 000006
【図３】
2010134927.tif 000007
【図４】
2010134927.tif 000008
【図５】
2010134927.tif 000009
【図６】
2010134927.tif 000010
【図８】
2010134927.tif 000011
【図９】
2010134927.tif 000012
【図１１】
2010134927.tif 000013
【図７】
2010134927.tif 000014
【図１０】
2010134927.tif 000015
【図１２】
2010134927.tif 000016
【図１３】
2010134927.tif 000017
【図１４】
2010134927.tif 000018
【図１５】
2010134927.tif 000019
【図１６】
2010134927.tif 000020
【図１７】
2010134927.tif 000021
【図１８】
2010134927.tif 000022