(57)【要約】【課題】本発明の実施例は、異常状況の検出方法及び装置を提供する。【解決手段】本発明の実施例による異常状況の検出方法は、取得された画像に第一オブジェクトが存在するか否かを検出し、画像に第一オブジェクトが存在する場合、第一オブジェクトが物体を所持しているか否かを認識し、第一オブジェクトが物体を所持している場合、物体の運動情報を取得し、物体の運動情報に基づき、異常状況が存在するか否かを決定する。【選択図】図１
2016167267.tif 000002
【特許請求の範囲】
【請求項１】
取得された画像に第一オブジェクトが存在するか否かを検出するステップと、
前記画像に第一オブジェクトが存在する場合、前記第一オブジェクトが物体を所持しているか否かを認識するステップと、
前記第一オブジェクトが物体を所持している場合、前記物体の運動情報を取得するステップと、
前記物体の運動情報に基づき、異常状況が存在するか否かを決定するステップと、を含む、異常状況の検出方法。
【請求項２】
前記物体の運動情報は、物体の運動速度、運動方向及び/又は前記第一オブジェクトによる使用の使用方法を含む、請求項１に記載の異常状況の検出方法。
【請求項３】
前記物体の運動情報を取得するステップは、
前記物体の二次元運動情報を取得するステップと、
取得された画像の奥行き画像を生成するステップと、
前記奥行き画像を利用し、前記物体の二次元運動情報を三次元空間に投影して、前記物体の三次元運動情報を生成するステップと、を含み、
前記物体の運動情報に基づき、異常状況が存在するか否かを決定するステップは、
前記物体の三次元運動情報に基づき、異常状況が存在するか否かを決定するステップを含む、請求項１又は２に記載の異常状況の検出方法。
【請求項４】
前記第一オブジェクトが物体を所持している場合、前記第一オブジェクトの運動情報を取得するステップと、
前記第一オブジェクトの運動情報に基づき、異常状況が存在するか否かを決定するステップと、をさらに含む、請求項１に記載の異常状況の検出方法。
【請求項５】
前記第一オブジェクトの運動情報に基づき、取得された画像の中で前記第一オブジェクトが第二オブジェクトに向かって動いているか否かを決定するステップと、
前記第一オブジェクトが第二オブジェクトに向かって動いている場合、さらに前記第一オブジェクトと前記第二オブジェクトの間の距離に基づき、異常状況が存在するか否かを決定するステップと、をさらに含む、請求項４に記載の異常状況の検出方法。
【請求項６】
前記物体の運動情報を取得するステップ、及び前記第一オブジェクトの運動情報を取得するステップは、
取得された画像の奥行き画像を生成するステップと、
前記奥行き画像を用いて、前記第一オブジェクト及び前記物体を三次元空間に投影することで、前記第一オブジェクト及び前記物体の三次元空間における三次元運動情報を取得するステップと、
前記第一オブジェクト及び前記物体の三次元運動情報を鳥瞰図に投影することで、前記第一オブジェクト及び前記物体の鳥瞰運動情報を取得するステップと、を含み、
前記物体の運動情報に基づき、異常状況が存在するか否かを決定するステップは、
前記物体の鳥瞰運動情報に基づき、異常状況が存在するか否かを決定するステップを含み、
前記第一オブジェクトの運動情報に基づき、異常状況が存在するか否かを決定するステップは、
前記第一オブジェクトの鳥瞰運動情報に基づき、異常状況が存在するか否かを決定するステップを含む、請求項４又は５に記載の異常状況の検出方法。
【請求項７】
取得された画像に第一オブジェクトが存在するか否かを検出するオブジェクト検出手段と、
前記画像に第一オブジェクトが存在する場合、前記第一オブジェクトが物体を所持しているか否かを認識する物体認識手段と、
前記第一オブジェクトが物体を所持している場合、前記物体の運動情報を取得する物体情報取得手段と、
前記物体の運動情報に基づき、異常状況が存在するか否かを決定する異常状況決定手段と、を含む、異常状況の検出装置。
【請求項８】
前記物体情報取得手段は、
前記物体の二次元運動情報を取得する二次元情報取得モジュールと、
取得された画像の奥行き画像を生成する奥行き画像生成モジュールと、
前記奥行き画像を用いて、前記物体の運動情報を三次元空間に投影し、前記物体の三次元運動情報を生成する三次元情報取得モジュールと、を含み、
前記異常状況決定手段は、前記物体の三次元運動情報に基づき、異常状況が存在するか否かを決定する、請求項７に記載の異常状況の検出装置。
【請求項９】
前記第一オブジェクトが物体を所持している場合、前記第一オブジェクトの運動情報を取得するオブジェクト情報取得手段をさらに含み、
前記異常状況決定手段は、前記第一オブジェクトの運動情報に基づき、異常状況が存在するか否かを決定する、請求項７に記載の異常状況の検出装置。
【請求項１０】
前記第一オブジェクトの運動情報に基づき、取得された画像の中で前記第一オブジェクトが第二オブジェクトに向かって動いているか否かを決定する距離決定手段をさらに含み、
前記異常状況決定手段は、前記第一オブジェクトが第二オブジェクトに向かって動いている場合、さらに前記第一オブジェクトと前記第二オブジェクトの間の距離に基づき、異常状況が存在するか否かを決定する、請求項９に記載の異常状況の検出装置。
【請求項１１】
取得された画像に第一オブジェクトが存在するか否かを検出するステップと、
前記画像に第一オブジェクトが存在する場合、前記第一オブジェクトが物体を所持しているか否かを認識するステップと、
前記第一オブジェクトが物体を所持している場合、前記物体の運動情報を取得するステップと、
前記物体の運動情報に基づき、異常状況が存在するか否かを決定するステップと、をコンピュータに実行させるためのプログラム。
【請求項１２】
取得された画像に第一オブジェクトが存在するか否かを検出するステップと、
前記画像に第一オブジェクトが存在する場合、前記第一オブジェクトが物体を所持しているか否かを認識するステップと、
前記第一オブジェクトが物体を所持している場合、前記物体の運動情報を取得するステップと、
前記物体の運動情報に基づき、異常状況が存在するか否かを決定するステップと、をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異常状況の検出方法及び装置に関する。具体的には、本発明は検出されたオブジェクトが物体を所持しているか否かに基づき異常状況を検出する方法及び装置に関するものである。
【背景技術】
【０００２】
技術の発展及び人々の安全意識が高まるにつれ、より多くの公共の場所（例えば駅、空港、銀行、オフィスビルの公共エリアなど）に監視システムが設置されるようになった。これら公共の場所で存在する異常状況の発見と認識は、効果的な監視システムを確立するうえで極めて重要な役割を果たしている。この異常状況を認識する能力は、公共の場所に潜む安全面でのリスクを検出できるよう助け、且つ迅速に対応することで人と施設の損害を回避する可能性を提供できるようになった。
【０００３】
画像の認識を通して、監視システムのカメラが捕集した画像中の物体に現れる形状に基づいて物体の危険性を判断し、それにより異常状況を決定する方法が提案されている。ところがこれらは視角の変化、障害物などの要素の影響を容易に受けてしまい、この方法では危険性を区別する能力に乏しく、代表的な物体の画像を捕らえる事すら難しい場合が多々ある。
【０００４】
また、赤外線、X線断層撮影またはマイクロ波画像など、監視システムで通常使用されるカメラ以外のその他の検出装置を通して物体の危険性を決定し、それにより異常状況を決定する方法が提案されている。しかしながら、これらの検出装置を通して取得したデータは物体のある種の特徴情報を安定して示す事はできるが、これらの検出装置はコストが高いうえに常に人々の協力が必要であり、例えば物品を携帯する人に指定されたスキャン装置に通すよう要求するのは、公共の場所では通常は実現困難である。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の実施例は、以上のような従来の欠点に鑑み、ある種の物体の危険性を決定する方法と装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明の一つの実施例は、取得された画像に第一オブジェクトが存在するか否かを検出するステップと、前記画像に第一オブジェクトが存在する場合、前記第一オブジェクトが物体を所持しているか否かを認識するステップと、前記第一オブジェクトが物体を所持している場合、前記物体の運動情報を取得するステップと、前記物体の運動情報に基づき、異常状況が存在するか否かを決定するステップと、を含む、異常状況の検出方法を提供している。
【０００７】
本発明の別の実施の形態は、取得された画像に第一オブジェクトが存在するか否かを検出するオブジェクト検出手段と、前記画像に第一オブジェクトが存在する場合、前記第一オブジェクトが物体を所持しているか否かを認識する物体認識手段と、前記第一オブジェクトが物体を所持している場合、前記物体の運動情報を取得する物体情報取得手段と、前記物体の運動情報に基づき、異常状況が存在するか否かを決定する異常状況決定手段と、を含む、異常状況の検出装置を提供している。
【発明の効果】
【０００８】
公共の場所で発生する異常な状況は普通、人が所持している物、例えば棍棒、棒、刀、銃などの物体によって生じる。本発明の実施例に基づき提供する異常状況を検出する方法及び装置では、画像中のオブジェクトが物体を所持しているか否か認識し、且つオブジェクトに所持された物体が存在している時、所持している物体の運動情報に基づき異常状況が存在するか否かを決定しており、物体に対し画像認識によって異常な状況を判断する従来の方法及び装置と比較して、本発明の実施例に基づく異常状況の検出方法及び装置は更に正確かつ確実な異常状況の認識結果を提供することができる。それゆえに本発明の実施例に基づく異常状況の検出方法と装置は、大量な、また変化する危険物体が出現するかもしれない実際の監視場面でいっそう柔軟に、かつ効果的に応用することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施例の異常状況の検出方法のフローチャート。
【図２ａ】本発明に係る人体テンプレート例の概念図。
【図２ｂ】本発明に係る前景画像例の概念図。
【図２ｃ】本発明に係る人体テンプレート例を用いて前景画像中で人体エリアの状況を決定する概念図。
【図３】本発明に係る例の取得した画像のグレースケール図及び奥行き画像。
【図４】本発明に係る例の物体を所持していると検出された第一オブジェクトの概念図。
【図５】本発明に係る例の第一オブジェクトが所持している物体のMHIの概念図。
【図６】本発明の実施例の異常状況検出装置の例示的な構造ブロック図。
【図７】本発明の実施例の物体情報取得部の例示的な構造ブロック図。
【図８】本発明の実施例の異常状況検出システムのハードウェア全体ブロック図。
【発明を実施するための形態】
【００１０】
当業者が本発明をより良く理解できるよう、本発明の実施の形態を図に基づき詳しく説明する。注意すべき点として、本明細書と図においては、基本的に同じステップ及び要素は同じ図記号で表示し、且つこれらのステップ及び要素に対し重複する説明は省略する。
【００１１】
本発明の実施例に係る異常状況の検出方法及び装置はカメラ装置を含む監視システムに応用される。例えば、カメラ装置は普通の一眼のカメラでよい。また例えば、カメラ装置は二眼カメラなどのステレオカメラでもよい。その他、ステレオカメラの具体的な形式はこれに限らず、画像中のオブジェクトの奥行き情報を取得できるその他どんなカメラでもよい。その他に、本発明の実施例では、監視システム中のカメラ装置は監視する特定の場景に対し撮影でき、且つ取得する画像はカメラ装置を通して取得した特定の場景に関する画像とする。
【００１２】
図1は本発明の実施例に基づく異常状況検出方法100のフローチャートである。以下は、図1を参考に本発明の実施例に基づく異常状況検出の方法を記述する。図1に示すように、ステップS101において、取得した画像中に第一オブジェクトが存在するか否か検出する。例えば、取得した画像は視覚強度（カラー/グレー）画像及び奥行き画像を含めることができ、その視覚強度画像及び奥行き画像は二眼カメラが生成するデータでよく、また三眼カメラが生成するデータでもよい。さらにはTOFによるもの、またはアクティブライトモードのステレオカメラが生成するデータでもよい。取得する画像は特定の時刻の画像でよく、一定期間内の画像シーケンスでもよい。その他に例えば、第一オブジェクトは画像中の人物でよい。
【００１３】
ステップS101に基づき取得した画像に第一オブジェクトが存在するか否か検出する時、まず初めに取得した画像に基づき（例えば視覚強度図又は奥行き画像）、従来の背景モデリング方法で画像の背景モデルを生成できる。背景モデルはスタティック背景モデリングでよく、その他、混合ガウスモデルなど、構築したダイナミック背景モデリングを使用できる。その後、バックグラウンド除去法を利用し、視覚画像及び奥行き画像それぞれの前景画素を抽出する。次に、前景画像中の第一オブジェクトがいるエリアを検出する。第一オブジェクトを人物とした状況下で、本発明の一例は、人体テンプレートを用いて前景画像中で人体エリアを検出する。図2aは本発明の一例である人体テンプレート210の概念図である。図2aに示すように、人体テンプレート210は予めトレーニングした頭部と肩部を一体化させたテンプレートである。図2bは本発明の一例の前景画像220の概念図である。図2cは本発明の一例の人体テンプレート210を利用し前景画像220中の人体エリアの状況を決定する概念図である。図2cで示す例では、人体テンプレート210を利用し前景画像220中の様々なエリアでマッチングを行い、マッチングしきい値に基づき前景エリアに人が存在するか否かを判断する。
【００１４】
その他に本発明の別の例は、取得した画像中に第一オブジェクトが存在するか否かを更に正確に検出するため、取得する画像をステレオカメラによって取得した画像とする時、取得した画像と相応の奥行き画像を生成し、且つ奥行き画像を用いて上述の前景画像を三次元の座標軸に投影し、三次元前景ポイントクラウドを生成することができる。その後、三次元前景ポイントクラウドに基づき前景の鳥瞰図を計算する。例えば三次元ポイントクラウドは前景画像中の画素を、その取得した画像のカメラがある所のカメラの座標軸から世界座標中に転換できる。その後、統一した世界座標軸中に、垂直断面（bin）を通して三次元空間を分割する。その後、各垂直の断面内の前景画素の数量、またはその内の前景画素の最高値を統計し、それにより鳥瞰図上で統計分析を行い、人体エリアを決定する。
【００１５】
図1に戻り、画像中に第一オブジェクトが存在する時、ステップS102で第一オブジェクトが物体を所持しているか否かを認識する。本発明の一例では、ステップS101に基づき、第一オブジェクトがいるエリアを取得した後、ステップS102でHOG特徴量を用いて、スケール不変特徴変換SIFTなどの視覚表現情報からより精密なモデルを確立し、持物オブジェクトを見分けることができる。
【００１６】
その他最適な選択として、ステップS102で第一オブジェクトが所持する物体を認識する状況下で、検出した第一オブジェクトがいるエリアに対し分割を行うことにより、物体所持エリアを定位できる。具体的には、先に検出済みのオブジェクトの構造及び皮膚の色の情報を用いて、第一オブジェクトの上肢エリアを決定し、そのから上肢エリアを巡って物体エリアを捜索し、最後に検出した物体エリアに対しモルフォロジー演算と平滑化を行い補完することで、物体所持エリアに対する定位を完成することができる。
【００１７】
もし所持する物体を定位したならば、取得した画像と対応するシナリオは物を所持したオブジェクトのシナリオであると決定することができる。もし所持する物体を定位していないならば、取得した画像と対応するシナリオは物を所持していないオブジェクトのシナリオであると決定する。
【００１８】
図3は本発明の一例に基づく、取得した画像のグレースケール図310及び奥行き画像320である。図3に示すように、グレースケール図310と奥行き画像320中、手に短い棒を持った人がオフィス内に立っている。図4は本発明の一例に基づき、検出した物を所持する第一オブジェクトの概念図が示されている。図4に示すように、上述のステップS101及びステップS102に基づき、その所持者に加えて所持物330をグレースケール図310から正確に分割することができる。
【００１９】
図1に戻り、第一オブジェクトが物体を所持している時、ステップS103で、物体の運動情報を取得する。本発明の一例に基づき、物体の運動情報には、物体の運動速度、運動方向及び/または第一オブジェクトの使用する方法が含まれる。また例えば、物体を第一オブジェクトが使用する方法は、振る、切る、投げる等でよい。その他に、先に取得した画像に基づいて取得した物体の過去運動情報と現在取得した画像に基づき取得した物体の当時運動情報から算出した運動速度、方向及び使用方法などの運動情報でよい。その後、ステップS104で、物体の運動情報に基づき、異常状況が存在するか否かを決定する。
【００２０】
例えば、ステップS103で過去運動情報及び当時運動情報に基づき、オブジェクトの持つ物体の運動エネルギー図（MEI）と運動履歴図（MHI）を構築する。具体的にはMEIはオブジェクトの運動形状及び空間分布を描写し、MHI中の各画素の幅値はその位置の運動強度の関数を表している。MHIに示す物体運動の一つのメリットは、多種画像のある時間範囲内の運動が1フレーム画像中でコード表示されることである。MEI及びMHIは物体運動タイムドメインテンプレートの二つの成分と見なすことができ、そのタイムドメインテンプレートの各画素それぞれの成分はみなその位置の画素の運動の関数となる。これら視角に関する運動タイムドメインテンプレートを通して、既知の運動タイプのテンプレートとマッチングを行うことで物体の運動モデルを決定する事ができ、第一オブジェクトの物体使用方法も決定することができる。
【００２１】
図5は本発明の例に基づく第一オブジェクトが所持する物体のMHIの概念図である。図5の各画素の強度振幅はその場所の運動履歴を特徴づけ、且つ明るい画素はタイムドメイン上の距離が当時に更に近い運動を示している。図5の例では、第一オブジェクトの所持物体は短い棒であり、且つ第一オブジェクトはその短い棒を振り回している。
【００２２】
視角の影響を減少させ、且つオブジェクトが所持する物体の運動情報をより確実に決定するために、最適な選択として、ステップS103で、まず初めに一定期間内に取得した画像の順序に基づきオブジェクトが所持する物体の二次元運動情報を取得し、且つ取得した画像の奥行き画像を生成し、その後奥行き画像を利用し、物体の二次元運動情報を三次元空間中に投影して、物体の三次元運動情報を生成することができる。ステップS104で、物体の三次元運動情報に基づいて、異常状況が存在するか否かを決定することができる。
【００２３】
例えば、二次元のMHIを得た後、取得した画像の奥行き画像を使用しそれを三次元空間の投影することにより三次元のMHIを得ることができる。三次元のMHIを用いてオブジェクトの運動の表現及び運動モデルの認識を行う。同時に、三次元のMHIによってより精確にオブジェクトの三時間空間の運動速度と方向などを算出することができる。
【００２４】
その他、本発明に基づく一例として、以下の公式（1）によって第一オブジェクトの所持する物体の危険性Risk(object)を算出することができる。
【数１】
2016167267.tif 000003
【００２５】
式中のMode（object）は第一オブジェクトが使用する物体のモデルを表し、Speedは物体の運動速度を表し、directionは物体の運動方向を表す。その他、様々な判断標準に基づき、F1は簡単な線形関数でよく、非線形関数でもよい。
【００２６】
その後、算出した物体の危険性に基づき異常状況が存在するか否かを決定する事ができる。例えば、実際の状況の必要に基づき、様々な運動モデルの異常係数を定義することができ、例えば刺す、切る、割る運動の異常係数は高く、振る運動の異常係数は低いなどとできる。その他に、速度が速ければ異常係数は高い。その他に、物体の運動方向が所持者の方向から離れてゆくなら、その異常係数は高いと考えることができる。また例えば、下向き運動の異常係数は上向き運動の異常係数より小さく、且つこれらすべては直接外向き運動の異常係数より小さいと定義できる。異常係数がより高ければ、異常状況の出現可能性もより大きくなる。
【００２７】
その他に、本発明の別の一実施例では、取得した画像中の物体を所持する第一オブジェクトに基づき、及び第一オブジェクトとその他のオブジェクトの間の相互関係に基づき、場景に異常状況が存在するか否かを決定することができる。具体的には、図1に示す方法に加え、第一オブジェクトが物体を所持する時、第一オブジェクトの運動情報を取得し、且つ第一オブジェクトの運動情報に基づき、異常状況が存在するか否かを決定することが含まれる。
【００２８】
取得した画像中のオブジェクト及びオブジェクトが所持する物体の運動情報をより正確に取得するために、本発明の一例として、最初に取得した画像の奥行き画像を生成し、且つ奥行き画像を用いて、第一オブジェクト及び物体を三次元空間に投影することで、第一オブジェクトと物体の三次元空間における三次元運動情報を取得することができる。その後、第一オブジェクト及び物体の三次元運動情報を鳥瞰図中に投影することで、第一オブジェクト及び物体の鳥瞰運動情報を取得する。それにより、物体及び第一オブジェクトの鳥瞰運動情報に基づき、異常状況が存在するか否かを決定することができる。
【００２９】
例えば、オプティカルフロー計算に基づき第一オブジェクト（例えば所持者）が所持している物体全てを検出し、カラー/グレースケール図の序列上で各所持者すべての画素点のオプティカルフローを計算する。その後、取得した画像と対応する奥行き画像を生成し、且つ奥行き画像を用いて所持者を三次元空間に投射し、所持者の三次元ポイントクラウドを得ることができる。オプティカルフロー計算及びマッチング結果に基づき、所持者の各オプティカルフローポイントの三次元空間中での運動方向及び速度を得ることができる。それから所持者の三次元ポイントクラウドを鳥瞰図上に投影することで、所持者の動く鳥瞰速度分布と鳥瞰方向分布を取得する。さらに類似する方法で所持者が持つ物体の運動の鳥瞰速度分布と鳥瞰方向分布を取得することができる。
【００３０】
その他最適な選択として、図1で示す方法に、第一オブジェクトの運動情報に基づき、取得した画像中で第一オブジェクトが第二オブジェクトに向かって動いているか否かを決定すること、及び第一オブジェクトが第二オブジェクトに向かって動いている時、さらに第一オブジェクトと第二オブジェクトの間の距離に基づき、異常状況が存在するか否かを決定することを含めることができる。
【００３１】
本発明の一例では、以下の公式（2）により第一オブジェクトの運動方向及び速度、所持物の運動方向と速度、及び第一オブジェクトと第二オブジェクトの間の距離を計算して第一オブジェクトの行動の危険性Risk(harmful_action)を得ることができる。
【数２】
2016167267.tif 000004
【００３２】
式中のdisは第一オブジェクトと第二オブジェクトの間の距離を表し、P_speedは第一オブジェクトの運動速度を表し、P_directionは第一オブジェクトの運動方向を表し、0_speedは所持する物体の運動速度を表し、0_directionは所持する物体の運動方向を表す。その他に、様々な判断標準に基づき、F2は簡単な線形関数でよく、また非線形関数でもよい。その後、第一オブジェクトの行動の危険性に基づいて異常状況が存在するか否かを決定することができる。公式（2）の第一オブジェクト及び所持物体の運動方向及び速度は上述の鳥瞰図中の運動方向及び速度でよく、またその他方式で運動方向及び速度を計算してもよい。例えば、三次元空間中での運動方向及び速度でもよい。
【００３３】
例えば実際の状況での必要に基づき、様々な運動モデルの異常係数を定義できる。例えばdisが小さいほど異常係数は高くなる、第一オブジェクトの速度P_speedが大きいほど異常係数が高くなる、第一オブジェクトの運動方向P_directionが第二オブジェクトに向かうほど異常係数が高くなる、所持する物体の運動速度0_speedが大きいほど異常係数が大きくなる、所持する物体の運動方向0_directionが第二オブジェクトに向かうほど異常係数が高くなる、などである。異常係数が高いほど、異常状況が出現する可能性は大きくなる。
【００３４】
本発明の実施例が提供する異常状況の検出方法では、画像中のオブジェクトが物体を所持しているか否か認識し、且つオブジェクトが物体を所持している時、所持する物体の運動情報などに基づき異常状況が存在するか否かを決定するので、従来の物体に対し画像認識を行うことで異常状況を判断する方法と比べ、本発明の実施例の異常状況の検出方法は異常状況の認識結果をより正確かつ確実に提供することができる。それゆえに本発明の実施例に基づく異常状況の検出方法と装置は、大量な、また変化する危険物体が出現するかもしれない実際の監視場面でいっそう柔軟に、効果的に応用することができる。
【００３５】
その他に本発明の別の一例では、図1で示す方法に、公式（1）で算出した第一オブジェクトが所持する物体の危険性、及び公式（2）で算出した第一オブジェクトの行動の危険性を総合的に考慮して異常状況が存在するか否かを決定することを含めることができる。
【００３６】
その他に選択できるのは、図1で示す方法に、第一オブジェクトが所持する物体に対し画像認識を行ってその物体の属性を決定し、かつ異常状況を決定する時、更に決定した物体の属性を考慮することを含めることができる。
【００３７】
その他に、ステップS102で第一オブジェクトが物体を持っていないと認識した時、図1で示す方法に、第一オブジェクトの運動情報に基づき、第一オブジェクトに対し画像認識を行って異常状況が存在するか否かを決定することを含めることができる。
【００３８】
以下は、図6を参考に本発明の実施例の異常状況の検出装置について説明する。図6は本発明の実施例の異常状況の検出装置600の例示的な構造ブロック図である。図6に示すように、本実施例の異常状況の検出装置600は、オブジェクト検出部610、物体認識部620、物体情報取得部630、及び異常状況決定部640で構成されている。異常状況の検出装置600中の各部は上述の図1中の異常状況を検出する方法100の各ステップ/機能をそれぞれに分かれて実行することができる。よって以下では異常状況を検出する装置600の主要部材に対してのみ記述し、すでに上述の図1と合わせて説明した詳細な内容は省略する。
【００３９】
オブジェクト検出部610は取得した画像に第一オブジェクトが存在するか否かを検出する。例えば、取得する画像には視覚強度（カラー/グレースケール）画像及び奥行き画像を含めることができ、その視覚強度図及び奥行き画像は二眼カメラが生成するデータでもよく、三眼カメラが生成するデータでもよい。さらにTOFによるものまたはアクティブライトモードのステレオカメラが生成するデータでもよい。取得する画像は特定の時刻の画像でよく、一定期間内の画像シーケンスでもよい。その他に例えば、第一オブジェクトは画像中の人物でよい。
【００４０】
オブジェクト検出部610で取得した画像に第一オブジェクト存在するか否かを検出する時、まず初めに取得した画像に基づき（例えば視覚強度図や奥行き画像）、従来の背景モデリング方法で画像の背景モデルを生成できる。背景モデルはスタティック背景モデリングでよく、その他、混合ガウスモデルなど、構築したダイナミック背景モデリングを使用できる。その後、バックグラウンド除去法を利用し、視覚画像及び奥行き画像それぞれの前景画素を抽出する。次に、前景画像中の第一オブジェクトがいるエリアを検出する。第一オブジェクトを人物とした状況下で、本発明の一例は、人体テンプレートを用いて前景画像中で人体エリアを検出する。
【００４１】
その他に本発明の別の例は、取得した画像中に第一オブジェクトが存在するか否かを更に正確に検出するため、取得する画像をステレオカメラによって取得した画像とする時、オブジェクト検出部610で取得した画像と相応の奥行き画像を生成し、且つ奥行き画像を用いて上述の前景画像を三次元の座標軸に投影し、三次元前景ポイントクラウドを生成することができる。その後、三次元前景ポイントクラウドに基づき前景の鳥瞰図を計算する。例えば三次元ポイントクラウドは前景画像中の画素を、その取得した画像のカメラがある所のカメラの座標軸から世界座標中に転換できる。その後、統一した世界座標軸中に、垂直断面（bin）を通して三次元空間を分割する。その後、各垂直の断面内の前景画素の数量、またはその内の前景画素の最高値を統計し、それにより鳥瞰図上で統計分析を行い、人体エリアを決定する。
【００４２】
画像中に第一オブジェクトが存在する時、物体認識部620は第一オブジェクトが物体を所持しているか否かを認識する。本発明の一例では、オブジェクト検出部610で第一オブジェクトがいるエリアを取得した後、物体認識部620でHOG特徴量を用いて、スケール不変特徴変換SIFTなどの表現情報からより精密なモデルを確立し、持物オブジェクトを見分けることができる。
【００４３】
その他最適な選択として、物体認識部620で第一オブジェクトが所持する物体を認識する状況下で、検出した第一オブジェクトがいるエリアに対し分割を行うことにより、物体所持エリアを定位できる。具体的には、先に検出済みのオブジェクトの構造及び皮膚の色の情報を用いて、第一オブジェクトの上肢エリアを決定し、そのから上肢エリアを巡って物体エリアを捜索し、最後に検出した物体エリアに対しモルフォロジー演算と平滑化を行い補完することで、物体所持エリアに対する定位を完成することができる。
【００４４】
もし所持する物体を定位したならば、取得した画像と対応するシナリオは物を所持したオブジェクトのシナリオであると決定することができる。もし所持する物体を定位していないならば、取得した画像と対応するシナリオは物を所持していないオブジェクトのシナリオであると決定する。
【００４５】
第一オブジェクトが物体を所持している時、物体情報取得部630で、物体の運動情報を取得する。本発明の一例に基づき、物体の運動情報には、物体の運動速度、運動方向及び/または第一オブジェクトの使用する方法が含まれる。また例えば、物体を第一オブジェクトが使用する方法は、振る、切る、投げる等でよい。その他に、先に取得した画像に基づいて取得した物体の過去運動情報と現在取得した画像に基づき取得した物体の当時運動情報から算出した運動速度、方向及び使用方法などの運動情報でよい。その後、異常状況決定部640で、物体の運動情報に基づき、異常状況が存在するか否かを決定する。
【００４６】
例えば、物体情報取得部630で過去運動情報及び当時運動情報に基づき、オブジェクトの持つ物体の運動エネルギー図（MEI）と運動履歴図（MHI）を構築する。具体的にはMEIはオブジェクトの運動形状及び空間分布を描写し、MHI中の各画素の幅値はその位置の運動強度の関数を表している。MHIに示す物体運動の一つのメリットは、多種画像のある時間範囲内の運動が1フレーム画像中でコード表示されることである。MEI及びMHIは物体運動タイムドメインテンプレートの二つの成分と見なすことができ、そのタイムドメインテンプレートの各画素それぞれの成分はみなその位置の画素の運動の関数となる。これら視角に関する運動タイムドメインテンプレートを通して、既知の運動タイプのテンプレートとマッチングを行うことで物体の運動モデルを決定する事ができ、第一オブジェクトの物体使用方法も決定することができる。
【００４７】
図7は本発明の実施例の物体情報取得部630の例示的な構造ブロック図である。図7に示すように、物体情報取得部630には、二次元情報取得モジュール710、奥行き画像生成モジュール720と三次元情報取得モジュール730が含まれる。視角の影響を減少させ、且つオブジェクトが所持する物体の運動情報をより確実に決定するために、最適な選択として、二次元情報取得モジュール710で、まず初めに一定期間内に取得した画像の順序に基づきオブジェクトが所持する物体の二次元運動情報を取得し、且つ奥行き画像生成モジュール720が取得した画像の奥行き画像を生成し、その後三次元情報取得モジュール730が奥行き画像を利用し、物体の二次元運動情報を三次元空間中に投影して、物体の三次元運動情報を生成することができる。これにより異常状況決定部640で、物体の三次元運動情報に基づいて異常状況が存在するか否かを決定することができる。
【００４８】
例えば、二次元情報取得モジュール710が二次元のMHIを得た後、三次元情報取得モジュール730が取得した画像の奥行き画像を使用しそれを三次元空間の投影することにより三次元のMHIを得ることができる。三次元のMHIを用いてオブジェクトの運動の表現及び運動モデルの認識を行う。同時に、三次元のMHIによってより精確にオブジェクトの三次元空間の運動速度と方向などを算出することができる。
【００４９】
その他に、本発明の別の一実施例に基づき、異常状況を検出する装置600はさらに取得した画像の物体を所持する第一オブジェクト、及び第一オブジェクトとその他のオブジェクトの間の交互に基づきシナリオに異常状況が存在するか否かを決定することができる。具体的には、異常状況を検出する装置600は更にオブジェクト情報取得部を含めることができる。第一オブジェクトが物体を所持している時、オブジェクト情報取得部で第一オブジェクトの運動情報を取得し、かつ異常状況決定部640はさらに第一オブジェクトの運動情報に基づき異常状況が存在するか否かを決定することが含まれる。
【００５０】
取得した画像中のオブジェクト及びオブジェクトが所持する物体の運動情報をより正確に取得するために、本発明の一例として、最初に取得した画像の奥行き画像を生成し、且つ奥行き画像を用いて、第一オブジェクト及び物体を三次元空間に投影することで、第一オブジェクトと物体の三次元空間における三次元運動情報を取得することができる。その後、オブジェクト情報取得部は第一オブジェクトの三次元運動を鳥瞰図中に投影することで、第一オブジェクトの鳥瞰運動情報を取得する。その他に、物体情報取得部が同様に所持物の鳥瞰運動情報を取得する。それにより、物体及び第一オブジェクトの鳥瞰運動情報に基づき、異常状況が存在するか否かを決定することができる。
【００５１】
その他最適な選択として、異常状況を検出する装置600は距離決定部を含むことができる。距離決定部は第一オブジェクトの運動情報に基づき、取得した画像中で第一オブジェクトが第二オブジェクトに向かって動いているか否かを決定し、さらに第一オブジェクトが第二オブジェクトに向かって動いている時、異常状況決定部640が第一オブジェクトと第二オブジェクトの間の距離に基づき、異常状況が存在するか否かを決定することを含めることができる。第一オブジェクトの運動方向及び速度、所持物の運動方向と速度、及び第一オブジェクトと第二オブジェクトの間の距離を計算して第一オブジェクトの行動の危険性を取得し、異常状況の決定を行う方法については上述ですでに公式（2）と合わせて説明したので、ここでは再び詳細な説明をしない。
【００５２】
本発明の実施例に基づき提供する異常状況を検出する装置では、画像中のオブジェクトが物体を所持しているか否か認識し、且つオブジェクトに所持された物体が存在している時、所持している物体の運動情報に基づき異常状況が存在するか否かを決定しており、物体に対し画像認識によって異常な状況を判断する従来の方法及び装置と比較して、本発明の実施例に基づく異常状況の検出方法及び装置は更に正確かつ確実な異常状況の認識結果を提供することができる。それゆえに本発明の実施例に基づく異常状況の検出方法と装置は、大量な、また変化する危険物体が出現するかもしれない実際の監視場面でいっそう柔軟に、効果的に応用することができる。
【００５３】
その他に本発明の別の一例では、異常状況を検出する装置600中の異常状況決定部640は、公式（1）で算出した第一オブジェクトが所持する物体の危険性、及び公式（2）で算出した第一オブジェクトの行動の危険性を総合的に考慮して異常状況が存在するか否かを決定することができる。
【００５４】
その他に選択できるのは、異常状況を検出する装置600に認識部を含めることで、第一オブジェクトが所持する物体に対し画像認識を行ってその物体の属性を決定し、且つ異常状況決定部640が異常状況を決定する時、更に決定した物体の属性を考慮することができる。
【００５５】
その他に、第一オブジェクトが物体を持っていないと認識した時、異常状況を検出する装置600中の異常状況決定部640は、さらに第一オブジェクトの運動情報に基づき、第一オブジェクトに対し画像認識等を行って異常状況が存在するか否かを決定することができる。
【００５６】
その他に、本発明の別の例では、本発明はさらに一種の異常状況検出システムを通して実施できる。図8は本発明の実施例の異常状況検出システム800のハードウェア全体ブロック図である。図8に示すように、異常状況検出システム800には以下が含まれる。外部から例えばステレオカメラを通して撮影するビデオ画像を入力するのに用いられ、例えば画像伝送ケーブル、画像入力ポート等を含むことができる入力装置810、上述の本発明の実施例の異常状況の検出方法を実施するのに用いられ、例えば計算機のCPUやその他の処理能力を持ったICチップ等を含むことができる処理装置820、また処理装置820はさらにインターネット等のネットワーク（未記載）に接続でき、処理過程での必要に基づき、処理後の結果を遠隔伝送するなどができる。上述の異常状況検出の実施過程から得られた結果を外部出力するのに用いられ、例えばディスプレイ、通信ネットワーク及びそれと接続された遠隔出力装置等を含めることができる出力装置830、及び上述の取得する画像、第一オブジェクト及び物体の運動情報等のデータを揮発性又は不揮発性方法で記憶するために用いられる、例えばランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、ハードディスク、または半導体メモリ等の各種揮発性又は不揮発性メモリを含めることができるメモリ装置840。
【００５７】
当業者であれば、本発明をシステム、装置、方法やコンピュータプログラム製品として実現できることを知っている。よって、本発明は具体的に以下の形式で実現できる。例えば完全なハードウェア、完全なソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）、さらにはハードウェアとソフトウェアを組み合わせた形式でもよく、本文では一般にコンポーネント、モジュール、デバイス、およびシステムと呼ぶ。その他に、ある実施例においては、本発明は一つまたは複数のコンピュータ可読媒体中のコンピュータプログラム製品の形式で実現でき、そのコンピュータ可読媒体中にはコンピュータ可読のプログラム・コードが含まれる。
【００５８】
一つまたは複数のコンピュータ可読媒体の任意の組み合わせを採用できる。コンピュータ可読媒体はコンピュータ可読信号媒体又はコンピュータ可読記憶媒体でよい。コンピュータ可読記憶媒体は例えば電子、磁気、光、ソレノイド、赤外線、または半導体のシステム、装置やデバイスまたは以上の任意の組み合わせでもよいがこれに限られない。コンピュータ可読記憶媒体のより具体的な例として（包括的でないリスト）、一つまたは複数の導線を備える電気コネクタ、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（RAM）、読取り専用メモリ（ROM）、消去可能プログラマブル専用メモリ（EPROMまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディス読取り専用メモリ（CD- ROM）、光記憶装置、磁気記憶装置、または上述の任意の相応しい組み合わせを含む。本文書中、コンピュータ可読記憶媒体はプログラムを含むか又は記憶したいかなる有形媒質でもよく、そのプログラムはコマンドによってシステム、装置またはデバイスを使用、またはそれらを組み合わせて使用を実行する。
【００５９】
コンピュータが読み取ることができる信号媒体は、ベースバンド中、または搬送波の一部として伝送するデータ信号を含めることができ、それらはコンピュータが読取り可能なプログラムコードを支持している。こうした伝送するデータ信号には多くの形態を採用でき、ソレノイド信号、光信号、または上述の任意の相応しい組み合わせが含まれるが、これらに限らない。コンピュータが読取ることができる信号媒体はさらにコンピュータ可読記憶媒体以外のどんなコンピュータ可読媒体でもよく、そのコンピュータ可読媒体は、コマンドでシステム、装置またはデバイスを使用、またはそれらを組み合わせて使用を実行するのに用いるプログラムを送信、伝送または転送ができる。
【００６０】
コンピュータ可読媒体に含まれるプログラムコードは相応しいどんな媒体によっても伝送でき、ワイヤレス、ケーブル、光ケーブル、RFなど、または上述の任意の相応しい組み合わせを含むがこれらに限らない。
【００６１】
本発明の操作実行に用いられるコンピュータプログラムコードの編集は、一つまたは複数のプログラミング言語やその組み合わせにより行うことができ、プログラミング言語には、オブジェクト指向プログラミング言語、例えば、Java(登録商標)、Smalltalk、C++、さらに従来のプロセス式プログラミング言語、例えばC言語や類似のプログラミング言語が含まれる。プログラムコードは、ユーザーのコンピュータ上で完全に実行することも、ユーザーのコンピュータ上で部分的に実行することもでき、独立したパッケージソフトウェアとして実行したり、一部はユーザーのコンピュータ上、一部は長距離コンピュータの上で実行したり、または完全にリモートコンピュータあるいはサーバー上で実行することもできる。リモートコンピュータの状況に関しては、リモートコンピュータは任意の種類のネットワーク―ローカルエリアネットワーク(LAN)やワイドエリアネットワーク(WAN)を含む―を通じてユーザーのコンピュータにつなぐか、または、外部のコンピュータに接続することができる（例えばインターネットサービスプロバイダを用いてインターネットを通じて接続する）。
【００６２】
以上で本発明の実施例の方法、装置（システム）及びコンピュータプログラム製品のフローチャート図及び/又はブロック図を参考に本発明を説明した。理解すべきこととして、フローチャート図及び/又はブロック図の各ブロック、及びフローチャート図及び/又はブロック図中の各ブロックの組み合わせすべてはコンピュータプログラムコマンドによって実行できる。これらのコンピュータプログラムコマンドは、汎用コンピュータ、専用コンピュータ又は他のプログラム可能なデータ処理装置のプロセッサに提供でき、それによって機械を生成し、これらのコンピュータプログラムコマンドはコンピュータまたは他のプログラム可能なデータ処理デバイスによって実行され、フローチャート及び/又はブロック図の各ブロックが規定する機能/操作を実現する装置を生み出す。
【００６３】
これらのコンピュータプログラムコマンドを、コンピュータまたは他のプログラム可能なデータ処理装置に特定の方法で作業させることのできるコンピュータ可読媒体に記憶することもでき、そうすればコンピュータ可読媒体中に記憶されたコマンドが、フローチャート及び／又はブロック図中のブロックチ中で規定する機能／操作のコマンド装置（instruction means）の製造品（manufacture）を生み出すことができる。
【００６４】
コンピュータプログラムコマンドをコンピュータ、他のプログラム可能データ処理装置または他の装置上にローディングすることもでき、コンピュータ、その他プログラム可能データ処理装置やその他の装置上で一連の操作ステップを実行させることでコンピュータの実現する過程を生み出し、それによりコンピュータあるいはその他のプログラム可能装置上で実行するコマンドに、フローチャート及び／又はブロック図中のブロック中で規定する機能／操作を実現できる過程を提供させることができる。
【００６５】
図中のフローチャート及びブロック図は本発明の複数の実施例のシステム、方法及びコンピュータプログラム製品の実現可能な体系構造、機能及び操作を示している。この点において、フローチャート及びブロック図中の各ブロックは一つのモジュール、セクションまたはプログラムコードの一部を表すことができ、モジュール、セクション又はコードの一部分は、一つ又は複数のロジック機能の実行可能コマンドを含んでいる。注意すべき点として、ブロック図及び/又はフローチャート図中の各ブロック、及びブロック図及び/又はフローチャート図中のブロックの組み合わせは、規定の機能又は操作を実行する専用のハードウェアによるシステムを用いて実現することができ、又は専用ハードウェアとコンピュータコマンドの組み合わせで実現することができる。
【００６６】
以上で本発明の各実施例を説明した。上述の説明は例示的なものであり、最終的なものではなく、開示された実施例はこれらに限定されない。説明した各実施例の範囲と精神から逸脱しない状況において、当業者であればいくつもの修正と変更は容易に観察できるものである。本文中で使用した語句の選択の目的は、各実施例の原理を最もよく説明し、実際の応用又は市場の技術の改善、或いは当業者が本文で開示する各実施例を理解できるようにすることにある。
【図１】
2016167267.tif 000005
【図２ａ】
2016167267.tif 000006
【図２ｂ】
2016167267.tif 000007
【図２ｃ】
2016167267.tif 000008
【図３】
2016167267.tif 000009
【図４】
2016167267.tif 000010
【図５】
2016167267.tif 000011
【図６】
2016167267.tif 000012
【図７】
2016167267.tif 000013
【図８】
2016167267.tif 000014