(57)【要約】【課題】本発明は、物体危険性識別方法と装置を提供する。【解決手段】かかる方法は、ステレオカメラの撮影した画像に基づき、画像中の物体の異質ポイントクラウドを生成し、異質ポイントクラウド中の各点が深度情報と平面画像情報を有すること；異質ポイントクラウド中の点の深度情報と平面画像情報に基づき、当該異質ポイントクラウドに対応する物体の立体形状を確定し、立体形状により第一危険性パラメータを生成すること；異質ポイントクラウド中の点の深度情報と平面画像情報に基づき、当該異質ポイントクラウドに対応する物体の表面特徴を確定し、表面特徴に基づき第二危険性パラメータを生成すること；ならびに第一危険性パラメータと第二危険性パラメータに基づき、異質ポイントクラウドに対応する物体の総合危険性パラメータを生成することを含む。【選択図】図１
2016095850.tif 000002
【特許請求の範囲】
【請求項１】
ステレオカメラの撮影した画像に基づき、前記画像中の物体の異質ポイントクラウドを生成するステップであって、前記異質ポイントクラウド中の各点は深度情報と平面画像情報を有する、ステップ、
前記異質ポイントクラウド中の点の深度情報と平面画像情報に基づき、当該異質ポイントクラウドに対応する物体の立体形状を確定し、前記立体形状により第一危険性パラメータを生成するステップ、
前記異質ポイントクラウド中の点の深度情報と平面画像情報に基づき、当該異質ポイントクラウドに対応する物体の表面特徴を確定し、前記表面特徴に基づき第二危険性パラメータを生成するステップ、及び
前記第一危険性パラメータと前記第二危険性パラメータに基づき、前記異質ポイントクラウドに対応する物体の総合危険性パラメータを生成するステップを含む、物体危険性識別方法。
【請求項２】
前記異質ポイントクラウド中の点の深度情報と平面画像情報に基づき、当該異質ポイントクラウドに対応する物体の立体形状を確定し、前記立体形状に基づき第一危険性パラメータを生成するステップが、
前記異質ポイントクラウド中の点の深度情報と平面画像情報に基づき、前記異質ポイントクラウドの複数方向における二次元投影を生成するステップ、
各二次元投影自身の属性情報に基づき、当該二次元投影の投影危険性パラメータを生成し、前記異質ポイントクラウドの各二次元投影の投影危険性パラメータに基づき、当該異質ポイントクラウドの自己危険性パラメータを生成するステップ、
各二次元特徴の属性情報を比較し、比較結果に基づき、当該異質ポイントクラウドの比較危険性パラメータを生成するステップ、及び
前記自己危険性パラメータと前記比較危険性パラメータに基づき、前記第一危険性パラメータを生成するステップを含む、請求項1に記載の物体危険性識別方法。
【請求項３】
前記異質ポイントクラウド中の点の深度情報と平面画像情報に基づき、前記異質ポイントクラウドの複数方向における二次元投影を生成するステップが、
前記異質ポイントクラウド中の点の深度情報と平面画像情報により、前記異質ポイントクラウド中の二点間の辺加重を計算し、各辺加重は前記異質ポイントクラウド中の二点間の関係を示すステップ、
計算した辺加重により、前記異質ポイントクラウドの辺加重行列を生成するステップ、
前記辺加重行列の少なくとも一部分の特徴値に対応する特徴ベクトルを計算するステップ、及び
計算した特徴ベクトルに基づき、前記二次元投影を生成するステップを含む、請求項2に記載の物体危険性識別方法。
【請求項４】
前記異質ポイントクラウド中の点の深度情報と平面画像情報に基づき、当該異質ポイントクラウドに対応する物体の模様および／或いは材質を確定し、前記模様および／或いは材質に基づき第二危険性パラメータを生成するステップが、
前記異質ポイントクラウド中の点の深度情報と平面画像情報に基づき、前記異質ポイントクラウドを座標変換するステップであって、前記平面画像情報は平面位置情報を含み、前記座標変換において、前記異質ポイントクラウド中に同じ平面位置情報を有する複数の点のうち、最小深度を有する点だけを保留する、ステップ、及び
座標変換後の異質ポイントクラウド中の点の深度情報と平面画像情報に基づき、当該異質ポイントクラウドに対応する物体の模様および／或いは材質を確定し、前記模様および／或いは材質に基づき、第二危険性パラメータを生成するステップを含む、請求項1に記載の物体危険性識別方法。
【請求項５】
前記異質ポイントクラウド中の点の深度情報と平面画像情報に基づき、当該異質ポイントクラウドに対応する物体の表面特徴を確定し、前記表面特徴に基づき第二危険性パラメータを生成するステップが、
前記異質ポイントクラウド中の点の深度情報と表面画像情報に基づき、前記物体の立体模様情報を取得し、取得した立体模様情報に基づき模様危険性パラメータを生成するステップ、
前記異質ポイントクラウド中の点の平面画像情報に基づき、前記物体の材質情報を取得し、取得した材質情報に基づき材質危険性パラメータを生成するステップ、及び
前記模様危険性パラメータと前記材質危険性パラメータに基づき前記第二危険性パラメータを生成するステップを含む、請求項1又は4に記載の物体危険性識別方法。
【請求項６】
前記第一危険性パラメータと前記第二危険性パラメータに基づき、前記異質ポイントクラウドに対応する物体の総合危険性パラメータを生成するステップが、
第一危険性パラメータと第二危険性パラメータ各々に関する識別正確率の履歴情報および／或いは前記物体の表面情報に基づき、前記第一危険性パラメータに関する第一加重と、前記第二危険性パラメータに関する第二加重を生成するステップ、
前記第一加重を利用して前記第一危険性パラメータに加重を加え、前記第二加重を利用して前記第二危険性パラメータに加重を加えるステップ、及び
加重を加えた後の第一危険性パラメータと加重を加えた後の第二危険性パラメータに基づき、前記総合危険性パラメータを生成するステップを含む、請求項1に記載の物体危険性識別方法。
【請求項７】
ステレオカメラの撮影した画像に基づき、前記画像中の物体の異質ポイントクラウドを生成するステップが、
前記画像の前景物体区域中に前記物体が存在するか否かを確定するステップ、及び
前記物体の存在が確定した時は、ステレオカメラの撮影した前記画像に基づき、前記物体の異質ポイントクラウドを生成するステップを含む、請求項1に記載の物体危険性識別方法。
【請求項８】
ステレオカメラの撮影した画像に基づき、前記画像中の物体の異質ポイントクラウドを生成するために配置するポイントクラウド生成ユニットであって、前記異質ポイントクラウド中の各点は深度情報と平面画像情報を有する、ポイントクラウド生成ユニット、
前記異質ポイントクラウド中の点の深度情報と平面画像情報に基づき、当該異質ポイントクラウドに対応する物体の立体形状を確定し、前記立体形状により第一危険性パラメータを生成するために配置する第一パラメータ生成ユニット、
前記異質ポイントクラウド中の点の深度情報と平面画像情報に基づき、当該異質ポイントクラウドに対応する物体の表面特徴を確定し、前記表面特徴に基づき第二危険性パラメータを生成するために配置する第二パラメータ生成ユニット、及び
前記第一危険性パラメータと前記第二危険性パラメータに基づき、前記異質ポイントクラウドに対応する物体の総合危険性パラメータを生成するために配置する総合パラメータ生成ユニットを含む、物体危険性識別装置。
【請求項９】
前記第一パラメータ生成ユニットが、
前記異質ポイントクラウド中の点の深度情報と平面画像情報に基づき、前記異質ポイントクラウドの複数方向における二次元投影を生成するために配置される投影生成モジュール、
各二次元投影自身の属性情報に基づき、当該二次元投影の投影危険性パラメータを生成し、前記異質ポイントクラウドの各二次元投影の投影危険性パラメータに基づき、当該異質ポイントクラウドの自己危険性パラメータを生成するために配置される自己パラメータ生成モジュール、
各二次元投影の属性情報を比較し、比較結果に基づき、当該異質ポイントクラウドの比較危険性パラメータを生成するために配置される比較パラメータ生成モジュール、及び
前記自己危険性パラメータと前記比較危険性パラメータに基づき、前記第一危険性パラメータを生成するために配置される第一パラメータ生成モジュールを含む、請求項8に記載の物体危険性識別装置。
【請求項１０】
前記第二パラメータ生成ユニットが、
前記異質ポイントクラウド中の点の深度情報と表面画像情報に基づき、前記物体の立体模様情報を取得し、取得した立体模様情報に基づき模様危険性パラメータを生成するために配置される模様パラメータ生成モジュール、
前記異質ポイントクラウド中の点の平面画像情報に基づき、前記物体の材質情報を取得し、取得した材質情報に基づき材質危険性パラメータを生成するために配置される材質パラメータ生成モジュール、及び
前記模様危険性パラメータと前記材質危険性パラメータに基づき前記第二危険性パラメータを生成するために配置される第二パラメータ生成モジュールを含む、請求項8に記載の物体危険性識別装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体危険性識別方法と装置に関し、より具体的には、ステレオカメラの撮影した画像により物体の危険性を識別する方法と装置に関する。
【背景技術】
【０００２】
技術の発展と人々の安全意識の向上に伴い、ますます多くの公共の場所（例えば駅、飛行場、銀行、オフィスビルと言ったパブリックゾーン等）に監視システムが設置されるようになってきた。危険物の存在の発見と識別は、有効な監視システムの構築に非常に重要な働きを果たしている。危険物の識別といった能力は、人々が、公共の場所に潜む安全へのリスクに気付くことを助け、それに素早く反応して、人と装置に加えられる損害を回避するための可能性を提供する。
【０００３】
画像識別により、監視システムカメラが採集した画像の中の物体が表す形状に基づいて、物体の危険性を判断する方法が提案されている。しかし、それらは、見る角度の変化や障害物等の要素による影響を受けやすいため、当該方法は危険性を区分する十分な能力に欠け、また往々にして代表的な物体の画像を捉えることが難しい。
【０００４】
この他、赤外線、X線断層撮影、或いはマイクロウェーブ画像等、監視システムに通常、使用するカメラ以外の他の検出装置により物体の危険性を確定する方法も提案されている。しかし、これらの検出装置により取得したデータが安定的に物体の或る特性情報を提示できるとしても、これらの検出装置の使用コストが高く、また、例えば物品の携帯人に、指定の透視装置を通るよう求めるなど、常に人々の協力を仰ぐ必要があり、公共の場所では、通常、実施が難しい。
【０００５】
この他、従来の物体危険性判断方法では、予め定義された、或いは学習して得られた特定の危険物モデルを使用し、モデルのマッチングスキームにより新たな観測物が危険物であるか否かを決定する必要があり、これが当該方法を新たな危険物に展開することを難しくさせており、実際の場面に出現する全ての危険物それぞれにモデルを構築するのに払う代価もまた受け入れ難いものである。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の実施例の目的は、物体危険性識別方法と装置を提供して、上記問題を解決することにある。
【課題を解決するための手段】
【０００７】
本発明の一実施例は、ステレオカメラの撮影した画像に基づき、画像中の物体の異質ポイントクラウドを生成し、そこにおいて異質ポイントクラウド中の各点が深度情報と平面画像情報を有すること、異質ポイントクラウド中の点の深度情報と平面画像情報に基づき、当該異質ポイントクラウドに対応する物体の立体形状を確定し、立体形状により第一危険性パラメータを生成すること、異質ポイントクラウド中の点の深度情報と平面画像情報に基づき、当該異質ポイントクラウドに対応する物体の表面特徴を確定し、表面特徴に基づき第二危険性パラメータを生成すること、ならびに第一危険性パラメータと第二危険性パラメータに基づき、異質ポイントクラウドに対応する物体の総合危険性パラメータを生成することを含む、物体危険性識別方法を提供する。
【０００８】
本発明の別の実施例は、ステレオカメラの撮影した画像に基づき、画像中の物体の異質ポイントクラウドを生成するために配置し、そこにおいて異質ポイントクラウド中の各点が深度情報と平面画像情報を有するポイントクラウド生成ユニット、異質ポイントクラウド中の点の深度情報と平面画像情報に基づき、当該異質ポイントクラウドに対応する物体の立体形状を確定し、立体形状により第一危険性パラメータを生成するために配置する第一パラメータ生成ユニット、異質ポイントクラウド中の点の深度情報と平面画像情報に基づき、当該異質ポイントクラウドに対応する物体の表面特徴を確定し、表面特徴に基づき第二危険性パラメータを生成するために配置する第二パラメータ生成ユニット、ならびに第一危険性パラメータと第二危険性パラメータに基づき、異質ポイントクラウドに対応する物体の総合危険性パラメータを生成するために配置する総合パラメータ生成ユニットを含む、物体危険性識別装置を提供する。
【０００９】
上記発明の実施例の提供する物体危険性識別方法と装置においては、危険性パラメータが一般的な意味における物体の危険性を定性的に確定できるので、危険物に対する具体的なモデル構築をしなくても済む。このため、本発明の実施例の物体危険性識別方法と装置により、大量で変化を伴う危険物が出現する可能性のある実際の監視場面に、より弾力的に、より有効に応用できる。この他、ステレオカメラの撮影した画像から取得した画像中の物体の深度情報と平面画像情報の両方を使用し、物体の立体形状の危険性を示す第一危険性パラメータと、物体の表面特徴の危険性を示す第二危険性パラメータを確定し、第一危険性パラメータと第二危険性パラメータを結合して物体の危険性を判断することにより、従来の物体危険性判断方法と装置に比べ、本発明の実施例による物体危険性識別方法と装置は、より正確な物体危険性識別結果を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施例による物体危険性識別方法を説明したフローチャートである。
【図２】本発明の一例により、ステレオカメラの撮影した画像に基づき、画像中の物体の異質ポイントクラウドを生成する方法を説明したフローチャートである。
【図３】本発明の一例により、異質ポイントクラウド中の点の深度情報と平面画像情報に基づき、物体の立体形状の危険性を示す第一危険性パラメータを生成する方法を説明したフローチャートである。
【図４】本発明の一例により、異質ポイントクラウド中の点の深度情報と平面画像情報に基づき計算した当該異質ポイントクラウドに対応する辺加重行列により、当該異質ポイントクラウドの二次元投影を生成する方法を説明したフローチャートである。
【図５ａ】ステレオカメラの撮影した画像中の物体が人に所持された棒である時に、図2に示した方法により生成した異質ポイントクラウドの例の概念図である。
【図５ｂ】図5aに示した異質ポイントクラウドに基づき、図4に示した方法により生成した二次元投影の例の概念図である。
【図６】本発明の一例により、異質ポイントクラウド中の点の深度情報と平面画像情報に基づき、当該異質ポイントクラウドに対応する物体の表面特徴を確定し、表面特徴に基づき第二危険性パラメータを生成する方法を説明したフローチャートである。
【図７ａ】深度情報と、物体の二次元模様に基づき取得した立体模様の概念図である。
【図７ｂ】深度情報と、物体の二次元模様に基づき取得した別の立体模様の概念図である。
【図８】本発明の一実施例による物体危険性識別装置のモデル的構造ブロック図である。
【図９】本発明の一実施例による第一パラメータ生成ユニットのモデル的構造ブロック図である。
【図１０】本発明の一実施例による第二パラメータ生成ユニットのモデル的構造ブロック図である。
【図１１】本発明の実施例に基づいた、物体の危険性を識別するハードウェア・システムのハードウェア全体ブロック図である。
【発明を実施するための形態】
【００１１】
本分野の技術者（即ち、当業者）に、より良く本発明を理解していただくために、以下、図面を参考にして本発明の好ましい実施例について詳細に説明する。注意することは、本明細書と図面において、基本的に同じステップや要素をもつ場合は、同じ図面記号で表示し、これらのステップと要素についての重複説明は省略されていることである。
【００１２】
本発明の実施例による物体危険性識別方法と装置は、ステレオカメラを含む監視システムに応用することができる。例えば、ステレオカメラは二眼カメラで良い。この他、ステレオカメラの具体的形式はこれに限らず、画像中の対象の深度情報を取得することのできる他のいかなるカメラでも良い。この他、本発明による実施例では、物体は監視システムの監視空間に置かれた物体でも、監視システムの監視空間に出現した人の所持する物体でも良い。
【００１３】
図1は、本発明の一実施例による物体危険性識別方法100を説明したフローチャートである。以下、図1を参照しながら、本発明の実施例による物体危険性識別方法100（以下、単に「識別方法100」と言う）を説明する。図1に示すように、ステップS101で、ステレオカメラの撮影した画像に基づき、画像中の物体の異質ポイントクラウドを生成し、そこにおいて異質ポイントクラウド中の各点は深度情報と平面画像情報を有する。図2は、本発明の一例により、ステレオカメラの撮影した画像に基づき、画像中の物体の異質ポイントクラウドを生成する方法200を説明したフローチャートである。図2に示すように、ステップS201で、画像の前景物体区域中に物体が存在するか否かを確定することができる。例えば、ステップS201では、例えば静的モデル構築方法により、またGMM（混合ガウスモデル）等の動的モデル構築方法の類の如何なるモデル構築方法を使用しても、ステレオカメラの取得した深度画像によっても、背景モデルを生成することができる。背景除去方法を利用して、画像中の前景画素を取り出し、前景区域を取得する。その後、前景物体区域に物体が存在するか否かを確定する。
【００１４】
例えば、識別する物体が人の所持する物体だと言うことが予め確定している場合、前景区域から所持している人を検出し所持品の位置を確定することができる。より具体的に言うと、先ず、深度画像の前景区域で如何なる人体検出技術を使用しても、人体区域を検出することができる。人体区域を取得した後、更に進んで、視覚表現情報（例えば勾配ヒストグラムHoG、スケール不変特徴量変換SIFT等の特徴）を利用し、より精密な人体モデルを構築することができ、これにより普通の人体区域中から物を所持している人を区分できる。その後、当該物を所持している人に所持された物体が存在するか否かを確定する。如何なる物体の位置確定方法も、例えば古典的なスライディング・ウィンドウ方法や、物体性による検出方法、或いは高級なヒューリスティック検索方法も、全て、このステップの処理に応用することができる。
【００１５】
物体の存在が確定した時は、ステップS202で、ステレオカメラの撮影した画像に基づき、物体の異質ポイントクラウドを生成する。本発明の一例によれば、ステップS202で、先ず前景物体区域中に存在する物体に対応する画素点中の、各画素点の平面画像情報と深度画像情報を取得することができる。本発明の一例によれば、平面画像情報は、当該画素点の平面画像中にある平面位置情報、色情報、グレースケール情報および／或いは明度情報等を含むことができる。この他、本発明の別の例によれば、ステレオカメラの撮影した画像に基づき、各画素点の視差値を計算し、視差値により当該画素点の深度情報を取得することができる。その後、物体に対応する画素の位置座標を、カメラ座標系から真実世界の三次元座標系に変換し、これにより異質ポイントクラウド
2016095850.tif 000003
を生成する。異質ポイントクラウドはポイントクラウド（即ち、点の集まり）中の各画素点が三次元座標だけでなく、色情報、グレースケール情報および／或いは明度情報等の平面画像情報も有していることを指す。
【００１６】
図1に戻り、ステップS102で、異質ポイントクラウド中の点の深度情報と平面画像情報に基づき、当該異質ポイントクラウドに対応する物体の立体形状を確定し、立体形状に基づき第一危険性パラメータを生成する。図3は、本発明の一例により、異質ポイントクラウド中の点の深度情報と平面画像情報に基づき、物体の立体形状の危険性を示す第一危険性パラメータ300を生成する方法を説明したフローチャートである。図3に示すように、ステップS301で、異質ポイントクラウド中の点の深度情報と平面画像情報に基づき、異質ポイントクラウドの複数方向における二次元投影を生成する。本発明の一例によれば、三次元空間中の異質ポイントクラウドを、任意の二つの座標軸で確定した平面上に投影し、複数の二次元投影を取得する。本発明の別の例によれば、物体の異質ポイントクラウドを多様体の高次元観測と見なし、それにLaplace  Beltrami算式を応用して複数の二次元特徴投影（即ち、二次元投影）を生成すると、これらの特徴投影は当該多様体の低次元特徴と見なすことができる。具体的には、各物体が本質的に全て、唯一の低次元特徴により表せると仮定すると、当該低次元特徴は人の感知する当該物体の各種各様の高次元観測中にはめ込まれる。異質ポイントクラウドにLaplace  Beltrami算式を操作することにより、物体の、これら複雑で説明しがたい高次元観測に基づき、低次元特徴が取得でき、本多様体の顕著な属性を説明しやすくなる。この他、異なる視覚から観察した高次元観測には、全て同様の物体の低次元多様体が潜んでいると仮定できるので、Laplace  Beltrami算式により生成した複数の二次元特徴投影は、空間回転校正能力を有しており、現実の複雑な観測条件下で、ロバストで、一致性を保った形状描写を生み出すことができる。
【００１７】
この他、Laplace  Beltrami算式を応用して複数の二次元特徴を生成するので、投影アルゴリズムはやや複雑となる。本発明のまた一つの例によれば、ポイントクラウドに加重Laplacian計算を行うことによってLaplace  Beltrami算式操作に近似させ、これにより空間回転校正能力を備えた二次元特徴投影を取得するために必要な計算を簡略化することができる。言い換えれば、異質ポイントクラウド中の点の深度情報と平面画像情報に基づき計算した当該異質ポイントクラウドに対応する辺加重行列により、当該異質ポイントクラウドの二次元投影を生成することができる。図4は、本発明の一例により、異質ポイントクラウド中の点の深度情報と平面画像情報に基づき計算した当該異質ポイントクラウドに対応する辺加重行列により、当該異質ポイントクラウドの二次元投影を生成する方法を説明した400のフローチャートである。
【００１８】
図4に示すように、ステップS401では、異質ポイントクラウド中の点の深度情報と平面画像情報により異質ポイントクラウド中の二点間の辺加重を計算するが、そこにおいて、各辺加重は異質ポイントクラウド中の二点間の関係を示す。例えば、以下の公式（1）により異質ポイントクラウド中の二点間の辺加重を計算することができる。
【数１】
2016095850.tif 000004
【００１９】
ここで、piとpjは異質ポイントクラウド中の点、wijは点piと点pj間の辺加重、dist3Dは点piと点pjの三次元座標により計算した点piと点pj間の距離、distvisualは点piと点pjの、例えば色情報、グレースケール情報および／或いは明度情報の類の平面画像情報により計算した、点piと点pj間の視覚相似性を表す。α1とα2は値[0,1]のトレードオフ・パラメータで、tは実数値の定数である。つまり、dist3Dは異質ポイントクラウド中の二点間の空間関係を示し、distvisualは異質ポイントクラウド中の二点間の視覚相似性を示すことができる。wijの取る値の範囲は[0,1]であり、上記公式（3）により、異質天雲中の二点間の距離が大きく、かつ視覚相似性が低い場合は、対応する辺加重が0の近くに置かれ、逆の場合は加重が1の近くに置かれることが分かる。
【００２０】
その後、ステップS402で、計算した辺加重により、異質ポイントクラウドの辺加重行列を生成する。具体的には、ステップS401で計算した辺加重を組み合わせて、異質ポイントクラウドの辺加重行列を生成することができる。
【００２１】
その後、加重行列により、三次元物体形状に対し回転校正能力を有する二次元投影を生成することができる。本発明の一例によれば、二次元投影は辺加重行列の特徴ベクトルを解くことにより生成することができる。具体的には、ステップS403で、辺加重行列の少なくとも一部分の特徴値に対応する特徴ベクトルを計算する。例えば、先ず、辺加重行列の特徴値を計算する。その後、以下の公式（2）により、異質ポイントクラウドの辺加重行列Wの特徴ベクトルｆを計算することができる。
【数２】
2016095850.tif 000005
【００２２】
ここで、DはW中の要素を列に従って足して得られた対角行列を表し、λは特徴値、ｆは特徴値に対応する特徴ベクトルを表す。
【００２３】
続いて、計算した特徴値の中で、複数（例えば3個）の0でない最小の特徴値（f1,f2,f3）を選択して回転校正後の三次元物体形状を表し、選択した特徴値と特徴ベクトルに基づいて、後に続く物体の顕著な低次元特徴（即ち、二次元投影）を更に算出できるようにする。最小の3個の0でない特徴値は、物体の相互に直交した3個の主方向を示す。
【００２４】
ステップS404で、計算した特徴ベクトルに基づき、前記二次元投影を生成する。例えば、ステップS403で取得したこれらの特徴ベクトルを二つずつ結合することにより、複数の二次元投影
（外１）
2016095850.tif 000006
を生成することができる。例えば、ステップS403で、3個の0でない最小の特徴値に対応する特徴ベクトルを選択した場合、以下の公式（3）に従って3個の二次元投影を生成することができる。
【数３】
2016095850.tif 000007
【００２５】
このうち、
（外２）
2016095850.tif 000008
は、物体の形状特徴を最も良く体現する3個の二次元投影である。本分野の技術者なら理解できるように、識別過程を簡略化するために、より少ない二次元投影を計算することができる。他方、識別の正確性を増すために、より多くの二次元投影を計算することもできる。
【００２６】
図5aは、ステレオカメラの撮影した画像中の物体が人に所持された棒である時に、図2に示した方法200により生成した異質ポイントクラウド
（外３）
2016095850.tif 000009
の概念図である。図5bは、図5aに示した異質ポイントクラウド
（外４）
2016095850.tif 000010
に基づき、図4に示した方法400により生成した二次元投影
（外５）
2016095850.tif 000011
の例の概念図である。
【００２７】
図3に戻り、複数の二次元投影を取得した後、一方のステップS302で、各二次元投影自身の属性情報に基づき、当該二次元投影の投影危険性パラメータを生成し、異質ポイントクラウドの各二次元投影の投影危険性パラメータに基づき、当該異質ポイントクラウドの自己危険性パラメータを生成する。例えば、各二次元投影中の物体の現す形状、大きさ等の属性情報に基づき、当該二次元投影の投影危険性パラメータを生成することができる。
【００２８】
本発明の一例によれば、二次元投影において物体を計算した大体の形状に基づき、物体の形状が滑らかで丸く艶のある時は、当該物体の危険性が低いことを意味している可能性がある。例えば、以下の公式（4）により、物体の大体の形状に関するパラメータRを計算することができる。
【数４】
2016095850.tif 000012
【００２９】
このうち、関数Range()は二次元投影の或る方向でのスパンを測るもので、例えば具体的には、この方向上の最大値と最小値の差の計算を用いることができ、
（外6）
2016095850.tif 000013
は比較性数値化関数で、この数値化関数はRange()関数値の差を［0,1］に変換することができる。物体の大体の形状に関するパラメータRが1に近いほど、危険な物体である可能性をもつことを表す。
【００３０】
また例えば、二次元投影中で物体の輪郭（即ち、周囲の長さ）と面積の関係を計算することができ、周囲の長さと面積値の差が大きい時ほど、自己危険性パラメータは当該物体が危険であること示す。また例えば、以下の公式（5）により二次元投影における物体の輪郭と面積との間の関係Cを計算することができる。
【数５】
2016095850.tif 000014
関数Perimeter()は二次元投影中の物体の輪郭線の長さを計算し、関数Area()は二次元投影中の物体が占める面積を計算する。関数Γ()は、関数Perimeter()とArea()の二つの値の比率を利用して実現するか、或いは概略画像の面積と、同じ直径の円の面積との間の正規化の差を用いて表すことができる。この複雑度の評点も［0,1］に数値化することができ、値が1の時は物体が危険性を有する可能性がより高いことを表す。
【００３１】
各二次元投影の投影危険性パラメータが、当該二次元投影中にある物体の大体の形状のパラメータRと、二次元投影中にある物体の輪郭と面積の間の関係Cを含み、また前に3個の二次元投影を計算してある場合は、以下の公式（6）により異質ポイントクラウドの自己危険性パラメータSAを生成することができる。
【数６】
2016095850.tif 000015
【００３２】
ここで、評点融合関数
（外7）
2016095850.tif 000016
は、簡単に各評点の算術平均値を用いることも、極値ポーリング等のような他の複雑な方法を取り入れることもできる。SA評点の取る値の範囲は［0,1］で良い。
【００３３】
他方、違う角度から変わった形状をした物体を観察すると、非常に異なる観測データが得られ、変わった形状の物体は攻撃的物体と関係がある可能性がある。このため、複数の特徴投影の全ての二相比較特徴に対する総合分析に基づき、物体形状の比較危険性パラメータが算出できる。例えば、図5bでは、
（外8）
2016095850.tif 000017
と
（外9）
2016095850.tif 000018
および
（外10）
2016095850.tif 000019
の差が比較的大きいので、図5bに示された物体は、攻撃的物体と関係がある可能性がある。ステップS303で、各二次元特徴の属性情報を比較し、比較結果に基づき、当該異質ポイントクラウドの比較危険性パラメータを生成することができる。例えば、3個の二次元投影が得られた場合、以下の公式（7）により異質ポイントクラウドの比較危険性パラメータSSを生成することができる。
【数７】
2016095850.tif 000020
【００３４】
ここで、関数Diff()は、二つの投影間の比較性特徴を測り、［0,1］の値を出力して投影差異の顕著性を表す。具体的には、面積の差を計算する方式、或いは他のふさわしい表現方式を用いて、投影の占める面積の不一致性を表すことができる。
【００３５】
その後、ステップS304で、自己危険性パラメータと比較危険性パラメータに基づき、第一危険性パラメータを生成する。例えば、以下の公式（8）により、異質ポイントクラウドの二次元投影中に現れた属性を示す自己危険性パラメータと、異質ポイントクラウドの三次元形状中に現れた属性を示す比較危険性パラメータを結合し、第一危険性パラメータRiskshapeを生成する。
【数８】
2016095850.tif 000021
【００３６】
ここで、関数M()は、評点SAとSSの融合スキームをモデル構築している。ここでは、関数M()に、管理された方法、例えば線形回帰を用い、既に観測したデータを十分に利用して、形状侵犯性推定の正確性を高めることができる。関数M()に他のより複雑な、例えばlogistic回帰等を用いることもできる。形状リスク値Riskshapeの取る値は［0,1］にあり、値が大きいほど危険な物体である可能性を表す。
【００３７】
図1に戻り、ステップS103で、異質ポイントクラウド中の点の深度情報と平面画像情報に基づき、当該異質ポイントクラウドに対応する物体の表面特徴を確定し、表面特徴に基づき第二危険性パラメータを生成する。視覚監視システム中にあるので、カメラは常に高所に架設され、大きな俯瞰角度を有する。本発明の一例によれば、先ず、前記異質ポイントクラウドを座標変換し、これにより周囲の観察者の得た、物体の実際の視覚的感覚をより良好に表すことができる。例えば、異質ポイントクラウド中の点の深度情報と平面画像情報に基づき、異質ポイントクラウドを座標変換し、そこにおいて、平面画像情報は平面位置情報を含む。座標変換において、異質ポイントクラウド中に同じ平面位置情報を有する複数の点のうち、最小深度を有する点だけを保留する。例えば、以下の公式（9）により異質ポイントクラウドを座標変換する。
【数９】
2016095850.tif 000022
【００３８】
ここで、Sは座標変換を行った後の物体の表面情報を表し、物体周囲の人の感知する視覚表現情報を反映する。mは異質ポイントクラウド中で観察者から最も近い点のインデックスで、同じ座標(xw,yw)を有する全てのzwの値を検索してmが得られる。
（外11）
2016095850.tif 000023
は(xw,yw)に保留された平面画像情報を表す。上記のように、座標変換において、異質ポイントクラウド中に同じ平面位置情報を有する複数の点のうち最小深度を有する点だけを保留し、これにより、同じ座標(xw,yw)を有する点のうちインデックスがmの点が含む平面画像情報と深度情報を当該点に付与し、他の全ての点の情報を無視することができる。その後、座標変換後の物体表面の点の深度情報と平面画像情報に基づき、当該異質ポイントクラウドに対応する物体の模様および／或いは材質を確定し、模様および／或いは材質に基づき、第二危険性パラメータを生成する。
【００３９】
図6は、本発明の一例により、異質ポイントクラウド中の点の深度情報と平面画像情報に基づき、当該異質ポイントクラウドに対応する物体の表面特徴を確定し、表面特徴に基づき第二危険性パラメータを生成する方法600を説明したフローチャートである。上記のように異質ポイントクラウドを座標変換した場合には、方法600では変換後の異質ポイントクラウドを使用する。
【００４０】
図6に示すように、ステップS601で、異質ポイントクラウド中の点の深度情報と表面画像情報に基づき、物体の立体模様情報を取得し、取得した立体模様情報に基づき模様危険性パラメータを生成する。具体的には、平面画像情報に基づき物体表面の二次元模様を確定することができる。例えば、SIFTやHoG或いはtextonsと言った類の二次元模様描写方法により平面画像情報に基づき物体表面の二次元模様を確定することができる。この他、深度情報と、物体の二次元模様に基づき、物体の立体模様情報を取得することができる。図7aは、深度情報と、物体の二次元模様に基づき取得した立体模様の概念図である。図7bは、深度情報と、物体の二次元模様に基づき取得した別の立体模様の概念図である。図7aに示すように、深度情報と、物体の二次元模様に基づき、物体710の表面の模様を平面模様と確定することができる。この他、図7bに示すように、深度情報と、物体の二次元模様により、物体720の表面の模様を突起と確定することができる。例えば、以下の公式（10）により局部的模様断片の間の相対的距離を表すことができ、そこでは、局部的模様断片の間の空間関係が、それぞれ凹み、平面および突起の｛−1,0,1｝と言う3種類の状態を表すものと定義される。
【数１０】
2016095850.tif 000024
【００４１】
このうち、tiは局部的模様断片を表し、neighbor  of  tiはtiと隣り合った局部的模様断片、depth()はtiの表す局部的模様断片と観察者との距離の値を表す。tはtiの表す局部的模様断片の構造増強後の模様を表す。人々が理解するとおり、凹み或いは突起の様態を有する模様は往々にして高いリスクの可能性を表す。
【００４２】
図6に戻り、ステップS602で、異質ポイントクラウド中の点の平面画像情報に基づき、物体の材質情報を取得し、取得した材質情報に基づき材質危険性パラメータを生成することができる。例えば、平面画像情報から物体表面の光線反射情報を取得し、物体表面の光線反射情報に基づき物体の材質を確定することができる。
【００４３】
その後、ステップS603で、模様危険性パラメータと材質危険性パラメータに基づき第二危険性パラメータを生成する。例えば、以下の公式（11）により模様危険性パラメータと材質危険性パラメータを結合して第二危険性パラメータRiskvisualを生成することができる。
【数１１】
2016095850.tif 000025
【００４４】
このうち、Tは模様危険性パラメータを表し、Rは材質危険性パラメータを表し、V()は模様危険性パラメータTと材質危険性パラメータRを結合する結合関数を表す。例えば、V()は線形回帰、logistic回帰等の関数で良い。Riskvisualの取る値は［0, 1］で良く、値が大きいほど危険な物体である可能性を表す。
【００４５】
図1に戻り、第一危険性パラメータと第二危険性パラメータを取得した後、ステップS104で、第一危険性パラメータと第二危険性パラメータに基づき、異質ポイントクラウドに対応する物体の総合危険性パラメータを生成する。例えば、総合危険性パラメータを生成する時、ステップS102で取得した第一危険性パラメータと、ステップS103で取得した第二危険性パラメータが、同じ加重をもつと考えることができる。また例えば、第一危険性パラメータと第二危険性パラメータ各々に関する識別正確率の履歴情報や、現在の異質ポイントクラウドに対応する物体の特徴等に基づき、第一危険性パラメータと第二危険性パラメータの加重を調整することができる。
【００４６】
本発明の一例によれば、第一危険性パラメータと第二危険性パラメータ各々に関する識別正確率の履歴情報および／或いは物体の表面情報に基づき、第一危険性パラメータに関する第一加重と、第二危険性パラメータに関する第二加重を生成することができる。本発明の一例によれば、以下の公式（12）により、第一危険性パラメータと第二危険性パラメータ各々に関する識別正確率の履歴情報を利用して、第一危険性パラメータに関する加重と第二危険性パラメータに関する加重を取得することができる。
【数１２】
2016095850.tif 000026
【００４７】
このうち、accshapeは第一危険性パラメータの履歴危険性識別正確率を表し、accvisualは第二危険性パラメータの履歴危険性識別正確率を表し、accshapeとaccvisualの取る値の範囲は［0,1］である。wshapeは第一危険性パラメータの加重で、wvisualは第二危険性パラメータの加重である。
【００４８】
この他、本発明の別の例によると、より多くの物体表面を観測すれば、物体の表面特徴に基づく推定が更に信頼性を増すと考えることができ、これにより、第二危険性パラメータの加重を増加させることができる。反対に、少ない物体表面しか観測できない場合は、第二危険性パラメータの加重を減らすことができる。例えば、上記公式（12）の履歴情報による加重調整以外に、以下の公式（13）により、物体の表面情報に基づき、第一危険性パラメータに関する加重と第二危険性パラメータに関する加重を取得することもできる。
【数１３】
2016095850.tif 000027
【００４９】
このうち、Δwは物体の表面情報に基づき加重を調整する調整係数を表し、その取る値の範囲は［−1,1］である。Robjectは画像中で観測した物体の表面を表し、R3D−objectは物体の三次元世界座標系での真実の表面を表す。
（外12）
2016095850.tif 000028
は履歴情報と物体の表面情報後の第一危険性パラメータに基づく第一加重を表し、
（外13）
2016095850.tif 000029
は履歴情報と物体の表面情報後の第二危険性パラメータに基づく第二加重を表す。
【００５０】
その後、加重後の第一危険性パラメータと加重後の第二危険性パラメータに基づき、例えば、以下の公式（14）により総合危険性パラメータdangerousness  scoreを生成することができる。
【数１４】
2016095850.tif 000030
【００５１】
総合危険性パラメータdangerousness  scoreの取る値の範囲は［0,1］で、値が大きいほど危険な物体である可能性がある。
【００５２】
本発明の以上の実施例による物体危険性識別方法により、危険性パラメータで定性的に一般的意味における物体の危険性を確定することができ、これにより危険物に対する具体的なモデル構築をしなくても済む。このため、本発明の実施例の物体危険性識別方法により、大量で変化を伴う危険物が出現する可能性のある実際の監視場面に、より弾力的に、より有効に応用できる。この他、ステレオカメラの撮影した画像から取得した画像中の物体の深度情報と平面画像情報の両方を使用し、物体の立体形状の危険性を示す第一危険性パラメータと、物体の表面特徴の危険性を示す第二危険性パラメータを確定し、第一危険性パラメータと第二危険性パラメータを結合して物体の危険性を判断することにより、従来の物体危険性判断方法に比べ、本発明の実施例による物体危険性識別方法は、より正確な物体危険性識別結果を提供することができる。
【００５３】
以下、図8を参照し、本発明の実施例の物体危険性識別装置を説明する。図8は、本発明の一実施例による物体危険性識別装置800のモデル的構造ブロック図である。図8に示すように、本実施例の物体危険性識別装置800は、ポイントクラウド生成ユニット810、第一パラメータ生成ユニット820、第二パラメータ生成ユニット830、総合パラメータ生成ユニット840を含む。物体危険性識別装置800の各ユニットは、それぞれ上記図1の物体危険性識別方法100の各ステップ／機能を実行することができる。このため、以下では、物体危険性識別装置800の主要部材についてのみ説明し、上記で既に図1と結合して説明した細部の内容は省略した。
【００５４】
ポイントクラウド生成ユニット810は、ステレオカメラの撮影した画像に基づき、画像中の物体の異質ポイントクラウドを生成し、そこにおいて異質ポイントクラウド中の各点は深度情報と平面画像情報を有する。本発明の一例によれば、ポイントクラウド生成ユニット810は画像の前景物体区域中に物体が存在するか否かを確定することができる。例えば、静的モデル構築方法により、またGMM（混合ガウスモデル）等の動的モデル構築方法の類の如何なるモデル構築方法を使用しても、ステレオカメラの取得した深度画像によっても、背景モデルを生成することができる。背景除去方法を利用して、画像中の前景画素を取り出し、前景区域を取得する。その後、ポイントクラウド生成ユニット810は、前景物体区域に物体が存在するか否かを確定することができる。例えば、識別する物体が人の所持する物体だと言うことが予め確定している場合、前景区域から所持している人を検出し所持品の位置を確定することができる。物体の存在が確定した時は、ポイントクラウド生成ユニット810で、ステレオカメラの撮影した画像に基づき、物体の異質ポイントクラウドを生成する。本発明の一例によれば、ポイントクラウド生成ユニット810は、先ず前景物体区域中に存在する物体に対応する画素点中の、各画素点の平面画像情報と深度画像情報を取得することができる。本発明の一例によれば、平面画像情報は、当該画素点の平面画像中にある平面位置情報、色情報、グレースケール情報および／或いは明度情報等を含むことができる。この他、本発明の別の例によれば、ステレオカメラの撮影した画像に基づき、各画素点の視差値を計算し、視差値に基づき当該画素点の深度情報を取得することができる。その後、物体に対応する画素の位置座標を、カメラ座標系から真実世界の三次元座標系に変換し、これにより異質ポイントクラウドを生成し保有する。異質ポイントクラウドはポイントクラウド（即ち、点の集まり）中の各画素点が三次元座標だけでなく、色情報、グレースケール情報および／或いは明度情報等の平面画像情報も有しているものを指す。
【００５５】
第一パラメータ生成ユニット820は、異質ポイントクラウド中の点の深度情報と平面画像情報に基づき、当該異質ポイントクラウドに対応する物体の立体形状を確定し、立体形状に基づき第一危険性パラメータを生成する。図9は、本発明の一実施例による第一パラメータ生成ユニット820のモデル的構造ブロック図である。図9に示すように、本実施例の第一パラメータ生成ユニット820は、投影生成モジュール910、自己パラメータ生成モジュール920、比較パラメータ生成モジュール930および第一パラメータ生成モジュール940を含む。第一パラメータ生成ユニット820の各モジュールは、それぞれ上記図3の、異質ポイントクラウド中の点の深度情報と平面画像情報に基づき物体の立体形状の危険性を示す第一危険性パラメータの方法300の各ステップ／機能を実行することができる。このため、以下では、第一パラメータ生成ユニット820の主要部材についてのみ説明を行い、上記で既に図3と結合して説明した細部の内容は省略した。
【００５６】
投影生成モジュール910は、異質ポイントクラウド中の点の深度情報と平面画像情報に基づき、異質ポイントクラウドの複数方向における二次元投影を生成する。本発明の一例によれば、三次元空間中の異質ポイントクラウドを、任意の二つの座標軸の確定する平面上に投影し、複数の二次元投影を取得することができる。本発明の別の例によれば、物体の異質ポイントクラウドを多様体の高次元観測と見なし、それにLaplace  Beltrami算式を応用して複数の二次元特徴投影（即ち、二次元投影）を生成すると、これらの特徴投影は当該多様体の低次元特徴と見なすことができる。具体的には、各物体が本質的に全て、唯一の低次元特徴により表せると仮定すると、当該低次元特徴は人の感知する当該物体の各種各様の高次元観測中にはめ込まれる。異質ポイントクラウドにLaplace  Beltrami算式を操作することにより、物体の、これら複雑で説明しがたい高次元観測に基づき、低次元特徴が取得でき、本多様体の顕著な属性を説明しやすくなる。この他、異なる視覚から観察した高次元観測には、全て同様の物体の低次元多様体が潜んでいると仮定できるので、Laplace  Beltrami算式により生成した複数の二次元特徴投影は、空間回転校正能力を有しており、現実の複雑な観測条件下で、ロバストで、一致性を保った形状描写を生み出すことができる。
【００５７】
この他、Laplace  Beltrami算式を応用して複数の二次元特徴を生成するので、投影アルゴリズムはやや複雑となる。本発明のまた一つの例によれば、ポイントクラウドに加重Laplacian計算を行うことによってLaplace  Beltrami算式操作に近似させ、これにより空間回転校正能力を備えた二次元特徴投影を取得するために必要な計算を簡略化することができる。言い換えれば、異質ポイントクラウド中の点の深度情報と平面画像情報に基づき計算した当該異質ポイントクラウドに対応する辺加重行列により、当該異質ポイントクラウドの二次元投影を生成することができる。例えば、投影生成モジュール910は、先ず、異質ポイントクラウド中の点の深度情報と平面画像情報により異質ポイントクラウド中の二点間の辺加重を計算するが、そこにおいて、各辺加重は異質ポイントクラウド中の二点間の関係を示し、その後、計算した辺加重により、異質ポイントクラウドの辺加重行列を生成し、辺加重行列の少なくとも一部分の特徴値に対応する特徴ベクトルを計算し、計算した特徴ベクトルに基づき、前記二次元投影を生成することができる。
【００５８】
複数の二次元投影を取得した後、自己パラメータ生成モジュール920は、各二次元投影自身の属性情報に基づき、当該二次元投影の投影危険性パラメータを生成し、異質ポイントクラウドの各二次元投影の各投影危険性パラメータに基づき、当該異質ポイントクラウドの自己危険性パラメータを生成する。例えば、各二次元投影中の物体の現す形状、大きさ等の属性情報に基づき、当該二次元投影の投影危険性パラメータを生成することができる。また例えば、自己パラメータ生成モジュール920は、上記の公式（4）−（6）により自己危険性パラメータを計算することができる。
【００５９】
他方、違う角度から変わった形状をした物体を観察すると、非常に異なる観測データが得られ、変わった形状の物体は攻撃的物体と関係がある可能性がある。このため、複数の特徴投影の全ての二相比較特徴に対する総合分析に基づき、物体形状の比較危険性パラメータが算出できる。このため、比較パラメータ生成モジュール930は、各二次元投影の属性情報を比較し、比較結果に基づき、当該異質ポイントクラウドの比較危険性パラメータを生成することができる。
【００６０】
その後、第一パラメータ生成モジュール940は、自己パラメータ生成モジュール920の生成する自己危険性パラメータと、比較パラメータ生成モジュール930の生成する比較危険性パラメータに基づき、第一危険性パラメータを生成することができる。例えば、第一パラメータ生成モジュール940は、上記の公式（8）により、異質ポイントクラウドの二次元投影に現れた属性を示す自己危険性パラメータと、異質ポイントクラウドの三次元形状に現れた属性を示す比較危険性パラメータを結合し、第一危険性パラメータを生成することができる。
【００６１】
図8に戻り、第二パラメータ生成ユニット830は、異質ポイントクラウド中の点の深度情報と平面画像情報に基づき、当該異質ポイントクラウドに対応する物体の表面特徴を確定し、表面特徴に基づき第二危険性パラメータを生成する。視覚監視システム中にあるので、カメラは常に高所に架設され、大きな俯瞰角度を有する。本発明の一例によれば、第二パラメ−タ生成ユニット830は、先ず、前記異質ポイントクラウドを座標変換し、これにより周囲の観察者の得た、物体の実際の視覚的感覚をより良好に表すことができる。例えば、異質ポイントクラウド中の点の深度情報と平面画像情報に基づき、異質ポイントクラウドを座標変換し、そこにおいて、平面画像情報は平面位置情報を含む。座標変換において、異質ポイントクラウド中に同じ平面位置情報を有する複数の点のうち、最小深度を有する点だけを保留する。例えば、第二パラメータ生成ユニット830は、上記の公式（9）により異質ポイントクラウドを座標変換することができる。
【００６２】
図10は、本発明の一実施例による第二パラメータ生成ユニット830のモデル的構造ブロック図である。図10に示すように、本実施例の第二パラメータ生成ユニット830は、模様パラメータ生成モジュール1010、材質パラメータ生成モジュール1020および第二パラメータ生成モジュール1030を含む。第二パラメータ生成ユニット830の各モジュールは、それぞれ上記図6の、異質ポイントクラウド中の点の深度情報と平面画像情報に基づき、当該異質ポイントクラウドに対応する物体の表面特徴を確定し、表面特徴に基づき第二危険性パラメータを生成する方法600の各ステップ／機能を生成する。このため、以下では、第二パラメータ生成ユニット830の主要部材についてのみ説明を行い、上記で既に図6と結合して説明した細部の内容は省略した。
【００６３】
模様パラメータ生成モジュール1010は、異質ポイントクラウド中の点の深度情報と表面画像情報に基づき、物体の立体模様情報を取得し、取得した立体模様情報に基づき模様危険性パラメータを生成する。具体的には、模様パラメータ生成モジュール1010は、平面画像情報に基づき物体表面の二次元模様を確定することができる。例えば、SIFTやHoG或いはtextonsと言った類の二次元模様描写方法により、平面画像情報に基づき物体表面の二次元模様を確定することができる。この他、深度情報や、物体の二次元模様に基づき、物体の立体模様情報を取得することができる。例えば、模様パラメータ生成モジュール1010は、上記公式（10）により局部的模様断片間の相対距離を表し、これにより立体模様情報を得ることができる。
【００６４】
材質パラメータ生成モジュール1020は、異質ポイントクラウド中の点の平面画像情報に基づき、物体の材質情報を取得し、取得した材質情報に基づき材質危険性パラメータを生成することができる。例えば、平面画像情報中から物体表面の光線反射情報を取得し、物体表面の光線反射情報に基づき物体の材質を確定することができる。
【００６５】
その後、第二パラメータ生成モジュール1030は、模様危険性パラメータと材質危険性パラメータに基づき第二危険性パラメータを生成する。例えば、第二パラメータ生成モジュール1030は、上記公式（11）により模様危険性パラメータと材質危険性パラメータを結合して第二危険性パラメータを生成することができる。
【００６６】
図8に戻り、第一危険性パラメータと第二危険性パラメータを取得した後、総合パラメータ生成ユニット840は、第一危険性パラメータと第二危険性パラメータに基づき、異質ポイントクラウドに対応する物体の総合危険性パラメータを生成する。例えば、総合危険性パラメータを生成する時、第一パラメータ生成ユニット820の取得した第一危険性パラメータと、第二パラメータ生成ユニット830の取得した第二危険性パラメータが、同じ加重をもつと考えることができる。また例えば、第一危険性パラメータと第二危険性パラメータ各々に関する識別正確率の履歴情報や、現在の異質ポイントクラウドに対応する物体の特徴等に基づき、第一危険性パラメータと第二危険性パラメータの加重を調整することができる。
【００６７】
本発明の一実例により、総合パラメータ生成ユニット840は、先ず、第一危険性パラメータと第二危険性パラメータ各々に関する識別正確率の履歴情報および／或いは物体の表面情報に基づき、第一危険性パラメータに関する第一加重と、第二危険性パラメータに関する第二加重を生成することができる。例えば、総合パラメータ生成ユニット840は、上記に基づき、上記公式（12）と（13）により、第一危険性パラメータと第二危険性パラメータ各々に関する識別正確率の履歴情報と物体の表面情報に基づき、第一加重と第二加重を生成することができる。その後、加重後の第一危険性パラメータと加重後の第二危険性パラメータに基づき、総合パラメータ生成ユニット840は、例えば、上記公式（14）により総合危険性パラメータを生成することができる。
【００６８】
本発明の上記実施例による物体危険性識別装置により、危険性パラメータで定性的に一般的な意味における物体の危険性を確定することができ、これにより危険物に対する具体的なモデル構築をしなくても済む。このため、本発明の実施例の物体危険性識別装置により、大量で変化を伴う危険物が出現する可能性のある実際の監視場面に、より弾力的に、より有効に応用できる。この他、ステレオカメラの撮影した画像から取得した画像中の物体の深度情報と平面画像情報の両方を使用し、物体の立体形状の危険性を示す第一危険性パラメータと、物体の表面特徴の危険性を示す第二危険性パラメータを確定し、第一危険性パラメータと第二危険性パラメータを結合して物体の危険性を判断することにより、従来の物体危険性判断装置に比べ、本発明の実施例による物体危険性識別装置は、より正確な物体危険性識別結果を提供することができる。
【００６９】
この他、本発明の別の例によれば、本発明は物体危険性識別のハードウェア・システムにより実施することもできる。図11は本発明の実施例に従った物体危険性識別のハードウェア・システム1100の全体ハードウェアブロック図である。図11に示すように、物体危険性識別ハードウェア・システム1100は、外部から、例えばステレオカメラで撮影した左画像と右画像、ステレオカメラのパラメータ、或いは当初視差画像等の関係画像或いは情報を入力するために用い、例えば、キーボード、マウス、ならびに通信ネットワークおよびその接続する遠隔入力部等が含まれる入力部1110、本発明の実施例に従い物体の危険性を識別する上記方法の実施に用い、例えば、コンピュータの中央処理器或いは処理能力を有するその他のチップ等を含み、この他、例えばインターネット・ネットワーク（未表示）にも接続し、処理過程の必要に応じ処理後の画像等を遠隔伝送する処理部1120、外部に向け、上記物体危険性識別方法を実行して得られた結果を出力するために用い、例えばディスプレー、プリンター、ならびに通信ネットワークおよびその接続する遠隔出力部等を含む出力部1130、ならびに揮発性或いは非揮発性方式で、上記物体危険性識別過程で言及した、例えばステレオカメラの撮影した画像、異質ポイントクラウド、深度情報および平面画像情報等を保存するために用い、例えば、ランダム・アクセス・メモリー（RAM）、読み取り専用メモリー（ROM）、ハードディスク、或いは半導体メモリー等の各種揮発性或いは非揮発性メモリーを含むメモリー部1140を含むことができる。
【００７０】
本技術分野に属する技術者であれば知っていることであるが、本発明は、システム、装置、方法或いはコンピュータ・プログラム製品に実現することができる。このため、本発明は具体的に、以下の形式、即ち、完全なハードウェアでも、完全なソフトウェア（ファームウェア、常駐ソフト、マイクロコード等を含む）でも、本文献で一般に「部材」、「モジュール」、「装置」或いは「システム」と呼ぶ、ハードウェアとソフトウェアの結合した形式でも実現することができる。この他、実施例においては、本発明を一つ或いは複数のコンピュータ読み取り可能媒体中のコンピュータ・プログラム製品の形式に実現することもでき、当該コンピュータ読み取り可能媒体にはコンピュータ読み取り可能なプログラムコードを含む。
【００７１】
一つ或いは複数のコンピュータ読み取り可能媒体の任意の組合せを用いることができる。コンピュータ読み取り可能媒体はコンピュータ読み取り可能信号媒体或いはコンピュータ読み取り可能記憶媒体である。コンピュータ読み取り可能記憶媒体は、例えば電気、磁気、光、ソレノイド、赤外線、或いは半導体システム、装置または器材、或いは以上の任意の組合せであるがこれに限られない。コンピュータ読み取り可能記憶媒体の更に具体的な例（全てのリストアップではない）は、一つ或いは複数の導線コネクター、ポータブルコンピュータ磁気ディスク、ハードディスク、ランダム・アクセス・メモリー（RAM）、読み取り専用メモリー（ROM）、消去可能プログラム可能読み取り専用メモリー（EPROM或いはフラッシュメモリー）、光ファイバー、ポータブル・コンパクトディスク読み取り専用メモリー（CD-ROM）、光メモリー器材、磁気メモリー器材、或いは上記の任意の適当な組み合わせを含む。本文献では、コンピュータ読み取り可能記憶媒体はプログラムを含む或いは記憶する如何なる有形媒体でもよく、当該プログラムはシステム、装置或いは器材を実行し使用するように或いはそれと結合して使用するように命令される。
【００７２】
コンピュータ読み取り可能信号媒体はベースバンド内の或いは搬送波の一部分として伝送されたデータ信号を含み、その中にコンピュータ読み取り可能プログラムコードがロードされている。この伝送データ信号は色々な形式を採用することができ、電磁信号、光信号、或いは上記の任意の適当な組み合わせを含むがこれに限られない。コンピュータ読み取り可能信号媒体はコンピュータ読み取り可能記憶媒体以外の如何なるコンピュータ読み取り可能媒体も含み、当該コンピュータ読み取り可能媒体はシステム、装置或いは器材を実行し使用するように或いはそれと結合して使用するように命令するプログラムを発送し、広げ、或いは伝送することができる。
【００７３】
コンピュータ読み取り可能媒体に含まれるプログラムコードは如何なる適当な媒体を用いても伝送でき、無線、電線、光ケーブル、RF等々、或いは上記の任意の適当な組み合わせを含むがこれに限られない。
【００７４】
一つ或いは複数のプログラム設計言語或いはその組合せによって本発明の操作に用いるコンピュータ・プログラムコードを編集することができ、前記プログラム設計言語には対象を配慮したプログラム設計言語―例えばJava(登録商標)、Smalltalk、C++を含み、常用の手続き型プログラム設計言語―例えば「C」言語或いは類似のプログラム設計言語も含む。プログラムコードは完全にユーザのコンピュータ上で実行することも、部分的にユーザのコンピュータ上で実行することも、一つの独立したソフトウェア・パッケージとして実行することも、一部はユーザのコンピュータ上で一部はリモート・コンピュータ上で実行することも、或いは完全にリモート・コンピュータ或いはサーバー上で実行することもできる。リモート・コンピュータに関係する場合には、リモート・コンピュータは任意の種類のネットワーク―ローカルエリアネットワーク（LAN）或いは広域ネットワーク（WAN）を含む―を通じてユーザのコンピュータに接続し、或いは、外部コンピュータと接続することができる（例えばインターネットサービスのプロバイダーを利用しインターネットを通じて接続する）。
【００７５】
以上、本発明の実施例の方法、装置（システム）及びコンピュータ・プログラム製品のフローチャート及び／またはブロック図を参照して本発明を説明した。理解すべきことは、フローチャート及び／またはブロック図の各ブロック並びにフローチャート及び／またはブロック図の各ブロックの組み合わせは、全てコンピュータ・プログラムが命令して実現できることである。これらのコンピュータ・プログラムの命令が汎用コンピュータ、専用コンピュータ或いは他のプログラム可能データ処理装置の処理器に提供され、一つの機器を生み出し、これらのコンピュータ・プログラム命令がコンピュータ或いは他のプログラム可能データ処理装置を通じて実行され、フローチャートそして／またはブロック図のブロック中に規定された機能／操作を実現する装置を生み出す。
【００７６】
これらのコンピュータ・プログラム命令を、コンピュータ或いは他のプログラム可能データ処理装置を特定の方式で作動させるコンピュータ読み取り可能媒体に記憶させることもでき、このようにして、コンピュータ読み取り可能媒体に保存した命令が、フローチャート及び／またはブロック図のブッロク中に規定された機能／操作の実現を含む命令装置（instruction  means）の製品（manufacture）を生み出す。
【００７７】
コンピュータ・プログラム命令をコンピュータ、他のプログラム可能データ処理装置、或いはその他の装置にローディングし、コンピュータや、他のプログラム可能データ処理装置或いは他の装置上で一連の操作ステップを実行して、コンピュータが実現するプロセスを生み出し、コンピュータ或いは他のプログラム可能装置上で実行する命令により、フローチャート及び／またはブロック図のブロック中に規定する機能／操作を実現するプロセスを提供する。
【００７８】
図面のフローチャート及びブロック図は本発明の幾つかの実施例に基づくシステムや、方法及びコンピュータ・プログラム製品の実現可能な構成体系、機能及び操作を示した。この点において、フローチャート或いはブロック図の各ブロックはモジュール、プログラム或いはコードの一部分を表し、前記モジュール、プログラム或いはコードの一部分は一つ或いは複数の規定されたロジック機能の実現に用いる実行可能な命令を含んでいる。ブロック図及び／またはフローチャート中の各ブロックや、ブロック図及び／またはフローチャート中のブロックの組み合わせは、規定された機能或いは操作を実行する専用のハードウェア・システムを用いて実現でき、或いは専用のハードウェアとコンピュータ命令の組み合わせを用いて実現できることにも注意が必要である。
【００７９】
以上、本発明の各実施例を説明したが、上記説明は例を示したもので、全てを説明し尽くしたわけではなく、また発表された各実施例に限るものでもない。多くの修正及び変更は、説明した各実施例の範囲及び考え方から外れていない限り、本技術分野の普通の技術者にしてみれば、全て明らかにそれと分かるものである。本文で用いた述語は、最も良く、各実施例の原理や、実際の応用または市場における技術改善を説明すること、或いは本技術分野の他の普通の技術者が本文に発表した各実施例を理解できるようにすることを旨として選択したものである。
【図１】
2016095850.tif 000031
【図２】
2016095850.tif 000032
【図３】
2016095850.tif 000033
【図４】
2016095850.tif 000034
【図５ａ】
2016095850.tif 000035
【図５ｂ】
2016095850.tif 000036
【図６】
2016095850.tif 000037
【図７ａ】
2016095850.tif 000038
【図７ｂ】
2016095850.tif 000039
【図８】
2016095850.tif 000040
【図９】
2016095850.tif 000041
【図１０】
2016095850.tif 000042
【図１１】
2016095850.tif 000043