(57)【要約】【課題】群集の目標位置関心度検出方法及び装置、並びに群集密度検出方法を提供する。【解決手段】該群集の目標位置関心度検出方法は、撮影して得られた、群集と目標位置を含む奥行き画像を高さ上面図に投影し、高さ上面図を所定の大きさのセルに分割し、各セルの群集密度を決定し、各セルの群集の移動速度と移動方向を決定し、各セルの群集の向きを決定し、群集密度、群集の移動速度と移動方向、群集の向きにより各セルの群集の目標位置に対する関心度を決定する。当該方法によれば、例え群集が混み合って個々の人の検出と追跡が難しい状況でも、比較的正確に群集の目標位置関心度を検出することができる。【選択図】図１
2016095848.tif 000002
【特許請求の範囲】
【請求項１】
撮影して得られた、群集を含む奥行き画像を高さ上面図に投影するステップと、
前記高さ上面図を所定の大きさのセルに分割するステップと、
各セルについて、当該セル内の各画素間の高さの差の分布を示す密度検出特徴を抽出するステップと、
前記密度検出特徴に基づき、統計的学習方法により予め構築された密度モデルを利用して各セル内の人数を検出するステップと、を含む、群集密度の検出方法。
【請求項２】
前記密度検出特徴は、高さに基づくローカル・バイナリー・パターン（LBP）特徴であり、
前記各セルについて密度検出特徴を抽出するステップは、
当該セル内の各画素に対し、
当該画素を中心に、当該画素から所定の距離だけ離れた各隣接画素を決定する処理、
当該画素の画素値と各隣接画素の画素値を比較する処理、
隣接画素の画素値と当該画素の画素値の差が第一閾値よりも小さく、かつ当該隣接画素の画素値が第二閾値よりも大きい場合は、当該隣接画素に1を割り当て、そうでなければ当該隣接画素に0を割り当てる処理、及び
前記各隣接画素の値からなる二進法コードを前記画素のLBPコードとする処理を行うステップを含む、請求項１に記載の群集密度の検出方法。
【請求項３】
前記各隣接画素の値からなる二進法コードを前記画素のLBPコードとするステップは、
前記各隣接画素の値を順番に並べてなる二進法コードに回転不変処理を行い、当該回転不変処理が行われた二進法コードを前記画素のLBPコードとするステップを含む、請求項２に記載の群集密度の検出方法。
【請求項４】
前記密度検出特徴に基づき、統計的学習方法により予め構築された密度モデルを利用して各セル内の人数を検出するステップは、各セルに対し、
当該セル内の各画素のLBPコードを分類し、これにより同じLBPコードを同一種類に分類し、各種類のLBPコード中に各々含まれるLBPコードの数を決定する処理と、
分類して得られたLBPコードの種類、及び各種類のLBPコード中に各々含まれるLBPコードの数に基づいて、前記密度モデルを用いて、当該セル内の人数を算出する処理と、を行うステップを含み、
前記密度モデルは、前記LBPコードの種類と各種類のLBPコード中に各々含まれるLBPコードの数を独立変数とし、予め集計した、前記独立変数の各種の値に対応するセル内の実際の人数を従属変数とし、統計的学習方法により訓練して得られたものである、請求項３に記載の群集密度の検出方法。
【請求項５】
人体比率に基づいて前記第一閾値と第二閾値を設定する、請求項２に記載の群集密度の検出方法。
【請求項６】
撮影して得られた、群集と目標位置を含む奥行き画像を高さ上面図に投影するステップと、
前記高さ上面図を所定の大きさのセルに分割するステップと、
各セルの群集密度を決定するステップと、
前記各セルの群集の移動速度と移動方向を決定するステップと、
前記各セルの群集の向きを決定するステップと、
前記群集密度、群集の移動速度と移動方向、群集の向きにより各セル内の群集の前記目標位置に対する関心度を決定するステップと、を含む、群集の目標位置関心度の検出方法。
【請求項７】
前記各セルの群集密度を決定するステップは、
当該セルから、当該セル内の各画素間の高さの差の分布を示す密度検出特徴を抽出するステップと、
前記密度検出特徴に基づき、統計的学習方法により予め構築された密度モデルを利用して当該セルの人数を検出するステップと、を含む、請求項６に記載の群集の目標位置関心度の検出方法。
【請求項８】
前記密度検出特徴は、高さに基づくローカル・バイナリー・パターン（LBP）特徴であり、
前記の当該セル内から密度検出特徴を抽出するステップは、当該セル内の各画素に対し、
当該画素を中心に、当該画素から所定の距離だけ離れた各隣接画素を決定する処理、
当該画素の画素値と各隣接画素の画素値を比較する処理、
隣接画素の画素値と当該画素の画素値の差が第一閾値よりも小さく、且つ当該隣接画素の画素値が第二閾値よりも大きい場合は、当該隣接画素に1を割り当て、そうでなければ当該隣接画素に0を割り当てる処理、及び
前記各隣接画素の値からなる二進法コードを前記画素のLBPコードとする処理を行うステップを含む、請求項７に記載の群集の目標位置関心度の検出方法。
【請求項９】
前記各隣接画素の値からなる二進法コードを前記画素のLBPコードとするステップは、
前記各隣接画素の値を順番に並べてなる二進法コードに回転不変処理を行い、当該回転不変処理が行われた二進法コードを前記画素のLBPコードとするステップを含む、請求項８に記載の群集の目標位置関心度の検出方法。
【請求項１０】
前記密度検出特徴に基づき、統計的学習方法により予め構築された密度モデルを利用して当該セル内の人数を検出するステップは、
当該セル内の各画素のLBPコードを分類し、これにより同じLBPコードを同一種類に分類し、各種類のLBPコード中に各々含まれるLBPコードの数を決定する処理と、
分類して得られたLBPコードの種類、及び各種類のLBPコード中に各々含まれるLBPコードの数に基づいて、前記密度モデルを用いて、当該セル内の人数を算出する処理と、を含み、
前記密度モデルは、前記LBPコードの種類と各種類のLBPコード中に各々含まれるLBPコードの数を独立変数とし、予め集計した、前記独立変数の各種の値に対応するセル内の実際の人数を従属変数とし、統計的学習方法により訓練して得られたものである、請求項７に記載の群集の目標位置関心度の検出方法。
【請求項１１】
人体比率に基づいて前記第一閾値と第二閾値を設定する、請求項８に記載の群集の目標位置関心度の検出方法。
【請求項１２】
前記各セル内の群集の移動速度と移動方向を決定するステップは、
前記奥行き画像及び当該奥行き画像に対応するグレースケール画像或いはカラー画像に基づき、当該セル内の各画素の移動速度と方向を計算するステップと、
当該セル内の各画素の移動速度と方向に基づき、当該セル内の群集の移動速度と方向を決定するステップと、を含む、請求項６に記載の群集の目標位置関心度の検出方法。
【請求項１３】
前記各セル内の群集の向きを決定するステップは、
当該セル内で人の検出を行うステップと、
検出された各人の向きを判断するステップと、
検出された各人の向きに基づき、当該セル内の群集の向きを決定するステップと、を含む、請求項６に記載の群集の目標位置関心度の検出方法。
【請求項１４】
各セル内の群集の前記目標位置に対する関心度を決定するステップは、
当該セル内の群集の移動方向と向きに基づき、当該セル内の群集の目標位置に対する移動方向と向きを決定するステップと、
当該セル内の群集の移動速度、前記目標位置に対する移動方向と向きに基づき加重係数を決定することにより、前記移動速度が予め設定された速度閾値よりも大きい場合、当該セル内の群集が目標位置に近接する方向に移動するほど加重係数を大きくし、前記移動速度が前記速度閾値以下である場合、当該セル内の群集が前記目標位置に面しているほど加重係数を大きくするステップと、
当該加重係数と当該セル内の人数の積を、当該セル内の群集の前記目標位置に対する関心度とするステップと、を含む、請求項６乃至１３のいずれか一項に記載の群集の目標位置関心度の検出方法。
【請求項１５】
撮影して得られた、群集と目標位置を含む奥行き画像を高さ上面図に投影する投影手段と、
前記高さ上面図を所定の大きさのセルに分割する分割手段と、
前記各セルの群集密度を決定する密度決定手段と、
前記各セルの群集の移動速度と移動方向を決定する移動決定手段と、
前記各セルの群集の向きを決定する向き決定手段と、
前記群集密度、群集の移動速度と移動方向、群集の向きにより、各セルの群集の前記目標位置に対する関心度を決定する関心度検出手段と、を含む、群集の目標位置関心度の検出装置。
【請求項１６】
撮影して得られた、群集を含む奥行き画像を高さ上面図に投影するステップと、
前記高さ上面図を所定の大きさのセルに分割するステップと、
各セルについて、当該セル内の各画素間の高さの差の分布を示す密度検出特徴を抽出するステップと、
前記密度検出特徴に基づき、統計的学習方法により予め構築された密度モデルを利用して各セル内の人数を検出するステップと、をコンピュータに実行させるためのプログラム。
【請求項１７】
撮影して得られた、群集を含む奥行き画像を高さ上面図に投影するステップと、
前記高さ上面図を所定の大きさのセルに分割するステップと、
各セルについて、当該セル内の各画素間の高さの差の分布を示す密度検出特徴を抽出するステップと、
前記密度検出特徴に基づき、統計的学習方法により予め構築された密度モデルを利用して各セル内の人数を検出するステップと、をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１８】
撮影して得られた、群集と目標位置を含む奥行き画像を高さ上面図に投影するステップと、
前記高さ上面図を所定の大きさのセルに分割するステップと、
各セルの群集密度を決定するステップと、
前記各セルの群集の移動速度と移動方向を決定するステップと、
前記各セルの群集の向きを決定するステップと、
前記群集密度、群集の移動速度と移動方向、群集の向きにより各セル内の群集の前記目標位置に対する関心度を決定するステップと、をコンピュータに実行させるためのプログラム。
【請求項１９】
撮影して得られた、群集と目標位置を含む奥行き画像を高さ上面図に投影するステップと、
前記高さ上面図を所定の大きさのセルに分割するステップと、
各セルの群集密度を決定するステップと、
前記各セルの群集の移動速度と移動方向を決定するステップと、
前記各セルの群集の向きを決定するステップと、
前記群集密度、群集の移動速度と移動方向、群集の向きにより各セル内の群集の前記目標位置に対する関心度を決定するステップと、をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、全体として画像処理に関し、具体的には、群集の目標位置関心度検出方法と装置、及び群集密度検出方法に関する。
【背景技術】
【０００２】
群集の目標位置関心度検出技術は、例えば建築物の内部レイアウト、セキュリティ・モニタリング等、多くの分野で広範に応用されている。例えば、当該技術の建築物内部レイアウト分野でよく見られる応用として、展示ホール内の目標位置にある展示物に対する参観者達の関心度を検出し、これにより責任者が、展示位置、参観者達の動きのコントロール、展示空間の有効利用等を合理的に手配するための、重要な方針決定データを提供することができる。更に、例えば、当該技術のセキュリティ・モニタリング分野でよく見られる応用としては、例えば鉄道駅、政府の建物等、セキュリティ・モニタリングの目標位置周囲の群集の、当該セキュリティ・モニタリング目標位置に対する関心度を検出し、これによって群衆が公共の秩序を妨害する恐れがあるか（デモ行進など）、公共の安全に危害を及ぼす恐れがあるかどうかなどを責任者が判断するための方針決定データを提供することができる。
【０００３】
今のところ、前記関心度の検出に用いられる常用方式は、人手によるカウント、WIFI、RFID等による自動カウント、ならびに撮影画像中での人の検出、追跡により群集の密度（群集の人数）を決定することであり、群集密度が大きいほど目標位置関心度が大きいと考えられ、反対であれば目標位置関心度は小さいと考えられる。しかし、人手によるカウントで人数を決定するのは往々にして人的コストがかさみ、WIFI、RFID等による自動人数カウントは精度がやや低く、撮影画像で人を検出、追跡して人数を決定するのは、群集が混み合った状況では精度が大きく低下する。一方、これらの方式は、皆、群集密度だけを考慮して群集の目標位置関心度を判断し、関心度に対する他の要素の影響を無視しているので客観性に乏しい。例えば、展示ホール内で必ず通る参観ルートにある展示物の群集密度は通常、比較的高くなるが、これは決して群集のこれらの展示物に対する関心度が高いことを説明しているとは言えない。何故なら、群集は単純に当該展示物付近を通過しているだけかもしれないからである。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本願の目的は、少なくとも上記の一つ、或いは複数の問題を解決することにあり、具体的に言えば、本願の目的は、群集の目標位置関心度検出技術を提出することにあり、当該技術は、例え群集が混み合って個体の追跡が難しい状況でも、客観的、正確に群集の目標位置関心度を自動検出することができる。
【課題を解決するための手段】
【０００５】
本願の一方の実施例により、撮影して得られた、群集と目標位置を含む奥行き画像を高さ上面図に投影するステップと、前記高さ上面図を所定の大きさのセルに分割するステップと、各セルの群集密度を決定するステップと、前記各セルの群集の移動速度と移動方向を決定するステップと、前記各セルの群集の向きを決定するステップと、前記群集密度、群集の移動速度と移動方向、群集の向きにより各セル内の群集の前記目標位置に対する関心度を決定するステップと、を含む、群集の目標位置関心度の検出方法を提供する。
【０００６】
本願の別の実施例により、撮影して得られた、群集と目標位置を含む奥行き画像を高さ上面図に投影する投影手段と、前記高さ上面図を所定の大きさのセルに分割する分割手段と、前記各セルの群集密度を決定する密度決定手段と、前記各セルの群集の移動速度と移動方向を決定する移動決定手段と、前記各セルの群集の向きを決定する向き決定手段と、前記群集密度、群集の移動速度と移動方向、群集の向きにより、各セルの群集の前記目標位置に対する関心度を決定する関心度検出手段と、を含む、群集の目標位置関心度の検出装置を提供する。
【０００７】
本願の三番目の実施例により、撮影して得られた、群集を含む奥行き画像を高さ上面図に投影するステップと、前記高さ上面図を所定の大きさのセルに分割するステップと、各セルについて、当該セル内の各画素間の高さの差の分布を示す密度検出特徴を抽出するステップと、前記密度検出特徴に基づき、統計的学習方法により予め構築された密度モデルを利用して各セル内の人数を検出するステップと、を含む、群集密度の検出方法を提供する。
【発明の効果】
【０００８】
本発明によれば、群集の目標位置関心度検出技術は、群集密度、群集の動きおよび群集の向きに基づき総合的に群集の目標位置関心度を決定するものであり、ただ群集密度だけに基づいて群集の目標位置関心度を検出する方式に比べより客観的であり、検出結果は更に正確である。一方、群集の目標位置関心度検出の当該技術は各個体の追跡検出により関心度を検出するものではなく、群集を一つの全体と見做して検出を行うものであり、例え群集が混み合って個体追跡が難しい状況でも、比較的良好な検出結果を得ることができる。この他、群集の目標位置関心度検出の当該技術では、高さに基づく密度検出特徴を用いて群集密度を検出しており、高さに基づく当該密度検出特徴は人体の比率を考慮しているため、比較的良好に人体を表すことができ、比較的正確に人体を検出し、これにより群集密度検出の正確性を向上させることができる。
【図面の簡単な説明】
【０００９】
【図１】本願実施例に係る、群集の目標位置関心度検出方法のフローチャートである。
【図２】本願実施例に係る、群集の目標位置関心度検出方法における、各セルの群集密度決定処理のフローチャートである。
【図３】異なる半径Rをもつ円形LBP特徴の概念的な例である。
【図４】図4(a)は、群集配置場面の3つの概念的な例である。図4(b)は、図4(a)に示された群集配置場面に対応する高さ上面図である。図4(c)は、図4(b)に示された高さ上面図からのLBP特徴の抽出結果である。
【図５】本願実施例に係る、群集の目標位置関心度検出方法における、各セル内の群集の移動速度と移動方向決定処理のフローチャートである。
【図６】本願実施例に係る、群集の目標位置関心度検出方法における、群集密度、群集の移動速度と移動方向、群集の向きに基づく関心度決定処理のフローチャートである。
【図７】本願実施例に係る検出して得られた、群集の目標位置関心度の分布図である。
【図８】本願実施例に係る、群集の目標位置関心度検出装置の機能配置ブロック図である。
【図９】本願実施例に係る、群集の目標位置関心度検出システムのハードウェア全体図である。
【発明を実施するための形態】
【００１０】
当業者に、より良く本願を理解していただくために、以下、図面と具体的な実施方式を結合して本願について更に詳細に説明を行う。
【００１１】
先ず、本願で言及する技術用語について簡単な紹介を行う。
【００１２】
周知のとおり、グレースケール画像は黒から白まで、複数のグレースケール度色域、或いは複数のグレースケール度等級をもつ単色画像である。当該画像中の各画素は、通常8桁の数値で表示され、このようにして当該画像は256個のグレースケール度をもつことができる。またカラー画像は、各画素が、通常、赤（R）、緑（G）、青（B）の三成分で表示されていて、成分は0と255の間にある。とは言え、グレースケール画像とカラー画像の形成方法と主要機能は、皆、類似したものである（色彩情報の表示に用いる）。このため、以下の文中では本願の技術方案の説明にグレースケール画像を用いるが、グレースケール画像をカラー画像に差し替えても何ら問題はない。
【００１３】
奥行き画像は、画像中の各画素点の値が場面中の或る一点とカメラとの間の距離を表す画像である。グレースケール画像（カラー画像）と比較すると、奥行き画像は物体の奥行き（距離）情報を備え、このため立体情報を必要とする各種応用に適している。
【００１４】
上面図は物体の上方向から下方向に投影して得られる画像で、平面図とも言う。上面図には、面積上面図、高さ上面図等、多くの類型が含まれる。本願では、特に説明が無い限り、上面図は特に高さ上面図を指し、空間中の最高点の高さ値が上面図の対応位置の画素値となる。
【００１５】
以下、図1を参考に、本願実施例に係る、群集の目標位置関心度検出方法について説明する。図1は、本願実施例に係る、群集の目標位置関心度検出方法のフローチャートである。
【００１６】
図1に示すように、ステップS110で、撮影して得られた、群集と目標位置を含む奥行き画像を高さ上面図に投影する。
【００１７】
前記投影処理は、本分野の如何なる既知の方法によっても実現することができる。常用される方法として、例えば、先ず座標変換により、撮影して得られた奥行き画像中の各画素の画像座標系での座標を、世界座標系での座標に変換し、変換して得られた世界座標系中の各画素点を再び上面図にマッピングする。
【００１８】
上記、各画素の画像座標系での座標を世界座標系中の座標に変換する変換過程は、本分野では公知であり、ここでは贅言しない。世界座標系中の各点を高さ上面図にマッピングする常用方式は、表現式（1）のように示される。
【数１】
2016095848.tif 000003
【００１９】
このうち、XW、ZWは世界座標系の画素点(XW,  YW,  ZW)の地上投影点の座標、(topU,  topV)は当該画素点の高さ上面図での座標であり、δgroundは定義された高さ上面図中の各画素の表す真実の長さを表示し、XminとYminはカメラの撮影範囲に基づき予め定義された定数で、その具体的値はテストと経験により決定することができ、topUとtopVを正の数とすることができればそれで良い。
【００２０】
上記の投影処理を施す常用方法のより具体的な説明に関しては、Michael  Harvilleが2003年に発表した「Stereo  person  Tracking  with  Adaptive  Plan-View  Templates  of  Height  and  Occupancy  Statistics」という一文を参考にすることができ、ここで、当該文章全文を本申請に組み入れ、参考とする。
【００２１】
この他、選択的に、当該ステップでは、撮影して得られた、群集と目標位置を含む奥行き画像全体を直接、高さ上面図に投影する代わりに、背景モデリング等の方式により当該画像中の前景区域を分割し、当該前景区域だけを高さ上面図に投影することもできる。前景区域を目標位置周囲の有効区域とすると、前景分割により邪魔な画素を除去するので、前景区域を高さ上面図に投影することにより高さ上面図中のノイズを減少することができる。
【００２２】
ステップS120で、前記高さ上面図を所定の大きさのセルに分割する。
【００２３】
群集が混み合っている状況を考慮すると、各単独の個体の追跡は往々して困難であり、このため本実施例では、群集を全体ととらえて検出を行う。より明確に言うと、高さ上面図中の一つのセルを単位として、各セル内の群集の目標位置関心度を計算し、前記セルが真実世界における地上の一単位区域に対応する。セルの大きさは群集の混み具合と経験値により予め設定することができ、例えば辺長1m或いは2mの正方形区域などとすることができる。極端な場合は、高さ上面図全体を一つのセルとすることもできる。勿論、高さ上面図を必ず同じ大きさのセルに分割する必要はなく、実際のニーズに応じて、異なる大きさのセルに分割することもできる。
【００２４】
ステップS130で、前記各セル内の群集密度を決定する。以下、図2と結合して、当該ステップの具体的処理を説明する。
【００２５】
図2に示すように、ステップS1301で、当該セルから密度検出特徴を抽出し、当該密度検出特徴を当該セル内の各画素間の高さ差分布を表すのに用いる。
【００２６】
ここでは、例えばローカル・バイナリー・パターン（LBP）特徴、グラデーション特徴、harris特徴、haar特徴等、如何なる適当な画像特徴も密度検出特徴に用いることができ、ただ当該セル内の各画素間の高さ差分布を表すことができさえすればそれで良い。以下の文では、LBP特徴を密度検出特徴に用いる例で説明する。
【００２７】
LBP特徴は、本分野で常用される、画像の局部模様の説明に用いられる特徴である。基本的なLBP特徴は、3×3のウィンドウ内で、ウィンドウの中心画素を閾値として、隣り合う8個の画素のグレースケール値と比較し、隣り合う画素の値が中心画素値より大きければ当該隣り合う画素点に値1を割り当て、そうでなければ値0を割り当てることを指す。その後、3×3のウィンドウ内の8個の画素に割り当てられた0或いは1の値が順に並んで組成された8桁の二進法コードを当該ウィンドウの中心画素のLBP値とし、この値で当該区域の模様情報を反映する。
【００２８】
基本的なLBPの計算には固有の欠陥があり、それは、ただ一つの固定範囲内の小さな区域しかカバーしていないことで、これでは寸法と頻度の異なる模様の必要性を満たすことができないことは明らかである。尺度の異なる模様特徴に適応するために、研究者はLBP特徴に改良を加え、3×3のウィンドウを任意のウィンドウに拡大し、また円形ウィンドウで正方形ウィンドウに代替させ、これにより円形LBP特徴を得た。円形LBP特徴は、中心画素を中心とし半径をRとする円形領域内に、任意の複数の画素点をもつことを許容する。例えば、図3は、異なる半径Rをもつ円形LBP特徴の概念的な例である。本実施例では、特に説明の無い限り、LBP特徴は円形LBP特徴を指す。
【００２９】
例えばLBP特徴を用いて密度検出特徴とする時、ステップS1301で、セルからLBP特徴を取り出すが、当該処理は当業者には公知である。ここでは、ただ下記文中での説明の便を図るために、当該処理について、以下のとおり簡単に説明する。具体的には、当該ステップS1301で、当該セル内の各画素に以下の処理を実行する。（S1）当該画素Pを中心とし、当該画素Pから所定の距離だけ離れた各隣接画素Jを決定する。（S2）当該画素Pの画素値と各隣接画素Jの画素値を比較する。（S3）或る隣接画素Jの画素値が当該画素Pの画素値より大きければ当該隣接画素Jに値1を割当て、そうでなければ当該隣接画素Jに値0を割当てる。（S4）前記各隣接画素Jの値がなす二進法コードを前記画素PのLBPコードとする。説明を要することは、従来のLBP特徴はグレースケール画像から取り出すので、反映されるものは中心画素と隣接画素間のグレースケール度値の差異であるが、当該ステップS1301では高さ上面図から取り出すので、反映されるものは中心画素と隣接画素間の高さ値の差異であることである。このため、より正確に言えば、当該ステップS1301で取り出すものは高さに基づくLBP特徴である。
【００３０】
代替的に、人体固有の比率特徴を考慮し、上記処理（S3）で、表現式（2）に示すように、各隣接画素に1或いは0の値を割当てることができる。
【数２】
2016095848.tif 000004
【００３１】
このうち、g(J)は隣接画素Jに割当てた値、h(P)とh(J)はそれぞれ中心画素Pと隣接画素Jの高さ上面図中の画素値である。TとHminは人体の頭肩部モデルに基づき予め設定した閾値である。具体的には、人体固有の比率により、人の頭と肩を俯瞰した時、その外観は中間（頭部）が高く両端（肩部）が低いと言う一般規則をもつ。ここで、Tは人体頭部の最高点と肩部の最高点の間の高さ差を表し、Hminは人体肩部の最高点の地面からの距離を表す。当該表現式（2）に従い、前記処理（S3）で、或る一つの隣接画素Jの画素値h(J)と中心画素Pの画素値h(P)の差が第一閾値Tより小さく、かつ当該隣接画素Jの画素値h(J)が第二閾値Hminより大きい場合は、当該隣接画素Jに値1を割当て、そうでなければ当該隣接画素Jに値0を割当てる。表現式（2）に示すように、LBP特徴を取り出す時に人体の頭肩部モデルを用いたので、より良好に人体の特徴を表すことができ、より正確に群集密度を検出することができる。
【００３２】
この他、上記処理（S4）の最も基本的な方式では、前記各隣接画素の値が順に並んで組成した二進法コードを、直接、前記画素のLBPコードとする。しかし、この方式に従うと、各二進法コードは、回転（循環変位）して違う結果を生じる可能性がある。言い換えれば、画像が回転を生じると、同じ群集に配置されていても、LBPコードが違ってくる可能性があり、これは明らかに群集密度の検出結果に不利な影響をもたらす。このため、選択的に、順に並べて組成した前記二進法コードに回転不変処理を施し、当該回転不変処理を経た二進法コードを前記画素PのLBPコードとすることができる。LBP回転不変処理は当業者には公知であり、ここではただ説明に漏れが無いようにするために、簡単に当該処理を紹介する。回転不変処理は下記のような表現式（3）に従って行うことができる。
【数３】
2016095848.tif 000005
【００３３】
ここで、Pは二進法コードの長さ、つまり中心画素Pの周囲の隣接画素Jの個数で、本実施例ではP=8と仮定し、Rは隣接半径、即ち各隣接画素Jの中心画素Pからの距離で、本実施例ではR=2と仮定し、RORは循環変位コマンドで、例えばROR(11000000,  1)  =  10000001となる。
【００３４】
表現式（3）に示すような回転不変処理により、同じコードパターンを有する各二進法コードは同一のコード結果、即ち、当該コードパターンの回転結果の最小値に統一される。例えば、二つの二進法コード、「10011110」と「11110100」について、それが同じコードパターンを有している、即ち中心画素Pの8個の隣接画素Jのうち5個の隣接画素が所定条件を満たしているとして（例えばその画素値が中心画素Pの画素値より大きいか、或いはそれと中心画素が人の頭肩部モデルを満たしているなど）値1を割当て、その余の3個の隣接画素が所定条件を満たしていないとして値0を割当てると、この二つの二進法コードの回転不変処理後の結果は共に「00111101」となる。当該回転不変処理を経て、二進法コードは回転不変性を備え、これにより理論上、人の向きがどうであれ、群集密度の検出結果は、皆、同じとなり、即ち、群集密度の検出がロバスト性を有することとなる。
【００３５】
二進法コードの長さを8とする時、最多で256個の異なる二進法コードがあることが理解できるが、表現式（3）に示すような回転不変処理後は、最多で36個の異なる二進法コードを有することになり、それが対応する十進法の数値は以下のように示される。
【００３６】
｛LBPP,R｝=  ｛0,  1,  3,  5,  7,  9,  11,  13,  15,  17,  19,  21,  23,  25,  27,  29,  31,  37,  39,  43,  45,  47,  51,  53,  55,  59,  61,  63,  85,  87,  91,  95,  111,  119,  127,  255｝
図2に戻り、ステップS1302で、前記密度検出特徴に基づき、統計学的学習方法により予め構築した密度モデルを利用して各セル内の人数を検出する。
【００３７】
当該ステップでは、各セルを操作して当該セル内の人数を算出する。具体的には、先ずセル内の各画素のLBPコードを分類し、同じLBPコードは同一種類に分類し、各種類のLBPコード中に各々含まれるLBPコードの数を決定する。
【００３８】
ステップS1301で、セルから抽出した密度検出特徴（LBP特徴）により、既にセル内の各画素についてそのLBPコードを算出した。セル内の異なる画素の二進法コードが同じものとなる可能性があることが理解できる。ここで、セル内の各画素のLBPコードを分類集計し、これによりセル内に合計幾つの異なるLBPコードを含むか、ならびに各種類の異なるLBPコードが各々幾つのLBPコードを含むか、或いは各種類の異なるLBPコードがそれぞれ何回出現するかを集計する。集計結果表示方式の一例として、セル内のLBPコードの種類、ならびに各種類のLBPコード中に各々含まれるLBPコードの数を、多次元配列を用いて表示し、この中で配列中の各要素が一つのLBPコードを表し、要素の値が当該種類のLBPコードの出現回数を表すことができる。
【００３９】
なお、分類するLBPコードは、各隣接画素の値を直接、順に並べて組成した二進法コードでも、順に並べた当該二進法コードの回転不変処理後に得られた二進法コードでも良いことである。以下の文では、分類するLBPコードを回転不変処理後の二進法コードとする例で説明を行う。
【００４０】
セル内の各画素のLBPコードを分類集計した後、分類して得られたLBPコードの種類、ならびに各種類のLBPコード中に各々含まれるLBPコードの数について、密度モデルを用いて、当該セル内の人数を算出する。
【００４１】
前記密度モデルは、LBPコードの種類と各種類のLBPコード中に各々含まれるLBPコードの数を独立変数とし、予め集計した、前記独立変数の各種値に対応するセル内の実際の人数を従属変数とし、統計的学習方法の訓練を利用して得られるものである。以下、図4（a）−（c）を参考に例を挙げてこれについて説明する。図4(a)は群集配置場面の3つの概念的な例であり、図4(b)は、図4(a)に示した群集配置場面に対応する高さ上面図を示し、図4(c)は、図4(b)に示した高さ上面図からLBP特徴を抽出した結果を示した。
【００４２】
図示するように、図4（a）は上から下に、それぞれ2人、5人、12人を含む群集配置場面であり、図4（b）はこの3つの群集配置場面に対応する高さ上面図である。図4（b）の三枚の高さ上面図について、本願実施例による前記ステップS120およびS1301により、図4（c）に示すようなLBP特徴取得結果を得ることができる（ここでは単純にするため、図4（b）の高さ上面図一枚が即ち一つのセルであると考える）。図4（c）の各LBP特徴から結果画像を抽出し、上記に述べたように、その中の各画素のLBPコードを分類集計し、これによりその中に合計幾つの異なるLBPコードが含まれているか、ならびに各種類の異なるLBPコードが各々幾つのLBPコードを含んでいるか、或いは各種類の異なるLBPコードがそれぞれ何回、出現したかを算出する。これにより、2人、5人、12人の群集密度にそれぞれ対応するLBPコードの種類、および各種類のLBPコードに各々含まれるLBPコードの数が得られ、訓練サンプルとする。類似的に、より多くの他の群集密度について、それに対応するLBPコードの種類、および各種類のLBPコードに各々含まれるLBPコードの数を集計し、訓練サンプルとする。一定数の訓練サンプルを取得した後、LBPコードの種類、および各種類のLBPコードに各々含まれるLBPコードの数を独立変数とし、それに対応する群集密度（即ち人数）を従属変数とし、統計的学習方法の訓練を利用して密度モデルを得ることができる。前記統計的学習方法は、例えば線形回帰法、SVM回帰法、二分類法等、各種の現有方法を用いることができるが、前記統計的学習方法の訓練を利用して密度モデルを得る処理は本分野では公知であるため、ここではそれに対する具体的な説明を省略し、本願の発明ポイントの所在を不必要にぼかすことのないようにする。
【００４３】
前記密度モデルは、群集密度に対応するLBPコードの種類および各種類のLBPコードに各々含まれるLBPコードの数との間の対応関係を説明したものであると理解できる。このため、セル内の各画素のLBPコードを分類集計した後、当該密度モデルを用いて、分類集計したLBPコードの種類、ならびに各種類のLBPコードに各々含まれるLBPコードの数に対応する群集密度を得ることができる。
【００４４】
以上、本願実施例による、各セルの群集密度決定に用いる具体的処理方法を説明した。各セルの群集密度決定に用いる方法はこれに限らず、本分野で常用される他の適当な方式を用いて各セルの群集密度を決定することが理解できる。例えば、高さ上面図に基づき各セル内の有効画素数（即ち、ノイズ画素を排除し、人体を表示できる画素）を集計し、統計的学習方法により予め構築した密度モデルを利用して各セル内の人数を検出することができ、この中で密度モデルは有効画素と予め知り得た実際の人数との間の対応関係を表す。例えば、撮影して得られた、群集と目標位置を含む奥行き画像中で、前記セルに対応する区域を決定し、現有の画像検出技術により、当該奥行き画像中で人を検出し、検出結果を前記セルの群集密度とすることができる。更に例えば、前記セルに対応する真実世界の地上の一つの単位区域を決定し、WIFI、RFID等により当該区域の人数を自動カウントし、前記セルの群集密度とすることができる。
【００４５】
図1に戻り、ステップS140で、前記各セル内の群集の移動速度と移動方向を決定する。以下、図5と結合し、当該処理について説明する。
【００４６】
図5に示すように、各セルについて、ステップS1401で、前記奥行き画像、ならびに当該奥行き画像に対応するグレースケール画像或いはカラー画像に基づき、当該セル内の各画素の移動速度と方向を計算する。
【００４７】
当該ステップでは、オプティカルフロー等、各種の現有画像処理技術により、前記奥行き画像とグレースケール画像（カラー画像）中で追跡を行い、これにより各画素の動き情報を取得することができる。例えば、（xt,  yt,  dt）を、追跡して得られた画素の現在時刻における画像座標と奥行き値と仮定すると、それが世界座標系で対応する画素点の座標は（XWt,  YWtおよびZWt）となり、（xt-1,  yt-1,  dt-1）が追跡して得られた当該画素の少し前の画像座標と奥行き値となり、その世界座標系での対応画素点の座標は（XWt-1,  YWt-1および  ZWt-1）となる。これにより、表現式（4）のように当該画素の世界座標系でのフレーム間変位、即ち、当該画素点の移動速度を算出することができる。
【数４】
2016095848.tif 000006
【００４８】
一方、表現式（1）に示すように世界座標系の点を高さ上面図にマッピングすると、これにより高さ上面図の当該セル内の各画素の移動速度を得ることができ、更に、表現式（5）に示すように各画素iの移動方向θiを算出することができる。
【数５】
2016095848.tif 000007
【００４９】
ここで、dxiとdziはそれぞれ表現式（4）に示すように算出した当該画素のxおよびy軸上のフレーム間変位である。
【００５０】
ステップS1402で、当該セル内の各画素の移動速度と方向に基づき、当該セル内の群集の移動速度と方向を決定する。
【００５１】
前に述べたように、本実施例では、高さ上面図中の一つのセルを単位として、各セル内の群集の目標位置関心度を計算する。これにより、当該ステップで、セル内の群集の全体的移動速度と方向を計算する。
【００５２】
当該セル内にK個の画素があると仮定すると、当該K個の画素の移動速度の算術平均値、加重平均値、或いは中央値等を当該セルの全体移動速度とすることができる。例えば、算術平均値を用いてセルの全体移動速度とする時は、表現式（6）に示すように計算することができる。
【数６】
2016095848.tif 000008
【００５３】
ここで、ρはセルの全体移動速度を表し、iは画素番号である。
【００５４】
一方、セル内のK個の画素の移動方向のうち、最も主要な方向を集計して、当該セルの全体移動方向とすることができる。例えば、一定の角度（例えば30度、40度、45度等）を単位として、0から360度を幾つかの区間に分割し、その後、K個の画素の移動方向がそれぞれどの区間に落ち着くかを集計し、これによりその中の画素の移動方向が最も多く落ち着いた区間をセルの全体動き区間とし、当該区間内の、例えば最小値、中間値或いは最大値等をセルの全体移動方向θとする。
【００５５】
勿論、以上の説明はセル内の群集の全体移動速度と方向を計算するただの一例であり、他の適当な方式を用いて、セル内の各画素の移動速度と方向に基づき、セル内の群集の移動速度と方向を決定することもできる。例えば、各画素の移動速度と移動方向を一つの速度ベクトルと見なし、セル内の全ての画素の速度ベクトルを合成し最終的なベクトルの和を得、当該セルの全体移動速度とし、これから当該セルの全体移動速度と方向を得ることができる。
【００５６】
図1に戻り、ステップS150で、前記各セル内の群集の向きを決定する。
【００５７】
当該ステップでは、例えば以下の処理によりセル内の群集の向きを決定することができる。（S1）当該セル内で人の検出を行う。（S2）検出した各人の向きを判断する。（S3）検出した各人の向きに基づき、当該セル内の群集の向きを決定する。
【００５８】
処理（S1）では、例えば領域拡張分析法等、従来の方法を用いてセル内で人を分割し検出する。或いは、例えば前の文中で提示した、Michael  Harvilleが2003年に発表した論文、「Stereo  person  Tracking  with  Adaptive  Plan-View  Templates  of  Height  and  Occupancy  Statistics」中で採用した特殊検出方法を参考にして当該セル内で人を検出することもできる。説明を要することは、ここでの人の検出は決して正確な検出を要求するものではなく、ただ当該セル内で人のように見える各個人をラフに検出できれば良いことである。
【００５９】
処理（S2）では、処理（S1）で高さ上面図のセル内に検出した各人について、当該高さ上面図に対応するグレースケール画像中で対応する人を決定し、現有の正面検出器、左側面検出器、右側面検出器と言った人面識別検出器を利用して、グレースケール画像中で当該対応する人の人面識別を行い、これにより当該人の向きを判断することができる。この方式により、最多で4つの異なる向きを得ることができる。
【００６０】
代替的に、当該処理では、「Plan-View  Eigenposes」特徴を用いて、0°、45°、90°、135°の4方向の分類器を訓練し、その後、訓練して得られた4方向の分類器を利用して検出した各人の向きを判断することもできる。当該向き検出方法に関してのより具体的な説明は、Michael  Harvilleが2004年に発表した文章、「Fast,  Integrated  Person  Tracking  and  Activity  Recognition  with  Plan-View  Templates  from  a  Single  Stereo  Camera」を参考にすることができ、ここで、当該文章全文を本願に組み入れ、参考とする。
【００６１】
処理（S3）では、セル内のK個の画素の向きのうち最も主要な向きを集計して当該セルの全体向きとすることができる。例えば、セル内のK個の画素各々の向きを集計し、出現回数の最も多い向きをセルの全体向きφとすることができる。或いは、代替的に、各画素の向きを幅値1の一つのベクトルと見なし、セル内の全ての画素各々のベクトルを合成し最終的なベクトルの和を得、当該セルの全体動き向きを表すベクトルとし、これから当該セルの全体動き向きが得られる。
【００６２】
ステップS160では、前記の群集密度、群集の移動速度と移動方向、群集の向きに基づき、各セル内の群集の前記目標位置関心度を決定する。以下、図6と結合して、当該処理を説明する。
【００６３】
図6に示すように、ステップS1601では、当該セル内の群集の移動方向と向きに基づき、当該セル内の群集の目標位置に相対する移動方向と向きを決定する。
【００６４】
前記のように算出したセル内の群集の移動方向θと向きφは、共に高さ上面図の画像座標系中の0度軸に相対するものであり、当該ステップでは、下記のような表現式（7）により変換し、セル内の群集の目標位置に相対する移動方向θIと向きφIを得ることができる。
【数７】
2016095848.tif 000009
【００６５】
このうち、(UI,  VI)は目標位置の高さ上面図中での座標であり、(u,  v)はセルの高さ上面図中での座標である（ここで、例えばセルの中心画素の位置座標を取って当該セルの位置座標とすることができる）。
【００６６】
ステップS1602では、当該セル内の群集の移動速度、目標位置に相対する前記移動方向と向きに基づき、加重係数を決定することとし、前記移動速度が予め設定した速度閾値より大きい時は、当該セル内の群集が目標位置に近接する方向に移動するほど加重係数が大きくなるようにし、ならびに前記移動速度が前記速度閾値より大きくない時は、当該セル内の群集が前記目標位置に面しているほど加重係数が大きくなるようにする。
当該ステップでは、具体的な状況に応じて、如何なる適当な方式を用いて加重係数を決定することもできる。一例として、表現式（8）や（9）に示すように加重係数を決定することができる。
【数８】
2016095848.tif 000010
【数９】
2016095848.tif 000011
【００６７】
ここで、ρはセル内の群集の移動速度を表し、
（外１）
2016095848.tif 000012
はセル内の群集の移動速度ρ、および目標位置に相対する移動方向θIと向きφIの決定する加重係数を表し、speedThresholdは予め設定した速度閾値で、当該速度閾値はセル内の群集密度と経験値に基づき設定することができる。表現式（9）に基づき、移動速度が予め設定した速度閾値speedThresholdより大きい時は、加重係数
（外２）
2016095848.tif 000013
は群集の目標位置に相対する移動方向により決定し、移動速度が予め設定した速度閾値speedThresholdより大きくない時は、加重係数
（外３）
2016095848.tif 000014
は群集の目標位置に相対する向きにより決定する。表現式（8）は、群集の目標位置に相対する移動方向/向きに基づき加重係数を決定する具体的な方式を説明した。表現式（8）の示すものは決定方式の一例に過ぎず、他の適当な方式を用いて加重係数を決定することもでき、ただセル内の群集が目標位置に近接する方向に移動するほど/前記目標位置に面するほど、加重係数が大きくなるようにしさえすればそれで良いと理解するべきである。
【００６８】
ステップS1603では、当該加重係数と当該セル内の人数との積を当該セル内の群集の前記目標位置に対する関心度とする。
【００６９】
当該ステップでは、表現式（10）に示すように加重係数とセル内の群集密度の積を群集の目標位置関心度とすることができる。
【数１０】
2016095848.tif 000015
【００７０】
ここで、It(u,  v)は座標が(u,  v)であるセルの目標位置関心度を表し、Dはセル内の群集密度を表す。表現式（10）によれば、群集の目標位置関心度は群集密度だけでは決定されず、群集の目標位置に相対する移動速度、移動方向ならびに向きとも関係する。
【００７１】
ここまでで、高さ上面図の各セル内の群集の目標位置関心度を算出することができる。前記文中で提示したように、高さ上面図の各セルは、真実世界の地上の単位区域に対応しているので、実際は、真実世界の地上の各単位区域中の群集の目標位置関心度を検出したことになる。図7は、本願実施例により検出して得られた、群集の目標位置関心度の分布図であり、図中の色の濃い位置ほど当該位置にある群集の目標位置関心度が高いことを表している。
【００７２】
他方、上記のように算出したものは或る少し前における各単位区域中の群集の目標位置関心度である。選択的に、表現式（11）に示すように一定時間内における各単位区域中の群集の目標位置の累計関心度を計算することができ、前記一定時間は、例えば一時間、半時間、一日等でよい。
【数１１】
2016095848.tif 000016
【００７３】
ここで、Iは累計関心度、Itは時刻tにおける関心度であり、kは正規化ファクターで、それは撮影映像のフレーム率或いはシステム処理のフレーム率と相関し、例えば
（外４）
2016095848.tif 000017
となる。
【００７４】
以上、図面を参考に本願実施例による、群集の目標位置関心度検出方法を説明した。当該方法では、高さ上面図を利用して検出した群集密度、群集の動きならびに群集の向きに基づき、総合的に群集の目標位置関心度を決定するので、群集密度だけに基づいて群集の目標位置関心度を決定する方式に比べより客観的であり、検出結果は更に正確である。一方、群集の目標位置関心度を検出する当該方法は、各人を追跡、検出して関心度を検出するのではなく、群集を一つの全体と見なして検出を行うので、例え群集が混み合って一個人を追跡するのが難しい場合でも、比較的良好な検出結果を得ることができる。この他、群集の目標位置関心度を検出する当該方法では、高さ上面図中の画素間の高さ差分布を表すのに用いる密度検出特徴を採用して群集密度を検出するが、当該密度検出特徴が人体の比率を考慮しているので、比較的良好に人体を表すことができ、比較的正確に人体を検出し、これにより群集密度検出の正確性を向上させることができる。
【００７５】
説明を要することは、以上の説明では、高さ上面図に基づき群集密度、群集の動きならびに群集の向きを検出し、これにより群集の目標位置関心度を決定することを例にして説明を行ってきたが、実際には、当該方案は他の類型の上面図にも適用できる。例えば、面積上面図に基づき、群集の目標位置関心度を決定することもでき、それは上記、高さ上面図に基づき群集の目標位置関心度を検出する方案と一致し、ただ高さ上面図中の各画素間の高さ差分布を表すのに用いる密度検出特徴を、面積上面図に適合した密度検出特徴に変更するだけで良い。
【００７６】
その他、上記文中ではLBP特徴を用いて密度検出特徴とすることを例として説明したが、実際には、LBP特徴をグラデーション特徴、harris特徴、haar特徴等、他の適当な画像特徴に差し替えても全く問題はない。
【００７７】
この他、本願は、事実上、群集密度検出方法も提供し、それには、撮影して得られた、群集を含む奥行き画像を高さ上面図中に投影するステップ、前記高さ上面図を所定の大きさのセルに分割するステップ、各セルについて、密度検出特徴を抽出し、当該密度検出特徴を当該セル内の各画素間の高さ差分布を表すのに用いるステップ、ならびに前記密度検出特徴に基づき、統計的学習方法により予め構築した密度モデルを利用して各セル内の人数を検出するステップが含まれる。
【００７８】
実施例では、前記密度検出特徴は高さに基づくローカル・バイナリー・パターン（LBP）特徴であり、各セルについて密度検出特徴を取り出す前記のことは、当該セル内の各画素に下記の処理を施すことを含み、それは、当該画素を中心にして、当該画素から所定の距離、離れた各隣接画素を決定する処理、当該画素の画素値と各隣接画素の画素値を比較する処理、或る隣接画素の画素値と当該画素の画素値の差が第一閾値より小さく、当該隣接画素の画素値が第二閾値より大きい場合は、当該隣接画素に値1を割り当て、そうでなければ当該隣接画素に値0を割り当てる処理、ならびに前記各隣接画素の値からなる二進法コードを前記画素のLBPコードとする処理である。ここで、前記第一閾値と第二閾値は人体比率に基づいて設定することができる。
【００７９】
実施例では、前記各隣接画素の値からなる二進法コードを前記画素のLBPコードとする前記のことは、前記各隣接画素の値を順番に並べてなる二進法コードに回転不変処理を施し、当該回転不変処理を経た二進法コードを前記画素のLBPコードとすることを含む。
【００８０】
実施例では、前記密度検出特徴と、統計的学習方法を利用して予め構築した密度モデルに基づき各セル内の人数を検出する前記のことは、更に、各セルに以下の操作を行うことを含むことができ、それは、当該セル内の各画素のLBPコードを分類し、これにより同じLBPコードを同一種類に分類し、各種類のLBPコード中に各々含まれるLBPコードの数を決定する操作、ならびに分類して得られたLBPコードの種類、ならびに各種類のLBPコード中に各々含まれるLBPコードの数に対し、前記密度モデルを用いて、当該セル内の人数を算出する操作である。ここで、前記密度モデルは、前記LBPコードの種類と各種類のLBPコード中に各々含まれるLBPコードの数を独立変数とし、予め集計した、前記独立変数の各種値に対応するセル内の実際の人数を従属変数とし、統計的学習方法を利用して訓練し得られるものである。
【００８１】
上記群集密度検出方法中の各ステップの具体的処理は、上記文中で図1から図4（d）までを結合した関連説明を参考にすることができ、ここでは再度繰り返して説明しない。当該方法は、高さ上面図中の各画素間の高さ差分布を表すのに用いる密度検出特徴を採用して群集密度を検出するものであり、当該密度検出特徴が人体比率を考慮したものであるため、比較的良好に人を表すことができ、比較的正確に人を検出することにより群集密度検出の正確性を向上させることができる。
【００８２】
以下、図8を参考に本願実施例による、群集の目標位置関心度検出装置を説明する。
【００８３】
図8は、本願実施例による、群集の目標位置関心度検出装置の機能配置ブロック図である。
【００８４】
図8に示すように、対象装置800は、撮影して得られた、群集と目標位置を含む奥行き画像を高さ上面図に投影するための投影部801、前記高さ上面図を所定の大きさのセルに分割するための分割部802、前記各セル内の群集密度を決定するための密度決定部803、前記各セル内の群集の移動速度と移動方向を決定するための移動決定部804、前記各セル内の群集の向きを決定するための向き決定部805、前記群集密度、群集の移動速度と移動方向、群集の向きに基づき、各セル内の群集の前記目標位置に対する関心度を決定するための関心度検出部806を含むことができる。
【００８５】
選択的に、前記密度決定部803は、更に、セル内で密度検出特徴を取り出すために配置する抽出部、前記密度検出特徴に基づき、統計的学習方法により予め構築した密度モデルを利用して各セル内の人数を検出するための密度検出部を含む。
【００８６】
選択的に、前記移動決定部804は、更に、前記奥行き画像ならびに当該奥行き画像に対応するグレースケール画像或いはカラー画像に基づき、当該セル内の各画素の移動速度と方向を計算するための画素移動決定部、当該セル内の各画素の移動速度と方向に基づき、当該セル内の群集の移動速度と方向を決定するための全体移動決定部を含む。
【００８７】
選択的に、前記向き決定部805は、更に、当該セル内で人の検出を行うために配置する個体検出部、検出した各人の向きを判断するための個体向き決定部、ならびに検出した各人の向きに基づき、当該セル内の群集の向きを決定するための全体向き決定部を含む。
【００８８】
選択的に、前記関心度検出部806は、更に、当該セル内の群集の移動方向と向きに基づき、当該セル内の群集の目標位置に相対する移動方向と向きを決定するための変換部、当該セル内の群集の移動速度、前記目標位置に相対する移動方向と向きに基づき加重係数を決定し、これにより、前記移動速度が予め設定した速度閾値より大きい時は、当該セル内の群集が目標位置に近接する方向に移動するほど加重係数を大きくし、ならびに前記移動速度が前記速度閾値より大きくない時は、当該セル内の群集が前記目標位置に面しているほど加重係数を大きくするための加重係数決定部、ならびに当該加重係数と当該セル内の人数の積を当該セル内の群集の前記目標位置に対する関心度とするための加重部を含む。
【００８９】
上記の投影部801、分割部802、密度決定部803、移動決定部804、向き決定部805、関心度検出部806、抽出部、密度検出部、画素移動決定部、全体移動決定部、個体検出部、個体向き決定部、全体向き決定部、変換部、加重係数決定部、加重部の具体的な機能と操作は、上記図1から図7までの関連説明を参考にすることができ、ここでは再度繰り返して説明しない。
【００９０】
以下、図9を参考に、本願実施例による、群集の目標位置関心度検出システム900のハードウェア全体ブロック図を説明する。図9に示すように、群集の目標位置関心度検出システム900は、例えばカメラの撮影した奥行き画像、グレースケール画像（カラー画像）等の関係画像或いは情報を外部から入力するために用い、例えばキーボード、マウス、カメラ等々がある入力装置910、本願実施例に基づく上記の、群集の目標位置関心度検出方法を実施し、或いは群集の目標位置関心度を検出する上記装置に実現するために用い、例えばコンピュータの中央処理器、或いは処理能力を有する他のチップ等々がある処理装置920、上記検出過程を実施して得られた、例えば真実世界の目標位置付近の各単位区域の目標位置関心度等々の結果を外部に出力するために用い、例えばディスプレー、プリンター等々がある出力装置930、ならびに、上記対象追跡過程における、例えば奥行き画像、グレースケール画像（カラー画像）、各種閾値、密度検出特徴の値、密度モデル、各セル内の群集密度、各セル内の群集の移動速度と移動方向、各セル内の群集の向き等々を、揮発性或いは非揮発性方式で保存する、例えばランダムアクセスメモリー（RAM）、読み取り専用メモリー（ROM）、ハードディスク、或いは半導体メモリー等々の各種揮発性或いは非揮発性メモリーがある記憶装置940を含むことができる。
【００９１】
以上、具体的な実施例と結合して本願の基本原理を説明したが、指摘すべきことは、本願で提示した長所、優位点、効果等はただの例に過ぎず非限定的であり、これらの長所、優位点、効果等は本願の各実施例が必ず具備しなければならないものと考えてはならないことである。その他、上記出願の具体的な細目はただ例示の役割と理解の便を図る役割を有するだけで、非限定的なものであり、上記細目は本願が必ず上記の具体的細目を用いて実現しなければならないと限定するものではない。
【００９２】
本願で言及した部材、装置、設備、システムのブロック図はただの例に過ぎず、また必ずブロック図に示された方式による連結、手配、配置を要求するものでも、暗示する意図でもない。当業者なら知り得るように、任意の方式でこれらの部材、装置、設備、システムを連結、手配、配置することができる。例えば、「含む」、「包含する」、「有する」等々の言葉は開かれた意味の語彙で、「含むがこれに限らない」ことを指し、これと互換使用できる。ここで使用する語彙、「或いは」と「及び」は「及び/または」の語彙を指し、前後の文脈から明らかにこれと違うことを指していない限り、互いに互換使用できる。ここで使用する語彙「例えば」は「例えば、しかしこれに限らない」というフレーズを指し、これと互換使用できる。
【００９３】
本願のステップフロー図ならびに以上の方法説明はただの例に過ぎず、また必ず提示された順序で各実施例のステップを行わなければならないと要求するものでも、或いは暗示する意図でもない。幾つかのステップは平行して、互いに独立して、或いは他の適当な順序に従って実行することができる。その他、例えば「それから」、「その後」、「続いて」等々の言葉はステップの順序を限定する意図ではなく、これらの言葉はただ読者がこれらの方法の説明を通読するよう導くために用いているだけである。
【００９４】
この他、ここで使用されるように、「少なくとも一つ」で始まる列挙項目中で使用する「或いは」は分離した列挙を指示しており、例えば「A、B或いはCのうち少なくとも一つ」の列挙はA或いはB或いはC、或いはAB或いはAC或いはBC、或いはABC（即ちAとBとC）を意味している。この他、「例示する」の言い方は説明例が好ましいものであるとか、或いは他の例に比べより良いということを意味してはいない。
【００９５】
更に指摘すべきことは、本願の装置と方法の中で、各部材或いは各ステップは分解および/或いは新規組み合わせができることである。これらの分解および/或いは新規組み合わせは本願の等価物と見做されなければならない。
【００９６】
本分野の普通の技術者にしてみれば、本願の方法と装置の全部或いは如何なる部分も理解でき、如何なるコンピュータ（処理器、メモリー媒体等を含む）或いはコンピュータ・ネットワーク中で、ハードウェア、ファームウェア、ソフトウェア、或いはそれらの組み合わせによって実現できるものである。前記ハードウェアは、設計され、ここで述べる機能を行うために用いる通用的プロセッサー、デジタル信号処理器（DSP）、ASIC、フィールドプログラマブルゲートアレイ（FPGA）あるいは他のプログラマブルロジックデバイス（PLD）、ディスクリート・ゲートあるいはトランジスター・ロジック、ディスクリート・ハードウェア部材あるいはその任意の組合せを利用することができる。通用プロセッサーはマイクロ・プロセッサーで良いが、代替として、当該プロセッサーは商業的に取得できる如何なるプロセッサー、制御器、マイクロ制御器あるいはステートマシーンでも良い。プロセッサーはコンピュータ・デバイスの組合せ、例えばDSPとマイクロ・プロセッサーの組合せ、複数のマイクロ・プロセッサー、DSP心臓部とタイアップする一つあるいは複数のマイクロ・プロセッサーあるいはこのような配置の他の如何なるものにも実現することができる。前記ソフトウェアは、如何なる形式のコンピュータ読み取り可能有形メモリー媒体にも存在することができる。これに限定するものではないが、例を挙げれば、このようなコンピュータ読み取り可能有形メモリー媒体には、RAM、ROM、EEPROM、CD-ROM或いはその他の光ディスク・メモリー、磁気ディスク・メモリー、或いは他の磁気メモリー部材ないし携帯またはメモリー・コマンド或いはデータ構造方式の希望のプログラム・コードに用いることができ、かつコンピュータがアクセスできる他の如何なる適切な有形媒体も含むことができる。ここで使用するものとしては、コンパクト・ディスク（CD）、レーザーディスク(登録商標)、光ディスク、デジタル・バーサタイル・ディスク（DVD）、フロッピー(登録商標)・ディスクおよびブルーレイを含むディスクがある。
【００９７】
本願のインテリジェント・コントロール技術は、如何なるコンピュータ上でも一つのプログラム或いは一組のプログラムを実行して実現することができる。前記コンピュータは公知の通用的な装置でよい。本願のインテリジェント技術も、前記方法或いは装置を実現するプログラム・コードを含むプログラム製品を提供するだけで実現することができ、或いはこのようなプログラム製品を有する任意のメモリー媒体によって実現することができる。
【００９８】
付記した請求項に定義された指定技術から外れなければ、ここに述べる技術の各種修正、代替、変更を行うことができる。この他、本願の請求項の範囲は以上述べた処理、機器、製造、イベントの組成、手段、方法及び動作の具体的面に限られない。ここで述べたことに相応する面で、基本的に同じ機能を実行し、或いは基本的に同じ結果を実現する、現在、存在する或いは将来開発される処理、機器、製造、イベントの組成、手段、方法或いは動作を利用することができる。従って、付記した請求項はその範囲内でのこのような処理、機器、製造、イベントの組成、手段、方法或いは動作を含んでいる。
【００９９】
公開した各方面の以上の説明は本分野の如何なる技術者も本発明を行い或いは使用できるようにするものである。これらの面に対する各種修正も当業者にとっては極めて明瞭に分かるものであり、ここで定義された一般原理は本発明の範囲から外れることなく、他の面に応用することができる。このため、本願は、ここに示した面に限定されるものではなく、ここに公開した原理と新規的な特徴に一致する最も広い範囲に従うものであることを意図している。以上、既に複数の例示方面と実施例を論じたが、当業者であれば、それらの変形、修正、変更、添加およびサブ組合せを認識することができる。
【図１】
2016095848.tif 000018
【図２】
2016095848.tif 000019
【図３】
2016095848.tif 000020
【図４】
2016095848.tif 000021
【図５】
2016095848.tif 000022
【図６】
2016095848.tif 000023
【図７】
2016095848.tif 000024
【図８】
2016095848.tif 000025
【図９】
2016095848.tif 000026