(57)【要約】【課題】混雑が生じ得る空間が撮影された撮影画像から個々の物体の位置を精度良く推定できる物体位置推定装置を提供する。【解決手段】本発明にかかる物体位置推定装置は、所定の密度ごとに当該密度にて物体が存在する空間を撮影した密度画像の特徴を予め学習した密度推定器を用いて、撮影画像に撮影された物体の密度の分布を推定する密度推定手段５０と、物体を模した物体モデルを記憶している物体モデル記憶手段４１と、撮影画像に配置領域を設定するとともに、分布に応じた個数の物体モデルに配置領域内の位置を割り当てて複数通りの配置を設定し、複数通りの配置にて物体モデルを描画してモデル画像を生成するモデル画像生成手段５１と、複数通りの配置それぞれのモデル画像と撮影画像との類似度を算出して、複数通りの配置のうちの類似度が最も高い配置を出力する最適配置推定手段５２と、を備える。【選択図】図２
2018156236.tif 000002
【特許請求の範囲】
【請求項１】
所定の物体による混雑が生じ得る推定対象空間が撮影された撮影画像から前記物体それぞれの位置を推定する物体位置推定装置であって、
所定の密度ごとに当該密度にて前記物体が存在する空間を撮影した密度画像の特徴を予め学習した密度推定器を用いて、前記撮影画像に撮影された前記物体の前記密度の分布を推定する密度推定手段と、
前記物体を模した物体モデルを記憶している物体モデル記憶手段と、
前記撮影画像に配置領域を設定するとともに、前記分布に応じた個数の前記物体モデルに前記配置領域内の位置を割り当てて複数通りの配置を設定し、前記複数通りの配置にて前記物体モデルを描画してモデル画像を生成するモデル画像生成手段と、
前記複数通りの配置それぞれの前記モデル画像と前記撮影画像との類似度を算出して、前記複数通りの配置のうちの前記類似度が最も高い配置を出力する最適配置推定手段と、
を備えたことを特徴とする物体位置推定装置。
【請求項２】
前記モデル画像生成手段は、前記分布において想定される推定誤差の範囲で複数通りの前記個数の前記物体モデルを割り当てて前記複数通りの配置を設定し、
前記最適配置推定手段は、前記配置ごとの前記類似度を当該配置における前記個数と対応する前記推定誤差が大きいほど低めて算出する、
請求項１に記載の物体位置推定装置。
【請求項３】
前記モデル画像生成手段は、前記配置ごとに前記モデル画像における前記物体モデルどうしの重なり度合いを算出し、
前記最適配置推定手段は、前記配置ごとの前記類似度を当該配置における前記重なり度合いが大きいほど低めて算出する、
請求項１または２に記載の物体位置推定装置。
【請求項４】
前記撮影画像における局所領域のサイズを前記推定対象空間における実サイズに換算するサイズ換算手段、をさらに備え、
前記密度推定手段は、前記局所領域ごとに前記密度を推定し、
前記モデル画像生成手段は、前記配置領域に含まれる前記局所領域の前記実サイズと前記密度から当該配置領域に割り当てる前記個数を決定する、
請求項１〜３の何れか一つに記載の物体位置推定装置。
【請求項５】
前記撮影画像を前記推定対象空間の背景画像と比較して前記撮影画像において前記背景画像と所定基準以上に相違する変化領域を抽出する変化領域抽出手段、をさらに備え、
前記モデル画像生成手段は、前記変化領域を前記配置領域に設定する、
請求項１〜４の何れか一つに記載の物体位置推定装置。
【請求項６】
前記モデル画像生成手段は、前記分布において０より大きな前記密度が推定された領域を前記配置領域に設定する、
請求項１〜５の何れか一つに記載の物体位置推定装置。
【請求項７】
前記物体モデル記憶手段は、前記物体の形状を模した前記物体モデルを記憶し、
前記最適配置推定手段は、前記モデル画像に描画された前記物体モデルの形状の、前記配置領域に対する適合度の高さに応じた前記類似度を算出する、
請求項１〜６の何れか一つに記載の物体位置推定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から人等の所定の物体の位置を推定する物体位置推定装置に関し、特に、混雑が生じ得る空間が撮影された画像から個々の物体の位置を推定する物体位置推定装置に関する。
【背景技術】
【０００２】
イベント会場等の混雑が発生し得る空間においては事故防止等のために、混雑が発生している区域に警備員を多く配置するなどの対応が求められる。そこで、会場の各所に監視カメラを配置して撮影画像から人の分布を推定し、推定した分布を表示することによって監視員による混雑状況の把握を容易化することができる。
【０００３】
その際、個々の人の位置を推定することによって、推定した個々の位置に人の形状を模したモデルを表示し、または／および人の位置関係（例えば行列を為している、取り囲んでいる）を解析して解析結果を報知することによって、より一層の監視効率向上が期待できる。
【０００４】
複数人が撮影された撮影画像から個々の人の位置を推定する方法のひとつに、人を模したモデルを複数個組み合わせて撮影画像に当てはめる方法がある。
【０００５】
特許文献１に記載の移動物体追跡装置においては、監視画像と背景画像との比較によって変化画素が抽出された位置に、追跡中の移動物体の形状を模した移動物体モデルを追跡中の移動物体の数だけ組み合わせて当てはめることによって個々の移動物体の位置を推定している。その際、各物体位置に対して推定された物体領域を合成し、変化画素のうち合成領域外の変化画素を検出してそれらをラベリングし、ラベルが移動物体とみなせる大きさであればラベルの位置を新規出現した移動物体の位置とすることが記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１２−１５９９５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、混雑時の空間を撮影した撮影画像は、当てはめるべきモデルの個数を推定することが困難であり、高精度に人の位置を推定できない問題があった。
【０００８】
すなわち、モデルの組み合わせを変化領域に当てはめる方法では、領域重複の割合が大きな組み合わせを含ませれば、本来人数以上の個数のモデルが当てはまってしまうため、組み合わせるモデルの個数を尤もらしい個数に制限する必要がある。
【０００９】
ところが、混雑時の空間を撮影した撮影画像においては、多数人の新規出現が人同士のオクルージョンを伴って同時に生じ得る。このことは、オクルージョンの度合いによって、新規出現による変化領域（合成領域外のラベル）の面積と新規出現した人数の関係が様々に変わり得ることを意味する。そのため、合成領域外のラベルの面積から、当該ラベルに当てはめるべきモデルの個数を推定することが困難であった。
【００１０】
加えて、混雑時の空間を撮影した撮影画像においては、多数人の消失が多数人の新規出現と同時に生じ得る。そのため、新規出現による変化領域のみならず、それ以外の部分を含めた変化領域に当てはめるべきモデルの個数を推定することが困難であった。
【００１１】
そのため、混雑時の空間を撮影した撮影画像に対し、当てはめるモデルの個数を尤もらしい個数に制限できず、高精度に人の位置を推定できないのである。
【００１２】
本発明は上記問題に鑑みてなされたものであり、混雑が生じ得る空間が撮影された撮影画像から個々の物体の位置を精度良く推定できる物体位置推定装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
かかる課題を解決するため本発明は、所定の物体による混雑が生じ得る推定対象空間が撮影された撮影画像から物体それぞれの位置を推定する物体位置推定装置であって、所定の密度ごとに当該密度にて物体が存在する空間を撮影した密度画像の特徴を予め学習した密度推定器を用いて、撮影画像に撮影された物体の密度の分布を推定する密度推定手段と、物体を模した物体モデルを記憶している物体モデル記憶手段と、撮影画像に配置領域を設定するとともに、分布に応じた個数の物体モデルに配置領域内の位置を割り当てて複数通りの配置を設定し、複数通りの配置にて物体モデルを描画してモデル画像を生成するモデル画像生成手段と、複数通りの配置それぞれのモデル画像と撮影画像との類似度を算出して、複数通りの配置のうちの類似度が最も高い配置を出力する最適配置推定手段と、を備えたことを特徴とする物体位置推定装置を提供する。
【００１４】
かかる物体位置推定装置においてモデル画像生成手段は、分布において想定される推定誤差の範囲で複数通りの個数の物体モデルを割り当てて複数通りの配置を設定し、最適配置推定手段は、配置ごとの類似度を当該配置における個数と対応する推定誤差が大きいほど低めて算出することが好適である。
【００１５】
かかる物体位置推定装置においてモデル画像生成手段は、配置ごとにモデル画像における物体モデルどうしの重なり度合いを算出し、最適配置推定手段は、配置ごとの類似度を当該配置における重なり度合いが大きいほど低めて算出することが好適である。
【００１６】
かかる物体位置推定装置においては、撮影画像における局所領域のサイズを推定対象空間における実サイズに換算するサイズ換算手段、をさらに備え、密度推定手段は、局所領域ごとに密度を推定し、モデル画像生成手段は、配置領域に含まれる局所領域の実サイズと密度から当該配置領域に割り当てる個数を決定することが好適である。
【００１７】
かかる物体位置推定装置においては、撮影画像を推定対象空間の背景画像と比較して撮影画像において背景画像と所定基準以上に相違する変化領域を抽出する変化領域抽出手段、をさらに備え、モデル画像生成手段は、変化領域を配置領域に設定することが好適である。
【００１８】
かかる物体位置推定装置においてモデル画像生成手段は、分布において０より大きな密度が推定された領域を配置領域に設定することが好適である。
【００１９】
かかる物体位置推定装置において物体モデル記憶手段は、物体の形状を模した物体モデルを記憶し、最適配置推定手段は、モデル画像に描画された物体モデルの形状の、配置領域に対する適合度の高さに応じた類似度を算出することが好適である。
【発明の効果】
【００２０】
本発明によれば、撮影画像から物体の密度分布を推定して密度分布に応じた個数の物体モデルを用いて個々の物体の位置を推定するため、混雑が生じ得る空間が撮影された撮影画像から個々の物体の位置を精度良く推定できる。
【図面の簡単な説明】
【００２１】
【図１】画像監視装置１の概略の構成を示すブロック図である。
【図２】画像監視装置１の機能ブロック図である。
【図３】物体モデル記憶手段４１の記憶内容を示す模式図である。
【図４】サイズ換算手段５４の構成要素を示す模式図である。
【図５】実サイズ算出手段５４０の処理例を説明する図である。
【図６】形状適合度の算出処理の一例を模式的に示した図である。
【図７】モデル画像２１０に対して隠蔽度を算出する様子を示した図である。
【図８】画像処理部５の動作を説明するフロー図である。
【図９】注目変化領域の最適配置推定を説明する１つめの図である。
【図１０】注目変化領域の最適配置推定を説明する２つめの図である。
【発明を実施するための形態】
【００２２】
以下、本発明の物体位置推定装置を含む好適な実施形態の一例として、物体位置推定装置によってイベント会場を撮影した撮影画像から個々の人の位置を推定し、推定した位置の情報を表示する画像監視装置１について説明する。
【００２３】
＜画像監視装置１の構成＞
図１は画像監視装置１の概略の構成を示すブロック図である。画像監視装置１は、撮影部２、通信部３、記憶部４、画像処理部５、および出力部６からなる。
【００２４】
撮影部２は、監視カメラであり、通信部３を介して画像処理部５と接続され、監視空間を所定の時間間隔で撮影して撮影画像を生成し、撮影画像を順次画像処理部５に入力する撮影手段である。例えば、撮影部２は、イベント会場に設置されたポールに当該監視空間を俯瞰する所定の固定視野を有して設置され、監視空間をフレーム周期１秒で撮影してカラー画像を生成する。カラー画像の代わりにモノクロ画像を生成してもよい。
【００２５】
通信部３は、通信回路であり、その一端が画像処理部５に接続され、他端が同軸ケーブルまたはＬＡＮ（Local Area Network）、インターネットなどの通信網を介して撮影部２および出力部６と接続される。通信部３は、撮影部２から撮影画像を取得して画像処理部５に入力し、画像処理部５から入力された推定結果を出力部６に出力する。
【００２６】
記憶部４は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリ装置であり、各種プログラムや各種データを記憶する。記憶部４は、画像処理部５と接続されて画像処理部５との間でこれらの情報を入出力する。
【００２７】
画像処理部５は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置で構成される。画像処理部５は、記憶部４および出力部６と接続され、記憶部４からプログラムを読み出して実行することにより各種処理手段・制御手段として動作し、各種データを記憶部４に記憶させ、読み出す。また、画像処理部５は、通信部３を介して撮影部２および出力部６とも接続され、通信部３経由で撮影部２から取得した撮影画像を解析することにより監視空間に存在する人物の位置及び、人物領域を通信部３経由で出力部６に表示させる。
【００２８】
出力部６は、液晶ディスプレイ又はＣＲＴ（Cathode Ray Tube）ディスプレイ等のディスプレイ装置であり、通信部３を介して画像処理部５と接続され、画像処理部５による推定結果を表示する表示手段である。監視員は表示された推定結果を視認して混雑の発生等を判断し、必要に応じて人員配置の変更等の対処を行う。
【００２９】
なお、本実施形態においては、撮影部２と画像処理部５の個数が１対１である画像監視装置１を例示するが、別の実施形態においては、撮影部２と画像処理部５の個数を多対１或いは多対多とすることもできる。
【００３０】
＜画像監視装置１の機能＞
図２は画像監視装置１の機能ブロック図である。通信部３は、画像取得手段３０および物体位置出力手段３１等として機能し、記憶部４は、背景画像記憶手段４０および物体モデル記憶手段４１等として機能する。また、画像処理部５は、密度推定手段５０、モデル画像生成手段５１、最適配置推定手段５２、変化領域抽出手段５３およびサイズ換算手段５４等として機能する。
【００３１】
以下、図２から図７を参照して各手段について説明する。
【００３２】
画像取得手段３０は、撮影手段である撮影部２から撮影画像を順次取得して、取得した撮影画像を密度推定手段５０および変化領域抽出手段５３に順次出力する。
【００３３】
密度推定手段５０は、画像取得手段３０から入力された撮影画像から密度推定用の特徴量（推定用特徴量）を抽出して、抽出した推定用特徴量を密度推定器に入力して取得される出力値を用いて人の密度の分布（密度分布）を推定し、推定した密度分布をモデル画像生成手段５１に出力する。
【００３４】
具体的には、密度推定手段５０は、撮影画像の各画素の位置に窓（推定用抽出窓）を設定し、各推定用抽出窓における撮影画像の推定用特徴量を算出することによって、画素ごとに推定用特徴量を抽出する。推定用特徴量はＧＬＣＭ（Gray Level Co-occurrence Matrix）特徴である。
各推定用抽出窓に撮影されている監視空間内の領域が同一サイズであることが望ましい。すなわち、好適には密度推定手段５０は不図示のカメラパラメータ記憶手段から予め記憶されている撮影部２のカメラパラメータを読み出し、カメラパラメータを用いたホモグラフィ変換により撮影画像の任意の領域に撮影されている監視空間内の領域が同一サイズとなるように撮影画像を変形してから推定用特徴量を抽出する。なお、カメラパラメータ記憶手段は後述するカメラパラメータ記憶手段４１１または／および４２０と共用することもできる。
【００３５】
そして、密度推定手段５０は、画素ごとに、当該画素に対応して抽出した推定用特徴量を密度推定器に入力することによってその出力値である推定密度を取得する。この画素ごとの推定密度が密度分布である。なお、撮影画像を変形させて推定用特徴量を抽出した場合、密度推定手段５０は、カメラパラメータを用いたホモグラフィ変換により密度分布を元の撮影画像の形状に変形させる。
【００３６】
密度推定器は、画像の特徴量を入力されると当該画像に撮影されている人の密度を推定して推定値（推定密度）を出力する関数である。当該関数が、その係数等のパラメータを含めて、密度推定手段５０のプログラムの一部として予め記憶されている。密度推定器は多クラスの画像を識別する識別器で実現することができ、多クラスＳＶＭ法で学習した識別関数とすることができる。
【００３７】
密度は、例えば、人が存在しない「背景」クラス、０人／ｍ２より高く２人／ｍ２以下である「低密度」クラス、２人／ｍ２より高く４人／ｍ２以下である「中密度」クラス、４人／ｍ２より高い「高密度」クラスの４クラスと定義することができる。
【００３８】
推定密度は各クラスに予め付与された値であり、分布推定の結果として出力される値である。本実施形態では各クラスに対応する値を「背景」「低密度」「中密度」「高密度」と表記する。
【００３９】
すなわち、密度推定器は「背景」クラス、「低密度」クラス、「中密度」クラス、「高密度」クラスのそれぞれに帰属する多数の画像（密度画像）の特徴量に多クラスＳＶＭ法を適用して学習した、各クラスの画像を他のクラスと識別するための識別関数である。この学習により導出された識別関数のパラメータが密度推定器として記憶されている。なお、密度画像の特徴量は、推定用特徴量と同種であり、ＧＬＣＭ特徴である。
【００４０】
密度推定手段５０が出力する密度分布から撮影画像の各所における人の粗密状況が分かるが、密度分布から個々の人の位置までは分からない。
密度推定手段５０の後段のモデル画像生成手段５１および最適配置推定手段５２は、人を模したモデルを撮影画像に当てはめることで個々の人の位置を推定する。当てはめるモデルは物体モデル記憶手段４１に記憶されており、このモデルは人の形状を模したものである。最適配置推定手段５２は、配置したモデルの形状と撮影画像に現れている形状特徴量の類似性を基礎にしてモデルの当てはまり度合いを評価する。
【００４１】
具体的には、モデル画像生成手段５１は、密度推定手段５０から入力された密度分布を参照するとともに、物体モデル記憶手段４１から物体モデルを読み出し、撮影画像に配置領域を設定するとともに、当該密度分布に応じた個数（配置数）の物体モデルに配置領域内の位置を割り当てて複数通りの配置を設定し、設定した複数通りの配置にて物体モデルを描画してモデル画像を生成し、生成したモデル画像および配置数を含むモデル画像情報を最適配置推定手段５２に出力する。配置領域は、変化領域など、物体が撮影されていると推定される領域である。
【００４２】
そして、最適配置推定手段５２は、モデル画像生成手段５１から入力された複数通りの配置それぞれのモデル画像と撮影画像との類似度を算出して、複数通りの配置のうちの類似度が最も高い配置（最適配置）が示す物体モデルの位置から物体位置の情報を生成して物体位置出力手段３１に出力する。
【００４３】
このように密度分布に応じた個数の物体モデルを配置することで、当てはめるモデルの個数を的確に制限して個々の物体の位置を推定できる。そのため、本来の物体数以上の物体モデルが当てはまることを防止でき、混雑が生じ得る空間が撮影された撮影画像から個々の物体の位置を精度良く推定することが可能となる。
【００４４】
物体モデルとモデル画像の生成について説明する。
【００４５】
物体モデル記憶手段４１は、図３（Ａ）に示すように、予め推定対象の物体の立体モデルを記憶している立体モデル記憶手段４１０と、予め撮影部２のカメラパラメータを記憶しているカメラパラメータ記憶手段４１１を備え、モデル画像生成手段５１が立体モデルおよびカメラパラメータを読み出す。
【００４６】
立体モデルは、推定対象の物体を構成する複数の構成部分毎の立体形状を表す部分モデルと、それら部分モデル相互の配置関係とを記述したデータである。画像監視装置１が推定対象とする物体は立位の人であり、人の頭部、胴部、脚部の３部分の立体形状を近似する回転楕円体をＺ軸方向に積み重ねた立体モデルを設定する。本実施形態では説明を簡単にするため、立体モデルの高さおよび幅は標準的な人のサイズとし全員に共通とする。また、頭部中心を人の代表位置とする。なお立体モデルはより単純化して１つの回転楕円体で近似してもよい。
【００４７】
カメラパラメータは撮影部２が監視空間を投影した撮影画像を撮影する際の投影条件に関する情報を含む。例えば、カメラパラメータは、実際の監視空間における撮影部２の設置位置及び撮像方向といった外部パラメータ、撮影部２の焦点距離、画角、レンズ歪みその他のレンズ特性や、撮像素子の画素数といった内部パラメータを含む情報である。このカメラパラメータを用いて立体モデルをレンダリングすることで、撮影部２による人の撮影を模した仮想画像（モデル画像）を生成できる。また、このカメラパラメータを用いて撮影画像上の任意の画素を立体モデルの頭部中心の高さの水平面に逆投影することで、当該画素の位置に投影される立体モデルの、監視空間を模した仮想空間内における代表位置（頭部中心）を算出できる。
【００４８】
モデル画像生成手段５１は、配置数分の物体モデルに撮影画像上の位置を割り当て、カメラパラメータを用いて当該各位置に対応する仮想空間内の位置を求めて、求めた各位置に立体モデルを配置する。そして、モデル画像生成手段５１は、立体モデルを配置した仮想空間を、カメラパラメータを用いて撮影部２の撮影面にレンダリングすることによりモデル画像を生成する。レンダリングにより生成したモデル画像においては物体間の隠蔽も表現される。
【００４９】
物体モデル記憶手段４１は、図３（Ａ）の構成に代えて、図３（Ｂ）に示すように、予め撮影画像の各画素の位置に対応した二次元のモデル像を記憶しているモデル像記憶手段４１２で構成することもできる。これらのモデル像はカメラパラメータを用いた立体モデルの投影を事前に行うことで生成される。その場合、モデル画像生成手段５１は、各物体モデルに撮影画像上の位置を割り当てると、当該位置に対応するモデル像を描画する。その際、モデル画像生成手段５１は撮影部２から遠い位置から順に上書き描画することにより物体間の隠蔽を表現する。
【００５０】
或いは、物体モデル記憶手段４１は、撮影画像の画素数よりも少ない個数の代表的なモデル像を予め記憶しているモデル像記憶手段４１２で構成することもできる。この場合は、これらの代表的なモデル像に拡大・縮小などの変形処理を施すことによって、任意の位置のモデル像が生成される。
【００５１】
以上のように、物体モデル記憶手段４１は推定対象の物体を模した物体モデルを記憶しており、特にその形状を模した物体モデルを記憶している。そして、モデル画像生成手段５１は、各物体モデルに撮影画像上の位置を割り当てると、物体モデル記憶手段４１から物体モデルを読み出し、割り当てた各位置に物体モデルを描画してモデル画像を生成する。
【００５２】
次に、物体モデルを配置する領域（配置領域）および配置数について説明する。
【００５３】
単純な例では、モデル画像生成手段５１は、低密度クラス、中密度クラスまたは高密度クラスであると推定された領域を配置領域に設定し、１個以上の物体モデルのそれぞれに配置領域内のランダムな位置を割り当て、割り当てを変更し且つ上限個数（例えば仮想空間中で立体モデルが重ならずに配置できる上限個数）まで配置数を増やしながら、互いに位置および／または配置数が異なる複数通りのモデル画像を生成する。
【００５４】
しかしながら、上記の単純な例では、位置と配置数の組み合わせが過剰であるため処理量が多くなる上に本来の物体数以上の物体モデルが当てはまることによる誤推定を生じやすくなる。
そこで、モデル画像生成手段５１は、撮影画像中の変化領域を配置領域とすることで、より厳密な配置領域を設定し、また配置領域の実サイズと密度からより厳密な配置数を決定することによって、処理量を減じるとともに本来の物体数以上の物体モデルが当てはまることによる誤推定をより的確に防止する。
【００５５】
そのために、背景画像記憶手段４０は監視空間の背景画像を記憶し、変化領域抽出手段５３は、画像取得手段３０から入力された撮影画像と、背景画像記憶手段４０から読み出した背景画像とを比較して、撮影画像において背景画像と所定基準以上に相違する変化領域を抽出し、抽出した変化領域の情報をモデル画像生成手段５１および最適配置推定手段５２に出力する。
【００５６】
具体的には、変化領域抽出手段５３は、推定に先立って、人が存在しないときの撮影画像を背景画像として背景画像記憶手段４０に記憶させる。また、変化領域抽出手段５３は、新たな撮影画像のうちの変化領域以外の部分画像を、背景画像に加算平均し、または置換することによって背景画像を適宜更新する。
或いは、変化領域抽出手段５３は無人の監視空間を模した環境モデルをレンダリングすることによって背景画像を生成することもできる。この場合、変化領域抽出手段５３は、不図示の環境モデル記憶手段から予め記憶されている環境モデルを読み出すとともに不図示のカメラパラメータ記憶手段から予め記憶されている撮影部２のカメラパラメータを読み出し、カメラパラメータを用いて環境モデルをレンダリングする。カメラパラメータ記憶手段は後述するカメラパラメータ記憶手段４１１または／および４２０と共用することもできる。環境モデルには監視空間の構成物体それぞれについての三次元形状、マテリアル特性等および監視空間を照明する光源の照明パラメータが含まれ、変化領域抽出手段５３は、撮影画像等から照明条件を推定し、推定した照明条件に応じて照明パラメータを変更してレンダリングすることにより背景画像を適宜更新する。
【００５７】
変化領域抽出手段５３は背景差分処理により変化領域を抽出する。すなわち変化領域抽出手段５３は、画素ごとに撮影画像と背景画像の輝度差の絶対値（差分値）を算出して予め定めた閾値と比較して閾値以上の差分値が算出された画素を検出し、検出した画素が空間的につながっている塊を変化領域として抽出する。なお推定対象の想定サイズよりも小さな塊は抽出対象外とする。
或いは、変化領域抽出手段５３は、背景相関処理によって変化領域を抽出することもできる。
なお、変化領域抽出手段５３は、モデル画像生成手段５１に出力する変化領域の情報に、各画素における差分値あるいは相関値を含ませてもよい。
【００５８】
このように、背景画像記憶手段４０は推定対象空間の背景画像を記憶し、変化領域抽出手段５３は撮影画像を推定対象空間の背景画像と比較して撮影画像において背景画像と所定基準以上に相違する変化領域を抽出する。そして、モデル画像生成手段５１は変化領域抽出手段５３から入力された変化領域を配置領域に設定する。
【００５９】
サイズ換算手段５４は、モデル画像生成手段５１から撮影画像中の任意の画素を指定され、指定された画素に投影されている監視空間の面積（実サイズ）をモデル画像生成手段５１に出力する。
そして、モデル画像生成手段５１は、変化領域中の各画素をサイズ換算手段５４に指定して各画素の実サイズを取得し、変化領域中の各画素の実サイズに密度推定手段５０から入力された当該画素における密度を乗じて積を総和することにより変化領域に対するモデルの配置数を決定する。
すなわち、変化領域に含まれる画素の集合をＲ、集合Ｒの中の任意の一画素をｉ、画素ｉの実サイズをａｉ、画素ｉにおける密度をｄｉとすると、配置数Ｐは次式で導出される。
2018156236.tif 000003
【００６０】
具体的には、サイズ換算手段５４は、図４（Ａ）に示すように、予め撮影部２のカメラパラメータを記憶しているカメラパラメータ記憶手段４２０と、カメラパラメータを用いて、指定された画素が表す撮影画像上の領域を監視空間内における領域に変換して当該領域の面積を指定された画素の実サイズとして算出する実サイズ算出手段５４０によって構成することができる。なお、カメラパラメータ記憶手段４２０とカメラパラメータ記憶手段４１１とは共通化してもよい。
【００６１】
図５を参照して、実サイズ算出手段５４０の処理例を説明する。図５のＸＹＺ空間１００は監視空間を模した仮想空間である。ＸＹ平面は、監視空間における地面、床面等の水平面を表している。また、図５には標準的な身長の人を模した物体モデル１０２の頭部中心の高さ（例えば１．５ｍ）の水平面１０１を示している。
サイズ換算手段５４は、カメラパラメータを用いて、撮影部２の光学中心と指定された画素とを結ぶ視線ベクトルが平面１０１と交差する交点Ｐ０（Ｘ０，Ｙ０，Ｚ０）を算出する。同様に、サイズ換算手段５４は、カメラパラメータを用いて、指定された画素の右隣の画素および下の画素のそれぞれの交点Ｐｒ（Ｘｒ，Ｙｒ，Ｚｒ）およびＰｂ（Ｘｂ，Ｙｂ，Ｚｂ）を算出する。指定された画素と対応する実サイズは、交点Ｐ０から交点Ｐｒへのベクトルと交点Ｐ０から交点Ｐｂへのベクトルが為す平行四辺形の面積で近似できる。サイズ換算手段５４は、｜（Ｘｒ−Ｘ０）（Ｙｂ−Ｙ０）−（Ｙｒ−Ｙ０）（Ｘｂ−Ｘ０）｜を算出して出力する。
【００６２】
なお、サイズ換算手段５４は、図４（Ｂ）に示すように、撮影画像の各画素と対応づけて、事前に算出された当該画素の実サイズを予め記憶している実サイズ記憶手段４２１によって構成してもよい。この場合、実サイズ記憶手段４２１がモデル画像生成手段５１から指定された画素に対応して記憶している実サイズを出力する。
【００６３】
ここで、密度分布が示す密度は推定値であり誤差を含む。そのため、配置数にも幅を持たせて複数通りの配置数でモデル画像を生成し、それらの中から最も撮影画像に類似するモデル画像を選出することによって物体の位置を推定するのが良い。
そこで、モデル画像生成手段５１は、密度分布において想定される推定誤差の範囲で複数通りの個数の物体モデルを割り当てて複数通りの配置を設定する。
【００６４】
上述した密度推定手段５０が出力する密度分布は、それ自体が幅を持った推定密度で表されており、推定誤差を含んだ表現となっている。すなわち低密度、中密度、高密度クラスの推定誤差の範囲をそれぞれ０人／ｍ２より高く２人／ｍ２以下、２人／ｍ２より高く４人／ｍ２以下、４人／ｍ２より高く８人／ｍ２以下とすることができる。ただし高密度クラスの上限値を８人／ｍ２としている。モデル画像生成手段５１は、各クラスの下限値を式（１）のｄｉに適用した場合のＰを下限配置数、各クラスの上限値を式（１）のｄｉに適用した場合のＰを上限配置数に設定することができる。
【００６５】
例えば、モデル画像生成手段５１は、中密度クラスの１００画素と高密度クラスの５０画素からなる変化領域について、下限配置数が４（＝０．０１×２×１００＋０．０１×４×５０）、上限配置数が８（＝０．０１×４×１００＋０．０１×８×５０）と算出し、４個の物体モデルを配置したモデル画像、５個の物体モデルを配置したモデル画像、…、８個の物体モデルを配置したモデル画像を生成する。ただし、この例では簡単のため１画素あたり一律０．０１ｍ２としている。
【００６６】
なお、推定誤差を多めに見積もって、低密度、中密度、高密度クラスの推定誤差の範囲をそれぞれ０人／ｍ２以上３人／ｍ２以下、２人／ｍ２以上５人／ｍ２以下、４人／ｍ２以上８人／ｍ２以下などとしてもよい。
【００６７】
以上のように、サイズ換算手段５４は、撮影画像における局所領域のサイズを推定対象空間における実サイズに換算する。そして、モデル画像生成手段５１は、撮影画像上に複数の局所領域からなる配置領域を設定して、当該配置領域に含まれる局所領域の実サイズと密度分布から当該配置領域に割り当てる個数を決定する。そのため、処理量を減じるとともに本来の物体数以上の物体モデルが当てはまることによる誤推定をより的確に防止できる。
また、その際、モデル画像生成手段５１は、密度分布において想定される推定誤差の範囲で複数通りの個数の物体モデルを割り当てて複数通りの配置を設定する。そのため、密度分布に推定誤差が含まれていても本来の物体数での配置を含めた複数通りの配置を設定でき、物体の位置の誤推定を防ぐことができる。
【００６８】
次に、類似度について説明する。
【００６９】
最適配置推定手段５２は、モデル画像に描画された物体モデルの形状の、配置領域に対する適合度（形状適合度）の高さに応じた類似度を次式に従って算出する。
類似度  ＝  形状適合度  −  （ＷＨ×隠蔽度＋ＷＮ×配置数の推定誤差）    （２）
ただし、ＷＨおよびＷＮは０より大きな重み係数であり、事前の実験に基づいて予め設定される。形状適合度から減じる値はペナルティ値に相当する。
【００７０】
形状適合度は、例えば、撮影画像から抽出された変化領域とモデル画像において物体モデルが描画された領域（モデル領域）との重複度とすることができる。その場合、重複度から配置領域とモデル領域の非重複度を減じることによって、互いの領域のはみ出しを加味した、より信頼性の高い形状適合度とすることができる。すなわち、最適配置推定手段５２は、次式に従って形状適合度を算出する。
形状適合度  ＝  重複度−非重複度
＝  （重複領域の面積−非重複領域の面積）
／（変化領域の面積＋モデル領域の面積−重複領域の面積）  （３）
【００７１】
図６は形状適合度の算出処理の一例を模式的に示した図である。
最適配置推定手段５２には、変化領域抽出手段５３から変化領域２０１の情報を含んだ差分画像２００が入力され、モデル画像生成手段５１から６つのモデルの像２１１が描画されたモデル画像２１０が入力されている。モデルの像２１１の和領域がモデル領域である。画像２２０は最適配置推定手段５２が変化領域２０１とモデル領域を重ね合せている様子が示されている。図中の白抜き部分が重複領域２２１、横線を記した部分がモデル領域側の非重複領域２２２、斜線を記した部分が変化領域側の非重複領域２２３である。非重複領域２２２と非重複領域２２３の和が式（３）の非重複領域である。
最適配置推定手段５２は、重複領域２２１、非重複領域、変化領域２０１およびモデル領域の画素数を計数して各領域の面積とし、それらの面積を式（３）に適用して形状適合度を算出する。
【００７２】
より好適には、形状適合度は、重複度および非重複度を各画素における差分値により重み付けて算出される。すなわち、最適配置推定手段５２は、次式に従って形状適合度を算出することもできる。
形状適合度  ＝  重複度−非重複度
＝  重複領域における差分値の総和−非重複領域における差分値の総和
／（変化領域の面積＋モデル領域の面積−重複領域の面積）  （４）
なお、変化領域抽出手段５３が背景相関処理により変化領域を抽出した場合は、差分値に代えて１．０から相関値を減じた値を用いる。
【００７３】
或いは、形状適合度は、撮影画像とモデル画像とのエッジ類似度とすることができる。その場合、最適配置推定手段５２は、画像取得手段３０から撮影画像を入力され、撮影画像とモデル画像のそれぞれからエッジを抽出する。そして最適配置推定手段５２は、例えば、モデル画像から有効なエッジが抽出された画素ごとに対応する撮影画像の画素のエッジ抽出結果との差の絶対値を算出して総和し、総和値を算出に用いた画素数で除してエッジ類似度を算出する。
【００７４】
さらには、重複度と非重複度の差と、エッジ類似度の重みづけ和を形状適合度とすることもできる。
【００７５】
次に、類似度のペナルティ項に含まれる隠蔽度について説明する。
【００７６】
モデル画像における物体モデルどうしの重なりが大きくなり過ぎると配置数の増減に対する形状適合度の変化が小さくなるため、物体の位置を誤推定する要因となる。隠蔽度は、モデル画像における物体モデルどうしの重なり度合いであり、物体モデルの過剰な重なりを抑制するための尺度である。
【００７７】
モデル画像生成手段５１は配置ごとにモデル画像における物体モデルどうしの重なり度合いを表す隠蔽度を次式に従って算出し、最適配置推定手段５２は式（２）に示したように配置ごとの類似度を当該配置における隠蔽度が大きいほど低めて算出する。
隠蔽度  ＝  モデル間の重複領域の面積／モデル領域の和領域の面積          （５）
【００７８】
図７は、図６のモデル画像２１０に対して隠蔽度を算出する様子を示した図である。
画像３００は６つのモデル領域の重なりを表す画像である。斜線で示した領域３０１，３０２，３０３を合わせた領域がモデル間の重複領域である。
また、画像３１０は６つのモデル領域の論理和を表す画像である。斜線で示した領域３１１，３１２，３１３を合わせた領域がモデル領域の和領域である。
モデル画像生成手段５１は、領域３０１，３０２および３０３の画素数を計数してモデル間の重複領域の面積とするとともに、領域３１１，３１２および３１３の画素数を計数してモデル領域の和領域の面積とし、それらの面積を式（５）に適用して隠蔽度を算出する。
【００７９】
このようにすることで、隠蔽度を含めた類似度に基づいて最適配置を推定することができ、本来の物体数以上の物体モデルが当てはまることによる誤推定をより的確に防止できる。
【００８０】
次に、類似度のペナルティ項に含まれる、配置数の推定誤差について説明する。
【００８１】
各モデル画像における配置数は、密度の推定値に基づいて設定された数であり、密度の推定誤差を含んでいる。配置数の推定誤差は、各モデル画像における配置数が含む、密度分布の推定誤差の程度を表す尺度である。
【００８２】
最適配置推定手段５２は、配置ごとの類似度を当該配置における配置数と対応する推定誤差が大きいほど低めて算出する。
【００８３】
具体的には、最適配置推定手段５２は、例えば、次式に従って配置数の推定誤差を算出する。
配置数の推定誤差  ＝  −ｅｘｐ｛−α（配置数の代表値−配置数）２｝      （６）
2018156236.tif 000004
ただし、変化領域に含まれる画素の集合をＲ、集合Ｒの中の任意の一画素をｉ、画素ｉの実サイズをａｉ、画素ｉにおける密度の代表値をｃｉとしている。低密度クラスの密度の代表値は１人／ｍ２、中密度クラスの密度の代表値は３人／ｍ２、高密度は６人／ｍ２などとすることができる。αは０よりも大きな定数であり、事前実験に基づいて予め定められる。
【００８４】
このようにすることで、配置数の推定誤差を含めた類似度に基づいて最適配置を推定することができるので、密度分布から乖離して本来の物体数以上の物体モデルが当てはまってしまうことを防げ、個々の物体の位置の誤推定をより的確に防止できる。
【００８５】
上述したように、最適配置推定手段５２は、複数通りの配置のうちの類似度が最も高い配置（最適配置）が示す物体モデルの位置から物体位置の情報を出力する。
例えば、最適配置推定手段５２は、監視員が視認し易い物体位置の情報として、最適配置のモデル画像に描画された物体モデルのそれぞれを密度クラスに応じて色分けした分布画像を生成し、出力する。
【００８６】
物体位置の情報は最適配置が示す物体位置そのものであってもよい。または、物体位置の情報は、最適配置における最適配置における各物体モデルの、他の物体モデルと重複していない領域であってもよい。或いは、物体位置の情報は、上述したデータのうちの２以上を含んだデータであってもよい。
【００８７】
物体位置出力手段３１は最適配置推定手段５２から入力された物体位置の情報を出力部６に順次出力し、出力部６は物体位置出力手段３１から入力された情報を表示する。例えば、物体位置の情報は、インターネット経由で送受信され、出力部６に表示される。監視員は、表示された分布画像を視認することによって監視空間に混雑が発生している地点およびその地点の様子を迅速に把握し、当該地点に警備員を派遣し或いは増員するなどの対処を行う。
【００８８】
＜画像監視装置１の動作＞
図８から図１０のフローチャートを参照して画像監視装置１の動作を説明する。
【００８９】
画像監視装置１はイベント会場が無人であるときに起動され、画像監視装置１が動作を開始すると、イベント会場に設置されている撮影部２は所定時間おきに監視空間を撮影して撮影画像を順次画像処理部５が設置されている画像解析センター宛に送信する。画像処理部５は撮影画像を受信するたびに図８のフローチャートに従った動作を繰り返す。
【００９０】
まず、通信部３は画像取得手段３０として動作し、撮影部２からの撮影画像の受信待ち状態となる。そして、撮影画像を取得した画像取得手段３０は当該撮影画像を画像処理部５に出力する（ステップＳ１）。
【００９１】
撮影画像を入力された画像処理部５は変化領域抽出手段５３として動作し、記憶部４の背景画像記憶手段４０から背景画像を読み出して撮影画像と比較し、変化領域を抽出する（ステップＳ２）。ただし、起動直後は、変化領域抽出手段５３は変化領域の抽出を省略し、撮影画像を背景画像として背景画像記憶手段４０に記憶させる。
【００９２】
変化領域が抽出されなかった場合（ステップＳ３にてＮＯ）、ステップＳ４〜Ｓ８の処理は省略される。このとき、変化領域抽出手段５３は背景画像記憶手段４０の背景画像を変化領域が抽出されなかった撮影画像で置換する。
【００９３】
変化領域が抽出された場合（ステップＳ３にてＹＥＳ）、画像処理部５はモデル画像生成手段５１および最適配置推定手段５２としても動作し、変化領域抽出手段５３からモデル画像生成手段５１に変化領域の情報が入力され、変化領域抽出手段５３から最適配置推定手段５２に差分値の情報が入力される。モデル画像生成手段５１および最適配置推定手段５２はこれらの情報を保持し、処理はステップＳ４に進められる。また、画像処理部５は密度推定手段５０として動作し、撮影画像が密度推定手段５０に入力される。また、変化領域抽出手段５３は撮影画像を用いて背景画像を更新する。
【００９４】
撮影画像を入力された密度推定手段５０は、当該撮影画像を密度推定器にて走査し、密度分布を推定する（ステップＳ４）。密度分布を推定した画像処理部５はモデル画像生成手段５１としても動作し、密度推定手段５０からモデル画像生成手段５１に密度分布が入力される。
【００９５】
密度分布を入力されたモデル画像生成手段５１は、保持している変化領域を順次注目変化領域に設定して（ステップＳ５）、注目変化領域の最適配置推定（ステップＳ６）を制御する。
【００９６】
図９のフローチャートを参照して、注目変化領域の最適配置推定を説明する。
【００９７】
まず、画像処理部５はサイズ換算手段５４としても動作し、モデル画像生成手段５１が注目変化領域の各画素をサイズ換算手段５４に指定して、各画素の実サイズを算出する（ステップＳ６０）。
【００９８】
次に、モデル画像生成手段５１は、注目変化領域に対する配置数の範囲を決定する（ステップＳ６１）。モデル画像生成手段５１は、注目変化領域内の各画素の実サイズと各画素の密度クラスの下限値をそれぞれ式（１）のａｉとｄｉに代入して下限配置数を算出する。また、モデル画像生成手段５１は、注目変化領域内の各画素の実サイズと各画素の密度クラスの上限値をそれぞれ式（１）のａｉとｄｉに代入して上限配置数を算出する。
【００９９】
さらに、モデル画像生成手段５１は、注目変化領域内の各画素の実サイズと各画素の密度クラスの代表値をそれぞれ式（７）のａｉとｃｉに代入して、配置数の代表値を算出する（ステップＳ６２）。
【０１００】
続いて、モデル画像生成手段５１は、ステップＳ６１で設定した範囲内の整数値を順次配置数に設定して（ステップＳ６３）、ステップＳ６３〜Ｓ７３のループ処理を行う。
【０１０１】
モデル画像生成手段５１は、反復回数を計数するカウンタＴを用意して０に初期化し（ステップＳ６４）、反復処理の制御を開始する。
【０１０２】
モデル画像生成手段５１は、注目変化領域内にステップＳ６３で設定した配置数と同じ数だけランダムに位置を設定することで、物体モデルに位置を割り当てる（ステップＳ６５）。
【０１０３】
モデル画像生成手段５１は、撮影画像と同サイズのモデル画像を用意し、モデル画像の、ステップＳ６５で設定した各位置に物体モデルを描画する（ステップＳ６６）。モデル画像生成手段５１は、記憶部４の物体モデル記憶手段４１を参照して、カメラパラメータ記憶手段４１１からカメラパラメータを、立体モデル記憶手段４１０から立体モデルをそれぞれ読み出す。モデル画像生成手段５１は、カメラパラメータを用いて各位置を仮想空間中の位置に変換して変換した各位置に立体モデルを配置し、カメラパラメータを用いて立体モデルを配置した仮想空間をモデル画像にレンダリングすることで物体モデルの描画を行う。
【０１０４】
また、モデル画像生成手段５１は、描画した物体モデルどうしの重複領域の面積と描画した物体モデルの和領域の面積を求め、これらを式（５）に代入して、ステップＳ６６で生成したモデル画像における隠蔽度を算出する（ステップＳ６７）。画像処理部５は最適配置推定手段５２としても動作し、モデル画像生成手段５１から最適配置推定手段５２にモデル画像、物体モデルどうしの重複領域、物体モデルの和領域から重複領域を除いた非重複領域、配置数、各物体モデルの位置、代表配置数および隠蔽度が入力される。
【０１０５】
図１０のフローチャートを参照して引き続き注目変化領域の最適配置推定を説明する。
【０１０６】
最適配置推定手段５２は、入力された配置数と代表配置数を式（６）に代入して配置数の推定誤差を算出する（ステップＳ６８）。
【０１０７】
また、最適配置推定手段５２は、入力された重複領域、非重複領域および差分値を用いて重複領域における差分値の総和と非重複領域における差分値の総和を求め、これらを式（４）に代入して形状適合度を算出する（ステップＳ６９）。
【０１０８】
そして、最適配置推定手段５２は、ステップＳ６９で算出した形状適合度、ステップＳ６８で算出した推定誤差、および入力された隠蔽度を式（２）に代入することにより、ステップＳ６６で生成したモデル画像に対する類似度を算出し、モデル画像と各物体モデルの位置と類似度とを対応付けて記憶部４に記憶させる（ステップＳ７０）。
【０１０９】
こうしてモデル画像の類似度が算出されると、モデル画像生成手段５１は、反復回数Ｔを１だけ増加させて（ステップＳ７１）、その値を予め定めた規定回数ＴＭＡＸと比較する（ステップＳ７２）。
【０１１０】
反復回数Ｔが規定回数ＴＭＡＸに満たない場合（ステップＳ７２にてＮＯ）、モデル画像生成手段５１は、処理をステップＳ６５に戻して反復処理を繰り返す。
【０１１１】
他方、反復回数Ｔが規定回数ＴＭＡＸに達した場合（ステップＳ７２にてＹＥＳ）、モデル画像生成手段５１は、ステップＳ６３で設定した範囲の配置数を全て設定したか否かを確認する（ステップＳ７３）。
【０１１２】
未だ設定していない配置数がある場合（ステップＳ７３にてＮＯ）、モデル画像生成手段５１は、処理をステップＳ６３に戻して次の配置数での処理を行う。
【０１１３】
他方、全配置数を設定し終えた場合（ステップＳ７３にてＹＥＳ）、モデル画像生成手段５１は最適配置推定手段５２に注目変化領域についての複数通りのモデル画像を生成し終えたことを通知する。
【０１１４】
この通知を受けた最適配置推定手段５２は類似度が最大の配置を決定する（ステップＳ７４）。最適配置推定手段５２はステップＳ７０で記録した類似度の中から最大値を選出し、選出した類似度と対応付けられているモデル画像と各物体モデルの位置を、注目変化領域における物体位置として記憶部４に記憶させる。最適配置推定手段５２はステップＳ７０で記録した情報をクリアし、処理を図８のステップＳ７に進める。
【０１１５】
再び図８を参照して説明する。モデル画像生成手段５１は、保持している変化領域の全てについて処理し終えたか否かを確認する（ステップＳ７）。未だ処理していない変化領域がある場合（ステップＳ７にてＮＯ）、モデル画像生成手段５１は、処理をステップＳ５に戻して次の変化領域の処理を行う。次の変化領域の処理が行われるとステップＳ７４においてその変化領域における物体位置の情報が追記されることになる。
【０１１６】
他方、全ての変化領域の処理を終えた場合（ステップＳ７にてＹＥＳ）、最適配置推定手段５２はステップＳ７４で記録した物体位置の情報を通信部３に出力する（ステップＳ８）。物体位置の情報を入力された通信部３は物体位置出力手段３１として動作し、物体位置の情報を出力部６に送信する。出力部６は物体位置の情報を表示するなどして監視員に伝達する。
【０１１７】
以上の処理を終えると処理はステップＳ１に戻され、次の撮影画像に対する処理が行われる。
【０１１８】
＜変形例＞
（１）上記実施形態においては、推定対象の物体を人とする例を示したが、これに限らず、推定対象の物体を車両、牛や羊等の動物等とすることもできる。
【０１１９】
（２）上記実施形態およびその変形例においては、撮影部２がカメラ１台の例を示したが、共通視野を有する複数のカメラで撮影部２を構成することもできる。その場合、背景画像記憶手段４０には各カメラの背景画像が記憶され、変化領域抽出手段５２が参照するカメラパラメータ記憶手段（不図示）には各カメラのカメラパラメータが記憶され、変化領域抽出手段５２はカメラごとに変化領域を抽出する。また、密度推定手段５０が参照するカメラパラメータ記憶手段（不図示）には各カメラのカメラパラメータが記憶され、密度推定手段５０はカメラごとに密度分布を推定する。また、カメラパラメータ記憶手段４１１，４２０には各カメラのカメラパラメータが記憶され、サイズ換算手段５４はカメラごとに実サイズを算出し、モデル画像生成手段５１はカメラごとに配置数の範囲を算出する。そして、モデル画像生成手段５１は最小の下限配置数と最大の上限配置数にて配置数の範囲を決定し、仮想空間に各配置数分だけの物体モデルを配置する。モデル画像生成手段５１は、これを各カメラのカメラパラメータを用いてレンダリングすることでカメラごとのモデル画像を生成し、カメラごとに隠蔽度の算出を行う。そして、最適配置推定手段５２は、カメラごとに形状類似度、配置数の推定誤差、類似度を算出し、全カメラの類似度を総和した総和値が最大のモデル画像から最適配置を決定する。このようにすることで、物体の隠蔽状態が異なる複数の視点からの類似度に基づき総合的に最適な配置を決定でき、物体位置の推定精度が向上する。
【０１２０】
（３）上記実施形態およびその各変形例においては、固定視野の撮影部２を用いる例を示したが、可変視野の撮影部２とすることもできる。その場合、撮影部２は視野変更後のカメラパラメータを通信部３経由で画像処理部５に出力し、画像処理部５は、密度推定手段５０が参照するカメラパラメータ記憶手段（不図示）、変化領域抽出手段５３が参照するカメラパラメータ記憶手段（不図示）およびカメラパラメータ記憶手段４１１，４２０のカメラパラメータを入力されたカメラパラメータに変更する。またその場合、変化領域抽出手段５３は、環境モデルをレンダリングすることによって背景画像を生成する。
【０１２１】
（４）上記実施形態およびその変形例においては、モデル画像生成手段５１が変化領域を配置領域に設定する例を示したが、モデル画像生成手段５１は背景クラス以外の領域を配置領域に設定することもできる。すなわち、モデル画像生成手段５１は、密度分布において０より大きな密度が推定された領域を配置領域に設定する。具体的には、モデル画像生成手段５１は、推定密度が「低密度」クラス、「中密度」クラスおよび「高密度」クラスと推定された画素からなる領域を配置領域に設定する。なお、背景クラス以外の領域を配置領域に設定する場合、背景画像記憶手段４０および変化領域抽出手段５３を省略した構成とすることができる。
【０１２２】
（５）上記実施形態およびその各変形例においては、式（６）および式（７）に従って配置数の推定誤差を算出する例を示したが、密度分布と配置の相違度を配置数の推定誤差として算出することもできる。その場合、密度推定手段５０は最適配置推定手段５２にも密度分布を出力する。最適配置推定手段５２は、各配置において、画素ごとに、推定用抽出窓を設定して推定用抽出窓内の物体モデルの位置を計数して窓内配置数を求める。最適配置推定手段５２は、各配置に対し、次式に従い、画素ごとの窓内配置数と密度分布において対応する画素の密度の代表値との差の総和を総画素数で除した値を配置数の推定誤差として算出する。
2018156236.tif 000005
ただし、撮影画像の総画素数をＮ、撮影画像中の任意の一画素をｉ、画素ｉにて算出した窓内配置数をｍｉ、画素ｉにおける密度の代表値をｃｉとしている。背景クラスの密度の代表値は０人／ｍ２、低密度クラスの密度の代表値は１人／ｍ２、中密度クラスの密度の代表値は３人／ｍ２、高密度は６人／ｍ２などとすることができる。
或いは、最適配置推定手段５２は、画素ごとに窓内配置数と対応する密度クラスの値を求めて配置数の推定誤差を算出してもよい。例えば、或る配置において或る画素に対応して設定した推定用抽出窓内の物体モデルの位置が２個であれば当該画素の値は「低密度」クラスを示す値となる。最適配置推定手段５２は、こうして求めた画素ごと密度クラスの値を密度分布において対応する画素の値と比較し、同一値でない画素数を総画素数で除した値を配置数の推定誤差として算出する。
【０１２３】
（６）上記実施形態およびその各変形例においては、分布密度と実サイズに基づいて配置数を設定する例を示したが、上述した配置数の推定誤差に基づいて探索的に配置数を設定することもできる。例えば、モデル画像生成手段５１は、１から予め定めた上限個数（例えば撮影画像と対応する仮想空間中で立体モデルが重ならずに配置できる個数）まで仮配置数のループ処理を行って、仮配置数分の物体モデルのそれぞれに配置領域内のランダムな位置を割り当ててＴＭＡＸ通りの仮配置を設定し、ＴＭＡＸ通りの仮配置それぞれに対して式（６）または式（８）などの推定誤差を算出して予め定めた閾値εと比較し、推定誤差が閾値ε以下である仮配置にてモデル画像を生成する。こうすることによっても、モデル画像生成手段５１は、密度分布に応じた個数の物体モデルに配置領域内の位置を割り当てて複数通りの配置を設定し、複数通りの配置にて物体モデルを描画してモデル画像を生成することができる。
【０１２４】
（７）上記実施形態およびその各変形例においては、密度推定器が学習する特徴量および密度推定手段５０が抽出する推定用特徴量としてＧＬＣＭ特徴を例示したが、これらはＧＬＣＭ特徴に代えて、局所二値パターン（Local Binary Pattern：ＬＢＰ）特徴量、ハールライク（Haar-like）特徴量、輝度パターン、ＨＯＧ（Histograms of Oriented Gradients）特徴量などの種々の特徴量とすることができ、またはＧＬＣＭ特徴とこれらのうちの複数を組み合わせた特徴量とすることもできる。
【０１２５】
（８）上記実施形態およびその各変形例においては、多クラスＳＶＭ法にて学習した密度推定器を例示したが、多クラスＳＶＭ法に代えて、決定木型のランダムフォレスト法、多クラスのアダブースト（AdaBoost）法または多クラスロジスティック回帰法などにて学習した密度推定器など種々の密度推定器とすることができる。
或いは、特徴量の抽出処理と密度推定器による推定処理を一つのネットワークで表現するＣＮＮ（Convolutional Neural Network）のような方法を用いて、密度推定手段５０を実現することもできる。
【０１２６】
（９）上記実施形態およびその各変形例においては、モデル画像生成手段５１は、密度推定手段５０が出力する各画素の密度推定値を基に配置数の代表値ｃｉを算出する例を示したが、密度推定手段５０が密度推定値に加えて推定の過程で算出する各クラスのスコアを出力し、モデル画像生成手段５１がこれらのスコアを基に配置数の代表値ｃｉを補正することもできる。
クラスのスコアは、推定用特徴量が抽出された画像の「背景」クラスと他のクラスのうちの「背景」クラスであることの尤もらしさを表す背景スコア、「低密度」クラスと他のクラスのうちの「低密度」クラスであることの尤もらしさを表す低密度スコア、「中密度」クラスと他のクラスのうちの「中密度」クラスであることの尤もらしさを表す中密度スコア、「高密度」クラスと他のクラスのうちの「高密度」クラスであることの尤もらしさを表す高密度スコアである。因みにこれらのうちの最も高いスコアを示すクラスが密度推定値となる。
モデル画像生成手段５１は密度推定値が示すクラスのスコアの高さが高いほど高く、低いほど低く配置数の代表値ｃｉを補正する。
【０１２７】
（１０）上記実施形態およびその各変形例においては、密度推定器が推定する密度のクラスを４クラスとしたが、より細かくクラスを分けてもよい。
【０１２８】
（１１）上記実施形態およびその各変形例においては、密度推定手段５０は多クラスに分類する密度推定器を用いる例を示したが、これに代えて、特徴量から密度の値を回帰する回帰型の密度推定器とすることもできる。すなわち、リッジ回帰法、サポートベクターリグレッション法または回帰木型のランダムフォレスト法などによって、特徴量から密度を求めるための回帰関数のパラメータを学習した密度推定器とすることができる。
その場合、モデル画像生成手段５１は密度推定器が出力する密度の値を配置数の代表値ｃｉとして用いる。また、モデル画像生成手段５１は、下限配置数を（ｃｉ−２）とし（ただし０以下となる場合は０）、上限配置数を（ｃｉ＋２）とするなど、密度推定器が出力する密度の値に予め定めた値を加減した下限配置数、上限配置数を用いる。
【０１２９】
（１２）上記実施形態およびその各変形例においては、モデル画像生成手段５１が物体モデルに対して反復の都度ランダムに位置を割り当てる例を示したが、一回前の位置から微小にずらした位置を割り当ててもよいし、一回前の配置に対する類似度を参照してＭＣＭＣ（Markov chain Monte Carlo）法により確率的に位置を探索する方法や山登り法により位置を逐次改善する割り当て等を行ってもよい。
【符号の説明】
【０１３０】
１・・・画像監視装置
２・・・撮影部
３・・・通信部
４・・・記憶部
５・・・画像処理部
６・・・出力部
３０・・・画像取得手段
３１・・・物体位置出力手段
４０・・・背景画像記憶手段
４１・・・物体モデル記憶手段
５０・・・密度推定手段
５１・・・モデル画像生成手段
５２・・・最適配置推定手段
５３・・・変化領域抽出手段
５４・・・サイズ換算手段
４１０・・・立体モデル記憶手段
４１１・・・カメラパラメータ記憶手段
４１２・・・モデル像記憶手段
４２０・・・カメラパラメータ記憶手段
４２１・・・実サイズ記憶手段
５４０・・・実サイズ算出手段
【図１】
2018156236.tif 000006
【図２】
2018156236.tif 000007
【図３】
2018156236.tif 000008
【図４】
2018156236.tif 000009
【図５】
2018156236.tif 000010
【図６】
2018156236.tif 000011
【図７】
2018156236.tif 000012
【図８】
2018156236.tif 000013
【図９】
2018156236.tif 000014
【図１０】
2018156236.tif 000015