(57)【特許請求の範囲】
【請求項１】
複数の撮像装置に共通する共通座標系において当該複数の撮像装置の撮像範囲を俯瞰した２次元地図の画像を表示し、該画像に対するユーザーの操作に基づいて、前記２次元地図においてオブジェクトが初めて登場する領域を入力する入力手段と、
入力された前記オブジェクトが初めて登場する領域に基づいて、前記複数の撮像装置のうち前記オブジェクトを初めて検出すべき画像を取得する撮像装置と、該画像において前記オブジェクトを初めて検出すべき領域とを決定する初期領域決定手段と、
前記初期領域決定手段により決定された撮像装置により撮像された画像において、前記初期領域決定手段により決定されたオブジェクトを初めて検出すべき領域から、前記オブジェクトを検出する第１の検出手段と、
前記オブジェクトが検出された撮像画像に基づいて、前記共通座標系における前記オブジェクトの位置を表す座標を取得する取得手段と、
前記座標に基づいて、現在の時点から設定された期間が経過した将来の時点における前記共通座標系における前記オブジェクトの位置を表す座標の予測値を予測する予測手段と、
前記複数の撮像装置のそれぞれの撮像可能な範囲と、前記予測値とに基づいて、当該複数の撮像装置のうち前記将来の時点において前記オブジェクトを撮像可能な撮像装置を決定し、該決定された撮像装置において前記オブジェクトを撮像し得る領域を推定する推定手段と、
前記将来の時点において、前記推定手段により決定された撮像装置により撮像された画像における前記推定された領域から、前記オブジェクトを検出する第２の検出手段と、
を有する情報処理装置。
【請求項２】
前記予測手段は、前記座標と、前記共通座標系における前記オブジェクトの過去の座標と、に基づいて、前記予測値を予測する請求項１記載の情報処理装置。
【請求項３】
前記取得手段は、視野が重複する前記複数の撮像装置により撮像された撮像画像群のうち前記オブジェクトが検出された撮像画像に基づいて、前記共通座標系における前記オブジェクトの座標を取得し、
前記予測手段は、取得された前記共通座標系における前記オブジェクトの座標に基づいて、前記将来の時点における前記共通座標系における前記オブジェクトの座標を、前記予測値として予測する請求項１又は２記載の情報処理装置。
【請求項４】
前記初期領域決定手段は、前記入力手段により入力された前記２次元地図における前記オブジェクトが初めて登場する領域が、前記複数の撮像装置により撮像された撮像画像群のそれぞれに射影された領域を、前記オブジェクトを初めて検出すべき領域として決定する請求項１乃至３何れか１項記載の情報処理装置。
【請求項５】
情報処理装置が実行する情報処理方法であって、
複数の撮像装置に共通する共通座標系において当該複数の撮像装置の撮像範囲を俯瞰した２次元地図の画像を表示し、該画像に対するユーザーの操作に基づいて、前記２次元地図においてオブジェクトが初めて登場する領域を入力する入力ステップと、
入力された前記オブジェクトが初めて登場する領域に基づいて、前記複数の撮像装置のうち前記オブジェクトを初めて検出すべき画像を取得する撮像装置と、該画像において前記オブジェクトを初めて検出すべき領域とを決定する初期領域決定ステップと、
前記初期領域決定ステップで決定された撮像装置により撮像された画像において、前記初期領域決定ステップで決定されたオブジェクトを初めて検出すべき領域から、前記オブジェクトを検出する第１の検出ステップと、
前記オブジェクトが検出された撮像画像に基づいて、前記共通座標系における前記オブジェクトの位置を表す座標を取得する取得ステップと、
前記座標に基づいて、現在の時点から設定された期間が経過した将来の時点における前記共通座標系における前記オブジェクトの位置を表す座標の予測値を予測する予測ステップと、
前記複数の撮像装置のそれぞれの撮像可能な範囲と、前記予測値とに基づいて、当該複数の撮像装置のうち前記将来の時点において前記オブジェクトを撮像可能な撮像装置を決定し、該決定された撮像装置において前記オブジェクトを撮像し得る領域を推定する推定ステップと、
前記将来の時点において、前記推定ステップにおいて決定された撮像装置により撮像された画像における前記推定された領域から、前記オブジェクトを検出する第２の検出ステップと、
を含む情報処理方法。
【請求項６】
コンピュータを、請求項１乃至４何れか１項記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像された画像からオブジェクトを検出する情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
複数のカメラ等の撮像装置を用いて、設定された空間内のオブジェクトを検出する技術がある。この技術には、例えば、監視対象の空間内で複数の撮像装置を用いてオブジェクトを監視する技術や、監視対象の空間内で複数の撮像装置を用いてオブジェクトを追尾する技術等があげられる。
複数の撮像装置でオブジェクトを検出して、複数の撮像装置全てで共通する座標（例えば、世界座標）におけるそのオブジェクトの位置等のオブジェクトの属性を推定する手法が提案されている。
非特許文献１は、世界座標が既知のカメラでオブジェクトを撮像し、個々のカメラによる撮像画像上でのオブジェクトの座標を求め、三角測量の原理でオブジェクトの世界座標を求める演算を開示する。更に、例えば特許文献１は、複数のカメラのそれぞれで動体領域を求め、オブジェクトの高さが既知だとして、三次元座標を推定する手法を開示する。
非特許文献２は、あるオブジェクトのカメラによる撮像画像上の座標を求める手法を開示する。非特許文献２は、カメラによる撮像画像のあらゆる部分画像について、その部分画像が人体か否かを識別する手法を開示する。このときカメラによる撮像画像上の人体の座標を求める演算量は、部分画像の数、即ち入力画像の大きさに比例する。特許文献２は、この演算量の削減の為に、画像上から部分画像を選択する領域を制限する手法を開示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５２６３６９４号公報
【特許文献２】特開２００７−２３３５１７号公報
【非特許文献】
【０００４】
【非特許文献１】Ｒｉｃｈａｒｄ  Ｈａｒｔｌｅｙ  ａｎｄ  Ａｎｄｒｅｗ  Ｚｉｓｓｅｒｍａｎ  （２０１３）、  Ｍｕｌｔｉｐｌｅ  Ｖｉｅｗ  Ｇｅｏｍｅｔｒｙ  ｉｎ  ｃｏｍｐｕｔｅｒ  ｖｉｓｉｏｎ  Ｓｅｃｏｎｄ  Ｅｄｉｔｉｏｎ、  ＣＡＭＢＲＩＤＧＥ  ＵＮＩＶＥＲＳＩＴＹ  ＰＲＥＳＳ
【非特許文献２】Ｎａｖｎｅｅｔ  Ｄａｌａｌ、  Ｂｉｌｌ  Ｔｒｉｇｇｓ、  Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ  ｆｏｒ  Ｈｕｍａｎ  Ｄｅｔｅｃｔｉｏｎ、  ＣＶＰＲ２００５
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来、複数の撮像装置を用いたオブジェクトの検出では、複数の撮像装置により撮像された画像のそれぞれについて、画像の全範囲を対象にオブジェクトの検出が行われていた。そのため、オブジェクトの検出に要する演算量等の処理負担の大きさは、全てのカメラの撮像画像の画素数の総和に比例することとなる。また、オブジェクトの検出に用いられる撮像装置の台数は、検出対象の空間の大きさにほぼ比例する。よって、オブジェクトの検出の処理は、検出対象の空間が大きくなればなるほど、処理の負担が大きくなるという問題がある。
本発明は、オブジェクト検出処理の負担を軽減することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の情報処理装置は、複数の撮像装置に共通する共通座標系において当該複数の撮像装置の撮像範囲を俯瞰した２次元地図の画像を表示し、該画像に対するユーザーの操作に基づいて、前記２次元地図においてオブジェクトが初めて登場する領域を入力する入力手段と、入力された前記オブジェクトが初めて登場する領域に基づいて、前記複数の撮像装置のうち前記オブジェクトを初めて検出すべき画像を取得する撮像装置と、該画像において前記オブジェクトを初めて検出すべき領域とを決定する初期領域決定手段と、前記初期領域決定手段により決定された撮像装置により撮像された画像において、前記初期領域決定手段により決定されたオブジェクトを初めて検出すべき領域から、前記オブジェクトを検出する第１の検出手段と、前記オブジェクトが検出された撮像画像に基づいて、前記共通座標系における前記オブジェクトの位置を表す座標を取得する取得手段と、前記座標に基づいて、現在の時点から設定された期間が経過した将来の時点における前記共通座標系における前記オブジェクトの位置を表す座標の予測値を予測する予測手段と、前記複数の撮像装置のそれぞれの撮像可能な範囲と、前記予測値とに基づいて、当該複数の撮像装置のうち前記将来の時点において前記オブジェクトを撮像可能な撮像装置を決定し、該決定された撮像装置において前記オブジェクトを撮像し得る領域を推定する推定手段と、前記将来の時点において、前記推定手段により決定された撮像装置により撮像された画像における前記推定された領域から、前記オブジェクトを検出する第２の検出手段と、を有する。
【発明の効果】
【０００７】
本発明によれば、オブジェクト検出処理の負担を軽減することができる。
【図面の簡単な説明】
【０００８】
【図１】監視システムのシステム構成等の一例を示す図である。
【図２】情報処理装置のハードウェア構成等の一例を示す図である。
【図３】情報処理装置の機能構成の一例を示す図である。
【図４】オブジェクト追尾処理の一例を示すフローチャートである。
【図５】撮像画像の一例を示す図である。
【図６】歩行者の追尾を説明する図である。
【図７】撮像画像の一例を示す図である。
【図８】オブジェクトが存在すると予測された領域を説明する図である。
【図９】指定画面の一例を示す図である。
【図１０】オブジェクトが登場し得る領域を説明する図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面に基づいて説明する。
【００１０】
＜実施形態１＞
本実施形態では、監視システムが、視野が重複した複数のカメラを用いて、監視空間内を移動する人等のオブジェクトを追尾する処理を説明する。監視システムは、各カメラの撮像画像からオブジェクトを検出し、オブジェクトの世界座標系における座標を取得し、これらを繰り返し、オブジェクトの軌跡を求めることで、オブジェクトを追尾する。世界座標系とは、全カメラに共通する座標系である共通座標系の一例であり、三次元座標系であって、その１軸を底面に垂直、残りの２軸を底面に平行とする座標系である。
本実施形態では、説明の簡略化の為に、監視空間内の底面が平面であると仮定する。また、本実施形態では監視システムによる追尾対象のオブジェクトは、歩行する人（歩行者）であるとするが、歩行者には限定されず、止まって何らかの作業をしている人、走る人、車いす等に乗っている人、犬や猫や牛や豚や鶏等の動物、ドローン等でもよい。
【００１１】
図１は、監視システムのシステム構成等の一例を示す図である。本実施形態の監視システムは、情報処理装置３４１、カメラ３１１〜３１３等の複数のカメラを含む。情報処理装置３４１、カメラ３１１〜３１３等の複数のカメラは、ネットワーク３３１を介して、相互に接続されている。情報処理装置３４１は、ネットワーク３３１を介して、複数のカメラのそれぞれから撮像画像のデータを取得する。
情報処理装置３４１は、監視システム内の複数のカメラからの撮像画像を取得し、オブジェクトを検出し、検出したオブジェクトの追尾を行うＰＣやサーバ装置等の情報処理装置である。
カメラ３１１〜３１３等の監視システム内の複数のカメラのそれぞれは、ネットワークに接続可能なカメラであり、撮像画像のデータを、ネットワークを介して、情報処理装置３４１等の外部の装置等に送信することができるカメラである。本実施形態では、監視システム内の複数のカメラは、共通する時間情報を有しており、撮像画像が撮像された時点の情報を撮像画像の情報と紐付けて、情報処理装置３４１に送信する。情報処理装置３４１は、各カメラから送信された撮像画像に紐付けられた時点情報を確認することで、各カメラからの撮像画像が何時撮像された画像なのかを把握できる。また、情報処理装置３４１は、異なるカメラから送信された撮像画像に紐付けられた時点情報がそれぞれ同じ時点を指す場合、同じ時点の監視空間３０１を撮像した画像であることを把握できる。
【００１２】
図１には、監視システム内の複数のカメラの設置状況、監視対象の空間である監視空間３０１等が示されている。監視空間３０１は、監視システムが監視する空間であり、図１の例では、点線で囲まれた空間として示されている。監視システム内の複数のカメラは、各カメラの視野を合わせた領域が監視空間３０１を含むように、かつ、各カメラの視野が重複するように、設置されている。また、監視空間３０１は、監視システム内の複数のカメラの撮像範囲を全て合わせた領域であるとしてもよい。
監視空間３０１に出入りする歩行者は、監視空間３０１に出入り可能な領域を必ず経由することになる。新規オブジェクト登場空間３０２、新規オブジェクト登場空間３０３、新規オブジェクト登場空間３０４は、監視空間３０１に出入り可能な領域に設定された空間であり、図１の例では監視空間３０１内の、実線で囲まれた空間として示されている。
監視システム内の複数のカメラは、監視空間３０１を監視すべく、その視野を重複する様に設置される。カメラ３１１の視野は、カメラ３１１を中心とする扇型の領域として表され、図１の例では、破線の扇形の領域３２１として示されている。同様に、カメラ３１２、カメラ３１３の視野は、それぞれ領域３２２、領域３２３として示されている。
本実施形態では、監視システムは、監視空間３０１内を移動する歩行者３５１の座標の軌跡を求めることで、歩行者３５１を追尾する。
【００１３】
図２は、情報処理装置３４１のハードウェア構成等の一例を示す図である。情報処理装置３４１は、通信部２０１、ＣＰＵ２０２、ＲＡＭ２０３、補助記憶装置２０４、ユーザーインターフェース２０５を含む。通信部２０１、ＣＰＵ２０２、ＲＡＭ２０３、補助記憶装置２０４、ユーザーインターフェース２０５は、システムバス２０６を介して、相互に接続されている。
通信部２０１は、ネットワーク３３１を介して、カメラ３１１〜３１３等の監視システム内の複数のカメラから撮像画像のデータ等を受信する。また、通信部２０１は、複数のカメラそれぞれに対して、撮像指示、停止指示等の指示を送信することもできる。
ＣＰＵ２０２は、ＲＡＭ２０３、補助記憶装置２０４等に格納されている制御プログラム等のプログラムを実行し、情報処理装置３４１を制御する中央演算装置である。
ＲＡＭ２０３は、ＣＰＵ２０２のワークエリアやデータの一時待避領域として機能する記憶装置である。
【００１４】
補助記憶装置２０４は、制御プログラム等のプログラム、各種パラメータデータ、画像や各種の設定情報等を記憶する記憶装置である。
ユーザーインターフェース２０５は、キーボード、マウス、ディスプレイ、タッチパネル等のユーザーに対する情報の表示やユーザーからの情報の入力を行う入力装置や出力装置との接続に利用されるインターフェースである。ユーザーインターフェース２０５には、キーボード、マウス、ディスプレイ、タッチパネル等の入力装置や出力装置が接続されている。
本実施形態では、ＣＰＵ２０２が、ＲＡＭ２０３又は補助記憶装置２０４に記憶されたプログラムに基づき処理を実行することによって、図３で後述する情報処理装置３４１の機能及び図４で後述するフローチャートの処理が実現される。
【００１５】
図３は、情報処理装置３４１の機能構成の一例を示す図である。情報処理装置３４１は、画像取得部１０１、属性取得部１０２、属性更新部１０３、共通属性推定部１０４、共通属性予測部１０５、装置決定部１０６、領域推定部１０７、空間入力部１１０、領域決定部１１１、を含む。
画像取得部１０１は、カメラ３１１〜３１３等の監視システム内の複数のカメラから、撮像された撮像画像を取得する。
属性取得部１０２は、画像取得部１０１により取得された撮像画像から、監視空間３０１内に新規に現れたオブジェクトを検出する。以下では、監視空間３０１内に新規に現れるオブジェクトを新規オブジェクトとする。そして、属性取得部１０２は、検出したオブジェクトの撮像画像内の座標系における座標を取得する。撮像画像内の座標系における座標は、監視システム内の各カメラに個別な属性の一例である。
共通属性推定部１０４は、属性取得部１０２又は後述する属性更新部１０３により取得された各カメラの撮像画像内の座標系における追尾対象のオブジェクトの座標に基づいて、そのオブジェクトの世界座標系における座標を推定する。世界座標系における座標は、監視システム内の全てのカメラに共通する属性である共通属性の一例である。共通属性についてのオブジェクトの属性値を共通属性値とする。即ち、世界座標系におけるオブジェクトの座標は、オブジェクトの共通属性値の一例である。
【００１６】
共通属性予測部１０５は、共通属性推定部１０４により推定された追尾対象のオブジェクトの世界座標系における座標に基づいて、現在の時点から設定された期間が経過した時点におけるオブジェクトの世界座標系における座標を予測する。また、共通属性予測部１０５は、共通属性推定部１０４により推定されたオブジェクトの世界座標系における座標と、オブジェクトの世界座標系における過去の座標と、に基づいて、上記の予測処理を行うこととしてもよい。即ち、共通属性予測部１０５は、オブジェクトの世界座標系における推定された現在の座標と、過去の座標と、に基づいて、現在の時点から設定された期間が経過した時点におけるオブジェクトの世界座標系における座標を予測してもよい。
装置決定部１０６は、共通属性予測部１０５により予測された追尾対象のオブジェクトの世界座標系における座標に基づいて、監視システム内の複数のカメラのうち、オブジェクトを撮像し得るカメラを推定する。装置決定部１０６によりオブジェクトを撮像し得ると推定されたカメラは、改めて撮像を行って、その撮像画像からオブジェクトが検出されることになる。
領域推定部１０７は、共通属性予測部１０５により予測された追尾対象のオブジェクトの世界座標系における座標に基づいて、装置決定部１０６によりオブジェクトを撮像し得ると推定されたカメラのそれぞれについて、以下の処理を行う。即ち、領域推定部１０７は、そのオブジェクトが撮像画像上で映りうる領域を推定する。以下では、領域推定部１０７により推定された領域を追尾領域とする。
【００１７】
属性更新部１０３は、装置決定部１０６によりオブジェクトを撮像し得ると推定されたカメラからの撮像画像内の領域推定部１０７により推定された追尾領域の中から、追尾対象のオブジェクトを検出し、オブジェクトの撮像画像内の座標を取得する。
空間入力部１１０は、入出力装置、ユーザーインターフェース２０５を介したユーザーの操作に基づいて、オブジェクトが監視空間に入る為に必ず経由する空間である新規オブジェクト登場空間を決定する。ユーザーは、入出力装置、ユーザーインターフェース２０５を介して、監視空間内の、壁、カメラの設置座標や関連パラメータ、オブジェクトが新規に登場する空間、等を入力する操作を行う。
領域決定部１１１は、空間入力部１１０により決定された新規オブジェクト登場空間に基づいて、監視空間内に新規に登場したオブジェクトを検出し得るカメラ、及び、そのカメラによる撮像画像上で新規オブジェクトが写りうる領域を決定する。
図３の要素群１２１は、本実施形態においてループして処理を繰り返すことになる機能構成要素群である。
【００１８】
図４は、本実施形態におけるオブジェクト追尾処理の一例を示すフローチャートである。歩行者３５１が外部から監視空間３０１内に入り、監視空間３０１内を移動する状況を例に、図４の処理を説明する。
Ｓ４０１において、画像取得部１０１は、カメラ３１１〜３１３等の監視システム内の複数のカメラから、同じ時点に撮像された撮像画像を取得する。また、画像取得部１０１は、カメラ３１１〜３１３等の監視システム内の複数のカメラから、設定された期間内（例えば、ある時点を中心に０．１秒の幅のある期間）に撮像された撮像画像を取得することとしてもよい。
【００１９】
Ｓ４０２において、属性取得部１０２は、Ｓ４０１で取得された撮像画像から、監視空間３０１内に新たに現れた歩行者３５１を検出し、歩行者３５１の撮像画像内における座標を取得する。
本実施形態では、属性取得部１０２は、予め設定されたカメラから取得された撮像画像から、新規に監視空間３０１に表れる新規オブジェクトを検出する処理を行う。属性取得部１０２は、監視システム内の全てのカメラから取得された撮像画像から、新規に監視空間３０１に表れる新規オブジェクトを検出する処理を行うこととしてもよい。
また、属性取得部１０２は、カメラの撮像画像内に予め設定された領域から、新規に監視空間３０１に表れる新規オブジェクトを検出する処理を行う。この予め設定された領域は、撮像画像内で新たなオブジェクトが登場し得る領域であり、以下では、新規オブジェクト属性取得領域とする。新規オブジェクト属性取得領域は、先述の新規オブジェクト登場空間がカメラの撮像画像上で映る領域に相当する。また、属性取得部１０２は、カメラの撮像画像内の全領域から、新規に監視空間３０１に表れるオブジェクトを検出する処理を行うこととしてもよい。
図１の例では、新規オブジェクト登場空間３０２を映すカメラは、カメラ３１１及びカメラ３１２である。カメラ３１１、カメラ３１２、カメラ３１３が映す撮像画像の一例を、図５に示す。
【００２０】
図５は、カメラ３１１、カメラ３１２、カメラ３１３による撮像画像の一例を示す図である。図５の撮像画像４１１、撮像画像４１２、撮像画像４１３は、それぞれ、カメラ３１１、カメラ３１２、カメラ３１３の撮像画像の一例である。新規オブジェクト属性取得領域４２１、４２２は、それぞれ、撮像画像４１１、４１２上の新規オブジェクト属性取得領域であり、破線で囲まれた領域として示されている。監視空間３０１に入ってきた歩行者３５１は、新規オブジェクト登場空間３０２内に存在するとき、新規オブジェクト属性取得領域４２１、４２２の中に映ることになる。
属性取得部１０２は、新規オブジェクト属性取得領域４２１から、歩行者３５１を検出し、歩行者３５１の撮像画像４１１内での座標を取得する。また、属性取得部１０２は、新規オブジェクト属性取得領域４２２から、歩行者３５１を検出し、歩行者３５１の撮像画像４１２内での座標を取得する。
また、カメラ３１３は、新規オブジェクト登場空間３０２〜３０４の何れも映さないので、撮像画像４１３に新規なオブジェクトが現れることはない。そのため、属性取得部１０２は、撮像画像４１３について、歩行者３５１を検出する処理を行わない。
属性取得部１０２がカメラの撮像画像から歩行者３５１の座標を取得する方法としては、例えば、非特許文献２に記載された、カメラの撮像画像内の部分画像について、その部分画像が人体か否かを識別する手法がある。属性取得部１０２は、人体（歩行者３５１）か否かを識別するための部分画像を、新規オブジェクト属性取得領域の範囲内から選択することになる。本実施形態では、歩行者３５１の撮像画像上の座標を、歩行者３５１の頭部を円で近似した場合の中心の座標とする。
【００２１】
従来技術では、監視空間３０１内を移動するオブジェクトの軌跡を求める上で、監視空間３０１に新規に現れるオブジェクトを検出する演算量は、監視空間３０１の面積に比例することになる。本実施形態では、属性取得部１０２が新規に監視空間３０１に現れるオブジェクトを検出するための演算量は、オブジェクトが監視空間３０１に出入りする際に通過し得る領域の幅の長さに比例する値となり、従来技術に比べて削減されている。
なぜならば、属性取得部１０２は、新規オブジェクト属性取得領域にのみ検出処理を施し、新規オブジェクト属性取得領域の大きさは、新規オブジェクト登場空間の大きさに比例する。新規オブジェクト登場空間は、監視空間３０１内に新規に現れるオブジェクトが必ず新規オブジェクト登場空間を経由する様に設定されている。即ち、新規オブジェクト登場空間の大きさは、オブジェクトが監視空間３０１に出入りする際に通過し得る領域の幅の長さに比例するからである。図１の例では、新規オブジェクト登場空間３０２、新規オブジェクト登場空間３０３、新規オブジェクト登場空間３０４の面積の和は、オブジェクトが監視空間３０１に出入りする際に通過し得る領域の幅の長さに比例する。
【００２２】
Ｓ４０３において、共通属性推定部１０４は、Ｓ４０２又はＳ４０８で取得された歩行者３５１の撮像画像内での座標に基づいて、世界座標系における歩行者３５１の座標３６２を推定する。Ｓ４０３で推定された世界座標系における歩行者３５１の座標は、共通属性についての歩行者３５１の共通属性値の一例である。
複数のカメラの撮影画像のそれぞれの座標系における歩行者３５１の座標から、歩行者３５１の世界座標系における座標を求める方法には、非特許文献１に示されたエピポーラ幾何に基づく三角測量を利用する方法がある。各カメラの世界座標系における座標、光軸の傾き、画角等の情報は、カメラ設置の際等に測量された等の理由により既知であるとする。本実施形態では、歩行者３５１の世界座標系における座標は、歩行者３５１の頭部を球で近似した場合のその球の中心の座標であるとする。
Ｓ４０４において、共通属性推定部１０４は、Ｓ４０３で推定した歩行者３５１の世界座標系における座標の情報を、歩行者３５１の軌跡の情報に登録する。共通属性推定部１０４は、処理がＳ４０４に進む度に、Ｓ４０３で推定した歩行者３５１の世界座標系における座標の情報を時系列順に記憶することで、歩行者３５１の軌跡の情報を生成する。歩行者３５１の軌跡の情報のうち、最新のＳ４０４の処理で追加された歩行者３５１の座標の情報以外の情報は、過去においての歩行者３５１の世界座標系における座標の情報である。即ち、歩行者３５１の軌跡の情報のうち、最新のＳ４０４の処理で追加された歩行者３５１の座標の情報以外の情報は、共通属性についての歩行者３５１の過去の属性値の一例である。
【００２３】
Ｓ４０５において、共通属性予測部１０５は、世界座標系における歩行者３５１の軌跡の情報に基づいて、現在の時点から設定された期間が経過した時点において歩行者３５１が存在し得る世界座標系における座標の範囲を予測する。この設定された期間は、例えば、監視システム内の複数のカメラによりある撮像画像が撮像された時点から、次の撮像画像が撮像される時点までの期間等である。Ｓ４０５で共通属性予測部１０５により予測される世界座標系における座標の範囲は、共通属性についての歩行者３５１の共通属性値の予測される値である予測値の一例である。
共通属性予測部１０５は、歩行者３５１の軌跡の情報にＳ４０４で登録された座標の情報しか登録されていない場合、以下の処理を行うことになる。即ち、共通属性予測部１０５は、Ｓ４０３で推定された世界座標系における歩行者３５１の座標の情報に基づいて、現在の時点から設定された期間が経過した時点での世界座標系における歩行者３５１が存在し得る座標の範囲を予測することになる。
また、共通属性予測部１０５は、歩行者３５１の軌跡の情報にＳ４０４で登録された座標の情報の他に歩行者３５１の過去の座標の情報も登録されている場合、以下の処理を行うことになる。即ち、共通属性予測部１０５は、Ｓ４０３で推定された歩行者３５１の座標の情報と、歩行者３５１の過去の座標の情報と、に基づいて、現在の時点から設定された期間が経過した時点での世界座標系での歩行者３５１が存在し得る座標の範囲を予測することになる。
【００２４】
例えば、共通属性予測部１０５は、図１の例では、座標３６２を含む歩行者３５１の軌跡の情報に基づいて、座標３６３と予測誤差３７１とを求める。即ち、共通属性予測部１０５は、現在の時点から設定された期間が経過した時点における歩行者３５１が座標３６３を中心に予測誤差３７１の半径を有する円形上の領域に存在すると予測する。座標３６３は、現在の時点から設定された期間が経過した時点における歩行者３５１の座標として予測される値である。また、予測誤差３７１は、歩行者３５１の座標として予測された値からの誤差を示す指標である。歩行者３５１の軌跡の情報から、現在の時点から設定された期間が経過した時点において歩行者３５１が存在し得る世界座標系における座標の範囲を求める方法には、歩行者３５１の軌跡の情報に基づいた線形回帰を利用する方法等がある。
また、歩行者３５１が新規オブジェクト登場空間内に新たに現れており、歩行者３５１の過去の座標の情報が存在しない場合、又は、歩行者３５１の過去の座標の情報の数が線形回帰を利用するために十分な値ではない場合、以下のような方法が利用される。即ち、Ｓ４０３で推定された座標を中心に、歩行者３５１が設定された期間で移動し得る範囲を、現在の時点から設定された期間が経過した時点において歩行者３５１が存在し得る世界座標系における座標の範囲として求める方法が利用される。例えば、共通属性予測部１０５は、予め設定された歩行者３５１の速度に設定された期間を乗じた距離を算出する。そして、共通属性予測部１０５は、Ｓ４０３で推定された座標を中心に、算出した距離の半径を有する円形の範囲を、現在の時点から設定された期間が経過した時点において歩行者３５１が存在し得る世界座標系における座標の範囲とする。
【００２５】
Ｓ４０６において、装置決定部１０６は、Ｓ４０５で予測された世界座標系における範囲に基づいて、監視システムの複数のカメラからの撮像画像のうちどのカメラからの撮像画像を、歩行者３５１の検出に利用するかを決定する。また、領域推定部１０７は、Ｓ４０５で予測された世界座標系における範囲に基づいて、装置決定部１０６により決定されたカメラからの撮像画像のうちどの領域が、歩行者３５１の検出に利用されるかを決定する。
例えば、装置決定部１０６は、監視システム内の複数のカメラのうち、Ｓ４０５で予測された世界座標系における範囲に存在する歩行者３５１を設定された画素数以上の領域として撮像するカメラを選択する。そして、装置決定部１０６は、選択したカメラを、歩行者３５１の検出に利用される撮像画像を撮像するカメラとして決定する。また、装置決定部１０６は、監視システム内の複数のカメラのうち、Ｓ４０５で予測された世界座標系における範囲を視野に含めるカメラを、撮像画像が歩行者３５１の検出に利用されるカメラとして決定することとしてもよい。
【００２６】
補助記憶装置２０４は、予めカメラ毎に設定された、検出対象のオブジェクトを設定された画素数よりも大きい領域として撮像できる世界座標系における領域の情報を記憶しているとする。以下では、この領域を追尾可能領域とする。即ち、追尾可能領域とは、あるカメラの視野のうち、検出対象のオブジェクトが予め設定された画素数よりも大きく映る領域を、世界座標系の底面へ射影した領域である。本実施形態では、追尾可能領域は、あるカメラの視野のうち検出対象のオブジェクトが写る領域を、世界座標系の底面へ射影した領域、即ち視野の領域と同一であるとする。
装置決定部１０６は、予めカメラ毎に設定された追尾可能領域の情報を、補助記憶装置２０４から取得する。監視システム内の複数のカメラのうち、オブジェクトの移動先の世界座標系における座標が、あるカメラの追尾可能領域の内側にある場合、そのカメラでオブジェクトを追尾できる、と判断できる。図１の例では、歩行者３５１が座標３６３の近辺に移動すると推定されるので、装置決定部１０６は、座標３６３を追尾可能領域に含むカメラ３１１、カメラ３１３を、撮像画像が歩行者３５１の検出に利用されるカメラとして決定する。
【００２７】
例えば、装置決定部１０６は、世界座標系における座標が追尾可能領域の内外の何れに存在するかの判定に、ｅｖｅｎ  ｏｄｄ  ｒｕｌｅ法を用いる。ｅｖｅｎ  ｏｄｄ  ｒｕｌｅ法とは、世界座標系における座標と何らかの無限遠のある点とを結ぶ半直線を想定し、この半直線と追尾可能領域の扇形の円弧及び２つの半径とが交差する回数に基づいて、座標が追尾可能領域の内側か外側かを判定する方法である。想定された半直線と追尾可能領域の扇形の円弧及び２つの半径とが交差する回数が奇数であれば扇形の内側、０又は偶数であれば扇側の外側、として判定される。
図６は、歩行者３５１の追尾を説明する図である。図７の例では、Ｓ４０５で歩行者３５１が座標３６３に移動すると予測されている場合、座標３６３から伸ばした半直線６０１とカメラ３１３の追尾可能領域である領域３２３とが交差する回数は、１回すなわち奇数である。よって、装置決定部１０６は、座標３６３を、追尾可能領域である領域３２３の内側に存在すると判定し、カメラ３１３を、歩行者３５１を追尾できるカメラである、と判断する。半直線６０１とカメラ６１１の追尾可能領域６２１との交差回数は、２回すなわち偶数であるので、装置決定部１０６は、カメラ６１１を、歩行者３５１を追尾できないカメラであると判断する。
【００２８】
領域推定部１０７は、装置決定部１０６により歩行者３５１の検出に利用される撮像画像を撮像するカメラとして決定されたカメラのそれぞれについて、歩行者３５１が撮像画像上で映りうる領域である追尾領域を推定する。
図７は、撮像画像の一例を示す図である。図７の撮像画像５１３は、カメラ３１３が行う次の撮像処理において撮像された画像を示す。領域推定部１０７は、撮像画像５１３において歩行者３５１の追尾領域を、追尾領域５３１のように推定する。
Ｓ４０５で予測された世界座標系における歩行者３５１が存在し得る範囲は、半径を予測誤差とする球状となる。しかし、球は、透視投影変換が困難である。そのため、本実施形態では、領域推定部１０７は、Ｓ４０５で予測された球状の範囲を多面体で近似することとする。本実施形態では、領域推定部１０７は、直方体でこの球状の範囲を近似し、この直方体の各頂点のカメラによる撮像画像上の点を求め、この点群の凸包を求めて追尾領域とする。本実施形態では、この直方体は、床面に接し、その高さを追尾中の歩行者３５１の頭部よりも高い値とし、直方体の水平方向の一片の長さを予測誤差の二倍とする図形である。図８は、オブジェクトが存在すると予測された領域を説明する図である。図８の図形は、中心を座標３６３とするこの直方体を示す。領域推定部１０７は、この直方体の頂点のそれぞれについて、透視投影変換を施すことで、図７に示す撮像画像５１３上に頂点群を取得し、その頂点群を凸包することで、追尾領域５３１を取得する。
ある世界座標系における点に対応するカメラによる撮像画像の座標系における点の座標を求める方法には、非特許文献１に記載のピンホールカメラモデルに従う透視投影変換がある。非特許文献１によれば、世界座標Ｍ（ｘ、ｙ、ｚ）のオブジェクトを撮像画像上に透視投影した座標ｍ（ｕ、ｖ）は、以下の式１により求まる。ただし、カメラ毎に、予め、世界座標系を撮像画像上の座標系に透視投影するカメラ内部パラメータ行列Ａ、カメラ外部パラメータ行列［Ｒ｜ｔ］、スケールｓの情報が必要となる。本実施形態では、補助記憶装置２０４は、これらの情報を予め記憶しているものとする。
【００２９】
ｓｍ  ＝  Ａ［Ｒ｜ｔ］Ｍ              （式１）
但し
ｍ  ＝  ［［ｕ］［ｖ］［１］］
Ａ  ＝  ［［ｆ＿ｘ  ０  ｃ＿ｘ  ］［    ０  ｆ＿ｙ  ｃ＿ｙ］［ｃ＿ｘ  ｃ＿ｙ  １  ］］
［Ｒ｜ｔ］  ＝  ［［ｒ１１  ｒ１２  ｒ１３  ｔ１］［ｒ２１  ｒ２２  ｒ２３  ｔ２］［ｒ３１  ｒ３２  ｒ３３  ｔ３］］
Ｍ  ＝  ［［ｘ］［ｙ］［ｚ］［１］］
【００３０】
また、装置決定部１０６は、監視システムの複数のカメラからの撮像画像のうちどのカメラからの撮像画像を、歩行者３５１の検出に利用されるかを決定しないこととしてもよい。その場合、領域推定部１０７は、Ｓ４０５で予測された世界座標系における範囲に基づいて、監視システム内の全てのカメラからの撮像画像のうちどの領域が、歩行者３５１の検出に利用されるかを決定することとしてもよい。この場合、領域推定部１０７は、Ｓ４０５で予測された範囲を追尾可能領域に含まないカメラについては、撮像画像の全ての領域を、オブジェクトの検出に利用しないことを決定する。
装置決定部１０６により決定される監視システムの複数のカメラからの撮像画像のうちどのカメラからの撮像画像が歩行者３５１の検出に利用されるかの情報は、歩行者３５１等のオブジェクトの検出に利用されるパラメータである検出パラメータの一例である。また、領域推定部１０７により決定されるカメラからの撮像画像のうちどの領域が、歩行者３５１の検出に利用されるかを示す情報も、検出パラメータの一例である。検出パラメータには、他には、オブジェクトの検出にどの検出器を利用するかを示す情報やオブジェクトの検出のためにカメラからの撮像画像からどの大きさの部分画像を抽出するかを示す情報等がある。
Ｓ４０６での装置決定部１０６、領域推定部１０７の処理は、Ｓ４０５で予測された共通属性の予測値に基づいて、検出パラメータを決定する処理の一例である。特に、Ｓ４０６での領域推定部１０７の処理は、Ｓ４０５で予測された共通属性の予測値から各カメラの撮像画像毎の属性の予測値を取得し、取得した撮像画像毎の属性の予測値に基づいて、検出パラメータを決定する処理の一例である。また、装置決定部１０６、領域推定部１０７は、オブジェクトの共通属性についての予測値に基づいて、オブジェクトの検出に利用される検出パラメータを決定する第１の決定手段の一例である。
【００３１】
Ｓ４０７において、画像取得部１０１は、監視システム内の複数のカメラから、撮像画像群を取得する。本実施形態、画像取得部１０１は、監視システム内の複数のカメラから、直前のＳ４０１又はＳ４０７の処理で取得した撮像画像の次に各カメラにより撮像された撮像画像を取得することとする。また、画像取得部１０１は、監視システム内の複数のカメラから、直前にＳ４０１又はＳ４０７の処理が行われてから、設定された期間が経過した時点で各カメラにより撮像された撮像画像を取得することとしてもよい。例えば、画像取得部１０１は、歩行者３５１が座標３６３を中心とした半径が予測誤差３７１の円形の範囲内に移動している場合、カメラ３１３から図７に示す撮像画像５１３を取得する。
Ｓ４０８において、属性更新部１０３は、Ｓ４０６で装置決定部１０６により歩行者３５１の検出に利用される撮像画像を撮像するカメラとして決定されたカメラからの撮像画像に基づいて、以下の処理を行う。即ち、属性更新部１０３は、Ｓ４０６で領域推定部１０７により決定された追尾領域の中から、歩行者３５１を検出し、検出した歩行者３５１の撮像画像の座標系における座標を取得する。例えば、属性更新部１０３は、撮像画像５１３が得られた場合、追尾領域５３１の内部から歩行者３５１を検出し、検出した歩行者３５１の座標を求める。歩行者３５１を検出する方法、及び歩行者３５１の座標を取得する方法は、Ｓ４０２の処理と同様である。属性更新部１０３は、Ｓ４０６で決定された検出パラメータに基づいて、オブジェクトを検出する第１の検出手段の一例である。
Ｓ４０９において、属性更新部１０３は、Ｓ４０８で歩行者３５１が検出したか否かを判定する。属性更新部１０３は、Ｓ４０８で歩行者３５１が検出したと判定した場合、歩行者３５１の追尾が継続するものとして、Ｓ４０３の処理に進む。また、属性更新部１０３は、Ｓ４０８で歩行者３５１が検出していないと判定した場合、歩行者３５１が監視空間３０１の外に出たため追尾が終了したとして、図４の処理を終了する。
【００３２】
以上、本実施形態の処理により、監視システムは、複数のカメラの撮像画像毎の歩行者３５１の座標から、世界座標系における歩行者３５１の座標を推定する。そして、監視システムは、取得した世界座標系における歩行者３５１の座標に基づいて、現在の時点から設定された期間が経過した時点における歩行者３５１の世界座標系における座標を予測する。又は、監視システムは、世界座標系における歩行者３５１の座標と世界座標系における歩行者３５１の過去の座標とに基づいて、現在の時点から設定された期間が経過した時点における歩行者３５１の世界座標系における座標を予測する。監視システムは、予測された座標に基づいて、歩行者３５１を検出するための撮像画像を撮影するためのカメラ、及び撮像画像内で歩行者３５１の検出を行うための領域を決定する。そして、監視システムは、決定したカメラの撮像画像に対して、決定した領域について歩行者３５１の検出を行い、歩行者３５１の追尾を行う。
これにより、監視システムは、歩行者３５１を撮像し得るカメラの撮像画像に対して、歩行者３５１が存在し得る領域についてのみに、歩行者３５１の検出を行えばよいことになる。即ち、監視システムは、全てのカメラの撮像画像の全領域に対して、歩行者３５１を検出する処理を行わずに済むことになり、歩行者３５１の検出の負担を軽減することができる。
【００３３】
また、監視システムは、歩行者３５１の移動が共通属性予測部１０５により予測される範囲内に収まる限り、歩行者３５１を追尾できる。また、監視システムは、属性取得部１０２がＳ４０２で新規オブジェクト属性取得領域内に新規に現れたオブジェクトを検出し、Ｓ４０８でそのオブジェクトが再度、検出された場合、以下のようにして、そのオブジェクトの速度を取得できる。即ち、監視システムは、初めに検出された際のそのオブジェクトの世界座標系における座標と、次に検出された際のそのオブジェクトの世界座標系における座標とを求め、座標の差と検出された時点のずれとから速度を求める事ができる。また、共通属性予測部１０５と領域推定部１０７との処理によれば、歩行者３５１の追尾領域は、想定された最大速度に基づき求められる。即ち、歩行者３５１の速度が想定された最大速度を下回る限り、属性更新部１０３は、撮像画像上の追尾領域内に歩行者３５１が存在することとなり、歩行者３５１を検出できる。
また、共通属性予測部１０５が、歩行者３５１の軌跡の情報に基づいて線形回帰を利用して、歩行者３５１の存在する範囲を予測する場合、監視空間３０１が広い程、属性更新部１０３の演算量は、減ることになる。なぜならば、歩行者３５１の軌跡の情報に歩行者が通過した座標の情報が増える程、線形回帰の信頼性が上がり、共通属性予測部１０５は、歩行者３５１が存在すると予測する範囲の推定誤差として、線形回帰の誤差を用いることができる。線形回帰の誤差は、歩行者３５１の軌跡の情報に含まれる座標の情報が増える程、回帰の信頼性が上がるため、小さくなる。そのため、領域推定部１０７は、その推定誤差に応じて追尾領域を小さくする。それにより、属性更新部１０３の処理の対象となる領域が小さくなるため、属性更新部１０３の処理の負担が低減される。結果として、監視空間３０１が広い程、属性更新部１０３の追尾処理の演算量が減ることになる。
【００３４】
本実施形態では、ＣＰＵ２０２がＲＡＭ２０３又は補助記憶装置２０４内のプログラムを実行することで、図４のフローチャートの処理が実現されるとした。しかし、図４のフローチャートの処理の一部又は全部を電子回路等のハードウェアで実現するようにしてもよい。
また、本実施形態の図４のフローチャートの処理の一部又は全部を、撮像素子を備える監視システム内のカメラが実行することとしてもよい。その場合、監視システム内のカメラのそれぞれは、ＣＰＵ、図４のフローチャートの処理の一部又は全部を実行するためのプログラム等を記憶する記憶装置を含むことになる。そして、監視システム内のカメラのＣＰＵが、カメラの記憶装置に記憶されたプログラムを実行することにより、カメラの機能、及び図４のフローチャートの処理の一部又は全部が実現されることになる。
【００３５】
＜実施形態２＞
本実施形態では、空間入力部１１０、領域決定部１１１の処理を説明する。空間入力部１１０は、新規オブジェクト登場空間を入力する。そして、領域決定部１１１は、空間入力部１１０により入力された新規オブジェクト登場空間の指定に基づいて、以下の処理を行う。即ち、領域決定部１１１は、Ｓ４０２で監視空間３０１に新たに登場したオブジェクトの検出処理を行う撮像画像がどのカメラからの撮像画像であるかを決定する。また、領域決定部１１１は、Ｓ４０２で撮像画像のうち、オブジェクトの検出処理を行う領域を決定する。即ち、空間入力部１１０、領域決定部１１１は、新たに、監視空間に登場し得るオブジェクトを検出する際に利用される検出パラメータを決定する。本実施形態の空間入力部１１０、領域決定部１１１の処理は、図４の処理の前に行われる。
本実施形態の監視システムのシステム構成、システム構成要素のハードウェア構成及び機能構成は、実施形態１と同様である。
【００３６】
空間入力部１１０は、オブジェクトが監視空間３０１に入る為に必ず経由する新規オブジェクト登場空間を入力する。
空間入力部１１０は、ユーザーインターフェース２０５を介して、新規オブジェクト登場空間の指定に利用される指定画面を表示部に表示する。そして、空間入力部１１０は、指定画面、入力装置を介したユーザーの操作に基づいて、新規オブジェクト登場空間の指定を受け付ける。例えば、空間入力部１１０は、監視空間３０１を俯瞰した図面を指定画面として、表示部に表示する。ユーザーは、指定画面に表示された監視空間３０１において新規オブジェクト登場空間を設定したい範囲を、例えばマウスを介したドラッグ処理等で指定する。また、ユーザーは、指定画面に表示された監視空間３０１において新規オブジェクト登場空間の候補として表示された範囲のうち、新規オブジェクト登場空間として決定したい範囲を、例えばマウスを介したクリック処理等で選択することとしてもよい。空間入力部１１０は、ユーザーの操作に基づいて、指定された新規オブジェクト登場空間を設定したい範囲の情報を受け付けることで、新規オブジェクト登場空間の情報を入力する。
また、空間入力部１１０は、ユーザーインターフェース２０５を介して、新規オブジェクト登場空間だけでなく、壁、カメラの設置座標、関連パラメータ等の指定に利用される指定画面を表示部に表示することとしてもよい。例えば、空間入力部１１０は、世界座標系を俯瞰した画面や関連パラメータの設定画面を含む指定画面を表示する。ユーザーは、指定画面内に表示された座標系に壁、カメラ等のアイコンを配置することで、これらの座標を指定し、関連パラメータの設定画面に希望のパラメータを指定することで、関連パラメータを指定する。空間入力部１１０は、指定画面を介して、指定された情報を受け付ける。
【００３７】
図９は、空間入力部１１０により表示される指定画面の一例を示す図である。空間入力部１１０が表示する指定画面を介したユーザーの操作に基づく新規オブジェクト登場空間の指定処理の例について図９を用いて説明する。図９の指定画面では、実線、破線、点線等が描画されている。実線には、相対的に太い線（以下では太実線）、相対的に細い実線（以下では細実線）がある。図９の例では、指定画面には、壁を示す太実線、カメラを示す長方形、新規にオブジェクトが登場し得る空間を示す細実線で囲まれた領域、カメラがオブジェクトを追尾できる空間を示す点線の扇形等が表示される。図９の指定画面は、監視空間３０１、新規オブジェクト登場空間、カメラ毎のオブジェクトを検出し得る空間、が全て上方から俯瞰し底面上に射影された領域を示す。また、壁、新規オブジェクト登場空間等も、底面に射影された領域とする。即ち、図９の指定画面は、世界座標系における監視空間を、平面の地図である２次元地図として表した画面である。
空間入力部１１０は、各カメラについて追尾可能領域を推定し、指定画面に表示することで、ユーザーに提示する。例えば、ユーザーが指定画面を介して監視空間３０１内にカメラ３１１の設置を指定したときに、追尾可能領域である領域３２１を推定しユーザーに提示する。追尾可能領域は、扇形である。追尾可能領域の扇形の中心角は、カメラの画角である。扇形の半径は、追尾対象のオブジェクトがある画素数以上で映る距離であって、この画素数は、属性更新部１０３がオブジェクトを検出できる最小の画素数であるものとする。
本実施形態では、空間入力部１１０が属性更新部１０３の特性に基づいて追尾可能領域の扇形の半径を決定する。それにより、装置決定部１０６は、オブジェクトを単に映すカメラではなく、オブジェクトを追尾できるカメラを、検出処理を行うための撮像画像を撮像するカメラとして決定できる。これにより、空間入力部１１０は、属性更新部１０３では検出不可能なオブジェクトを追尾しようとする処理に要する演算量を削減する事ができる。
【００３８】
領域決定部１１１は、空間入力部１１０により入力された新規オブジェクト登場空間に基づき、監視空間３０１内に新規に登場したオブジェクトを検出し得るカメラ、及びそのカメラ画像上の新規オブジェクト属性取得領域を推定する。例えば、領域決定部１１１は、図９の指定画面で入力された新規オブジェクト登場空間３０２を追尾可能領域に含むカメラ３１１及びカメラ３１２を求める。更に、領域決定部１１１は、図５に示す様にカメラ３１１の撮像画像４１１上に新規オブジェクト属性取得領域４２１を、カメラ３１２の撮像画像４１２上に新規オブジェクト属性取得領域４２２を推定する。
領域決定部１１１は、例えば、新規オブジェクトを検出し得るカメラを求めるために、以下のような処理を行う。補助記憶装置２０４は、予めカメラ毎にオブジェクトを検出し得る空間の情報を記憶しているものとする。領域決定部１１１は、補助記憶装置２０４から、全てのカメラについて、オブジェクトを検出し得る空間の情報を取得する。そして、領域決定部１１１は、取得した情報に基づいて、オブジェクトを検出し得る空間と、新規オブジェクト登場空間とが重複するカメラを選択する。本実施形態では、カメラがオブジェクトを検出し得る空間、新規オブジェクト登場空間等の空間は、底面に射影した領域として扱われる。また、本実施形態では、属性取得部１０２と属性更新部１０３とで非特許文献２記載の同一の方法が適用されるので、あるカメラでオブジェクトを検出し得る領域とカメラの追尾可能領域とは等しい。よって、領域決定部１１１は、新規オブジェクト登場空間とカメラの追尾可能領域とが重複するカメラを求めればよい。例えば、領域決定部１１１は、新規オブジェクト登場空間３０２とカメラの追尾可能領域である領域３２１や追尾可能領域である領域３２２とが重複するか否かを判定し、重複すると判定したカメラを選択すればよい。
また、領域決定部１１１は、新規オブジェクトを検出し得るカメラを選択せずに、全てのカメラについて、追尾領域を決定することとしてもよい。その場合、領域決定部１１１は、新規オブジェクトを検出し得ないカメラについて、追尾領域として面積が０の領域を決定することになる。
【００３９】
同一平面上の二つの領域が重複するか否かを判定する方法は、任意の方法でよいが、例えば、双方の領域を複数の三角形で近似した上で、一方の領域のある三角形の内部に他方の領域の三角形の頂点が存在するならば、二つの領域は重複するとする方法が利用される。例えば、領域決定部１１１は、新規オブジェクト登場空間３０２のある頂点８０１が追尾可能領域である領域３２１の内部に含まれるので、カメラ３１１を、新規オブジェクト登場空間３０２から新規オブジェクトを検出し得るカメラとして選択する。
次に、領域決定部１１１は、あるカメラによる撮像画像上の新規オブジェクト属性取得領域を決定する。撮像画像上の新規オブジェクト属性取得領域を決定する方法には、それぞれの新規オブジェクト登場空間の頂点のそれぞれについてカメラによる撮像画像上での座標を算出し、算出した座標を凸包した領域とカメラによる撮像画像との共通部分を求めればよい。ただし、新規オブジェクト登場空間は底面に射影した領域として扱われるので、領域決定部１１１は、オブジェクトの映りうる高さに応じて適切な高さを想定する頂点を設けてから、そのカメラ画像上での座標を求める必要がある。本実施形態では、補助記憶装置２０４は、予め、オブジェクトの映りうる高さに応じた適切な高さの情報を記憶しているものとする。領域決定部１１１は、補助記憶装置２０４からオブジェクトの映りうる高さに応じた適切な高さの情報を取得する。ある座標のカメラによる撮像画像上での座標を求める方法には、式１を用いる方法がある。例えば、図１０に示す様に、領域決定部１１１は、新規オブジェクト登場空間３０２の底面上の頂点群に、十分に身長の高い歩行者でも映り得る程度の高さに頂点群を設けて立方体とする。領域決定部１１１は、この立方体の全ての頂点群について、撮像画像４１１での座標を求めて、その凸包を求めると、新規オブジェクト属性取得領域４２１を取得する。領域決定部１１１は、空間入力部１１０により入力された領域に基づいて、オブジェクトを初めて検出する際に利用される検出パラメータを決定する第２の決定手段の一例である。ここで、新規オブジェクト属性取得領域４２１を示す情報が、検出パラメータの一例である。
そして、属性取得部１０２は、領域決定部１１１により決定された新規オブジェクトを検出する際に利用される検出パラメータに基づいて、新規オブジェクトを検出する。本実施形態では、Ｓ４０２で、属性取得部１０２は、領域決定部１１１により決定された新規オブジェクトを撮像し得るカメラからの撮像画像について、領域決定部１１１により決定された新規オブジェクト属性取得領域から歩行者３５１を検出することになる。属性取得部１０２は、複数のカメラからの撮像画像群のそれぞれに設定された、オブジェクトが初めて登場する領域からオブジェクトを検出する第２の検出手段の一例である。
【００４０】
以上、本実施形態の処理によれば、監視システムは、各カメラについて、新規オブジェクト登場空間を設定することができる。また、空間入力部１１０は、新規オブジェクト登場空間を指定するための指定画面をユーザーに提示することで、ユーザーの希望に沿った、新規オブジェクト登場空間を設定できる。それにより、監視空間３０１に新たに登場するオブジェクトを検出する際の処理の負担を軽減することができる。
【００４１】
＜実施形態３＞
実施形態１、２では以下のような処理について説明した。即ち、属性取得部１０２や属性更新部１０３がカメラごとのオブジェクトの属性を取得し、共通属性推定部１０４がそれら属性を統合してカメラ間で共通の属性を推定する処理である。また、共通属性予測部１０５がカメラによる次の撮像画像におけるオブジェクトの共通属性値を予測し、装置決定部１０６と領域推定部１０７とが予測された共通属性の値に基づいて、検出パラメータを決定する処理である。この様な、各カメラで収集し、全体で統合・予測し、予測した属性に基づいて、決定することができる検出パラメータは、検出対象の画像を撮像するカメラの情報や、追尾領域の情報には、限られない。また、オブジェクトから取得することができる属性も座標に限られない。例えば、以下のようなものがある。
【００４２】
例えば、属性取得部１０２や属性更新部１０３が検出したオブジェクトから取得できる属性として、歩行者の身長（オブジェクトの高さ）がある。
実施形態１では、歩行者３５１の世界座標系における座標は、歩行者３５１の頭部を球で近似した場合のその球の中心の座標であるとした。ここで、歩行者３５１の世界座標系における座標を、この球の最も床面から遠い点の座標とすると、共通属性推定部１０４は、歩行者の身長を推定していることになる。ここで、領域推定部１０７は、歩行者の身長、カメラの画角、カメラの画素数等に基づいて、そのカメラで歩行者が映る垂直方向の画素数を算出できる。そして、領域推定部１０７は、検出パラメータとして、歩行者が映る垂直方向の画素数を決定する。
そして、属性更新部１０３は、非特許文献２の方法に基づきオブジェクト検出のための部分画像を選択するときに、検出パラメータとして決定された垂直方向の画素数と近似する垂直方向の画素数を持つ部分画像を選択する。例えば、属性更新部１０３は、検出パラメータとして決定された垂直方向の画素数に近似する垂直方向の画素数を持つ部分画像を選択し、選択した部分画像からオブジェクトを検出する処理を行う。検出パラメータとして決定された垂直方向の画素数に近似する画素数としては、例えば、その画素数を中心に設定された幅を持つ範囲（例えば、その画素数の０．９倍から１．１倍までの範囲）に属する画素数とすることとしてもよい。これにより、属性更新部１０３は、検出パラメータとして決定された垂直方向の画素数と近似しない垂直方向の画素数を持つ部分画像について、オブジェクトの検出処理を行う必要がなくなる。これにより、監視システムは、属性更新部１０３による検出処理の負担を低減させることができる。
【００４３】
例えば、属性取得部１０２や属性更新部１０３が検出したオブジェクトから取得できる属性として、歩行者の胴体の向きや顔向き（オブジェクトの向き、オブジェクトの一部の向き）がある。
歩行者は、撮像方向によってカメラにより撮像される外見が大きく異なるため、非特許文献２の検出方法では、撮影方向が変わると検出性能が低下する。これを克服する為に、属性取得部１０２や属性更新部１０３は、非特許文献２に示されているように、検出器を顔向きと胴体向きの組合せごとに用意していることとする。
Ｓ４０２で属性取得部１０２は、ある歩行者の顔向き及び胴体向きを求める。即ち、属性取得部１０２は、複数用意した検出器のうち歩行者を最も確からしく真と判定した検出器を求める。そして、属性取得部１０２は、その検出器が顔向き、胴体向きが何れの方向に対応する検出器であるかを取得することで、歩行者の顔向き、胴体向きを求める。共通属性推定部１０４は、各カメラからの撮像画像における歩行者の顔向き及び胴体向きを統合し、世界座標上での顔向きと胴体向きを求める。そして、共通属性予測部１０５は、現在の時点から設定された期間が経過した時点における歩行者の胴体や顔向きを予測する。例えば、共通属性予測部１０５は、歩行者が監視空間のある一点を凝視しながら歩いている場合、顔向きをその一点を見つめる向きであると予測する。領域推定部１０７は、予測された世界座標系における歩行者の顔向き、胴体向きに基づいて、カメラによる撮像画像上での歩行者の顔向き及び胴体向きを推定し、推定した顔向き及び胴体向きの情報を検出パラメータとして決定する。そして、属性更新部１０３は、検出パラメータとして決定された歩行者の顔向き及び胴体向きに応じて、複数の検出器から歩行者を検出する為の検出器を選択し適用する。これにより、属性更新部１０３は、検出パラメータとして決定された歩行者の顔向き及び胴体向きに対応しない検出器を用いて、歩行者を検出する処理を行う必要がなくなる。それにより、監視システムは、属性更新部１０３によるオブジェクト検出処理の負担を低減させることができる。
また、属性取得部１０２は、Ｓ４０２である歩行者の座標と共に顔向き及び胴体向きを取得することとしてもよい。
【００４４】
また、空間入力部１１０及び領域決定部１１１は、属性取得部１０２がオブジェクトの検出に利用する検出パラメータを決定するものである。そのため、空間入力部１１０及び領域決定部１１１は、検出に利用される撮像画像を撮像するカメラや撮像画像中のオブジェクトの検出に利用される領域以外の検出パラメータを設定することができる。例えば、空間入力部１１０が歩行者の身長と画素数をオブジェクトの属性として取得する場合、領域決定部１１１は、歩行者の平均的な身長から、カメラに映る歩行者の垂直方向の画素数を算出し、Ｓ４０２で利用される検出パラメータとして決定する。そして、属性取得部１０２は、Ｓ４０２で、算出された画素数に基づいた部分画像を撮像画像から抽出し、抽出した部分画像から歩行者の検出を行う。
また、空間入力部１１０が歩行者の顔や動体の向きをオブジェクトの属性として取得する場合、指定画面を介して、新規オブジェクト登場空間毎に、歩行方向や凝視点の入力を受け付ける。そして、領域決定部１１１は、入力された歩行方向や凝視点から、歩行者の胴体及び顔向きを推定し、Ｓ４０２で利用される検出パラメータとして決定するする。そして、属性取得部１０２は、Ｓ４０２で、推定された胴体向き及び顔向きに基づいた検出器を用いて、歩行者を検出することができる。
これにより、監視システムは、Ｓ４０２での属性取得部１０２によるオブジェクトの検出処理の負担が低減できる。
【００４５】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
例えば、上述した監視システムの機能構成の一部又は全てをハードウェアとして情報処理装置３４１に実装してもよい。
【符号の説明】
【００４６】
３４１  情報処理装置、２０２  ＣＰＵ
【図１】
0006679349.tif 000002
【図２】
0006679349.tif 000003
【図３】
0006679349.tif 000004
【図４】
0006679349.tif 000005
【図５】
0006679349.tif 000006
【図６】
0006679349.tif 000007
【図７】
0006679349.tif 000008
【図８】
0006679349.tif 000009
【図９】
0006679349.tif 000010
【図１０】
0006679349.tif 000011