(57)【要約】  カメラの設置条件が違う場合においても、複数の監視カメラから得られる動き情報を比較する事が可能な映像監視技術を提供する  本発明に係る映像監視システムは、複数のカメラからの映像を受信し、映像を構成する複数のフレームから動き特徴量を抽出する抽出部と、抽出部からの抽出結果を蓄積する記憶部と、抽出した動き特徴量を変換する変換部と、変換後の動き特徴量を解析する解析部と、を有し、変換部は、複数のカメラの座標軸とは異なる仮想座標軸を保持し、仮想座標軸系における仮想視点を計算することにより特徴量を変換することを特徴とする。
2014199505.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラからの映像を受信し、前記映像を構成する複数のフレームから動き特徴量を抽出する抽出部と、
前記抽出部からの抽出結果を蓄積する記憶部と、
抽出した前記動き特徴量を変換する変換部と、
変換後の前記動き特徴量を解析する解析部と、を有し、
前記変換部は、複数のカメラの座標軸とは異なる仮想座標軸を保持し、仮想座標軸系における仮想視点を計算することにより特徴量を変換することを特徴とする映像監視システム。
【請求項２】
請求項１に記載の映像監視システムであって、
前記変換部は、
前記カメラの設置情報から、それぞれの前記カメラの視線軸と地面との交点の位置を算出し、前記交点が視線の中心となる前記カメラの位置のうち仮想的な前記カメラの設置状態と実際の前記カメラ設置状態とが一致する位置を前記仮想視点として生成する
ことを特徴とする映像監視システム。
【請求項３】
請求項１に記載の映像監視システムであって、
前記変換部は、
前記抽出部が抽出した前記動き特徴量の実空間上の３次元位置を推定する３次元位置推定部と、
前記仮想視点を用いて前記動き特徴量の変換に用いる変換方法を決定する変換方法決定部と、
推定された前記３次元位置と、決定された変換方法を用いて、前記動き特徴量の座標変換を行う座標変換部と、をさらに有する
ことを特徴とする映像監視システム。
【請求項４】
請求項３に記載の映像監視システムであって、
複数の前記変換部と、
前記解析部からの解析結果を提示する提示部と、をさらに備え
前記提示部で提示する解析結果を、制御信号によって切り替える
ことを特徴とする映像監視システム。
【請求項５】
請求項２に記載の映像監視システムであって、
入力された道路情報から白線の位置を抽出し、前記交点と最も近い白線上の点を算出し、前記白線上の点が視線の中心となるカメラの位置のうち仮想的な設置状態と実際の前記カメラの設置状態とが一致する位置を仮想視点として生成する
ことを特徴とする映像監視システム。
【請求項６】
請求項１記載の映像監視システムであって、
前記変換部で用いる前記仮想視点を設定するユーザインターフェースと、をさらに有する
ことを特徴とする監視システム。
【請求項７】
複数のカメラからの映像を受信し、前記映像を構成する複数のフレームから動き特徴量を抽出する抽出ステップと、
前記抽出ステップからの抽出結果を蓄積する記憶ステップと、
抽出した前記動き特徴量を変換する変換ステップと、
変換後の前記動き特徴量を解析する解析ステップと、を有し、
前記変換ステップは、複数のカメラの座標軸とは異なる仮想座標軸を保持し、仮想座標軸系における仮想視点を計算することにより特徴量を変換することを特徴とする映像監視方法。
【請求項８】
請求項７に記載の映像監視方法であって、
前記変換ステップは、
前記カメラの設置情報から、それぞれの前記カメラの視線軸と地面との交点の位置を算出し、前記交点が視線の中心となる前記カメラの位置のうち仮想的な前記カメラの設置状態と実際の前記カメラ設置状態とが一致する位置を前記仮想視点として生成する
ことを特徴とする映像監視方法。
【請求項９】
請求項７に記載の映像監視方法であって、
前記変換ステップは、
前記抽出ステップが抽出した前記動き特徴量の実空間上の３次元位置を推定する３次元位置推定ステップと、
前記仮想視点を用いて前記動き特徴量の変換に用いる変換方法を決定する変換方法決定ステップと、
推定された前記３次元位置と、決定された変換方法を用いて、前記動き特徴量の座標変換を行う座標変換ステップと、をさらに有する
ことを特徴とする映像監視方法。
【請求項１０】
請求項９に記載の映像監視方法であって、
複数の前記変換ステップと、
前記解析部からの解析結果を提示する提示ステップと、をさらに備え
前記提示ステップで提示する解析結果を、制御信号によって切り替える
ことを特徴とする映像監視方法。
【請求項１１】
コンピュータに以下のステップを実現させるためのプログラムを記録したコンピュータ読み取り可能な情報記録媒体であって、
複数のカメラからの映像を受信し、前記映像を構成する複数のフレームから動き特徴量を抽出する抽出ステップと、
前記抽出ステップからの抽出結果を蓄積する記憶ステップと、
抽出した前記動き特徴量を変換する変換ステップと、
変換後の前記動き特徴量を解析する解析ステップと、を有し、
前記変換ステップは、複数のカメラの座標軸とは異なる仮想座標軸を保持し、仮想座標軸系における仮想視点を計算することにより特徴量を変換すること
を特徴とするプログラムが記録されている情報記録媒体。
【請求項１２】
請求項１１に記載の情報記録媒体であって、
前記変換ステップは、
前記カメラの設置情報から、それぞれの前記カメラの視線軸と地面との交点の位置を算出し、前記交点が視線の中心となる前記カメラの位置のうち仮想的な前記カメラの設置状態と実際の前記カメラ設置状態とが一致する位置を前記仮想視点として生成する
ことを特徴とするプログラムが記録されている情報記録媒体。
【請求項１３】
請求項１１に記載の情報記録媒体であって、
前記変換ステップは、
前記抽出ステップが抽出した前記動き特徴量の実空間上の３次元位置を推定する３次元位置推定ステップと、
前記仮想視点を用いて前記動き特徴量の変換に用いる変換方法を決定する変換方法決定ステップと、
推定された前記３次元位置と、決定された変換方法を用いて、前記動き特徴量の座標変換を行う座標変換ステップと、をさらに有する
ことを特徴とするプログラムが記録された情報記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本本発明は、映像を用いて監視対象を監視する技術に関する。
【背景技術】
【０００２】
近年、凶悪犯罪が増加し、セキュリティの意識が向上している。これに伴い、店舗、空港などの人が集まる場所に、多くの監視カメラが設置されている。これらの監視カメラによって撮影された映像情報は、監視レコーダなどの蓄積装置に格納され、必要に応じて閲覧される。【０００３】
下記特許文献１には、複数の監視カメラを用いた監視システムが記載されている。この文献においては、監視対象の動き情報を抽出し、抽出した動き情報を複数のカメラ間で比較し、監視対象の情報を得る。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2011-193187号公報
【非特許文献】
【０００５】
【非特許文献１】Michalis Raptis and Stefano Soatto， “Tracklet Descriptors for Action Modeling and Video Analysis”， In Proceedings of the European Conference on Computer Vision， September 2010．
【非特許文献２】S． Baker and I． Matthews “ Lucas-kande 20 years on: A unifying framework”， International Journal of Computer Vision， vol． 53， no． 3， 2004．。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
複数の監視カメラを備える監視システムにおいて、複数の監視カメラで得られた動き情報をカメラ間で比較する場合、各カメラの設置条件の違いを考慮する必要がある。例えば、複数の監視カメラから動き情報を抽出し、同じ動きをしている人物を探すシステムを構築する場合、複数のカメラが同じ条件で設置されている場合には、上記非特許文献１等の方式により実現できる。しかし、各カメラの設置条件が違い、例えば地面に対して水平に設置されているカメラと、地面に向けて設置されているカメラ等が混在している場合においては、各カメラで対象の映り方が違うため、同じ動きをしても違う動き情報となってしまい、カメラ間での動き情報の比較が困難である。【０００７】
この課題に対し、上記特許文献１ではあるカメラから得られる動き情報を、比較対象のカメラの座標系に変換した後比較を行っている。しかしこの方式では、位置情報を比較対象カメラの座標位置に変換して比較するため、比較するカメラの視野に重なりがなければ比較することができない。【０００８】
本発明は、上記のような課題を解決するためになされたものであり、カメラの設置条件が違う場合においても、複数の監視カメラから得られる動き情報を比較する事が可能な映像監視技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る映像監視システムは、複数のカメラからの映像を受信し、映像を構成する複数のフレームから動き特徴量を抽出する抽出部と、抽出部からの抽出結果を蓄積する記憶部と、抽出した動き特徴量を変換する変換部と、変換後の動き特徴量を解析する解析部と、を有し、変換部は、複数のカメラの座標軸とは異なる仮想座標軸を保持し、仮想座標軸系における仮想視点を計算することにより特徴量を変換することを特徴とする。
【発明の効果】
【００１０】
本発明に係る映像監視装置によれば、設置条件の違う複数の監視カメラから得られる監視対象の動き情報を好適に分析することができる。
【図面の簡単な説明】
【００１１】
【図１】実施例１に係る監視システムの模式図である。
【図２】実施例１に係る監視システムが備える映像監視装置200の機能ブロック図である。
【図３】仮想視点生成部203と変換方法決定部204の構成例を示す機能ブロック図である。
【図４】仮想視点生成部203の処理例を示す図である。
【図５】特徴量変換部207の構成例を示す機能ブロック図である。
【図６】仮想視点生成部203の処理フロー図である。
【図７】特徴量変換部207の処理フロー図である。
【図８】実施例１に係る映像監視装の構成例を示す図である。
【図９】実施例１に係る監視システムの構成例を示す図である。
【図１０】仮想設置状態情報設定クライアント907の一例を示す図である。
【図１１】実施例２に係る映像監視装置200の機能ブロック図である。
【図１２】実施例３に係る映像監視装の構成例を示す図である。
【図１３】実施例４に係る仮想視点生成部203の処理例を示す図である。
【発明を実施するための形態】
【実施例１】
【００１２】
図1は本発明の実施例１に係る監視システムの模式図である。図1において、監視領域内に存在する監視対象101は複数の監視カメラ(102、103)により監視されている。【００１３】
各監視カメラから得られた映像から画像処理により監視対象の動き特徴量(104、105)を抽出する。動き特徴量とは、対象の動き量を表現可能な特徴量である。例えば、ある一定時間内において、監視対象が画面内で移動した座標の移動量を並べた、動きベクトル等を用いる。また、対象の移動量の算出には非特許文献2に記載されている様な手法等を用いればよい。【００１４】
それぞれのカメラから得られた動き特徴量(104、105)はカメラの設置状態が違うため、比較困難である。ここで、カメラの設置状態とは例えば、カメラの地面からの設置高さ、地面に対する設置角度、カメラの向き(視線の方角)、カメラの画角、カメラの焦点距離等である。そこで、監視システム全体で統一した仮想設置状態106を与え、それぞれのカメラに対して、カメラの設置状態が、仮想設置状態106のカメラの設置状態と一致する仮想視点(107、108)を設定する。設定された各仮想視点に従い、各カメラの画像座標系から各仮想視点の座標系への変換方法をそれぞれ決定する。この変換方法に従い、動き特徴量(104、105)を変換し、変換された動き特徴量(109、110)を得る。座標系の変換方法は、例えば動きベクトルの座標位置を、回転行列を用いた座標変換によって変換する方法等を用いればよい。変換された動き特徴量(109、110)は、全てのカメラで同じ設置状態の動き特徴量となるため、比較が容易になる。得られた動き特徴量(109、110)はデータベース111等に保存し、分析に用いる。【００１５】
図2は本実施例１に係る監視システムが備える映像監視装置200の機能ブロック図である。映像監視装置200は、仮想視点生成部203、変換方法決定部204、動き特徴量抽出部206、特徴量変換部207、特徴量解析部208、解析結果提示部209を備える。【００１６】
仮想視点生成部203は予め与えられた仮想設置状態情報201と複数台の監視カメラ設置情報を受け取る。仮想視点生成部203では受け取った仮想設置状態情報201と複数台の監視カメラ設置情報をもとに、各監視カメラに対する仮想視点情報210を生成する。生成された仮想視点情報210は変換方法決定部204に入力される。変換方法決定部204では入力された仮想視点情報210をもとに、特徴量の変換方法を決定する。決定した変換方法211は特徴量変換部207に入力される。【００１７】
動き特徴量抽出部206は、複数台の監視カメラの映像205を受け取る。動き特徴量抽出部206では、受け取った監視カメラからの映像205を画像処理し、監視対象の動き特徴量を抽出する。動き特徴量の抽出には非特許文献2の方法などを用いればよい。動き特徴量は、特徴量を抽出した画像上の位置情報と、動きを表す特徴量から構成される。動きを表す特徴量としては、例えば画像座標上の移動量(２次元ベクトル)を時間方向に並べたもの等がある。抽出された動き特徴量は特徴量変換部207に入力される。特徴量変換部208は、動き特徴量と特徴量の変換方法211を受け取り、特徴量の変換方法に従い、動き特徴量を変換する。変換された動き特徴量は特徴量解析部208に入力される。【００１８】
特徴量解析部208では変換された動き特徴量を解析する。解析された結果は解析結果提示部209に入力される。解析結果提示部209では、解析結果を監視者に提示可能な状態に変換し、提示する。特徴量解析部208の例としては、例えば同様の動きをしている対象を、過去の動き特徴量の中から探し出し、似ている順番に並べ替える処理等が考えられる。この場合、解析結果提示部209では、探し出した動き特徴量を抽出した日時や場所などを順番にリスト化し、ディスプレイ端末に表示する処理等を行う。ここで、特徴量解析部208の処理は動き特徴量を用いた解析処理であれば、別の解析処理でもよい。また解析結果提示部209の提示方法も、特徴量解析部208における解析結果を提示できれば、別の提示方法でもよい。【００１９】
図3は、仮想視点生成部203と変換方法決定部204の構成例を示す機能ブロック図である。この例ではカメラが２つであった場合の例であり、それぞれカメラＡ304、カメラＢ305とする。【００２０】
まず、予め仮想設置状態情報301を与える。ここでは地面からの高さ302と地面に対する角度303を仮想設置状態として与える例について示す。仮想視点生成部203は、カメラＡ用視点生成部2031とカメラＢ用視点生成部2032を備える。カメラＡ用視点生成部2031では仮想設置状態情報301とカメラＡ設置状態2033を用いてカメラＡ用仮想視点306を算出する。同様にして。カメラＢ用視点生成部2032では仮想設置状態情報301とカメラＢ設置状態2034を用いてカメラＢ用仮想視点307を算出する。【００２１】
変換方法決定部204は、カメラＡ用座標変換パラメータ決定部2041とカメラＢ用座標変換パラメータ決定部2042を備える。カメラＡ用座標変換パラメータ決定部2041では、カメラＡ用視点生成部2031で生成したカメラＡ用仮想視点306を用いて、カメラＡ304からカメラＡ用仮想視点306への座標変換パラメータを計算する。この座標変換パラメータは、例えば一般的な座標変換行列の各係数等である。座標変換行列の各係数は、カメラＡ304の設置位置から仮想視点306への並進移動量と、カメラＡ304の設置角度から仮想設置状態情報301の設置角度への回転量を用いて、簡単に計算することができる。また、カメラの画角や焦点距離を仮想設置状態に含めてもよく、この場合にはカメラの画角や焦点距離を考慮した座標変換行列の各係数を算出してもよい。同様に、カメラＢ用座標変換パラメータ決定部2042では、カメラＢ305からカメラＢ用仮想視点307への座標変換パラメータを計算する。以上により得られた座標変換パラメータは特徴量変換部207に入力される。【００２２】
図4は、仮想視点生成部203における仮想視点の算出方法の一例を示した図である。まず、各監視カメラ401の設置情報から、カメラの視線と地面の交点402を求める。次に求めた交点402が視線の中心となる設置位置のうち、高さが仮想設置状態301の地面からの高さと一致し、角度404が仮想設置状態301の地面からの角度303と一致する位置を仮想視点405とする。この仮想視点とカメラ401の設置位置の差が、カメラ401から仮想視点405への並進移動量406となる。この例では、仮想視点405からのカメラの視線と地面の交点402が、元のカメラ401の視線と地面との交点402と一致する様に変換している。これにより、元のカメラ401の画像の中心付近に映っていた対象の動き特徴量は、仮想視点においても画像の中心付近となるため、後の分析において扱いやすいといった利点がある。この例では、カメラの向き(視線の方角)は特に指定していないが、カメラの向きを仮想設置状態として指定し、向きが合う様に仮想視点を算出してもよい。【００２３】
図5は、特徴量変換部207の構成例を示す機能ブロック図である。ここでは、動き特徴量抽出部206で抽出された動き特徴量が、画像座標に対応した２次元の動きベクトル501で表現されている場合の例を示す。特徴量変換部207は、３次元位置推定部2071と座標変換部2072を備える。【００２４】
特徴量は、前記の通り特徴量を抽出した画像座標上の２次元位置と、動きを表す特徴量から構成される。３次元位置推定部2071では、まず、特徴量を抽出した画像座標上の２次元位置を、実空間における３次元位置に変換する。この変換は、カメラの画角、焦点距離、地面からの高さ、カメラの地面に対する角度、特徴量の実空間上の高さが分かれば、容易に計算することができる。カメラの画角、焦点距離、地面からの高さ、カメラの地面に対する角度は予め設定しておく。この状態で、特徴量の実空間上の高さが分かれば、特徴量を抽出した画像座標上の２次元位置を、実空間における３次元位置に変換する事が可能となる。すなわち、特徴量の抽出位置の実空間上の高さを推定することで、抽出位置の２次元位置を、実空間における３次元位置に変換することができる。【００２５】
特徴量の高さの推定には、例えば以下の様な監視対象と地面との関係を用いて推定する方法がある。まず、人物が監視対象であった場合には、人物抽出処理等を用いて人物領域を抽出する。この抽出された人物が地面に立っていると仮定すれば、人物の足元の高さは地面の高さと一致する。さらに抽出された人物の身長をある一定値であると仮定することで、この人物領域内に含まれる特徴量の高さ情報を得る事ができる。これにより、各特徴量の抽出位置の３次元位置を推定することができる。人物抽出処理には、例えばテンプレートマッチング等の方法を用いればよい。同様にして、以上の処理を特徴量の２次元動きベクトルの各要素に行うことで、特徴量を３次元動きベクトル502に変換する。【００２６】
座標変換部2072では、変換方法決定部204で得られた変換方法201に従い、座標変換を行う。この例では、実空間における３次元位置を仮想視点から見た仮想的な画像の２次元座標位置に変換する行列を用いた座標変換を、変換方法201として用いる。この座標変換行列を用いて、３次元位置に変換された３次元動きベクトル502を、仮想視点から見た２次元の動きベクトル503に変換する。以上により、元の特徴量を仮想視点から見た特徴量に変換する。【００２７】
この例では、特徴量が２次元動きベクトルであった場合の変換方法について示したが、特徴量が動き方向のヒストグラムの様な、画像上の座標位置の２次元ベクトルで与えられていない場合には、別の変換方法が必要となる。この場合には、例えば変換方法として、特徴量の地面からの高さ情報にひも付けされた変換テーブルを用いて、ヒストグラムを変換する方法などを用いればよい。【００２８】
図6は、仮想視点生成部203における仮想視点生成処理の処理フロー図である。以下、図6の各ステップについて説明する。
（図6：ステップS601〜S602）
仮想視点生成部203は、仮想設置状態情報201が設定されると(S601)、全てのカメラについて以下に説明するステップS603〜S604を実施する（S602）。
（図6：ステップS603〜S604）
仮想視点生成部203は、監視カメラの設置情報202からカメラの視線と地面の交点を算出する(S603)。次に、得られた交点を用いて仮想視点位置を算出する(S604)。
図7は、特徴量変換部207における特徴量変換処理の処理フロー図である。特徴量変換処理では、最初に変換方法を取得する(S701)。次に、特徴量を取得する(S702)。次に、特徴量の3次元位置を推定する(S703)。次に、(S701)にて取得した変換方法に基づき、特徴量を変換し(S704)、特徴量変換処理を終了する。【００２９】
図8は、本実施例１に係る監視装置800の構成例である。監視装置800は演算処理装置801と記録装置802と入出力装置803を備える。また演算処理装置801と記録装置802は入出力装置803を通じて、ユーザインターフェース804と表示装置805と監視カメラ806と録画装置807と接続されている。演算処理装置801では記録装置802に保存されている処理命令群819から必要な処理を呼び出して実行する。仮想視点生成処理808、変換方法決定処理809、動き特徴量抽出処理810、特徴量変換処理811、特徴量解析処理812はそれぞれ、図2中の仮想視点生成部203、変換方法決定部204、動き特徴量抽出部206、特徴量変換部207、特徴量解析部208に対応した処理を実行する。監視カメラ設定情報814と仮想設置状態情報815はユーザインターフェース804を通して設定され、記録装置802に保存される。仮想視点生成処理808は監視カメラ設定情報814と仮想設置状態情報815を呼び出し、仮想視点を生成し、続いて変換方法決定処理809を実行する。変換方法決定処理809は特徴量変換方法816を決定し、記録装置802に保存する。動き特徴量抽出処理810では監視カメラ806もしくは録画装置807から画像を読み出し、動き特徴量を抽出し、変換前特徴量817として記録装置802に保存する。特徴量変換処理811は、特徴量変換方法816と変換前特徴量817を読み出し、特徴量を変換し、変換後特徴量818として記録装置に保存する。特徴量解析処理812は変換後特徴量818を読み出し、特徴量解析処理を行う。次に解析結果提示映像生成処理813を実行する。解析結果提示映像生成処理813では、特徴量解析処理812の解析結果を表示装置805で表示可能な映像形式に変換し、表示装置805に送る。表示装置805では送られてきた解析結果映像を表示する。【００３０】
図9は本実施例１に係る監視システムの構成例を示す図である。映像監視装置200は映像解析サーバー901及び監視モニター902及び各機能部を実装したソフトウェアとして構成することができる。監視カメラ群903はネットワーク904を介して映像解析サーバー901と録画装置905に接続される。監視モニター902は動き特徴量の解析結果を表示する表示装置であり、ネットワーク906を介して映像解析サーバー901に接続される。仮想設置状態情報設定クライアント907は仮想視点を決定するための仮想設置状態情報設定908が可能なユーザインターフェース804であり、ネットワーク909を介して映像解析サーバー901に接続される。監視カメラ群903からの映像や、録画装置905からの映像はネットワーク904を通じて映像解析サーバー901に入力される。仮想設置状態設定クライアント907で設定された仮想設置状態情報は、ネットワーク909を通じて映像解析サーバー901に入力される。映像解析サーバー901では図2〜図5で説明した処理を実施し、変換後動き特徴量818を蓄積する。蓄積された変換後動き特徴量818はネットワーク906を通じて監視モニター902に入力され、解析処理を行った後、その結果を表示装置805に表示する。【００３１】
図9では、特徴量抽出処理を映像解析サーバー901内で実施しているが、監視カメラ群の各カメラ内で実施してもよい。また、特徴量解析処理を監視モニター902内で実施しているが、映像解析サーバー901内で実施し、結果を蓄積してもよい。また仮想設置状態情報設定908を仮想設置状態情報設定クライアント907内で実施しているが、映像解析サーバー901に入出力端末を直接接続して実施してもよい。【００３２】
図10は仮想設置状態情報設定クライアント907内での仮想設置状態情報設定GUIの例を示す図である。仮想設置状態情報設定GUIは1001の様な入力ウィンドウとして提供される。このGUIは仮想設置状態情報を入力可能な入力ボックス(1002、1003)を備える。図10の例では、高さ及び角度を設置可能な例を示す。また、入力された値を反映するための決定ボタン1004を備え、これを押すことで、本監視システムで用いる仮想設置状態が決定される。また、現在の仮想設置状態を図示したウィンドウ1005を備える。この例は一例であり、設定可能な仮想設置状態情報は適宜増減してもよいし、ウィンドウ1005の代わりに現在の状態をテキストで表示してもよいし、無くしてもよい。また決定ボタンの代わりに、一定タイミング毎に設定内容を自動送信する機能を有してもよい。また、仮想設置状態は、この例の様に自由に入力できる方式に限らず、幾つかの候補から選択して設定してもよいし、既に設置されているカメラから１つを選択し、そのカメラの設置状態を仮想設置状態としてもよい。【００３３】
以上を踏まえ、本実施例１に記載の監視システムは、複数のカメラからの映像を受信し、映像を構成する複数のフレームから動き特徴量を抽出する抽出部と、抽出部からの抽出結果を蓄積する記憶部と、抽出した動き特徴量を変換する変換部と、変換後の動き特徴量を解析する解析部と、を有し、変換部は、複数のカメラの座標軸とは異なる仮想座標軸を保持し、仮想座標軸系における仮想視点を計算することにより特徴量を変換することを特徴とする。【００３４】
かかる特徴により、設置条件の違う複数の監視カメラから抽出した動き情報を適切に比較することができる。
【実施例２】
【００３５】
図11は、本発明の実施例２に係る映像監視装置200の機能ブロック図である。実施例２は、実施例１において、解析処理が複数ある場合の例について説明する。その他の構成は実施例１と同様であるため、以下では差異点を中心に説明する。【００３６】
図2で示した監視装置に解析処理が複数ある場合の例を図11に示す。この図11では解析処理が２種類ある場合について説明する。仮想設置状態情報201には、各解析処理(1106、1108)にて必要な仮想設置状態を予め設定しておき、それぞれ仮想視点生成部Ａ1101と仮想視点生成部Ｂ1102に入力する。仮想視点生成部Ａ1101と仮想視点生成部Ｂ1103では与えられる仮想設置状態のみが違い、処理内容はどちらも実施例１において説明した仮想視点生成部203と同様の処理を行う。これらによって得られたそれぞれの仮想視点情報を用いて、変換方法Ａ決定部1102及び変換方法Ｂ決定部1104では、それぞれ特徴量変換部Ａ1105及び特徴量変換部Ｂ1107で用いる特徴量変換方法を決定する。変換方法Ａ決定部1102及び変換方法Ｂ決定部1104の処理内容については、実施例１において説明した変換方法決定部204と同様の処理を行う。特徴量変換部Ａ1105及び特徴量変換部Ｂ1107では、それぞれ決定した変換方法に従い、動き特徴量抽出部206で抽出した動き特徴量を変換する。特徴量解析部Ａ1106及び特徴量解析部Ｂ1108では、それぞれ変換された特徴量を用いて解析処理を行う。提示内容選択部1110には、制御信号1109が入力される。この制御信号1109は解析結果提示部209で提示したい解析結果を指定するための制御信号である。この制御信号に従い、特徴量解析部Ａと特徴量解析部Ｂの解析結果のうち、解析結果提示部209に入力する解析結果を選択する。【００３７】
例えば、対象を真上から見た視点で解析した結果と、真横から見た視点で解析した結果の両方が必要な場合には、特徴量変換部Ａ1105において真上から見た仮想視点を用いて特徴量を変換し特徴量解析部Ａ1106にて解析を行い、特徴量変換部Ｂ1107において真横から見た仮想視点を用いて特徴量を変換し特徴量解析部Ｂ1108にて解析を行ったのち、真上から見た視点での解析結果を見る際には制御信号1109に特徴量解析部Ａ1106の解析結果を出力する信号を与え、真横から見た視点での解析結果を見る際には制御信号1109に特徴量解析部Ｂ1108の解析結果を出力する信号を与えればよい。【００３８】
本実施例では解析処理が２種類である場合について説明したが、３種類以上解析処理がある場合についても同様の方法で実現できる。また１つの変換された特徴量を複数の解析処理で共用してもよい。【００３９】
係る特徴により、実施例1の効果に加え、より好適に解析結果を提示することができる。
【実施例３】
【００４０】
図12は、本発明の実施例形態３に係る監視装置800の構成例である。本実施例３では、録画装置1201内に演算処理部801と記録部802を構成した。その他の構成は実施例１と同様であるため、以下では差異点を中心に説明する。【００４１】
映像取得記録処理1202は入出力部803を通して監視カメラ806からの映像を取得する。次に、取得した映像を記録部802内に保存可能な形式に変換し、録画映像1203として保存する。動き特徴量抽出処理は、録画映像1203から抽出対象の映像を取得し、動き特徴量抽出処理を行う。【００４２】
本実施例ではユーザインターフェース804及び表示装置805は録画装置1201の外にある例を示したが、録画装置内に構成してもよい。
【実施例４】
【００４３】
図13は、本発明の実施例４に係る仮想視点生成部203の処理例である。本実施例４では、監視カメラ1305の監視対象領域が屋外の道路1301の様な特殊な環境における場合の仮想視点生成方法の一例を示す。その他の構成は実施例１と同様であるため、以下では差異点を中心に説明する。【００４４】
図13の様に、監視領域が道路1301である場合には、道路との関係を考慮した形式に特徴量を変換した方が、解析処理で取り扱いやすい場合がある。そこで、道路位置情報1303を地図データベース等から取得し、その道路情報1303を用いて仮想視点1304を構成する。道路位置情報1303から道路1301中の白線1302の位置を抽出し、白線1302が仮想視点の視線の中心となる様に仮想視点を決定する。仮想視点の決定では、まず、各監視カメラ1305の設置情報から、カメラの視線と地面の交点1306を求める。次に求めた交点1306に最も近い白線1302上の点1307を求める。この点1307が視線の中心になるカメラの設置位置のうち、高さが仮想設置状態301の地面からの高さ302に一致し、角度が仮想設置状態301の地面からの角度303と一致する位置を仮想視点1304とする。この仮想視点1304とカメラ1305の設置位置の差が、カメラ1305から仮想視点1304への並進移動量1308となる。ここでは白線1302の位置情報は道路位置情報1303から抽出したが、ハフ変換等を用いた画像処理により、監視映像から自動的に抽出してもよい。【００４５】
以上の様に、全てのカメラに対する仮想視点を設定することで、実施例1の効果に加え、全てのカメラから得られる特徴量が道路と関連付けられた形に変換されるため、解析処理で特徴量を扱いやすくなる。【００４６】
本発明は上記した実施例の形態に限定されるものではなく、様々な変形例が含まれる。上記実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることもできる。また、ある実施例の構成に他の実施例の構成を加えることもできる。また、各実施例の構成の一部について、他の構成を追加・削除・置換することもできる。【００４７】
上記各構成、機能、処理部、処理手段等は、それらの一部や全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等の記録装置、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。
【符号の説明】
【００４８】
101：監視対象、
102：監視カメラ、
104：動き特徴量、
106：仮想設置状態、
107：仮想視点、
109：変換後の動き特徴量、
111：データベース、
200:映像監視装置、
201：仮想設置状態情報、
202：監視カメラ設置情報、
203：仮想視点生成部、
204：変換方法決定部、
205：監視カメラからの映像、
206：動き特徴量抽出部、
207：特徴量変換部、
208：特徴量解析部、
209：解析結果提示部、
210：仮想視点情報、
211：変換方法、
801：演算処理装置、
802：記録装置、
803：入出力装置、
804：ユーザインターフェース、
805：表示装置、
806：監視カメラ、
807：録画装置、
901：映像解析サーバー、
902：監視モニター、
904、906、909：ネットワーク、
907：仮想設置状態情報設定クライアント、
1001：仮想設置状態入力ウィンドウ。
【図１】
2014199505.tif 000003
【図２】
2014199505.tif 000004
【図３】
2014199505.tif 000005
【図４】
2014199505.tif 000006
【図５】
2014199505.tif 000007
【図６】
2014199505.tif 000008
【図７】
2014199505.tif 000009
【図８】
2014199505.tif 000010
【図９】
2014199505.tif 000011
【図１０】
2014199505.tif 000012
【図１１】
2014199505.tif 000013
【図１２】
2014199505.tif 000014
【図１３】
2014199505.tif 000015
【手続補正書】
【提出日】平成27年11月16日(2015.11.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のカメラからの映像を受信し、前記映像を構成する複数のフレームから動き特徴量を抽出する抽出部と、
前記抽出部からの抽出結果を蓄積する記憶部と、
抽出した前記動き特徴量を変換する変換部と、
変換後の前記動き特徴量を解析する解析部と、を有し、
前記変換部は、複数のカメラの座標軸とは異なる仮想座標軸を保持し、仮想座標軸系における仮想視点を計算することにより特徴量を変換することを特徴とする映像監視システム。
【請求項２】
請求項１に記載の映像監視システムであって、
前記変換部は、
前記カメラの設置情報から、それぞれの前記カメラの視線軸と地面との交点の位置を算出し、前記交点が視線の中心となる前記カメラの位置のうち仮想的な前記カメラの設置状態と実際の前記カメラ設置状態とが一致する位置を前記仮想視点として生成する
ことを特徴とする映像監視システム。
【請求項３】
請求項１に記載の映像監視システムであって、
前記変換部は、
前記抽出部が抽出した前記動き特徴量の実空間上の３次元位置を推定する３次元位置推定部と、
前記仮想視点を用いて前記動き特徴量の変換に用いる変換方法を決定する変換方法決定部と、
推定された前記３次元位置と、決定された変換方法を用いて、前記動き特徴量の座標変換を行う座標変換部と、をさらに有する
ことを特徴とする映像監視システム。
【請求項４】
請求項３に記載の映像監視システムであって、
複数の前記変換部と、
前記解析部からの解析結果を提示する提示部と、をさらに備え
前記提示部で提示する解析結果を、制御信号によって切り替える
ことを特徴とする映像監視システム。
【請求項５】
請求項２に記載の映像監視システムであって、
入力された道路情報から白線の位置を抽出し、前記交点と最も近い白線上の点を算出し、前記白線上の点が視線の中心となるカメラの位置のうち仮想的な設置状態と実際の前記カメラの設置状態とが一致する位置を仮想視点として生成する
ことを特徴とする映像監視システム。
【請求項６】
請求項１記載の映像監視システムであって、
前記変換部で用いる前記仮想視点を設定するユーザインターフェースと、をさらに有する
ことを特徴とする映像監視システム。
【請求項７】
複数のカメラからの映像を受信し、前記映像を構成する複数のフレームから動き特徴量を抽出する抽出ステップと、
前記抽出ステップからの抽出結果を蓄積する記憶ステップと、
抽出した前記動き特徴量を変換する変換ステップと、
変換後の前記動き特徴量を解析する解析ステップと、を有し、
前記変換ステップは、複数のカメラの座標軸とは異なる仮想座標軸を保持し、仮想座標軸系における仮想視点を計算することにより特徴量を変換することを特徴とする映像監視方法。
【請求項８】
請求項７に記載の映像監視方法であって、
前記変換ステップは、
前記カメラの設置情報から、それぞれの前記カメラの視線軸と地面との交点の位置を算出し、前記交点が視線の中心となる前記カメラの位置のうち仮想的な前記カメラの設置状態と実際の前記カメラ設置状態とが一致する位置を前記仮想視点として生成する
ことを特徴とする映像監視方法。
【請求項９】
請求項７に記載の映像監視方法であって、
前記変換ステップは、
前記抽出ステップが抽出した前記動き特徴量の実空間上の３次元位置を推定する３次元位置推定ステップと、
前記仮想視点を用いて前記動き特徴量の変換に用いる変換方法を決定する変換方法決定ステップと、
推定された前記３次元位置と、決定された変換方法を用いて、前記動き特徴量の座標変換を行う座標変換ステップと、をさらに有する
ことを特徴とする映像監視方法。
【請求項１０】
請求項９に記載の映像監視方法であって、
複数の前記変換ステップと、
前記解析部からの解析結果を提示する提示ステップと、をさらに備え
前記提示ステップで提示する解析結果を、制御信号によって切り替える
ことを特徴とする映像監視方法。
【請求項１１】
コンピュータに以下のステップを実現させるためのプログラムを記録したコンピュータ読み取り可能な情報記録媒体であって、
複数のカメラからの映像を受信し、前記映像を構成する複数のフレームから動き特徴量を抽出する抽出ステップと、
前記抽出ステップからの抽出結果を蓄積する記憶ステップと、
抽出した前記動き特徴量を変換する変換ステップと、
変換後の前記動き特徴量を解析する解析ステップと、を有し、
前記変換ステップは、複数のカメラの座標軸とは異なる仮想座標軸を保持し、仮想座標軸系における仮想視点を計算することにより特徴量を変換すること
を特徴とするプログラムが記録されている情報記録媒体。
【請求項１２】
請求項１１に記載の情報記録媒体であって、
前記変換ステップは、
前記カメラの設置情報から、それぞれの前記カメラの視線軸と地面との交点の位置を算出し、前記交点が視線の中心となる前記カメラの位置のうち仮想的な前記カメラの設置状態と実際の前記カメラ設置状態とが一致する位置を前記仮想視点として生成する
ことを特徴とするプログラムが記録されている情報記録媒体。
【請求項１３】
請求項１１に記載の情報記録媒体であって、
前記変換ステップは、
前記抽出ステップが抽出した前記動き特徴量の実空間上の３次元位置を推定する３次元位置推定ステップと、
前記仮想視点を用いて前記動き特徴量の変換に用いる変換方法を決定する変換方法決定ステップと、
推定された前記３次元位置と、決定された変換方法を用いて、前記動き特徴量の座標変換を行う座標変換ステップと、をさらに有する
ことを特徴とするプログラムが記録された情報記録媒体。
【国際調査報告】
2014199505.tif 000016
2014199505.tif 000017