(57)【特許請求の範囲】
【請求項１】
移動物体を撮影して動画像を生成する映像入力手段と、前記動画像中の一つの静止画像から前記移動物体の異常行動の原因となった異常発生場所を推定する異常検出手段と、推定した前記異常発生場所を表示する出力手段を備えることを特徴とする異常行動検出装置。
【請求項２】
移動物体を撮影して動画像を生成する映像入力手段と、前記動画像中の少なくとも一つの静止画像から前記移動物体の異常行動の原因となった異常発生場所を推定する異常検出手段と、推定した前記異常発生場所を表示する出力手段を備えることを特徴とする異常行動検出装置。
【請求項３】
請求項1または2記載の異常行動検出装置いずれかにおいて、前記異常検出手段は、前記静止画像から移動物体の位置と進行方向を求める位置・進行方向算出手段と、前記位置と前記進行方向から移動物体の異常行動の原因となる異常の発生場所を推定する異常発生場所推定手段を備えることを特徴とする異常行動検出装置。
【請求項４】
請求項３記載の異常行動検出装置において、前記異常発生場所推定手段は、移動物体の行動は、移動物体の行動を決定する判断の手続きである行動アルゴリズムと、判断の基準となるパラメタである制御パラメタ、に支配されると仮定して、前記位置と前記進行方向から前記制御パラメタを推定し、推定した前記制御パラメタを基にして異常行動の原因となった物体を推定することを特徴とする異常行動検出装置。
【請求項５】
請求項４記載の異常行動検出装置において、前記行動アルゴリズムは、複数の前記行動アルゴリズムの集合であって、監視対象の特性に応じて適切な前記行動アルゴリズムを選択することを特徴とする異常行動検出装置。
【請求項６】
請求項４または５記載の異常行動検出装置いずれかにおいて、前記制御パラメタの算出は、移動物体の前記進行方向と、前記行動アルゴリズムで決定する仮想的な進行方向の差が少なくなるように前記制御パラメタを推定することを特徴とする異常行動検出装置。
【請求項７】
請求項４、５、６記載の異常行動検出装置いずれかにおいて、前記異常発生場所推定手段は、前記制御パラメタの絶対値が、所定の値よりも大きい場合に異常と判定することを特徴とする異常行動検出装置。
【請求項８】
請求項４、５、６、７記載の異常行動検出装置いずれかにおいて、前記異常発生場所推定手段は、算出した前記制御パラメタを平滑化処理することを特徴とする異常行動検出装置。
【請求項９】
請求項８記載の異常行動検出装置において、前記平滑化処理は、現在の前記制御パラメタと過去の前記制御パラメタとの平均をとることで平滑化処理することを特徴とする異常行動検出装置。
【請求項１０】
請求項３記載の異常行動検出装置において、前記位置・進行方向算出手段は、前記静止画像から移動物体の静止画像を抽出する移動物体抽出部と、前記移動物体の静止画像から、移動物体の代表点を算出する代表点算出部と、前記移動物体の代表点を計測空間での３次元位置に変換する位置算出部と、前記移動物体の静止画像から、移動物体の進行方向を算出する進行方法算出部を備えることを特徴とする異常行動検出装置。
【請求項１１】
請求項１０記載の異常行動検出装置において、前記位置算出部は、前記静止画像上の点と計測空間の任意の平面上の点とを対応付けるキャリブレーションデータを基にして、前記静止画像上の移動物体の座標値から前記移動物体の計測空間での座標値を算出して移動物体の位置とすることを特徴とする異常行動検出装置。
【請求項１２】
請求項１０記載の異常行動検出装置において、前記進行方向算出部は、前記移動物体抽出部によってえられら前記移動物体の静止画像と、移動物体の三次元形状データとを照合することで、その進行方向を推定することを特徴とする異常行動検出装置。
【請求項１３】
請求項１０記載の異常行動検出装置において、前記進行方向算出部は、前記位置算出部により算出された現在の位置と過去の位置から現在の進行方向を算出することを特徴とする異常行動検出装置。
【請求項１４】
請求項１０記載の異常行動検出装置において、請求項１１記載の前記位置算出部と、請求項１２記載の前記進行方向算出部を備えることを特徴とする異常行動検出装置。
【請求項１５】
請求項１０記載の異常行動検出装置において、請求項１１記載の前記位置算出部と、請求項１３記載の前記進行方向算出部を備えることを特徴とする異常行動検出装置。
【請求項１６】
請求項４記載の異常行動検出装置において、さらに前記制御パラメタと検索したい事項を対応付ける検索用データベースを検索する手段を備えることを特徴とする異常行動検出装置。
【請求項１７】
請求項１、２、３記載の異常行動検出装置いずれかにおいて、前記出力手段は、前記映像入力手段で撮影した実写映像の上に、前記異常検出手段が検出した異常発生場所を表す図形を重ねて表示すること特徴とする異常行動検出装置。
【請求項１８】
請求項１、２、３、４記載の異常行動検出装置いずれかにおいて、前記出力手段は、監視領域を表現する三次元コンピュータ・グラフィックス映像の上に、前記異常検出手段が検出した異常発生場所を表す図形を重ねて表示することを特徴とする異常行動検出装置。
【請求項１９】
請求項４記載の異常行動検出装置において、前記出力手段は、前記移動物体の近傍に前記制御パラメタを表示することを特徴とする異常行動検出装置。
【請求項２０】
請求項１９記載の異常行動検出装置において、前記制御パラメタの表示は、前記制御パラメタの値を数値として表示することを特徴とする異常行動検出装置。
【請求項２１】
請求項１９記載の異常行動検出装置において、前記制御パラメタの表示は、前記制御パラメタの値をグラフとして表示することを特徴とする異常行動検出装置。
【請求項２２】
請求項１９記載の異常行動検出装置において、前記制御パラメタの表示は、前記制御パラメタの値に応じて三次元コンピュータ・グラフィックス映像で表示された前記移動物体の大きさを変更して表示することを特徴とする異常行動検出装置。
【請求項２３】
請求項１９記載の異常行動検出装置において、前記制御パラメタの表示は、前記制御パラメタの値に応じて三次元コンピュータ・グラフィックス映像で表示された前記移動物体の明るさを変更して表示することを特徴とする異常行動検出装置。
【請求項２４】
請求項１９記載の異常行動検出装置において、前記制御パラメタの表示は、前記制御パラメタの値に応じて三次元コンピュータ・グラフィックス映像で表示された前記移動物体の透明度を変更して表示することを特徴とする異常行動検出装置。
【請求項２５】
請求項１、２、３、４記載の異常行動検出装置いずれかにおいて、前記出力手段は、前記異常検出手段が異常発生場所を検出したときに、前記異常発生場所を拡大表示すること特徴とする異常行動検出装置。
【請求項２６】
請求項１、２、３、４記載の異常行動検出装置いずれかにおいて、前記出力手段は、前記異常検出手段が異常発生場所を検出したときに、前記出力手段が設置している場所から前記異常発生場所への道のりを表示すること特徴とする異常行動検出装置。
【請求項２７】
請求項４または５記載の異常行動検出装置いずれかにおいて、前記制御パラメタの算出は、特定の静止物体を静止している仮想の移動物体として処理することを特徴とする異常行動検出装置。
【請求項２８】
請求項２７記載の異常行動検出装置において、前記仮想の移動物体を、監視領域にメッシュ上に配置することを特徴とする異常行動検出装置。
【請求項２９】
請求項１から請求項２８までのいずれかを利用した異常行動検出方法。
【請求項３０】
請求項１から請求項２８までのいずれかを実現するプログラムを含む異常行動検出システム。
【請求項３１】
請求項１から請求項２８までのいずれかを実現するプログラムを記憶した記憶媒体。
【発明の詳細な説明】
技術分野
本発明は、人間や自動車など複数の移動物体を監視して、異常行動を検出する装置に関する。
背景技術
人物の行動が異常かどうか判定する方法は、特開平７−１３４７６７に記載されているようにビデオカメラを使って得た人物の軌跡情報を基に判定する技術が知られている。ここでは、正常な人物の軌跡は、速度や加速度の変化が少ないと仮定し、変化が多い場合には異常と判定している。
しかしながら、上記の方法は、人物の行動自体が異常かどうか判定するものであり、異常行動の原因やその場所を推定することはできない。例えば、ある場所に発生した異臭が原因で、周りの人物が異常行動をとっている場合には、人物の異常行動を判定できても、その原因となった異臭の発生場所を推定することができない。
このような問題を解決するために、特開平６−２７４７８６では、道路を通行する自動車の異常行動を引き起こした異常の発生場所を推定する技術を示している。例えば、道路に落石が発生した場合に、回避行動をとる自動車の動きから、落石という異常の発生場所を推定することを可能にする。この技術では、自動車の流量をビデオカメラ使って計測して、流量が少ない場所、または流量が大きく変化する場所に自動車の異常行動を引き起こした原因があると推定している。
上記従来技術では、道路を通行する自動車の軌跡を一定時間積分して得られた頻度分布を基にして、異常個所を推定している。そのため、移動物体の瞬間的な情報から異常個所を推定できないという問題があった。
本発明の目的は、移動物体の瞬間的な情報を基にして、異常物体の異常行動の原因となった場所を自動的に推定する監視装置を提供することにある。
発明の開示
本発明では、移動物体の瞬間的な位置と進行方向に基づいて異常発生場所を推定する。このために、移動物体の位置と進行方向を求める手段と、求めた移動物体の位置と進行方向から、移動物体の異常の原因となる異常の発生場所を求める手段と、求めた異常発生場所を表示する手段を備えている。
発明を実施するための最良の形態
発明の実施の形態について、図を用いて詳細に説明する。
図１は、本発明における異常行動検出装置全体の機能構成を示すものである。監視領域１００は、本装置で監視する実世界の領域である。本領域中の移動物体１０１〜１０３が監視の対象となる。映像入力手段１０４は、ビデオカメラなどの撮影装置であり、監視領域１００を撮影する。位置・進行方向算出手段１０５は、映像入力手段１０４が撮影した映像から、移動物体毎に位置と進行方向を算出する。異常発生場所推定手段１０６は、位置・進行方向算出手段１０５が算出した位置と進行方向の情報を使って、監視領域１００中に、異常が発生しているかどうか判定する。そして、異常が発生している場合には、その場所を推定する。出力手段１０７は、ディスプレイなどの表示装置であり、異常発生場所推定手段１０６が推定した異常の発生した場所を表示して、本装置の利用者に対して注意を促す。
第２図は、本発明における異常行動検出装置のハードウェア構成の一例を示すものである。本発明の異常行動検出装置は、一式の計算機２００上に実現される。計算機２００は、中央演算装置（ＣＰＵ）２０１と、主記憶装置２０２と、外部記憶装置２０３と、入力装置２０４と、出力装置２０５と、撮影装置２０６と、バス２０７から構成される。中央演算装置２０１は、計算機２００全体を制御する装置である。ここでは、主記憶装置２０２に記憶された位置・進行方向算出手段１０５（第１図）、異常発生場所推定手段１０６などの機能を実現するプログラムに従い、本発明の異常行動検出装置の機能を提供する。
主記憶装置２０２は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などデータのアクセスが高速な記憶装置であり、中央演算装置２０１用の制御プログラムやデータを一時的に格納することができる。ここには、外部記憶装置２０３から、位置・進行方向算出手段１０５、異常発生場所推定手段１０６などの機能を実現するプログラム類を読込み保存する。必要に応じて、これらのプログラムの実行に必要なデータ類も、外部記憶装置２０３から読込み保存することも可能である。外部記憶装置２０３は、磁気ディスクなど主記憶装置２０２に比べてデータアクセスが低速であるが大容量の記憶容量を持つものであり、中央演算装置２０１用の制御プログラムやデータを半永続的に格納する装置である。
ここには、位置・進行方向算出手段１０５、異常発生場所推定手段１０６などの機能を実現するプログラム類と、これらのプログラムの実行に必要なデータ類を保存する。入力装置２０４は、キーボード、マウスなど本装置の利用者の装置への操作を受け付ける装置である。出力装置２０５は、ＣＲＴ（陰極線管）ディスプレイ、液晶ディスプレイなど分析結果を映像で表示する装置、またはスピーカなど分析結果を警告音のような音声で知らせる装置であり、出力手段１０７を実現する。撮影装置２０６は、ビデオカメラなど映像を撮影する装置であり、映像入力手段１０４を実現する。撮影した映像は、デジタル化して、主記憶装置２０２、または外部記憶装置２０３にデータ格納することが可能である。そして、これらの装置は、データを高速にやり取りするバス２０７で接続されている。
次に、第３図のブロック図を用いて、位置・進行方向出手段１０５の内部構成の一例を説明する。位置・進行方向出手段１０５は、映像入力手段１０４によって得られた特定の時刻における静止画像、すなわち入力画像３００に基づいて、移動物体の位置データ３０１、および進行方向データ３０２を算出し保存する。
まず、移動物体抽出部３０３では、入力画像３００から監視対象となる移動物体だけを抽出する。このために、監視領域の静止物体だけからなる背景画像３０４をあらかじめ作成しておき、これと入力画像３００との差分を取ることで移動物体を抽出する。
次に、代表点算出部３０５は、後述する位置算出部３０６において実空間での座標位置に変換すべき代表点を移動物体毎に決定する。一般に、入力画像３００から抽出された移動物体は、面積を持った複数の閉領域の集合となるので、例えば閉領域の重心位置を代表点と考えて算出すればよい。位置算出部３０６は、代表点算出部３０５が算出した移動物体の代表点の画像座標を実空間での座標に変換する。ここで、移動物体の動きが、地面等の平面に拘束されると仮定できる場合には、画像座標から実空間の座標への変換には、キャリブレーションデータ３０７を利用できる。キャリブレーションデータ３０７とは、実空間のある特定の平面上の点と入力画像３００上の点を対応付ける行列である。この位置算出部３０６によって算出される実空間の座標が、位置データ３０１として位置・進行方向手段１０５の出力となる。
一方、モデルマッチング部３０８では、移動物体の進行方向を決定する。進行方向を決定するために、「三次元画像計測」（昭晃堂）第１４２ページから第１４７ページに記載されているモデルマッチングと呼ばれる手法を利用すればよい。これは、移動物体の形状データ３０９が既知であると仮定して、この形状データ３０９をどのように配置すれば、入力となった入力画像３００中の移動物体の画像と同じように見えるかを推定する手法である。この手法では、移動物体の三次元の形状データ３０９が既知ある必要がある。モデルマッチング部よって算出される移動物体の姿勢から、進行方向データ３０２が決定され、位置・進行方向手段１０５の出力となる。
次に第４図のブロック図を用いて、異常発生場所推定手段１０６の内部構成の一例を説明する。異常発生場所推定手段１０６は、位置・進行方向算出手段１０５が算出した移動物体の情報、すなわち位置データ３０１と進行方向データ３０２を使って、監視領域１００中に異常が発生しているかどうか判定して、異常が発生していると判定した場合には、その場所を異常発生場所データ４０４に保存する働きを持つ。
まず、行動シミュレーション部４０５は、位置データ３０１から行動シミュレーションによって、移動物体の進むべき方向を算出する。行動シミュレーションとは、人間など移動物体の自律的な行動を計算機で模擬する方法の一つである。ここでは、移動物体の行動は、意思決定アルゴリズムと制御パラメタからなる行動モデル４０１と呼ぶデータに支配されると仮定している。この行動モデル４０１を用いることで、位置データ３０１から移動物体の進行方向を算出できるようになる。ここで、この制御パラメタは移動物体の行動を制御するデータであり、その行動の特徴を表すと考えることができる。したがって、この制御パラメタを特徴量と呼ぶことにする。なお、行動モデル４０１の具体例については後述する。
次に、特徴量算出部４００は、観測によって求まった進行方向データと、行動シミュレーション部４０５によって求まった進行方向を比較して、その差が最小となるように、行動モデル４０１の制御パラメタ、すなわち特徴量を推定して、結果を特徴量データ４０２として保存する。
最後に、異常判定部４０３は、特徴量算出部４００で得られた特徴量データ４０２を解析して、どの移動物体が他の物体の異常を引き起こしているか判定する。異常を引き起こしていると判定した場合には、その移動物体の実空間での三次元位置を異常発生場所データ４０４に保存する。
次に、第１７図を使って、出力手段１０７（第１図）の表示例を説明する。第１７図は、実写映像に異常発生場所を合成表示する場合の例である。表示１７００では、映像入力手段１０４で撮影した実写映像の上に異常発生場所を表す図形１７０４を重ねて表示している。ここでは、ごみ箱１７０２が異常の発生場所と推定された場合の例を示しているため、図形１７０４はその近傍に表示している。このような表示方法により、異常発生個所が実写映像のどの物体に対応するのか、監視員に即座に判定できる。
次に、第５図を用いて、行動モデル４０１の具体例を説明する。第５（ａ）図は、行動モデル４０１の機能構成を示す図である。行動モデル４０１は、意思決定アルゴリズム５５６とその制御パラメタ５５４から構成される。意思決定アルゴリズム５５６は、移動物体の行動を決定するためのプログラムであり、移動物体の位置データ３０１から移動物体の進むべき仮想的な進行方向方向５５２を算出する。制御パラメタ５５４は、意思決定アルゴリズム５５６のパラメタであり、意思決定アルゴリズム５５６の算出結果を制御することができる。なお、行動モデル自体は、本発明の応用分野に応じて、適するものを選択すればよい。
次に、行動モデルの一例として、「群衆行動のモデリング−仮想都市空間における人の群れと環境とのインタラクション−」（電気学会論文誌Ｃ，平成７年２月号）第２１２ページから第２２１ページに記載されているモデルを説明する。ここでは、人間は心理的な刺激を受けて行動していると仮定して、その刺激が行動に与える影響をモデル化している。例えば、街角である人を発見したとき、あたかも物理的な力が加わったように、その人に近づいていったり、遠ざかったりする。このような行動を、魅力度と呼ぶ人間と人間の間に発生する仮想的な力を用いてモデル化し、この魅力度から人間の進行方向を決定することで、人間の行動をシミュレーションしている。
次に、このモデルによる行動シミュレーションの具体例を、第５（ｂ）図を使って説明する。ここでは、人物１（５０１），人物２（５０２），人物３（５０３）の３人からなる集団の中で、人物１（５０１）が他の人物から心理的な刺激を受けて、進行方向を決定する様子を示している。人物１（５０１）が他の人物から受ける仮想的な力、すなわち魅力度Ａ１２（５１２）と魅力度Ａ１３（５１３）とのベクトル合成で求まる魅力度Ａ１を受けており、人物１（５０１）はその方向を進行方向としている。魅力度Ａ１２（５１２）は、好き嫌いといった心理的な要因により、人物１（５０１）が人物２（５０２）から受ける仮想的な引力または斥力である。同様に、魅力度Ａ１３（５１３）は、人物１（５０１）が人物３（５０３）から受ける仮想的な引力または斥力である。このモデルを数式で表すと次のようになる。
0004118674.tif 000002
ここで、Ｌｉｊは人物ｉの人物ｊへの好みの度合いである。例えば、両者が知り合いの場合は好みの度合いを大きく、両者が見知らぬ関係の場合は好みの度合いを小さくすることで、人間関係に応じた魅力度の変化を表現できる。Ｓｉｊは人物ｉが人物ｊを観測するときの感度である。例えば、人物ｉと人物ｊの距離が大きい場合には感度を小さく、逆に距離が小さい場合には感度を大きくすることで、物理的な位置関係に応じた魅力度の変化を表現できる。Ｎｊは人物ｊの性質量を表す値であり、観測者の好みに対応する被観測者の個性を表す。例えば、複数の人物を観測する場合に、観測者の好みの度合いがすべての人物に対して同じであっても、被観測者の個性に応じて異なる魅力度が発生する。そして、ｅｉｊは人物ｉから人物ｊへの単位方向ベクトルであり、魅力度の発生する方向を定める。これらの人物の行動を制御するパラメタ、すなわち制御パラメタの中で、スカラ量である性質量Ｎｊは、人物ｊが他の人物に与える影響の大きさに対応し、その行動を特徴付けるものとなるので、ここでは特徴量と考える。特徴量が大きいほど、他の人物の行動への影響度が大きくなる。逆に、特徴量が小さい場合には、他の人物の行動への影響度が小さくなる。ここでは、魅力度Ａｉは特徴量Ｎ（Ｎ１，．．．，Ｎｎ）の関数であることを強調するため、次式のように表現する。
0004118674.tif 000003
次に、このモデルを計算機を用いて実装するときのデータ構造について述べる。ここでは簡単のため、人物１（５０１）に対するテーブル５２０のみを示している。他の人物についても同様のテーブルを保持すればよい。このように人物ごとに保持したテーブルのデータを用いて（数２）を計算して、魅力度を求める。なお、テーブル５２０では、データとして、人物の位置ｐ１、性質Ｎ１、好みの度合いＬ１２，Ｌ１３を格納している。テーブルに保持していない感度Ｓ１２，Ｓ１３については、人物間の距離の関数を利用すればよい。例えば、次式のような距離に反比例して減少する関数が利用できる。この式によって、人物間の距離が小さい場合には感度が高く、逆に距離が大きい場合には感度が低くなる様子を表現できる。
0004118674.tif 000004
なお、このモデルを採用する場合は、第５（ａ）図の意思決定アルゴリズムには（数２）が対応し、制御パラメタ５５４には特徴量Ｎ（Ｎ１，．．．，Ｎｎ）が対応する。
次に、第２４図を用いて、魅力度の算出処理の流れをフローチャートを使って説明する。ここでは、すべての人物ｉに対して、各々が受ける魅力度Ａｉを算出する例を示している。ステップ２４００では、ステップ２４０２〜ステップ２４１０の処理を繰り返して、すべての人物ｉに対する魅力度Ａｉを算出することを表す。ステップ２４０２では、今から算出する人物ｉに対する魅力度Ａｉをゼロクリアする。ステップ２４０４では、ステップ２４０６〜ステップ２４１０をすべての人物ｊに対して繰り返して、人物ｉが人物ｊから受ける魅力度を算出し、結果を合成することで最終的な魅力度Ａｉを算出する。ステップ２４０６では、人物ｉと人物ｊが同一どうかチェックして、異なる場合についてのみ、ステップ２４０８〜ステップ２４１０の処理を実行する。自分自身から魅力度を受けないと仮定しているため、この処理が必要となる。ステップ２４０８では、人物ｉが人物ｊから受ける魅力度の方向を決定するために、人物ｉの位置ｐｉから人物ｊの位置ｐｊへの単位方向ベクトルｅｉｊを算出する。そして、ステップ２４１０では、人物ｉが人物ｊから受ける魅力度を算出し、結果を魅力度Ａｉに加算する。以上の処理によって、すべての人物に対する魅力度が算出できる。
次に、第６図を用いて、特徴量データ４０２を具体的に説明する。第６図は、特定の移動物体に対する特徴量データ４０２の例を表している。特徴量データ４０２は、前述のように行動モデルのパラメタの中で特に行動を特徴付けるスカラ量であり、特徴量算出部４００により算出される。特徴量算出部４００は、映像入力手段１０４から入力される時系列の映像フレーム毎に特徴量データ４０２を算出するので、特徴量データ４０２も時系列のデータとなる。第６図では、ある人物の特徴量データが、ｎ１（６０１）からｎ７（６０７）へと、フレームに応じて値を変化させていることを示している。
第７図では、第１図に示した本発明による異常行動検出装置の処理全体の流れをフローチャートで説明する。ステップ７００は、ステップ７０２からステップ７０８の処理を、入力映像のすべてのフレームに対して繰り返す。ステップ７０２では、映像入力手段１０５によって監視領域１００を撮影する。ステップ７０４では、位置・進行方向算出手段１０５により、この映像の中に存在する移動物体の位置と進行方向を算出する。ステップ７０６では、得られた位置と進行方向を用いて、異常発生場所推定手段１０６は、異常が発生しているかどうか判定して、異常が発生している場合には、その場所を推定する。ステップ７０８では、出力手段１０７によって、ステップ７０６の出力の結果から異常が発生しているかどうか判定する。異常が発生している場合には、ステップ７０８で、異常が発生している旨と、異常発生場所を出力して、本発明の異常行動検出装置の利用者に注意を促す。
第８図では、第３図に示した位置・進行方向算出手段１０５の内部処理の流れをフローチャートで説明する。ステップ８００では、移動物体抽出部３０３を使って、入力画像３００の中から監視対象となる移動物体を抽出する。ステップ８０２では、ステップ８０４からステップ８０８の処理を、ステップ８００で抽出したすべての移動物体について繰り返す。ステップ８０４では、代表点算出部３０５（第１図）によって、抽出された移動物体の代表点を移動物体毎に決定する。ステップ８０６では、位置算出部３０６によって、ステップ８０４で求まった移動物体の代表点の画像座標を実空間での座標に変換して、結果を位置データ３０１として保存する。ステップ８０８では、モデルマッチング部３０８によって、ステップ８００で抽出したすべての移動物体について進行方向を決定して、結果を進行方向データ３０２として保存する。
第９図では、第４図に示した異常発生場所推定手段１０６の内部処理の流れをフローチャートで説明する。ステップ９００では、行動シミュレーション部４０５と特徴量算出部４００を使って、位置データ３０１と進行方向データ３０２をから移動物体ｉ（ｉ＝１，ｎ｜ｎは移動物体の数）に対する特徴量Ｎｉを算出して、結果を特徴量データ４０２として保存する。具体的な、特徴量Ｎｉの算出方法は後述する。ステップ９０２からステップ９０４は、異常判定部４０３による、異常の判定処理である。ステップ９０２では、ステップ９００で得られた特徴量Ｎｉの中に、値の絶対値が、あらかじめ定めた所定のしきい値Ｎｔｈより大きいものが存在するか調べる。前述した魅力度を用いた行動モデルを採用する場合には、特徴量Ｎｉは、移動物体ｉが他の移動物体に与える影響度を表す。従って、特徴量の絶対値がある値より大きい場合は、他の移動物体に対して強い影響度を与えており、他の移動物体への異常行動の原因となっていると仮定している。なお、ステップ９０２で異常行動の原因であると判定される移動物体は、一つだけでなく、複数であっても構わない。ステップ９０２で、移動物体Ｎｉが他の移動物体の異常行動を引き起こしていると判定した場合には、その移動物体Ｎｉの位置を異常発生場所データ４０４として保存する。
次に、第１０図を用いて特徴量算出部４００による特徴量の算出方法の一例を説明する。基本的には、観測された実際の進行方向と、行動シミュレーションによって得られた進行方向ができるだけ一致するするように、行動シミュレーションのパラメタを推定する。つまり、移動物体の進行方向を表す観測値である進行方向データ３０２と、行動モデル４０１から行動シミュレーション部４０５が決定する仮想的な進行方向の差ができるだけ小さくなるように特徴量データ４０２を推定する。ここでは、この問題を非線型計画問題として解くことを考える。すなわち、移動物体ｉ（１００１）に対して、進行方向データ３０２によって表される実際の進行方向ｄｉ（１００２）と、行動シミュレーション部４０５が決定する仮想的な進行方向Ａｉ（１００３）の角度差をθｉ（１００４）とした場合に、次式を考える。
0004118674.tif 000005
この式は、ｄｉ（１００２）とＡｉ（１００３）の角度差が少ないほど小さい値をとり、特に、角度差がまったくない場合に最小値０をとる。つまり、（数４）を最小化する特徴量Ｎを求めることは、ｄｉ（１００２）とＡｉ（１００３）の角度差ができるだけ小さくなるような特徴量Ｎを求めることと同じである。従って、ここでは、（数４）を最小化する特徴量Ｎを求めることにする。また、ｆ（Ｎ）を目的関数と呼ぶことにする。次に、このモデルを計算機を用いて実装するときのデータ構造について述べる。ここでは簡単のため、移動物体１に対するテーブル１０１０のみを示している。他の人物についても同様のテーブルを保持すればよい。このように人物ごとに保持したテーブルのデータを用いて、（数４）を最小化する特徴量を求める。なお、テーブル１０１０では、データとして、移動物体１の位置ｐ１、進行方向ｄ１、好みの度合いＬ１２，Ｌ１３を格納している。魅力度の算出に必要となる感度Ｓ１２，Ｓ１３については、人物間の距離の関数を利用すればよい。例えば、（数３）の関数が利用できる。
（数４）を最小化する特徴量を求めるには、一般的に知られている非線型計画問題の解法を利用すればよい。例えば、「非線型計画法」（日科技連出版社）第１４０ページから第１４６ページに記載されている最急降下法が利用できる。この、最急降下法を第１１図のフローチャートを用いて説明する。ここでは、目的関数ｆ（Ｎ）を最小化する解Ｎを求める手順を示している。ステップ１１００では、解の初期値Ｎ０を解空間Ｒｎの中から適当に選ぶとともに、演算の繰り返し回数ｋを０にクリアする。
ステップ１１０１では、ステップ１１０２からステップ１１０４までの処理を、∇ｆ（Ｎｋ）の値が、微小な値εよりも大きい間だけ繰り返し、解が十分収束したら演算を終了することを示している。ステップ１１０２では、解の探索に用いる方向ベクトルｄｋを求める。ここで、∇はナブラの記号であり、ある関数の勾配を計算する演算記号である。ステップ１１０３では、ステップ１１０１で求めた方向ベクトルｄｋを用いて解を更新する。ここで、Ｍｃ（Ｎｋ，ｄｋ）はＣｕｒｒｙの規則に従ってαｋを決定することを表している。
Ｃｕｒｒｙの規則とは、解の探索効率を上げるためのパラメタαｋの決定手法の一つである。ステップ１１０４では、演算の繰り返し回数ｋの値を１だけ増やす。以上の処理を繰り返すことで、目的関数ｆ（Ｎ）を最小化する解Ｎを求めることが可能になる。
次に、第２３図を用いて、算出した特徴量の平滑化について説明する。前述の算出方法で算出される特徴量には、計測誤差などさまざまな誤差が原因で、グラフ２３００のように雑音が含まれることがある。この雑音が原因で、本来異常と判定すべきなのに正常であると誤った判定をする場合がある。このように雑音が無視できない場合には、特徴量データを平滑化して、グラフ２３０３のように雑音を取り除けばよい。平滑化の方法としては、例えば、過去数フレーム分の特徴量データと現在のフレームの特徴量データの平均をとればよい。
次に、前述の特徴量の算出方法を移動物体以外にも適応する方法を、第２２図を使って説明する。前述した特徴量の算出方法は移動物体のみを対象としている。そのため、第２２（ａ）図に示した、静止物体であるごみ箱２２０６が原因となって、移動物体２２００、２２０４、２２０４の異常行動を引き起こすような場合には対応できない。この場合、あらかじめ異常の原因となりそうなものを人手で抽出して、静止している特別な移動物体と考えて、上記の特徴量算出法を適用すればよい。このようにすることで、静止物体の特徴量も抽出できるようになる。なお、異常の原因となりそうなものが想定できない場合には、監視対象を領域分割して、その領域ごとに、静止している特別な移動物体を仮想的に配置して処理すればよい。例えば、第２２（ｂ）図に示すように、監視対象をメッシュ分割して、その格子点上に、仮想的な移動物体を配置すればよい。
以上に述べた実施の形態をとることで、移動物体の瞬間的な位置と進行方向の情報だけを用いて移動物体の行動の特徴を分析し、異常物体の異常行動の原因となった場所を自動的に推定して、本装置の利用者に提示することが可能になる。従って、観測によって得られた映像情報から、移動物体の異常行動を引き起こした原因を即座に知ることが可能になる。
上記の実施形態では、実写映像に異常発生場所を表す図形を合成して出力手段１０７の出力としたが、第１８図に示すように、三次元ＣＧ（コンピュータ・グラフィックス）表示と異常発生場所を表す図形１８０２を合成表示してもよい。三次元ＣＧで表示することによって、表示１８００、表示１８０４のように視点を自由に変更できるようになる。なお、この場合、観測領域内のすべての物体の三次元形状データをあらかじめ準備しておき、三次元ＣＧ表示に備える必要がある。
このような構成をとることで、実写映像では、異常発生場所が他の物体に遮蔽されて見えない場合でも、三次元ＣＧの視点を変更して表示を切替えることで確認することが可能になる。
上記の実施形態では、特徴量データ４０２の値自体を、出力手段１０７には表示していなかったが、第１９図に示すように、この値を表示に反映させてもよい。第１９（ａ）図は、移動物体ごとに特徴量データ４０２の値を数値で合成表示する例である。第１９（ｂ）図は、移動物体ごとに特徴量データ４０２の値をグラフ化して合成表示する例である。ここでは、円柱の高さが特徴量データ４０２と比例するように対応付けている。第１９（ｃ）図は、移動物体の表示サイズを、特徴量データ４０２の値に応じて変更する例である。値が大きいもの物体は表示サイズも大きく、値が小さいものは表示サイズも小さくする。第１９（ｄ）図は、移動物体の表示色を、特徴量データ４０２の値に応じて変更する例である。例えば、値が大きいもの物体は表示色も明るく、値が小さいものは表示色を暗くする。なお、特徴量データ４０２の値に応じて、移動物体の透明度を変更してもよい。
例えば、値が大きいもの物体は透明度を低く、値が小さいものは透明度を高くする。第１９（ｅ）図は、魅力度の発生状況を人間が観察し易くするために、各個人に生じる魅力度に対するポテンシャル場を推定して表示した例である。この魅力度は、上記の手順で算出した特徴量Ｎを（数２）に適用して得られるものである。ここでは、ポテンシャル場を推定するために、重力加速度と位置エネルギーの関係のように、ベクトル場とそれに対応するポテンシャル場の関係が、魅力度の場合にも成り立つと仮定する。一般に、与えられたベクトル場からポテンシャル場を算出するには、ベクトル場に分布するベクトルをポテンシャル場の勾配と考え、ベクトル場を積分すればよい。なお、第１９（ａ）（ｂ）（ｅ）図の表示は、実写映像との合成（第１７図）、およびＣＧ映像との合成（第１８図）の両者に適応できる。第１９（ｃ）（ｄ）図は、移動物体をＣＧ表示する、ＣＧ映像との合成（第１８図）にのみ適応できる。
このような表示形態をとることで、移動物体とその行動の特徴量を対応付けて可視化できるので、本発明のシステムの利用者にとって移動物体の行動を把握し易くなる。
上記の実施形態では、異常発生場所を推定した場合に、その場所を実写映像、または三次元ＣＧ映像に合成するだけであったが、第２０図に示すように、異常発生場所を表示１７００のように表示した後で、その場所を表示２０００のように拡大表示するようにしてもよい。ここでは、ごみ箱１７０２は異常発生場所であるとしている。拡大表示するには、映像入力手段１０４で撮影した映像を画像処理によって拡大・移動すればよい。また、映像入力手段１０４を実現するビデオカメラを計算機で制御できる場合は、このカメラを、パン・チルト・ズームさせることにより拡大表示してもよい。
このような表示形態をとることで、異常発生場所を拡大して詳細に見ることが可能になるので、本発明のシステムの利用者にとって異常の状態を把握し易くなる。
上記の実施形態では、監視領域を表示対象していたが、これ以外を表示対象としてもよい。第２１図には、監視場所から異常発生場所までの誘導表示の例を示している。ここでは、本発明のシステムの利用者、すなわち監視者が監視をしている監視場所２１００から、異常発生場所２１０２までの道のりに対応する実写映像、または三次元ＣＧ映像を順番に表示している。点２１０４と表示２１１０、点２１０６と表示２１１２、点２１０８と表示１８００といった具合に道のり上の点と表示が対応している。
このような表示形態をとることで、異常発生場所への道のりを監視者に対して順に提示できるので、すばやく異常発生場所に到達できることが期待できる。
上記の実施形態では、位置・進行方向算出手段１０５の内部構成において、モデルマッチングを用いて、移動物体の進行方向を算出していたが、第１２図に示すように、移動物体の軌跡から進行方向を決定してもよい。この場合、第３図に示した集団行動の位置・進行方向算出手段１０５内のモデルマッチング部３０８と形状データ３０９の代わりに、第１２図に示す進行方向算出部１２００を設ける。また、位置データ３０１には、移動物体毎に過去の位置情報を保持するようにする。これから得られる移動物体の時系列の位置情報を、ここでは軌跡と呼ぶ。進行方向算出部１２００は、移動物体の軌跡から進行方向を決定して、結果を進行方向データ３０２に保存する。これ以外の機能は、第３図で説明したものと同じである。
次に、第１３図を用いて、進行方向算出部１２００が観測された軌跡から進行方向を求める方法の一例を説明する。時系列の位置の集合ｐ１（位置１２０１），ｐ２（位置１２０２），ｐ３（位置１２０３）は、ある特定の移動物体の軌跡である。この図では、ｐ２（位置１２０２）における進行方向として、ｐ２（位置１２０２）からｐ３（位置１２０３）への方向ベクトルｄ２（ベクトル１２１０）を求める例を示している。この他、ｐ２（位置１２０２）における進行方向として、ｐ１（位置１２０１）からｐ３（位置１２０３）への方向ベクトルｄ２’（ベクトル１２１１）を、ｐ２（位置１２０２）における進行方向と考えてもよい。
以上に述べた実施の形態をとることで、モデルマッチングの場合のように、事前に監視対象の三次元形状データを準備することなく、高々数フレーム分の移動物体の位置情報から、進行方向を算出できるようになる。
上記の実施形態では、第４図の異常発生個所推定手段１０６の内部構成において、単一の行動モデルを用いていたが、事前に準備した複数の行動モデルから、処理対象の移動物体に適したモデルを適宜選択できるようにしてもよい。例えば、監視対象として、展示会場、駅の構内、ホテルのロビーなどを想定した場合、監視対象によって人物などの移動物体の行動モデルは異なると思われる。例えば、展示会場の場合は、興味がある展示物を見て回る行動をとるだろうし、駅の構内の場合は、電車に乗り降りして所望の場所へと向かうであろう。こういった場合には、監視対象毎に適した行動モデルを用意しておき、行動モデルを適宜切替えて行動の特徴量を算出したほうが、よりよい特徴量が得られる。
この目的を達するために、第４図に示した異常発生個所推定手段１０６内に、第１４図に示す属性データ１４００、行動モデルセット１４０２、行動モデル選択部１４０４を新たに設ける。属性データ１４００は、移動物体についての軌跡情報以外の付加的な情報である。例えば、展示会場、駅の構内など移動物体が属する監視対象の情報を保持する。本データは、本監視装置の利用者が設定すればよい。行動モデルセット１４０２は、複数の行動モデルの集合である。例えば、展示会場用の行動モデル、駅の構内用の行動モデルなど、属性データ１４００に応じた行動モデルを複数準備しておく。行動モデル選択手段１４０４は、処理対象の人物の属性データに応じて、行動モデルセット１４０２の中から、適切な行動モデルを選択し、その結果を行動シミュレーション部４０５へと渡す。これ以外の機能は、第４図で説明したものと同じである。このような構成をとることで、状況に応じて適切な行動モデルが選択されるため、より正確な特徴量の算出が可能になる。
上記の実施形態では、特徴量データ４０２から異常を判定して異常場所発生データ４０４を本発明の異常行動検出装置の出力としていたが、特徴量データ４０２に対して更に別の処理を加えたものを最終的な出力としてもよい。例えば、移動物体の軌跡などの観測されるデータを利用するよりも、特徴量データ４０２を利用したほうが、集団行動の意味を理解し易いと考えられる。というのは、特徴量データ４０２は移動物体の行動の特徴を表しているからである。そこで、ここでは、特徴量データ４０２をキーにデータベースを検索して、検索結果を出力とすることを考える。
この場合、第４図に示した異常発生場所推定手段１０６内に、第１５図に示すようにマッチング用データベース１５００、特徴量マッチング部１５０２、診断結果データ１５０４を新たに設ける。マッチング用データベース１５００には、検索したい事項と特徴量を対応付けて保存する。例えば、「集団が正常状態にある場合」とそのときの特徴量パターン、「集団が興奮状態にある場合」とそのときの特徴量パターンという具合に保存する。特徴量マッチング手段１５０２は、特徴量データ４０２をキーにしてマッチング用データベース１５００を検索する。具体的な検索手法としては、例えば、「画像解析ハンドブック」（東京大学出版会）第７４０ページに記載されている相関係数を用いればよい。これは、２つのデータの類似度を相関係数として求めるものであり、相関係数が大きいほど類似度が高いことを意味する。ここでは、特徴量データ４０２の集合と、マッチング用データベース１０００内のデータとの相関係数を求め、所定値より値が大きいものを検索結果とする。最後に、検索結果をマッチング結果１００２として保存する。これ以外の機能は、第４図で説明したものと同じである。このような構成をとることで、特徴量データよりも抽象度が高く、人間にとって理解し易い形で移動物体の行動の意味を診断することが可能になる。
次に、第１６図に本発明による異常行動検出装置をスポーツのゲーム分析に応用する場合について説明する。ビデオカメラ７からの動画像データは、動作認識処理１と軌跡抽出処理２０に入力される。軌跡抽出処理２０においては、物体抽出部が画像中の選手やボールなどの移動体を抽出し、ラベリング部が個々の移動体を識別および追跡し、３Ｄ座標変換部が画像座標を３次元の空間座標に変換して、軌跡データとして出力する。この軌跡データの内容は、例えば選手やボールが存在していた競技場上での位置座標を、各時刻毎に記録したものである。
動作認識処理１が出力する動作認識結果は、選手単体の動作を表すので、ここでは単独動作データと表記している。ここには例えば選手について、「走っている」や「立っている」といった動作の種別を示す識別子が、各時刻毎に記録される。集団行動分析支援処理３０は選手の集団としての動きを分析する部分で、動きの特徴量を求める特徴量算出部４００と、特徴量を照合する特徴量マッチング部１５０２とからなる。
集団行動分析支援処理３０は、本発明の異常行動検出装置を利用したものであり、軌跡データを入力として、集団の動きの意味を記述した集団動作データを出力する。このデータの例としては、サッカーの場合では「オフサイドトラップ」や「クロス」といった集団行動の意味を表す識別子が、各時刻毎に記録される。出力処理４０は単独動作データと集団動作データを入力として、まず統計分析部で統計データを出力する。この統計データの内容は、各選手毎の走行距離やクロスの回数といった情報で、ＣＧ映像と共にディスプレイなどに表示される。次のモデル動作生成部とは３次元ＣＧの人体モデルを動かすために、各関節の関節角を定める部分である。そしてレンダリング部では人体モデルからＣＧ映像を作成し、これをＣＧ映像データとして出力する。
本実施の形態によれば、集団スポーツにおける集団行動の意味が推定され表示されるので、スポーツのゲーム分析のために有効な情報を提供できる効果がある。
産業上の利用可能性
本発明によって、移動物体の瞬間的な位置と進行方向の情報だけを用いて移動物体の行動の特徴を分析し、異常物体の異常行動の原因となった場所を自動的に推定して、本装置の利用者に提示することが可能になる。従って、観測によって得られた映像情報から、移動物体の異常行動を引き起こした原因を即座に知ることが可能になる。
【図面の簡単な説明】
第１図は本発明の異常行動検出装置の機能構成を表すブロック図である。
第２図は本発明の異常行動検出装置のハードウェア構成を表すブロック図である。
第３図は位置・進行方向算出手段の内部構成を表すブロック図である。
第４図は異常発生場所推定手段の内部構成を表すブロック図である。
第５図は行動モデルの例を表す図である。
第６図は特徴量データの例を表す図である。
第７図は本発明の異常行動検出装置全体の処理の流れを表すフローチャートである。
第８図は位置・進行方向算出処理の流れを表すフローチャートである。
第９図は異常個所推定処理の流れを表すフローチャートである。
第１０図は特徴量の推定処理を説明する図である。
第１１図は最急降下法の処理の流れを表すフローチャートである。
第１２図は軌跡から進行方向を求める場合の、位置・進行方向算出手段の内部構成を表すブロック図である。
第１３図は軌跡から進行方向を算出する例を説明する図である。
第１４図は複数の行動モデルを用いる場合の異常個所推定手段の内部構成を表すブロック図である。
第１５図は特徴量マッチング部を備える場合の異常個所推定手段の内部構成を表すブロック図である。
第１６図は本発明の異常行動検出装置を応用したスポーツのゲーム分析システムの構成を表すブロック図である。
第１７図は実写映像と異常発生場所の合成出力例を表す図である。
第１８図は三次元ＣＧ映像と異常発生場所の合成出力例を表す図である。
第１９図は特徴量の表示例を表す図である。
第２０図は異常発生場所の拡大表示を説明する図である。
第２１図は監視場所から異常発生場所への誘導表示を説明する図である。
第２２図は移動物体の適応範囲の拡張を説明する図である。
第２３図は特徴量データの平滑化を説明する図である。
第２４図は魅力度による進行方向の決定処理の流れを説明するフローチャートである。
【図１】
0004118674.tif 000006
【図２】
0004118674.tif 000007
【図３】
0004118674.tif 000008
【図４】
0004118674.tif 000009
【図５】
0004118674.tif 000010
【図６】
0004118674.tif 000011
【図７】
0004118674.tif 000012
【図８】
0004118674.tif 000013
【図９】
0004118674.tif 000014
【図１０】
0004118674.tif 000015
【図１１】
0004118674.tif 000016
【図１２】
0004118674.tif 000017
【図１３】
0004118674.tif 000018
【図１４】
0004118674.tif 000019
【図１５】
0004118674.tif 000020
【図１６】
0004118674.tif 000021
【図１７】
0004118674.tif 000022
【図１８】
0004118674.tif 000023
【図１９】
0004118674.tif 000024
【図２０】
0004118674.tif 000025
【図２１】
0004118674.tif 000026
【図２２】
0004118674.tif 000027
【図２３】
0004118674.tif 000028
【図２４】
0004118674.tif 000029