(57)【要約】【課題】本発明は、振舞い解析の際に発生した誤報を除去し、より高度な行動解析を可能とすることができる画像処理装置、監視カメラ及び画像監視システムを提供する。【解決手段】外部の監視カメラが撮影した監視領域の動画像を入力とし、当該動画像に所定の画像解析を施すことにより、前記監視領域に存在する人物の汎用的振舞いを解析し、当該人物の汎用的振舞いに関する時系列データを出力する振舞い解析手段と、前記人物の汎用的振舞いに関する時系列データに基づいて、前記汎用的振舞いが所定の条件を満たす専用的振舞いか否かを識別し、当該識別結果を示す振舞い識別情報を外部に出力する振舞い識別手段とを具備することを特徴とする。【選択図】図１
2007272488.tif 000002
【特許請求の範囲】
【請求項１】
外部の監視カメラが撮影した監視領域の動画像を入力とし、当該動画像に所定の画像解析を施すことにより、前記監視領域に存在する人物の汎用的振舞いを解析し、当該人物の汎用的振舞いに関する時系列データを出力する振舞い解析手段と、
前記人物の汎用的振舞いに関する時系列データに基づいて、前記汎用的振舞いが所定の条件を満たす専用的振舞いか否かを識別し、当該識別結果を示す振舞い識別情報を外部に出力する振舞い識別手段と
を具備することを特徴とする画像処理装置。
【請求項２】
前記振舞い解析手段は、前記人物の汎用的振舞いを解析するための振舞い解析パラメータを記憶する第１の記憶手段を備え、当該第１の記憶手段に記憶されている振舞い解析パラメータと、前記監視カメラから入力される動画像とに基づいて、前記監視領域に存在する人物の汎用的振舞いを解析し、
前記振舞い識別手段は、前記汎用的振舞いが所定の条件を満たす専用的振舞いか否かを識別するための振舞い識別パラメータを記憶する第２の記憶手段を備え、当該第２の記憶手段に記憶されている振舞い識別パラメータと、前記人物の汎用的振舞いに関する時系列データとに基づいて、前記汎用的振舞いが所定の条件を満たす専用的振舞いか否かを識別する
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記振舞い解析手段は、前記動画像から得られる所定フレーム数の静止画像からなる画像データに、人物の位置、汎用的振舞いの種類及び発生時刻を対応付けたデータを、前記人物の汎用的振舞いに関する時系列データとして出力し、
前記振舞い識別手段は、前記専用的振舞いの種類、継続時間及び危険度を、前記振舞い識別情報として外部に出力する
ことを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記振舞い識別手段は、外部の人物検出センサから入力される、前記監視領域における人物の存在を示す検出信号と、前記人物の汎用的振舞いに関する時系列データとに基づいて、前記汎用的振舞いが所定の条件を満たす専用的振舞いか否かを識別することを特徴とする請求項１〜３のいずれか一項に記載の画像処理装置。
【請求項５】
外部から入力される、所定の監視領域に存在する人物の汎用的振舞いに関する時系列データに基づいて、前記汎用的振舞いが所定の条件を満たす専用的振舞いか否かを識別し、当該識別結果を示す振舞い識別情報を外部に出力する振舞い識別手段を
具備することを特徴とする画像処理装置。
【請求項６】
前記振舞い識別手段は、外部の人物検出センサから入力される、前記監視領域における人物の存在を示す検出信号と、前記人物の汎用的振舞いに関する時系列データとに基づいて、前記汎用的振舞いが所定の条件を満たす専用的振舞いか否かを識別することを特徴とする請求項５記載の画像処理装置。
【請求項７】
所定の監視領域の動画像を撮像する撮像手段と、
前記動画像に所定の画像解析を施すことにより、前記監視領域に存在する人物の汎用的振舞いを解析し、当該人物の汎用的振舞いに関する時系列データを外部に出力する振舞い解析手段と
を具備することを特徴とする監視カメラ。
【請求項８】
所定の監視領域の動画像を撮像する監視カメラと、
請求項１〜４のいずれか一項に記載の画像処理装置と、
当該画像処理装置から出力される振舞い識別情報を外部に報知する報知装置と
を具備することを特徴とする画像監視システム。
【請求項９】
請求項７記載の監視カメラと、
請求項５または６記載の画像処理装置と、
当該画像処理装置から出力される振舞い識別情報を外部に報知する報知装置と
を具備することを特徴とする画像監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、監視カメラ及び画像監視システムに関する。
【背景技術】
【０００２】
下記特許文献１には、テレビカメラが撮影した監視領域の動画像に所定の画像解析を施すことにより人物の移動軌跡を抽出し、当該移動軌跡に対する侵入者の判定処理モードを監視条件に応じて切り替える画像監視システムが開示されている。例えば、店舗の出入り口付近では、開店時と閉店時とで人物の挙動が異なるので、同一監視領域でも時間帯や季節によって上記判定処理モードを変更する必要があるが、従来の画像監視システムでは、上記判定処理モードが固定化されているため、監視対象や監視目的に応じて画像処理装置を複数設置しなければならず、システムコストの増大や安全管理が複雑になるという問題があった。特許文献１の技術は、このような問題点を解決するものである。
【０００３】
また、他の画像監視に関する技術として、下記特許文献２には、多数の人物が存在または移動する監視領域の動画像に基づいて人物の特徴量を検出し、当該特徴量が人物形状モデルに合致するか否かを判定することによって、人物の存在や人数を判定する人物検出装置が開示されている。さらに、下記特許文献３には、人物の手足等に設定された特徴点の３次元座標を計測することにより、人物の振舞い（ジェスチャ）を認識するジェスチャ認識装置が開示されている。
【０００４】
このような人物のジェスチャを認識する場合、監視領域の動画像と、ジェスチャ解析パラメータとに基づいて所定のジェスチャを解析すると共に、そのジェスチャに関連する他の情報を出力するようにしていた。例えば、ｗａｌｋ（歩行）、ｂｅｎｄ（屈み込み）などのジェスチャの種類や発生時刻、人物の位置等を他の情報として出力していた。
【特許文献１】特開平９−３３０４１５号公報
【特許文献２】特開２００１−１７５８６８号公報
【特許文献３】特開２０００−１４９０２５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、上述した人物のジェスチャを認識する従来の画像監視技術において、以下のような問題点があった。
（１）人物の移動や身体的特徴の変化量から得られる瞬間的ジェスチャしか認識できない。
（２）誤検出を補う手法がジェスチャ解析パラメータの調整のみである。
（３）撮像環境（撮影場所等）が異なる場合、それぞれの環境で、全てのジェスチャについてジェスチャ解析パラメータの調整を行う必要があり、ジェスチャの検出率にばらつきが生じる。
（４）使用目的が変更される場合、システムそのものを変更する必要がある。
【０００６】
本発明は、上記の事情に鑑みてなされたものであり、上記課題を改善することができる画像処理装置、監視カメラ及び画像監視システムを提供することを目的とする。より具体的には、本発明は、人物の振舞い解析の際に発生した誤検出を除去し、より高度な行動解析を可能としたり、振舞い解析の結果を利用して、新たな振舞い（例えば複数の振舞いに基づく情報）を生成することを可能としたり、監視システムの使用目的の変化に対して簡単な設定変更のみで対応できるようにしたり、使用環境や目的に応じて振舞いを生成・変更可能な画像処理装置、監視カメラ及び画像監視システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明では、画像処理装置に係る第１の解決手段として、外部の監視カメラが撮影した監視領域の動画像を入力とし、当該動画像に所定の画像解析を施すことにより、前記監視領域に存在する人物の汎用的振舞いを解析し、当該人物の汎用的振舞いに関する時系列データを出力する振舞い解析手段と、前記人物の汎用的振舞いに関する時系列データに基づいて、前記汎用的振舞いが所定の条件を満たす専用的振舞いか否かを識別し、当該識別結果を示す振舞い識別情報を外部に出力する振舞い識別手段と
を具備することを特徴とする。
【０００８】
また、画像処理装置に係る第２の解決手段として、上記第１の解決手段において、前記振舞い解析手段は、前記人物の汎用的振舞いを解析するための振舞い解析パラメータを記憶する第１の記憶手段を備え、当該第１の記憶手段に記憶されている振舞い解析パラメータと、前記監視カメラから入力される動画像とに基づいて、前記監視領域に存在する人物の汎用的振舞いを抽出し、前記振舞い識別手段は、前記汎用的振舞いが所定の条件を満たす専用的振舞いか否かを識別するための振舞い識別パラメータを記憶する第２の記憶手段を備え、当該第２の記憶手段に記憶されている振舞い識別パラメータと、前記人物の汎用的振舞いに関する時系列データとに基づいて、前記汎用的振舞いが所定の条件を満たす専用的振舞いか否かを識別することを特徴とする。
【０００９】
また、画像処理装置に係る第３の解決手段として、上記第１または第２の解決手段において、前記振舞い解析手段は、前記動画像から得られる所定フレーム数の静止画像からなる画像データに、人物の位置、汎用的振舞いの種類及び発生時刻を対応付けたデータを、前記人物の汎用的振舞いに関する時系列データとして出力し、前記振舞い識別手段は、前記専用的振舞いの種類、継続時間及び危険度を、前記振舞い識別情報として外部に出力する
ことを特徴とする。
【００１０】
また、画像処理装置に係る第４の解決手段として、上記第１〜第３のいずれかの解決手段において、前記振舞い識別手段は、外部の人物検出センサから入力される、前記監視領域における人物の存在を示す検出信号と、前記人物の汎用的振舞いに関する時系列データとに基づいて、前記汎用的振舞いが所定の条件を満たす専用的振舞いか否かを識別することを特徴とする。
【００１１】
また、画像処理装置に係る第５の解決手段として、外部から入力される、所定の監視領域に存在する人物の汎用的振舞いに関する時系列データに基づいて、前記汎用的振舞いが所定の条件を満たす専用的振舞いか否かを識別し、当該識別結果を示す振舞い識別情報を外部に出力する振舞い識別手段を具備することを特徴とする。
【００１２】
また、画像処理装置に係る第６の解決手段として、上記第５の解決手段において、前記振舞い識別手段は、外部の人物検出センサから入力される、前記監視領域における人物の存在を示す検出信号と、前記人物の汎用的振舞いに関する時系列データとに基づいて、前記汎用的振舞いが所定の条件を満たす専用的振舞いか否かを識別することを特徴とする。
【００１３】
一方、監視カメラに係る第１の解決手段として、所定の監視領域の動画像を撮像する撮像手段と、前記動画像に所定の画像解析を施すことにより、前記監視領域に存在する人物の汎用的振舞いを解析し、当該人物の汎用的振舞いに関する時系列データを外部に出力する振舞い解析手段とを具備することを特徴とする。
【００１４】
さらに、画像監視システムに係る第１の解決手段として、所定の監視領域の動画像を撮像する監視カメラと、上記第１〜第４のいずれかの解決手段を有する画像処理装置と、当該画像処理装置から出力される振舞い識別情報を外部に報知する報知装置とを具備することを特徴とする。
【００１５】
また、画像監視システムに係る第２の解決手段として、上記第１の解決手段を有する監視カメラと、上記第５または第６の解決手段を有する画像処理装置と、当該画像処理装置から出力される振舞い識別情報を外部に報知する報知装置とを具備することを特徴とする。
【発明の効果】
【００１６】
本発明によれば、外部の監視カメラから入力される監視領域の動画像に基づき、当該監視領域に存在する人物の振舞いを検出する画像処理装置において、汎用的振舞いを解析する振舞い解析手段と、所定の条件を満たす専用的振舞いを識別する振舞い識別手段とを備え、汎用的振舞いの解析と専用的振舞いの識別との２段階に分けることにより、振舞い解析手段で発生する誤検出を除去し、より高度な行動解析を可能とする。同様に、振舞い解析手段の汎用的振舞いの解析結果を利用して、新たな振舞いを生成することが可能となる。システムの使用目的の変化に対しては、振舞い識別手段における専用的振舞いを識別するための振舞い識別パラメータの設定変更で柔軟な対応が期待できる。つまり、使用環境や目的に応じて所望の振舞いを生成・変更できる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照して、本発明の一実施形態について説明する。
図１は、本実施形態に係る画像監視システムの基本構成を示すシステム構成図である。
この図に示すように、本画像監視システムは、監視カメラ１００、画像処理装置２００、監視端末（報知装置）３００から構成されている。なお、画像処理装置２００は、振舞い解析装置（振舞い解析手段）２０１及び振舞い識別装置（振舞い識別手段）２０２から構成されている。また、この画像処理装置２００には、入力側に監視カメラ１００が接続され、出力側にＬＡＮ通信線を介して監視端末３００が接続されている。
【００１８】
監視カメラ１００は、所定の監視領域の動画像を撮影して画像信号（映像信号）を出力する汎用の監視用ビデオカメラである。上記画像信号は、例えばＮＴＳＣ方式等のアナログビデオ信号を符号化したデジタル画像信号である。この監視カメラ１００は、例えば駅構内のプラットホーム等に設置されており、当該プラットホームの監視領域におけるデジタル画像信号をリアルタイム画像として画像処理装置２００（具体的には、振舞い解析装置２０１）へ送信する。
【００１９】
画像処理装置２００において、振舞い解析装置２０１は、人物の汎用的振舞いを解析するための解析条件である振舞い解析パラメータを予め記憶する、振舞い解析パラメータ・データベース（第１の記憶手段）２０３を備え、監視カメラ１００で撮影された動画像と、上記振舞い解析パラメータとに基づいて所定の画像解析処理を行い、監視領域に存在する人物の汎用的振舞いを解析し、当該人物の汎用的振舞いに関する時系列データを振舞い識別装置２０２に出力する。この時系列データは、汎用的振舞い情報と振舞い解析情報とを含んで構成されている。ここで、汎用的振舞いとは、システムの使用環境や目的に依存しない人物の基本的な行動である。例としてｗａｌｋ（歩行）やｂｅｎｄ（屈みこみ）といった振舞いがあげられる。また、これらの振舞いは全て瞬間的な状況を示すものである。汎用的振舞い情報とは、これら汎用的振舞いの種類を示すものである。他方、振舞い解析情報には、汎用的振舞いの発生時刻や、発生位置、歩行していればその移動方向などが含まれている。
【００２０】
振舞い識別装置２０２は、上記振舞い解析装置２０１にて検出された汎用的振舞いが所定の条件を満たす専用的振舞いか否かを識別するための識別条件である振舞い識別パラメータを記憶する、振舞い識別パラメータ・データベース（第２の記憶手段）２０４を備え、振舞い解析装置２０１から出力された汎用的振舞いに関する時系列データと、上記振舞い識別パラメータとに基づいて専用的振舞いを識別し、当該識別結果を示す振舞い識別情報を監視端末３００に出力する。この振舞い識別情報は、病気、酔客等の専用的振舞いの種類、継続時間及び危険度等を示すものである。
【００２１】
監視端末３００は、パーソナルコンピュータ等のコンピュータ端末であり、ＣＰＵ（中央処理装置）、記憶装置等からなる本体、表示装置、キーボード、マウスなどから構成されており、上記振舞い識別情報を所定のディスプレイなどに表示する（報知する）。
【００２２】
ここで、専用的振舞いとは、システムの使用環境や目的に依存する人物の行動であり、汎用的振舞いと解析情報の組み合わせによって定義できる振舞いを指す。例えば、駅構内の画像監視システムにおいて、プラットホーム上で人物が長時間屈みこんでいれば、ｓｉｃｋ（病気）という識別が可能だが、一般家屋内の場合では、それは正常な振舞いと識別できる。あるいは、駅構内であっても、プラットホームや通路ではなく、例えば休憩所のような場所や、プラットホーム上であっても例えば自動販売機の商品取り出し口の近傍では、人物が一定時間屈みこんでいてもそれは正常な振舞いと識別できる。なお、ここでのｓｉｃｋという専用的振舞いの識別は汎用的振舞いのｂｅｎｄと解析情報の振舞い発生時間（継続時間）の組み合わせによって識別されるものと定義できる。
【００２３】
また、振舞い識別パラメータ・データベース２０４に記憶されるパラメータには、次のようなものがある。パラメータ“WINDOWSIZE”は、識別に使用するデータ範囲（何秒前まで検証するのか）を示す。パラメータ“CONTINUOUS”は、識別の条件となる振舞いの連続発生回数を示す。パラメータ“MISS”は、振舞いの許容失報数を示す。パラメータ“SEC_OR_FRAME”は、連続回数カウント対象を“秒数”（＝０）にするのか“フレーム数”（＝１）にするのかを示す。パラメータ“PN”は、人物番号（複数の人物が画像中の同一フレームに写っている場合に各人物を識別するための番号）を考慮するか否かを示す（考慮する＝１、しない＝０）。そして、パラメータ“STOP_TIME”は、初検出後同イベントを検知させない秒数を示す。また、特に、ｂｅｎｄ（屈みこみ）からｓｉｃｋ（病気）を識別するパラメータとしては、パラメータ“CONTINUOUS_H”＝継続時間の閾値（ｓｉｃｋと判定する閾値）とパラメータ“CONTINUOUS_L”＝継続時間の閾値（ｂｅｎｄと判定する閾値）がある。
【００２４】
例えばｂｅｎｄの継続によってｓｉｃｋを判定する場合の基本的なパラメータとしては、WINDOWSIZE＝10、CONTINUOUS_H＝7、CONTINUOUS_L＝3、MISS＝2、SEC_OR_FRAME＝0、PN=0、STOPTIME=10といった値が設定される。これらのパラメータは、１０秒間の範囲を検証し、７秒間ｂｅｎｄが継続していたらｓｉｃｋであると判定することを示している。ただし、ｓｉｃｋを識別後、ｂｅｎｄが発生しなくなった場合には、２秒以内に再度ｂｅｎｄとなったときにはｓｉｃｋが継続していると判定し、３秒以上ｂｅｎｄが発生しなくなった場合にｓｉｃｋではないと判定されることになる。また、人物番号については考慮せず、一度、ｓｉｃｋの識別状態が終了した場合には１０秒間はｓｉｃｋが検出されなくなる。
【００２５】
振舞い識別情報内には、振舞い解析情報に加え、専用的あるいは汎用的振舞いの継続時間や、危険度などを示すことが可能である。危険度とは、例えばｓｉｃｋ（病気）という振舞いが識別された場合でも、それがプラットホーム上の中央で発生した場合と、線路寄りで発生した場合とでは、線路寄りで発生した方が危険度が高いという識別情報が付与されることになる。
【００２６】
なお、図１に示す例では、振舞い識別装置２０２に、１台の振舞い解析装置２０１が接続されているが、複数の振舞い解析装置２０１を接続するようにしてもよい。
【００２７】
上記のように、図１の振舞い識別装置２０２によれば、振舞い解析装置２０１から出力される汎用的振舞いに関する時系列データを用いて、誤報除去や、新たな振舞い（専用的振舞い）の生成が可能になる。また、システムの使用目的の変化に対しては、振舞い識別装置２０２の設定変更のみで対応できる。例えば、ｂｅｎｄの一定時間継続をｓｉｃｋと出力するか、そのままｂｅｎｄとするか、出力をさせないか等の対応が可能である。汎用的振舞いは人間の基本動作に相当するため、システムの変化に対する調整が不要となり、システム調整の工数が減少する。
【００２８】
次に、図２を参照して、図１の振舞い解析装置２０１による振舞い解析処理フローについて説明する。振舞い解析装置２０１は、監視カメラ１００から得られた監視領域のデジタル画像信号を用いて、背景除去処理（ステップＳ１）によって人物を抽出し、特徴量抽出処理（ステップＳ２）において抽出物体の特徴量を抽出する。例えば輪郭、色、面積などが特徴量である。次に、振舞い解析パラメータ・データベース２０３に予め記憶した振舞い解析パラメータ（人物の振舞いを抽出するための各種条件やルール）に従い、特徴量抽出処理で抽出した特徴量を特定の汎用的振舞いとして識別し（ステップＳ３）、各人物についての汎用的振舞いに関する時系列データを振舞い識別装置２０２に出力する（ステップＳ４）。なお、ここでの１秒当たりの出力データ数は１秒当たりの入力画像枚数と解析装置の処理速度、人物の総数に依存する。
【００２９】
図２を参照して説明した処理によって、解析対象を汎用的振舞いのみに限定することで、振舞い解析に必要なパラメータ調整が容易となる。また、振舞い解析装置２０１にて解析された汎用的振舞いは、後の振舞い識別装置２０２で再検証されるため、振舞い解析装置２０１の調整を厳密に行う必要がなくなる。
【００３０】
次に、図３を参照して、図１の振舞い識別装置２０２による振舞い識別処理フローについて説明する。振舞い識別装置２０２は、判定処理（ステップＳ１０）を行って、図２を参照して説明した振舞い解析処理から汎用的振舞いに関する時系列データが出力された場合のみ動作する。上記時系列データが出力されていたならば、過去の振舞い解析データ検証処理（ステップＳ１１）において、汎用的振舞いに関する時系列データと、振舞い識別パラメータ・データベース２０４に記憶されている振舞い識別パラメータ（識別条件を示すデータ）に従い、現在の汎用的振舞いと、過去の汎用的振舞いデータに対する検証処理を行う。その後、ここでの検証結果から、振舞い識別結果生成処理（ステップＳ１２）にて振舞い識別情報を生成し、監視端末３００に出力する。
【００３１】
ここで、ステップＳ１１によるデータ検証処理では、汎用的振舞いに関する時系列データに基づき、汎用的振舞いの連続性の判定や、対象（人物）の距離や大きさを考慮した異なる汎用的振舞いの関連性、あらかじめ設定する障害物領域等の背景との関連性等を検証している。
【００３２】
図３を参照して説明した処理によって、汎用的振舞い解析結果の過去蓄積データを検証することで、振舞いが発生したシーンを解釈し、より複雑な専用的振舞い識別を行うことが可能となる。また、使用環境や目的に応じて出力する振舞いを生成・変更できる。また、使用環境や目的に応じて出力する振舞いを変更する場合、振舞い識別装置の設定変更のみで行うことができる。また、専用的振舞いは汎用的振舞いの組み合わせであるため、同じ専用的振舞いに対しては、環境変化によるパラメータ調整を行う必要がなくなる。例えば、昼の映像と夜の映像では、人物を抽出するための調整は必要だが、ｂｅｎｄの長時間継続をｓｉｃｋにするという識別定義を変更する必要はない。
【００３３】
次に、図４を参照して、振舞い解析と振舞い識別によるシステム動作例（ｓｉｃｋ）について説明する。この例では、時系列の振舞い解析の結果、ｗａｌｋからｂｅｎｄに変化した後、ｂｅｎｄが継続した場合に、そのｂｅｎｄの継続を、ｓｉｃｋと識別する。すなわち、屈みこんで一定時間動かない人物をｓｉｃｋとして定義している。
【００３４】
次に、図５を参照して、振舞い解析と振舞い識別によるシステム動作例（ｄｒｕｎｋ）について説明する。この例では、時系列の振舞い解析の結果、ここではｗａｌｋが継続し、かつ移動方向が不定な人物を、ｄｒｕｎｋと識別する。
【００３５】
次に、図６を参照して、本画像監視システムの変形例について説明する。この図に示すように、監視カメラ１００は、監視領域の動画像を撮像する撮像装置（撮像手段）１０１と、当該撮像装置１０１によって撮影した動画像に基づいて、汎用的振舞いの時系列データを生成する振舞い解析装置２０１とを備え、画像処理装置２００は振舞い識別装置２０２のみを備える構成を採用している。つまり、図１における監視カメラ１００と振舞い解析装置２０１とは共にハードウェア化された構成となっている。ハードウェア化された構成とは、例えば入出力装置等の各装置の制御部をファームウェア化されたプログラムによって作動するようにしたものである。振舞い解析装置２０１は主に画像処理を含む全体の８０％程度に相当する処理を行う。同様に振舞い識別装置２０２は全体の２０％程度の処理を行う。図６に示すような構成によれば、全体処理の８０％をハードウェアで行うことによって、ソフトウェアの負担は軽減し、システム全体の高速化が期待できる。
【００３６】
次に、図７を参照して、複数の画像入力に対する振舞い解析と振舞い識別を組み合わせた画像監視システムの構成例について説明する。図７に示す例では、図６におけるシステム構成を用いて、複数の画像入力による画像監視システムを構築している。振舞い解析処理をハードウェア化することで、ソフトウェア側の振舞い識別装置２０２の処理は、全体の２０％×画像入力装置（監視カメラ）数となる。
【００３７】
図７に示すような構成によれば、例えば監視カメラ１００を４台接続した場合、ソフトウェア側の処理は２０％×４＝８０％となり、通常が１００％×４＝４００％とすると、およそ５倍の処理能力、５倍の処理速度を得ることが可能となる。また、振舞い解析と振舞い識別への処理の分配を考慮することで、複数の画像入力に対しても１台のときと同等の処理が可能となる。
【００３８】
次に、図８を参照して、複数の振舞い解析装置２０１からひとつの識別結果を得る場合の構成例について説明する。この例は、複数の監視カメラ１００及び振舞い解析装置２０１（Ａ及びＢ）の解析結果である時系列データ（ａ及びｂ）を、ひとつの振舞い識別装置２０２に入力する。振舞い識別装置２０２では、振舞い識別パラメータ・データベース２０４内に各振舞い解析装置２０１毎に振舞い識別パラメータ（Ｐａ及びＰｂ）を用意しておく。
【００３９】
図８に示すような構成によれば、ひとつの画像だけでは解析、識別できない状況でも、複数の画像を使用することで識別を可能とする。例えば、障害物の影響等で人物が見えない状況でも、異なる角度から同一人物を捉える監視カメラ１００、及び振舞い解析装置２０１を利用することで、システムの死角を減少させ、振舞い識別の確度を向上させることが可能となる。また、既存の振舞い解析装置に接続し、複雑な振舞いの生成や、誤報除去率の向上、不要な情報の削除等が可能になる。
【００４０】
次に、図９を参照して、振舞い識別パラメータの変更によって異なる振舞い解析装置２０１を使用可能とする例について説明する。図９に示す例では、振舞い解析装置Ａと振舞い解析装置Ｂの出力形式等の仕様が異なるものであっても、振舞い識別パラメータ・データベース２０４に記憶する振舞い識別パラメータの内容を各出力形式に対応させて変更しておけば、あとは振舞い識別装置Ｃと振舞い識別装置Ｄのインターフェースを変更することで、各装置との組み合わせによる使用が可能となる。この場合、時系列データａ、ｂが存在すれば、振舞い識別装置Ｃ、Ｄはパーソナルコンピュータ上のソフトウェアであっても、ハードウェアであっても形態は問わない。図９に示すような構成によれば、既存の振舞い解析装置に接続し、複雑な振舞いの生成や、誤報除去率の向上、不要な情報の削除等が可能になる。
【００４１】
次に、図１０を参照して、監視カメラ１００と人物検出センサ４００を使用した画像監視システムの構成例について説明する。図１０に示す例では、振舞い解析装置２０１からの時系列データと、人物検出センサ４００からの検出信号（センサ出力データ）とを振舞い識別装置２０２の入力とする。振舞い識別パラメータ・データベース２０４には、振舞い解析パラメータと組み合わせてセンサ出力データに対応した識別条件を用意しておく。
【００４２】
図１０に示すような構成によれば、画像だけでなく、各種センサ情報を振舞い識別に使用することが可能となる。例えば赤外線センサや温度センサを利用することで、解析対象の３次元位置や、人物検出の精度を向上させることが可能となる。また、既存の振舞い解析装置、及び既存のセンサを利用して、複雑な振舞いの生成や、誤報除去率の向上、不要な情報の削除等が可能になる。
【００４３】
上記のように、本発明の各実施の形態によれば、システムを振舞い解析と振舞い識別の２段階にすることで、振舞い解析装置２０１で発生した誤報を除去し、より高度な行動解析を可能とする。同様に、振舞い解析装置２０１の解析結果を利用して、新たな振舞い（専用的振舞い）を生成することが可能となる。また、システムの使用目的の変化に対しては、振舞い識別装置２０２の設定変更のみで対応できる。つまり、使用環境や目的に応じて専用的振舞いを生成・変更できる。以上から、複数システムを設置する際の調整が容易となり、工数が減少する。また、既存のシステムに振舞い識別装置２０２を設置することで、画像監視システムの性能を総合的に向上させることが可能となる。
【００４４】
また、従来の振舞い解析装置の上位層として、時系列の瞬間的な振舞い情報（汎用的振舞いの時系列データ）を利用して、意味的な識別を行う振舞い識別装置を設けることで、過去の一定時間の振舞いを検証し、より複雑である人物の意味的な振舞い、例えばｓｉｃｋ（病気）やｄｒｕｎｋ（酔客）などの振舞いを識別することができる。同様にして、振舞い解析で発生した誤報等に対して、過去の振舞いとの関連性を検証することで除去を可能とし、精度を向上させることができる。また、振舞い解析で汎用的な振舞い、振舞い識別で専用的な振舞いを対象とすることで、環境に対するシステムの柔軟性を向上させることができる。
【００４５】
なお、本発明の実施の形態は、上記のものに限定されることなく、例えば振舞い解析装置と振舞い識別装置を一体として構成したり、各装置内のデータベースを統合したり、あるいは通信網を介して遠隔にあるいは分散して配置すること等が可能である。また、本発明の画像処理装置は、コンピュータによって所定のプログラムを実行することで主要な機能を実現することが可能であり、その場合のプログラムは、通信回線やコンピュータ読み取り可能な記録媒体に記録して配布することが可能である。
【図面の簡単な説明】
【００４６】
【図１】本発明の一実施形態に係る画像監視システムのシステム構成図である。
【図２】図１の振舞い解析装置２０１による振舞い解析処理を説明するためのフローチャート図である。
【図３】図１の振舞い識別装置２０２による振舞い識別処理を説明するためのフローチャート図である。
【図４】振舞い識別装置２０２による専用的振舞いの識別方法を示す第１の説明図である。
【図５】振舞い識別装置２０２による専用的振舞いの識別方法を示す第２の説明図である。
【図６】本画像監視システムの第１の変形例である。
【図７】本画像監視システムの第２の変形例である。
【図８】本画像監視システムの第３の変形例である。
【図９】本画像監視システムの第４の変形例である。
【図１０】本画像監視システムの第５の変形例である。
【符号の説明】
【００４７】
１００…監視カメラ、２００…画像処理装置、２０１…振舞い解析装置（振舞い解析手段）、２０２…振舞い識別装置（振舞い識別手段）、２０３…振舞い解析パラメータ・データベース（第１の記憶手段）、２０４…振舞い識別パラメータ・データベース（第２の記憶手段）、３００…監視端末、４００…人物検出センサ
【図１】
2007272488.tif 000003
【図２】
2007272488.tif 000004
【図３】
2007272488.tif 000005
【図４】
2007272488.tif 000006
【図５】
2007272488.tif 000007
【図６】
2007272488.tif 000008
【図７】
2007272488.tif 000009
【図８】
2007272488.tif 000010
【図９】
2007272488.tif 000011
【図１０】
2007272488.tif 000012