(57)【要約】【課題】監視システムの実運用中に効果的かつ効率的に映像解析精度を高めること。【解決手段】映像処理装置であって、監視カメラで撮影された映像データを表示させると共に、前記映像データに含まれる事象のカテゴリを設定するためのカテゴリ設定画面を表示させる表示制御手段と、カテゴリ設定画面に対するオペレータの操作に応じて設定されたカテゴリ情報の適切度を判定する判定手段と、判定手段による判定結果に応じて、前記オペレータの監視技術の習熟度を評価する評価手段と、を備えた。【選択図】  図１
2015070401.tif 000002
【特許請求の範囲】
【請求項１】
監視カメラで撮影された映像データを表示させると共に、前記映像データに含まれる事象のカテゴリを設定するためのカテゴリ設定画面を表示させる表示制御手段と、
前記カテゴリ設定画面に対するオペレータの操作に応じて設定されたカテゴリ情報の適切度を判定する判定手段と、
前記判定手段による判定結果に応じて、前記オペレータの監視技術の習熟度を評価する評価手段と、
を備えた映像処理装置。
【請求項２】
前記カテゴリ情報を前記映像データと共に学習用データとして蓄積する学習用データ蓄積手段と、
前記学習用データ蓄積手段に蓄積された前記学習用データを用いて、前記監視カメラで撮影された映像データを解析して、特定のカテゴリに属する事象を検出し、その検出結果を出力する映像解析手段と、
をさらに備えた請求項１に記載の映像処理装置。
【請求項３】
前記判定手段は、同じ映像に対して、習熟度の高いオペレータが前記カテゴリ設定画面から設定したカテゴリ情報と、習熟度が不明なオペレータが前記カテゴリ設定画面から設定したカテゴリ情報と、を比較して、習熟度が不明なオペレータが設定した前記カテゴリ情報の適切度を判定する請求項１または２に記載の映像処理装置。
【請求項４】
前記監視カメラで撮影された映像データを解析して、前記映像データに含まれる事象のカテゴリ情報を導く映像解析手段をさらに有し、
前記判定手段は、前記映像解析手段が導き出したカテゴリ情報を基準に、習熟度が不明なオペレータが設定した前記カテゴリ情報の適切度を判定する請求項１乃至３のいずれか１項に記載の映像処理装置。
【請求項５】
前記表示制御手段は、前記カテゴリ設定画面において、前記映像データに関連する複数のカテゴリを選択可能に表示させる請求項１乃至４のいずれか１項に記載の映像処理装置。
【請求項６】
前記表示制御手段は、前記事象を含むと判定された映像を表示させると共に、前記映像に含まれる事象のカテゴリを設定するためのカテゴリ設定画面を表示させる請求項１乃至５のいずれか１項に記載の映像処理装置。
【請求項７】
前記評価手段は、前記適切度に基づいて、前記オペレータの映像解析対象の得意カテゴリと不得意カテゴリとを認識する請求項１乃至６のいずれか１項に記載の映像処理装置。    
【請求項８】
前記評価手段により評価された前記オペレータの監視技術の習熟度を通知する通知手段を、さらに備える請求項１乃至７のいずれか１項に記載の映像処理装置。
【請求項９】
監視カメラで撮影された映像データを表示させると共に、前記映像データに含まれる事象のカテゴリを設定するためのカテゴリ設定画面を表示させる表示制御ステップと、
前記カテゴリ設定画面に対するオペレータの操作に応じて設定されたカテゴリ情報の適切度を判定する判定ステップと、
前記判定ステップによる判定結果に応じて、前記オペレータの監視技術の習熟度を評価する評価ステップと、
を含む映像処理方法。
【請求項１０】
監視カメラで撮影された映像データを表示させると共に、前記映像データに含まれる事象のカテゴリを設定するためのカテゴリ設定画面を表示させる表示制御ステップと、
前記カテゴリ設定画面に対するオペレータの操作に応じて設定されたカテゴリ情報の適切度を判定する判定ステップと、
前記判定ステップによる判定結果に応じて、前記オペレータの監視技術の習熟度を評価する評価ステップと、
をコンピュータに実行させる映像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視カメラからの映像を解析する技術に関する。
【背景技術】
【０００２】
上記技術分野において、特許文献１には、リアルタイム学習により、挙動認識システムの事前知識、事前学習を不要とする技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１０−５１８５２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記文献に記載の技術では、挙動認識を機械学習することにより、類似の物体の過去の観測に基づいて、一定の挙動を正常または異常と特徴付けている。これでは、システム運用者が積極的に介在、支援しないため、監視システムの実運用中に効果的かつ効率的にオペレータの習熟度を高めることができない。
【０００５】
本発明の目的は、上述の課題を解決する技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明に係る映像処理装置は、
監視カメラで撮影された映像データを表示させると共に、前記映像データに含まれる事象のカテゴリを設定するためのカテゴリ設定画面を表示させる表示制御手段と、
前記カテゴリ設定画面に対するオペレータの操作に応じて設定されたカテゴリ情報の適切度を判定する判定手段と、
前記判定手段による判定結果に応じて、前記オペレータの監視技術の習熟度を評価する評価手段と、
を備えた。
【０００７】
上記目的を達成するため、本発明に係る映像処理方法は、
監視カメラで撮影された映像データを表示させると共に、前記映像データに含まれる事象のカテゴリを設定するためのカテゴリ設定画面を表示させる表示制御ステップと、
前記カテゴリ設定画面に対するオペレータの操作に応じて設定されたカテゴリ情報の適切度を判定する判定ステップと、
前記判定ステップによる判定結果に応じて、前記オペレータの監視技術の習熟度を評価する評価ステップと、
を含む。
【０００８】
上記目的を達成するため、本発明に係る映像処理プログラムは、
監視カメラで撮影された映像データを表示させると共に、前記映像データに含まれる事象のカテゴリを設定するためのカテゴリ設定画面を表示させる表示制御ステップと、
前記カテゴリ設定画面に対するオペレータの操作に応じて設定されたカテゴリ情報の適切度を判定する判定ステップと、
前記判定ステップによる判定結果に応じて、前記オペレータの監視技術の習熟度を評価する評価ステップと、
をコンピュータに実行させる。
【発明の効果】
【０００９】
本発明によれば、監視システムの実運用中に効果的かつ効率的にオペレータの習熟度を高めることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１実施形態に係る映像処理装置の構成を示すブロック図である。
【図２Ａ】本発明の前提技術に係る映像監視システムの構成を示すブロック図である。
【図２Ｂ】本発明の前提技術に係る映像監視システムの構成を示すブロック図である。
【図３】本発明の前提技術に係る映像監視システムの処理の流れを示すフローチャートである。
【図４】本発明の前提技術に係る映像監視システムの学習処理の流れを示すフローチャートである。
【図５Ａ】本発明の第２実施形態に係る映像監視システムの構成を示すブロック図である。
【図５Ｂ】本発明の第２実施形態に係る映像監視システムの構成を示すブロック図である。
【図５Ｃ】本発明の第２実施形態に係る映像監視システムの構成を示すブロック図である。
【図６Ａ】本発明の第２実施形態に係る映像監視システムで用いられるカテゴリテーブルの構成を示す図である。
【図６Ｂ】本発明の第２実施形態に係る映像監視システムで用いられるカテゴリテーブルの構成を示す図である。
【図６Ｃ】本発明の第２実施形態に係る映像監視システムで用いられるカテゴリ情報の構成を示す図である。
【図７Ａ】本発明の第２実施形態に係る映像監視システムの表示画像例を示す図である。
【図７Ｂ】本発明の第２実施形態に係る映像監視システムに格納されるカメラごとの発生事象テーブルの例を示す図である。
【図７Ｃ】本発明の第２実施形態に係る映像監視システムに格納されるオペレータごとの発見事象テーブルの例を示す図である。
【図７Ｄ】本発明の第２実施形態に係る映像監視システムに格納されるオペレータごとのカテゴリ情報比較結果を示す図である。
【図７Ｅ】本発明の第２実施形態に係る映像監視システムに格納されるオペレータごとのレベル設定テーブルの例を示す図である。
【図７Ｆ】本発明の第２実施形態に係る映像監視システムに格納されるオペレータごとの監視傾向テーブルの例を示す図である。
【図８】本発明の第２実施形態に係る映像監視システムの表示画像例を示す図である。
【図９Ａ】本発明の第２実施形態に係る映像監視システムの処理の流れを示すフローチャートである。
【図９Ｂ】本発明の第２実施形態に係る映像監視システムの処理の流れを示すフローチャートである。
【図９Ｃ】本発明の第２実施形態に係る映像監視システムの処理の流れを示すフローチャートである。
【図１０Ａ】本発明の第２実施形態に係る映像監視システムの処理の流れを示すフローチャートである。
【図１０Ｂ】本発明の第２実施形態に係る映像監視システムの処理の流れを示すフローチャートである。
【図１１Ａ】本発明の第２実施形態に係る映像監視システムの表示画像例を示す図である。
【図１１Ｂ】本発明の第２実施形態に係る映像監視システムの表示画像例を示す図である。
【図１１Ｃ】本発明の第２実施形態に係る映像監視システムの表示画像例を示す図である。
【図１１Ｄ】本発明の第２実施形態に係る映像監視システムの表示画像例を示す図である。
【図１２】本発明の第２実施形態に係る映像監視システムで用いられる他のカテゴリ情報の構成を示す図である。
【発明を実施するための形態】
【００１１】
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
【００１２】
［第１実施形態］
本発明の第１実施形態としての映像処理装置１００について、図１を用いて説明する。図１に示すように、映像処理装置１００は、表示制御部１０２と、判定部１０３と、評価部１０４と、を含む。
【００１３】
表示制御部１０２は、監視カメラ１１０で撮影された映像データ１１１を表示させると共に、映像データ１１１に含まれる事象のカテゴリを設定するためのカテゴリ設定画面１２１を表示させる。
【００１４】
判定部１０３は、カテゴリ設定画面１２１に対するオペレータの操作に応じて設定されたカテゴリ情報１２２の適切度を判定する。
【００１５】
評価部１０４は、判定部１０３による判定結果を収集して、オペレータ１２０の監視技術の習熟度を評価する。
【００１６】
本実施形態によれば、監視システムの実運用中に効果的かつ効率的にオペレータの習熟度を高めることができる。
【００１７】
［第２実施形態］
本発明の第２実施形態は、映像検知エンジンの検知対象の学習用映像をカテゴリ別に収集し、収集した学習用映像を新規モジュール作成、既定モジュールの精度向上に活用する技術に関するものである。なお、以下の説明中「映像」という用語は、動画のみを意味する概念ではなく、静止画をも含む概念として用いている。
【００１８】
（前提技術）
まず、本発明の第２実施形態に係る映像監視システムの前提技術について、図２Ａ〜図４を用いて説明する。図２Ａ、図２Ｂは、本実施形態の映像監視システム２００を説明するための図である。
【００１９】
図２Ａに示すように、映像監視システム２００は、データセンタ２０１と監視カメラ群２０２とを含む。データセンタ２０１は、映像解析プラットフォーム２１０と映像監視プラットフォーム２２０とを含み、さらに、複数の映像監視操作端末群２３２を含んでいる。この図では、複数の映像監視操作端末群２３２を備えた映像監視室２３０の様子を示している。映像監視室２３０では、オペレータ２４０が、映像監視操作端末群２３２のそれぞれの端末が備える２画面のモニタを見ながら、監視対象映像をチェックしている。ここでは、左画面において１６画面分割表示を行ない、右画面において１画面拡大表示を行なった場合の例を示している。しかし、本発明はこれに限定されるものではなく、どのような表示でもよい。例えば左右が逆でもよいし、それぞれの画面での分割数も任意の数である。映像監視室２３０の前方の壁には、複数の大型モニタ２３１が設けられ、問題のある映像または静止画面が表示される。このような映像監視室２３０では、例えば、２００人のオペレータ２４０が、交代しながら、一人あたり１６カメラの映像を監視し、全２０００カメラの映像を２４時間３６０日間監視し続ける。そして、オペレータ２４０は、割り当てられた１６台の監視カメラの映像を見つつ、暴走車、銃やナイフなどの危険物、窃盗、ひったくり、家出、傷害事件、殺人、麻薬取引、不法侵入といった問題行為、それらに準ずる物および行為（例えば不審者や群衆の動き）などといった検出すべき事象を見つけ出し、スーパバイザに報告する。スーパバイザは、映像を再確認して、必要に応じて警察や病院に連絡し、被害者の救助および犯罪者の逮捕に協力する。
【００２０】
映像監視プラットフォーム２２０は、ＶＭＳ(Video Management System)と呼ばれ、監視カメラ群２０２から取得した映像データの保存、および映像監視操作端末群２３２に対する配信を行なう。その結果、映像監視操作端末群２３２では、所定の割り当てルールに応じて、映像データのリアルタイム表示を行なう。映像監視プラットフォーム２２０は、映像監視操作端末群２３２を操作するオペレータ２４０からのリクエストに応じて、監視カメラ群２０２のいずれかを選択し、ＰＴＺ（パン・チルト・ズーム）操作指示を送る。
【００２１】
映像解析プラットフォーム２１０は、映像監視プラットフォーム２２０において保存された映像データに対して解析処理を施し、条件に合った映像データが存在した場合、対象となる映像データを指定したアラート情報を映像監視プラットフォーム２２０へ送信する。映像監視プラットフォーム２２０は、映像解析プラットフォーム２１０から受け取ったアラート情報に応じて、アラート画面を生成し、映像監視操作端末群２３２の所定端末に対して通知する。場合によっては、問題映像の強制拡大表示、大型モニタ２３１への表示を行なう。
【００２２】
図２Ｂは、映像監視システム２００の詳しい構成を示すブロック図である。図２に示すとおり、映像監視プラットフォーム２２０は、監視カメラ群２０２から映像データ２５０を収集して、採取時刻、カメラ位置、カメラＩＤ、その他の情報を付加して映像ストレージ２２１に蓄積する。また、カメラ選択操作部２２２は、オペレータ２４０による映像監視操作端末群２３２を介した、カメラの指定およびＰＴＺ（パン・チルト・ズーム）操作指示を受け取り、指定された監視カメラを操作する。
【００２３】
映像監視プラットフォーム２２０は、映像監視操作端末群２３２に対してアラートを表示させる表示制御部２２３と、映像監視操作端末群２３２からの指示に応じて、映像ストレージ２２１に保存された過去映像の再生／編集を行なう映像読出処理部２２４とを含む。
【００２４】
映像解析プラットフォーム２１０は、既定映像解析モジュール２１１を備えている。各映像解析モジュールは、それぞれ別々の種類の問題映像を検出するためのアルゴリズムおよび/またはパラメータで構成されている。これらの既定映像解析モジュール２１１は、あらかじめ用意されたアルゴリズムおよびパラメータを用いて、あらかじめ設定された事象を含む映像検出を行ない、検出した映像データに対して、あらかじめ用意されたアラート情報を映像監視プラットフォーム２２０に送信する。
【００２５】
図３は、データセンタ２０１での処理の流れを説明するためのフローチャートである。ステップＳ３０１において、映像監視プラットフォーム２２０は、監視カメラ群２０２から、映像データ２５０を受信する。
【００２６】
次に、ステップＳ３０２において、映像監視プラットフォーム２２０は受信した映像データ２５０を映像ストレージ２２１へ保存し、映像監視操作端末群２３２および映像解析プラットフォーム２１０へ送信する。
【００２７】
次に、ステップＳ３０３において、カメラ選択操作部２２２は、映像監視操作端末群２３２を介してオペレータ２４０からカメラ選択情報とカメラ操作情報とを受信し、選択された監視カメラに対して操作コマンドを送信する。
【００２８】
一方、ステップＳ３０４では、映像解析プラットフォーム２１０が、既定映像解析モジュール２１１を用いて、映像監視プラットフォーム２２０から受信した映像データの解析処理を行なう。
【００２９】
そして、ステップＳ３０５において、既定映像解析モジュール２１１は、あらかじめ定められた条件を満たす映像を検出した場合に、ステップＳ３０７に進み、アラート情報を映像監視プラットフォーム２２０へ送信する。アラートを検出しない場合には特別な動作を行なわず処理を終了する。
【００３０】
さらにステップＳ３０８では、映像監視プラットフォーム２２０の表示制御部２２３にてアラート画面を生成し、対象監視カメラの映像と共に映像監視操作端末群２３２に送信する。
【００３１】
ステップＳ３０９では、アラート画面に対するオペレータ２４０の報告操作（スーパーバイザや警察への報告操作）を受け付ける。
【００３２】
図４は、既定映像解析モジュール２１１を生成する際の処理の流れを説明するためのフローチャートである。ここでの映像解析モジュール生成処理は、データセンタ２０１を現地に構築する前に行なう。まずステップＳ４０１では、膨大な過去映像の中から検出すべき事象を含む映像を人間の目で大量に抽出する。あるいは、ステップＳ４０２において、実運用環境と類似の環境において、検出すべき事象と類似する事象を意図的に発生させ、撮影を実施し、サンプル映像を抽出する。ステップＳ４０３では、抽出／収集された大量の映像データの一つ一つに対してマニュアルで付加情報を付与し、学習用映像を作成する。さらに、ステップＳ４０４では、対象となるオブジェクト、事象、動作に対して最適なアルゴリズムを研究者／エンジニアが選択し、学習用映像データを学習させて既定映像解析モジュール２１１を生成する。
【００３３】
（前提技術の課題）
上記前提技術では既定映像解析モジュールを作成する際、収集と正解付けに莫大な工数と期間を必要としていた。例えば、顔認証では２０００枚の画像、ライセンスプレート認識では２００枚の画像、ディープラーニングでの特定事象検知では１００万枚の画像が必要であり、導入までのハードルが高かった。つまり、学習用映像からの映像解析モジュール（識別器）作成はマニュアルで実施され、その過程の中で映像解析モジュールの動作検証も個別に実施しており、個別に環境を整備していた為、工数と期間を必要としていた。
【００３４】
これに対し、近年、犯罪や事故の種別が多様化する中で、検出できる事象の追加処理に対する運用顧客の需要は高まっている。また、監視環境とは異なる環境で収集をした学習用映像のみを適用した既定映像解析モジュールでは、実際の映像監視環境によっては問題映像の検出精度が大きく落ちてしまう場合があった。そして、実際の監視環境にフィットさせるためには、多くの工数と長い期間を必要としていた。
【００３５】
しかし一方で、図４のステップＳ４０２、Ｓ４０３の作業を現場のオペレータに任せてしまうと、学習用映像データの精度がオペレータの能力や習熟度に左右されてしまい、ひいては映像解析精度の低下が懸念される。
【００３６】
（本実施形態の構成）
図５Ａ〜図５Ｃは、本実施形態に係る監視情報処理システムの一例としての映像監視システム５００の構成を示すブロック図である。前提技術と同様の構成には同じ符号を付して説明を省略する。図２Ａに示した前提技術と異なり、本実施形態に係る映像処理装置の一例としてのデータセンタ５０１は、図５Ａに示すように、学習用データベース５４０とオペレータ評価プラットフォーム５５０と映像監視操作端末５７０とを新たに備える。また、映像解析プラットフォーム５１０、映像監視プラットフォーム５２０もそれぞれ異なる構成を備える。
【００３７】
学習用データベース５４０は、学習用映像データを蓄積する。オペレータ評価プラットフォーム５５０は、映像監視室２３０で映像を監視するオペレータ２４０を評価するためのプラットフォームである。映像監視操作端末５７０は、スーパバイザ５８０がカテゴリ指定を行なうための端末である。
【００３８】
図５Ｂは、映像解析プラットフォーム５１０および映像監視プラットフォーム５２０の内部構成を詳しく説明するための図である。
【００３９】
映像解析プラットフォーム５１０は、新規に作成される新規映像解析モジュール５１１とカテゴリ追加部５１５と新規映像解析モジュール生成部５１６とを備える。一方、映像監視プラットフォーム５２０は、新たに学習用映像登録部５２５を備える。
【００４０】
学習用データベース５４０は、オペレータ２４０が選択したカテゴリ情報５６１を付加された学習用映像データ５６０を蓄積する。
【００４１】
ここで、カテゴリ情報５６１とは映像中に検知したいオブジェクト、動作の分類を示す情報である。カテゴリとしては、例えば"拳銃"、"ナイフ"、"喧嘩"、"暴走"、"バイクの二人乗り"、"麻薬取引"等がある。映像解析プラットフォーム５１０は、既定カテゴリテーブル５１７と新規カテゴリテーブル５１８とを備えており、各種のカテゴリとその属性が対応付けて保存されている。既定カテゴリテーブル５１７は、システム導入時に事前設定されている既定のカテゴリとその属性を設定するものである。一方、新規カテゴリテーブル５１８は、オペレータ２４０とスーパバイザ５８０とによって新たに設定されたカテゴリとその属性を設定するテーブルである。
【００４２】
図６Ａ、図６Ｂは、既定カテゴリテーブル５１７と新規カテゴリテーブル５１８の内容を示す図である。既定カテゴリテーブル５１７と新規カテゴリテーブル５１８は、カテゴリ名に対応付けて、カテゴリ種別、形状、軌跡情報、大きさの閾値などを記憶している。これらを参照することにより、映像解析モジュール２１１、５１１は、映像データに含まれる事象のカテゴリを決定することができる。
【００４３】
図６Ｃに、映像監視操作端末群２３２から学習用映像登録部５２５に送られるカテゴリ情報５３１の内容を示す。図６Ｃに示すように、カテゴリ情報５３１としては、「カテゴリ」、「カメラＩＤ」、「映像撮影時刻」、「事象領域」、「オペレータ情報」、「カテゴリ種別」を登録する。ここで、「カメラＩＤ」とは、監視カメラを特定するための識別子である。「映像撮影時刻」とは、そのカテゴリを付加すべき映像データが撮影された年月日と時刻を示す情報である。特定の期間（採取開始〜終了）を表す場合もある。「事象領域」とは、映像における"対象となる形"、"映像背景差分"、"背景差分の全体映像の中の位置"を表す情報である。事象領域は矩形領域だけでなく、マスク映像、背景差分映像、多角形映像等、様々な種類を用意する。「オペレータ情報」とは、カテゴリを付与したオペレータの情報を示し、オペレータＩＤや名前などを含む。カテゴリ種別とは、検知対象物/事象のタイプのことである。例えばカテゴリ"銃"については、対象となる銃の「形状」を学習用映像データとして蓄積するカテゴリ種別である。また、カテゴリ"暴走"であれば、指定領域の背景差分の起点から終点までの軌跡を「動作」として学習用映像データを蓄積するカテゴリ種別である。さらに、カテゴリ"麻薬取引"であれば、映像全体における背景差分の軌跡を「動作」として学習用映像データを蓄積するカテゴリ種別ｄせある。
【００４４】
図５Ｂに戻ると、カテゴリ追加部５１５は、パラメータの調整または追加によって、新たに検出しようとする事象のカテゴリを増やすことができる場合、映像解析モジュール２１１、５１１に対してパラメータの調整または追加を行なう。一方、既に存在する映像解析モジュール２１１、５１１のパラメータの調整または追加では、新たに検出しようとする事象カテゴリを増やすことができないと判断した場合、新規映像解析モジュール生成部５１６を用いて新規映像解析モジュール５１１を生成する。また、学習用データベース５４０に蓄積された学習用映像データ５６０を、カテゴリ情報５６１に基づいて選択した映像解析モジュール２１１、５１１に振り分け、それぞれの映像解析モジュールに学習処理を行なわせる。
【００４５】
表示制御部５２３は、図７Ａに示すようなカテゴリ選択画面７０１を生成して、映像データと共に映像監視操作端末群２３２に送る。この例では１台の映像監視操作端末２３２が、２枚のディスプレイ７１０、７２０を備えており、左側のディスプレイ７１０には、１６台の監視カメラ群２０２から取得した１６枚の映像が表示されている。そのなかから、何らかの事件や事象が表示されているもの（例えば左隅の映像７１１）を選択すると、右側のディスプレイ７２０に拡大表示される。それと同時に、左側の選択映像７１１を撮影したカメラの属性や、映像解析プラットフォーム５１０によるリアルタイム映像解析などにより、右側のディスプレイ７２０に拡大された映像に含まれる事象の候補をカテゴリ選択画面７０１として表示する。カテゴリ選択画面７０１には、あらかじめ用意されたカテゴリ（例えば「ヘルメット無し」「バイク二人乗り」「スピード超過」「拳銃」「ナイフ」「麻薬取引」「喧嘩」など）とは別に、カテゴリの選択肢として「その他」７１２が含まれている。
【００４６】
ここで、カテゴリの選択肢が多すぎるとオペレータ２４０によるカテゴリ選択のモチベーションが下がってしまう。そこで、図７Ｂに示すカメラ事象テーブル７０２を参照することによりあらかじめ予測した一部のカテゴリ候補（例えば５個）のみをカテゴリ選択画面７０１に表示することが好ましい。カメラ事象テーブル７０２は、カメラＩＤ７２１ごとに、そのカメラで撮影される映像に含まれる可能性の高い事象のカテゴリを蓄積したものであり、統計データ５４１の一部として学習用データベース５４０に保存される。カメラ事象テーブル７０２は、発生した事象のカテゴリ７２２とその発生率７２３とを、発生率の高いものから順次記憶する。
【００４７】
カテゴリ選択画面７０１を介して選択されたカテゴリに関するカテゴリ情報５６１はカテゴリが選択された映像データ５６０と共に学習用データベース５４０に蓄積される。
【００４８】
学習用映像登録部５２５は、「その他」７１１が選択された映像については、スーパバイザ５８０が適宜、映像監視操作端末５７０を介して具体的なカテゴリを入力できるように、別途、学習用データベース５４０に蓄積する。また、「その他」が選択された際、その時点での映像を示す映像識別情報と共に、カテゴリ入力を求めるアラートが、スーパバイザ５８０用の映像監視操作端末５７０に送信される。オペレータ２４０が映像監視操作端末群２３２を通じて映像監視中にカテゴリ選択操作を実施すると、映像識別情報とカテゴリ情報とのセット５３１を、映像監視プラットフォーム５２０を介して学習用データベース５４０に蓄積する。一方、表示制御部５２３は、スーパバイザ５８０による新規カテゴリ生成処理を促すための、新規カテゴリ生成画面を映像監視操作端末５７０に送信する。
【００４９】
新規映像解析モジュール生成部５１６は、新たなカテゴリにフィットする既存アルゴリズムを選択し、そのアルゴリズムに従ったニューラルネットワーク等により、新たな映像解析モジュールを作成する。そしてさらに、蓄積された学習用映像データを用いて、学習させる。学習、適用処理としては、カテゴリに合わせてバッチ処理かオンザフライ処理かを選択可能である。
【００５０】
カテゴリ追加部５１５は、バッチ処理、もしくはリアルタイム処理を施し、追加されたカテゴリに関する情報を新規カテゴリテーブル５１８に登録する。既定映像解析モジュール２１１は、既定カテゴリテーブル５１７を参照して映像中の事象のカテゴリを決定する。一方、新規映像解析モジュール５１１は、新規カテゴリテーブル５１８を参照して、映像中の事象のカテゴリを決定する。
【００５１】
既定映像解析モジュール２１１、新規映像解析モジュール５１１は、指定されたカテゴリに基づいてそれぞれの学習用映像データを用いて学習処理を行なう。これにより、既定映像解析モジュール２１１の映像解析精度が向上し、新規映像解析モジュール５１１は新たな映像解析モジュールとして完成する。
【００５２】
新規映像解析モジュール生成部５１６は、新たなカテゴリにフィットする既存アルゴリズムがない場合には、新たなアルゴリズム（例えば、人の前を複数の人が通過しても、後ろの人をまだ人として認識する）を自動生成する。
【００５３】
オペレータ評価プラットフォーム５５０には、オペレータごとのカテゴリ設定統計データつまり、図７Ｃに示すオペレータ評価データベース７０３が含まれる。オペレータ評価データベース７０３は、オペレータＩＤ７３１ごとに、そのオペレータが発見した事象を、発見率の高い順番に蓄積したものである。発見率は、例えば、スーパバイザまたは映像解析プラットフォーム５１０がある映像中に発見した事象を、そのオペレータがどれぐらいの確率で発見できたかを示す。１００％に近いほど、このオペレータのその事象発見に対する習熟度が高いことになる。
【００５４】
このようなオペレータ評価データベース７０３を生成するため、オペレータ評価プラットフォーム５５０は、図５Ｃに示す構成を有する。
【００５５】
すなわち、オペレータ評価プラットフォーム５５０は、基準カテゴリ情報取得部５５１と、オペレータカテゴリ情報取得部５５２と判定部５５３とオペレータ評価結果通知部５５６と評価部５５７とを備える。
【００５６】
基準カテゴリ情報取得部５５１は、映像解析プラットフォームの既定映像解析モジュール２１１による解析の結果、導き出されたカテゴリ情報、または、スーパバイザまたは習熟度の高いオペレータがカテゴリ設定画面から設定したカテゴリ情報を基準カテゴリ情報として取得する。また、オペレータカテゴリ情報取得部５５２は、習熟度が不明なオペレータがカテゴリ設定画面から設定したカテゴリ情報を取得する。
【００５７】
判定部５５３は、同じ映像に対して、スーパバイザまたは習熟度の高いオペレータがカテゴリ設定画面から設定したカテゴリ情報と、習熟度が不明なオペレータがカテゴリ設定画面から設定したカテゴリ情報と、を比較する。そして、その比較結果から、カテゴリ設定画面に対するオペレータの操作に応じて設定されたカテゴリ情報の適切度を判定する。
【００５８】
オペレータ評価データベース７０３は、判定部５５３による判定結果を収集する。評価部５５７は、適切度に基づいて、オペレータの監視技術の習熟度を評価する。さらに、評価部５５７は、さらに適切度に基づいて、オペレータの映像解析対象の得意カテゴリと不得意カテゴリとを認識する。
【００５９】
評価通知部５５６は、評価部５５７により評価されたオペレータの監視技術の習熟度を通知する。その習熟度は、映像監視プラットフォーム５２０を介して、オペレータおよびスーパバイザに伝えられる。
【００６０】
図７Ｄは、基準カテゴリ情報とオペレータが設定したカテゴリ情報との比較テーブル７０４を示す。この比較テーブル７０４では、オペレータＩＤごと、かつ映像ＩＤごとに、映像解析モジュール２１１またはスーパバイザがどのようなカテゴリの事象を発見したか、あるいは未習熟のオペレータが、どのようなカテゴリの事象を発見し、あるいは発見しなかったかを記憶する。比較テーブル７０４は、オペレータ評価データベース７０３に格納される。
【００６１】
そして、それらの結果を比較して、オペレータが起こした発見ミスとカテゴリ設定ミスをカウントする。比較結果を蓄積することにより、オペレータ毎の評価を行なう。基準カテゴリ情報が設定されている映像に対してオペレータがカテゴリ情報を設定しなかった場合には、発見ミスとなり、誤ったカテゴリ情報を設定した場合には、カテゴリ設定ミスとなる。発見ミスは、カテゴリ設定ミスよりも評価が低くなるように重み付けされている。
【００６２】
図７Ｅは、蓄積した比較結果を用いてオペレータ評価を算出するための評価テーブル７０５を示す図である。オペレータＩＤごとに、監視日時、事象のカテゴリ、事象発見の難易度、監視結果（発生数、発見数、発見率）、カテゴリ設計精度（正解数、正解率）、カテゴリごとの評価、監視期間ごとの総合評価、全期間でのオペレータレベルを記憶する。
【００６３】
例えば、カテゴリごとの正解率を、難易度で重み付けしつつ足し込むことで、オペレータの総合評価を得ることができる。また、カテゴリ毎の正解率をまとめることにより、図７Ｆに示すような、得意、不得意を表わすオペレータ傾向テーブル７０６を生成してもよい。
【００６４】
図８は、各オペレータに対して評価結果をフィードバックするための通知画面８０１の一例を示す図である。カテゴリ毎の難易度、発見率、カテゴリ正解率、評価結果を通知する。
【００６５】
（処理の流れ）
図９Ａ〜図９Ｃは、映像監視システム５００による処理の流れを説明するためのフローチャートである。ステップＳ３０１からステップＳ３０８までは、図３において説明した前提技術の処理と同様であるため、ここでは説明を省略し、ステップＳ９０９以降のステップについて説明する。
【００６６】
オペレータが、映像監視操作端末で監視中に着目すべき映像が見つかった場合、あるいは、映像解析プラットフォーム５１０による映像解析の結果、着目すべき映像が見つかった場合、ステップＳ３０３またはＳ３０８から、ステップＳ９０９に進む。
【００６７】
ステップＳ９０９においては、オペレータによるカテゴリ付与操作を受け付ける。
【００６８】
図９Ｂは、オペレータによるカテゴリ付与操作受付処理の流れを示すフローチャートである。まず、ステップＳ９１１では、表示制御部５２３は、映像監視操作端末群２３２において図７Ａに示すようなカテゴリ選択画面７０１を表示してカテゴリ選択操作を待つ。
【００６９】
ここで選択したカテゴリが、特定のカテゴリの場合には、ステップＳ９１２に進み、学習用映像登録部５２５において、カテゴリ情報を生成して、映像データに付与し、学習用映像データを生成する。
【００７０】
次にステップＳ９１３では、学習用映像登録部５２５が、生成した学習用映像データを学習用データベース５４０蓄積し、さらにステップＳ９０４において、既定の映像解析モジュール２１１で学習処理を行なう。
【００７１】
一方、ステップＳ９１１において、オペレータ２４０が、「その他」カテゴリを選択した場合には、ステップＳ９１５に進み、学習用映像登録部５２５にてカテゴリ名を"その他"、カテゴリ種別を"NULL"としたカテゴリ情報を生成し、学習用映像データに付与する。
【００７２】
次にステップＳ９１６では、学習用映像登録部５２５が、カテゴリ情報「その他」を付加した学習用映像データを学習用データベース５４０に格納すると同時に、表示制御部５２３が、スーパバイザ５８０の映像監視操作端末５７０に対し学習用映像データおよび新規カテゴリ設定画面を送る。
【００７３】
ステップＳ９１７において、カテゴリ追加部５１５は、スーパバイザ５８０の指示を受けて新たなカテゴリを設定し、蓄積された学習用映像データとの紐付けを行なう。
【００７４】
ステップＳ９１８に進むと、カテゴリ追加部５１５が、設定された新たなカテゴリにフィットする既定映像解析モジュール２１１があるか否かを判定する。設定された新たなカテゴリにフィットする既定の映像解析モジュール２１１がある場合には、ステップＳ９１９に進み、対象の既定映像解析モジュール２１１の新たなカテゴリとして設定し、さらにステップＳ９１４において、新たなカテゴリを付された学習用映像データを用いて学習を行なう。
【００７５】
一方、ステップＳ９１８において、設定された新たなカテゴリにフィットする既定の映像解析モジュール２１１が存在していなければ、ステップＳ９２１に進み、新規映像解析モジュール５１１を生成し、学習用映像して学習させる。
【００７６】
図９Ｂは、ステップＳ９２１の新規映像解析モジュール生成処理の詳細な流れを示すフローチャートである。ステップＳ９３１では、不図示のアルゴリズムデータベースを参照する。ステップＳ９３３では、スーパバイザによって指定されたカテゴリ種別に応じたアルゴリズム（例えば特徴ベクトルを抽出するアルゴリズム、ブロブ（小さな画像領域）の集合からなるクラスタとそのクラスタの境界を抽出するアルゴリズムなど）を選択し、映像解析プログラムモジュールの骨組みを生成する。次に、ステップＳ９３５では、スーパバイザによって指定された判定領域を用いて、映像解析モジュールが解析対象とする映像領域を設定する。さらにステップＳ９３７において、複数の学習用映像データを用いて、検出対象となる物の形状、大きさや、検出対象となる動きの方向、距離などの閾値を決定する。このとき、学習用映像データ中の検出対象となる物やその動作の特徴ベクトルを抽出しその特徴量を閾値として設定してもよい。ブロブの集合からなるクラスタとそのクラスタの境界を特徴量として抽出する場合、その特徴量を閾値として設定してもよい。
【００７７】
図１０Ａは、積極的にオペレータの評価を行なう場合の、オペレータ評価処理の流れを示すフローチャートである。
【００７８】
まずステップＳ１００１において、映像監視プラットフォーム５２０がいずれかの映像監視操作端末から端末ＩＤとその端末を使用するオペレータのオペレータＩＤを取得すると、評価すべきオペレータか否かを判定する。オペレータＩＤに基づいて評価対象のオペレータと判断すると、ステップＳ１００３では、オペレータ評価プラットフォーム５５０がそのオペレータの端末に対して、学習用データベース５４０から、カテゴリ情報が付随した映像データを選択して、読み出す。さらに、映像監視プラットフォーム５２０を介して映像監視操作端末群２３２に送信する。このとき、過去の評価によって設定されたオペレータレベルがある場合には、そのオペレータレベルに応じた難易度のカテゴリを含む映像を読出して、その端末に表示する。
【００７９】
次に、ステップＳ１００３に進み、オペレータカテゴリ情報取得部５５２がオペレータによるカテゴリ設定受付処理を行なう。このとき、オペレータレベルに応じて、カテゴリの選択肢を変えてもよい。例えば、超初心者のオペレータの場合には、注目すべき映像をオペレータに教えた上で、カテゴリを２択とし、中級のオペレータの場合には、注目すべき映像を第１数（例えば８つ）の映像から選択させた上でカテゴリも４択としてもよい。上級のオペレータの場合には、注目すべき映像を第１数より多い第２数（例えば１６）の映像から選択させた上でカテゴリも８択としてもよい。
【００８０】
このようにオペレータレベルに応じて、映像やカテゴリ選択肢を変えるには、オペレータ評価プラットフォーム５５０に、オペレータＩＤ取得部やオペレータレベル取得部を設ければよい。さらに、取得したオペレータＩＤやオペレータレベルに応じたカテゴリ設定画面の表示を行なうカテゴリ設定画面表示部を設けてもよい。
【００８１】
また、複数の映像中から事象を含む問題映像を発見しないまま所定時間が経過した場合、図１１Ａの画面１１０１に示すように、ベテランオペレータやスーパバイザがあらかじめ発見した問題映像１１１１を知らせて、カテゴリ設定画面１１１２でカテゴリ入力のみ求めてもよい。また、図１１Ｂの画面１１０２に示すように、映像解析プラットフォーム５１０があらかじめ発見した問題映像１１２１を知らせて、カテゴリ設定画面１１２２でカテゴリ入力のみ求めてもよい。
【００８２】
さらにステップＳ１００５では、判定部５５３が、評価終了を判定し、評価対象となる映像データが終了した場合や、所定時間の評価が終了した場合や、所定回数のカテゴリ設定が行なわれた場合には、評価終了と判定してステップＳ１００７に進む。ステップＳ１００７では、判定部５５２および評価部５５７がカテゴリ適切度を評価して出力する。
【００８３】
図１０Ｂは、オペレータ評価処理の詳しい流れを示すフローチャートである。まず、ステップＳ１０１１では、映像監視操作端末で設定されたカテゴリ情報を取得する。次に、ステップＳ１０１３では、映像データに付随しているカテゴリ情報と比較して、そのカテゴリが同じか判定する。カテゴリが異なれば、ステップＳ１０１５に進み、正解カテゴリをオペレータに通知する。
【００８４】
図１１Ｃは、正解カテゴリ通知画面１１０３の一例を示す図である。正解カテゴリ通知画面１１０３では、１６分割画面中の画面位置、オペレータ設定カテゴリ、正解カテゴリを表示する。正解カテゴリ通知画面１１０３によると、どのような映像に対して、そのオペレータがどのようにカテゴリ設定を行ない、どのように誤ったのか復習することができる。
【００８５】
図１０Ｂに戻ると、ステップＳ１０１３で、あらかじめ設定されたカテゴリとオペレータが選択したカテゴリが同一であれば、カテゴリ選択が適切と判断し、ステップＳ１０１７に進む。ステップＳ１０１７では、評価ポイントをアップさせるべく、オペレータ評価データベース７０３を更新する。さらに、ステップＳ１０１９に進むと、評価結果をオペレータに提示する。
【００８６】
図１１Ｄは、評価結果表示画面１１０４の一例を示す図である。オペレータＩＤ、カテゴリ正答率、総合評価、オペレータレベルなどを表示する。カテゴリ正解率の平均値や標準偏差などを表示してもよい。ベテランオペレータのカテゴリ正解率の平均値を表示してもよい。
【００８７】
以上のようにオペレータを評価するが、評価結果を表示するだけではなく、他の用途に用いてもよい。例えば、図１２に示すように、オペレータが設定したカテゴリ情報１２０１について、そのオペレータのオペレータレベルに応じた重み付け値を設定し、映像データに付随するカテゴリ情報の信頼性を設定してもよい。映像解析プラットフォーム５１０は、そのような重み付け値を参照しつつ、大量の映像データから特定カテゴリの映像データを効果的に抽出してもよい。抽出した映像データについて、レベルの高いオペレータがカテゴリを付与した映像データが見つかった場合には、信頼性が高いものとして赤くアラートし、レベルの低いオペレータのみがカテゴリを付与した映像データが見つかった場合には、信頼性が高いものとして青くアラートしてもよい。
【００８８】
あるいは、オペレータレベルに応じて、担当する監視カメラの割り振りを行なってもよい。つまり、重要カメラ映像（例えば犯罪が多い地域のカメラ映像）については一定値以上のレベルのオペレータのみを自動的に割り振るように制御してもよい。カメラＩＤに紐付けて最低オペレータレベルを設定し、オペレータＩＤの入力と共にログインがあった場合に、最低オペレータレベルを満たすカメラ映像のみを重要度の高いものから選択して表示してもよい。あるいは、さらに重要度の高いカメラ映像については、複数のオペレータに同じ映像を割り当ててもよい。
【００８９】
なお、上記の構成を利用して、リアルタイムに、ベテランオペレータと新人オペレータが同じ映像をチェックして、カテゴリ付与の精度を検査してもよい。
【００９０】
以上、本実施形態によれば、運用者が実運用中、簡易に学習用映像を蓄積し、同時にカテゴリも付随させることができる。これにより、半自動的な学習用映像収集とカテゴリとの関連付けを実現でき、環境へのローカライズや、新規映像解析モジュール生成の工数と期間を抑制することができる。
【００９１】
また、運用環境の映像が学習できる為、より精度の高い映像解析モジュールを構築することが可能となる。このような技術は、映像監視や警備等のセキュリティ分野に適用可能である。また、映像による店舗や公共エリアでの顧客指向分析にも適用可能である。
【００９２】
さらに、監視システムの実運用中に効果的かつ効率的にオペレータの習熟度を高めることができる。
【００９３】
［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
【００９４】
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。
【図１】
2015070401.tif 000003
【図２Ａ】
2015070401.tif 000004
【図２Ｂ】
2015070401.tif 000005
【図３】
2015070401.tif 000006
【図４】
2015070401.tif 000007
【図５Ａ】
2015070401.tif 000008
【図５Ｂ】
2015070401.tif 000009
【図５Ｃ】
2015070401.tif 000010
【図６Ａ】
2015070401.tif 000011
【図６Ｂ】
2015070401.tif 000012
【図６Ｃ】
2015070401.tif 000013
【図７Ａ】
2015070401.tif 000014
【図７Ｂ】
2015070401.tif 000015
【図７Ｃ】
2015070401.tif 000016
【図７Ｄ】
2015070401.tif 000017
【図７Ｅ】
2015070401.tif 000018
【図７Ｆ】
2015070401.tif 000019
【図８】
2015070401.tif 000020
【図９Ａ】
2015070401.tif 000021
【図９Ｂ】
2015070401.tif 000022
【図９Ｃ】
2015070401.tif 000023
【図１０Ａ】
2015070401.tif 000024
【図１０Ｂ】
2015070401.tif 000025
【図１１Ａ】
2015070401.tif 000026
【図１１Ｂ】
2015070401.tif 000027
【図１１Ｃ】
2015070401.tif 000028
【図１１Ｄ】
2015070401.tif 000029
【図１２】
2015070401.tif 000030