(57)【要約】【課題】入力されたデータに基づいて異常事象の発生有無を判定する事象検出装置であって、予め正常や異常のパターンを定義して学習を行わせる必要のない事象検出装置を提供する。【解決手段】第一のデータを取得する第一のデータ取得手段と、複数の識別器を含む識別手段と、前記第一のデータに対応する特徴量を取得し、取得した特徴量の分類先となる複数のクラスタを生成し、前記特徴量を前記複数のクラスタのうちのいずれかに分類する特徴量分類手段と、各クラスタに分類された特徴量をそれぞれ用いて、前記複数の識別器を学習させる学習手段と、第二のデータを取得する第二のデータ取得手段と、前記第二のデータに対応する特徴量を、前記学習させた複数の識別器に入力し、各識別器から識別結果を取得する識別手段と、前記取得した識別結果に基づいて、前記第二のデータに認識対象の事象が含まれるか否かを判定する判定手段と、を有する。【選択図】図１
2015176283.tif 000002
【特許請求の範囲】
【請求項１】
第一のデータを取得する第一のデータ取得手段と、
複数の識別器を含む識別手段と、
前記第一のデータに対応する特徴量を取得し、取得した特徴量の分類先となる複数のクラスタを生成し、前記特徴量を前記複数のクラスタのうちのいずれかに分類する特徴量分類手段と、
各クラスタに分類された特徴量をそれぞれ用いて、前記複数の識別器を学習させる学習手段と、
第二のデータを取得する第二のデータ取得手段と、
前記第二のデータに対応する特徴量を、前記学習させた複数の識別器に入力し、各識別器から識別結果を取得する識別手段と、
前記取得した識別結果に基づいて、前記第二のデータに認識対象の事象が含まれるか否かを判定する判定手段と、
を有することを特徴とする、事象検出装置。
【請求項２】
前記識別器は、単クラス識別器であり、
前記判定手段は、各識別器から取得した認識誤差の和をスコアとして求め、前記スコアに基づいて、前記第二のデータに認識対象の事象が含まれるか否かを判定する
ことを特徴とする、請求項１に記載の事象検出装置。
【請求項３】
前記判定手段は、各識別器から取得した認識誤差に対して重み付けを行ったうえでスコアリングを行う
ことを特徴とする、請求項２に記載の事象検出装置。
【請求項４】
前記判定手段は、識別器に対応するクラスタに属するサンプルの数が多いほど、当該識別器が出力する認識誤差に対してより大きい重みを与える
ことを特徴とする、請求項３に記載の事象検出装置。
【請求項５】
前記判定手段は、識別器に対応するクラスタに属するサンプルの分散が小さいほど、当該識別器が出力する認識誤差に対してより大きい重みを与える
ことを特徴とする、請求項３に記載の事象検出装置。
【請求項６】
前記第一のデータおよび第二のデータは、画像である
ことを特徴とする、請求項１から５のいずれかに記載の事象検出装置。
【請求項７】
前記特徴量は、３Ｄ−ＬＢＰである
ことを特徴とする、請求項６に記載の事象検出装置。
【請求項８】
取得したデータに、認識対象の事象が含まれるか否かを判定する事象検出装置が行う事象検出方法であって、
第一のデータを取得する第一のデータ取得ステップと、
前記第一のデータに対応する特徴量を取得し、取得した特徴量の分類先となる複数のクラスタを生成し、前記特徴量を前記複数のクラスタのうちのいずれかに分類する特徴量分類ステップと、
前記分類された特徴量を用いて、各クラスタにそれぞれ対応する複数の識別器を学習させる学習ステップと、
第二のデータを取得する第二のデータ取得ステップと、
前記第二のデータに対応する特徴量を、前記学習させた複数の識別器にそれぞれ入力し、各識別器から識別結果を取得する識別ステップと、
前記取得した識別結果に基づいて、前記第二のデータに認識対象の事象が含まれるか否かを判定する判定ステップと、
を含むことを特徴とする、事象検出方法。
【請求項９】
取得したデータに、認識対象の事象が含まれるか否かを判定する事象検出装置に、
第一のデータを取得する第一のデータ取得ステップと、
前記第一のデータに対応する特徴量を取得し、取得した特徴量の分類先となる複数のクラスタを生成し、前記特徴量を前記複数のクラスタのうちのいずれかに分類する特徴量分類ステップと、
前記分類された特徴量を用いて、各クラスタにそれぞれ対応する複数の識別器を学習させる学習ステップと、
第二のデータを取得する第二のデータ取得ステップと、
前記第二のデータに対応する特徴量を、前記学習させた複数の識別器にそれぞれ入力し、各識別器から識別結果を取得する識別ステップと、
前記取得した識別結果に基づいて、前記第二のデータに認識対象の事象が含まれるか否かを判定する判定ステップと、
を実行させることを特徴とする、事象検出プログラム。
【請求項１０】
請求項９に記載の事象検出プログラムが記録された記憶媒体。
【請求項１１】
取得したデータに、認識対象の事象が含まれるか否かを判定する事象検出装置であって、
データを取得するデータ取得手段と、
複数の識別器を含む識別手段と、
前記取得したデータに対応する特徴量を、前記複数の識別器に入力し、各識別器から識別結果を取得する識別手段と、
前記取得した識別結果に基づいて、前記取得したデータに認識対象の事象が含まれるか否かを判定する判定手段と、
を有し、
前記複数の識別器は、学習用のデータから取得した特徴量であって、複数のクラスタに分類された特徴量をそれぞれ用いて、当該クラスタごとに学習された識別器である
ことを特徴とする、事象検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力されたデータに基づいて、異常事象の発生有無を判定する事象検出装置に関する。
【背景技術】
【０００２】
近年、セキュリティへの関心の高まりにより、監視カメラの普及が進んでいる。監視カメラは、何らかの異常事態を監視する目的で設置されるが、全ての映像をリアルタイムで人が監視することは現実的ではない。そこで、映像に映っている内容に基づいて、何らかの異常な事象が含まれるシーン（異常シーン）と、そうでないシーン（正常シーン）を自動的に識別する方法について、研究が進められている。異常な事象とは、通常の状態では起こらない事象であり、例えば、交通事故の発生や、プラットホームからの転落、不審者の侵入、被介護者の転倒や卒倒などである。
【０００３】
映像に含まれる事象を検出する場合、当該事象を予め学習させておき、映像から取得した情報とマッチングさせて評価するという手法が一般的に用いられる。
例えば、特許文献１に記載の不審行動検知システムでは、監視対象者の移動軌跡を正常パターンと異常パターンとで分けて学習させ、取得した移動軌跡と学習情報を対比させることで対象者の行動を識別している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１２８８７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載のシステムは、人間の移動軌跡に基づいて、正常パターンを逸脱した行動を検出することができる。しかし、当該システムは、特定の空間内で移動する人の移動軌跡に基づいて異常判定を行っているため、人物の移動軌跡に基づかない判定は行うことができない。例えば、高齢者の徘徊を検出することはできるが、防犯カメラの映像から、こじ開けられた金庫が存在することを検出することはできない。
【０００６】
この問題は、人間の移動軌跡以外の特徴量を取得し、特徴量同士を比較することで解決できるようにも思える。しかし、学習結果に基づいて正常シーンと異常シーンを識別しようとした場合、それぞれ十分な数の学習データを用意しなければならない。十分な数の学習データを用意できない場合、正常シーンと異常シーンを識別する際の精度が低くなってしまうためである。
しかし、現実には、異常シーンに含まれる事象は、事故など、発生させてはいけない事象であることが多く、実際に事象を発生させて学習させることが困難である場合が多い。
【０００７】
また、一口に正常シーンや異常シーンと言っても、実際は特徴の異なる様々なシーンがある。このため、それぞれ特徴の異なる複数のシーンを一つの「正常（異常）シーン」とみなしてしまうと、認識精度が悪くなるという問題がある。例えば、プラットホームからの人の転落を検知したい場合、列車の進入中、進出中、乗客がホームに滞留している状態、ホームに乗客がいない状態など、数多くの正常シーンが存在するため、これらを個別に定義することが困難である場合が多い。
【０００８】
本発明は上記の課題を考慮してなされたものであり、入力されたデータに基づいて異常
事象の発生有無を判定する事象検出装置であって、予め正常や異常のパターンを定義して学習を行わせる必要のない事象検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明の第一の様態に係る事象検出装置は、
第一のデータを取得する第一のデータ取得手段と、複数の識別器を含む識別手段と、前記第一のデータに対応する特徴量を取得し、取得した特徴量の分類先となる複数のクラスタを生成し、前記特徴量を前記複数のクラスタのうちのいずれかに分類する特徴量分類手段と、各クラスタに分類された特徴量をそれぞれ用いて、前記複数の識別器を学習させる学習手段と、第二のデータを取得する第二のデータ取得手段と、前記第二のデータに対応する特徴量を、前記学習させた複数の識別器に入力し、各識別器から識別結果を取得する識別手段と、前記取得した識別結果に基づいて、前記第二のデータに認識対象の事象が含まれるか否かを判定する判定手段と、を有することを特徴とする。
【００１０】
第一のデータとは、学習用のデータであり、典型的には画像であるが、これに限られない。第一のデータは、経験上、正常事象を多く含んでいると推定できるデータであればよい。すなわち、第一のデータは、必ずしも正常事象のみが含まれているデータである必要はなく、多少の異常事象が混在していてもよい。もちろん、異常事象が含まれていないデータがあれば、それを用いることが好ましい。
【００１１】
また、特徴量分類手段は、入力された第一のデータから特徴量を抽出し、取得した特徴量を、複数のクラスタに分類する手段である。特徴量は、データ全体に対応するものであってもよいし、データの一部のみに対応するものであってもよい。
【００１２】
学習手段は、各クラスタに分類された特徴量を用いて、クラスタごとにそれぞれ対応する識別器を学習させる手段である。識別器とは、入力された情報を機械学習の結果に基づいてクラス分けする手段であり、例えば、サポートベクタマシン（ＳＶＭ）などを利用することができる。
【００１３】
また、第二のデータは、異常事象の判定を行う対象となる入力データであり、典型的には画像であるが、これに限られない。識別手段は、第二のデータから取得した特徴量を、学習済みの各識別器に入力し、各識別器から識別結果を取得する。これにより、入力されたデータが、各クラスタに対してどの程度近いかという情報を得ることができる。そして、判定手段が、当該識別結果に基づいて、第二のデータに認識対象の事象が含まれるかを判定する。入力データから取得した特徴量が各クラスタから遠い場合、学習に用いたデータ内で発生していた事象とは異なる事象が発生していることが推定できるため、異常事象が起きていると判断することができる。
【００１４】
また、前記識別器は、単クラス識別器であり、前記判定手段は、各識別器から取得した認識誤差の和をスコアとして求め、前記スコアに基づいて、前記第二のデータに認識対象の事象が含まれるか否かを判定することを特徴としてもよい。
【００１５】
単クラス識別器とは、単一のクラスに対する適合度を求める識別器である。具体的には、特徴量を入力すると、対応するクラスタに対する誤差（認識誤差）を値で出力する。
異常事象が起きているか否かの判定には、このように、各識別器から取得した認識誤差の和を用いることが好ましい。認識誤差の和が大きいということは、学習に用いたデータ内で発生していた事象とは大きくかけ離れた事象が起きていることが推定できるためである。
【００１６】
また、前記判定手段は、各識別器から取得した認識誤差に対して重み付けを行ったうえ
でスコアリングを行うことを特徴としてもよい。
【００１７】
各クラスタを構成する特徴量に偏りがある場合、正しく異常事象の判定が行えないおそれがある。そこで、認識誤差に対する重みをクラスタごとに付したうえでスコアリングを行うことで、判定精度を向上させることができる。
【００１８】
また、前記判定手段は、識別器に対応するクラスタに属するサンプルの数が多いほど、当該識別器が出力する認識誤差に対してより大きい重みを与えることを特徴としてもよく、前記判定手段は、識別器に対応するクラスタに属するサンプルの分散が小さいほど、当該識別器が出力する認識誤差に対してより大きい重みを与えることを特徴としてもよい。
【００１９】
クラスタに対する重みは、当該クラスタに属するサンプルの数や分散に基づいて行うとよい。例えば、クラスタに属するサンプルの数が少ない場合、対応する識別器が十分に学習されていないことが考えられるため、サンプル数が多い場合と比較して、当該識別器に対する重みを小さくすることが好ましい。また、クラスタに属するサンプルの分散が小さい場合、当該クラスタは特定の事象をよく表したクラスタであることが考えられるため、分散が大きい場合と比較して、対応する識別器に対する重みを大きくすることが好ましい。
【００２０】
また、前記第一のデータおよび第二のデータは、画像であることを特徴としてもよい。
【００２１】
本発明に係る事象検出装置は、画像に認識対象の事象が含まれるかを判定する装置に好適に適用することができる。
なお、入力データとして画像を用いる場合、特徴量は、画素に対応する特徴量の集合であってもよいし、局所領域に対応する特徴量の集合であってもよい。また、画像全体に対応する特徴量であってもよいし、画像の一部のみに対応する特徴量であってもよい。
【００２２】
また、前記特徴量は、３Ｄ−ＬＢＰであることを特徴としてもよい。
【００２３】
ＬＢＰ（Local Binary Pattern）とは、注目画素と、注目画素の近傍にある画素との関係をバイナリパターンで表したものであり、３Ｄ−ＬＢＰとは、ＬＢＰを時間方向に拡張したものである。動画像に含まれる事象を検出する場合、３Ｄ−ＬＢＰを特徴量として好適に用いることができる。
【００２４】
また、本発明の第二の様態に係る事象検出装置は、
データを取得するデータ取得手段と、複数の識別器を含む識別手段と、前記取得したデータに対応する特徴量を、前記複数の識別器に入力し、各識別器から識別結果を取得する識別手段と、前記取得した識別結果に基づいて、前記取得したデータに認識対象の事象が含まれるか否かを判定する判定手段と、を有し、前記複数の識別器は、学習用のデータから取得した特徴量であって、複数のクラスタに分類された特徴量をそれぞれ用いて、当該クラスタごとに学習された識別器であることを特徴としてもよい。
【００２５】
このように、本発明の第二の様態に係る事象検出装置は、第一の様態に係る事象検出装置から、識別器を学習させるための構成を省いたものとして特定することもできる。
【００２６】
なお、本発明は、上記手段の少なくとも一部を含む事象検出装置として特定することができる。また、本発明は、上記事象検出装置が実行する事象検出方法として特定することもできる。また、本発明は、上記事象検出装置に上記事象検出方法を実行させるプログラムとして特定することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
【発明の効果】
【００２７】
本発明によれば、入力されたデータに基づいて異常事象の発生有無を判定する事象検出装置であって、予め正常や異常のパターンを定義して学習を行わせる必要のない事象検出装置を提供することができる。
【図面の簡単な説明】
【００２８】
【図１】実施形態に係る画像処理装置のシステム構成図である。
【図２】ＬＢＰによる特徴量の算出方法を説明する図である。
【図３】３Ｄ−ＬＢＰによる特徴量の算出方法を説明する図である。
【図４】識別器を学習させる処理を説明する図である。
【図５】異常事象の発生有無を判定する処理を説明する図である。
【図６】識別器を学習させる処理のフローチャートである。
【図７】異常事象の発生有無を判定する処理のフローチャートである。
【発明を実施するための形態】
【００２９】
（システム構成）
以下、本発明の好ましい実施形態について図面を参照しながら説明する。
第一の実施形態に係る画像処理装置は、カメラ等の手段を介して動画を取得し、当該取得した動画に基づいて、異常事象が発生しているか否かを判定する装置である。図１は、本実施形態に係る画像処理装置１０のシステム構成図である。
【００３０】
画像処理装置１０は、画像取得部１１、特徴量取得部１２、識別部１３、異常事象判定部１４、出力部１５から構成される。
【００３１】
画像取得部１１は、装置の外部から画像を取得する手段であり、典型的には、デジタルカメラやデジタルビデオカメラとそのインタフェースからなる。以降、画像とは、動画を構成する各フレームに対応する画像であるものとする。なお、画像取得部１１は、必ずしもカメラを介して画像を取得する必要はなく、例えば、装置の外部から有線または無線ネットワークを介して画像を取得してもよい。また、ディスクドライブやフラッシュメモリ等の記憶装置に記憶された画像を取得するようにしてもよい。
【００３２】
特徴量取得部１２は、画像取得部１１が取得した画像に対応する特徴量を取得する手段である。具体的には、取得した画像を構成する全画素に対応する特徴量の集合を取得する。なお、特徴量取得部１２が取得する特徴量は、一部の画素のみに対応する特徴量の集合であってもよいし、局所領域に対応する特徴量の集合であってもよい。また、特徴量取得部１２が取得する特徴量は、一枚の画像に対応するものであってもよいし、後述するように、動画（複数フレームの連続した画像）に対応するものであってもよい。
【００３３】
識別部１３は、複数の単クラス識別器を包含しており、入力された画像と、各識別器が識別対象とするクラスとの誤差（以下、識別誤差）を出力する手段である。識別部１３が有する識別器は、単一のクラスとの誤差を出力する単クラス識別器であることが好ましい。例えば、Ｏｎｅ−Ｃｌａｓｓ  ＳＶＭ（http://rvlasveld.github.io/blog/2013/07/12/introduction-to-one-class-support-vector-machines/）や、ＳＶＤＤ（Support Vector Data Description）などを好適に用いることができる。各識別器を学習する方法、および、識別誤差の利用方法については後述する。
【００３４】
異常事象判定部１４は、識別部１３が出力した識別誤差（すなわち、各識別器によって出力された複数の識別誤差）に基づいて、入力画像に異常事象が含まれているか否かを判定する手段である。異常事象とは、通常の状態では発生しない事象であり、典型的には、
人の卒倒や転落、交通事故の発生、警備状態にある空間への侵入などがあるが、他の事象であってもよい。例えば、製造ラインにおける不良品の発生などを異常事象としてもよい。
【００３５】
また、出力部１５は、ユーザに対して情報を提示する手段である。典型的には、液晶ディスプレイとその制御手段から構成される。なお、出力部１５は、ユーザに対して情報を伝達することができれば、ディスプレイ以外の手段であってもよい。例えば、音声を出力する装置であってもよいし、電子メールやインスタントメッセージ等を送信するための通信装置であってもよい。
【００３６】
画像取得部１１、特徴量取得部１２、識別部１３、異常事象判定部１４の機能は、制御プログラムをＣＰＵなどの処理装置が実行することによって実現される。また、当該機能は、ＡＳＩＣ（Application Specific Integrated Circuit）などによって実現されても
よいし、これらの組合せによって実現されてもよい。
【００３７】
（特徴量の取得）
本実施形態に係る画像処理装置１０が行う処理は、入力された画像を用いて識別器を学習させるフェーズと、学習済みの識別器を用いて、入力画像の異常判定を行うフェーズの二つのフェーズに分けられる。いずれのフェーズにおいても、入力画像に対応する特徴量を取得し、当該特徴量を用いて処理を行う。まず、入力画像から特徴量を取得する方法について説明する。なお、特徴量の取得方法にはいくつかの方法があるが、ここでは、３Ｄ−ＬＢＰを例に挙げて説明する。
【００３８】
まず、３Ｄ−ＬＢＰの基本となるＬＢＰについて説明する。
ＬＢＰ（Local Binary Pattern）とは、注目画素と、注目画素の近傍にある画素との関係をバイナリパターンで表したものである。図２は、ＬＢＰによる特徴量の算出方法を説明する図である。符号２０１は、入力画像の一部を切り出した、３画素×３画素のサイズを持つ領域であり、中央の黒色で表した画素が処理対象の画素（注目画素）である。
ここでは、注目画素の近傍にある８つの画素の輝度値が、注目画素に対して明るいか暗いかを表すパターンを生成する。具体的には、輝度値が５未満であれば０を、５以上であれば１を与える。この結果、符号２０２のようなパターンが生成される。このようにして生成したバイナリ値を左上から順に並べ、８ビットの値（ＬＢＰ値）を生成する。
そして、画素ごとに算出したＬＢＰ値をビットごとに全画素分積算し、ヒストグラムを生成する。この結果、符号２０３に示したようなヒストグラムを得ることができる。このヒストグラム２０３（すなわち８次元のベクトル）が、画像全体に対応する特徴量となる。
【００３９】
以上に説明した特徴量は、一枚の静止画像に対応する特徴量である。３Ｄ−ＬＢＰは、ＬＢＰを時間方向に拡張したものであり、動画のフレーム間の動きを加えた特徴量である。図３を参照しながら説明する。図３では、画像の横方向をＸ軸、縦方向をＹ軸、時間軸方向をＴ軸として表している。
図３（Ａ）に示した平面３０１は、ある時刻における動画のフレームに対応する画像を表したものである。すなわち、平面３０１に対応するヒストグラム３１１は、前述したＬＢＰによるヒストグラム２０３と等価である。
【００４０】
一方、平面３０２は、Ｙ軸方向の座標が同一である画素を、時間軸方向に並べた平面である。平面３０１と比べると、軸が異なるのみで、ＬＢＰ値の取得方法およびヒストグラムの生成方法は、前述した方法と同一である。すなわち、平面３０２に対応するヒストグラム３１２は、ヒストグラム３１１と同様に、８次元のベクトルとなる。
また、平面３０３は、Ｘ軸方向の座標が同一である画素を、時間軸方向に並べた平面で
ある。平面３０１と比べると、軸が異なるのみで、ＬＢＰ値の取得方法およびヒストグラムの生成方法は、前述した方法と同一である。平面３０３に対応するヒストグラム３１３は、ヒストグラム３１１と同様に、８次元のベクトルとなる。
【００４１】
このように、３Ｄ−ＬＢＰでは、時間軸を用いて三つの平面を定義し、三つのヒストグラムを生成したうえで、当該ヒストグラムを連結することで一つの特徴量とする。各ヒストグラムは、８次元のベクトルであるため、３Ｄ−ＬＢＰによって生成された特徴量は、２４次元のベクトルとなる。この２４次元のベクトルが、平面３０１〜３０３の三枚の平面に対応する特徴量となる。
【００４２】
なお、本例では三枚の平面に対応する特徴量を一つ算出したが、平面の位置をずらしながら複数個の特徴量を取得するようにしてもよい。この場合、２４次元のベクトルの組が、あるフレームにおける特徴量となる。
また、本例では３Ｄ−ＬＢＰによる特徴量の算出方法を説明したが、特徴量を算出する方法には、どのようなものを用いてもよい。例えば、フレーム間での物体の動きをベクトルで表した指標値（オプティカルフロー）を用いてもよいし、フレームごとに特徴量を算出し、複数フレーム分の特徴量の集合を用いてもよい。静止画に対応する特徴量は、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）やＳＵＲＦ（Speed Up Robust Features）、ＨＯＧ（Histogram of Oriented Gradient）といった、既知のものを用いるこ
とができる。
【００４３】
（識別器の学習）
次に、識別部１３が有する識別器を学習させる方法について説明する。
前述したように、本実施形態では、識別器として単クラス識別器を用いる。単クラス識別器は、あるクラスに対する一致度を判定できる識別器である。
図４は、識別器の学習について説明する図である。本実施形態では、識別部１３が、以下に説明する各ステップを実行することによって識別器の学習を行う。
【００４４】
（１）学習用の画像を取得し、特徴量を求める
まず、学習用の画像として、異常事象が発生していないか、異常事象が発生しているが、その割合が少ないと推定される状態の画像を取得し、当該画像に対応する特徴量を取得する。なお、本実施形態では、３Ｄ−ＬＢＰによって特徴量を求める。従って、学習用の画像は、動画から取得されたフレーム画像である。また、本実施形態では、複数の動画から画像を取得し、特徴量を取得する。本ステップにより、２４次元のベクトルで表された特徴量が、各動画に対して複数個取得される。
【００４５】
（２）取得した特徴量を分類する
次に、取得した複数の特徴量に対応する複数のクラスタを生成し、特徴量を各クラスタに分類する。クラスタリングの手法には、例えば、Ｋ平均法（K-means）や、スペクトラ
ルクラスタリングなど、任意の手法を用いることができる。なお、クラスタリング手法を用いず、取得した特徴量の中から、Ｎ組のサンプルをランダムに選択し、Ｎ個のクラスタに分類するようにしてもよい。
また、クラスタリングは必ずしも自動で行う必要はなく、クラスタの数や種類を予め設定するようにしてもよい。例えば、正常な事象が複数パターンあることがわかっている場合、当該複数のパターンに対応するクラスタを定義し、いずれかのパターンに分類されるようにしてもよい。
図４の例では、学習用画像から抽出された複数の特徴量が、４つの特徴量クラスタ（以下、単に「クラスタ」）に分類される。
【００４６】
（３）分類された特徴量を用いて、識別器を学習させる
次に、各クラスタに分類された特徴量を用いて、それぞれのクラスタに対応する識別器を学習させる。本例は、得られた特徴量に対応するクラスタが４つである場合の例であるため、４つの識別器を用いる。
このようにして学習された識別器は、入力データと各クラスタとの誤差を識別できるようになる。例えば、特徴量クラスタ１に事象Ａが対応付いている場合、識別器１は、入力されたデータと、事象Ａとの類似度を数値で出力することができるようになる。クラスタリングを自動で行った場合、クラスタと特定の事象とは関連付いていない可能性があるが、少なくとも、学習に用いた画像内で発生していた事象との類似度を判定することはできる。
【００４７】
（異常事象の判定）
次に、学習済みの識別器を用いて、取得した画像に異常事象が含まれるか否かを判定する方法について説明する。
図５は、異常事象の判定について説明する図である。本実施形態に係る画像処理装置は、以下に説明する各ステップを実行することによって異常事象の判定を行う。
【００４８】
（１）入力画像（識別対象の画像）を取得し、特徴量を求める
識別対象の画像とは、異常事象が発生しているか否かが不明な画像である。ここでは、学習時に用いた方法と同じ方法を用いて、画像に対応する特徴量を取得する。
【００４９】
（２）取得した特徴量を各識別器に入力し、識別誤差を取得する
次に、取得した特徴量を複数の識別器にそれぞれ入力する。これにより、入力画像と、各識別器に対応するクラスタとの識別誤差を得ることができる。ここでは、識別器ｉが出力した識別誤差をＥiとする。
【００５０】
（３）複数の識別誤差に基づいて、異常事象の発生を推定する
識別器が出力した識別誤差が大きい場合、学習時に発生していた事象と異なる事象が発生している可能性が大きいといえる。したがって、各識別器が出力した識別誤差に基づいて、異常事象の発生を推定することができる。
具体的には、識別誤差Ｅiの総和が閾値Ｔよりも大きい場合、すなわち、ΣＥi≧Ｔである場合に、異常事象が発生していると判定する。識別器が出力した識別誤差の和が大きいということは、取得した特徴量がいずれのクラスタからも遠い位置にあることを表している。すなわち、学習時に発生していた事象と異なる事象が発生している可能性が大きいことが推定できる。
【００５１】
なお、本例では、各識別器が出力する識別誤差をそのまま加算したが、各識別誤差に重みを付けるようにしてもよい。例えば、識別器ｉが出力する識別誤差をＥi、これに対応
する重みをＷiとし、重みを乗じた識別誤差の総和が閾値Ｔよりも大きい場合、すなわち
、ΣＥiＷi≧Ｔである場合に、異常事象が発生していると判定するようにしてもよい。
【００５２】
ここで、識別誤差に重みを付ける方法について説明する。
重みの大小は、対応するクラスタがどの程度の信頼度を有しているかによって決定することが好ましい。例えば、当該クラスタに属するサンプルの数が少ないほど重みを小さくし、サンプルの数が大きいほど重みを大きくするようにしてもよい。サンプル数が少ないクラスタは、異常事象の判定に用いることが適していないと考えられるためである。
また、クラスタに属するサンプルの分散が大きいほど重みを小さくし、分散が小さいほど重みを大きくするようにしてもよい。分散が大きい場合、クラスタが特定の事象と深く対応づいておらず、信頼度が低いと考えられるためである。
【００５３】
（処理フローチャート）
次に、以上に説明した機能を実現するための処理フローチャートについて説明する。
図６は、本実施形態に係る画像処理装置１０が行う処理のうち、識別器の学習を行う処理のフローチャートである。当該処理は、ユーザの操作（例えば、学習の開始を指示する操作）によって開始される。
【００５４】
まず、ステップＳ１１で、画像取得部１１が、学習用の画像を取得する。本実施形態では、不図示のカメラを用いて画像を撮像するが、通信手段を介して画像を取得してもよいし、記憶手段に記憶されている画像を取得してもよい。なお、３Ｄ−ＬＢＰによって特徴量を取得する場合、前後数フレーム分の画像が必要となるため、予め必要な数のフレーム分の画像を取得するようにしてもよい。
次に、ステップＳ１２で、特徴量取得部１２が、取得した画像に対応する特徴量を取得する。本実施形態では、３Ｄ−ＬＢＰを用いて特徴量を取得するが、特徴量を取得する方法は前述したように特に限定されない。また、特徴量の取得は、画像を構成する全画素に対して行ってもよいし、画像の特徴をよく表している領域や画素がある場合、当該領域や画素に対してのみ行ってもよい。
【００５５】
ステップＳ１３では、特徴量取得部１２が、ステップＳ１２で取得した特徴量をクラスタリングする。クラスタリングの手法は前述したように特に限定されない。
以上に説明した処理によって、画像に対応する特徴量が複数のクラスタに分類された状態となる。
【００５６】
ステップＳ１４では、識別部１３が、各クラスタに分類された特徴量を用いて、各クラスタにそれぞれ対応する識別器の学習を行う。
【００５７】
なお、図６に示した処理は、学習のために必要な十分な量のデータを得るため、繰り返し実行されるようにしてもよい。また、当該処理は、ユーザの操作以外によって開始されるようにしてもよい。例えば、前回の実行から所定の時間が経過するごとに自動的に開始されるようにしてもよい。また、ユーザの操作等によって、追加で一つないし複数のデータを読み込んで、更なる学習を行わせるようにしてもよい。
【００５８】
図７は、本実施形態に係る画像処理装置１０が行う処理のうち、異常事象の判定を行う処理のフローチャートである。当該処理は、画像処理装置１０が起動中であって、識別器の学習が完了している場合に繰り返し実行される。
【００５９】
ステップＳ２１およびステップＳ２２の処理は、取得する画像が、評価対象の画像であるという点を除いて、ステップＳ１１およびステップＳ１２の処理と同等であるため、詳細な説明は省略する。
ステップＳ２３では、識別部１３が、特徴量取得部１２によって取得された特徴量を、各識別器に入力する。
次に、ステップＳ２４で、識別部１３が、各識別器から出力された識別誤差を取得し、全ての識別誤差を合計することでスコアを算出する。
そして、ステップＳ２５で、異常事象判定部１４が、算出したスコアが閾値以上であるか否かを判定し、閾値以上であった場合、異常事象が発生したと判定し、ステップＳ２６に遷移する。閾値未満であった場合は、ステップＳ２１に戻り、所定の時間だけ待機した後に処理を繰り返す。
【００６０】
ステップＳ２６は、異常事象判定部１４が、出力部１５を通して、異常事象を検知した旨をユーザに通知するステップである。出力部１５がディスプレイである場合、画面表示によって通知を行ってもよいし、音声出力やデータ通信が可能な手段を有している場合、音声や電子データ（インスタントメッセージや電子メール等）によって通知を行ってもよ
い。
【００６１】
以上説明したように、本実施形態に係る画像処理装置は、画像に対応する特徴量を取得したうえでクラスタリングを行い、各クラスタに対応する識別器を学習によって生成したうえで、識別誤差に基づいて異常事象の発生有無を判定する。すなわち、予め正常／異常が定義されたシーンを学習させるのではなく、大半が通常起きうる事象であることが推定される複数のシーンを学習させたうえで、当該シーンからの乖離を判定することで、異常事象が発生したことを推定する。このようにすることで、異常事象に対応する学習データを多数用意しなければならないという、従来の手法における課題を解決することができる。また、正常事象が複数種類あり、かつ事前に定義しづらいような場合であっても、認識精度を確保することができる。
【００６２】
（変形例）
上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施しうる。
例えば、実施形態の説明では、識別器として単クラス識別器を用いたが、識別器は、必ずしも単クラス識別器である必要はない。例えば、二項分類を行うバイナリ識別器であってもよい。
【００６３】
また、特徴量取得部１２が取得する特徴量は、必ずしも画像全体に対応する特徴量である必要はなく、画像に含まれる複数の局所領域に対応する特徴量の集合であってもよい。例えば、画像を１６画素×１６画素の大きさを持つ正方領域に分割し、それぞれの領域に対応する特徴量の集合を求めるようにしてもよい。また、類似した特徴をもつ画素の集まりであるスーパーピクセル単位で特徴量を求めるようにしてもよい。
【００６４】
また、実施形態の説明では、単一の手法（３Ｄ−ＬＰＢ）によって特徴量を求めたが、複数の手法によって複数組の特徴量を求め、それら複数の特徴量を結合したものを全体の特徴量として用いるようにしてもよい。
また、異常事象の判定に用いる閾値Ｔには、固定値を用いてもよいが、実際に異常事象を発生させてキャリブレーションを行うようにしてもよい。すなわち、装置の出力を参照しながら、当該異常事象を正しく検出できるような値に調整してもよい。
【００６５】
また、実施形態の説明では、分類先のクラスタが、どのようなシーンに対応するかの定義は行っていないが、いくつかのシーンにおいて既知のクラスタがある場合、当該既知のクラスタを用いて分類を行うようにしてもよい。
【００６６】
また、実施形態の説明では、動画を対象として異常事象の判定を行ったが、対象は静止画であってもよいし、音声であってもよい。特徴量を算出することができるデータであれば、対象はどのようなものであってもよい。
また、実施形態の説明では、学習用のデータと評価用のデータを別々に入力したが、学習用データを用いて学習を行った後、当該学習用データを再度入力して異常事象の判定を行ってもよい。
【符号の説明】
【００６７】
１０  画像処理装置
１１  画像取得部
１２  特徴量取得部
１３  識別部
１４  異常事象判定部
１５  出力部
【図１】
2015176283.tif 000003
【図２】
2015176283.tif 000004
【図３】
2015176283.tif 000005
【図４】
2015176283.tif 000006
【図５】
2015176283.tif 000007
【図６】
2015176283.tif 000008
【図７】
2015176283.tif 000009