(57)【要約】【課題】モデルの判定精度をより向上させることができる情報処理装置を提供する。【解決手段】モデル作成装置１００は、センサの出力データを学習データとして取得する学習データ取得部１０１、学習データから特徴量を算出する特徴量算出部１０２、算出された特徴量に基づいて前記学習データを分割するデータ分割部１０３、分割後の学習データを用いてモデルを作成するモデル作成部１０４を有する。また、センサの出力データを検証データとして取得する検証データ取得部１０５、検証データの特徴量と作成されたモデルに基づいて検証データの評価を行なう評価部１０６、評価の結果に応じて、学習データと検証データに基づいて学習データを再分割するデータ再分割部１０７を有する。モデル作成部は、学習データの再分割が行われたときには再分割後の学習データを用いてモデルを作成する。【選択図】図１
2019046278.tif 000002
【特許請求の範囲】
【請求項１】
センサの出力データに異常があるか否かを判定するモデルを作成する情報処理装置であって、
前記センサの出力データを学習データとして取得する学習データ取得手段と、
前記学習データから特徴量を算出する特徴量算出手段と、
前記算出された特徴量に基づいて前記学習データを分割する分割手段と、
前記分割後の学習データを用いてモデルを作成するモデル作成手段と、
前記センサの出力データを検証データとして取得する検証データ取得手段と、
前記特徴量算出手段により算出された前記検証データの特徴量と前記作成されたモデルに基づいて当該検証データの評価を行なう評価手段と、
前記評価の結果に応じて、前記学習データと前記検証データに基づいて当該学習データを再分割する再分割手段と、を有し、
前記モデル作成手段は、前記再分割手段により前記学習データの再分割が行われたときには当該再分割後の学習データを用いて前記モデルを作成することを特徴とする、
情報処理装置。
【請求項２】
前記再分割手段は、前記学習データと前記検証データの類似度を算出し、算出した類似度に基づいて前記学習データを分割することを特徴とする、
請求項１に記載の情報処理装置。
【請求項３】
前記類似度は、前記学習データと前記検証データそれぞれの特徴量の距離を条件として算出されることを特徴とする、
請求項２に記載の情報処理装置。
【請求項４】
前記類似度は、前記学習データと前記検証データそれぞれのラベルを用いて算出されることを特徴とする、
請求項２に記載の情報処理装置。
【請求項５】
前記検証データは、前記センサが取り付けられている機器に異常が発生していることを表す情報を含むデータであることを特徴とする、
請求項１乃至４いずれか一項に記載の情報処理装置。
【請求項６】
前記センサの出力データが撮像データであり、
前記学習データ取得手段は、前記撮像データから学習映像を前記学習データとして取得し、
前記検証データ取得手段は、前記撮像データから検証映像を前記検証データとして取得することを特徴とする、
請求項１に記載の情報処理装置。
【請求項７】
前記モデル作成手段は、前記学習データと前記検証データの両方を用いてモデルを作成することを特徴とする、
請求項１乃至６いずれか一項に記載の情報処理装置。
【請求項８】
センサの出力データに異常があるか否かを判定するモデルを作成する情報処理装置の制御方法であって、
前記センサの出力データを学習データとして取得する工程と、
前記学習データから特徴量を算出する工程と、
前記算出された特徴量に基づいて前記学習データを分割する工程と、
前記分割後の学習データを用いてモデルを作成する工程と、
前記センサの出力データを検証データとして取得する工程と、
前記検証データから特徴量を算出し、算出した結果と前記作成されたモデルに基づいて当該検証データの評価を行なう工程と、
前記評価の結果に応じて、前記学習データと前記検証データに基づいて当該学習データを再分割した場合、当該再分割後の学習データを用いて前記モデルを作成する工程、とを有することを特徴とする、
情報処理装置の制御方法。
【請求項９】
コンピュータを、センサの出力データに異常があるか否かを判定するモデルを作成する情報処理装置として動作させるためのコンピュータプログラムであって、
前記センサの出力データを学習データとして取得する学習データ取得手段、
前記学習データから特徴量を算出する特徴量算出手段、
前記算出された特徴量に基づいて前記学習データを分割する分割手段、
前記分割後の学習データを用いてモデルを作成するモデル作成手段、
前記センサの出力データを検証データとして取得する検証データ取得手段、
前記特徴量算出手段により算出された前記検証データの特徴量と前記作成されたモデルに基づいて当該検証データの評価を行なう評価手段、
前記評価の結果に応じて、前記学習データと前記検証データに基づいて当該学習データを再分割する再分割手段、として機能させ、
前記再分割手段により前記学習データの再分割が行われたときには当該再分割後の学習データを用いて前記モデルを作成するように機能させることを特徴とする、
コンピュータプログラム。
【請求項１０】
請求項９に記載のコンピュータプログラムを記憶した記憶媒体。
【請求項１１】
センサの出力データに異常があるか否かを判定するモデルを作成するモデル作成装置であって、
前記センサの出力データを学習データとして取得する学習データ取得手段と、
前記学習データから特徴量を算出する特徴量算出手段と、
前記算出された特徴量に基づいて前記学習データを分割する分割手段と、
前記分割後の学習データを用いてモデルを作成するモデル作成手段と、
前記センサの出力データを検証データとして取得する検証データ取得手段と、
前記特徴量算出手段により算出された前記検証データの特徴量と前記作成されたモデルに基づいて当該検証データの評価を行なう評価手段と、
前記評価の結果に応じて、前記学習データと前記検証データに基づいて当該学習データを再分割する再分割手段と、を有し、
前記モデル作成手段は、前記再分割手段により前記学習データの再分割が行われたときには当該再分割後の学習データを用いて前記モデルを作成することを特徴とする、
モデル作成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、センサデータや映像データに基づいてモデルを作成する技術に関する。
【背景技術】
【０００２】
従来、各種センサからセンサデータや映像データを取得して、これらデータに異常があるか否かを判定するモデル作成手法が検討されている。データに異常があるか否かを判定するためのモデル作成の手法の一つに、正常時に収集されたデータからモデルを作成し、判定対象のデータと作成したモデルとを比較して判定するものがある。
【０００３】
例えば、特許文献１に開示されたモデル作成方法では、センサ信号を介して特徴ベクトルを抽出して蓄積することで学習データを生成する。そして、この学習データの特徴ベクトルをクラスタリングによって分割してモデルを作成する、というものである。
また、非特許文献１では、映像データ中の移動物体を抽出し、抽出された移動物体領域の位置・大きさ・動きを特徴量としてクラスタリングを行う。そして、映像データのフレームの各ピクセルにおける該クラスタの出現確率に基づいて、画像を複数の領域に分割して各領域でモデルを作成する、というものである。
このように、学習データの分布をクラスタリングにより分割してモデルを作成することで、モデルの判別精度を向上させることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−０３２６５７号公報
【非特許文献】
【０００５】
【非特許文献１】Ｊ．Ｌｉ，Ｓ．Ｇｏｎｇ，Ｔ．Ｘｉａｎｇ，“Ｓｃｅｎｅ  Ｓｅｇｍｅｎｔａｔｉｏｎ  ｆｏｒ  Ｂｅｈａｖｉｏｕｒ  Ｃｏｒｒｅｌａｔｉｏｎ”，Ｉｎ  Ｐｒｏｃｃｅｄｉｎｇｓ  ｏｆ  Ｅｕｒｏｐｅａｎ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ（ＥＣＣＶ），Ｍａｒｓｅｉｌｌｅ，Ｆｒａｎｃｅ，２００８．
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、これらの方法では特定クラスの学習データのみを用いてモデルを作成している。そのため、学習データと類似する特定外クラスデータを判別することは難しい。  このように、特定クラスの学習データのみを用いたモデル作成において特定外クラスデータが得られた場合、そのデータを学習へ活用することができていない、という課題がある。
【０００７】
本発明は、モデルの判定精度をより向上させることができる情報処理装置を提供することを、主たる目的とする。
【課題を解決するための手段】
【０００８】
本発明は、センサの出力データに異常があるか否かを判定するモデルを作成する情報処理装置であって、前記センサの出力データを学習データとして取得する学習データ取得手段と、前記学習データから特徴量を算出する特徴量算出手段と、前記算出された特徴量に基づいて前記学習データを分割する分割手段と、前記分割後の学習データを用いてモデルを作成するモデル作成手段と、前記センサの出力データを検証データとして取得する検証データ取得手段と、前記特徴量算出手段により算出された前記検証データの特徴量と前記作成されたモデルに基づいて当該検証データの評価を行なう評価手段と、前記評価の結果に応じて、前記学習データと前記検証データに基づいて当該学習データを再分割する再分割手段と、を有し、前記モデル作成手段は、前記再分割手段により前記学習データの再分割が行われたときには当該再分割後の学習データを用いて前記モデルを作成することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、モデルの判定精度をより向上させることが可能となる。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態に係るモデル作成装置の構成の一例を示す図。
【図２】２つのセンサの出力値を各要素として特徴ベクトルとした場合の特徴量の分布の一例を示す図。
【図３】図２に示す特徴量の分布に対する再分割後の分布の一例を示す図。
【図４】モデル作成装置の学習部の処理に関する処理手順の一例を示すフローチャート。
【図５】モデル作成装置の判定部の処理に関する処理手順の一例を示すフローチャート。
【図６】第２実施形態に係るモデル作成装置の構成の一例を示す図。
【図７】学習映像の一例を示す図。
【図８】検証映像の一例を示す図。
【図９】モデル作成装置の学習部の処理に関する処理手順の一例を示すフローチャート。
【図１０】モデル作成装置の判定部の処理に関する処理手順の一例を示すフローチャート。
【図１１】第３実施形態に係るモデル作成装置の構成の一例を示す図。
【図１２】モデル作成装置の学習部の処理に関する処理手順の一例を示すフローチャート。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して、本発明を適用した情報処理装置をモデル作成装置として機能させる場合を例に挙げて、各実施形態について説明する。
以下に説明するモデル作成装置は、特定クラスの学習データを用いて作成したモデルを評価して、その評価結果に基づいてモデルを再作成する。
また、各実施形態の説明においては、特定クラスを正常データ、特定外クラスを異常データとして記述するが、本発明は正常・異常の２クラスの判別に限定するものでなく、他のクラス判別や多クラス判別に用いてもよい。
【００１２】
［第１実施形態］
図１は、本実施形態に係るモデル作成装置１００の構成の一例を示す図である。
モデル作成装置１００は、主として学習部１２１、判定部１２２を含んで構成される。また、モデル保存部１１ａ、表示装置１３０を有する。モデル作成装置１００は、ＣＰＵ２００、メモリ３００を有する。なお、ＣＰＵ２００は、メモリ３００（例えば、ＲＡＭ）に記憶されたプログラムなどを読み出してモデル作成装置１００の動作を制御する。
また、表示装置１３０は、情報処理装置（例えば、ＰＣ）あるいはモデル作成装置に接続されたディスプレイの他にも、ネットワークを介して接続された遠隔地にあるＰＣやタブレットのディスプレイなどであってもよい。
【００１３】
学習部１２１は、学習データ取得部１０１、特徴量算出部１０２、データ分割部１０３、モデル作成部１０４、検証データ取得部１０５、評価部１０６、データ再分割部１０７、を含んで構成される。
判定部１２２は、判定データ取得部１１１、特徴量算出部１１２、識別部１１３を含んで構成される。
【００１４】
［学習部１２１の機能構成］
学習部１２１が有する学習データ取得部１０１は、機器に取り付けられたセンサの出力データ（出力値）を学習データとして取得する。ここで、センサは、熱センサ、角度センサ、振動センサなどの各種センサを用いることが可能である。取得された学習データは特徴量算出部１０２へ出力される。
特徴量算出部１０２は、学習データ取得部１０１を介して受け付けたデータから特徴量を算出する。
なお、ここでは特徴量は各センサの出力データ（出力値）をベクトルの各要素とする多次元の特徴ベクトルとする。特徴ベクトルは、大きさが１になるように正規化してもよい。また、その他の特徴量として、各センサの出力を時系列のある区間でまとめて離散ウェーブレット変換等の変換を適用して特徴ベクトルとしてもよい。
以下、特徴ベクトルについて説明する。
【００１５】
図２は、２つのセンサの出力データ（出力値）を各要素として特徴ベクトルとした場合の特徴量の分布の一例を示す図である。
図２中において「○」で示す学習データの特徴量２０１が１個の特徴ベクトルに対応する。また、図２中に示しているクラスタ情報２０２、クラスタ情報２０３、「×」で示す検証データの特徴量２０４については後述する。抽出した特徴量はデータ分割部１０３、あるいは評価部１０６へ出力される。
【００１６】
図１の説明に戻り、データ分割部１０３は、特徴量算出部１０２を介して算出された特徴量を用いて学習データの分割を行なう。データの分割方法としては、例えば特徴空間上における学習データの分布に対して混合正規分布を当てはめることによりクラスタリングを行ないデータを分割することができる。
また、混合正規分布のクラスタ数は、所定の離散値を設定するか、離散値の候補の中から赤池情報量基準などを用いてデータに合う候補数を選択してもよい。
また、混合正規分布によるクラスタリングの他にｋ近傍法で所定離散値のクラスタ数Ｃにデータを分割することも可能であり、またこれら以外の公知の方法を用いて分割を行ってもよい。
データ分割によって、図２に示すように、学習データをクラスタ情報２０２、２０３それぞれに属する学習データへと分割することができる。なお、各学習データの特徴量２０１とクラスタ情報２０２、２０３はモデル作成部１０４へと出力される。
【００１７】
モデル作成部１０４は、学習データの特徴量２０１をクラスタ情報２０２、２０３毎に分けてモデルを作成する。モデルの作成方法としては、例えばデータ分割部１０３において分割された各学習データに対して、特徴空間上で当てはめた混合正規分布の重心位置と分散共分散を正常の範囲としてモデルの作成を行うことができる。
また、混合正規分布以外には、分割した学習データに「Ｏｎｅ―Ｃｌａｓｓ  Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ」を適用して、学習データの中からサポートベクトルとそれぞれのサポートベクトルの重みを学習する。この学習したサポートベクトルとそれぞれの係数と閾値を判別モデルとしてもよい。
また、ここで述べている「モデル」とは、特徴空間上における学習データの分布を表すものをモデル化したものであり、該分布内を正常、分布外を異常と判別可能なものであればよい。得られたモデルは評価部１０６へと出力される。
【００１８】
検証データ取得部１０５は、学習データ取得部１０１と同様に、機器に取り付けた各種センサからセンサデータを取得する。そして、取得したデータに対してユーザは、異常が発生している時のデータ（異常データ）を検証データとして選定するものとする。
検証データの選定方法としては、例えば異常が発生した時のセンサデータをプロットしたものを表示画面上に表示して、ユーザが表示画面を介して指定することで選定可能に構成することができる。なお、選定方法はこれ以外の方法を用いてもよい。
選定した検証データは特徴量算出部１０２へと出力され、特徴量算出部１０２において、図２中において「×」で示す検証データの特徴量２０４が算出される。算出された特徴量２０４は評価部１０６へと出力される。
【００１９】
評価部１０６は、検証データの特徴量２０４とモデル作成部１０４により作成されたモデルに基づいて、当該モデルが検証データの特徴量２０４を異常と判定できるか否かを評価する。判定方法としては、作成したモデルが混合正規分布である場合、各混合正規分布の重心位置と分散共分散を用いて、検証データとのマハラノビス距離を以下に示す式１を用いて算出する。
【００２０】
【数１】
2019046278.tif 000003
【００２１】
ここで、
2019046278.tif 000004
：検証データの特徴量、μ：正規分布の重心位置、Σ：正規分布の分散共分散行列であるとする。評価部１０６は、各混合正規分布とのマハラノビス距離が最小となるものを選択し、距離が閾値以下であれば正常と判定し、閾値以上であれば異常と判定する。
また、モデルに「Ｏｎｅ−Ｃｌａｓｓ  Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ」を用いている場合、学習したサポートベクトルとそれぞれの係数とペナルティ項を用いて以下に示す式２を用いて評価する
【００２２】
【数２】
2019046278.tif 000005
【００２３】
ここで、w：学習した係数、
2019046278.tif 000006
：検証データの特徴量、
2019046278.tif 000007
：写像関数、
2019046278.tif 000008
：学習したペナルティ項、sign()：符号関数であるとする。この結果f(x)が＋１であれば正常と判定され、−１であれば異常と判定される。
【００２４】
評価部１０６が検証データを「異常」と判定した場合、異常であることが正しく判定できている。そのため、作成したモデルはモデル保存部１１ａへと出力され保存される。
一方、検証データを異常と判定できなかった場合、学習データと検証データがデータ再分割部１０７へと出力される。
【００２５】
データ再分割部１０７は、まず、学習データと検証データを用いて学習データと検証データとの類似度の算出を行なう。類似度の算出には以下に示す式３を用いることができる。
【００２６】
【数３】
2019046278.tif 000009
【００２７】
ここで、
2019046278.tif 000010
：学習データの特徴量、
2019046278.tif 000011
：検証データの特徴量、
2019046278.tif 000012
：スケールファクター、
2019046278.tif 000013
：距離関数であるとする。この式３では、選択した２つの学習データの特徴量の距離と比べて相対的により近い距離で検証データ２０４の特徴量がある場合、２つの学習データの類似度を０とするようになっている。
【００２８】
次に、算出した類似度を用いて、対角行列
2019046278.tif 000014
と、正規化類似度行列
2019046278.tif 000015
を算出し、クラスタ数Ｃ（所定の離散値）を設定する。また、クラスタ数Ｃは赤池情報量基準などを算出することにより決定してもよい。
次に、正規化類似度行列Ｌの固有値・固有ベクトルを算出し、行列
2019046278.tif 000016
を作成する。次に、Xの行ベクトルを正規化した行列
2019046278.tif 000017
を作成する。
次に、
2019046278.tif 000018
のｎ本のベクトルに対してｋ近傍法を適用して、クラスタ番号ｃを割り当てる。
次に、
2019046278.tif 000019
の第ｉ行のベクトルに割り当てられたクラスタ番号ｃを、特徴ベクトル
2019046278.tif 000020
のクラスタ番号ｃとする。
【００２９】
図３は、図２に示す特徴量の分布に対する再分割後の分布の一例を示す図である。
図３に示すように、データ再分割部１０７によるデータ再分割により検証データの特徴ベクトル２０４を含まないように学習データの特徴ベクトル２０１がクラスタリングされ、学習データはクラスタ情報２０３、３０５、３０６それぞれに再分割されている。クラスタ情報２０３、３０５、３０６それぞれに再分割された学習データ２０１はモデル作成部１０４へと出力され、再度モデルの作成が行なわれる。
【００３０】
また、複数の検証データが得られている場合、学習データと複数の検証データに基づいて、式３を用いて類似度を算出する。そして、既知の局所フィッシャー判別分析（Ｌｏｃａｌ  Ｆｉｓｈｅｒ  Ｄｉｓｃｒｉｍｉｎａｎｔ  Ａｎａｌｙｓｉｓ：ＬＦＤＡ）を用いて正常データと検証データを分離することも可能である。
なお、以下に示すように、局所フィッシャー判別分析（式６）では、学習データと検証データを用いて局所クラス内散布行列（式４）と局所クラス間散布行列（式５）を求める。
【００３１】
【数４】
2019046278.tif 000021
【００３２】
【数５】
2019046278.tif 000022
【００３３】
【数６】
2019046278.tif 000023
【００３４】
この固有値・固有ベクトルを算出することで、次元削減をしつつ学習データと検証データを分割することができる。また、本発明においては、データ再分割方法は上記の方法に限定するわけではなく、これら以外の方法を用いてデータを分割してもよい。
分割されたデータはモデル作成部１０４へと出力され、再度分割した学習データを使ってモデルの作成が行なわれる。
【００３５】
［判定部１２２の機能構成］
判定部１２２が有する判定データ取得部１１１は、学習データ取得部１０１と同様に、機器に取り付けた各種センサの出力値を判定データとして取得する。取得した判定データは特徴量算出部１１２へと出力される。
【００３６】
特徴量算出部１１２は、取得した判定データから特徴量を算出する。特徴量算出方法については特徴量算出部１０２と同様の処理により算出することが可能であるため、ここでの説明は省略する。算出した特徴量は識別部１１３へと出力される。
【００３７】
識別部１１３は、モデル保存部１１ａから作成したモデルを取得し、特徴量算出部１１２から取得した判定データの特徴量を判定する。
判定方法としては、例えばモデルが混合正規分布の場合、判定データの特徴量に対して混合正規分布の重心位置との距離が最も短い混合正規分布を選択し、その混合正規分布とのマハラノビス距離（式１参照）を算出し、距離が閾値以下であれば「正常」と判定する。また、距離が閾値以上であれば「異常」と判定する。
また、作成したモデルが「Ｏｎｅ−Ｃｌａｓｓ  Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ」の場合、判定データの特徴量に対して先述した数２を適用し、その結果が＋１であれば「正常」と判定する。また、結果−１であれば「異常」と判定する。識別部１１３によって判定された判定結果は、表示装置１３０に出力される。
【００３８】
［学習部１２１の処理フロー］
図４は、モデル作成装置１００の処理手順の一例を示すフローチャートである。
なお、図４に示す処理は主として学習部１２１の処理に関するものであり、ＣＰＵ２００により制御される。
【００３９】
ＣＰＵ２００は、学習データ取得部１０１を介して、学習データを取得する（Ｓ４０１）。
取得方法としては、例えば機器に取り付けられているセンサからデータを取得して学習データとしてもよいし、保存されているＨＤＤなどからセンサデータを取得して学習データとしてもよい。取得した学習データは特徴量算出部１０２へと送られる。
【００４０】
ＣＰＵ２００は、取得した学習データから当該学習データの特徴量を算出する（Ｓ４０２）。特徴量の算出は、各センサの出力値を要素とした特徴ベクトルに基づいて特徴量を算出してもよい。算出した特徴量２０１はデータ分割部１０３へと送られる。
【００４１】
ＣＰＵ２００は、データ分割部１０３を介して、学習データの特徴量２０１に基づいて学習データの分割を行なう（Ｓ４０３）。
学習データの分割には、特徴空間上で特徴量の分布に対して混合正規分布を当てはめて、学習データがどの正規分布に属するかで分割することができる。その他にもクラスタ数Ｃ（所定の離散値）としてｋ近傍法によるクラスタリングを行なうことでデータを分割することができる。
この処理により、学習データはクラスタ情報２０２内のデータと、クラスタ情報２０３内のデータへと分割される。分割された学習データに係る情報はモデル作成部１０４へと送られる。
【００４２】
ＣＰＵ２００は、データ分割部１０３、データ再分割部１０８を介して分割された学習データに基づいて、各分割データに対するモデルの作成を行なう（Ｓ４０４）。
モデルの作成方法としては、例えばデータ分割部１０３で求めた混合正規分布の重心位置と分散共分散を用いてモデルとしてもよい。また、混合正規分布の他に、分割したデータ毎に「Ｏｎｅ−Ｃｌａｓｓ  Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ」を用いてサポートベクトルとそれぞれの係数と閾値を算出し、それらをモデルとしてもよい。
作成したモデルは評価部１０６へと送られる。
【００４３】
ＣＰＵ２００は、検証データ取得部１０５を介して、検証データを取得する（Ｓ４０５）。検証データは、機器に取り付けた各種センサから検知結果を取得し、ユーザが機器に異常が発生した時のデータを選択するようにしてもよい。取得した検証データは特徴量算出部１０２へと送られる。
【００４４】
ＣＰＵ２００は、特徴量算出部１０２を介して、検証データの特徴量２０４を算出する（Ｓ４０６）。なお、検証データの特徴量算出は、学習データの特徴量を算出する方法と同じ方法を用いて算出することができる。算出した検証データの特徴量２０４は評価部１０６へと送られる。
【００４５】
ＣＰＵ２００は、評価部１０６を介して、検証データの特徴量２０４を異常と判定できるか否かを検証する（Ｓ４０７）。
検証方法としては、混合正規分布（クラスタ情報２０２および２０３）を用いて、判定データと各正規分布の重心位置との距離が最も近い正規分布２０２（クラスタ情報２０２）を選択する。選択した正規分布２０２の重心位置と分散共分散を用いて、判定データの特徴量２０４とのマハラノビス距離を先述した式１を用いて算出する。ＣＰＵ２００は、算出した距離が閾値以内であれば「正常」と判定する。また、閾値以上であれば「異常」と判定する。
【００４６】
ＣＰＵ２００は、ステップＳ４０７の処理において検証データの判定結果が「異常」と判定されたか否かを識別する（Ｓ４０８）。
検証データが異常と判定された場合（Ｓ４０８：Ｙｅｓ）、ステップＳ４１０の処理に進む。また、そうでない場合（Ｓ４０８：Ｎｏ）、つまり検証データが「異常」であると判定されなかった場合、ＣＰＵ２００は、学習データの特徴量２０１と検証データの特徴量２０４をデータ再分割部１０７へと出力する。そして、ステップＳ４０９の処理に進む。
【００４７】
ＣＰＵ２００は、データ再分割部１０７を介して、学習データの特徴量２０１と検証データの特徴量２０４に基づいてデータの再分割を行なう（Ｓ４０９）。
データの再分割処理方法としては、例えば先述した式３を用いてデータ間の類似度を算出する。その際、検証データを類似度算出の条件に用いる。求めた類似度に基づいて固有値・固有ベクトルを算出し、固有値の上位Ｃ個を対角要素に並べた行列を生成し、その行ベクトルをｋ近傍法でクラスタリングする。そして、ｉ番目の行に割り当てられたクラスタリング結果をもとに学習データを分割する。
学習データ２０１とクラスタリング結果であるクラスタ情報２０３、３０５、３０６（図３参照）は再度モデル作成部１０４へと送られる。ＣＰＵ２００は、ステップＳ４０４へと戻り、再度モデルの作成を行う。
ＣＰＵ２００は、作成されたモデルをモデル保存部１１ａに保存する（Ｓ４１０）。
【００４８】
［判定部１２２の処理フロー］
図５は、モデル作成装置１００の処理手順の一例を示すフローチャートである。
なお、図５に示す処理は主として判定部１２２の処理に関するものであり、ＣＰＵ２００により制御される。
【００４９】
ＣＰＵ２００は、機器に取り付けた各種センサから判定データを取得する（Ｓ４２１）。取得した判定データは、特徴量算出部１１２へと出力される。
【００５０】
ＣＰＵ２００は、特徴量算出部１１２を介して、判定データの特徴量を算出する（Ｓ４２２）。特徴量の算出は、特徴量算出部１０２の場合と同様の特徴量算出方法を用いて算出することができる。算出した検証データの特徴量は識別部１１３へと出力される。
【００５１】
ＣＰＵ２００は、識別部１１３を介して、モデル保存部１１ａから作成したモデルを取得し、特徴量算出部１１２から取得した判定データの特徴量を判定する（Ｓ４２３）。
判定方法としては、例えばモデルが混合正規分布の場合、先述した式１を用いて各正規分布と判定データのマハラノビス距離を算出する。各正規分布とのマハラノビス距離（式１）が最小のものを選択し、その距離が閾値以下であれば「正常」と判定する。また、閾値以上であれば「異常」と判定する。
なお、本発明での識別処理は正規分布に限定するわけではなく、別の方法を用いて判定を行ってもよい
【００５２】
ＣＰＵ２００は、識別部１１３による判定結果を表示装置１３０の表示画面に表示する（Ｓ４２４）。
【００５３】
このように、本実施形態に係るモデル作成装置１００では、検証データを含まないように学習データを分割してモデルを作成することで、検証データを「異常」と判定することができるモデルを作成することができる。そのため、機器の異常を検知することが可能となり、モデルの判定精度をより向上させることができる。
また、本実施形態でモデル作成結果を表示装置に出力してユーザが確認することができる。そのため、ユーザは検証データの選択・追加を行うことで確認しながらモデルを作成することが可能になる。
また、各実施形態において検証データを異常データとして説明を記述しているが、検証データは正常データと異常データのどちらを用いてもよい。この時、評価部１０６において正常データを異常と評価した場合、データ再分割部１０７においてデータ再分割が実施される。
また、本実施形態では未検知となった異常データを逐次追加しながらモデルを作成させることができるモデル作成装置を提供することが可能となる。
【００５４】
［第２実施形態］
本実施形態では、映像監視システムにおけるモデル作成装置について説明する。
なお、第１実施形態における各構成と同一の構成については、同一の符号を付してその説明を省略する。
【００５５】
図６は、本実施形態に係るモデル作成装置５００の構成の一例を示す図である。
なお、本実施形態では、撮像データ（映像データ）を用いて異常検知を行なう場合を想定して屋外の交差点のシーンを例に挙げて説明するが、例えば商業施設などの屋内や、病院、介護施設、駅などの公共施設など様々な場所のシーンにおいても適用することができる。
【００５６】
モデル作成装置５００は、主として学習部５２１と判定部５２２を含んで構成される。また、領域・モデル保存部５１ａ、表示装置１３０を有する。
モデル作成装置５００は、ＣＰＵ２００、メモリ３００を有する。なお、ＣＰＵ２００は、メモリ３００（例えば、ＲＡＭ）に記憶されたプログラムなどを読み出してモデル作成装置５００の動作を制御する。
【００５７】
学習部５２１は、学習映像取得部５０１、特徴量算出部５０２、領域分割部５０３、モデル作成部１０４、検証映像取得部５０５、評価部１０６を含んで構成される。
判定部５２２は、判定映像取得部５１１、特徴量算出部５１２、識別部１１３を含んで構成される。
本実施形態では、取得した学習映像に基づいて当該映像を複数の領域に分割し、分割した各領域で正常モデルを作成する方法について説明する。
【００５８】
［学習部５２１の機能構成］
学習部５２１が有する学習映像取得部５０１は、学習用の映像データ（以下、学習映像と称す）を取得する。
図７は、学習映像の一例を示す図である。図７に示す学習映像６０１は、撮影シーンにおける各撮影対象（以下、対象と称す）６０２〜６０５が移動している映像である。なお、図７中に示す対象６０２〜６０５については後述する。
なお、学習映像６０１は、モデル作成装置５００に接続された監視カメラから取得するように構成してもよい。また、監視カメラで撮影・録画した映像をＨＤＤ（ハードディスクドライブ）、デジタルビデオレコーダーから取得するように構成してもよい。得られた学習映像６０１は特徴量算出部５０２へと出力される。
【００５９】
図６の説明に戻り、特徴量算出部５０２は、取得した学習映像６０１に対して対象を検出して特徴量を算出する。対象の検出には、あらかじめ用意したテンプレートを用いてテンプレートマッチングで映像内の対象を検出することができる。
なお、対象は撮影シーンに併せて抽出する対象をユーザが設定してもよい。その他に、あらかじめ用意した背景画像を使って背景差分法などで背景を除去することで、前景領域を対象として抽出する事ができる。また、検出方法は上記の方法に限定するものではなく、他の公知の技術を用いて行なってもよい。
【００６０】
これにより、例えば図７に示す撮影シーンにおける各対象６０２〜６０５の位置・範囲等が情報として検出され、画像から検出された対象６０２〜６０５に対して位置・範囲の画像データを用いて特徴量を算出することができる。
なお、特徴量の算出は、既知の勾配方向ヒストグラムやテクスチャ特徴量を用いることができる。また、映像データから動きベクトルを抽出して動きベクトルを方向別に分けて強度を足し合わせてヒストグラムにしたＭＨＯＦ（Ｍｕｌｔｉ  Ｈｉｓｔｏｇｒａｍ  ｏｆ  Ｏｐｔｉｃａｌ  Ｆｌｏｗ）特徴量を抽出することもできる。また、特徴量については上記に限定するものではなく、それ以外の特徴量を用いるように構成してもよい。
算出した特徴量は領域分割部５０３、あるいは評価部１０６へ出力される。
【００６１】
領域分割部５０３は、特徴量算出部５０２を介して取得された位置情報や特徴量に基づいて領域の分割を行なう。領域分割方法としては、例えば以下に示す式７を用いて類似度を算出して行うことができる。
【００６２】
【数７】
2019046278.tif 000024
【００６３】
ここで、
2019046278.tif 000025
：対象の特徴量、
2019046278.tif 000026
：画像上での対象の位置、
2019046278.tif 000027
：スケールファクター（クラスタ重心位置とデータ位置の距離）、
2019046278.tif 000028
：距離閾値、である。この類似度を使って、スペクトラルクラスタリングの手法を用いてクラスタリングを行ない、画像の各ピクセルでのクラスタの出現確率を算出し、その出現確率を基準に複数の領域へと分割する。分割された領域、及び、学習映像から抽出した特徴量はモデル作成部１０４へと送られる。
【００６４】
検証映像取得部５０５は、検証用の映像データ（以下、検証映像と称す）を取得する。
図８は、検証映像の一例を示す図である。
図８に示す検証映像７０７は、人物７０８が転倒している映像の一例である。この検証映像７０７には、対象である人物７０８が転倒しているフレームでの位置・範囲が入力されている。なお、位置・範囲は、例えばユーザがＧＵＩを介して映像のフレームを選択し、画像上の位置・範囲を指定することで入力される。このように、例えば人物が転倒するなどの異常行動が発生したフレームを検証映像とし、異常の発生位置と範囲の情報を入力する。
取得した映像７０７は特徴量算出部５０２へと出力され、人物７０８の特徴量が算出される。
【００６５】
領域再分割部５０７では、学習映像６０１における対象６０２〜６０５の特徴量と、検証映像における対象７０８の位置情報と特徴量に基づいて領域の再分割を行なう。
なお、領域の再分割方法としては、先述した式３を用いて類似度を算出する他に、以下に示す式８を用いて類似度を算出することができる。
【００６６】
【数８】
2019046278.tif 000029
【００６７】
ここで、α：任意の値であり、Ｌ：データのラベル（学習データ＝＋１、検証データ＝０）である。こうすることで、学習データと検証データの類似度が０になるように算出することができる。類似度を算出した後、固有値を算出してｋ近傍法によりクラスタリングする。これにより、特徴量をクラスタリングすることができる。
映像において、各ピクセルにおけるクラスタリングした各クラスタの出現確率を算出し、出現確率に基づいて領域を分割する。再分割された領域はモデル作成部１０４へと出力され、再度モデルの作成が行なわれる。
【００６８】
［判定部５２２の機能構成］
判定部５２２が有する判定映像取得部５１１は、例えば監視カメラから映像データを判定データとして取得する。取得した判定データは特徴量算出部５１２へと出力される。
【００６９】
特徴量算出部５１２は、判定映像から対象である人物を検出して特徴量を算出する。
なお、人物の検出及び特徴量算出は特徴量算出部５０２と同様の処理により行なうことができるため説明は省略する。算出した特徴量は識別部１１３へと出力される。
【００７０】
［学習部５２１の処理フロー］
図９は、モデル作成装置５００の処理手順の一例を示すフローチャートである。
なお、図９に示す処理は主として学習部５２１の処理に関するものであり、ＣＰＵ２００により制御される。
【００７１】
ＣＰＵ２００は、学習映像６０１を取得する（Ｓ８０１）。取得した学習映像６０１は特徴量算出部５０２へと送られる。
ＣＰＵ２００は、特徴量算出部５０２を介して、取得した学習映像６０１から当該学習映像６０１の特徴量を算出する（Ｓ８０２）。特徴量の算出は、例えば予め用意した背景画像を用いて背景差分を行ない映像内の前景領域を抽出するように構成してもよい。また、テンプレートマッチングで検出して対称（人物）の位置・領域を取得してもよい。
具体的には、対象６０２〜６０５に対してＨＯＧ特徴量やＨＯＦ特徴量などの特徴量を算出する。算出した対象の位置情報、特徴量は学習データとして領域分割部５０３へと送られる。
【００７２】
ＣＰＵ２００は、領域分割部５０３を介して、学習映像６０１に基づく学習データを用いて領域の分割を行なう（Ｓ８０３）。
領域分割は、算出した位置情報、特徴量に基づいて先述した式８を用いて類似度を算出し、スペクトラルクラスタリングによる方法を用いて領域を分割することができる。
具体的には、類似度の固有値・固有ベクトルを算出して、ｋ近傍法によりクラスタリングすることで学習データにクラスタ番号の割り当てを行う。そして、映像の各ピクセルに対してクラスタの出現確率を算出して、各ピクセルに割り当てられたクラスタの出現確率に基づいて領域に分割する。
分割された領域、学習データの位置・特徴量に係る情報はモデル作成部１０４へと送られる。
【００７３】
ＣＰＵ２００は、領域分割部５０３、あるいは領域再分割部５０７を介して分割された領域に係る情報に基づいて、各領域に対するモデルの作成を行なう（Ｓ８０４）。
【００７４】
ＣＰＵ２００は、検証映像取得部５０５を介して、検証映像７０７を取得する（Ｓ８０５）。検証映像は、例えば予め監視カメラで撮影された映像を録画しておいて、ユーザがその映像の中から異常な行動をしているシーンを選択するようにしてもよい。取得した検証映像７０７は、特徴量算出部５０２へと送られる。
【００７５】
ＣＰＵ２００は、特徴量算出部５０２を介して、検証映像７０７の特徴量を算出する（Ｓ８０６）。なお、検証映像７０７の特徴量の算出は、学習映像６０１の特徴量を算出する方法と同じ方法を用いて行うことができる。算出した検証映像７０７の特徴量は検証データとして評価部１０６へと送られる。
【００７６】
ＣＰＵ２００は、評価部１０６を介して、検証データを異常と判定できるか否かを検証する（Ｓ８０７）。なお、この検証は、ステップＳ４０７（図４参照）と同様の処理により行うことができる。
ＣＰＵ２００は、ステップＳ８０７の処理において検証データの判定結果が「異常」と判定されたか否かを識別する（Ｓ８０８）。
検証データが異常と判定された場合（Ｓ８０８：Ｙｅｓ）、ステップＳ８１０の処理に進む。また、そうでない場合（Ｓ８０８：Ｎｏ）、つまり検証データが「異常」であると判定されなかった場合、ＣＰＵ２００は、学習データと検証データを領域再分割部５０７へと出力する。そして、ステップＳ８０９の処理に進む。
【００７７】
ＣＰＵ２００は、領域再分割部５０７を介して、学習データと検証データに基づいて領域の再分割を行う（Ｓ８０９）。
領域の再分割は、例えば取得した学習データと検証データの特徴量と画像上での位置を用いて類似度を先述した式８により算出する。そして、算出した学習・検証データの類似度に基づいて、スペクトラルクラスタリングを用いてデータをクラスタリングし、類似する特徴量が発生する対象の位置に基づいて領域を分割することができる。
領域分割結果はモデル作成部１０４へと送られる。ＣＰＵ２００は、ステップＳ８０４へと戻り、再度モデルの作成を行う。
ＣＰＵ２００は、分割した領域と各領域のモデルを領域・モデル保存部５１ａに保存する（Ｓ８１０）。
【００７８】
［判定部５２２の処理フロー］
図１０は、モデル作成装置５００の処理手順の一例を示すフローチャートである。
なお、図１０に示す処理は主として判定部５２２の処理に関するものであり、ＣＰＵ２００により制御される。
【００７９】
ＣＰＵ２００は、判定映像取得部５１１を介して、検証映像７０７を取得する（Ｓ８２１）。取得した検証映像７０７は判定データとして特徴量算出部５１２へと送られる。
【００８０】
ＣＰＵ２００は、特徴量算出部５１２を介して、判定データの特徴量を算出する（Ｓ８２２）。特徴量の算出は、特徴量算出部５０２の場合と同様の特徴量算出方法を用いて算出することができる。算出した判定データの特徴量（判定映像の特徴量）は識別部１１３へと送られる。
【００８１】
ＣＰＵ２００は、識別部１１３を介して、モデル保存部１１ａから作成したモデルを読み込み、特徴量算出部１１２から取得した判定データの特徴量を判定する（Ｓ８２３）。
ＣＰＵ２００は、識別部１１３による判定結果を表示装置１３０の表示画面に表示する（Ｓ８２４）。
【００８２】
本実施形態に係るモデル作成装置５００のように、本発明を設備機器の監視システムや、映像による監視システム分野におけるモデル作成装置として構成することもできる。
また、本発明はユーザが逐次、検証データを追加することでモデルを再作成していくことが可能となる。
【００８３】
［第３実施形態］
図１１は、本実施形態に係るモデル作成装置９００の構成の一例を示す図である。
なお、図６に示すモデル作成装置５００との違いは、モデル作成装置９００では学習部９２１がモデル再作成部９０８を有している点である。また、第１、第２実施形態における各構成と同一の構成については、同一の符号を付してその説明を省略する。
【００８４】
学習部９２１のモデル再作成部９０８は、領域再分割部５０７において分割された学習映像と検証映像の両方を用いてモデルを作成する。
モデル作成方法としては、学習映像内の人物６０２〜６０５の特徴量を領域再分割部５０７によって分割したものと検証映像内に入力されている異常発生時の人物７０８の特徴量に基づいて、「Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ」（ＳＶＭ）などを用いて行うことができる。
【００８５】
このとき、学習映像のラベルを＋１とし、検証映像のラベルを−１とすることでＳＶＭの学習をすることができる。なお、検証映像のデータ数が極端に少ない場合、検証映像に重みを付けて学習してもよいし、学習映像をアンダーサンプリングして学習映像と検証映像のデータ数のバランスを取ってモデルの作成を行なってもよい。モデル作成によって、サポートベクトルとそれぞれの係数と閾値が得られる。
【００８６】
また、サンプリングにより学習に用いていない学習映像を用いて、異常と誤検知しないか検証を行うことも可能である。また、本発明では、モデル再作成方法についてはＳｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅに限定するわけではなく、他の方法を用いてモデルを作成してもよい。例えば、オンライン学習方法などを用いて、追加された検証データを逐次学習・更新することも可能である。
このモデル作成においては、各分割された学習データそれぞれに対して検証映像を用いてモデルの学習を行うように構成してもよい。
これにより作成された各領域のモデルは評価部１０６へと送られ、作成したモデルが異常を検知できるか再度評価される。
【００８７】
［学習部９２１の処理フロー］
図１２は、モデル作成装置９００の処理手順の一例を示すフローチャートである。
なお、図９に示す処理は主として学習部９２１の処理に関するものであり、ＣＰＵ２００により制御される。
また、図１２に示すステップＳ１００１〜Ｓ１００６の処理、ステップＳ１００８、Ｓ１０１０の処理は、図９に示すステップＳ８０１〜Ｓ８０６の処理、ステップＳ８０８、Ｓ８１０の処理と同じ処理であるため、その説明を省略する。
以下、ステップＳ１００７、Ｓ１００９、Ｓ１０１１の処理について説明する。
【００８８】
ＣＰＵ２００は、評価部１０６を介して、検証映像を異常と判定できるか否かを検証する（Ｓ１００７）。
ＣＰＵ２００は、領域再分割部５０７を介して、学習映像と検証映像に基づいて領域の再分割を行う（Ｓ１００９）。
ＣＰＵ２００は分割した学習映像と検証映像に基づいてモデルの再作成を行なう（Ｓ１０１１）。
なお、モデルの再作成方法としてはＳｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅを用いて作成することができる。このモデル再作成処理により、各領域でサポートベクトルとそれぞれに対応する係数と閾値が得られ、それらがモデルとなる。再作成された各領域のモデルは評価部１０６へと送られる。
【００８９】
上記説明した実施形態は、本発明をより具体的に説明するためのものであり、本発明の範囲が、これらの例に限定されるものではない。
また、本発明の実施の形態について図面を参照して詳述したが、具体的な構成はその実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。また、各実施形態は、上記の各実施形態を組み合せて実施してもよい。
【００９０】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがコンピュータプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９１】
１００・・・モデル作成装置、１０１・・・学習データ取得部、１０２、１１２・・・特徴量算出部、１０３・・・データ分割部、１０４・・・モデル作成部、１０５・・・検証データ取得部、１０６・・・評価部、１０７・・・データ再分割部、１１ａ・・・モデル保存部、１１１・・・判定データ取得部、１１３・・・識別部、１２１・・・学習部、１２２・・・判定部、１３０・・・表示装置、２００・・・ＣＰＵ、３００・・・メモリ。
【図１】
2019046278.tif 000030
【図２】
2019046278.tif 000031
【図３】
2019046278.tif 000032
【図４】
2019046278.tif 000033
【図５】
2019046278.tif 000034
【図６】
2019046278.tif 000035
【図７】
2019046278.tif 000036
【図８】
2019046278.tif 000037
【図９】
2019046278.tif 000038
【図１０】
2019046278.tif 000039
【図１１】
2019046278.tif 000040
【図１２】
2019046278.tif 000041