(57)【要約】【課題】正常クラスに属する訓練データが疎な領域に位置する入力データを、未知のクラスに識別することを目的とする。【解決手段】既知のクラスに関連付けて記憶されている訓練データに基づいて、訓練データの既知のクラスにおける条件付き確率密度を示す確率密度情報を取得する取得手段と、訓練データと、取得手段により取得された確率密度情報と、既知のクラスに関連付けて記憶されているコスト情報と、に基づいて、識別モデルを生成する生成手段と、を有することによって課題を解決する。【選択図】図２
2016099716.tif 000002
【特許請求の範囲】
【請求項１】
既知のクラスに関連付けて記憶されている訓練データに基づいて、前記訓練データの前記既知のクラスにおける条件付き確率密度を示す確率密度情報を取得する第１の取得手段と、
前記訓練データと、前記第１の取得手段により取得された前記確率密度情報と、既知のクラスに関連付けて記憶されているコスト情報と、に基づいて、識別モデルを生成する生成手段と、
入力データの特徴量を抽出する抽出手段と、
前記訓練データと、前記生成手段により出力された前記識別モデルと、前記抽出手段により抽出された特徴量と、に基づいて、前記入力データが既知のクラスに属する確信度を取得する第２の取得手段と、
前記第２の取得手段により取得された前記確信度に基づいて、前記入力データが既知のクラスに属するか、未知のクラスに属するかを判定する判定手段と、
前記判定手段による判定の結果を出力する出力手段と、
を有するシステム。
【請求項２】
前記出力手段により出力された判定の結果を表示する表示手段を更に有する請求項１記載のシステム。
【請求項３】
入力データの特徴量を抽出する抽出手段と、
既知のクラスに関連付けて記憶されている訓練データと、識別モデルと、前記抽出手段により抽出された特徴量と、に基づいて、前記入力データが既知のクラスに属する確信度を取得する取得手段と、
前記取得手段により取得された前記確信度に基づいて、前記入力データが既知のクラスに属するか、未知のクラスに属するかを判定する判定手段と、
前記判定手段による判定の結果を出力する出力手段と、
を有する識別装置。
【請求項４】
前記識別モデルは、既知のクラスに関連付けて記憶されている訓練データと、前記訓練データの前記既知のクラスにおける条件付き確率密度を示す確率密度情報と、既知のクラスに関連付けて記憶されているコスト情報と、に基づいて、生成される請求項３記載の識別装置。
【請求項５】
前記取得手段は、既知のクラスに関連付けて記憶されている訓練データと、前記抽出手段により抽出された特徴量と、に基づいて、基底関数を求め、求めた基底関数と、前記識別モデルと、に基づいて、入力データが既知のクラスに属する確信度を算出し、前記確信度を取得する請求項３又は４記載の識別装置。
【請求項６】
前記判定手段は、前記入力データが未知のクラスに属すると判定した場合、前記訓練データの前記既知のクラスにおける条件付き確率密度を示す確率密度情報を読み込み、読み込んだ前記確率密度情報に基づき、前記確信度を有する既知のクラスでの、前記入力データの条件付き確率密度である入力データ確率密度情報を取得し、
前記出力手段は、前記入力データが未知のクラスに属することを示す判定情報と、前記入力データ確率密度情報と、を前記判定の結果として出力する請求項３乃至５何れか１項記載の識別装置。
【請求項７】
前記出力手段は、前記判定手段による判定の結果が、前記入力データが未知のクラスに属することを示していた場合、前記入力データが未知のクラスに属することを示す判定情報と、前記入力データをどの既知のクラスに追加するか、又は新規のクラスに追加するかの登録方法情報と、を前記判定の結果として出力する請求項３乃至５何れか１項記載の識別装置。
【請求項８】
既知のクラスに関連付けて記憶されている訓練データに基づいて、前記訓練データの前記既知のクラスにおける条件付き確率密度を示す確率密度情報を取得する取得手段と、
前記訓練データと、前記取得手段により取得された前記確率密度情報と、既知のクラスに関連付けて記憶されているコスト情報と、に基づいて、識別モデルを生成する生成手段と、
を有する識別モデル生成装置。
【請求項９】
前記生成手段は、前記訓練データに基づいて識別モデルの候補に対する評価を取得し、取得した評価に基づいて識別モデルを選択し、前記訓練データと、前記取得手段により取得された前記確率密度情報と、既知のクラスに関連付けて記憶されているコスト情報と、に基づいて、前記選択した前記識別モデルにパラメータを設定し、前記識別モデルを生成する請求項８記載の識別モデル生成装置。
【請求項１０】
前記生成手段は、前記訓練データと、前記取得手段により取得された前記確率密度情報と、既知のクラスに関連付けて記憶されているコスト情報と、に基づいて、識別モデルの候補に対する評価を取得し、取得した評価に基づいて識別モデルを選択し、前記訓練データに基づいて、前記選択した前記識別モデルにパラメータを設定し、前記識別モデルを生成する請求項８記載の識別モデル生成装置。
【請求項１１】
新しい訓練データを示す新規訓練データ情報に基づき、新しい訓練データを登録する登録手段を更に有する請求項８乃至１０何れか１項記載の識別モデル生成装置。
【請求項１２】
システムが実行する情報処理方法であって、
既知のクラスに関連付けて記憶されている訓練データに基づいて、前記訓練データの前記既知のクラスにおける条件付き確率密度を示す確率密度情報を取得する第１の取得ステップと、
前記訓練データと、前記第１の取得ステップにより取得された前記確率密度情報と、既知のクラスに関連付けて記憶されているコスト情報と、に基づいて、識別モデルを生成する生成ステップと、
入力データの特徴量を抽出する抽出ステップと、
前記訓練データと、前記生成ステップにより出力された前記識別モデルと、前記抽出ステップにより抽出された特徴量と、に基づいて、前記入力データが既知のクラスに属する確信度を取得する第２の取得ステップと、
前記第２の取得ステップにより取得された前記確信度に基づいて、前記入力データが既知のクラスに属するか、未知のクラスに属するかを判定する判定ステップと、
前記判定ステップによる判定の結果を出力する出力ステップと、
を含む情報処理方法。
【請求項１３】
識別装置が実行する情報処理方法であって、
入力データの特徴量を抽出する抽出ステップと、
既知のクラスに関連付けて記憶されている訓練データと、識別モデルと、前記抽出ステップにより抽出された特徴量と、に基づいて、前記入力データが既知のクラスに属する確信度を取得する取得ステップと、
前記取得ステップにより取得された前記確信度に基づいて、前記入力データが既知のクラスに属するか、未知のクラスに属するかを判定する判定ステップと、
前記判定ステップによる判定の結果を出力する出力ステップと、
を含む情報処理方法。
【請求項１４】
識別モデル生成装置が実行する情報処理方法であって、
既知のクラスに関連付けて記憶されている訓練データに基づいて、前記訓練データの前記既知のクラスにおける条件付き確率密度を示す確率密度情報を取得する取得ステップと、
前記訓練データと、前記取得ステップにより取得された前記確率密度情報と、既知のクラスに関連付けて記憶されているコスト情報と、に基づいて、識別モデルを生成する生成ステップと、
を含む情報処理方法。
【請求項１５】
コンピュータに、
入力データの特徴量を抽出する抽出ステップと、
既知のクラスに関連付けて記憶されている訓練データと、識別モデルと、前記抽出ステップにより抽出された特徴量と、に基づいて、前記入力データが既知のクラスに属する確信度を取得する取得ステップと、
前記取得ステップにより取得された前記確信度に基づいて、前記入力データが既知のクラスに属するか、未知のクラスに属するかを判定する判定ステップと、
前記判定ステップによる判定の結果を出力する出力ステップと、
を実行させるためのプログラム。
【請求項１６】
コンピュータに、
既知のクラスに関連付けて記憶されている訓練データに基づいて、前記訓練データの前記既知のクラスにおける条件付き確率密度を示す確率密度情報を取得する取得ステップと、
前記訓練データと、前記取得ステップにより取得された前記確率密度情報と、既知のクラスに関連付けて記憶されているコスト情報と、に基づいて、識別モデルを生成する生成ステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、システム、識別装置、識別モデル生成装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
センサが取得した入力データを正常や異常等のクラスに識別する異常検知の問題がある。この異常検知の問題に対するアプローチには、訓練データから学習した識別器を用いて、入力データが各クラスに属する確信度を計算し、確信度に基づいてクラスを選択するものがある。アプローチにおいて重要なのは、異常クラスに属する入力データを誤って正常クラスに識別することを減らすことと、訓練データには含まれていない新しい種類の異常クラスに属する入力データを、未知のクラスに識別できることである。
非特許文献１では、各クラスに、誤識別のコストに比例した確信度の閾値を設定することにより、特徴空間上のクラス間の境界付近に位置する確信度の低い入力データをコストの低いクラスに識別している。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Ｗ．Ｔ．Ｙｉｈ，Ｊ．Ｇｏｏｄｍａｎ  ａｎｄ  Ｇ．  Ｈｕｌｔｅｎ，Ｌｅａｒｎｉｎｇ  ａｔ  Ｌｏｗ  Ｆａｌｓｅ  Ｐｏｓｉｔｉｖｅ  Ｒａｔｅｓ，Ｔｈｅ  Ｔｈｉｒｄ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｅｍａｉｌ  ａｎｄ  Ａｎｔｉ−Ｓｐａｍ，２００６
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特徴空間上のクラス間境界からはずれた入力データは、正常クラスに属する訓練データが疎な領域においても、クラス間の境界付近と比べると、正常クラスに対して高い確信度を持つ。ここで、正常クラスに高いコストを設定し、異常クラスに低いコストを設定し、閾値を低く設定した場合、入力データは正常クラスに識別される。一方、閾値を高く設定した場合、入力データは異常クラスに識別されるが、クラス間境界付近の入力データは、過度に異常クラスに識別される。これにより、非特許文献１に記載されている異常検知手法では、正常クラスに属する訓練データが疎な領域に位置する入力データを、未知のクラスに識別することができない問題があった。
【課題を解決するための手段】
【０００５】
そこで、本発明のシステムは、既知のクラスに関連付けて記憶されている訓練データに基づいて、前記訓練データの前記既知のクラスにおける条件付き確率密度を示す確率密度情報を取得する第１の取得手段と、前記訓練データと、前記第１の取得手段により取得された前記確率密度情報と、既知のクラスに関連付けて記憶されているコスト情報と、に基づいて、識別モデルを生成する生成手段と、入力データの特徴量を抽出する抽出手段と、前記訓練データと、前記生成手段により出力された前記識別モデルと、前記抽出手段により抽出された特徴量と、に基づいて、前記入力データが既知のクラスに属する確信度を取得する第２の取得手段と、前記第２の取得手段により取得された前記確信度に基づいて、前記入力データが既知のクラスに属するか、未知のクラスに属するかを判定する判定手段と、前記判定手段による判定の結果を出力する出力手段と、を有する。
【発明の効果】
【０００６】
本発明によれば、正常クラスに属する訓練データが疎な領域に位置する入力データを、未知のクラスに識別することができるようにすることができる。
【図面の簡単な説明】
【０００７】
【図１】情報処理装置のハードウェア構成の一例を示す図である。
【図２】異常検知システムのシステム構成等の一例を示す図である。
【図３】訓練データ記憶部に記憶されている情報の一例を示す図である。
【図４】確率密度記憶部に記憶されている情報の一例を示す図である。
【図５】コスト記憶部に記憶されている情報の一例を示す図である。
【図６】識別モデル記憶部に記憶されている情報の一例を示す図である。
【図７】端末装置が備える表示部が出力する表示情報の一例を示す図である。
【図８】異常検知システムの識別モデル生成の動作の一例を示すフローチャートである。
【図９】異常検知システムの識別の動作の一例を示すフローチャートである。
【図１０】異常検知システムのシステム構成等の一例を示す図である。
【図１１】異常検知システムの識別モデル生成の動作の一例を示すフローチャートである。
【図１２】異常検知システムのシステム構成等の一例を示す図である。
【図１３】端末装置が備える表示部が出力する表示情報と登録方法情報との一例を示す図である。
【発明を実施するための形態】
【０００８】
＜第１の実施形態＞
第１の実施形態について、図面を参照して説明する。本実施形態における異常検知システム１では、カメラ等の撮像装置が監視対象を撮影する。そして、識別装置が撮像装置から出力された入力データに基づいて、監視対象の状態を既知のクラス又は、未知のクラスに識別する。ここで、既知のクラスには、例えば、監視対象が既知の正常状態であることを示す正常クラスや、既知の異常状態を示す異常クラス等がある。また、未知のクラスとは、訓練データには含まれていないクラスのことである。そして、異常検知システム１では、識別装置が入力データを、異常クラス又は未知のクラスに識別した場合、警備室等の監視センタに常駐する監視者の端末装置に表示情報を送信し、警告させる。この監視対象には、例えば、一般家庭の屋内及び屋外、又は病院、駅等の公共施設が含まれる。また、本実施形態では、識別モデルを線形モデル又は対数線形モデルにより既知のクラスの事後確率を、入力データが既知のクラスに属する確信度として表わす場合について説明する。より具体的には、入力データＸが与えられたもとでの、既知のクラスｙの事後確率のモデルｑ（ｙ｜Ｘ）は、線形モデルの場合、以下に示す式（１）で表される（参考文献１参照）。
【０００９】
【数１】
2016099716.tif 000003
（参考文献１）Ｍ．Ｓｕｇｉｙａｍａ，Ｓｕｐｅｒｆａｓｔ−ｔｒａｉｎａｂｌｅ  ｍｕｌｔｉ−ｃｌａｓｓ  ｐｒｏｂａｂｉｌｉｓｔｉｃ  ｃｌａｓｓｉｆｉｅｒ  ｂｙ  ｌｅａｓｔ−ｓｑｕａｒｅｓ  ｐｏｓｔｅｒｉｏｒ  ｆｉｔｔｉｎｇ，ＩＥＩＣＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｉｎｆｏｒｍａｔｉｏｎ  ａｎｄ  Ｓｙｓｔｅｍｓ，ｖｏｌ．Ｅ９３−Ｄ，ｎｏ．１０，ｐｐ．２６９０−２７０１，２０１０
一方、対数線形モデルの場合、以下に示す式（２）で表される（参考文献２参照）。
【数２】
2016099716.tif 000004
（参考文献２）Ｔ．Ｈａｓｔｉｅ，Ｒ．Ｔｉｂｓｈｉｒａｎｉ，ａｎｄ  Ｊ．Ｆｒｉｅｄｍａｎ，Ｔｈｅ  Ｅｌｅｍｅｎｔｓ  ｏｆ  Ｓｔａｔｉｓｔｉｃａｌ  Ｌｅａｒｎｉｎｇ：Ｄａｔａ  Ｍｉｎｉｎｇ，Ｉｎｆｅｒｅｎｃｅ，ａｎｄ  Ｐｒｅｄｉｃｔｉｏｎ，Ｓｐｒｉｎｇｅｒ，Ｎｅｗ  Ｙｏｒｋ，２００１
ここで、Ｔはベクトルの転置であり、Ｃは既知のクラスの数であり、θyは、既知のクラスｙに係る事後確率のＮ次元のモデルパラメータベクトルであり、Φ（Ｘ）は、入力データＸに係るＮ次元の基底関数ベクトルである。なお、Ｎは訓練データ数である。
【００１０】
この基底関数には、例えば、式（３）で表されるガウス関数等がある。
【数３】
2016099716.tif 000005
ここで、Φi（Ｘ）は、基底関数ベクトルのｉ番目の要素であり、σはガウス基底関数の幅であり、Ｘiは任意の訓練データ点である。
【００１１】
図１は、異常検知システム１に含まれる識別モデル生成装置や識別装置等の情報処理装置のハードウェア構成の一例を示す図である。
図１に示される様に、識別モデル生成装置や識別装置等の情報処理装置は、ハードウェア構成として、少なくとも、ＣＰＵ１０１と、メモリ１０２と、ネットワークＩ／Ｆ１０３と、を有する。ＣＰＵ１０１は、情報処理装置の全体を制御する。ＣＰＵ１０１がメモリ１０２に記憶されたプログラムに基づき処理を実行することによって、後述する識別モデル生成装置や識別装置の機能や、フローチャートの処理が実現される。メモリ１０２は、ＲＡＭやＲＯＭ、ＨＤ等であり、プログラムやＣＰＵ１０１が処理を実行する際に利用するデータ等を記憶する。後述する記憶部は、メモリ１０２に構成される。ネットワークＩ／Ｆ１０３は、情報処理装置をネットワーク等に接続する。
なお、撮像装置３０や端末装置４０等も図１に示されるようなハードウェア構成を少なくとも有する。そして、各々のＣＰＵが各々のメモリに記憶されているプログラムに基づき処理を実行することによって、各々の装置の機能等が実現される。また、撮像装置３０の場合は、ＣＰＵやメモリ以外にもハードウェア構成として少なくとも撮像素子等を有する。また、端末装置４０の場合は、ＣＰＵやメモリ以外にもハードウェア構成として少なくともディスプレイ等の後述する表示部４１を有する。
【００１２】
図２は、異常検知システム１のシステム構成等の一例を示す図である。異常検知システム１は、ネットワークを介して接続された識別モデル生成装置１０と、識別装置２０と、撮像装置３０と、端末装置４０と、を含む。このネットワークには、例えば、携帯電話回線網やインターネットが適用できる。
次に、識別モデル生成装置１０の機能構成について説明する。
識別モデル生成装置１０は、識別装置２０にて用いられる識別モデルを示す識別モデル情報を生成する装置である。識別モデル生成装置１０は、機能構成として、訓練データ記憶部Ｍ１と、確率密度記憶部Ｍ２と、コスト記憶部Ｍ３と、識別モデル記憶部Ｍ４と、確率密度計算部１１と、識別モデル生成部（識別モデル選択部１２及び識別モデル学習部１３）と、を含む。
訓練データ記憶部Ｍ１は、既知のクラスに関連付けて訓練データを記憶する。より具体的には、訓練データ記憶部Ｍ１は、訓練データ点を識別する訓練データＩＤと、訓練データ点が属する既知のクラスを識別する既知クラスＩＤとに関連付けて、訓練データ点の特徴量を示す訓練特徴量を記憶する。この特徴量とは、事前に撮像装置３０により取得された映像又は画像データから設定された方法を用いて抽出された、監視対象の一つ又は複数の特徴を示す情報である。特徴量の抽出方法については、識別装置２０が備える特徴量抽出部２１の説明にて後述する。既知のクラスには、例えば、監視対象が正常の状態であることを示す正常クラスや、異常の状態を示す異常クラス等がある。なお、既知のクラスは、正常及び異常の種類に対応していてもよく、３つ以上あってもよい。
【００１３】
図３は、訓練データ記憶部Ｍ１に記憶されている情報の一例を示す図である。図３の表全体が訓練データに対応し、表の各行が訓練データ点に対応する。図３が示すように、訓練データＩＤと既知クラスＩＤとは、例えば、アルファベット及び数字とから成る文字列である。例えば、図３の２つの訓練データ点は、訓練データＩＤ「Ｄ０００１」と訓練データＩＤ「Ｄ０００２」とにより識別され、それぞれ、既知クラスＩＤ「１」と「２」とにより識別される既知のクラスに属している。そして、図３では、訓練データＩＤと既知クラスＩＤとに関連付けられ、複数の特徴量、例えば、特徴量１、特徴量２の値が格納されていることが示されている。
【００１４】
確率密度記憶部Ｍ２は、条件付き確率密度を示す確率密度情報を記憶する。より具体的には、確率密度記憶部Ｍ２は、訓練データＩＤに関連付けて、訓練データ点が属する既知のクラスが与えられたもとでの、訓練データ点の条件付き確率密度を示す確率密度情報を記憶する。
図４は、確率密度記憶部Ｍ２に記憶されている情報の一例を示す図である。図４の各行に、訓練データ点の確率密度情報が訓練データＩＤに関連付けられて記憶される。例えば、訓練データＩＤ「Ｄ０００１」の確率密度情報は、「０．５」である。また、訓練データＩＤ「Ｄ０００２」の確率密度情報は、「０．２」である。
【００１５】
再び、図２を参照して、識別モデル生成装置１０の構成について説明する。
確率密度計算部１１は、訓練データ記憶部Ｍ１が既知のクラスに関連付けて記憶する訓練データの既知のクラスにおける条件付き確率密度を示す確率密度情報を計算し、確率密度記憶部Ｍ２に記憶する。より具体的には、確率密度計算部１１は、訓練データ記憶部Ｍ１から、訓練データを読み込む。次に、確率密度計算部１１は、読み込んだ訓練データに基づいて、各訓練データ点が属する既知のクラスが与えられたもとでの、各訓練データ点の条件付き確率密度を設定された方法を用いて計算する。そして、確率密度計算部１１は、訓練データＩＤに関連づけて、計算した条件付き確率密度を示す確率密度情報を、確率密度記憶部Ｍ２に記憶する。それと共に、確率密度計算部１１は、識別モデル選択部１２にトリガーを出力する。
【００１６】
条件付き確率密度を計算する設定された方法には、例えば、カーネル確率密度推定法がある。より具体的には、既知のクラスｙに属する訓練データ点Ｘの確率密度は次のように推定される（参考文献３参照）。
【数４】
2016099716.tif 000006
（参考文献３）Ｅ．Ｐａｒｚｅｎ，Ｏｎ  Ｅｓｔｉｍａｔｉｏｎ  ｏｆ  ａ  Ｐｒｏｂａｂｉｌｉｔｙ  Ｄｅｎｓｉｔｙ  Ｆｕｎｃｔｉｏｎ  ａｎｄ  Ｍｏｄｅ，Ａｎｎａｌｓ  ｏｆ  Ｍａｔｈｅｍａｔｉｃａｌ  Ｓｔａｔｉｓｔｉｃｓ，ｖｏｌ．３３，ｎｏ．３，ｐｐ．１０６５−１０７６，１９６２
ここで、Ｎyは、クラスｙに属する訓練データ点の数、σkdeは、ガウスカーネル関数の幅である。この幅σkdeの値は、例えば、全ての訓練データ点間の距離の中央値（メディアン値）により設定される。
【００１７】
識別モデル選択部１２は、訓練データ記憶部Ｍ１に記憶されている訓練データから算出された設定された識別モデルの候補に対する評価に基づき、識別モデルを選択する。より具体的には、識別モデル選択部１２は、確率密度計算部１１からトリガーを入力したことに応じて、訓練データ記憶部Ｍ１に記憶されている訓練データを読み込む。次に、識別モデル選択部１２は、読み込んだ訓練データに基づいて、設定された方法により、設定された識別モデルの候補に対する評価を示す評価情報を算出する。そして、識別モデル選択部１２は、算出した評価情報を最大化する識別モデルを選択し、識別モデルを示す識別モデル情報を識別モデル学習部１３に出力する。ここで、設定された識別モデルの候補には、例えば、式（３）にて前述したガウス基底関数の幅σの予め設定された複数の値の候補や、ガウス基底関数を置く訓練データ点をランダムに選択した複数の候補等がある。また、設定された評価情報の算出方法には、例えば、訓練データを分割し、その一部を用いて識別モデルのパラメータを設定し、残る部分で識別モデルの識別性能を評価する交差確認法等がある。この交差確認法については、第２の実施形態の識別モデル選択部の説明にて詳細に述べる。また、この評価情報としては、例えば、識別率等が用いられる。
【００１８】
コスト記憶部Ｍ３は、各既知のクラスに誤って識別した際に発生する損害を示すコスト情報を既知クラスＩＤに関連付けて記憶する。ここで、損害とは、例えば、入力データを誤って異なるクラスに識別した際に発生する費用や時間等のユーザにかかる負担をしん酌計量化した値である。また、コスト情報とは、例えば、この損害に比例する数値である。
図５は、コスト記憶部Ｍ３に記憶されている情報の一例を示す図である。図５では、誤ってクラスＩＤ「１」に識別された場合は、コスト情報が「５」、誤ってクラスＩＤ「２」に識別された場合は、コスト情報が「１」であることが示されている。
【００１９】
識別モデル記憶部Ｍ４は、識別モデルを示す識別モデル情報を記憶する。より具体的には、識別モデル記憶部Ｍ４は、既知クラスＩＤと、訓練データＩＤとに関連付けて、訓練データ点に対応する識別モデル情報を記憶する。この識別モデル情報とは、例えば、後述する識別モデル学習部１３が設定するパラメータθ（式（２）及び式（３）を参照）や、前述した識別モデル選択部１２が選択した基底関数の幅σ等が含まれる。
図６は、識別モデル記憶部Ｍ４に記憶されている情報の一例を示す図である。図６では、既知クラスＩＤに関連付けられた表があり、各表には訓練データＩＤに関連付けて後述する識別モデル学習部１３が設定するパラメータθと、前述した識別モデル選択部１２が選択した基底関数の幅σとが記憶されていることが示されている。
【００２０】
識別モデル学習部１３は、確率密度記憶部Ｍ２に記憶されている確率密度情報と、コスト記憶部Ｍ３に記憶されているコスト情報とに基づいた正則化のもと、訓練データ記憶部Ｍ１に記憶されている訓練データに基づき、識別モデルのパラメータを設定する。そして、識別モデル学習部１３は、識別モデルを示す識別モデル情報を、識別モデル記憶部Ｍ４に記憶する。より具体的には、識別モデル学習部１３は、識別モデル選択部１２が識別モデル情報を出力したことに応じて、識別モデル情報を取得する。それと共に、識別モデル学習部１３は、確率密度記憶部Ｍ２に記憶されている確率密度情報と、コスト記憶部Ｍ３に記憶されているコスト情報とを読み込む。次に、識別モデル学習部１３は、読み込んだ確率密度情報とコスト情報とに基づき、設定された方法により、正則化項を計算する。次に、識別モデル学習部１３は、訓練データ記憶部Ｍ１に記憶されている訓練データを読み込む。識別モデル学習部１３は、読み込んだ訓練データに基づき、計算した正則化項の制約のもと、設定された方法により、識別モデルのパラメータθ（式（２）及び式（３）を参照）を設定する。そして、識別モデル学習部１３は、当識別モデルを示す識別モデル情報を、識別モデル記憶部Ｍ４に記憶する。ここで、正則化項Ｒ（θ）の設定された計算方法としては、例えば、次式で定義される方法がある。
【数５】
2016099716.tif 000007
ここで、λyは既知のクラスｙの正則化の影響度を制御する正則化パラメータであり、コスト情報に基づいて設定される。この正則化パラメータの設定方法としては、例えば２つの方法がある。
【００２１】
第１の設定方法として、識別モデル学習部１３は、各既知のクラスの正則化パラメータを、各既知のクラスに対するコスト情報に設定する。例えば、既知クラスＩＤ「１」及び「２」の既知のクラスのコスト情報が、それぞれ、「５」及び「１」の場合、λ1＝５及びλ2＝１に設定される。
第２の設定方法として、識別モデル学習部１３は、各既知のクラスの正則化パラメータを、各既知のクラスに対するコスト情報を、コスト情報の総和で割った値に設定する。例えば、既知クラスＩＤ「１」及び「２」の既知のクラスのコスト情報が、それぞれ、「５」及び「１」の場合、λ1＝５／（５＋１）＝及びλ2＝１／（５＋１）に設定される。
【００２２】
また、式（５）のＤyは、ＮｘＮの半正定値行列であり、θyのノルムの距離計量を表している。このＤyは、例えば、確率密度情報を用いて次のように定義される。
【数６】
2016099716.tif 000008
このＤyの計算には、例えば、式（４）により推定される条件付き確率密度が用いられる。
【００２３】
この正則化のもと事後確率のパラメータθは、例えば、次の最適化問題により設定される。
【数７】
2016099716.tif 000009
ここで、Ｌ（θ）は、真の事後確率ｐ（ｙ｜Ｘ）と事後確率のモデルｑ（ｙ｜Ｘ）との誤差を表す誤差関数である。この誤差関数としては、例えば、事後確率モデルｑ（ｙ｜Ｘ）が線形モデルの場合（式（１）を参照）、二乗誤差が用いられ、対数線形モデルの場合（式（２）を参照）、負の尤度が用いられる。
【００２４】
この最適化問題を解くことにより得られる事後確率モデルｑ（ｙ｜Ｘ）は、次の性質を持つ。条件付き確率密度が小さい訓練データ点Ｘｉに対応するモデルパラメータθyi（θyのｉ番目の要素）の二乗は、正則化項Ｒ（θ）において、Ｄyにより大きく重みづけられる。そのため、式（７）の最小化により、モデルパラメータは、より０に近い値を取るように正則化される。これにより、識別モデル学習部１３は、訓練データ点が疎（条件付き確率密度が低い）領域における入力データの事後確率を小さくするような識別モデルを生成することができる。
【００２５】
次に、図２を参照して、識別装置２０の構成について説明する。
撮像装置３０は、監視対象に係る画像データ又は映像データを撮像するカメラを含む。なお、撮像装置３０は、監視対象の音声を入力するマイクロフォン、温度を測定する温度計、又は距離を測る距離センサ等を備えてもよい。撮像装置３０は、取得した入力データを、識別装置２０にネットワークを介して送信する。
識別装置２０は、撮像装置３０が取得した入力データに異常があるか否かを判定する装置である。識別装置２０は、特徴量抽出部２１と、識別部２２と、未知クラス判定部２３と、出力部２４とを含む。
【００２６】
特徴量抽出部２１は、入力データを入力し、入力データの特徴量である特徴量を抽出する。より具体的には、特徴量抽出部２１は、撮像装置３０が、設定された時間間隔で入力データを、ネットワークを介して出力したことに応じて、入力データを取得する。そして、特徴量抽出部２１は、取得した入力データを、設定された特徴量抽出方法により特徴量に変換し、入力データと共に識別部２２に出力する。ここで、入力データは、設定された長さ及び設定されたフレームレートで構成される。例えば、長さは５秒で、フレームレートは１５ｆｐｓである。そして、例えば、特徴量抽出方法には、入力データの各フレームの局所的な特徴を抽出するＨＯＧ、ＨＯＦ、又はＳＩＦＴ等が用いられる（参考文献４〜６参照）。ここで、ＨＯＧとは、Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔの略である。ＨＯＦとは、Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  Ｏｐｔｉｃａｌ  Ｆｌｏｗの略である。ＳＩＦＴとは、Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍの略である。
（参考文献４）Ｎ．Ｄａｌａｌ  ａｎｄ  Ｂ．  Ｔｒｉｇｇｓ，Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  ｏｒｉｅｎｔｅｄ  ｇｒａｄｉｅｎｔｓ  ｆｏｒ  ｈｕｍａｎ  ｄｅｔｅｃｔｉｏｎ，Ｉｎ  ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  （ＣＶＰＲ），ｐｐ．８８６−８９３，２００５
（参考文献５）Ｊ．Ｐｅｒｓ，  ｅｔ  ａｌ，Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  ｏｐｔｉｃａｌ  ｆｌｏｗ  ｆｏｒ  ｅｆｆｉｃｉｅｎｔ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ  ｏｆ  ｂｏｄｙ  ｍｏｔｉｏｎ，Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ｌｅｔｔｅｒｓ，ｖｏｌ．３１，ｎｏ．１１，ｐｐ．１３６９−１３７６，２０１０
（参考文献６）Ｄ．Ｇ．Ｌｏｗｅ，Ｏｂｊｅｃｔ  ｒｅｃｏｇｎｉｔｉｏｎ  ｆｒｏｍ  ｌｏｃａｌ  ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ  ｆｅａｔｕｒｅｓ，Ｉｎ  ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｉｎｔｅｒｎａｔｉｏｎａｌ  ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  ｃｏｍｐｕｔｅｒ  ｖｉｓｉｏｎ  （ＩＣＣＶ），ｐｐ．１１５０−１１５７，１９９９
なお、特徴量抽出部２１は、これらの特徴抽出方法を、映像データの各フレームを複数の領域に分割した各領域に適用してもよい。なお、特徴量抽出方法は、特定の監視対象に特化してもよい。例えば、特徴量抽出部２１は、監視対象が人物の場合は、人物の姿勢及び移動軌跡等を特徴量として抽出する方法でもよい。
【００２７】
識別部２２は、訓練データ記憶部Ｍ１に記憶されている訓練データと、識別モデル記憶部Ｍ４に記憶されている識別モデル情報と、特徴量とに基づいて、入力データが各既知のクラスに属する確信度を計算し、識別結果情報として出力する。より具体的には、識別部２２は、特徴量抽出部２１が特徴量と入力データとを出力したことに応じて、これらの情報を取得する。それと共に、識別部２２は、訓練データ記憶部Ｍ１に記憶されている訓練データと、識別モデル記憶部Ｍ４に記憶されている識別モデル情報とを読み込む。そして、識別部２２は、読み込んだ訓練データと特徴量とに基づき、設定された方法により、基底関数を計算する。この設定された基底関数の計算方法としては、例えば、識別部２２は、式（３）を用いる。そして、識別部２２は、計算した基底関数と、読み込んだ識別モデル情報とに基づき、設定された方法により、入力データが各既知のクラスに属する確信度を計算する。この設定された確信度の計算としては、例えば、識別部２２は、式（１）又は式（２）を用いる。そして、識別部２２は、計算した確信度を含む識別結果情報と共に、特徴量と入力データとを、未知クラス判定部２３に出力する。
【００２８】
未知クラス判定部２３は、識別結果情報に基づき、入力データが、既知のクラス又は、既知のクラス以外のクラスである未知のクラスに属するかを判定し、判定結果を示す判定結果情報を出力する。より具体的には、未知クラス判定部２３は、識別部２２が識別結果情報と、特徴量と、入力データとを出力したことに応じて、これらの情報を取得する。そして、未知クラス判定部２３は、取得した識別結果情報に基づき、設定された方法により、入力データが、既知のクラス又は未知のクラスに属するかを判定する。ここで、未知のクラスとは、既知のクラス以外の新しいクラス又は、既知のクラスの何れに属するかが不確かなクラスである。この設定された判定方法としては、例えば、未知クラス判定部２３は、識別結果情報に含まれる最大の確信度が設定された閾値より小さい場合、入力データが未知のクラスに属すると判定する。一方、未知クラス判定部２３は、確信度が閾値より大きい場合は、入力データが最大の確信度を有する既知のクラスに属すると判定する。
【００２９】
入力データが既知のクラスに属すると判定した場合、未知クラス判定部２３は、未知のクラスに属している否かを示す未知クラス判定情報を、未知のクラスに属していないことを示す「０」に設定する。そして、未知クラス判定部２３は、取得した識別結果情報に含まれる最大の確信度と、確信度を有する既知のクラスを識別する既知クラスＩＤと、未知クラス判定情報とを含む判定結果情報を、特徴量と、入力データと共に、出力部２４に出力する。
一方、入力データが未知のクラスに属すると判定した場合、未知クラス判定部２３は、未知クラス判定情報を、未知のクラスに属すことを示す「１」に設定する。そして、未知クラス判定部２３は、確率密度記憶部Ｍ２に記憶されている確率密度情報を読み込む。未知クラス判定部２３は、読み込んだ確率密度情報に基づき、最大の確信度を有する既知のクラスが与えられたもとでの、入力データの条件付き確率密度である入力データ確率密度情報を計算する。そして、未知クラス判定部２３は、最大の確信度と、確信度を有する既知のクラスを識別する既知クラスＩＤと、未知クラス判定情報と、入力データ確率密度情報とを含む判定結果情報を、特徴量と、入力データと共に、出力部２４に出力する。
【００３０】
出力部２４は、判定結果情報に基づいて、入力データに係る表示情報を生成し出力する。より具体的には、出力部２４は、未知クラス判定部２３が、判定結果情報と、特徴量と、入力データとを、出力したことに応じて、これらの情報を取得する。そして、出力部２４は、取得した判定結果情報に基づいて、取得した入力データに係る表示情報を生成し、ネットワークを介して端末装置４０に出力する。この表示情報の生成方法としては、例えば、４つの方法がある。
【００３１】
第１の生成方法としては、以下の方法がある。判定結果情報により入力データが設定された正常クラスに属することが示される場合（未知クラス判定情報が「０」）、出力部２４は、取得した入力データ、又は解像度及びフレームレートを低くした入力データを、表示情報として出力する。
第２の生成方法としては、以下の方法がある。判定結果情報により入力データが設定された異常クラスに属することが示される場合（未知クラス判定情報が「０」）、出力部２４は、取得した判定結果情報に基づき警告情報を生成する。そして、出力部２４は、警告情報と、入力データとを、表示情報として出力する。この警告情報は、例えば、「異常クラス２に識別されました。確認してください。」等のテキスト又は音声である。
第３の生成方法としては、以下の方法がある。判定結果情報により入力データが未知のクラスに属することが示される場合（未知クラス判定情報が「１」）、かつ、入力データ確率密度情報が予め定められた閾値以上の場合、出力部２４は、未知のクラスに属することを示す警告情報を生成する。より具体的には、出力部２４は、取得した判定結果情報に基づき前記警告情報を生成する。そして、出力部２４は、警告情報と、入力データとを、表示情報として出力する。この警告情報は、例えば、「未知のクラスに識別されました。確認してください。」等のテキスト又は音声である。
第４の生成方法としては、以下の方法がある。判定結果情報により入力データが未知のクラスに属することが示される場合（未知クラス判定情報が「１」）、かつ、入力データ確率密度情報が予め定められた閾値未満の場合、出力部２４は、以下の警告情報を生成する。即ち、出力部２４は、未知のクラスに属することに加え、訓練データが不足していることを示す警告情報を、取得した判定結果情報に基づき生成する。そして、出力部２４は、警告情報と、入力データとを、表示情報として出力する。この警告情報は、例えば、「未知のクラスに識別されました。既知のクラス１での条件付き確率密度は、０．３と低く、訓練データが不足しています。データを追加してください。」等のテキスト又は音声である。
【００３２】
端末装置４０は、監視ユーザが利用するコンピュータ装置であり、識別装置２０からネットワークを介して供給される表示情報を提供する。端末装置４０は、表示部４１を備える。端末装置４０には、例えばＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）やタブレットＰＣ、スマートフォン、フューチャーフォン等が適用できる。より具体的には、端末装置４０は、識別装置２０が表示情報を出力したことに応じて、表示情報を取得する。そして、端末装置４０は、取得した表示情報を表示部４１に出力する。
図７は、端末装置４０が備える表示部４１が出力する表示情報の一例を示す図である。表示部４１は、識別装置２０が出力した表示情報に含まれる入力データを表示する画像表示部４１１と、表示情報に含まれる警告情報を表示する警告表示部４１２と、を含む画面を出力する。この警告情報には、例えば、ＨＴＭＬ（Ｈｙｐｅｒ  Ｔｅｘｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）で記述できるテキスト、入力フォーム及びボタン等が含まれる。
【００３３】
次に、図８を参照して、異常検知システム１における識別モデル生成の動作について説明する。図８は、異常検知システム１の識別モデル生成の動作の一例を示すフローチャートである。
まず、ステップＳ１０１において、確率密度計算部１１は、条件付き確率密度を計算する。より具体的には、確率密度計算部１１は、訓練データ記憶部Ｍ１に記憶されている訓練データを読み込む。そして、確率密度計算部１１は、読み込んだ訓練データに基づいて、条件付き確率密度を計算する。
次に、ステップＳ１０２において、確率密度計算部１１は、計算した条件付き確率密度を示す確率密度情報を確率密度記憶部Ｍ２に記憶すると共に、識別モデル選択部１２に、トリガーを出力する。
次に、ステップＳ１０３において、識別モデル選択部１２は、識別モデルを選択する。より具体的には、識別モデル選択部１２は、確率密度計算部１１からトリガーを入力したことに応じて、訓練データ記憶部Ｍ１に記憶されている訓練データを読み込む。そして、識別モデル選択部１２は、読み込んだ訓練データに基づいて、上述した設定された識別モデルの候補に対する、上述した設定された算出方法を用いて評価情報を算出する。そして、識別モデル選択部１２は、算出した評価情報を最大化する識別モデルを選択し、識別モデル学習部１３に出力する。
【００３４】
次に、ステップＳ１０４において、識別モデル学習部１３は、正則化項を計算する。より具体的には、識別モデル学習部１３は、識別モデル選択部１２から識別モデル情報を入力したことに応じて、確率密度記憶部Ｍ２に記憶されている確率密度情報と、コスト記憶部Ｍ３に記憶されているコスト情報とを読み込む。そして、識別モデル学習部１３は、読み込んだ確率密度情報と、コスト情報とに基づき、正則化項を計算する。
次に、ステップＳ１０５において、識別モデル学習部１３は、識別モデルのパラメータを設定する。より具体的には、識別モデル学習部１３は、訓練データ記憶部Ｍ１に記憶されている訓練データを読み込む。そして、識別モデル学習部１３は、読み込んだ訓練データと、計算した正則化項とに基づいて、識別モデルのパラメータを設定する。
次に、ステップＳ１０６において、識別モデル学習部１３は、設定した識別モデルを示す識別モデル情報を識別モデル記憶部Ｍ４に記憶する。
【００３５】
次に、図９を参照して、異常検知システム１における識別の動作について説明する。図９は、異常検知システム１の識別の動作の一例を示すフローチャートである。
まず、ステップＴ１０１において、特徴量抽出部２１は、入力データを撮像装置から取得する。より具体的には、特徴量抽出部２１は、撮像装置３０が取得した入力データを、ネットワークを介して出力したことに応じて、入力データを取得する。そして、特徴量抽出部２１は、特徴抽出方法を用いて、取得した入力データから映像特徴量を抽出する。そして、特徴量抽出部２１は、抽出した特徴量と入力データとを識別部２２に出力する。
次に、ステップＴ１０２において、識別部２２は、確信度を計算する。より具体的には、識別部２２は、特徴量抽出部２１から、特徴量と、入力データとを取得すると共に、識別モデル記憶部Ｍ４に記憶されている識別モデル情報と、訓練データ記憶部Ｍ１に記憶されている訓練データ情報とを読み込む。そして、識別部２２は、読み込んだ訓練データと、識別モデル情報と、取得した特徴量とに基づき、入力データが各既知のクラスに属する確信度を含む識別結果情報を計算し、特徴量と入力データと共に、未知クラス判定部２３に出力する。
【００３６】
次に、ステップＴ１０３において、未知クラス判定部２３は、識別結果情報に基づき、入力データが既知のクラス又は未知のクラスに属するかを判定する。より具体的には、未知クラス判定部２３は、識別部２２が、識別結果情報と、特徴量と、入力データとを出力したことに応じて、これらの情報を取得する。そして、未知クラス判定部２３は、識別結果情報に含まれる最大の確信度が設定された閾値より低いか否かを判定する。未知クラス判定部２３は、最大の確信度が設定された閾値以上であると判定した場合（Ｔ１０３においてＮＯ）、処理をステップＴ１０４へと進める。一方、未知クラス判定部２３は、最大確信度が設定された閾値より低いと判定した場合（Ｔ１０３においてＹＥＳ）、処理をステップＴ１０５へと進める。
【００３７】
次に、ステップＴ１０４において、未知クラス判定部２３は、最大の確信度を有する既知のクラスを選択する。より具体的には、未知クラス判定部２３は、「０」に設定した未知クラス判定情報と、最大確信度と、確信度を有する既知のクラスを識別する既知クラスＩＤとを含む判定結果情報を、特徴量と、入力データと共に、出力部２４に出力する。そして、未知クラス判定部２３は、処理をステップＴ１０７へと進める。
一方、ステップＴ１０５において、未知クラス判定部２３は、条件付き確率密度を計算する。より具体的には、未知クラス判定部２３は、確率密度記憶部Ｍ２から確率密度情報を読み込む。そして、未知クラス判定部２３は、読み込んだ確率密度情報に基づき、最大確信度を有する既知のクラスが与えられたもとでの、入力データの条件付き確率密度である入力データ確率密度情報を計算する。
次に、ステップＴ１０６において、未知クラス判定部２３は、未知のクラスを選択する。より具体的には、未知クラス判定部２３は、以下の処理を実行する。即ち、未知クラス判定部２３は、「１」に設定した未知クラス判定情報と、最大確信度と、確信度を有する既知のクラスを識別する既知クラスＩＤと、計算した入力データ確率密度情報とを含む判定結果情報を、特徴量と、入力データと共に、出力部２４に出力する。そして、未知クラス判定部２３は、処理をステップＴ１０７へと進める。
【００３８】
次に、ステップＴ１０７において、出力部２４は、表示情報を生成する。より具体的には、出力部２４は、未知クラス判定部２３が判定結果情報と、特徴量と、入力データとを出力したことに応じて、これらの情報を取得する。そして、出力部２４は、取得した判定結果情報と、入力データとに基づき、表示情報を生成し、ネットワークを介して、端末装置４０に出力する。
次に、ステップＴ１０８において、端末装置４０は、表示情報を出力し、図９に示す処理を終了する。より具体的には、端末装置４０は、識別装置２０の出力部２４から表示情報が出力されたことに応じて、端末装置４０は、表示情報を取得する。そして、端末装置４０は、取得した表示情報を、表示部４１に出力する。
【００３９】
以上説明したように、識別モデル生成装置１０は、撮像装置３０が取得した入力データを識別する識別装置２０で用いられる識別モデルを生成する装置である。確率密度計算部１１は、訓練データ記憶部Ｍ１が既知のクラスに関連付けて記憶する訓練データの既知のクラスにおける条件付き確率密度を示す確率密度情報を計算し、確率密度記憶部Ｍ２に記憶する。コスト記憶部Ｍ３は、各既知のクラスに誤って識別した際の損害を示すコスト情報を記憶する。識別モデル選択部１２は、訓練データ記憶部Ｍ１に記憶されている訓練データから算出された識別モデルの候補に対する評価に基づき、識別モデルを選択する。識別モデル学習部１３は、確率密度記憶部Ｍ２に記憶されている確率密度情報と、コスト記憶部Ｍ３に記憶されているコスト情報とに基づいた正則化のもと、訓練データ記憶部Ｍ１に記憶されている訓練データに基づき、識別モデルのパラメータを設定する。そして、識別モデル学習部１３は、識別モデルを示す識別モデル情報を、識別モデル記憶部Ｍ４に記憶する。これにより、識別モデル生成装置１０は、識別モデルの生成において、訓練データ点の条件付き確率密度を用いるため、訓練データ点の疎密さを考慮した識別モデルを生成できる。
なお、識別モデル生成装置１０の識別モデル学習部１３は、コスト記憶部Ｍ３に記憶されているコスト情報に基づいた強さの前記正則化を適用する。これにより、識別モデル生成装置１０は、各既知のクラスの識別モデルの訓練データ点の疎密さに対する影響度合いを、コスト情報に基づいて調整することができる。
【００４０】
識別装置２０は、識別モデル生成装置１０が生成した識別モデル情報を用いる装置である。特徴量抽出部２１は、入力データの特徴量を抽出する。識別部２２は、訓練データ記憶部Ｍ１に記憶されている訓練データと、識別モデル記憶部Ｍ４に記憶されている識別モデル情報と、特徴量とに基づいて、入力データが各既知のクラスに属する確信度を計算し、識別結果情報として出力する。未知クラス判定部２３は、識別結果情報に基づき、入力データが既知のクラス又は、既知のクラス以外のクラスである未知のクラスに属するかを判定し、判定結果を示す判定結果情報を出力する。出力部２４は、入力データと、判定結果情報とに基づいて、入力データに係る表示情報を生成し出力する。これにより、識別装置２０は、入力データが各既知のクラスに属する確信度に基づいて、入力データを既知のクラス又は未知のクラスに識別することができる。
なお、識別装置２０の未知クラス判定部２３は、入力データが未知のクラスに属すると判定した場合、以下の処理を行う。即ち、未知クラス判定部２３は、確率密度記憶部Ｍ２に記憶されている確率密度情報と、訓練データ記憶部Ｍ１に記憶されている訓練データとに基づいて、入力データの既知のクラスにおける条件付き確率密度である入力データ確率密度情報を計算する。そして、未知クラス判定部２３は、算出した入力データ確率密度情報を判定結果情報に含めて出力する。出力部２４は、入力データ確率密度情報を含む表示情報を出力する。これにより、識別装置２０は、入力データが未知のクラスに属すると判定した場合に、入力データの条件付き確率密度をユーザに提示することができる。そのため、条件付き確率密度が低い場合、ユーザは、入力データに類似する訓練データが不足しているため、入力データが未知のクラスに識別されたと判断することができる。
【００４１】
＜第２の実施形態＞
次に、第２の実施形態について、図面を参照して説明する。なお、上述した第１の実施形態における各構成と同一の構成については、同一の符号を付して説明を省略する。
本実施形態における異常検知システム１ａについて、確率密度情報を、識別モデルの選択に用いた場合について説明する。
図１０は、異常検知システム１ａのシステム構成等の一例を示す図である。異常検知システム１ａは、ネットワークを介して接続された識別モデル生成装置１０ａと、識別装置２０と、撮像装置３０と、端末装置４０とを含む。
【００４２】
次に、識別モデル生成装置１０ａの詳細な構成について説明する。
識別モデル生成装置１０ａは、識別装置２０で識別に用いられる識別モデルを示す識別モデル情報を生成する装置である。識別モデル生成装置１０ａは、訓練データ記憶部Ｍ１と、確率密度記憶部Ｍ２と、コスト記憶部Ｍ３と、識別モデル記憶部Ｍ４と、確率密度計算部１１と、識別モデル生成部（識別モデル選択部１２ａ及び識別モデル学習部１３ａ）とを含む。
識別モデル選択部１２ａは、コスト情報と、確率密度情報とに基づいて各訓練データ点に重要度を割り当てる点において、実施形態１の識別モデル選択部１２と異なる。より具体的には、識別モデル選択部１２ａは、確率密度計算部１１からトリガーを入力したことに応じて、以下の処理を実行する。即ち、識別モデル選択部１２ａは、コスト記憶部Ｍ３に記憶されているコスト情報と、訓練データ記憶部Ｍ１に記憶されている訓練データと、確率密度記憶部Ｍ２に記憶されている確率密度情報とを読み込む。次に、識別モデル選択部１２ａは、読み込んだコスト情報と、確率密度情報とに基づいて、設定された方法により、読み込んだ各訓練データ点に、重要度を割り当てる。この設定された重要度の計算方法としては、例えば次式により重要度を計算する方法がある。
【数８】
2016099716.tif 000010
ここで、Ｖ（Ｘ、ｙ）は、既知のクラスｙに対する訓練データ点Ｘの重要度であり、Ｃyは、既知のクラスｙに対する誤識別のコストであり、βは、１以上の任意の定数である。
【００４３】
識別モデルの候補として、上述したガウス基底関数の幅の値がσ１及びσ２が用意されている場合について、この重要度を用いた識別モデルの選択について説明する。まず、識別モデル選択部１２ａは、訓練データＱを、例えばランダムに５つのグループ｛Ｑ１，Ｑ２、Ｑ３，Ｑ４，Ｑ５｝に分割する。次に、ステップ１として、識別モデル選択部１２ａは、Ｑ１以外の訓練データからσ１及びσ２それぞれを用いた識別モデルｐσ1（ｙ｜Ｘ）及びｐσ2（ｙ｜Ｘ）のパラメータを設定する（式（７）参照）。そして、ステップ２として、識別モデル選択部１２ａは、Ｑ１の訓練データを用いて、各識別モデルの重要度重み付きの識別率ｓ（σ１、Ｄ１）及びｓ（σ２、Ｄ１）を、評価情報として、例えば次式により計算する。
【数９】
2016099716.tif 000011
ここで、ＮD1は、訓練データＱ１のデータ数である。
【００４４】
識別モデル選択部１２ａは、これらのステップ１とステップ２とを、全ての訓練データのグループＱ１〜Ｑ５に対して繰り返し、平均識別率を次式により求める。
【数１０】
2016099716.tif 000012
最後に、識別モデル選択部１２ａは、平均識別率を最大化するσ１又はσ２に対応する識別モデルを選択する。以上説明したように、重要度は、例えば、交差確認法の識別性能を計算する際の重みとして用いられる。これにより、条件付き確率密度が高い、つまり、密な訓練データに対して識別性能を最大化する識別モデルが選択される。例えば、コスト情報が高い既知のクラスに対しては、訓練データが密な領域にて高い確信度を出力するような狭い基底関数が選択される。
【００４５】
そして、識別モデル選択部１２ａは、設定された候補の中から選択した識別モデルを示す識別モデル情報を、識別モデル学習部１３ａに出力する。
識別モデル学習部１３ａは、識別モデル選択部１２ａにより選択された識別モデルにおいてコスト情報と確率密度情報とが考慮されている。そのため、識別モデル学習部１３ａは、識別モデルのパラメータの設定においてコスト情報と確率密度情報を用いない点において実施形態１の識別モデル学習部１３と異なる。より具体的には、識別モデル学習部１３ａは、識別モデル選択部１２ａが識別モデル情報を出力したことに応じて、識別モデル情報を取得する。それと共に、識別モデル学習部１３ａは、訓練データ記憶部Ｍ１に記憶されている訓練データを読み込む。識別モデル学習部１３ａは、読み込んだ訓練データと、取得した識別モデル情報とに基づいて、設定された方法により、基底関数を計算する。この設定された基底関数の計算方法としては、例えば、式（３）が用いられる。そして、識別モデル学習部１３ａは、計算した基底関数と、識別モデルのパラメータとを設定する（式（７）参照）。そして、識別モデル学習部１３ａは、設定した識別モデルを示す識別モデル情報を、識別モデル記憶部Ｍ４に記憶する。
【００４６】
次に、図１１を参照して、異常検知システム１ａにおける識別モデル生成の動作について説明する。図１１は、異常検知システム１ａの識別モデル生成の動作の一例を示すフローチャートである。なお、第１の実施形態と同一の動作については同一の符号を付して、その説明を省略する。
まず、ステップＳ２０１において、識別モデル選択部１２ａは、訓練データ点の重要度を計算する。より具体的には、識別モデル選択部１２ａは、確率密度計算部１１からトリガーを入力したことに応じて、以下の処理を実行する。即ち、識別モデル選択部１２ａは、コスト記憶部Ｍ３に記憶されているコスト情報と、訓練データ記憶部Ｍ１に記憶されている訓練データと、確率密度記憶部Ｍ２に記憶されている確率密度情報とを読み込む。次に、識別モデル選択部１２ａは、読み込んだコスト情報と、確率密度情報とに基づいて、読み込んだ各訓練データ点に対する、重要度を計算する。
次に、ステップＳ２０２において、識別モデル選択部１２ａは、計算した重要度重みのもと、訓練データから計算した識別モデルの評価を示す評価情報に基づいて識別モデルを選択する。より具体的には、識別モデル選択部１２ａは、計算した重要度と、読み込んだ訓練データとに基づいて、例えば、上述した交差確認法を用いて、各識別モデルの候補に対する評価情報を計算する。そして、識別モデル選択部１２は、評価情報を最大化する識別モデルを選択し、選択した識別モデルを示す識別モデル情報を識別モデル学習部１３ａに出力する。
次に、ステップＳ２０３において、識別モデル学習部１３ａは、識別モデルを生成する。より具体的には、識別モデル学習部１３ａは、識別モデル選択部１２が識別モデル情報を出力したことに応じて、識別モデル情報を取得する。それと共に、識別モデル学習部１３ａは、訓練データ記憶部Ｍ１に記憶されている訓練データを読み込む。識別モデル学習部１３ａは、読み込んだ訓練データに基づき、識別モデルのパラメータを設定する。そして、識別モデル学習部１３ａは、設定した識別モデルを示す識別モデル情報を、識別モデル記憶部Ｍ４に記憶する。
【００４７】
以上説明したように、識別モデル生成装置１０ａは、撮像装置３０が取得した入力データを識別する識別装置２０で用いられる識別モデルを生成する装置である。確率密度計算部１１は、訓練データ記憶部Ｍ１が既知のクラスに関連付けて記憶する訓練データの既知のクラスにおける条件付き確率密度を示す確率密度情報を計算し、確率密度記憶部Ｍ２に記憶する。コスト記憶部Ｍ３は、各既知のクラスに誤って識別した際のコストを示すコスト情報を記憶する。識別モデル選択部１２ａは、確率密度記憶部Ｍ２に記憶されている確率密度情報と、コスト記憶部Ｍ３に記憶されているコスト情報とに基づいた訓練データ点の重要度のもと、訓練データ記憶部Ｍ１に記憶されている訓練データから算出された識別モデルの評価に基づき、識別モデルを設定された候補のなかから選択する。識別モデル学習部１３ａは、訓練データ記憶部Ｍ１に記憶されている訓練データに基づき、識別モデルのパラメータを設定し、識別モデルを示す識別モデル情報を、識別モデル記憶部Ｍ４に記憶する。これにより、識別モデル生成装置１０ａは、識別モデルの生成において、条件付き確率を考慮できるため、訓練データ点の疎密に敏感な識別モデルを生成できる。これにより、識別モデル生成装置１０ａは、識別モデルの生成において、訓練データ点の条件付き確率密度を用いるため、訓練データ点の疎密さを考慮した識別モデルを生成できる。
【００４８】
＜第３の実施形態＞
次に、第３の実施形態について、図面を参照して説明する。なお、上述した第１の実施形態における各構成と同一の構成については、同一の符号を付して説明を省略する。
本実施形態における異常検知システム１ｂについて、新たに訓練データがオンラインで追加された場合を例に説明する。つまり、本実施形態の識別モデル生成装置１０ｂは、監視者により新たに追加された訓練データに基づいて、識別モデルを更新できる点において、第１の実施形態と異なる。
図１２は、異常検知システム１ｂのシステム構成等の一例を示す図である。異常検知システム１ｂは、ネットワークを介して接続された識別モデル生成装置１０ｂと、識別装置２０と、撮像装置３０と、端末装置４０とを含む。
【００４９】
次に、識別モデル生成装置１０ｂの詳細な構成について説明する。
識別モデル生成装置１０ｂは、識別装置２０で識別に用いられる識別モデルを示す識別モデル情報を生成する装置である。識別モデル生成装置１０ｂは、訓練データ記憶部Ｍ１と、確率密度記憶部Ｍ２と、コスト記憶部Ｍ３と、識別モデル記憶部Ｍ４と、確率密度計算部１１ｂと、識別モデル生成部（識別モデル選択部１２及び識別モデル学習部１３ｂ）と、登録部１４とを含む。
登録部１４は、新しい訓練データを示す新規訓練データ情報に基づき、新しい訓練データを、訓練データ記憶部Ｍ１に登録する。より具体的には、登録部１４は、端末装置４０ｂが新しい訓練データを示す新規訓練データ情報を出力したことに応じて、新規訓練データ情報を取得する。登録部１４は、取得した新規訓練データ情報に含まれる訓練データ点を、データ点が属する既知のクラスの既知クラスＩＤと、訓練データＩＤとに関連付けて訓練データ記憶部Ｍ１に記憶する。それと共に、登録部１４は、新規訓練データ情報を、確率密度計算部１１ｂに出力する。
【００５０】
確率密度計算部１１ｂは、条件付き確率密度を計算することに加えて、確率密度記憶部Ｍ２に記憶されている確率密度情報を更新する点において、実施形態１の確率密度計算部１１と異なる。より具体的には、確率密度計算部１１ｂは、登録部１４から新規訓練データ情報を入力したことに応じて、訓練データ記憶部Ｍ１に記憶されている訓練データと、確率密度記憶部Ｍ２に記憶されている確率密度情報とを読み込む。そして、確率密度計算部１１ｂは、読み込んだ訓練データと、確率密度情報と、取得した新規訓練データ情報とに基づき、確率密度情報を設定された方法を用いて更新し、確率密度記憶部Ｍ２に記憶する。それと共に、確率密度計算部１１ｂは、識別モデル学習部１３ｂに、トリガーを出力する。ここで、確率密度情報を更新する設定された方法には、例えば、オンラインカーネル確率密度推定法がある（参考文献７参照）。
（参考文献７）Ｍ．Ｋｒｉｓｔａｎ  ａｎｄ  Ａｌｅｓ  Ｌｅｏｎａｒｄｉｓ，Ｍｕｌｔｉｖａｒｉａｔｅ  Ｏｎｌｉｎｅ  Ｋｅｒｎｅｌ  Ｄｅｎｓｉｔｙ  Ｅｓｔｉｍａｔｉｏｎ  ｗｉｔｈ  Ｇａｕｓｓｉａｎ  ｋｅｒｎｅｌｓ，Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，ｖｏｌ．４４，ｎｏ．１０−１１，ｐｐ．２６３０−２６４２，２０１１
【００５１】
識別モデル学習部１３ｂは、識別モデルを生成することに加え、識別モデル記憶部Ｍ４に記憶されている識別モデル情報を更新する点において、実施形態１の識別モデル学習部１３と異なる。より具体的には、識別モデル学習部１３ｂは、確率密度計算部１１ｂからトリガーを入力したことに応じて、確率密度記憶部Ｍ２に記憶されている確率密度情報と、コスト記憶部Ｍ３に記憶されているコスト情報とを読み込む。識別モデル学習部１３は、読み込んだ確率密度情報とコスト情報とに基づき、設定された方法により、正則化項を計算する。次に、識別モデル学習部１３ｂは、訓練データ記憶部Ｍ１に記憶されている訓練データと、識別モデル記憶部Ｍ４に記憶されている識別モデル情報とを読み込む。識別モデル学習部１３ｂは、読み込んだ訓練データと識別モデル情報と、計算した正則化項とに基づいて、設定された方法により、識別モデル情報を更新する。そして、識別モデル学習部１３ｂは、更新した識別モデル情報を、識別モデル記憶部Ｍ４に記憶する。ここで、設定された正則化項の計算方法は、例えば、実施形態１の識別モデル学習部１３の正則化項の計算方法と同じである（式（５）参照）。また、設定された識別モデル情報の更新方法とは、例えば、確率的勾配法がある。より具体的には、識別モデルのパラメータθyは、次式のように最適化問題（式（７）参照）における各項の微分値を用いて更新される。
【数１１】
2016099716.tif 000013
ここで、αは、０以上の任意の更新ステップ幅である。誤差関数Ｌ（θ）の微分は、例えば、二乗誤差又は、負の尤度のパラメータθyに関する微分となる。また、正則化項Ｒ（θ）の微分は、式（５）を微分することにより求められ、次式のようになる。
【数１２】
2016099716.tif 000014
【００５２】
識別装置２０ｂは、撮像装置３０が撮像した映像データに異常があるか否かを判定する装置である。識別装置２０ｂは、特徴量抽出部２１と、識別部２２と、未知クラス判定部２３と、出力部２４ｂとを含む。
出力部２４ｂは、判定結果情報を出力することに加えて、入力データを訓練データとして登録するための登録方法を示す登録方法情報を出力する点において、実施形態１の出力部２４と異なる。より具体的には、出力部２４ｂは、未知クラス判定部２３が、判定結果情報と、特徴量と、入力データとを、出力したことに応じて、これらの情報を取得する。そして、出力部２４ｂは、取得した判定結果情報に基づいて、取得した入力データの表示情報と登録方法情報とを生成し、ネットワークを介して端末装置４０に出力する。この登録方法情報の生成方法としては、例えば、以下の２つの方法がある。
第１の生成方法としては、以下の方法がある。出力部２４ｂは、判定結果情報が、入力データが未知のクラスに属することを示す場合、以下の情報を出力する。即ち、出力部２４ｂは、入力データを既知のクラスを識別する既知クラスＩＤと関連付けるためのテキスト「データをどの（既知）のクラスに追加しますか？」と、クラスＩＤを選択するためのチェックボックスとを、登録方法情報として出力する。
第２の生成方法としては、以下の方法がある。出力部２４ｂは、判定結果情報が、入力データが未知のクラスに属することを示す場合、入力データを新しいクラスと関連付けるためのテキスト「新規にクラスを追加しますか？」と、クラスＩＤを入力するための入力フォームとを、登録方法情報として出力する。登録方法情報には、識別モデル生成装置１０ｂに、監視者により入力された情報を送信するための、送信ボタンと、ネットワーク上にある識別モデル生成装置１０ｂのアドレスを示すＵＲＬとが含まれていてもよい。ＵＲＬは、Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒの略である。
【００５３】
図１３は、端末装置４０が備える表示部４１が出力する表示情報と登録方法情報との一例を示す図である。表示部４１は、画像表示部４１１と、警告表示部４１２とに加え、出力部２４ｂが出力した登録方法情報を表示する登録表示部４１３を含む画面を出力する。
異常検知システム１ｂにおける識別モデル生成の動作及び識別動作は、第１の実施形態にて説明した異常システム１と同様であるため、その説明を省略する。
【００５４】
以上説明したように、識別モデル生成装置１０ｂの登録部１４は、新しい訓練データを示す新規訓練データ情報に基づき、新しい訓練データを、訓練データ記憶部Ｍ１に記憶する。確率密度計算部１１ｂは、新規訓練データ情報と、訓練データ記憶部Ｍ１に記憶されている訓練データとに基づき、確率密度記憶部Ｍ２に記憶されている確率密度情報を更新する。識別モデル学習部１３ｂは、新規訓練データ情報に基づき、識別モデル記憶部Ｍ４に記憶されている識別モデル情報を更新する。これにより、識別モデル生成装置１０ｂは、新しい訓練データを追加し、オンラインで識別モデルのパラメータを更新することができる。
識別装置２０ｂの出力部２４ｂは、未知クラス判定部２３が、未知のデータが未知のクラスに属すると判定した場合、以下の処理を実行する。即ち、識別装置２０ｂの出力部２４ｂは、未知のデータと、データが属する既知のクラス又は、未知のクラスを識別するクラスＩＤとを関連付けるための登録方法を示す登録方法情報を出力する。これにより、識別装置２０ｂは、入力データが未知のクラスに属すると判定した場合に、ユーザに、入力データにクラスＩＤを関連づけるための登録フォームを提供することができる。そのため、ユーザは、入力データを、既知のクラスで不足している訓練データとして、又は新しいクラスの訓練データとして、追加することができる。
【００５５】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００５６】
以上、上述した各実施形態の処理によれば、訓練データが疎な特徴空間上の領域に位置する入力データの確信度を低くすることができるので、前記領域にある入力データを未知のクラスに識別することができる。また、前記領域にある入力データを、ユーザに、訓練データとして追加することを促すことができる。
よって、正常クラスに属する訓練データが疎な領域に位置する入力データを、未知のクラスに識別することができるようにすることができる。
なお、上述した各実施形態を任意に組み合わせて実施してもよい。
また、上述した各実施形態においては、異常検知の問題を例に、実施形態について説明したが、例えば、上述した処理を、特定のクラスを人体のクラス、特定外のクラスを人体以外のクラスとし、画像又は映像データから人体を検知する問題に適用することができる。
また、上述した各実施形態においては、識別モデル生成装置１０、１０ａ及び１０ｂが訓練データ記憶部Ｍ１、確率密度記憶部Ｍ２、コスト記憶部Ｍ３及び識別モデル記憶部Ｍ４を備えていると説明した。しかし、識別装置２０及び２０ｂがこれらの構成を備えてもよい。
また、上述した各実施形態においては、識別モデル生成装置１０、１０ａ及び１０ｂは訓練データ記憶部Ｍ１、確率密度記憶部Ｍ２、コスト記憶部Ｍ３及び識別モデル記憶部Ｍ４を備えていると説明した。しかし、これら各構成を識別モデル生成装置１０、１０ａ及び１０ｂが通信可能な他の装置が備えてもよい。
また、識別モデル生成装置と、識別装置とは、一つのコンピュータ内に実装されていてもよい。
【符号の説明】
【００５７】
１０、１０ａ、１０ｂ  識別モデル生成装置、２０  ２０ｂ  識別装置
【図１】
2016099716.tif 000015
【図２】
2016099716.tif 000016
【図３】
2016099716.tif 000017
【図４】
2016099716.tif 000018
【図５】
2016099716.tif 000019
【図６】
2016099716.tif 000020
【図７】
2016099716.tif 000021
【図８】
2016099716.tif 000022
【図９】
2016099716.tif 000023
【図１０】
2016099716.tif 000024
【図１１】
2016099716.tif 000025
【図１２】
2016099716.tif 000026
【図１３】
2016099716.tif 000027