(57)【特許請求の範囲】
【請求項１】
複数の入力データから特徴量をそれぞれ抽出する特徴量抽出手段と、
前記特徴量を用いて生成される前記複数の入力データの各々が複数のラベルのうちのいずれに属するかを識別する識別モデルに基づいて、前記複数の入力データの各々が前記ラベルに属することの尤度を算出する尤度算出手段と、
前記特徴量と前記尤度に基づいて、前記複数の入力データの各々の空間上での位置座標を算出するデータ解析処理手段と、
前記入力データの属性情報として、前記複数の入力データの各々の空間上での位置座標の位置を表示する提示手段と
を有することを特徴とするデータ解析装置。
【請求項２】
前記データ解析処理手段は、前記特徴量と前記尤度が３次元より多い次元のデータである場合には、次元を削減し、３次元以下の空間上での位置座標を算出することを特徴とする請求項１記載のデータ解析装置。
【請求項３】
前記データ解析処理手段は、前記特徴量と前記尤度についての２個の前記入力データの間の距離と、前記空間上での２個の前記入力データの位置座標の間の距離との誤差が最小になるように、前記複数の入力データの各々の位置座標を算出することを特徴とする請求項１又は２記載のデータ解析装置。
【請求項４】
前記データ解析処理手段は、前記特徴量と前記尤度を結合したベクトルを用いて前記位置座標を算出することを特徴とする請求項３記載のデータ解析装置。
【請求項５】
前記提示手段は、前記入力データの属性情報として、前記尤度が同じである位置座標を示す等高線を表示することを特徴とする請求項１〜４のいずれか１項に記載のデータ解析装置。
【請求項６】
前記尤度算出手段は、第１のラベルに属する入力データの特徴量の平均値を用いて、前記複数の入力データの各々が前記第１のラベルに属することの尤度を算出することを特徴とする請求項１〜５のいずれか１項に記載のデータ解析装置。
【請求項７】
さらに、前記特徴量と前記尤度を用いて、前記複数の入力データを複数のクラスタに分類するクラスタリング手段と、
前記クラスタに属する入力データのうちで他のラベルに対して入力データの数が少ないラベルに属する入力データを提示データとして決定する提示データ決定手段とを有し、
前記提示手段は、前記入力データの属性情報として、前記提示データを提示することを特徴とする請求項１記載のデータ解析装置。
【請求項８】
さらに、前記提示手段により表示された提示データが属するラベルの修正が指示されると、前記提示データが属するラベルを修正するラベル修正手段と、
前記ラベル修正手段により修正されたラベルの提示データを用いて、前記識別モデルの学習を行う識別モデル学習手段とを有することを特徴とする請求項７記載のデータ解析装置。
【請求項９】
前記提示手段の表示に基づき入力データが追加されると、前記特徴量抽出手段は、前記追加された入力データから特徴量を抽出し、
さらに、前記追加された入力データの特徴量を用いて、前記識別モデルの学習を行う識別モデル学習手段を有することを特徴とする請求項７記載のデータ解析装置。
【請求項１０】
特徴量抽出手段により、複数の入力データから特徴量をそれぞれ抽出する特徴量抽出ステップと、
尤度算出手段により、前記特徴量を用いて生成される前記複数の入力データの各々が複数のラベルのうちのいずれに属するかを識別する識別モデルに基づいて、前記複数の入力データの各々が前記ラベルに属することの尤度を算出する尤度算出ステップと、
データ解析処理手段により、前記特徴量と前記尤度に基づいて、前記複数の入力データの各々の空間上での位置座標を算出するデータ解析処理ステップと、
提示手段により、前記入力データの属性情報として、前記複数の入力データの各々の空間上での位置座標の位置を表示する提示ステップと
を有することを特徴とするデータ解析方法。
【請求項１１】
コンピュータを請求項１〜９のいずれか１項に記載のデータ解析装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ解析装置、データ解析方法及びプログラムに関する。
【背景技術】
【０００２】
特許文献１では、複数種類の欠陥を分類する識別基準の算出にニューラルネットワークを利用している。特許文献１では、ユーザが決定した２つの特徴量によって構成される空間で、欠陥の種類を教示するデータを自動で抽出し、抽出したデータに対して、ユーザが欠陥種類を教示し、識別基準を更新する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−５４３４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１では、少数の欠陥種類のラベルが付与されたデータから識別基準を算出し、ユーザが決定した２つの特徴量で構成する特徴空間のデータ分布と、その特徴空間における欠陥を分類する識別基準をユーザに提示する。しかし、ユーザに提示した場合に、ユーザが理解できる空間は３次元までである。そのため、４つ以上の特徴量を用いて、識別基準を算出した場合は、特徴空間におけるデータの分布を表示することができないという課題がある。
【０００５】
本発明の目的は、４次元以上の特徴量を用いた場合においても、データの属性情報を提示することができるデータ解析装置、データ解析方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
本発明のデータ解析装置は、複数の入力データから特徴量をそれぞれ抽出する特徴量抽出手段と、前記特徴量を用いて生成される前記複数の入力データの各々が複数のラベルのうちのいずれに属するかを識別する識別モデルに基づいて、前記複数の入力データの各々が前記ラベルに属することの尤度を算出する尤度算出手段と、前記特徴量と前記尤度に基づいて、前記複数の入力データの各々の空間上での位置座標を算出するデータ解析処理手段と、前記入力データの属性情報として、前記複数の入力データの各々の空間上での位置座標の位置を表示する提示手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、４次元以上の特徴量を用いた場合においても、データの属性情報を提示することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１の実施形態による提示結果の一例を示す図である。
【図２】本発明の第１の実施形態によるデータ解析装置の構成例を示す図である。
【図３】本発明の第１の実施形態による処理方法を示すフローチャートである。
【図４】本発明の第１の実施形態による入力データの記録方法を示す図である。
【図５】本発明の第１の実施形態による尤度の記録方法を示す図である。
【図６】本発明の第２の実施形態によるデータ解析装置の構成例を示す図である。
【図７】本発明の第２の実施形態による処理方法を示すフローチャートである。
【図８】本発明の第２の実施形態によるクラスタリング結果を示す図である。
【図９】本発明の第３の実施形態によるデータ解析装置の構成例を示す図である。
【図１０】本発明の第３の実施形態による処理方法を示すフローチャートである。
【図１１】本発明の第３の実施形態によるクラスタリングを示す図である。
【発明を実施するための形態】
【０００９】
（第１の実施形態）
本発明の第１の実施形態では、特定の検査対象物体を撮影し、その撮影した画像に基づいて検査対象物体が正常であるか否かを識別する。本実施形態では、画像から正常と異常を識別する要素となる特徴量を算出し、複数の正常画像と複数の異常画像のそれぞれから算出した特徴量に基づいて、正常と異常を識別する基準となる正常らしさを表す尤度を算出する。
【００１０】
ここで、特徴空間上でのデータ分布の可視化の際、特徴空間上でのデータ分布のみの可視化では、識別基準となるデータの尤度が考慮されない。そのため、可視化結果で近傍にある２つのデータの尤度が全く異なる可能性があるにも関わらず、ユーザは可視化結果で近傍にあるデータは近い尤度を持つと誤って判断する可能性がある。そこで、本実施形態では、特徴空間上での距離関係に加え、尤度を考慮した可視化を行う。これにより、特徴空間上でのデータ分布と、識別基準による識別性能を同時に表現することが可能となる。
【００１１】
図１は、本発明の第１の実施形態によるデータ解析装置の提示結果の例を示す図である。データ解析装置は、複数の特徴量によって構成される特徴空間におけるデータの分布と、正常と異常の識別基準となる尤度を同時に可視化することを目的とする。図１では、可視化空間の軸１０５と可視化空間の軸１０６は、可視化した結果を表示するための基底を表す。この基底の詳細については、後述する。そして、各データ間の距離は、特徴空間上での位置関係を反映しており、等高線１０３は、尤度が同じである位置座標を示している。データ解析装置は、図１のように表示することで、正常データ１００と異常データ１０１の特徴空間上での位置関係と、尤度を同時に表現することができる。特許文献１は、特徴空間とその空間上での分類基準を表示するため、特徴空間が、そのまま提示可能な次元数を超えた場合に、表示できない。
【００１２】
図２は、本実施形態によるデータ解析装置の構成例を示す図である。データ解析装置は、データ記録部２００、特徴量抽出部２０１、識別モデル学習部２０２、尤度算出部２０３、尤度記録部２０４、データ解析処理部２０５、及び提示部２０６を有する。
【００１３】
図３は、本実施形態によるデータ解析装置のデータ解析方法を示すフローチャートである。まず、ステップＳ３００では、データ記録部２００は、図４に示すように、正常な検査対象物体と異常な検査対象物体を撮影した複数の画像データを画像番号に対応付けて保持する。その際、データ記録部２００は、正常な検査対象物体を撮影した画像であることを示す正常ラベルと、異常な検査対象物体を撮影した画像であることを示す異常ラベルを各画像データに対応付けて保持する。特徴量抽出部２０１は、特徴量抽出手段であり、データ記録部２００から画像データを入力データとして読み出す。本実施形態では、画像を例に説明するが、正常な検査対象物体と異常な検査対象物体で異なる傾向を持つデータであれば、音響データやその他のセンサにより得られるデータを用いてもよい。
【００１４】
次に、ステップＳ３０１では、特徴量抽出部２０１は、データ記録部２００に保持されている全ての画像データから、正常と異常を識別する要素となる特徴量をそれぞれ算出する。特徴量としては、様々なものが挙げられるが、本実施形態では、画像の輝度値の平均、分散、歪度、尖度、最頻値、エントロピー等の統計量を用いる。その他、Co-occurrence Matrixを用いたテクスチャ特徴量や、SIFTを用いた局所特徴量などを用いることも可能である。特徴量抽出部２０１は、データ記録部２００に保持されている全ての正常画像と異常画像に対して、Ｎ次元の特徴量をそれぞれ抽出する。
【００１５】
次に、ステップＳ３０２では、識別モデル学習部２０２は、識別モデル学習手段であり、事前に与えられた正常データと異常データを分離するための識別モデルと、特徴量抽出部２０１によって算出された特徴量を用いて、識別モデルのパラメータを算出する。すなわち、識別モデル学習部２０２は、特徴量を用いて、複数の画像データの各々が正常ラベル及び異常ラベルのうちのいずれに属するかを識別する識別モデルの学習（生成）を行う。本実施形態では、この識別モデルとして、マハラノビス距離を用いる。識別モデル学習部２０２は、データ記録部２００に保持されている正常ラベルの画像から抽出された特徴量を用いて平均と分散共分散行列を求める。これにより、任意の画像から抽出した特徴量を用いて算出したマハラノビス距離が小さいほど、正常画像であると識別することができる。反対に、マハラノビス距離が大きいほど、異常画像であると識別することができる。ここで、特徴量抽出部２０１がデータ記録部２００に保持されている画像から抽出したＮ次元特徴量をｃi（ｉは画像番号）とし、正常ラベルの画像から抽出された特徴量のみを用いて算出した平均値と分散共分散行列をそれぞれμとσとする。識別モデル学習部２０２は、平均値μと分散共分散行列σを識別モデルパラメータとして算出する。なお、本実施形態では、識別モデルとしてマハラノビス距離を利用したが、正常と異常を識別可能な識別モデルであれば、One-class SVMやk-Nearest Neighborなどを用いてもよい。
【００１６】
次に、ステップＳ３０３では、尤度算出部２０３は、尤度算出手段であり、識別モデル学習部２０２により算出された識別モデルを用いて、データ記録部２００に保持されている画像が、どの程度正常らしいかを表す尤度Ｌ（ｃi）を算出する。具体的には、まず、尤度算出部２０３は、次式（１）に示すように、識別モデル学習部２０２により算出された正常画像の平均値μと分散共分散行列σを用いて、Ｎ次元特徴量ｃiに対するマハラノビス距離Ｄ（ｃi）を算出する。ここで、Ｔは行列の転置を表し、σ-1は分散共分散行列σの逆行列を表す。
【００１７】
【数１】
0006679266.tif 000002
【００１８】
次に、尤度算出部２０３は、次式（２）に示すように、マハラノビス距離Ｄ（ｃi）を用いて尤度Ｌ（ｃi）を算出する。ここで、Ｚは正規化係数を表す。すなわち、尤度算出部２０３は、第１のラベルである正常ラベルに属するデータの特徴量の平均値μと特徴量ｃiを用いて、複数のデータの各々が第１のラベルである正常ラベルに属することの尤度Ｌ（ｃi）を算出する。
【００１９】
【数２】
0006679266.tif 000003
【００２０】
次に、尤度記録部２０４は、図５に示すように、特徴量抽出部２０１により算出された特徴量ｃiに対して算出した尤度Ｌ（ｃi）を、図４のデータ記録部２００の画像番号に関連付けて保持する。尤度記録部２０４は、尤度Ｌ（ｃi）をデータ記録部２００とは別に保持しているが、特徴量ｃiと尤度Ｌ（ｃi）の関係を対応付けて保持していれば、どのように記録してもよい。
【００２１】
次に、ステップＳ３０４では、データ解析処理部２０５は、データ解析処理手段であり、特徴量ｃiと尤度Ｌ（ｃi）が３次元より多い次元のデータである場合には、次元を削減し、３次元以下の空間上での位置座標を算出する。具体的には、データ解析処理部２０５は、特徴空間上でのデータ間の関係と識別基準の尤度Ｌ（ｃi）を同時に可視化するために、複数のデータの各々の可視化空間上での位置座標を算出する。例えば、データ解析処理部２０５は、特徴量抽出部２０１により算出された特徴量ｃiと、尤度記録部２０４に保持されている尤度Ｌ（ｃi）を結合した統合ベクトルｕi＝［ｃi，Ｌ（ｃi）］を用いて、可視化空間上でのデータの位置座標を算出する。
【００２２】
例えば、データ解析処理部２０５は、次式（３）に示すストレスと呼ばれる指標Ｓが最小になるように可視化する。
【００２３】
【数３】
0006679266.tif 000004
【００２４】
ここで、Ｍは可視化するデータ数を表す。ｄ１ijは、次式（４）に示すように、可視化した空間におけるｉ番目のデータとｊ番目のデータの間の距離を表す。
【００２５】
【数４】
0006679266.tif 000005
【００２６】
データ解析処理部２０５は、図１に示すように、可視化空間を２次元とし、可視化空間におけるｉ番目のデータとｊ番目のデータの間の距離ｄ１ijは、ユークリッド距離で算出する。ここで、可視化空間におけるｉ番目のデータの座標がｖi＝［ｘi，ｙi］Tであり、ｊ番目のデータの座標がｖj＝［ｘj，ｙj］Tである。この場合、可視化空間の軸１０５がｘｉ及びｘｊの位置であり、可視化空間の軸１０６がｙi及びｙjの位置である。
【００２７】
また、ｄijは、ｉ番目のデータとｊ番目のデータの間の非類似度を表す。非類似度ｄijは、一般的に、特徴空間上での位置関係を用いて算出するため、ｉ番目のデータの特徴量ｃiと、ｊ番目のデータの特徴量ｃjを用いて算出する。しかし、特徴空間上での位置関係のみを用いて非類似度ｄijを算出した場合、可視化空間に表現されるデータ間の位置関係に識別基準の尤度Ｌ（ｃi）が反映されない。そこで、データ解析処理部２０５は、非類似度ｄijの算出の際に、識別基準の尤度Ｌ（ｃi）を考慮した算出を行う。本実施形態では、データ解析処理部２０５は、次式（５）に示すように、尤度Ｌ（ｃi）と特徴量ｃiを統合した統合ベクトルｕi＝［ｃi，Ｌ（ｃi）］を用いて、ユークリッド距離により非類似度ｄijを算出する。
【００２８】
【数５】
0006679266.tif 000006
【００２９】
以上のように、データ解析処理部２０５は、上式（３）の指標Ｓが最小になるように、可視化空間でのデータの座標ｖi及びｖjを算出する。すなわち、データ解析処理部２０５は、特徴量ｃiと尤度Ｌ（ｃi）についての２個のデータの間の距離と、空間上での２個のデータの位置座標の間の距離との誤差が最小になるように、複数のデータの各々の位置座標ｖi及びｖjを算出する。この際、データ解析処理部２０５は、統合ベクトルｕi及びｕjを用いてデータ間の非類似度ｄijを算出することにより、可視化空間におけるデータ間の位置関係に、識別基準の尤度Ｌ（ｃi）によるデータ間の位置関係も同時に反映されることができる。
【００３０】
なお、本実施形態では、２つのデータ間の可視化空間での距離ｄ１ijと、非類似度ｄijをユークリッド距離を用いて算出したが、２つのデータ間の関係を定義できれば、マハラノビス距離、市街地距離、又はピアソン距離を用いてもよい。また、上式（３）の指標Ｓは、他の指標を用いてもよい。
【００３１】
また、本実施形態では、統合ベクトルｕi及びｕjを用いることにより、識別基準の尤度Ｌ（ｃi）による影響を可視化空間でのデータ間の位置関係に反映したが、これに限定されない。上式（３）の指標Ｓが識別基準の尤度Ｌ（ｃi）による影響を与えるような指標になるようにしてもよい。その場合、例えば、上式（３）の指標Ｓの代わりに、次式（６）の指標Ｓ１を用いてもよい。
【００３２】
【数６】
0006679266.tif 000007
【００３３】
ここで、ｄ２ijは、２つのデータの特徴量ｃiとｃjの間の非類似度であり、ｕi＝ｃiとした場合の非類似度ｄijに等しい。ｐijは、２つのデータの尤度Ｌ（ｃi）と尤度Ｌ（ｃj）の間の非類似度であり、ｐij＝｛Ｌ（ｃi）−Ｌ（ｃj）｝2により求める。非類似度ｄ２ij及びｐijは、マハラノビス距離やピアソン距離などを用いて算出することができる。また、αは、特徴空間上での非類似度とマハラノビス距離による非類似度による影響の強さを決定するパラメータである。αが０に近くなるほど、尤度Ｌ（ｃi）及びＬ（ｃj）による影響が小さくなり、特徴空間上での非類似度ｄ２ijが保たれる。これに対し、αが大きくなるほど、尤度Ｌ（ｃi）及びＬ（ｃj）による非類似度ｐijが保たれた可視化空間となる。
【００３４】
本実施形態では、上記の方法により可視化空間におけるデータの位置関係を決定したが、これに限定されない。次元削減が可能な方法であれば、Principal Component AnalysisやFisher's Discriminant Analysisなどの方法を用いてもよい。
【００３５】
次に、ステップＳ３０５では、提示部２０６は、提示手段であり、データ解析処理部２０５により算出された可視化空間でのデータの座標ｖiを用いて、データの位置関係と識別基準の尤度Ｌ（ｃi）を含む属性情報を提示する。具体的には、提示部２０６は、図１に示すように、正常データ１００と異常データ１０１の各々の２次元空間上での位置座標の位置を表示する。また、提示部２０６は、識別基準となる尤度Ｌ（ｃi）が同じである位置座標に等高線１０３を表示する。
【００３６】
提示部２０６は、図１の等高線１０３を表示するためには、尤度Ｌ（ｃi）が等しい点をつなぐ必要がある。ここで、データ解析処理部２０５により算出されたデータ点の座標ｖiは、等間隔に存在するわけではないため、提示部２０６は、尤度Ｌ（ｃi）が等しい点を補間する必要がある。そこで、提示部２０６は、データ解析処理部２０５により算出されたデータ点の座標ｖiの尤度Ｌ（ｃi）を用いて、３次内挿補間により尤度Ｌ（ｃi）の補間を行い、可視化空間における尤度Ｌ（ｃi）が等しい点をつなぐことで、図１の等高線１０３を表示する。なお、本実施形態では、３次内挿補間により、可視化空間の尤度Ｌ（ｃi）が等しい点を補間したが、そのような補間ができれば、線形補間などを用いてもよい。
【００３７】
以上のように、本実施形態によれば、正常と異常の識別基準である尤度Ｌ（ｃi）と、正常と異常の識別の要素となる情報である特徴量を同時に表現することが可能となる。なお、本実施形態では、１クラス識別問題による正常と異常を識別する例を示したが、２クラス以上の識別問題にも適用可能である。例えば、多クラス識別問題の場合、尤度Ｌ（ｃi）は全てのクラスに対して算出される。そのため、統合ベクトルｕiは、全てのクラスへの尤度Ｌ１（ｃi）〜Ｌｎ（ｃi）を結合し、ｕi＝［ｃi，Ｌ１（ｃi），Ｌ２（ｃi），・・・，Ｌｎ（ｃi）］とすることで実現できる。また、尤度による制約を加える場合、ユークリッド距離、マハラノビス距離、又はピアソン距離などを用いて、尤度ベクトル間の非類似度を演算すればよい。
【００３８】
（第２の実施形態）
本発明の第２の実施形態によるデータ解析装置について説明する。第１の実施形態では、データ解析装置は、対象のデータから特徴量ｃiを抽出し、抽出した特徴量ｃiを用いて正常と異常を識別する識別モデルの学習を行った。本実施形態では、入力データ中に、あらかじめ与えられた正常と異常のラベルの信頼性が低いデータを含んでいる場合を想定する。識別モデルの学習に、誤ったラベルのデータを利用した場合、正常と異常の識別境界が適切に求められず、識別精度が低下する可能性がある。そこで、あらかじめ与えられたラベルをユーザが修正し、適切なラベルを付与し直す。付与し直したラベルを用いて識別モデルの学習を行うことで、より識別性能の高い識別モデルの学習を行うことができる。
【００３９】
そこで、本実施形態では、特徴量ｃiと尤度Ｌ（ｃi）を用いて、ラベルが誤っている可能性のあるデータをユーザに提示し、適切なラベルの付与を促す。このとき、ラベルが誤っている可能性のあるデータのみではなく、その他のラベル修正に参考となるデータもユーザに提示することで、適切なラベルの付与が可能となる。本実施形態では、正常ラベルと異常ラベルの２種類で行うが、それ以外の複数のラベルが付与されている場合にも適用可能である。以下、本実施形態が第１の実施形態と異なる点を説明する。
【００４０】
図６は、本発明の第２の実施形態によるデータ解析装置の構成例を示す図である。データ解析装置は、データ記録部２００、特徴量抽出部２０１、識別モデル学習部２０２、尤度算出部２０３、尤度記録部２０４、クラスタリング部９０５、提示データ決定部９０６、表示部９０７、及びラベル修正部９０８を有する。データ記録部２００、特徴量抽出部２０１、識別モデル学習部２０２、尤度算出部２０３、及び尤度記録部２０４は、第１の実施形態（図２）と同様である。
【００４１】
図７は、本実施形態によるデータ解析装置のデータ解析方法を示すフローチャートである。ステップＳ３００〜Ｓ３０３では、データ解析装置は、第１の実施形態（図３）と同様の処理を行う。すなわち、ステップＳ３００では、特徴量抽出部２０１は、データ記録部２００に保持されているデータを入力する。次に、ステップＳ３０１では、特徴量抽出部２０１は、データ記録部２００に保持されているデータに対して、特徴量ｃiを算出する。次に、ステップＳ３０２では、識別モデル学習部２０２は、その算出した特徴量ｃiを用いて、正常と異常を識別する識別モデルを学習する。次に、ステップＳ３０３では、尤度算出部２０３は、その識別モデルを用いて、 特徴量抽出部２０１により算出された特徴量ｃiに対して、尤度Ｌ（ｃi）を算出する。尤度記録部２０４は、その尤度Ｌ（ｃi）を保持する。
【００４２】
次に、ステップＳ１００４では、クラスタリング部９０５は、クラスタリング手段であり、図２のデータ解析処理部２０５と同様に、特徴量ｃiと尤度Ｌ（ｃi）に基づいて、複数のデータの各々の空間上での位置座標を算出する。次に、クラスタリング部９０５は、特徴量抽出部９０１により算出された特徴量ｃiと、尤度記録部９０４に保持されている尤度Ｌ（ｃi）を用いて、データのクラスタリングを行う。例えば、クラスタリング部９０５は、予め決められたｋ個のクラスタＢ１〜Ｂｋに複数のデータを分類する。具体的には、クラスタリング部９０５は、次式（７）に示すように、クラスタＢｉの重心ｗiと、クラスタＢiに含まれる統合ベクトルｕjとの誤差が最小となるように、全てのデータが属するクラスタＢ１〜Ｂｋを決定する。
【００４３】
【数７】
0006679266.tif 000008
【００４４】
ここで、統合ベクトルｕjは、第１の実施形態と同様に、特徴量ｃjと尤度Ｌ（ｃj）を結合したベクトルであり、ｕj＝［ｃj，Ｌ（ｃj）］である。これにより、クラスタリング結果に、特徴量ｃjと識別モデルによる尤度Ｌ（ｃj）を反映させることができる。
【００４５】
なお、クラスタ数ｋは、予めユーザが決定しておいてもよいし、第１の実施形態のようにデータを表示し、ユーザに入力させてもよい。また、クラスタ数をBayesian Information Criterion(BIC)基準に基づいて決定するx-means手法や、その他の方法で決定してもよい。また、上記のクラスタリング方法の他、階層的クラスタリング方法など、他の方法を用いてもよい。
【００４６】
次に、ステップＳ１００５〜Ｓ１００７では、提示データ決定部９０６は、提示データ決定手段であり、クラスタリング部９０５により算出されたクラスタＢ１〜Ｂｋを用いて、ユーザにラベルを再確認してもらうデータを決定する。まず、ステップＳ１００５では、提示データ決定部９０６は、ラベル確認候補として、ラベルの信頼度が低いデータを抽出する。提示データ決定部９０６は、低信頼データを抽出するために、クラスタリング結果の各クラスタＢ１〜Ｂｋが、どのようなデータを含むクラスタか決定する必要がある。そこで、提示データ決定部９０６は、各クラスタＢ１〜Ｂｋ内に最も多く含まれるラベルを、そのクラスタのラベルとして割り当てる。そして、提示データ決定部９０６は、各クラスタＢ１〜Ｂｋに割り当てられたラベルと異なるラベルを持つデータを低信頼度データとして抽出する。
【００４７】
図８は、クラスタリング結果の例を示す図である。クラスタリング部９０５は、例えば、複数のデータを複数のクラスタ１１００〜１１０３に分類する。提示データ決定部９０６は、例えば、正常データ１００が多いクラスタ１１００には正常ラベルを割り当て、異常データ１０１が多いクラスタ１１０１、クラスタ１１０２及びクラスタ１１０３には異常ラベルを割り当てる。このとき、正常ラベルのクラスタ１１００には、少数の異常データ１１０４が含まれている。提示データ決定部９０６は、このような少数の異常データ１１０４をラベル確認候補として抽出する。すなわち、提示データ決定部９０６は、クラスタ１１００に属するデータのうちで他の正常ラベルに対してデータの数が少ない異常ラベルに属するデータ１１０４をラベル確認候補として抽出する。
【００４８】
次に、ステップＳ１００６では、提示データ決定部９０６は、ステップＳ１００５で抽出されたラベル確認候補があるか否かを判定し、ラベル確認候補がある場合にはステップＳ１００７に処理を進める。これに対し、提示データ決定部９０６は、ラベル確認候補がない場合には、ステップＳ１０１０に処理を進め、図７の処理を終了する。
【００４９】
ステップＳ１００７では、提示データ決定部９０６は、ステップＳ１００５でラベル確認候補として抽出された異常データ１１０４を、提示データとして決定する。ここで、ユーザに異常データ１１０４のみを提示しても、ユーザは、どのラベルを異常データ１１０４に付与すべきか判断することが難しい。そこで、ラベル確認候補である異常データ１１０４に加えて、現在のクラスタに属するデータや、周囲のクラスタに属するデータも同時に提示することが必要となる。例えば、提示データ決定部９０６は、異常データ１１０４の近傍に位置する正常データ１１０５や、異常データ１１０４が属するクラスタ１１００の近傍に位置する異常ラベルのクラスタ１１０３に属する異常データ１１０６等を、提示データとして決定する。
【００５０】
提示データ決定部９０６は、近傍データの探索において、特徴空間における近傍のデータを探索するのではなく、特徴空間と尤度を考慮して近傍にあるデータを探索することで、学習した識別モデルが近傍にあると判定しているデータを提示することができる。ラベル確認候補の異常データ１１０４と共に、近傍データを提示することにより、ユーザにより適切なラベルの入力を促すことが可能となる。
【００５１】
次に、ステップＳ１００８では、表示部９０７は、提示部であり、提示データ決定部９０６により決定されたラベル確認候補のデータを含む提示データの空間上での位置座標の位置をユーザに表示（提示）する。
【００５２】
次に、ステップＳ１００９では、ラベル修正部９０８は、ラベル修正手段であり、ユーザが表示部９０７の表示に基づいてラベルの再判定を行い、ユーザの指示に基づいてラベル確認候補のデータのラベルの修正を行う。ラベル修正部９０８は、表示部９０７により表示された提示データが属するラベルの修正が指示されると、提示データが属するラベルを修正する。
【００５３】
その後、データ解析装置は、その修正されたラベルを用いて、ステップＳ３０２からの処理を繰り返す。ステップＳ３０２では、識別モデル学習部２０２は、ラベル修正部９０８により修正されたラベルの提示データを含むデータを用いて、識別モデルの再学習を行うことにより、より適切な識別モデルの学習を行うことができる。
【００５４】
以上のように、本実施形態によれば、識別基準の尤度Ｌ（ｃi）を考慮してラベルの信頼度が低いデータを抽出し、ユーザにラベル確認候補を提示することができる。
【００５５】
（第３の実施形態）
本発明の第３の実施形態によるデータ解析装置について説明する。第１の実施形態では、データ解析装置は、対象のデータから特徴量ｃiを抽出し、その抽出した特徴量ｃiを用いて正常と異常を識別する識別モデルの学習を行った。そして、データ解析装置は、識別モデルを用いてデータの尤度Ｌ（ｃi）を算出し、特徴空間におけるデータ分布と尤度Ｌ（ｃi）の等高線１０３を同時に表示した。本実施形態では、入力データに付与されたラベルは信頼できるが、データ数が十分ではない場合を想定する。例えば、異常データ中に、複数種類の異常パターンが存在するような状態である。異常データに複数種類の異常パターンがある場合、ある異常パターンのデータ数は十分にあるが、別の異常パターンではデータ数が極端に少ないといった場合がある。このような場合には、データ数が少ない異常パターンは、識別性能が低下する。
【００５６】
そこで、本実施形態では、データ解析装置は、特徴空間のデータ分布と尤度Ｌ（ｃi）を用いて、識別性能の向上に必要なデータの追加をユーザに促す。データ解析装置は、図１に示すように、ユーザが可視化された結果から、正常データに近い異常データ１０４を選択し、追加すべきデータを確認することができる。また、データ解析装置は、ユーザの選択を必要とせずに、追加データと、そのデータの傾向を表示することができる。以下、本実施形態が第２の実施形態と異なる点を説明する。
【００５７】
図９は、本発明の第３の実施形態によるデータ解析装置の構成例を示す図である。図９のデータ解析装置は、図６のデータ解析装置に対し、ラベル修正部９０８の代わりに、追加データ入力部６０８及び追加データ記録部６０９を設けたものである。
【００５８】
図１０は、本実施形態によるデータ解析装置のデータ解析方法を示すフローチャートである。ステップＳ３００〜Ｓ３０３及びＳ１００４では、データ解析装置は、第２の実施形態（図７）と同様の処理を行う。すなわち、ステップＳ３００では、特徴量抽出部２０１は、データ記録部２００に保持されているデータを入力する。次に、ステップＳ３０１では、特徴量抽出部２０１は、データ記録部２００に保持されているデータに対して、特徴量ｃiを算出する。次に、ステップＳ３０２では、識別モデル学習部２０２は、その算出した特徴量ｃiを用いて、正常と異常を識別する識別モデルを学習する。次に、ステップＳ３０３では、尤度算出部２０３は、その識別モデルを用いて、 特徴量抽出部２０１により算出された特徴量ｃiに対して、尤度Ｌ（ｃi）を算出する。尤度記録部２０４は、その尤度Ｌ（ｃi）を保持する。次に、ステップＳ１００４では、クラスタリング部９０５は、尤度Ｌ（ｃi）と特徴量ｃiを用いて、データのクラスタリングにより、ｋ個のクラスタＢ１〜Ｂｋに複数のデータを分類する。
【００５９】
次に、ステップＳ７０５では、提示データ決定部９０６は、各クラスタＢ１〜Ｂｋ内に最も多く含まれるラベルを、そのクラスタのラベルとして割り当てる。そして、提示データ決定部９０６は、クラスタリング部９０５によるクラスタリングの結果から、識別モデルの学習にデータが不足しているクラスタを決定する。そして、提示データ決定部９０６は、データが不足しているクラスタの中から、データ不足クラスタの類似データとしてユーザに提示するデータを決定する。
【００６０】
図１１（ａ）は、クラスタリング結果の例を示す図である。クラスタリング部９０５は、例えば、クラスタ８００〜８０３に複数のデータを分類する。提示データ決定部９０６は、例えば、正常データ１００が多いクラスタ８００には正常ラベルを割り当て、異常データ１０１が多いクラスタ８０１、クラスタ８０２及びクラスタ８０３には異常ラベルを割り当てる。
【００６１】
提示データ決定部９０６は、識別モデルの学習にデータが不足しているクラスタを決定する。例えば、提示データ決定部９０６は、正常ラベルが割り当てられたクラスタ８００であって、かつ異常データ８０４を有するクラスタ８００をデータ不足クラスタとして決定する。このようなクラスタ８００では、正常と異常の識別ができておらず、識別精度が低下する要因となっている異常データ８０４が存在する。クラスタ８００は、多数の正常データ１００と少数の異常データ８０４を有する。正常ラベルが割り当てられたクラスタ８００に分類された異常データ８０４は、識別性能の低下要因となっているデータである。提示データ決定部９０６は、その異常データ８０４が属するクラスタ８００を、データ不足クラスタとして決定する。
【００６２】
提示データ決定部９０６は、データが不足しているクラスタを決定するためには、多数の正常データ１００が属する正常データクラスタ８００を設定する必要がある。そこで、提示データ決定部９０６は、正常データ１００が最も多く所属するクラスタ８００を正常クラスタと判定する。本実施形態では、正常クラスタは、全クラスタ中に１つであると仮定している。しかし、正常クラスタが２つ以上存在するような場合もある。そのような場合は、２つ以上の正常クラスタを設定しても構わない。例えば、全正常データの総数の８割以上のうちで、正常データが属する数が多いクラスタを正常クラスタと判定してもよい。
【００６３】
次に、提示データ決定部９０６は、正常クラスタ８００に属する異常データ８０４を抽出する。すなわち、提示データ決定部９０６は、クラスタ８００に属するデータのうちで他の正常ラベルに対してデータの数が少ない異常ラベルに属するデータ８０４を抽出する。そして、提示データ決定部９０６は、この抽出した異常データ８０４が属する正常クラスタ８００を、データ不足クラスタとして決定する。
【００６４】
次に、ステップＳ７０６では、提示データ決定部９０６は、データ不足クラスタがない場合は、ステップＳ７１０で処理を終了し、データ不足クラスタが存在する場合は、ステップＳ７０７に処理を進める。
【００６５】
ステップＳ７０７では、提示データ決定部９０６は、ステップＳ７０５で抽出された異常データ８０４を提示データとして決定する。ステップＳ７０５で抽出された異常データ８０４は、正常クラスタ８００に属すると判定されたデータである。そのため、異常データ８０４は、正常データとの差異が小さい。正常データとの差異が小さい異常データ８０４をユーザに提示しても、どのようなデータが追加データとして適切であるかを、ユーザが判断することは難しい。ユーザに対して、追加データの傾向を適切に提示するためには、より正常クラスタ８００から離れた場合のデータを示し、どのような差異があるかが明確にわかるデータを同時に提示する必要がある。ユーザが差異を判断しやすいデータを、異常データ８０４と共に提示することで、識別性能の向上に有効なデータの追加を、ユーザに促すことが可能となる。
【００６６】
提示データとしては、抽出した異常データ８０４と同じ異常パターンであって正常クラスタ８００から離れた位置のデータが必要となる。そのようなデータを選択するためには、異常データ８０４が本来属するべきクラスタ８０３を決定する必要がある。そこで、提示データ決定部９０６は、図１１（ｂ）に示すように、図１１（ａ）の全データから正常データを除いた異常データのクラスタリングを行い、異常データクラスタ８０５〜８０７を生成する。次に、提示データ決定部９０６は、抽出された異常データ８０４が属する異常データクラスタ８０７を、抽出された異常データ８０４が本来属するべきクラスタであると判定する。 そして、提示データ決定部９０６は、異常データクラスタ８０７に属する異常データの中から、抽出された異常データ８０４の他に、提示するデータを決定する。提示データとしては、異常データクラスタ８０７に属するデータの中で、抽出された異常データ８０４の近傍にある異常データ８０８を提示することができる。これにより、似たデータを複数提示し、追加が必要なデータの情報をより多くユーザに提示することが可能となる。また、その他の方法として、同じ異常データクラスタ８０７の中で、抽出された異常データ８０４から遠い異常データ８０９や、異常データクラスタ８０７の重心８１１に近い異常データ８１０などを、提示データとして決定することができる。ユーザにより多くの情報を提供可能なデータの選択方法であれば、どのような選択方法を用いてもよい。
【００６７】
また、抽出されたデータ８０４が属する異常データクラスタ８０７のみではなく、その近傍にある別の異常データクラスタ８０６に属するデータを提示データとして決定してもよい。この場合は、比較として、追加データが必要な異常データクラスタ８０７とは異なるクラスタ８０６のデータとして、提示データを決定する。このようなデータを提示することにより、より本来必要なデータとの差異がユーザにとって明確になる。
【００６８】
本実施形態では、抽出された異常データ８０４が本来属するべきクラスタ８０７を、クラスタリングによって判定した。なお、その他の方法、例えば、入力データとして正常と異常のラベル以外にもラベルが割り当てられていれば、そのラベル情報を用いて、本来属するべきクラスタを判定してもよい。
【００６９】
次に、ステップＳ７０８では、表示部９０７は、提示データ決定部６０６により抽出された異常データ８０４を含む提示データの空間上での位置座標の位置をユーザに表示（提示）し、追加データの入力を促す。
【００７０】
次に、ステップＳ７０９では、追加データ入力部６０８は、ユーザから追加データの入力を受け付ける。ここでは、表示部６０７により表示された異常データ８０４に近いデータをユーザが入力する。追加データ記録部６０９は、図４に示すフォーマットで、その入力されたデータを保持する。その後、データ解析装置は、ステップＳ３０１に処理を戻し、データ記録部２００及び追加データ記録部６０９に保持されているデータを用いて、再度、識別モデルの学習を繰り返す。すなわち、表示部６０７の表示に基づきデータが追加されると、特徴量抽出部２０１は、追加された入力データから特徴量ｃiを抽出し、識別モデル学習部２０２は、追加されたデータの特徴量ｃiを用いて、識別モデルの学習を行う。これにより、追加データを考慮して識別モデルが学習され、より適切な識別基準の尤度Ｌ（ｃi）を算出することが可能となり、適切なクラスタリングが行われる。例えば、図１１（ｂ）に示すように、異常データ８０４が属する適切な異常データクラスタ８０７を生成することができる。
【００７１】
本実施形態では、ステップＳ７０６において、提示データ決定部９０６がデータ不足クラスタがないと判定するまで処理を繰り返す。また、ユーザにより追加データを入力しないことが選択された場合には、データ解析装置は、ステップＳ７１０に処理を進め、処理を終了する。
【００７２】
以上のように、本実施形態によれば、データの特徴量ｃiに加えて、識別基準となる尤度Ｌ（ｃi）を用いてクラスタリングを行うことにより、識別モデルによる影響を考慮して、追加データとして有効な画像データをユーザに対して提示することが可能となる。
【００７３】
第１〜第３の実施形態によれば、４次元以上の特徴量を用いた場合においても、特徴空間上のデータの分布と識別基準の尤度を同時に表示することができる。また、第２及び第３の実施形態によれば、特徴空間上でのデータの分布と識別基準の尤度から、識別性能の向上に有効なデータをユーザに提示することができる。
【００７４】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。コンピュータを、上述の実施形態のデータ解析装置の各手段として機能させるためのプログラムにより実現してもよい。
【００７５】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００７６】
２０１  特徴量抽出部、２０２  識別モデル学習部、２０３  尤度算出部、２０６  提示部
【図１】
0006679266.tif 000009
【図２】
0006679266.tif 000010
【図３】
0006679266.tif 000011
【図４】
0006679266.tif 000012
【図５】
0006679266.tif 000013
【図６】
0006679266.tif 000014
【図７】
0006679266.tif 000015
【図８】
0006679266.tif 000016
【図９】
0006679266.tif 000017
【図１０】
0006679266.tif 000018
【図１１】
0006679266.tif 000019