(57)【要約】データ判別装置は、入力された学習データの母集団構造を推定する推定手段と、推定手段による推定結果を用いて、入力された追加候補データの各々について学習データの母集団への適合度を算出する適合度算出手段と、算出された適合度に基づいて、追加候補データの各々について学習データに追加するか否かを判定する判定手段とを備える。
2012117966.tif 000002
【特許請求の範囲】
【請求項１】
入力された学習データの母集団構造を推定する推定手段と、
前記推定手段による推定結果を用いて、入力された追加候補データの各々について前記学習データの母集団への適合度を算出する適合度算出手段と、
前記算出された適合度に基づいて、前記追加候補データの各々について前記学習データに追加するか否かを判定する判定手段と、
を備えることを特徴とするデータ判別装置。
【請求項２】
前記推定手段は、前記学習データがクラスター構造を有する場合、各クラスターについて母集団構造を推定し、
前記適合度算出手段は、前記学習データがクラスター構造を有する場合、前記追加候補データの各々について、前記各クラスターに対する適合度を算出し、算出した適合度から最適な一つを選択する、
ことを特徴とする請求項１に記載のデータ判別装置。
【請求項３】
前記適合度算出手段は、前記追加候補データの各々について、前記学習データの代表値との距離を前記適合度として算出する、
ことを特徴とする請求項１又は２に記載のデータ判別装置。
【請求項４】
前記適合度算出手段は、前記追加候補データの各々について、前記学習データの確率分布に対する尤度を前記適合度として算出する、
ことを特徴とする請求項１又は２に記載のデータ判別装置。
【請求項５】
入力された学習データの母集団構造を推定し、
前記推定結果を用いて、入力された追加候補データの各々について前記学習データの母集団への適合度を算出し、
前記算出された適合度に基づいて、前記追加候補データの各々について前記学習データに追加するか否かを判定する、
ことを特徴とするデータ判別方法。
【請求項６】
コンピュータに、
入力された学習データの母集団構造を推定する推定手処理、
前記推定手段による推定結果を用いて、入力された追加候補データの各々について前記学習データの母集団への適合度を算出する適合度算出処理、
前記算出された適合度に基づいて、前記追加候補データの各々について前記学習データに追加するか否かを判定する判定処理、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、学習データを補強するためのデータ判別装置、方法及びプログラムに関する。
【背景技術】
【０００２】
機械学習において学習データが不足している場合、分析精度を上げるために、学習データに性質が類似していると考えられるデータを学習データに追加することが考えられる。一般的に、どのようなデータが学習データとして適切であるかの判断は、各分野の専門知識を持った人間がヒューリスティックに行っている。これに対して、処理効率化の観点から、あるデータが学習データに適しているかの判断を自動的に行うことができる仕組みの実現が望まれている。【０００３】
例えば特許文献１には、機械学習のための教師データに追加する用語の中から不適切な用語を省き、教師データに適合する用語を追加するシステムが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１９８１８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１のシステムは自然言語処理分野に限定したものであり、他の種々の分野への適用は困難である。【０００６】
学習データへの追加候補のデータがあり、そのデータが学習データとして適切かの判断をシステムで行う場合に、追加候補となるデータを学習データに追加する前後で、予測精度や分類精度が改善するかどうかをクロスバリデーション等の情報量規準で評価し、改善が見られた場合にその追加候補のデータを学習データに追加する方法が考えられる。しかし、この方法では、追加候補データ全体の適切さの評価は可能であるが、データ一点ごとの単位で適切さを評価しようとすると、データサイズに対して指数オーダーの膨大な計算時間が必要となり現実的には困難であった。【０００７】
本発明は、上記問題点に鑑みてなされたもので、その目的は、あるデータが学習データに適しているかを効率良く判別することができるデータ判別装置、方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００８】
本発明は、入力された学習データの母集団構造を推定する推定手段と、前記推定手段による推定結果を用いて、入力された追加候補データの各々について前記学習データの母集団への適合度を算出する適合度算出手段と、前記算出された適合度に基づいて、前記追加候補データの各々について前記学習データに追加するか否かを判定する判定手段と、を備えることを特徴とするデータ判別装置である。【０００９】
本発明は、入力された学習データの母集団構造を推定し、前記推定結果を用いて、入力された追加候補データの各々について前記学習データの母集団への適合度を算出し、前記算出された適合度に基づいて、前記追加候補データの各々について前記学習データに追加するか否かを判定する、ことを特徴とするデータ判別方法である。【００１０】
本発明は、コンピュータに、入力された学習データの母集団構造を推定する推定手処理、前記推定手段による推定結果を用いて、入力された追加候補データの各々について前記学習データの母集団への適合度を算出する適合度算出処理、前記算出された適合度に基づいて、前記追加候補データの各々について前記学習データに追加するか否かを判定する判定処理、を実行させることを特徴とするプログラムである。
【発明の効果】
【００１１】
本発明によれば、あるデータが学習データに適しているかを効率良く判別することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は本発明の実施形態に係るデータ判別装置の構成を示すブロック図である。
【図２】図２は本実施形態に係るデータ判別装置の動作を説明するためのフローチャートである。
【図３】図３は学習データがクラスター構造を有する場合を例示する図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について図面を参照して説明する。
【００１４】
図１は、本発明の実施形態に係るデータ判別装置の構成を示すブロック図である。図示されるようにデータ判別装置は、学習データ・パラメータ入力部１０１と、母集団構造推定部１０２と、クラスター構造推定部１０３と、クラスター内パラメータ推定部１０４と、追加候補データ入力部１０５と、適合度評価部１０６と、追加／非追加判定部１０７と、補強データ出力部１０８と、を備える。
【００１５】
学習データ・パラメータ入力部１０１は、学習データＸと、クラスター数Ｃ、追加候補データの適合度の種類を示すパラメータｆの入力を受け付ける。学習データＸを式１に示す。
【００１６】
【数１】
2012117966.tif 000003
【００１７】
但し、Ｎは学習データのデータサイズ、ｐは例えば回帰分析による予測問題を処理する場合では目的変数の次元（通常は１）と説明変数の次元の和であり、判別問題を処理する場合には説明変数の次元である。適合度の種類ｆとは、適合度の算出方法の種類に対応する。適合度の算出方法は、例えば次に示す第１の算出方法と第２の算出方法を含む。
【００１８】
第１の算出方法は、クラスタリング法としてk-means法を用い、各クラスターに対してクラスター内のＸの平均値と追加候補データのユークリッド距離を求め、それらのユークリッド距離のうち最小値を適合度として算出する。
【００１９】
第２の算出方法は、クラスタリング法として混合正規分布モデルを用い、各要素分布に対して追加候補データの尤度と混合比の積を求め、それらの値のうち最大値を適合度とする。
【００２０】
Ｇ個のグループへの分類問題を処理する場合、式１で表される学習データとクラスター数Ｇ個の組（Ｘｊ，Ｃｊ）（ｊ＝１，・・・，Ｇ）が入力されることとなるが、記号の煩雑さを避けるため、以下では入力データのグループ数は１とする。よって、（Ｘ，Ｃ）とｆが入力される。学習データ・パラメータ入力部１０１は、学習データＸ、クラスター数Ｃ、適合度の種類ｆを母集団構造推定部１０２に入力する。
【００２１】
母集団構造推定部１０２は、学習データ・パラメータ入力部１０１から入力された学習データＸ、クラスター数Ｃ、適合度の種類ｆについて、クラスター数Ｃが１の場合はクラスター内パラメータ推定部１０４を用いて学習データの平均や分散等の各種パラメータを推定（算出）し、クラスター数Ｃが２以上の場合はクラスター構造推定部１０３とクラスター内パラメータ推定部１０４を共に用いて、学習データＸのクラスター構造と各クラスターのパラメータを推定（算出）する。算出された各クラスターのパラメータは、適合度評価部１０６に入力される。
【００２２】
クラスター構造推定部１０３とクラスター内パラメータ推定部１０４は、学習データの母集団構造を具体的に推定（算出）する。ここでは、前述の第１の算出方法と第２の算出方法に関して推定されるパラメータについて説明する。
【００２３】
第１の算出方法では、クラスター構造推定部１０３とクラスター内パラメータ推定部１０４は、学習データＸとクラスター数Ｃが与えられたもとで、k-means法を用いて各クラスターの平均値μｋ（ｋ＝１，・・・，Ｃ）を求め、適合度評価部１０６に出力する。ユークリッド距離の代わりにマハラノビス距離を用いる場合には、各クラスターの分散共分散行列Σｋ（ｋ＝１，・・・，Ｃ）も出力する。
【００２４】
なお、k-means法のアルゴリズムについては、例えば、宮本定明著「クラスター分析入門―ファジィクラスタリングの理論と応用」森北出版株式会社、１９９０年１０月、第２章、に記載されている。
【００２５】
第２の算出方法では、クラスター構造推定部１０３とクラスター内パラメータ推定部１０４は、ＥＭアルゴリズムによって各要素分布（確率分布）の平均値μk（ｋ＝１，・・・，Ｃ）、分散共分散Σｋ（ｋ＝１，・・・，Ｃ）、混合比π（ｋ＝１，・・・，Ｃ）を求め、適合度評価部１０６に出力する。
【００２６】
なお、ＥＭアルゴリズムについては、例えば、金谷健一著「これなら分かる最適化数学―基礎原理から計算手法まで」共立出版株式会社、２００５年９月、第５章、に記載されている。
【００２７】
追加候補データ入力部１０５は、学習データとして利用するかどうかが評価される追加候補データＹ（式２）と、学習データに追加するか否かの判定基準となる、適合度に対する閾値θの入力を受け付ける。
【００２８】
【数２】
2012117966.tif 000004
【００２９】
但し、Ｍは追加候補データのデータサイズである。
【００３０】
追加候補データ入力部１０５は、追加候補データＹを適合度評価部１０６に入力し、閾値θを追加／非追加判定部１０７に入力する。
【００３１】
適合度評価部１０６は、母集団構造推定部１０２からのパラメータを用いて、追加候補データＹについて適合度ｇｉを評価（算出）する。算出される適合度は、学習データ・パラメータ入力部１０１で入力された適合度の種類ｆに対応する。適合度評価部１０６は、求めた適合度ｇｉを追加／非追加判定部１０７に入力する。
【００３２】
ここでは、前述の第１の算出方法と第２の算出方法に基づいて算出される適合度についてそれぞれ説明する。
【００３３】
第１の算出方法の場合、適合度評価部１０６は、各ｙｉ（ｉ＝１，・・・，Ｍ）に対して、次に示す適合度ｇｉを算出する。ユークリッド距離を用いる場合を式３に示し、マハラノビス距離を用いる場合を式４に示す。この場合、距離（適合度）が小さいほど母集団へ当てはまることとなる。
【００３４】
【数３】
2012117966.tif 000005
【００３５】
【数４】
2012117966.tif 000006
【００３６】
第２の算出方法では、適合度評価部１０６は、各ｙｉに対して、式５に示す適合度ｇｉを算出する。この場合、尤度（適合度）が大きいほど母集団へ当てはまることとなる。
【００３７】
【数５】
2012117966.tif 000007
【００３８】
但し、Ｎ（ｙｉ｜μｋ，Σｋｋ）は平均μｋ、分散Σｋのｐ次元正規分布に対するｙｉの尤度である。
【００３９】
追加／非追加判定部１０７は、追加候補データ入力部１０５からの閾値θと、適合度評価部１０６からの適合度ｇｉ（ｉ＝１，・・・，Ｍ）を用いて、適合度が閾値θ以上（又は以下）の値を持つ追加候補データを判定し、判定結果のインデックスを生成して補強データ出力部１０８に入力する。例えば、適合度が第１の算出方法による場合には、適合度が閾値以下のデータを、学習データに追加するデータとして判定し、適合度が第２の算出方法による場合には、適合度が閾値以上のデータを、学習データに追加するデータとして判定してもよい。
【００４０】
補強データ出力部１０８は、追加候補データのうち、学習データに追加すると判定されたデータのインデックスを追加／非追加判定部１０７から受け取るとそれを出力する。
【００４１】
次に、本実施形態に係るデータ判別装置の動作を図２のフローチャートを参照して説明する。
【００４２】
学習データ・パラメータ入力部１０１は、学習データＸと、クラスター数Ｃ、追加候補データの適合度の種類を指定するパラメータｆの入力を受け付けて、記憶領域に保存する（ステップＳ１０１）
母集団構造推定部１０２は、保存された（Ｘ，Ｃ）とｆから適合度評価に必要なパラメータ（各クラスターの平均等）を算出する（ステップＳ１０２）。
【００４３】
追加候補データ入力部１０５は、追加候補データＹと、追加候補データの追加／非追加の判定基準となる閾値θとの入力を受け付けて、記憶領域に保存する（ステップＳ１０３）。
【００４４】
適合度評価部１０６は、各追加候補データｙｉ（ｉ＝１，・・・，Ｍ）に対して適合度ｇｉを算出する（ステップＳ１０４）。
【００４５】
追加／非追加判定部１０７は、閾値θと適合度ｇｉから、学習データに追加するデータを判定する（ステップＳ１０５）。
【００４６】
補強データ出力部１０８は、学習データに追加すると判定されたデータを出力する（ステップＳ１０６）。
【００４７】
本発明では、追加候補データの学習データとしての適切さの評価基準として、学習データから推定される母集団構造への当てはまりの良さ（適合度）を用いる。上記実施形態では、予め設定した閾値以上（又は以下）の適合度を持つ追加候補データをのみを学習データに追加しているが、追加候補データのうち、適合度が大きい順（又は小さい順）に予め設定した割合に対して上位何％のデータのみを追加するようにしてもよい。適合度は、例えば、学習データの代表値（平均、中央値、最頻値等）からの距離（ユークリッド距離、マハラノビス距離、ハミング距離等）を含む。また、学習データの母集団構造に確率モデルを仮定し、学習データから推定された確率モデルに対する追加候補データの尤度を適合度としてもよい。
【００４８】
また、本実施形態では、学習データがクラスター構造を有する場合、追加候補データの一点毎に最も近いクラスターの代表値を求め、その代表値からの距離を適合度とする。これは、学習データがクラスター構造を有する場合、単純に学習データ全体の代表値からの距離を計算すると、適切な評価ができない可能性があるからである。学習データがクラスター構造を有する場合の例を図３に示す。図３において、点Ｄが学習データ全体の平均であるとし、点Ａと点Ｂを比べると、点Ａの方が点Ｄに近いが、学習データとして適切なのは点Ｂである。点Ｂの方が学習データとして適切であるのは、点線で囲まれている学習データの代表値である点Ｅと点Ｂの距離が、点線で囲まれている学習データの散らばりと比較してそれほど離れていないためである。学習データの母集団構造に確率モデルを仮定する場合も同様に、混合分布モデル等の多峰形の分布を仮定し、混合分布モデルの場合ならば例えば要素分布に対する尤度と混合比の積を要素分布ごとに計算しその中で最も大きな値を適合度とする。
【００４９】
以上説明したように本発明によれば、学習データの追加候補データを学習データに追加するか否について、学習データに対する追加候補データの適合度を用いて効率良く判定することができる。また、適合度は、追加候補データ内のデータ一点毎に独立に評価することができるため、データサイズに対して線形オーダーの計算時間で追加候補データ全体を評価できる。
【００５０】
なお、データ判別装置は、例えば、入力装置と、ＣＰＵ等の制御部と、記憶装置と、表示装置と、通信制御部とを備えるコンピュータ等から構成されてもよい。上述した本発明の実施形態に係るデータ判別装置の学習データ・パラメータ入力部１０１と、母集団構造推定部１０２と、クラスター構造推定部１０３と、クラスター内パラメータ推定部１０４と、追加候補データ入力部１０５と、適合度評価部１０６と、追加／非追加判定部１０７と、補強データ出力部１０８は、ＣＰＵが記憶部に格納された動作プログラム等を読み出して実行することにより実現されてもよく、また、ハードウェアで構成されてもよい。この場合プログラムメモリに格納されているプログラムで動作するプロセッサによって、上述した実施の形態と同様の機能、動作を実現させる。上述した実施の形態の一部の機能のみをコンピュータプログラムにより実現することもできる。
【００５１】
以上、好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することができる。
【００５２】
学習データ・パラメータ入力部１０１に入力される学習データＸとクラスター数Ｃと適合度の種類ｆ、追加候補データ入力部１０５に入力される追加候補データＹと閾値θ、の全部又は一部は、本装置の外部から入力されてもよく、本装置が備える記憶部から読み出されて入力されてもよい。
【００５３】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００５４】
（付記１）
入力された学習データの母集団構造を推定する推定手段と、
前記推定手段による推定結果を用いて、入力された追加候補データの各々について前記学習データの母集団への適合度を算出する適合度算出手段と、
前記算出された適合度に基づいて、前記追加候補データの各々について前記学習データに追加するか否かを判定する判定手段と、
を備えることを特徴とするデータ判別装置。
【００５５】
（付記２）
前記推定手段は、前記学習データがクラスター構造を有する場合、各クラスターについて母集団構造を推定し、
前記適合度算出手段は、前記学習データがクラスター構造を有する場合、前記追加候補データの各々について、前記各クラスターに対する適合度を算出し、算出した適合度から最適な一つを選択する、
ことを特徴とする付記１に記載のデータ判別装置。
【００５６】
（付記３）
前記適合度算出手段は、前記追加候補データの各々について、前記学習データの代表値との距離を前記適合度として算出する、
ことを特徴とする付記１又は２に記載のデータ判別装置。
【００５７】
（付記４）
前記適合度算出手段は、前記追加候補データの各々について、前記学習データの確率分布に対する尤度を前記適合度として算出する、
ことを特徴とする付記１又は２に記載のデータ判別装置。
【００５８】
（付記５）
入力された学習データの母集団構造を推定し、
前記推定結果を用いて、入力された追加候補データの各々について前記学習データの母集団への適合度を算出し、
前記算出された適合度に基づいて、前記追加候補データの各々について前記学習データに追加するか否かを判定する、
ことを特徴とするデータ判別方法。
【００５９】
（付記６）
前記母集団構造の推定では、前記学習データがクラスター構造を有する場合、
各クラスターについて母集団構造を推定し、
前記適合度の算出では、前記学習データがクラスター構造を有する場合、前記追加候補データの各々について、前記各クラスターに対する適合度を算出し、算出した適合度から最適な一つを選択する、
ことを特徴とする付記５に記載のデータ判別方法。
【００６０】
（付記７）
前記適合度の算出では、前記追加候補データの各々について、前記学習データの代表値との距離を前記適合度として算出する、
ことを特徴とする付記５又は６に記載のデータ判別方法。
【００６１】
（付記８）
前記適合度の算出では、前記追加候補データの各々について、前記学習データの確率分布に対する尤度を前記適合度として算出する、
ことを特徴とする付記５又は６に記載のデータ判別方法。
【００６２】
（付記９）
コンピュータに、
入力された学習データの母集団構造を推定する推定手処理、
前記推定手段による推定結果を用いて、入力された追加候補データの各々について前記学習データの母集団への適合度を算出する適合度算出処理、
前記算出された適合度に基づいて、前記追加候補データの各々について前記学習データに追加するか否かを判定する判定処理、
を実行させることを特徴とするプログラム。
【００６３】
（付記１０）
前記推定処理は、前記学習データがクラスター構造を有する場合、各クラスターについて母集団構造を推定し、
前記適合度算出処理は、前記学習データがクラスター構造を有する場合、前記追加候補データの各々について、前記各クラスターに対する適合度を算出し、算出した適合度から最適な一つを選択する、
ことを特徴とする付記９に記載のプログラム。
【００６４】
（付記１１）
前記適合度算出処理は、前記追加候補データの各々について、前記学習データの代表値との距離を前記適合度として算出する、
ことを特徴とする付記９又は１０に記載のプログラム。
【００６５】
（付記１２）
前記適合度算出処理は、前記追加候補データの各々について、前記学習データの確率分布に対する尤度を前記適合度として算出する、
ことを特徴とする付記９又は１０に記載のプログラム。
【００６６】
以上、実施の形態及び実施例をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。
この出願は、２０１１年２月２８日に出願された日本出願特願２０１１−０４１１７８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【００６７】
１０１  学習データ・パラメータ入力部
１０２  母集団構造推定部
１０３  クラスター構造推定部
１０４  クラスター内パラメータ推定部
１０５  追加候補データ入力部
１０６  適合度評価部
１０７  追加／非追加判定部
１０８  補強データ出力部
【図１】
2012117966.tif 000008
【図２】
2012117966.tif 000009
【図３】
2012117966.tif 000010
【国際調査報告】
2012117966.tif 000011
2012117966.tif 000012
2012117966.tif 000013
2012117966.tif 000014