(57)【特許請求の範囲】
【請求項１】
入力データが与えられたときに、当該入力データに対する確率モデルを推定する確率モデル推定装置であって、
入力データを構成する変数集合を、値レベルの独立性である部分交換可能性を満たす複数の変数グループに分割するグループ推定部と、
前記グループ推定部で推定された複数の変数グループ間の依存関係を推定するグラフ推定部と、
前記グループ推定部で推定された複数の変数グループと、前記グラフ推定部で推定された複数の変数グループ間の依存関係とに基づいて、確率モデルのパラメータを推定するパラメータ推定部と、
を有する確率モデル推定装置。
【請求項２】
前記グループ推定部は、任意の２つの引数の値を交換しても関数値が変化しない関数を定義し、当該関数の元で、周辺分布が一致する変数を同じグループに割り当てることで、変数集合を、複数の変数グループに分割する、請求項１に記載の確率モデル推定装置。
【請求項３】
前記グラフ推定部は、複数の変数グループ間の依存関係を表現するベイジアンネットワークを推定することによって得られたグラフを出力する、請求項１又は２に記載の確率モデル推定装置。
【請求項４】
前記パラメータ推定部は、前記グループ推定部で推定された複数の変数グループと、前記グラフ推定部で推定された複数の変数グループ間の依存関係とを用いて、確率モデルが定義する入力データの変数集合の同時分布を求め、入力データを得る確率を最大化するときの確率モデルのパラメータを推定する、請求項１乃至３のうちいずれか１項に記載の確率モデル推定装置。
【請求項５】
入力データが与えられたときに、当該入力データに対する確率モデルを推定する確率モデル推定装置における確率モデル推定方法であって、
入力データを構成する変数集合を、値レベルの独立性である部分交換可能性を満たす複数の変数グループに分割するステップと、
前記推定された複数の変数グループ間の依存関係を推定するステップと、
前記推定された複数の変数グループと、前記推定された複数の変数グループ間の依存関係とに基づいて、確率モデルのパラメータを推定するステップと、
を有する確率モデル推定方法。
【請求項６】
入力データが与えられたときに、当該入力データに対する確率モデルを推定する確率モデル推定装置として、コンピュータを機能させるためのプログラムであって、当該コンピュータを、
入力データを構成する変数集合を、値レベルの独立性である部分交換可能性を満たす複数の変数グループに分割するグループ推定手段、
前記グループ推定手段で推定された複数の変数グループ間の依存関係を推定するグラフ推定手段、及び
前記グループ推定手段で推定された複数の変数グループと、前記グラフ推定手段で推定された複数の変数グループ間の依存関係とに基づいて、確率モデルのパラメータを推定するパラメータ推定手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、確率モデル推定装置、確率モデル推定方法、及びプログラムに関し、特に、本発明は、記号データを対象とし、このようなデータ集合が与えられたときに、データ集合の持つ変数レベルの独立性と値レベルの独立性を考慮した確率モデルを自動生成する確率モデル推定装置、確率モデル推定方法、及びプログラムに関する。
【背景技術】
【０００２】
データが与えられたとき、これを分析する方法としてしばし確率モデルが利用される。確率モデルは対象とする複数の確率変数の独立性の仮定を元に、確率変数集合の確率分布を定義する。データに合った独立性を仮定することは非常に困難であり、仮定が弱すぎると確率モデルが複雑になり、確率推論を効率的に行うことが困難となる。また、仮定が強すぎると確率モデルが単純に成りすぎ、複雑なデータを扱うにはモデルの表現力が不足してしまう。よってデータからデータに合った確率モデルを自動的に生成することは非常に重要なタスクである。グラフィカルモデルは、変数レベルの独立性をグラフ構造で表現する確率モデルであり、変数間の依存関係が人間にとって理解しやすいことから広く利用されている（非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Mathias Niepert and Pedro M. Domingos: "Exchangeable Variable Models", ICML 2014, 2 May 2014.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のように、グラフィカルモデルは広く利用されているが、多くの変数が依存し合うような現象を表現するグラフィカルモデルは複雑な構造を持つため、効率的な確率推論ができないという問題がある。そこで多くの変数の依存関係を効率的に扱える新たな確率モデルとその構造学習法が必要とされている。
【０００５】
本発明は、記号データから、変数レベルと値レベルの独立性の双方を考慮することで、効率的に確率推論可能な確率モデルを自動的に学習することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一形態に係る確率モデル推定装置は、
入力データが与えられたときに、当該入力データに対する確率モデルを推定する確率モデル推定装置であって、
入力データを構成する変数集合を、値レベルの独立性である部分交換可能性を満たす複数の変数グループに分割するグループ推定部と、
前記グループ推定部で推定された複数の変数グループ間の依存関係を推定するグラフ推定部と、
前記グループ推定部で推定された複数の変数グループと、前記グラフ推定部で推定された複数の変数グループ間の依存関係とに基づいて、確率モデルのパラメータを推定するパラメータ推定部と、
を有することを特徴とする。
【０００７】
また、本発明の一形態に係る確率モデル推定方法は、
入力データが与えられたときに、当該入力データに対する確率モデルを推定する確率モデル推定装置における確率モデル推定方法であって、
入力データを構成する変数集合を、値レベルの独立性である部分交換可能性を満たす複数の変数グループに分割するステップと、
前記推定された複数の変数グループ間の依存関係を推定するステップと、
前記推定された複数の変数グループと、前記推定された複数の変数グループ間の依存関係とに基づいて、確率モデルのパラメータを推定するステップと、
を有することを特徴とする。
【０００８】
また、本発明の一形態に係るプログラムは、
入力データが与えられたときに、当該入力データに対する確率モデルを推定する確率モデル推定装置として、コンピュータを機能させるためのプログラムであって、当該コンピュータを、
入力データを構成する変数集合を、値レベルの独立性である部分交換可能性を満たす複数の変数グループに分割するグループ推定手段、
前記グループ推定手段で推定された複数の変数グループ間の依存関係を推定するグラフ推定手段、及び
前記グループ推定手段で推定された複数の変数グループと、前記グラフ推定手段で推定された複数の変数グループ間の依存関係とに基づいて、確率モデルのパラメータを推定するパラメータ推定手段、
として機能させることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、記号データから、変数レベルと値レベルの独立性の双方を考慮することで、効率的に確率推論可能な確率モデルを自動的に学習することが可能になる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例に係る確率モデル推定装置の機能構成例を示す図
【図２】図１のグループ推定部における処理の流れを示す図
【図３】図１のグラフ推定部における処理の流れを示す図
【図４】図１のパラメータ推定部における処理の流れを示す図
【図５】本発明の実施例に係る確率モデル推定装置のハードウェア構成例を示す図
【図６】本発明の実施例に係る確率モデル推定装置を使用したときの２値識別問題に対する実験結果を示す図
【図７】本発明の実施例に係る確率モデル推定装置を使用したときの確率学習問題に対する実験結果を示す図
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の実施例について説明する。
【００１２】
本発明の実施例では、入力データが与えられたときに、当該入力データに対する確率モデルを推定する確率モデル推定装置について説明する。確率モデル推定装置は、記号データが与えられたときに、データの持つ変数レベルの独立性と値レベルの独立性を考慮することにより、確率モデルを推定する。具体的には、確率モデル推定装置は、値レベルの独立性を考慮して変数をいくつかの変数グループに分け、変数レベルの独立性を考慮して変数グループ間の依存関係を発見し、変数レベルと値レベルの独立性の双方を考慮して確率モデルのパラメータをデータに合わせて調整する。
【００１３】
＜概要＞
図１に、本発明の実施例に係る確率モデル推定装置の機能構成例を示す。本発明の実施例に係る確率モデル推定装置１００は、グループ推定部１０１と、グラフ推定部１０２と、パラメータ推定部１０３とで構成される。
【００１４】
確率モデル推定装置１００の入力は、データ
【００１５】
【数１】
0006553542.tif 000002
と生成される確率モデルの複雑さをコントロールための２つの関数fとgである。確率モデル推定装置１００の出力は、データ
【００１６】
【数２】
0006553542.tif 000003
にフィットされた確率モデルである。ここで確率モデルの複雑さは関数fとgによって決まる。
【００１７】
まず、グループ推定部１０１はデータ
【００１８】
【数３】
0006553542.tif 000004
を入力とし、N個の変数をL個のグループに分割し、その分割
【００１９】
【数４】
0006553542.tif 000005
を出力する。ここでLは自動的に決定される。
【００２０】
次にグラフ推定部１０２はデータ
【００２１】
【数５】
0006553542.tif 000006
と関数f、グループ推定部１０１の出力である分割
【００２２】
【数６】
0006553542.tif 000007
を入力とし、L個のグループの依存関係を表現するグラフ構造Gを出力する。
【００２３】
最後に、パラメータ推定部１０３はデータ
【００２４】
【数７】
0006553542.tif 000008
、関数fとg、グループ推定部１０１の出力
【００２５】
【数８】
0006553542.tif 000009
そしてグラフ推定部１０２の出力のGを入力とし、確率モデルのパラメータ
【００２６】
【数９】
0006553542.tif 000010
を出力する。確率モデル推定装置１００が出力する確率モデル
【００２７】
【数１０】
0006553542.tif 000011
は５つ組
【００２８】
【数１１】
0006553542.tif 000012
である。
【００２９】
各部の詳細については以下で述べる。
【００３０】
＜確率モデル推定装置の入力＞
確率モデル推定装置１００の入力はデータ
【００３１】
【数１２】
0006553542.tif 000013
と生成される確率モデルの複雑さをコントロールする２つの関数fとgである。
【００３２】
まずデータ
【００３３】
【数１３】
0006553542.tif 000014
の詳細を述べる。入力データ
【００３４】
【数１４】
0006553542.tif 000015
はM個のレコードから成り、各レコードはN個の変数X1,...,XNの値の組x1,...,xNである。Xiはi番目の変数であり、xiはXiの値を表す。以後簡単のため、集合{1,...,N}を[N]と表す。集合
【００３５】
【数１５】
0006553542.tif 000016
に対して、
【００３６】
【数１６】
0006553542.tif 000017
を変数集合
【００３７】
【数１７】
0006553542.tif 000018
とし、変数集合
【００３８】
【数１８】
0006553542.tif 000019
の値の組
【００３９】
【数１９】
0006553542.tif 000020
と表す。このとき、m番目のレコードを
【００４０】
【数２０】
0006553542.tif 000021
と表せば、データ
【００４１】
【数２１】
0006553542.tif 000022
は、
【００４２】
【数２２】
0006553542.tif 000023
と表現される。
【００４３】
次に確率モデルの複雑さをコントロールする関数fとgの詳細を述べる。関数
【００４４】
【数２３】
0006553542.tif 000024
はそれぞれ、値単位の独立性である部分交換可能性と文脈依存独立性を定義するために用いられる。ある確率モデル
【００４５】
【数２４】
0006553542.tif 000025
において、
【００４６】
【数２５】
0006553542.tif 000026
が関数
【００４７】
【数２６】
0006553542.tif 000027
の元で部分交換可能であるとは、２つの値の割当
【００４８】
【数２７】
0006553542.tif 000028
が
【００４９】
【数２８】
0006553542.tif 000029
であることを意味する。また、
【００５０】
【数２９】
0006553542.tif 000030
が関数
【００５１】
【数３０】
0006553542.tif 000031
の元で文脈依存独立であるとは、２つの値の割当
【００５２】
【数３１】
0006553542.tif 000032
が
【００５３】
【数３２】
0006553542.tif 000033
であることを意味する。つまり、関数fとgの元で同値である値の割当は同じ周辺確率や同じ条件付き分布を持つことを意味する。関数fとgの取りうる値の集合をそれぞれ
【００５４】
【数３３】
0006553542.tif 000034
とする。
【００５５】
【数３４】
0006553542.tif 000035
のサイズを制限することでより強い独立性を仮定可能であり、結果として生成される確率モデルの複雑さが減少する。
【００５６】
＜グループ推定部＞
グループ推定部１０１は、入力データを構成する変数集合を、値レベルの独立性である部分交換可能性を満たす複数の変数グループに分割する。具体的には、グループ推定部１０１は、入力データを構成する変数集合
【００５７】
【数３５】
0006553542.tif 000036
を、関数fの元で部分交換可能性を満たすようなL個の変数グループに分割する。ここでLは以下に説明する操作によって自動的に決定される。グループ推定部１０１の入力は、前述の入力データ
【００５８】
【数３６】
0006553542.tif 000037
である。グループ推定部１０１の出力は、集合[N]の分割
【００５９】
【数３７】
0006553542.tif 000038
である。集合[N]の分割
【００６０】
【数３８】
0006553542.tif 000039
とは、
【００６１】
【数３９】
0006553542.tif 000040
を満たす[N]の部分集合
【００６２】
【数４０】
0006553542.tif 000041
の族である。ここで部分集合
【００６３】
【数４１】
0006553542.tif 000042
をl番目のグループと呼び、変数集合
【００６４】
【数４２】
0006553542.tif 000043
をl番目の変数グループと呼ぶ。生成される確率モデル
【００６５】
【数４３】
0006553542.tif 000044
において、各変数グループ
【００６６】
【数４４】
0006553542.tif 000045
は関数
【００６７】
【数４５】
0006553542.tif 000046
の元で部分交換可能であると仮定される。ここで任意の関数fに対して部分交換可能な変数グループを発見することは非常に困難である。そこで本発明の実施例では、関数fが交換可能であると仮定し、分割
【００６８】
【数４６】
0006553542.tif 000047
を推定する。ある関数が交換可能であるとは、関数の任意の２つの引数の値を交換してもその関数値が変化しないことを表す。このとき、生成される確率モデル
【００６９】
【数４７】
0006553542.tif 000048
において、同じ変数グループに属する任意の２変数は必ず交換可能となる。ある２変数が確率モデル
【００７０】
【数４８】
0006553542.tif 000049
において交換可能であるとは、その確率モデルが表す確率分布関数がその２変数に関して交換可能であることを意味する。２つの変数XiとXi'が交換可能であるための必要条件として、２つの変数の周辺分布が一致することが挙げられる。つまり、周辺分布が一致する変数を同じグループに割り当てることで交換可能な変数のグループを推定することが可能である。
【００７１】
図２に、図１のグループ推定部１０１における処理の流れを示す。グループ推定部１０１は、前述の入力データを読み込み（Ｓ１１１）、グループ推定部１０１は以下の操作により分割
【００７２】
【数４９】
0006553542.tif 000050
を構成する（Ｓ１１３）。
【００７３】
【数５０】
0006553542.tif 000051
ここで仮説「２変数の周辺分布が一致する」の検定はどのような方法で行ってもよい。また実用上は、上記の仮説の代わりに、仮説「２変数の平均が一致する」など、より簡単に検定が行える仮説を用いることが望ましい。
【００７４】
＜グラフ推定部＞
グラフ推定部１０２は、グループ推定部１０１で推定された複数の変数グループ間の依存関係を推定する。具体的には、グラフ推定部１０２は、グループ推定部１０１で推定されたL個の変数グループ
【００７５】
【数５１】
0006553542.tif 000052
の変数レベルの独立性を表現するグラフを推定する。ここで変数レベルの独立性とは条件付き独立性のことを意味し、例えば、２つの変数x,yがある変数zが与えられたときにのみに互いに独立となるとき、xとyはzが与えられた元で条件付き独立であると言う。変数レベルの独立性はx,y,zの具体的な値によらず常に成り立つのに対し、値レベルの独立性は、例えば、zが特定の値vを取るときにのみx,yが独立になるような性質を表す。グラフ推定部１０２の入力は、入力データ
【００７６】
【数５２】
0006553542.tif 000053
とグループ推定部１０１の出力
【００７７】
【数５３】
0006553542.tif 000054
である。グラフ推定部１０２の出力は、L個の頂点からなる有向グラフGである。有向グラフ
【００７８】
【数５４】
0006553542.tif 000055
は、頂点集合
【００７９】
【数５５】
0006553542.tif 000056
と有向辺集合
【００８０】
【数５６】
0006553542.tif 000057
の対である。各頂点は1,...,Lでラベル付けされており、頂点l(l=1,...,L)はl番目の変数グループに対応する。また有向辺
【００８１】
【数５７】
0006553542.tif 000058
はl'番目の変数グループとl番目の変数グループに依存関係があることを意味する。ここでグラフGは有向非循環グラフとする。つまり、グラフG中のどの頂点も、自分を始点と終点に持つような有向パスを持たない。このような変数間の依存関係を表現する有向非循環グラフはベイジアンネットワークと呼ばれ、確率モデリングでは広く利用されている。つまり、グラフ推定部１０２は、変数グループ
【００８２】
【数５８】
0006553542.tif 000059
の依存関係を表現するベイジアンネットワークを推定する。
【００８３】
図３に、図１のグラフ推定部１０２における処理の流れを示す。グラフ推定部１０２は、前述の入力データとグループ推定部１０１の出力を読み込み（Ｓ１２１）、以下の操作によりグラフGを構成する（Ｓ１２３）。
【００８４】
【数５９】
0006553542.tif 000060
ここでベイジアンネットワークの構造学習法はどのような手法を使ってもよいが、実用上は、Chow-Liueのアルゴリズムのように計算量の比較的小さいものを使うことが望ましい。
【００８５】
推定されたグラフGにおいて、有向辺(l',l)が存在するとき、l'はlの親であると言う。
【００８６】
【数６０】
0006553542.tif 000061
を頂点lの親頂点集合
【００８７】
【数６１】
0006553542.tif 000062
とする。また
【００８８】
【数６２】
0006553542.tif 000063
とし、
【００８９】
【数６３】
0006553542.tif 000064
を変数グループ
【００９０】
【数６４】
0006553542.tif 000065
の親変数グループと呼ぶ。
【００９１】
＜パラメータ推定部＞
パラメータ推定部１０３は、グループ推定部１０１で推定された複数の変数グループと、グラフ推定部１０２で推定された複数の変数グループ間の依存関係とに基づいて、確率モデルのパラメータを推定する。具体的には、パラメータ推定部１０３は、変数X1,...,XNの同時分布を具体的に定義するためのパラメータを推定する。パラメータ推定部１０３の入力は、入力データ
【００９２】
【数６５】
0006553542.tif 000066
、関数fとg、分割
【００９３】
【数６６】
0006553542.tif 000067
、そしてグラフGである。パラメータ推定部１０３の出力は、データに合うように調整されたモデルパラメータ集合
【００９４】
【数６７】
0006553542.tif 000068
である。
【００９５】
図４に、図１のパラメータ推定部１０３における処理の流れを示す。パラメータ推定部１０３は、前述の入力データとグループ推定部１０１の出力とグラフ推定部１０２の出力を読み込み（Ｓ１３１）、以下のようにパラメータを推定する（Ｓ１３３）。
【００９６】
分割
【００９７】
【数６８】
0006553542.tif 000069
とグラフGが与えられたとき、確率モデル
【００９８】
【数６９】
0006553542.tif 000070
が定義する変数集合
【００９９】
【数７０】
0006553542.tif 000071
の同時分布
【０１００】
【数７１】
0006553542.tif 000072
は以下の様に分解できる。
【０１０１】
【数７２】
0006553542.tif 000073
上式右辺の条件付き分布
【０１０２】
【数７３】
0006553542.tif 000074
はパラメータ
【０１０３】
【数７４】
0006553542.tif 000075
と関数f,gを用いて以下の様に定義される。
【０１０４】
【数７５】
0006553542.tif 000076
ここで
【０１０５】
【数７６】
0006553542.tif 000077
はそれぞれ、関数fとgの取りうる値の集合
【０１０６】
【数７７】
0006553542.tif 000078
のk番目の値とj番目の値である。確率モデル
【０１０７】
【数７８】
0006553542.tif 000079
が与えられた元でのデータ
【０１０８】
【数７９】
0006553542.tif 000080
の確率
【０１０９】
【数８０】
0006553542.tif 000081
を尤度と呼び、以下の様に計算される。
【０１１０】
【数８１】
0006553542.tif 000082
上記の尤度を最大化するパラメータ集合を
【０１１１】
【数８２】
0006553542.tif 000083
とすれば、パラメータ推定部１０３は
【０１１２】
【数８３】
0006553542.tif 000084
を計算し、出力する。具体的には
【０１１３】
【数８４】
0006553542.tif 000085
は下式により計算される。
【０１１４】
【数８５】
0006553542.tif 000086
ここでδ(p)は命題pが真のとき1をとり、pが偽のとき0をとる関数である。
【０１１５】
＜確率モデル推定装置の出力＞
確率モデル推定装置１００の出力は、確率モデル
【０１１６】
【数８６】
0006553542.tif 000087
である。ここで分割
【０１１７】
【数８７】
0006553542.tif 000088
、グラフG、パラメータ
【０１１８】
【数８８】
0006553542.tif 000089
はそれぞれグループ推定部１０１、グラフ推定部１０２、パラメータ推定部１０３の出力である。確率モデル
【０１１９】
【数８９】
0006553542.tif 000090
はデータ
【０１２０】
【数９０】
0006553542.tif 000091
を構成するN個の変数
【０１２１】
【数９１】
0006553542.tif 000092
の同時分布
【０１２２】
【数９２】
0006553542.tif 000093
を定義しており、データ
【０１２３】
【数９３】
0006553542.tif 000094
を得る確率(尤度)
【０１２４】
【数９４】
0006553542.tif 000095
を最大化する様に学習されている。出力された確率モデル
【０１２５】
【数９５】
0006553542.tif 000096
より、グラフGは変数レベルの独立性を表現し、変数グループ
【０１２６】
【数９６】
0006553542.tif 000097
は関数fの元で部分交換可能性を満し、親変数グループ
【０１２７】
【数９７】
0006553542.tif 000098
は関数gの元で文脈依存独立性を満たすと解釈できる。
【０１２８】
＜ハードウェア構成例＞
図５に、本発明の実施例に係る確率モデル推定装置１００のハードウェア構成例を示す。確率モデル推定装置１００は、ＣＰＵ（Central Processing Unit）１５１等のプロセッサ、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等のメモリ装置１５２、ハードディスク等の記憶装置１５３等から構成されたコンピュータでもよい。例えば、確率モデル推定装置１００の機能及び処理は、記憶装置１５３又はメモリ装置１５２に格納されているデータやプログラムをＣＰＵ１５１が実行することによって実現される。また、確率モデル推定装置１００に必要な情報は、入出力インタフェース装置１５４から入力され、確率モデル推定装置１００において求められた結果は、入出力インタフェース装置１５４から出力されてもよい。
【０１２９】
＜本発明の実施例の効果＞
上記のように、本発明の実施例では、記号データから、変数レベルと値レベルの独立性の双方を考慮することで、効率的に確率推論可能な確率モデルを自動的に学習する。これにより、大規模記号データの依存関係を効率的に抽出可能となる。
【０１３０】
本発明の実施例の特徴として、従来のグラフィカルモデルで利用されていた変数レベルの独立性だけではなく、グラフィカルモデルでは効率的に表現することが困難である値レベルの独立性を抽出する点が挙げられる。値レベルの独立性を考慮することで以下の利点が得られる。
【０１３１】
（１）従来のグラフィカルモデルでは効率的に表現できない依存関係も効率的に表現可能である。
【０１３２】
（２）従来のグラフィカルモデルよりも広いクラスの独立性を表現できるため、よりデータに合った確率モデルを生成できる。
【０１３３】
（３）生成される確率モデルの複雑さを事前に制限するため、生成された確率モデルは効率的に推論できることが保証できる。
【０１３４】
変数レベルの独立性と比べてより詳細な依存関係を表現する値レベルの独立性を考慮すると、従来のグラフィカルモデルよりも複雑な確率モデルを効率的に扱えるようになる一方、データから確率モデルを自動的に学習することがより困難となる。効率的な確率モデルの学習を実現するため、本発明の実施例では生成される確率モデルに事前に制限を加えることで、効率的な確率モデルの自動生成と、生成された確率モデル上の効率的な確率推論を保証する。
【０１３５】
このように解析対象の記号データが持つ変数レベルの独立性と値レベルの独立性を考慮した確率モデルの自動生成が可能となる。得られた確率モデルの構造により、データ中の変数同士の依存関係が理解でき、また、確率モデルが定義する確率分布を用いることでデータの予測や分類などが可能となる。
【０１３６】
＜実験＞
本発明の実施例の有用性を示すため、本発明の実施例に係る確率モデル推定装置１００を２値分類問題と確率推定問題に適用した。
【０１３７】
識別問題では本発明の実施例に係る確率モデル推定装置１００を２つの生成モデルと３つの識別モデルと比較し、確率学習問題においては同じ２つの生成モデルと比較する。
【０１３８】
＜識別問題＞
図６に、本発明の実施例に係る確率モデル推定装置１００を使用したときの２値識別問題に対する実験結果を示す。ここでは図６に示される６つの正解ラベル付きの実データセットより２値分類問題を生成した。初めの５つのデータセットはテキストデータであり、残りの１つのデータは手書き文字データである。実験設定の詳細は非特許文献１に従ったため省略する。本実験では本発明の実施例に係る確率モデル推定装置１００を２つ生成モデルと３つ識別モデルと比較した。前者はナイーブベイズ識別(NB)とMEVMであり、後者は決定木(DT)、サポートベクターマシン(SVM)、k近傍法(k-NN)である。
【０１３９】
図６の最後の６列に６つの識別器の平均精度を示す。図６の平均精度は、正解が予め分かっているテスト用のデータに対して確率モデルを用いて識別を行った結果、識別結果が正解と一致している度合いを表す。まず、生成モデルの結果を比較する。本発明の実施例に係る確率モデル推定装置１００はすべての学習データセットに対して最良の対数尤度を達成し、テストデータに対しては Polarityデータ以外において最良の対数尤度を達成した。Polarityデータは、学習サンプル数に対して特徴ベクトルの次元が高く、過学習を起こしやすいと言える。本発明の実施例に係る確率モデル推定装置１００はNBやMEVMを包含した枠組みであり、それらと比較して最大２倍のパラメータを利用可能であることから、Polarityデータに対して過学習を起こしたと推測される。次に本発明の実施例に係る確率モデル推定装置１００と３つの識別モデルを比較する。一般的に識別問題では、生成モデルと識別モデルでは識別モデルの方が高精度であることが知られている。しかし、本発明の実施例に係る確率モデル推定装置１００はDTと5-NNと比較して非常によい精度を達成しており、SVMと比較しても１つのデータセットではよりよい精度を達成している。
【０１４０】
＜確率学習問題＞
図７に、本発明の実施例に係る確率モデル推定装置１００を使用したときの確率学習問題に対する実験結果を示す。ここでは本発明の実施例に係る確率モデル推定装置１００を確率モデルの構造学習タスクでよく利用されているベンチマークに適用した。このベンチマークは図７の１列目に示される１２個の実データセットから成る。ここでは本発明の実施例に係る確率モデル推定装置１００を含む３つの生成モデルをこれらのデータセットに適用し、テストデータに対する対数尤度を比較した。実験設定の詳細は非特許文献１に従ったため省略する。
【０１４１】
図７の最後の３列に３つのモデルのテスト尤度を示す。本発明の実施例に係る確率モデル推定装置１００はすべての学習データに対して最良の対数尤度を達成し、テストデータにおいては初めの８つのデータセットに対して最良の対数尤度を達成した。この結果は、残りの４つのデータセットは学習データ数に対して属性数が非常に大きいため、本発明は過学習を起こしたと考えられる。
【０１４２】
＜補足＞
説明の便宜上、本発明の実施例に係る確率モデル推定装置は機能的なブロック図を用いて説明しているが、本発明の実施例に係る確率モデル推定装置は、ハードウェア、ソフトウェア又はそれらの組み合わせで実現されてもよい。例えば、本発明の実施例は、コンピュータに対して本発明の実施例に係る確率モデル推定装置の各機能を実現させるプログラム、コンピュータに対して本発明の実施例に係る方法の各手順を実行させるプログラム等により、実現されてもよい。また、各機能部が必要に応じて組み合わせて使用されてもよい。また、本発明の実施例に係る方法は、実施例に示す順序と異なる順序で実施されてもよい。
【０１４３】
以上、記号データから、変数レベルと値レベルの独立性の双方を考慮することで、効率的に確率推論可能な確率モデルを自動的に学習するための手法について説明したが、本発明は、上記の実施例に限定されることなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変更・応用が可能である。
【符号の説明】
【０１４４】
１００  確率モデル推定装置
１０１  グループ推定部
１０２  グラフ推定部
１０３  パラメータ推定部
１５１  ＣＰＵ
１５２  メモリ装置
１５３  記憶装置
１５４  入出力インタフェース装置
【図１】
0006553542.tif 000099
【図２】
0006553542.tif 000100
【図３】
0006553542.tif 000101
【図４】
0006553542.tif 000102
【図５】
0006553542.tif 000103
【図６】
0006553542.tif 000104
【図７】
0006553542.tif 000105