(57)【特許請求の範囲】
【請求項１】
データから最も尤度の高い確率関数を計算する第１の計算部と、
統計物理学における正準分布と、前記正準分布におけるパラメータをデータの持つ揺らぎとして計算する第２の計算部と、
前記第１の計算部により計算される最も尤度の高い確率関数、前記第２の計算部により計算される揺らぎ、および前記正準分布を用いて、確率関数を推定する推定部と
を備え、
前記第２の計算部は、データの持つ揺らぎを前記最も尤度の高い確率関数、経験分布関数、ベイズの事後確率関数、または前記推定される確率関数の少なくとも一つを用いて計算する
情報処理装置。
【請求項２】
データから最も尤度の高い確率関数を計算し、
統計物理学における正準分布と、前記正準分布におけるパラメータをデータの持つ揺らぎとして計算し、
前記最も尤度の高い確率関数、前記データの揺らぎ、および前記正準分布を用いて、確率関数を推定する
ステップを含み、
前記データの持つ揺らぎを前記最も尤度の高い確率関数、経験分布関数、ベイズの事後確率関数、または前記推定される確率関数の少なくとも一つを用いて計算する
情報処理方法。
【請求項３】
データから最も尤度の高い確率関数を計算し、
統計物理学における正準分布と、前記正準分布におけるパラメータをデータの持つ揺らぎとして計算し、
前記最も尤度の高い確率関数、前記データの揺らぎ、および前記正準分布を用いて、確率関数を推定する
ステップを含み、
前記データの持つ揺らぎを前記最も尤度の高い確率関数、経験分布関数、ベイズの事後確率関数、または前記推定される確率関数の少なくとも一つを用いて計算する
処理をコンピュータに実行させるためのプログラム。
【請求項４】
データから最も尤度の高い確率関数を計算する第１の計算部と、
統計物理学における正準分布と、前記正準分布におけるパラメータをデータの持つ揺らぎとして計算する第２の計算部と、
前記第１の計算部により計算される最も尤度の高い確率関数、前記第２の計算部により計算される揺らぎ、および前記正準分布を用いて、確率関数を推定する推定部と
を備え、
前記第２の計算部は、前記データの持つ揺らぎを、カルバック・ライブラー情報量を用いて計算する
情報処理装置。
【請求項５】
前記第２の計算部は、前記データの持つ揺らぎを計算する際、n個のデータを用いて前記計算を行うに当たり、n個のデータから計算される前記最も尤度の高い確率関数、ベイズ事後確率関数、または経験分布関数のうちのいずれか１つと、前記推定部により推定される（ｎ−１）個のデータから計算される確率関数とによって、カルバック・ライブラー情報量を計算する
請求項４に記載の情報処理装置。
【請求項６】
前記（ｎ−１）個のデータから計算される確率関数をｊ個（０≦ｊ≦ｎ−１）までのデータで同様に計算される確率関数の幾何平均によって置き換える
請求項５に記載の情報処理装置。
【請求項７】
ｎ個のデータから計算される前記最も尤度の高い確率関数、前記ベイズ事後確率関数、あるいは前記経験分布関数をｊ個（０≦ｊ≦ｎ−１）までのデータで同様に計算される前記最も尤度の高い確率関数あるいは前記ベイズ事後確率関数あるいは前記経験分布関数の幾何平均で置き換える
請求項５または６に記載の情報処理装置。
【請求項８】
（ｎ−１）個のデータから計算される確率関数を、ｎ個のデータから計算される確率関数に置き換えることによって計算される前記データの持つ揺らぎと前記正準分布とを用いた再帰的計算を用いて推定する
請求項５乃至７のいずれかに記載の情報処理装置。
【請求項９】
データから最も尤度の高い確率関数を計算し、
統計物理学における正準分布と、前記正準分布におけるパラメータをデータの持つ揺らぎとして計算し、
前記計算により得られた最も尤度の高い確率関数、前記計算により得られた揺らぎ、および前記正準分布を用いて、確率関数を推定する
ステップを含み、
前記データの持つ揺らぎは、カルバック・ライブラー情報量が用いられて計算される
情報処理方法。
【請求項１０】
データから最も尤度の高い確率関数を計算し、
統計物理学における正準分布と、前記正準分布におけるパラメータをデータの持つ揺らぎとして計算し、
前記計算により得られた最も尤度の高い確率関数、前記計算により得られた揺らぎ、および前記正準分布を用いて、確率関数を推定する
ステップを含み、
前記データの持つ揺らぎは、カルバック・ライブラー情報量が用いられて計算される
処理をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置、情報処理方法、並びにプログラムに関する。詳しくは、データから確率関数を推定する際に、パラメータなどの設定を行わなくても、最適な確率関数を推定できる情報処理装置、情報処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
予め与えられたデータから学習して得られた分類のルールを用い、その後得られたデータの分類を行う技術がある。こうした技術においては、データの背後にあるデータ生成源の真の、あるいは真に近い確率分布を推定することが行われる。かかる確率分布の推定には、混合ガウス分布、隠れマルコフモデル、ベイジアンネットワークなど多くのモデルが検討されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2008-299524号公報
【非特許文献】
【０００４】
【非特許文献１】東京大学教養学部統計学教室編，「自然科学の統計学」，東京大学出版会，1992年．
【非特許文献２】C. P. Robert著，「The Bayesian Choice: From Decision-Theoretic Foundations to Computational Implementation」， Springer-Verlag, New York, NY, second edition, 2007年.
【非特許文献３】S. Yang and K. C. Chang, 「Comparison of Score Metrics for Bayesian Network Learning」， IEEE Transactions on Systems, Man, and Cybernetics Part A: Systems and Humans, Vol. 32, No. 3, pp. 419-428, 2002年.
【非特許文献４】T. Silander, P. Kontkane, and P. Myllymaki著，「On sensitivity of the map Bayesian network structure to the equivalent sample size parameter」， Proceedings of Conference on Uncertainty in Artificial Intelligence, pp. 360367, 2007年.
【非特許文献５】H. Steck著，「Learning the Bayesian network structure: Dirichlet prior versus data」，  Proceedings of Conference on Uncertainty in Artificial Intelligence, pp. 511518, 2008年.
【非特許文献６】T.Isozaki, N. Kato, and M. Ueno著，「“Data Temperature” in Minimum Free Energies for Parameter Learning of Bayesian networks」，  International Journal on Artificial Intelligence Tools, Vol. 18, No. 5, pp. 653671, 2009年.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
非特許文献１には、データから確率関数を推定する場合に、相対頻度から計算することが開示されている。しかしながら、この方法では、データが少ないときに過学習が起こり、ロバストな推定ではないことが、数多くの実験から明らかになっている。
【０００６】
非特許文献２には、データではなく、分析者の事前の信念（事前頻度あるいは仮想頻度と呼ばれる）を、頻度に付け加えることに相当する事前分布を用いるベイズ統計学についての開示があり、この方法によれば、過学習を避けることは可能である。しかしながら、分析者に事前の知識がない場合や客観的な分析を行う必要がある場合に、客観的な事前の信念や事前頻度を定量的に設定することは困難である。
【０００７】
また、非特許文献３では、多変数のベイジアンネットワーク構造を推測するなどの観点では、ある特定の値が推奨されていることが開示されている。しかしながら、非特許文献３で推奨された値も理論的な根拠はないうえに、様々なデータセットでの十分な調査はされていないので最適性は未だ不明である。
【０００８】
さらに上記のパラメータでは多変数の場合に理論的な不整合もあり、ESS(Equivalent Sample Size)と呼ばれる別のパラメータが推奨されている。しかしこのパラメータの最適値は、データセット毎に最適な値の変動が大きく、最適化が難しいことが非特許文献４で開示されている。この最適化の手法が、非特許文献５で提案されている。非特許文献５では、BDeuというベイズ統計の手法と AIC という非ベイズ統計の手法の組合せという点で理論的な一貫性が欠ける手法であることと、AIC が少数データでは精度が悪いことから、やはり少数データでの最適な推定は難しい。さらにはこの方法は多変数のネットワーク構造の推定に特化しており、一般の確率関数の推定には使えないため汎用性が低い。
【０００９】
また、特許文献１や非特許文献６には、自由エネルギー最小原理を用いた確率の推定方法が開示されている。この方法は、ベイズ推定と同様に最尤推定よりロバストであることが知られている。しかしながら、温度の設定が、データ数に陽に依存した関数を仮定している点で最適とは限らないことと、さらに最適な決定が難しいパラメータをも有するため、ベイズ統計と似た状況になっている。
【００１０】
本技術は、このような状況に鑑みてなされたものであり、データから確率関数を推定する際に、パラメータなどの設定を行わなくても、自由エネルギーを最小化する観点で最適な確率関数を推定できるようにするものである。
【課題を解決するための手段】
【００１１】
本技術の一側面の第１の情報処理装置は、データから最も尤度の高い確率関数を計算する第１の計算部と、統計物理学における正準分布と、前記正準分布におけるパラメータをデータの持つ揺らぎとして計算する第２の計算部と、前記第１の計算部により計算される最も尤度の高い確率関数、前記第２の計算部により計算される揺らぎ、および前記正準分布を用いて、確率関数を推定する推定部とを備え、前記第２の計算部は、データの持つ揺らぎを前記最も尤度の高い確率関数、経験分布関数、ベイズの事後確率関数、または前記推定される確率関数の少なくとも一つを用いて計算する。
【００１２】
本技術の一側面の第１の情報処理方法は、データから最も尤度の高い確率関数を計算し、統計物理学における正準分布と、前記正準分布におけるパラメータをデータの持つ揺らぎとして計算し、前記最も尤度の高い確率関数、前記データの揺らぎ、および前記正準分布を用いて、確率関数を推定するステップを含み、前記データの持つ揺らぎを前記最も尤度の高い確率関数、経験分布関数、ベイズの事後確率関数、または前記推定される確率関数の少なくとも一つを用いて計算する。
【００１３】
本技術の一側面の第１のプログラムは、データから最も尤度の高い確率関数を計算し、統計物理学における正準分布と、前記正準分布におけるパラメータをデータの持つ揺らぎとして計算し、前記最も尤度の高い確率関数、前記データの揺らぎ、および前記正準分布を用いて、確率関数を推定するステップを含み、前記データの持つ揺らぎを前記最も尤度の高い確率関数、経験分布関数、ベイズの事後確率関数、または前記推定される確率関数の少なくとも一つを用いて計算する処理をコンピュータに実行させる。
【００１６】
本技術の一側面の第２の情報処理装置は、データから最も尤度の高い確率関数を計算する第１の計算部と、統計物理学における正準分布と、前記正準分布におけるパラメータをデータの持つ揺らぎとして計算する第２の計算部と、前記第１の計算部により計算される最も尤度の高い確率関数、前記第２の計算部により計算される揺らぎ、および前記正準分布を用いて、確率関数を推定する推定部とを備え、前記第２の計算部は、前記データの持つ揺らぎを、カルバック・ライブラー情報量を用いて計算する。
【００１７】
前記第２の計算部は、前記データの持つ揺らぎを計算する際、n個のデータを用いて前記計算を行うに当たり、n個のデータから計算される前記最も尤度の高い確率関数、ベイズ事後確率関数、または経験分布関数のうちのいずれか１つと、前記推定部により推定される（ｎ−１）個のデータから計算される確率関数とによって、カルバック・ライブラー情報量を計算するようにすることができる。
【００１８】
前記（ｎ−１）個のデータから計算される確率関数をｊ個（０≦ｊ≦ｎ−１）までのデータで同様に計算される確率関数の幾何平均によって置き換えるようにすることができる。なおｊ＝０の場合は一様分布関数を用いることができる。
【００１９】
ｎ個のデータから計算される前記最も尤度の高い確率関数、前記ベイズ事後確率関数、あるいは前記経験分布関数をｊ個（０≦ｊ≦ｎ−１）までのデータで同様に計算される前記最も尤度の高い確率関数あるいは前記ベイズ事後確率関数あるいは前記経験分布関数の幾何平均で置き換えるようにすることができる。
【００２０】
（ｎ−１）個のデータから計算される確率関数を、ｎ個のデータから計算される確率関数に置き換えることによって計算される前記データの持つ揺らぎと前記正準分布とを用いた再帰的計算を用いて推定するようにすることができる。
【００２１】
本技術の一側面の第２の情報処理方法は、データから最も尤度の高い確率関数を計算し、統計物理学における正準分布と、前記正準分布におけるパラメータをデータの持つ揺らぎとして計算し、前記計算により得られた最も尤度の高い確率関数、前記計算により得られた揺らぎ、および前記正準分布を用いて、確率関数を推定するステップを含み、前記データの持つ揺らぎは、カルバック・ライブラー情報量が用いられて計算される。
【００２２】
本技術の一側面の第２のプログラムは、データから最も尤度の高い確率関数を計算し、統計物理学における正準分布と、前記正準分布におけるパラメータをデータの持つ揺らぎとして計算し、前記計算により得られた最も尤度の高い確率関数、前記計算により得られた揺らぎ、および前記正準分布を用いて、確率関数を推定するステップを含み、前記データの持つ揺らぎは、カルバック・ライブラー情報量が用いられて計算される処理をコンピュータに実行させる。
【００２３】
本技術の一側面の第１の情報処理装置、第１の情報処理方法、並びに第１のプログラムにおいては、データから最も尤度の高い確率関数が計算され、統計物理学における正準分布と、正準分布におけるパラメータがデータの持つ揺らぎとして計算され、最も尤度の高い確率関数、データの揺らぎ、および正準分布が用いられて、確率関数が推定される。データの持つ揺らぎが、最も尤度の高い確率関数、経験分布関数、ベイズの事後確率関数、または推定される確率関数の少なくとも一つが用いられて計算される。
【００２４】
本技術の一側面の第２の情報処理装置、第２の情報処理方法、並びに第２のプログラムにおいては、データから最も尤度の高い確率関数が計算され、統計物理学における正準分布と、正準分布におけるパラメータがデータの持つ揺らぎとして計算され、最も尤度の高い確率関数、データの揺らぎ、および正準分布が用いられて、確率関数が推定される。データの持つ揺らぎは、カルバック・ライブラー情報量が用いられて計算される。
【発明の効果】
【００３２】
本技術の一側面によれば、データから確率関数を推定する際に、パラメータなどの設定を行わなくても、最適な確率関数を推定できるようになる。
【図面の簡単な説明】
【００３３】
【図１】本技術を適用した確率関数を推定する情報処理装置の一実施の形態の構成を示す図である。
【図２】本技術を適用した確率関数を推定する情報処理装置の他の実施の形態の構成を示す図である。
【図３】本技術を適用した確率関数を推定する情報処理装置のさらに他の実施の形態の構成を示す図である。
【図４】記録媒体について説明するための図である。
【発明を実施するための形態】
【００３４】
以下に、本技術の実施の形態について図面を参照して説明する。
【００３５】
［情報処理装置の構成について］
図１は、本技術を適用した情報処理装置の一実施の形態の構成を示す図である。図１に示した情報処理装置１０は、入力部２１、制御部２２、記憶部２３、および出力部２４から構成されている。また、制御部２２は、最尤推定部４１、温度決定部４２、および確率関数推定部４３から構成されている。以下の説明では、予め定められたＮ個の離散確率変数の場合を例に挙げて説明するが、Ｎ＝１の場合も含んでいる。
【００３６】
制御部２２は、ＣＰＵ (Central Processing Unit) 等のプログラム制御デバイスであり、記憶部２３に格納されているプログラムに従って動作する。記憶部２３には、離散確率変数の数Ｎと、それぞれの離散確率変数の内部状態が記憶されている。また記憶部２３には、データベースとしてデータが格納されている。
【００３７】
入力部２１には、確率変数のどの確率関数を計算するかを指定する引数が入力される。または、データベース中のデータの直近のｍ個を利用する、あるいはどのデータを利用するかの詳細な情報が引数として入力されるように構成することもできる。また確率関数は、複数の変数を含む結合確率関数を指定することもできるし、条件付き確率関数を指定することもできる。入力部２１は、入力された情報を、制御部２２に出力する。
【００３８】
離散確率変数を、｛Ｘｉ｝（ｉ＝１，・・・，ｎ）と表記した場合、所定の変数Ｘｉの内部状態ｊの確率を、ここではＰ（Ｘｉ＝ｊ）と記述する。結合確率関数として二変数であれば、Ｐ（Ｘｉ＝ｋ，Ｘｊ＝ｌ）と指定することもできる。また条件付き確率関数として条件を二変数とすれば、Ｐ（Ｘｉ＝ｌ｜Ｘｊ＝ｍ，Ｘｋ＝ｑ）と指定することもできる。
【００３９】
入力部２１への入力に基づき、推定すべき確率関数あるいは確率値が判明される。次に、この情報に基づき，最尤推定部４１において、記憶部２３に格納されたデータベースから該当する頻度が計算され、最尤推定された確率関数あるいは確率値が計算される。次に、温度決定部４２において、この最尤推定の情報とデータベースからの情報が統合され、温度が決定される。そして、これらの情報に基づいて、確率関数推定部４３において、最終的な確率関数あるいは確率値が計算され、この計算結果が、出力部２４を通して外部に出力される。
【００４０】
本技術を適用した実施の形態においては、決まっていないパラメータが存在しないために、ユーザがパラメータを調節し、設定するということを行わなくても良くなり、ユーザの手間を省かせることが可能となる。また、最尤推定量よりロバストな推定ができるようになる。本技術によれば、このような両立性の利点を有する。以下に、さらに具体的に説明を加える。
【００４１】
［第１の実施の形態について］
第１の実施の形態として、一変数の確率関数を推定する場合を例に挙げ、図１に示した情報処理装置１０が実行する処理について説明する。
【００４２】
まず、記憶部２３には確率変数の一つとして｛ｘ｝が記憶されており、その内部状態が３であることも記憶されている。そして入力部２１には、この変数についてのデータの事例が１０個入力されるとする。この事例は、記憶部２３に記憶することができる。内部状態とは、例えば、高、中、低といった状態である。また事例としては、高という状態が、４回、中という状態が３回、低という状態が３回起きたといった事例である。このような情報が、入力部２１に入力され、記憶部２３に記憶される。
【００４３】
次に最尤推定部４１において、３つの状態毎に入力された事例を参照して各状態Ｘｉ（ｉ＝１，２，３）の頻度ｎｉが数え上げられる。次にデータ数ｎ＝１０が用いられて相対頻度、すなわち最尤推定による確率関数が次式（１）に従って求められる。
【数１】
0005845630.tif 000002
【００４４】
式（１）において、
【数２】
0005845630.tif 000003
を、以下、Ｐハットと記述する。最尤推定部４１は、式（１）で表される確率関数Ｐハットに基づく計算を、記憶部２３に記憶されている上述した情報を用いて行う。
【００４５】
次に、温度決定部４２は、データの揺らぎを定量化する。以後このデータの揺らぎを温度と呼ぶ。温度が高い状態は、データの揺らぎが大きい状態であり、温度が低い状態は、データの揺らぎが小さい状態である。データ数が少ない場合、推定される関数が適切でない可能性があるが、以下に説明するように温度という概念を導入し、データ数が少ないときでも、推定される関数が適切となるようにすることができる。
【００４６】
ｎ個のデータのうち、ｎ＞ｊなるｊ個のデータによって推定される確率関数Ｐｊ（Ｘ）を用いて、次式（２）のようにそれらの幾何平均を定義する。
【数３】
0005845630.tif 000004
【００４７】
ここで Ｐ０（Ｘｉ）＝１／｜Ｘ｜ と定義する。また、 ｜Ｘ｜ は、変数Ｘの内部状態数を示す。従って、 Ｐ０（Ｘ） は、一様確率関数である。ここでは ｜Ｘ｜＝３ であるため、状態ｉに依らず、 Ｐ０（Ｘｉ）＝１／３ である。そしてデータ数ｎ（ｎ≧１）における温度Ｔを式（１）と式（２）を用いた次式（３）で定義する。
【数４】
0005845630.tif 000005
【００４８】
式（３）において温度Ｔは、右辺がカルバック・ライブラー情報量で定義されており、その性質からＴ≧０である。またｎ≧１において、βを次式（４）で定義する。
β＝１／（１＋Ｔ）    ・・・（４）
温度Ｔが、式（４）で定義されるβという量に変換される。ｎ＝０のときには、β＝０と定義する。
【００４９】
次に確率関数推定部４３において、ｎ≧１における確率関数の推定が行われる。ここでは、自由エネルギー最小原理を用いることで導かれる次式（５）で表される正準分布を用いて、推定結果Ｐ（Ｘｉ）が得られる。
【数５】
0005845630.tif 000006
【００５０】
式（５）において、ｎ＝０のときには、 Ｐ０（Ｘｉ）＝１／｜Ｘ｜ を推定結果とする。このようにして推定された関数が、推定結果として、出力部２４に出力され、図示していない後段の処理に供給される。
【００５１】
このように、利用できるデータから最も尤度の高い確率関数を最尤推定部４１で計算し、統計物理学における正準分布と、正準分布におけるパラメータをデータの持つ揺らぎとして温度設定部４２で計算し、最も尤度の高い確率関数、計算された揺らぎ、および正準分布とを使って確率関数を確率関数推定部４３で推定することで、データの持つ揺らぎを正準分布のパラメータとして計算することでき、最尤推定量を自動補正することができる。
【００５２】
また最尤推定部４１を、利用できるデータから経験分布関数を計算するように構成することもできる。そして、利用できるデータから経験分布関数を最尤推定部４１で計算し、統計物理学における正準分布と、正準分布におけるパラメータをデータの持つ揺らぎとして温度設定部４２で計算し、この正準分布を使って推定される確率関数を確率関数推定部４３で推定するように構成することも可能である。このように構成した場合、データの持つ揺らぎを正準分布のパラメータとして計算することから経験分布を自動補正した推定を行うことできる。
【００５３】
また、最尤推定部４１が、最も尤度の高い確率関数を計算するように構成してもよいし、ベイズの事後確率関数を計算するように構成することも可能である。ベイズの事後確率関数を計算するようにした場合、事前の知識を反映することもできる。
【００５４】
また、温度決定部４２が、温度の計算（データの揺らぎの計算）をする際、正準分布の温度に相当するパラメータとして計算で求める。データの持つ揺らぎは最も尤度の高い確率関数、経験分布関数、ベイズの事後確率関数、あるいは推定される確率関数の少なくとも一つを用いて計算するように構成することができる。このように構成することで、データの持つ揺らぎから具体的にパラメータを計算することができる。
【００５５】
また、温度決定部４２がデータの持つ揺らぎ（温度）を計算する際、予め設定される他のパラメータあるいは、データセットごとに計算されるパラメータを含まないで計算を行うため、ユーザにパラメータを設定するという余計な手間をかけさせずに、簡単に精度のよい推定ができるようになる。
【００５６】
また、温度決定部４２が、データの持つ揺らぎを計算する際、データの持つ揺らぎを、カルバック・ライブラー情報量を用いて計算する。カルバック・ライブラー情報量を使うことで、揺らぎを０以上の量に限定でき、正準分布と共に使って精度の高い推定ができるようになる。
【００５７】
また、温度決定部４２が、データの持つ揺らぎを計算する際、ｎ個のデータを用いて計算を行うに当たり、ｎ個のデータから計算される最も尤度の高い確率関数、ベイズ事後確率関数、あるいは経験分布関数と、（ｎ−１）個のデータから計算される確率関数とによってカルバック・ライブラー情報量を計算する構成とすることができる。このような構成とした場合、上述した式（３）は、次式（６）となる。
【００５８】
【数６】
0005845630.tif 000007
このような構成とすることで、一つ前のデータでの推定からの違いを揺らぎとして具体的に計算することができるようになる。
【００５９】
また、温度決定部４２が、データの持つ揺らぎを計算する際、上記した式（３）のように、ｎ個のデータを用いて計算を行うに当たり、ｎ個のデータから計算される最も尤度の高い確率関数、ベイズ事後確率関数、あるいは経験分布関数と、（ｎ−１）個のデータから計算される確率関数をｊ個（０≦ｊ≦ｎ−１のいずれか)までのデータで同様に計算される確率関数の幾何平均によって計算する構成とすることができる。この際、ｊ＝０の場合には、一様分布関数を用いることができる。このような構成とすることで、過去のデータを使った平均からのずれを揺らぎとして具体的に計算することができるようになる。
【００６０】
また、温度決定部４２が、データの持つ揺らぎを計算する際、ｎ個のデータから計算される最も尤度の高い確率関数、ベイズ事後確率関数、あるいは経験分布関数をｊ個（０≦ｊ≦ｎ−１のいずれか)までのデータで同様に計算される最も尤度の高い確率関数、ベイズ事後確率関数、あるいは経験分布関数の幾何平均によって計算する構成とすることができる。このような構成とした場合、上述した式（３）は、次式（７）となる。
【００６１】
【数７】
0005845630.tif 000008
このような構成とすることで、過去のデータを使った平均からのずれを揺らぎとして具体的に計算することできるようになる。
【００６２】
さらに、温度決定部４２が、データの持つ揺らぎを計算する際、（ｎ−１）個のデータから計算される確率関数を、n個のデータから計算される確率関数に置き換えることによって計算される揺らぎと正準分布とを用いて再帰的計算を用いて推定するように構成することも可能である。このように、再帰的に計算することで、計算量は増えることになるが、精度を高めることができる。
【００６３】
［第２の実施の形態について］
第１の実施の形態を、条件付き確率と二変数以上の結合確率の場合にまで容易に拡張することができ、この条件付き確率と二変数以上の結合確率の場合を、第２の実施の形態として以下に説明する。結合確率は、 
Ｐ（Ｘ１，Ｘ２，・・・，Ｘｎ）
＝Ｐ（Ｘｎ｜Ｘｎ−１，・・・，Ｘ２，Ｘ１）・・・Ｐ（Ｘ２｜Ｘ１）Ｐ（Ｘ１）
と、条件付き確率の積に分解して表現し、計算できるので、条件付き確率の場合のみ考えれば良い。
【００６４】
条件付き確率の場合は、変数｛Ｘ｝のある変数の組｛Ｙ，Ｚ｝についての条件付き確率を例とすれば、条件の全ての特定の状態｛Ｙ＝ｙ，Ｚ＝ｚ｝毎に独立に変数｛Ｘ｝の確率を推定することにすぎない。このことから、条件の変数｛Ｙ，Ｚ｝の特定の状態にインデックスを付け、これをｊとすれば、｛Ｙ，Ｚ｝の状態がｊという条件が成り立つデータの数をｎｊとして、その中で変数Ｘの各状態のインデックスをｉとし、Ｘ＝ｉであるデータの頻度をｎｉｊとすれば、最尤推定による条件付き確率関数Ｐハット（Ｘ｜Ｙ，Ｚ）は、式（１）と同様に次式（８）と求められる。
【００６５】
【数８】
0005845630.tif 000009
【００６６】
式（２）も同じく、次式（９）と求められる。
【数９】
0005845630.tif 000010
【００６７】
さらに式（３）は、ｊというインデックス付きで、次式（１０）と求められる。
【数１０】
0005845630.tif 000011
【００６８】
式（４）で、温度βｊを定義する。そして、正規分布の式（５）は、次式（１１）と求められる。
【数１１】
0005845630.tif 000012
【００６９】
または、温度Ｔｊに関しては、ｊについても平均をとり、これをＴとすれば、次式（１２）と表される。
【数１２】
0005845630.tif 000013
このＴから式（４）で計算されるβを、式（１１）でβｊの代わりに用いてもよい。
【００７０】
［第３の実施の形態について］
次に、第３の実施の形態として、Ｇ２統計量を用いた三変数の条件付き独立性検定の場合について説明する。三変数の条件付き独立性検定を行う情報処理装置は、図２に示すような構成とされる。図２に示した情報処理装置１００は、入力部１２１、制御部１２２、記憶部１２３、出力部１２４から構成される。また、制御部１２２は、最尤推定部１４１、温度決定部１４２、確率関数推定部１４３、統計量計算部１４４、閾値決定部１４５、および独立性判定部１４６から構成される。
【００７１】
情報処理装置１００における処理について説明する。記憶部１２３には確率変数｛Ｘ，Ｙ，Ｚ｝が記憶されており、その内部状態がともに３であることも記憶されている。また記憶部１２３には、データベースとして、この変数についての過去の事例が１０個格納されている状態であるとする。
【００７２】
入力部１２１に、｛Ｘ，Ｙ，Ｚ｝の中でＸとＹのＺを条件とする条件付き独立性検定を行うようにとの指令が入力されたとする。ただし、条件付き変数Ｚが、空集合の場合も含み、そのような場合には、ＸとＹの独立性検定となる。Ｇ２統計量をＧ２で表すと、情報理論における相互情報量Ｉ（Ｘ；Ｙ）との関係が、データ数をＮとして次式（１３）の関係となる。
【数１３】
0005845630.tif 000014
【００７３】
ここで、Ｐハットは、最尤推定量を表わす。このＧ２統計量あるいは相互情報量Ｉ（Ｘ；Ｙ）における最尤推定量Ｐハットを、推定される確率関数Ｐで置き換える。推定方法は、例えば、上述した第１または第２の実施の形態と同様の方法を用いることができる。すなわち、統計量計算部１４４は、次式（１４）に基づき統計量を算出する。
【数１４】
0005845630.tif 000015
【００７４】
なお、この式（１４）で表されるＧ２統計量の代わりに次式（１５）で表されるＧ２統計量が用いられるように構成することも可能である。
【数１５】
0005845630.tif 000016
【００７５】
確率関数の推定は、最尤推定部１４１、温度決定部１４２、および確率関数推定部１４３において行われる。この最尤推定部１４１、温度決定部１４２、および確率関数推定部１４３は、それぞれ図１に示した最尤推定部４１、温度決定部４２、および確率関数推定部４３と同じであるため、上記した第１の実施の形態や第２の実施の形態を適用して、確率関数を推定することができる。
【００７６】
そして検定の閾値、例えば５％といった情報が、入力部１２１に入力され、この閾値を基にχ２分布から、このデータ数と自由度におけるＧ２統計量、あるいはχ２統計量の閾値Ｘ２ｔｈが、閾値決定部１４５において計算される。または検定の数値表をデータベースとして記憶部１２３に格納しておき、この数値表が参照され、閾値Ｘ２ｔｈが表現される構成としてもよい。そして独立性判定部１４６において、計算されたＧ２統計量あるいはχ２統計量の閾値Ｘ２ｔｈが用いられ、条件付き独立の仮説が拒絶されるか否かが判定される。その判定結果は、出力部１２４に供給され、図示されていない後段処理に出力される。
【００７７】
第３の実施の形態においては、図２に示したような情報処理装置１００により処理が行われるが、情報処理装置１００の制御部１２２の最尤推定部１４１、温度決定部１４２、および確率関数推定部１４３は、図１に示した情報処理装置１０の制御部１２の最尤推定部４１、温度決定部４２、および確率関数推定部４３と同じ構成である。すなわち、情報処理装置１００においても、確率関数を推定する部分を、第１または第２の実施の形態と同じ構成とすることが可能であり、第１または第２の実施の形態として説明した確率関数の推定を第３の実施の形態に対しても適用できる。
【００７８】
このような確率関数の推定を行い、統計的仮説を検定することが、第３の実施の形態を適用することで可能となる。このような検定が行われることで、仮説検定の精度を高めることが可能となる。
【００７９】
第３の実施の形態においては、統計的仮説を検定する情報処理装置１００において、第１の実施の形態や第２の実施の形態として説明した確率関数を推定する情報処理装置１０と同じようにして推定された確率関数から、統計量計算部１４４により相互情報量、Ｇ二乗統計量、あるいは確率関数比を用いた計算を行うようにした。このように構成したことで、Ｇ二乗検定あるいは尤度比検定の精度を高めることができる。
【００８０】
また、推定された確率関数から計算されるカイ二乗統計量を用いた検定を行うように構成することもできる。このような構成とすることで、カイ二乗検定の精度を高めることができる。
【００８１】
［第４の実施の形態について］
次に、第４の実施の形態として、エントロピーを用いたモデル選択について説明する。第４の実施の形態においては、モデル選択の指針として、エントロピーが最小となるモデルを選択するという基準を採用した場合を例に挙げて説明する。
【００８２】
図３に示した情報処理装置２００は、入力部２２１、制御部２２２、記憶部２２３、出力部２２４から構成される。また、制御部２２２は、最尤推定部２４１、温度決定部２４２、確率関数推定部２４３、モデルエントロピー計算部２４４、モデル列挙部２４５、およびモデル比較部２４５から構成される。
【００８３】
情報処理装置２００における処理について説明する。記憶部２２３には確率変数｛Ｘ，Ｙ，Ｚ｝が記憶されており、その内部状態がともに３であることも記憶されている。また記憶部２２３には、データベースとして、この変数についての過去の事例が１０個格納されている状態であるとする。
【００８４】
入力部２２１に、｛Ｘ，Ｙ，Ｚ｝からなる確率分布表現での最適モデル選択の指令が入ったとする。同時確率分布の表現としては、全て独立な分布、すなわち、
Ｐ（Ｘ，Ｙ，Ｚ）＝Ｐ（Ｘ）Ｐ（Ｙ）Ｐ（Ｚ）
や、一部を独立とみなすような分布、例えば、
Ｐ（Ｘ，Ｙ，Ｚ）＝Ｐ（Ｘ）Ｐ（Ｙ｜Ｘ）Ｐ（Ｚ｜Ｘ）
などの複数のモデルが考えられる。
【００８５】
制御部２２２において、モデル列挙部２４５から、処理対象とされる所定のモデルが選択され、最尤推定部２４１に供給される。このモデル列挙部２４５からのモデルに対して、最尤推定部２４１、温度決定部２４２、および確率関数指定部２４３における各部の処理で、確率分布が計算され、全ての確率関数が推定される。
【００８６】
最尤推定部２４１、温度決定部２４２、および確率関数指定部２４３は、図１に示した情報処理装置１０の最尤推定部４１、温度決定部４２、および確率関数推定部４３と同じ構成であるため、第１または第２の実施の形態として説明した確率関数の推定を第４の実施の形態に対しても適用できる。
【００８７】
そして、推定された確率関数に基づいて、モデルエントロピー計算部２４４により、例えば、所定のモデルのエントロピーが計算される。所定のモデルが、
Ｐ（Ｘ，Ｙ，Ｚ）＝Ｐ（Ｘ）Ｐ（Ｙ｜Ｘ）Ｐ（Ｚ｜Ｘ）
であった場合、このモデルのエントロピーは、次式（１６）となる。
【数１６】
0005845630.tif 000017
【００８８】
このようにして算出されたモデルのエントロピーは、モデル比較部２４６に格納される。全てのモデルのエントロピーが格納された時点で、モデル比較部２４６は、最もエントロピーの小さいモデルを選択し、その選択結果を、出力部２２４に出力する。このように、確率関数を推定し、その推定した確率関数を用いてモデルを選択することで、モデル選択の精度を高めることができる。
【００８９】
第４の実施の形態においては、モデルを選択する情報処理装置２００において、第１の実施の形態や第２の実施の形態として説明した確率関数を推定する情報処理装置１０と同じようにして推定される確率関数から計算されるエントロピーの最も小さいモデルを選択する構成とすることができる。このような構成とすることで、エントロピーを基準とするモデル選択の精度を高めることができる。
【００９０】
第３の実施の形態における統計的仮説検定を行う情報処理装置、あるいは第４の実施の形態における統計的モデルの選択を行う情報処理装置のうちの、少なくとも一つを用いることで、多変量確率関数の推定を行う情報処理装置を構成することができる。このような情報処理装置によれば、多変量確率関数の推定精度を高めることができる。
【００９１】
また、多変量確率関数の推定を行う情報処理装置は、統計的因果を発見する因果発見装置であるようにすることもできる。このように構成することで、因果発見の精度を高めることができる。
【００９２】
また、多変量確率関数の推定を行う情報処理装置を、分類器として構成することも可能である。このように構成することで、分類器の精度を高めることができる。
【００９３】
また、多変量確率関数の推定を行う情報処理装置における多変量確率関数は、ベイジアンネットワーク、因果ベイジアンネットワーク、マルコフネットワーク、マルコフロジックネットワークのいずれかであるようにすることもできる。このように構成することで、上述したモデルの推定精度を高めることができる。
【００９４】
［第５の実施の形態について］
以下に、第１乃至第４の実施の形態のいずれかの実施の形態を適用した具体例をさらに説明する。まず第５の実施の形態として、推定される確率関数を推薦システムに適用した場合について説明する。
【００９５】
推薦システムとしては、書籍、音楽、映画などを、ユーザに推薦する例が挙げられる。一般に推薦システムでは、ユーザに、そのユーザの嗜好に合った何らかの商品やサービスを推薦するが、この推薦のときに、推薦のレーティングも表示あるいは教示されることがある。この表示や教示はその商品あるいはサービスを過去に利用した別のユーザによってフィードバックされた情報が使われることがある。このようなユーザからのフィードバックとして、５つ星を最高、１つ星を最低として星の数を評価の指標としてフィードバックしてもらうシステムの例を考える。
【００９６】
この場合、ユーザに推薦される商品あるいはサービスの推薦のレーティングは、別のユーザからフィードバックされた評価指標の期待値であることがある。例えば、１００人からのフィードバックの期待値として４つ星が表示されたり、２人からのフィードバックの期待値として４つ星が表示されたりする。この両者の場合、前者の１００人からのフィードバックの方が、２人からのフォードバックよりも、同じ４つ星であっても情報の信頼性は高いと考えられる。
【００９７】
しかしながら、通常の期待値では、この違いが表現できない。分散値を表示しても差が出ないことが有りえる。しかしながら、上記したように、温度という概念を導入した確率関数の推定を適用すれば、前者（１００人からのフィードバック）の期待値の揺らぎは小さくなり（温度は低くなり）、後者（２人からのフィードバック）の期待値の揺らぎは大きくなる（温度は高くなる）。
【００９８】
このような温度の差により、推定される確率関数のバイアスは、温度の高い後者では補正されるため、星の数が４より小さくなり、その度合いは前者より後者の方が大きくなる。また揺らぎの大きさも表示すれば、ユーザは、データの少なさによる過大あるいは過小な評価の可能性が自動で補正されたレーティングを得ることができる。またユーザは、情報の持つ信頼性も知ることができる。これにより、ユーザは、よりフィードバックされた情報を、正確に把握し、自身の判断材料に役立てることができる。本技術によれば、このような判断材料を、適切な情報として提供することが可能となる。
【００９９】
［第６の実施の形態について］
次に、第６の実施の形態として、推定される確率関数を用いて病気と症状の因果関係を発見するシステムについて説明する。ここでは、確率変数として{結核(T)、肺がん(L)、気管支炎(B)、胸部X線結果(X)、呼吸困難(D)、喫煙状況(S)}が用意されているとする。()内のアルファベットを略字として以下に使用する。
【０１００】
こうした変数間の因果関係をデータから推定し、さらに条件付き確率関数として定量化する。因果関係の推定に、条件付き独立性の検定が有効であることが知られており、ここではこの検定を用いて推定する。検定の統計量としては第３の実施の形態で例として挙げたＧ２統計量を用いることができる。条件変数のセットが大きくなると推定の精度が落ちることから、条件変数のセットの大きさを昇順にして評価する。この方法としてPCアルゴリズムと呼ばれる技術を適用できる。
【０１０１】
帰無仮説として独立性を対立仮説として依存性が設定され、変数のセット、データセット、そして検定の閾値が入力とされる。全ての変数の組には依存性があるとし、独立性が棄却されなかった場合に、この組から除外される。まず条件変数のセットが、空集合の場合が調べられる。すなわち全ての変数の組｛Ｘ、Ｙ｝について、式（１３）におけるＧ２＝２ＮＩ（Ｘ；Ｙ）の計算が実行される。この検定により独立の仮説が棄却されなければ、変数ＸとＹの間に依存性がないとして依存性を示す組から除外される。棄却された場合は、除外されない。
【０１０２】
次に条件セットの組が一つの場合（この条件を変数Ｚとする）におけるＧ２＝２ＮＩ（Ｘ；Ｙ｜Ｚ）が計算され、同様に棄却された場合には依存性を示す組から除外される。条件セットの組が二つの場合（この条件を変数の組｛Ｚ，Ｗ｝とする）、Ｇ２＝２ＮＩ（Ｘ；Ｙ｜｛Ｚ，Ｗ｝）が計算され、同様に検定が行なわれる。このような処理が繰り返されることによって、最終的に全ての条件セットに対して独立性が棄却された組のセットが依存性を示す組として残る。これらの組には｛Ｘ−Ｙ｝のように、向きのない線が与えられる。
【０１０３】
次にオリエンテーション・ルールと呼ばれる技術を適用し、向きのない線を、可能な限り｛Ｘ→Ｙ｝のように向きのある線に変更するための処理が行われる。この処理が繰り返されることにより最終的に、変数が頂点とされ、向きのある線と向きのない線がリンクとされるネットワークが形成される。このネットワークが、因果ネットワークとして出力される。例えば、｛Ｓ−Ｃ｝，｛Ｓ−Ｂ｝，｛Ｃ→Ｄ｝，｛Ｂ→Ｄ｝，｛Ｃ→Ｘ｝，｛Ｔ→Ｘ｝といった因果ネットワークが作成され、出力される。
【０１０４】
さらにこれらの関係を確率的関係として表現することが可能である。上記のネットワークで向きのない線は統計的識別不可能な因果なので、ユーザが、変数に関する背景知識を使って指定することができる。例えば、｛Ｓ−Ｃ｝を、ユーザが｛Ｓ→Ｃ｝と指定する、または｛Ｃ→Ｓ｝と指定することにより、｛Ｓ−Ｃ｝の因果が特定されるようにすることができる。こうして全ての線が向きのある線に変更されると、全ての関係がベイジアンネットワークとして表現される。
【０１０５】
ここまでの処理を用いることで、変数毎に親と呼ばれる変数の組を決定することができる。例えば、変数Ｄに対しては｛Ｂ，Ｃ｝が親と呼ばれる変数の組となり、変数Ｘに対しては｛Ｃ，Ｔ｝が親と呼ばれる変数の組となる。全ての変数に対して親を条件とする条件付き確率関数が推定される。親がなければ一般の確率関数となる。これら全ての確率関数はデータセットから、第１の実施の形態や第２の実施の形態と同じく推定される。こうして全ての（条件付き）確率関数が推定され、ネットワークの構造と共に出力される。
【０１０６】
［第７の実施の形態について］
次に、第６の実施の形態として、推定される確率関数を用いた応用として文書分類システムについて説明する。本システムは教師あり学習システムと呼ばれる。そのため学習部と推定部にシステムが分けられる。そのようなシステムの学習部に本技術を適用することができる。
【０１０７】
学習部は、入力としてテキスト文書とそのカテゴリー分類結果のｍ個のセットが入力される。入力されたテキスト文書は、形態素解析などによって単語に分割される。この単語が、分類器の確率変数として記憶される。この単語の確率変数について、各文書に生起したか否かの状態数２を持つとする。あるいは予め何回生起したかによるカテゴリーが作成されるようにしてもよい。ここでは前者を仮定する。
【０１０８】
すると文書分類カテゴリーも確率変数として、これと各単語との確率変数の依存関係を調べることができる。ここで両者の依存関係が弱い単語については相互情報量などの利用により調べ、予め変数としては削除しておくことができる。各単語間の相関関係もあるのでこの関係をベイジアンネットワークで表現することにより、精度の高い文書分類器を生成することができる。ベイジアンネットワークのネットワーク構造を学習は統計的なモデル選択を使って実施することができる。第４の実施の形態で説明したエントロピー最小化モデル選択によってこの学習を実行することができる。
【０１０９】
入力としては、Ｎ個の単語からなる確率変数の組、それらの状態数２、および各変数の各文書の生起の状態に関するｍ個のデータセットである。第４の実施の形態で示したようにモデル毎のエントロピーが計算されることで、エントロピー最小となるネットワーク構造を推定することができる。
【０１１０】
全ての組合せが多すぎる場合には、予め変数を減らしておく、あるいは貪欲アルゴリズムと呼ばれる方法や依存の複雑さを予め制限する、などの方法を併用すればよい。このような処理が行われることで、出力は最適なネットワーク構造とすることが可能となる。この出力は、変数をＸとして、Ｘとその条件となる変数セット（ここでは３変数｛Ｙ，Ｚ，Ｗ｝を例とする）との組になる。これを｛Ｘ｜Ｙ，Ｚ，Ｗ｝と表す。
【０１１１】
次に学習部は、設定されたネットワーク構造での全ての条件付き確率を計算する。入力としては全ての単語の変数Ｘに対して、ネットワークによって定まった条件セットの組｛Ｙ，Ｚ，Ｗ｝に文書分類変数ＸＣも加えた組｛Ｙ，Ｚ，Ｗ，ＸＣ｝がデータセットとともに与えられる。これをCondition（Ｘ）と表す。この第７の実施の形態においても、第１または第２の実施の形態に従って、条件付き確率関数Ｐ（Ｘ｜Condition（Ｘ））を推定することができる。
【０１１２】
出力としては全ての単語変数の条件付き確率関数となる。各単語変数Ｘiに対する条件付き確率関数Ｐ（Ｘ｜Condition（Ｘｉ））と、文書分類変数の確率関数Ｐ（ＸＣ）が計算される。これで学習部での学習が終了し、それぞれの出力が記憶部に格納される。
【０１１３】
推定部では、新たに分類したいテキスト文書データが入力として与えられる。このテキスト文書は、形態素解析によって単語に分割される。記憶部に記憶されている全ての単語確率変数の条件付き確率関数が参照され、新たなテキスト文書中の単語の生起情報から該当する条件付き確率関数の値が抽出される。これらを条件付き確率値と呼ぶと、これらの条件付き確率値によって入力された文書が、どのカテゴリーに分類されるかの条件付き確率関数が、次式（１７）によって計算される。
【０１１４】
【数１７】
0005845630.tif 000018
【０１１５】
式（１７）における｛ｅ｝は、単語変数には全て状態が定まっているので、それらの組を表している。また右辺のＸｉ＝ｅｉは、変数単語Ｘｉの状態がｅｉであること、
【数１８】
0005845630.tif 000019
は、文書分類変数を除いたCondition（Ｘ）の変数の組の状態が｛Ｅ｝であることを、それぞれ示している。この結果、最も確率値の高いカテゴリーに、文書が入力されればよい。従って、最も確率値の高いカテゴリーが出力として提示される。
【０１１６】
このように、本技術は、確率関数を用いて処理を行う装置に対して適用することができ、ここでの例示は一例であり、限定を示すものではない。
【０１１７】
本技術によれば、データ数に依存したバイアスを自動補正された確率関数の推定が可能となる。また、データセットごとにユーザが調整するパラメータがないので、少数データでの精度と低い計算コストを両立させることができる。
【０１１８】
［記録媒体について］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１１９】
図４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２、ＲＡＭ（Random Access Memory）１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、及びドライブ１０１０が接続されている。
【０１２０】
入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
【０１２１】
以上のように構成されるコンピュータでは、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、ＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。
【０１２２】
コンピュータ（ＣＰＵ１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１２３】
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ＲＯＭ１００２や記憶部１００８に、あらかじめインストールしておくことができる。
【０１２４】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１２５】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１２６】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１２９】
１０  情報処理装置，  ２１  入力部，  ２２  制御部，  ２３  記憶部，  ２４  出力部，  ４１  最尤推定部，  ４２  温度決定部，  ４３  確率関数推定部，  １００  情報処理装置，  １２１  入力部，  １２２  制御部，  １２３  記憶部，  １２４  出力部，  １４１  最尤推定部，  １４２  温度決定部，  １４３  確率関数推定部，  １４４  統計量計算部，  １４５  閾値決定部，  １４６  独立性判定部，  ２００  情報処理装置，  ２２１  入力部，  ２２２  制御部，  ２２３  記憶部，  ２２４  出力部，  ２４１  最尤推定部，  ２４２  温度決定部，  ２４３  確率関数推定部，  ２４４  モデルエントロピー計算部，  ２４５  モデル列挙部，  １４６  モデル比較部
【図１】
0005845630.tif 000020
【図２】
0005845630.tif 000021
【図３】
0005845630.tif 000022
【図４】
0005845630.tif 000023