(57)【特許請求の範囲】
【請求項１】
複数の個体ｕで観測された、前記個体ｕが生成したＮｕ個の連続値データからなる連続値データの集合を入力とし、連続値の確率密度を表すＫ個のヒストグラムのうち、ｋ番目のヒストグラムを、トピックｋとして、前記連続値データの集合に含まれる各連続値データについて、各トピックｋに対するヒストグラムの、前記トピックｋ毎に定められた分割数及びビン幅を用いて表される、前記連続値データがトピックｋのヒストグラムから生成されたものであることを示す、前記連続値データが所属するトピックｋの事後確率に従って、前記連続値データが所属するトピックｋを推定し、
各連続値データについての前記トピックｋの推定結果に基づいて、各個体ｕの各トピックｋに対する重みの分布を表すハイパーパラメータと、各トピックｋに対するヒストグラムを特徴付ける形状パラメータの分布を表すハイパーパラメータとを推定するトピック推定部と、
前記トピック推定部によって推定された、前記重みの分布を表すハイパーパラメータ、前記形状パラメータの分布を表すハイパーパラメータ、及び各連続値データについての前記トピックｋの推定結果に基づく、前記形状パラメータの事後確率、及び前記重みの事後確率に従って、各トピックｋに対する前記形状パラメータ、及び各個体ｕの各トピックｋに対する重みを推定し、各個体ｕについて、前記推定された各トピックｋに対する前記形状パラメータに基づく各トピックｋに対するヒストグラムの、前記推定された個体ｕの各トピックｋに対する重みを用いた線形和で表される、前記個体ｕが生成する連続値データの確率密度関数を出力する個体確率密度関数推定部と、
を含む確率密度関数推定装置。
【請求項２】
複数の個体ｕで観測された、前記個体ｕが生成したＮｕ個の連続値データからなる連続値データの集合を入力とし、連続値の確率密度を表すＫ個のヒストグラムのうち、ｋ番目のヒストグラムを、トピックｋとして、前記連続値データの集合に含まれる各連続値データについて、各トピックｋに対するヒストグラムの、前記トピックｋ毎の分割数及びビン幅を用いて表される、前記連続値データがトピックｋのヒストグラムから生成されたものであることを示す、前記連続値データが所属するトピックｋの事後確率に従って、前記連続値データが所属するトピックｋを推定し、
各トピックｋについて、各連続値データについての前記トピックｋの推定結果と、前記トピックｋに対するヒストグラムのビン幅とを用いて表される、前記トピックｋに対するヒストグラムの分割数の事後確率に従って、前記トピックｋに対するヒストグラムの分割数を推定し、
各連続値データについての前記トピックｋの推定結果と、各トピックｋに対するヒストグラムの分割数とを用いて表される、各トピックｋに対するヒストグラムのビン幅の事後確率に従って、各トピックｋに対するヒストグラムのビン幅を推定し、
各連続値データについての前記トピックｋの推定結果に基づいて、各個体ｕの各トピックｋに対する重みの分布を表すハイパーパラメータと、各トピックｋに対するヒストグラムを特徴付ける形状パラメータの分布を表すハイパーパラメータとを推定する分割数ビン幅トピック推定部と、
前記分割数ビン幅トピック推定部によって推定された、前記重みの分布を表すハイパーパラメータ、前記形状パラメータの分布を表すハイパーパラメータ、及び各連続値データについての前記トピックｋの推定結果に基づく、前記形状パラメータの事後確率、及び前記重みの事後確率に従って、各トピックｋに対する前記形状パラメータ、及び各個体ｕの各トピックｋに対する重みを推定し、前記推定された各トピックｋに対する前記形状パラメータ、前記分割数、及び前記ビン幅に基づく各トピックｋに対するヒストグラムの、前記推定された個体ｕの各トピックｋに対する重みを用いた線形和で表される、前記個体ｕが生成する連続値データの確率密度関数を出力する個体確率密度関数推定部と、
を含む確率密度関数推定装置。
【請求項３】
予測対象の個体が生成する連続値データを予測する連続値予測装置であって、
請求項１又は２記載の確率密度関数推定装置と、
前記確率密度関数推定装置によって推定された、前記予測対象の個体が生成する連続値データの確率密度関数に従って、前記予測対象の個体が生成する連続値データを予測する連続値予測部
を含む連続値予測装置。
【請求項４】
トピック推定部が、複数の個体ｕで観測された、前記個体ｕが生成したＮｕ個の連続値データからなる連続値データの集合を入力とし、連続値の確率密度を表すＫ個のヒストグラムのうち、ｋ番目のヒストグラムを、トピックｋとして、前記連続値データの集合に含まれる各連続値データについて、各トピックｋに対するヒストグラムの、前記トピックｋ毎に定められた分割数及びビン幅を用いて表される、前記連続値データがトピックｋのヒストグラムから生成されたものであることを示す、前記連続値データが所属するトピックｋの事後確率に従って、前記連続値データが所属するトピックｋを推定し、
各連続値データについての前記トピックｋの推定結果に基づいて、各個体ｕの各トピックｋに対する重みの分布を表すハイパーパラメータと、各トピックｋに対するヒストグラムを特徴付ける形状パラメータの分布を表すハイパーパラメータとを推定し、
個体確率密度関数推定部が、前記トピック推定部によって推定された、前記重みの分布を表すハイパーパラメータ、前記形状パラメータの分布を表すハイパーパラメータ、及び各連続値データについての前記トピックｋの推定結果に基づく、前記形状パラメータの事後確率、及び前記重みの事後確率に従って、各トピックｋに対する前記形状パラメータ、及び各個体ｕの各トピックｋに対する重みを推定し、各個体ｕについて、前記推定された各トピックｋに対する前記形状パラメータに基づく各トピックｋに対するヒストグラムの、前記推定された個体ｕの各トピックｋに対する重みを用いた線形和で表される、前記個体ｕが生成する連続値データの確率密度関数を出力する
確率密度関数推定方法。
【請求項５】
分割数ビン幅トピック推定部が、複数の個体ｕで観測された、前記個体ｕが生成したＮｕ個の連続値データからなる連続値データの集合を入力とし、連続値の確率密度を表すＫ個のヒストグラムのうち、ｋ番目のヒストグラムを、トピックｋとして、前記連続値データの集合に含まれる各連続値データについて、各トピックｋに対するヒストグラムの、前記トピックｋ毎の分割数及びビン幅を用いて表される、前記連続値データがトピックｋのヒストグラムから生成されたものであることを示す、前記連続値データが所属するトピックｋの事後確率に従って、前記連続値データが所属するトピックｋを推定し、
各トピックｋについて、各連続値データについての前記トピックｋの推定結果と、前記トピックｋに対するヒストグラムのビン幅とを用いて表される、前記トピックｋに対するヒストグラムの分割数の事後確率に従って、前記トピックｋに対するヒストグラムの分割数を推定し、
各連続値データについての前記トピックｋの推定結果と、各トピックｋに対するヒストグラムの分割数とを用いて表される、各トピックｋに対するヒストグラムのビン幅の事後確率に従って、各トピックｋに対するヒストグラムのビン幅を推定し、
各連続値データについての前記トピックｋの推定結果に基づいて、各個体ｕの各トピックｋに対する重みの分布を表すハイパーパラメータと、各トピックｋに対するヒストグラムを特徴付ける形状パラメータの分布を表すハイパーパラメータとを推定し、
個体確率密度関数推定部が、前記分割数ビン幅トピック推定部によって推定された、前記重みの分布を表すハイパーパラメータ、前記形状パラメータの分布を表すハイパーパラメータ、及び各連続値データについての前記トピックｋの推定結果に基づく、前記形状パラメータの事後確率、及び前記重みの事後確率に従って、各トピックｋに対する前記形状パラメータ、及び各個体ｕの各トピックｋに対する重みを推定し、前記推定された各トピックｋに対する前記形状パラメータ、前記分割数、及び前記ビン幅に基づく各トピックｋに対するヒストグラムの、前記推定された個体ｕの各トピックｋに対する重みを用いた線形和で表される、前記個体ｕが生成する連続値データの確率密度関数を出力する
確率密度関数推定方法。
【請求項６】
予測対象の個体が生成する連続値データを予測する連続値予測装置における連続値予測方法であって、
請求項４又は５記載の確率密度関数推定方法を実行し、
連続値予測部が、前記確率密度関数推定方法によって推定された、前記予測対象の個体が生成する連続値データの確率密度関数に従って、前記予測対象の個体が生成する連続値データを予測する
連続値予測方法。
【請求項７】
コンピュータを、請求項１若しくは請求項２に記載の確率密度関数推定装置、又は請求項３に記載の連続値予測装置を構成する各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、確率密度関数推定装置、連続値予測装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
一般に、確率的に振る舞う個体が連続値を生成し、その連続値をデータとして我々が観測する状況を考える。本状況としては、例えば、消費者（=個体）がある金額（=連続値）の購買を行う、消費者（=個体）がある時間間隔（=連続値）で購買を行う、旅行者（=個体）がある時間間隔（=連続値）で次の滞在地に移動する、旅行者（=個体）がある位置座標（=連続値）に滞在する、文書（=個体）の中のある単語がある時刻（=連続値）に出現する、機器（=個体）の故障がある時刻（=連続値）に発生する、など様々なものが挙げられる。
【０００３】
個体が連続値を生成する時に従う確率的な規則、すなわち確率密度関数をデータから推定することができれば、個体が将来に生成する連続値を予測することができる。上記の例では、消費者の将来の購買時刻や旅行者の将来の滞在地を予測できることになる。確率密度関数の推定方法は大きく分けて、パラメトリック密度推定とノンパラメトリック密度推定の二種類が存在する。パラメトリック密度推定とは、確率密度関数を、パラメータを有した分布関数で表現し、データからそのパラメータの値を決める方法である。一方ノンパラメトリック密度推定とは、確率密度関数の形状に強い仮定を置かずにデータから推定する方法である。強い仮定を置かないため、ノンパラメトリック密度推定では正確な推定のためにより多くのデータが必要である。ノンパラメトリック密度推定の代表的なものにヒストグラム法があり、本発明はこのヒストグラム法に関するものである。なお、ヒストグラム法とは、連続値を取る変数の定義域を有限個の区間に分割し、各区間において確率密度関数が一定値を取ると仮定し、その各区間の値を観測データから推定することで確率密度関数を推定する手法である。ヒストグラム法に基づき推定された確率密度関数を特にヒストグラムと呼ぶこととする。個体の確率密度関数をヒストグラムで表現する装置に非特許文献１がある。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】J. Rissanen, "Density estimation by stochastic complexity", IEEE Transactions on Information Theory, Vol. 38, pp.315-323, 1992.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
個体から観測されたデータが十分手に入る場合、密度関数の形状が制限される（自由度が低い）パラメトリック密度推定ではなく、より多様な形状を再現できるヒストグラム法が適している。しかし多くの場合、手に入る個体のデータは少ないため、ヒストグラム法は適用できずパラメトリック密度推定が用いられる。このとき、パラメトリック密度推定において仮定された分布関数の形状が真の形状と異なる場合、正しい確率密度関数を推定することができず、結果予測精度が低くなる。ヒストグラム法とパラメトリック密度推定の長所と短所について表１にまとめる。
【０００６】
【表１】
0006517731.tif 000002
【０００７】
我々は個体に内在する真の確率密度関数を知り得ないため、可能な限りヒストグラム法を使用すべきである。
【０００８】
本発明は、上記事情を鑑みて成されたものであり、個体が生成する連続値データを表す正しい確率密度関数を推定することができる確率密度関数推定装置、方法、及びプログラムを提供することを目的とする。
【０００９】
また、個体が生成する連続値データを精度よく予測することができる連続値予測装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、第１の発明に係る確率密度関数推定装置は、複数の個体で観測された、前記個体が生成した連続値データの集合を入力とし、前記連続値データの集合に含まれる各連続値データについて、連続値の確率密度を表す、各トピックに対するヒストグラムの、前記トピック毎に定められた分割数及びビン幅を用いて表される、前記連続値データが所属するトピックの事後確率に従って、前記連続値データが所属するトピックを推定し、各連続値データについての前記トピックの推定結果に基づいて、各個体の各トピックに対する重みの分布を表すハイパーパラメータと、各トピックに対するヒストグラムを特徴付ける形状パラメータの分布を表すハイパーパラメータとを推定するトピック推定部と、前記トピック推定部によって推定された、前記重みの分布を表すハイパーパラメータ、前記形状パラメータの分布を表すハイパーパラメータ、及び各連続値データについての前記トピックの推定結果に基づく、前記形状パラメータの事後確率、及び前記重みの事後確率に従って、各トピックに対する前記形状パラメータ、及び各個体の各トピックに対する重みを推定し、各個体について、前記推定された各トピックに対する前記形状パラメータに基づく各トピックに対するヒストグラムの、前記推定された個体の各トピックに対する重みを用いた線形和で表される、前記個体が生成する連続値データの確率密度関数を出力する個体確率密度関数推定部と、を含んで構成されている。
【００１１】
また、第２の発明に係る確率密度関数推定方法は、トピック推定部が、複数の個体で観測された、前記個体が生成した連続値データの集合を入力とし、前記連続値データの集合に含まれる各連続値データについて、連続値の確率密度を表す、各トピックに対するヒストグラムの、前記トピック毎に定められた分割数及びビン幅を用いて表される、前記連続値データが所属するトピックの事後確率に従って、前記連続値データが所属するトピックを推定し、各連続値データについての前記トピックの推定結果に基づいて、各個体の各トピックに対する重みの分布を表すハイパーパラメータと、各トピックに対するヒストグラムを特徴付ける形状パラメータの分布を表すハイパーパラメータとを推定し、個体確率密度関数推定部が、前記トピック推定部によって推定された、前記重みの分布を表すハイパーパラメータ、前記形状パラメータの分布を表すハイパーパラメータ、及び各連続値データについての前記トピックの推定結果に基づく、前記形状パラメータの事後確率、及び前記重みの事後確率に従って、各トピックに対する前記形状パラメータ、及び各個体の各トピックに対する重みを推定し、各個体について、前記推定された各トピックに対する前記形状パラメータに基づく各トピックに対するヒストグラムの、前記推定された個体の各トピックに対する重みを用いた線形和で表される、前記個体が生成する連続値データの確率密度関数を出力する。
【００１２】
第３の発明に係る確率密度関数推定装置は、複数の個体で観測された、前記個体が生成した連続値データの集合を入力とし、前記連続値データの集合に含まれる各連続値データについて、連続値の確率密度を表す、各トピックに対するヒストグラムの、前記トピック毎の分割数及びビン幅を用いて表される、前記連続値データが所属するトピックの事後確率に従って、前記連続値データが所属するトピックを推定し、各トピックについて、各連続値データについての前記トピックの推定結果と、前記トピックに対するヒストグラムのビン幅とを用いて表される、前記トピックに対するヒストグラムの分割数の事後確率に従って、前記トピックに対するヒストグラムの分割数を推定し、各連続値データについての前記トピックの推定結果と、各トピックに対するヒストグラムの分割数とを用いて表される、各トピックに対するヒストグラムのビン幅の事後確率に従って、各トピックに対するヒストグラムのビン幅を推定し、各連続値データについての前記トピックの推定結果に基づいて、各個体の各トピックに対する重みの分布を表すハイパーパラメータと、各トピックに対するヒストグラムを特徴付ける形状パラメータの分布を表すハイパーパラメータとを推定する分割数ビン幅トピック推定部と、前記分割数ビン幅トピック推定部によって推定された、前記重みの分布を表すハイパーパラメータ、前記形状パラメータの分布を表すハイパーパラメータ、及び各連続値データについての前記トピックの推定結果に基づく、前記形状パラメータの事後確率、及び前記重みの事後確率に従って、各トピックに対する前記形状パラメータ、及び各個体の各トピックに対する重みを推定し、前記推定された各トピックに対する前記形状パラメータ、前記分割数、及び前記ビン幅に基づく各トピックに対するヒストグラムの、前記推定された個体の各トピックに対する重みを用いた線形和で表される、前記個体が生成する連続値データの確率密度関数を出力する個体確率密度関数推定部と、を含んで構成されている。
【００１３】
また、第４の発明に係る確率密度関数推定方法は、分割数ビン幅トピック推定部が、複数の個体で観測された、前記個体が生成した連続値データの集合を入力とし、前記連続値データの集合に含まれる各連続値データについて、連続値の確率密度を表す、各トピックに対するヒストグラムの、前記トピック毎の分割数及びビン幅を用いて表される、前記連続値データが所属するトピックの事後確率に従って、前記連続値データが所属するトピックを推定し、各トピックについて、各連続値データについての前記トピックの推定結果と、前記トピックに対するヒストグラムのビン幅とを用いて表される、前記トピックに対するヒストグラムの分割数の事後確率に従って、前記トピックに対するヒストグラムの分割数を推定し、各連続値データについての前記トピックの推定結果と、各トピックに対するヒストグラムの分割数とを用いて表される、各トピックに対するヒストグラムのビン幅の事後確率に従って、各トピックに対するヒストグラムのビン幅を推定し、各連続値データについての前記トピックの推定結果に基づいて、各個体の各トピックに対する重みの分布を表すハイパーパラメータと、各トピックに対するヒストグラムを特徴付ける形状パラメータの分布を表すハイパーパラメータとを推定し、個体確率密度関数推定部が、前記分割数ビン幅トピック推定部によって推定された、前記重みの分布を表すハイパーパラメータ、前記形状パラメータの分布を表すハイパーパラメータ、及び各連続値データについての前記トピックの推定結果に基づく、前記形状パラメータの事後確率、及び前記重みの事後確率に従って、各トピックに対する前記形状パラメータ、及び各個体の各トピックに対する重みを推定し、前記推定された各トピックに対する前記形状パラメータ、前記分割数、及び前記ビン幅に基づく各トピックに対するヒストグラムの、前記推定された個体の各トピックに対する重みを用いた線形和で表される、前記個体が生成する連続値データの確率密度関数を出力する。
【００１４】
また、第５の発明に係る連続値予測装置は、予測対象の個体が生成する連続値データを予測する連続値予測装置であって、前記予測対象の個体に対して予め求められた、連続値の確率密度を表す、各トピックに対するヒストグラムを特徴付ける形状パラメータ、各トピックに対する前記ヒストグラムの分割数、各トピックに対する前記ヒストグラムのビン幅に基づく各トピックに対するヒストグラムの、前記個体の各トピックに対する重みを用いた線形和で表される、個体が生成する連続値データの確率密度関数に従って、前記予測対象の個体が生成する連続値データを予測する連続値予測部を含んで構成されている。
【００１５】
第６の発明に係る連続値予測方法は、予測対象の個体が生成する連続値データを予測する連続値予測装置における連続値予測方法であって、連続値予測部が、前記予測対象の個体に対して予め求められた、連続値の確率密度を表す、各トピックに対するヒストグラムを特徴付ける形状パラメータ、各トピックに対する前記ヒストグラムの分割数、各トピックに対する前記ヒストグラムのビン幅に基づく各トピックに対するヒストグラムの、前記個体の各トピックに対する重みを用いた線形和で表される、個体が生成する連続値データの確率密度関数に従って、前記予測対象の個体が生成する連続値データを予測する。
【００１６】
第７の発明に係るプログラムは、コンピュータを、上記確率密度関数推定装置、又は上記連続値予測装置を構成する各部として機能させるためのプログラム。
【発明の効果】
【００１７】
本発明の確率密度関数推定装置、方法、及びプログラムによれば、各トピックに対する前記形状パラメータ、及び各個体の各トピックに対する重みを推定し、各個体について、前記推定された各トピックに対する前記形状パラメータに基づく各トピックに対するヒストグラムの、前記推定された個体の各トピックに対する重みを用いた線形和で表される、前記個体が生成する連続値データの確率密度関数を出力することにより、個体が生成する連続値データを表す正しい確率密度関数を推定することができる、という効果が得られる。
【００１８】
また、本発明の連続値予測装置、方法、及びプログラムによれば、各トピックに対するヒストグラムを特徴付ける形状パラメータ、各トピックに対する前記ヒストグラムの分割数、各トピックに対する前記ヒストグラムのビン幅に基づく各トピックに対するヒストグラムの、前記個体の各トピックに対する重みを用いた線形和で表される、個体が生成する連続値データの確率密度関数に従って、前記予測対象の個体が生成する連続値データを予測することにより、個体が生成する連続値データを精度よく予測することができる、という効果が得られる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の実施の形態に係る確率密度関数推定装置の構成を示すブロック図である。
【図２】本発明の第１、第２の実施の形態に係る連続値予測装置の構成を示すブロック図である。
【図３】本発明の第１の実施の形態に係る確率密度関数推定装置における確率密度関数推定処理ルーチンを示すフローチャートである。
【図４】本発明の第１の実施の形態に係る連続値予測装置における連続値予測処理ルーチンを示すフローチャートである。
【図５】ヒストグラムの一例を示す図である。
【図６】本発明の第２の実施の形態に係る確率密度関数推定装置の構成を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２１】
＜本発明の実施の形態に係る概要＞
まず、本発明の実施の形態における概要を説明する。
【００２２】
多くの場合、個体一つ一つから得られるデータは少ないが、一方で複数の個体からそれぞれ少数のデータを得ることができる。例えばeコマースサイトにおいて、大半の顧客は数回しか購買を行っていないが、登録されている顧客数が極めて多い、という状況である。個体はそれぞれ独自の確率密度関数を有しているが、互いに似た密度関数を有する個体群が存在するはずである。このとき、(i) 全個体の確率密度関数が少数のヒストグラムの線形和で表現される、(ii) 個体ごとの確率密度関数の違いは線形和の重み付けの違いで表現される、の二点を仮定することで、ヒストグラム法の長所である高い自由度を担保しつつ、その弱みであるデータのスパース性を回避することができる、と着想した。個体の確率密度関数をヒストグラムの線形和で表現する装置はすでに存在するが（上記非特許文献1）、それは単一の個体に対してであり、ヒストグラム法の弱点であるデータのスパース性を回避することはできない。
【００２３】
さらに上記に加え、(iii) 可変ビン幅ヒストグラムを構成することを着想した。ヒストグラム法にて決定される区間の幅をビン幅と呼ぶが、ビン幅が等間隔であるという制限が存在する場合、以下に挙げる問題が生じる。
【００２４】
ヒストグラムにおける分割位置、すなわち確率密度関数の不連続点を任意の位置に設定できないため、真の確率密度関数と推定確率密度関数との間にズレが生じる可能性がある。
【００２５】
推定対象の確率密度関数において関数形が局在している領域と広く分布している領域が共存している場合、前者ではビン幅を狭く、後者ではビン幅を広く設定すべきであるが、ビン幅は単一の値しか取れないため全領域で狭いビン幅（あるいは中途半端なビン幅）がデータから決定されてしまう。その結果、確率密度関数の推定精度が悪化する可能性がある。また、必要以上に狭いビン幅が選ばれるということは、定義域を必要以上に多くの区間に分割するということであり、このときヒストグラム法においてデータから推定すべきパラメータ数が多くなり、推定/予測時の計算コストが増大してしまう。
【００２６】
一定でないビン幅をデータから推定するヒストグラム法（以後、可変ビン幅ヒストグラム）の先行技術は存在するが（例えば、非特許文献2）、全個体の確率密度関数を少数のヒストグラムの線形和で表現し、かつ個体ごとの確率密度関数の違いを線形和の重み付けの違いで表現した上で、可変ビン幅ヒストグラムを実現する装置は未だ存在しない。
【００２７】
本発明の実施の形態は上記の点に鑑みてなされたものであり、(i) 全個体の確率密度関数を少数のヒストグラムの線形和で表現する、(ii) 個体ごとの確率密度関数の違いを線形和の重み付けの違いで表現する、(iii) 可変ビン幅ヒストグラムを構成することにより、確率密度関数の推定を高精度かつ個体単位で実現することを可能とする技術を提供することを目的とする。
【００２８】
［非特許文献２］：P. Kontkanen and P. Myllymaki, "MDL Histogram Density Estimation", International Conference on Artificial Intelligence and Statistics, pp.219-226, 2007.
【００２９】
本発明の実施の形態では、各個体の連続値データの集合から確率密度関数を推定する確率密度関数推定装置と、連続値予測装置とに本発明を適用させた場合を例に説明する。具体的には、まず確率密度関数推定装置において、ヒストグラムで表現された個体の確率密度関数が推定される。次に、連続値予測装置においては、推定された個体の確率密度関数に基づき将来観測される連続値が予測される。各装置の詳細を以下で説明する。
【００３０】
［第１の実施の形態］
＜本発明の第１の実施の形態に係る確率密度関数推定装置の構成＞
次に、本発明の第１の実施の形態に係る確率密度関数推定装置の構成について説明する。図１に示すように、本発明の第１の実施の形態に係る確率密度関数推定装置１００は、ＣＰＵと、ＲＡＭと、後述する確率密度関数推定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この確率密度関数推定装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部４０とを備えている。
【００３１】
入力部１０は、複数の個体で観測された、当該個体の連続値データの集合の入力を受け付ける。
【００３２】
連続値データは、解析対象である個体から生成される。また、連続値データは、個体ＩＤ（以下、ｕと表記する）、個体ｕで観測された連続値データの個数（以下、Ｎｕと表記する）、全個体で観測された連続値データの総数（以下、Ｎと表記する）、全個体で観測された連続値データの集合（｛ｔｊ｝≡（ｔ１，ｔ２，…ｔＮ）と表記）、及び各連続値データを生成した個体ＩＤの集合（｛ｕｊ｝≡（ｕ１，ｕ２，…ｕＮ）と表記）を含む。
【００３３】
また、入力部１０は、個体の確率密度関数を表現するためのヒストグラムの個数Ｋ、及び確率密度関数の定義域（連続値が取りうる値の範囲）
0006517731.tif 000003
を入力として受け付ける。ただし以後、Ｋ個のヒストグラムをそれぞれｋ＝１，２，３，…，Ｋで表記し、ｋ番目のヒストグラムをトピックｋと呼ぶこととする。
【００３４】
また、入力部１０は、各トピックの定義域の分割数Ｗk、及び各トピックの各分割区間の幅（＝ビン幅）Δlk（Ｔ1−Ｔ0）を入力として受け付ける（１≦ｋ≦Ｋ、１≦ｌ≦Ｗk）。ただし、Δlkは単位化されたビン幅で、
0006517731.tif 000004
が成り立つ。以後、以下の式に示すように、特にインデックスを付けない場合は各パラメータの集合を表すものとする。
【００３５】
【数１】
0006517731.tif 000005
【００３６】
ここで、本実施の形態で用いる生成モデルの原理について説明する。
【００３７】
まず、以下のような生成モデルに基づき、各個体から連続値データが生成されると仮定する。ｊ番目のデータｔｊを生成した個体ｕｊは、Ｋ個のヒストグラムの線形和で表現される確率密度関数ｐ（ｔ｜φ，Ｗ，Δ）からデータｔｊを生成する。
【００３８】
【数２】
0006517731.tif 000006
・・・（１）
【００３９】
ただし、ｚｊはｊ番目のデータが所属するトピック（１〜Ｋ）を表す潜在変数であり、
0006517731.tif 000007
は個体ｕｊのトピックｋに対する重み、ｐ（ｔｊ｜ｚｊ＝ｋ，φ.k）はヒストグラム
【００４０】
【数３】
0006517731.tif 000008
・・・（２）
【００４１】
で表されるトピックｋの分布、φlkはヒストグラムの形状を決めるパラメータ、ｗjkは
【００４２】
【数４】
0006517731.tif 000009
・・・（３）
【００４３】
を満たす整数ｌ（１＜ｗjk＜Ｗk）である。ヒストグラムによって表現される確率密度関数は、定義域［Ｔ0，Ｔ1］をＷk個の区間に等分割しその各区間ｌ（１〜Ｗk）での確率密度の値を一定値φlkで表現したものであり、ｗjkは連続値データｔjが何番目の区間内に入っているかを示している。
【００４４】
次に、上記式（１）〜（３）の生成モデルに現れる二種類のパラメータ
0006517731.tif 000010
及びφlkに対して、共役な事前分布であるディリクレ分布をそれぞれに仮定する。
【００４５】
【数５】
0006517731.tif 000011
・・・（４）
【００４６】
次に、上記式（１）〜（４）より、データの所属トピックｚ≡（ｚ１，ｚ２，…ｚＮ）及び観測される連続値データｔ≡（ｔ１，ｔ２，…ｔＮ）の同時確率を得る。
【００４７】
【数６】
0006517731.tif 000012
・・・（５）
【００４８】
ただし、Ｎkuは個体ｕのデータのうち所属トピックがｋであるデータの個数、Ｎklは所属トピックがｋである全データの中でヒストグラムのｌ番目の区間に含まれているデータの個数、Ｎkは所属トピックがｋであるデータの総数を表しており、また、モデルを簡潔にするためディリクレ分布のパラメータβの全要素を等しいと置いた（β1＝β2＝…＝β）。
【００４９】
上記（１）〜（５）式によって本実施の形態における生成モデルが計算できる。以上が本実施の形態における生成モデルの原理である。
【００５０】
演算部２０は、連続値データ記憶部２２と、トピック推定部２４と、個体確率密度関数推定部２６とを含んで構成されている。
【００５１】
連続値データ記憶部２２には、入力部１０によって受け付けた連続値データの集合が格納される。
【００５２】
トピック推定部２４は、連続値データ記憶部２２に記憶された連続値データの集合に含まれる各連続値データについて、各トピックに対するヒストグラムの、トピックｋ毎に定められた分割数Ｗk及びビン幅Δlkを用いて表される、連続値データが所属するトピックｚの事後確率ｐ（ｚ｜ｔ，α，β，Ｗ）に従って、連続値データが所属するトピックｋを推定する。また、トピック推定部２４は、各連続値データについてのトピックｋの推定結果に基づいて、各個体ｕの各トピックｋに対する重み
0006517731.tif 000013
の分布を表すハイパーパラメータαと、各トピックに対するヒストグラムを特徴付ける形状パラメータφ.kの分布を表すハイパーパラメータβとを推定する。トピック推定部２４は、上記のトピックの推定及びハイパーパラメータの推定を繰り返し行う。
【００５３】
トピック推定部２４で行われる具体的な計算方法について以下に詳述する。まず、連続値データ毎の所属トピックｚ≡（ｚ１，ｚ２，…ｚＮ）の事後確率ｐ（ｚ｜ｔ，α，β，Ｗ）を計算することで、未知のパラメータα、β、
0006517731.tif 000014
、φをすべて推定することが出来る。事後確率を解析的に扱うのは困難であるので、トピック推定部２４による所属トピックの推定は、上記式（５）の同時確率から得られる、各連続値データｔjが所属するトピックｚjをギブスサンプリングするための公式
【００５４】
【数７】
0006517731.tif 000015
・・・（６）
【００５５】
を用いてｚ≡（ｚ１，ｚ２，…ｚＮ）のＰ回分のサンプル（ｚ（１），ｚ（２），…，ｚ（Ｐ））を生成し、保持しておく。ただし、上記式（６）に現れる−ｊは、総数Ｎの全データ集合からｊ番目のデータを除いた部分集合を表す。実際にはｚのサンプルそのものではなく、その十分統計量である
0006517731.tif 000016
を保持することになる。
【００５６】
また、トピック推定部２４は、Ｐ回分のサンプルを生成するのと同時に、確率的ＥＭ法（例えば、非特許文献３を参照）に基づき、以下の式（７）に従って、未知のハイパーパラメータα，βの値をＰ回更新する。そして、トピック推定部２４は、Ｐ回更新後のハイパーパラメータ値α（Ｐ），β（Ｐ）をそれぞれの推定値とする。
【００５７】
【数８】
0006517731.tif 000017
・・・（７）
【００５８】
具体的な更新式は、以下の（８）式で与えられる。
【００５９】
【数９】
0006517731.tif 000018
・・・（８）
【００６０】
［非特許文献３］：C. Bishop.“Pattern Recognition and Machine Learning”, Springer, New York, 2006.
【００６１】
個体確率密度関数推定部２６は、トピック推定部２４によって推定されたハイパーパラメータα、β、及び各連続値データについてのトピックの推定結果（ｚ（１），ｚ（２），…，ｚ（Ｐ））に基づく、形状パラメータの事後確率、及び重みの事後確率に従って、各トピックｋに対する形状パラメータφlk、及び各個体ｕの各トピックｋに対する重み
0006517731.tif 000019
を推定する。
【００６２】
具体的には、個体確率密度関数推定部２６は、トピック推定部２４によって得られたα、β，十分統計量
0006517731.tif 000020
を用いて、以下の式（９）、（１０）に従って、各トピックｋに対する形状パラメータφlk、及び各個体ｕの各トピックｋに対する重み
0006517731.tif 000021
を推定する。
【００６３】
なお、本実施の形態では、各トピックｋに対する形状パラメータφlk、及び各個体ｕの各トピックｋに対する重み
0006517731.tif 000022
の推定値として、それぞれの事後確率の平均を採用する。
【００６４】
【数１０】
0006517731.tif 000023
・・・（９）
0006517731.tif 000024
・・・（１０）
【００６５】
また、個体確率密度関数推定部２６は、上記式（９）、（１０）で得られた結果を用いて、各個体ｕについて、推定された各トピックに対する形状パラメータφlkに基づく各トピックに対するヒストグラムの、推定された個体の各トピックに対する重みを用いた線形和で表される個体ｕが生成する連続値データの確率密度関数の推定値
0006517731.tif 000025
を、出力部４０より出力する。
【００６６】
【数１１】
0006517731.tif 000026
・・・（１１）
【００６７】
ただし、ヒストグラム
0006517731.tif 000027
は式（２）で定義される。
【００６８】
ここで、個体の確率密度関数は
0006517731.tif 000028
で表現される。個体ｕごとに
0006517731.tif 000029
（１≦ｋ≦Ｋ）が出力され、トピックｋごとに分割数Ｗkと、単位化されたビン幅Δlkと、φlk（１≦ｌ≦Ｗｋ）が出力され、そして共通の定義域としてＴ≡［Ｔ0，Ｔ1］が出力される。出力例を表２に示す。なお、表２では、トピック数Ｋ＝３の場合の例を示している。
【００６９】
【表２】
0006517731.tif 000030
【００７０】
＜本発明の第１の実施の形態に係る連続値予測装置の構成＞
次に、本発明の第１の実施の形態に係る連続値予測装置の構成について説明する。図２に示すように、本発明の第１の実施の形態に係る連続値予測装置２００は、ＣＰＵと、ＲＡＭと、後述する連続値予測処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この連続値予測装置２００は、機能的には図２に示すように入力部５０と、演算部６０と、出力部７０とを備えている。連続値予測装置２００は、予測対象の個体が将来生成する連続値データを予測する。
【００７１】
入力部５０は、予測対象の個体ｕに対して予め確率密度関数推定装置１００によって推定された、各トピックｋに対するヒストグラムを特徴付ける形状パラメータφlk、各トピックに対する重み
0006517731.tif 000031
と、各トピックに対するヒストグラムの分割数Ｗkと、各トピックに対するヒストグラムのビン幅Δlkとを受け付ける。
【００７２】
演算部６０は、連続値予測部６２を含んで構成されている。
【００７３】
連続値予測部６２は、入力部５０により受け付けた、各トピックｋに対するヒストグラムを特徴付ける形状パラメータφlk、各トピックに対する重み
0006517731.tif 000032
、各トピックに対するヒストグラムの分割数Ｗk、各トピックに対するヒストグラムのビン幅Δlkに基づいて、各トピックに対するヒストグラムの、個体ｕの各トピックに対する重み
0006517731.tif 000033
を用いた線形和で表される、上記式（１１）に示す個体ｕjが生成する連続値データの確率密度関数に従って、予測対象の個体ｕが将来生成する連続値データを予測する。
【００７４】
具体的には、連続値予測部６２は、確率密度関数推定装置１００によって出力された予測対象の個体ｕの確率密度関数
0006517731.tif 000034
を用いて、将来生成される連続値データの期待値Ｅ［ｔu］を計算し、連続値データの予測値として出力部７０により出力する。
【００７５】
＜本発明の第１の実施の形態に係る確率密度関数推定装置の作用＞
次に、本発明の第１の実施の形態に係る確率密度関数推定装置１００の作用について説明する。入力部１０において個体の個体ＩＤが付与された連続値データの集合を受け付けると、確率密度関数推定装置１００は、連続値データの集合を、連続値データ記憶部２２に格納する。また、入力部１０において、トピック数Ｋと、連続値の定義域と、トピックｋの各々のヒストグラムの分割数Ｗk及びビン幅Δlkとを受け付けると、確率密度関数推定装置１００は、図３に示す確率密度関数推定処理ルーチンを実行する。
【００７６】
まず、ステップＳ１００では、入力部１０において受け付けた連続値データの集合と、トピック数Ｋと、連続値の定義域と、トピックｋの各々のヒストグラムの分割数Ｗk及びビン幅Δlkとを取得する。
【００７７】
次に、ステップＳ１０２において、トピック推定部２４は、連続値データ記憶部２２に記憶された連続値データの集合に含まれる各連続値データについて、α、βの初期値又は前回のステップＳ１０４で推定されたα、βと、各連続値データについてのトピックｋの初期値又は前回の推定結果から得られる十分統計量Ｎku、Ｎkl、Ｎkとに基づいて、上記式（６）に従って、各連続値データが所属するトピックｋを推定する。また、各連続値データについてのトピックｋの推定結果に基づいて十分統計量Ｎku、Ｎkl、Ｎk、Ｎlを計算する。
【００７８】
ステップＳ１０４において、トピック推定部２４は、上記ステップＳ１０２で得られた各連続値データについてのトピックｋの推定結果から得られる十分統計量Ｎku、Ｎkl、Ｎk、Ｎlに基づいて、各個体ｕの各トピックｋに対する重み
0006517731.tif 000035
の分布を表すハイパーパラメータαと、各トピックに対するヒストグラムを特徴付ける形状パラメータφ.kの分布を表すハイパーパラメータβを、上記式（８）に従って更新する。
【００７９】
ステップＳ１０６において、ステップＳ１０２〜Ｓ１０４の処理が予め定められたＰ回繰り返したかを判定し、Ｐ回繰り返していなければステップＳ１０２へ戻ってステップＳ１０２〜Ｓ１０４の処理を繰り返し、Ｐ回繰り返していればステップＳ１０８へ移行する。
【００８０】
ステップＳ１０８において、個体確率密度関数推定部２６は、上記ステップＳ１０４で更新されたハイパーパラメータα、β、及び繰り返し毎に得られた、上記ステップＳ１０２で計算された各連続値データについてのトピックの計算結果（ｚ（１），ｚ（２），…，ｚ（Ｐ））に対応する十分統計量
0006517731.tif 000036
に基づく、上記式（９）、（１０）に示す、各トピックｋに対する形状パラメータφlkの事後確率の平均、及び各個体ｕの各トピックｋに対する重み
0006517731.tif 000037
の事後確率の平均から、各トピックｋに対する形状パラメータφlk、及び各個体ｕの各トピックｋに対する重み
0006517731.tif 000038
を推定する。
【００８１】
そして、ステップＳ１１０において、推定された各トピックｋに対する形状パラメータφlk、及び各個体ｕの各トピックｋに対する重み
0006517731.tif 000039
を用いた、各個体ｕが生成する連続値データの確率密度関数の推定値
0006517731.tif 000040
を、出力部４０より出力して、確率密度関数推定処理ルーチンを終了する。
【００８２】
＜本発明の第１の実施の形態に係る連続値予測装置の作用＞
次に、本発明の第１の実施の形態に係る連続値予測装置２００の作用について説明する。入力部５０において、予測対象の個体ｕについて確率密度関数推定装置１００により推定された、個体ｕが生成する連続値データの確率密度関数を受け付けると、連続値予測装置２００は、図４に示す予測処理ルーチンを実行する。
【００８３】
ステップＳ２００において、個体ｕが生成する連続値データの確率密度関数を取得する。
【００８４】
ステップＳ２０２において、連続値予測部６２は、入力部５０において受け付けた個体ｕが生成する連続値データの確率密度関数に基づいて、連続値データの期待値を計算し、予測値とする。
【００８５】
そして、ステップＳ２０４において、出力部７０は、上記ステップＳ２０２で得られた連続値データの予測値を結果として出力して、予測処理ルーチンを終了する。
【００８６】
以上説明したように、第１の実施の形態に係る確率密度関数推定装置によれば、各トピックに対する形状パラメータ、及び各個体の各トピックに対する重みを推定し、各個体について、推定された各トピックに対する前記形状パラメータに基づく各トピックに対するヒストグラムの、推定された個体の各トピックに対する重みを用いた線形和で表される、個体が生成する連続値データの確率密度関数を出力することにより、個体が生成する連続値データを表す正しい確率密度関数を推定することができる。
【００８７】
また、第１の実施の形態によれば、全個体の確率密度関数を少数のヒストグラムの線形和で表現し、かつ個体ごとの確率密度関数の違いを線形和の重みで表現し、かつ可変ビン幅ヒストグラムを構成することで、確率密度関数の推定を高精度かつ個体単位で実現することを可能とする。例えば、図５に示すような、可変ビン幅ヒストグラムを用いて、確率密度関数を推定することができる。
【００８８】
また、第１の実施の形態に係る連続値予測装置によれば、各トピックに対するヒストグラムを特徴付ける形状パラメータ、各トピックに対する前記ヒストグラムの分割数、各トピックに対する前記ヒストグラムのビン幅に基づく各トピックに対するヒストグラムの、個体の各トピックに対する重みを用いた線形和で表される、個体が生成する連続値データの確率密度関数に従って、予測対象の個体が生成する連続値データを予測することにより、個体が生成する連続値データを精度よく予測することができる。
【００８９】
［第２の実施の形態］
ついて説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【００９０】
第２の実施の形態では、所属トピックを推定すると同時に、各トピックのヒストグラムの分割数とビン幅を推定している点が、第１の実施の形態と異なっている。
【００９１】
＜本発明の第２の実施の形態に係る確率密度関数推定装置の構成＞
図６に示すように、第２の実施の形態に係る確率密度関数推定装置３００は、入力部１０、演算部３２０、及び出力部４０を備えている。
【００９２】
入力部１０は、複数の個体で観測された、当該個体の連続値データの集合の入力を受け付ける。また、入力部１０は、個体の確率密度関数を表現するためのヒストグラムの個数Ｋ、及び確率密度関数の定義域（連続値が取りうる値の範囲）
0006517731.tif 000041
を入力として受け付ける。
【００９３】
演算部３２０は、連続値データ記憶部２２と、分割数ビン幅トピック推定部３２４と、個体確率密度関数推定部２６とを含んで構成されている。
【００９４】
分割数ビン幅トピック推定部３２４は、第１の実施の形態のトピック推定部２４と同様に、連続値データ記憶部２２に記憶された連続値データの集合に含まれる各連続値データについて、連続値の確率密度を表す、各トピックに対するヒストグラムの、トピックｋ毎に定められた分割数Ｗk及びビン幅Δlkを用いて表される、連続値データが所属するトピックｚの事後確率ｐ（ｚ｜ｔ，α，β，Ｗ，Δ）に従って、連続値データが所属するトピックｋを推定する。
【００９５】
また、分割数ビン幅トピック推定部３２４は、各トピックについて、各連続値データについてのトピックの推定結果と、トピックに対するヒストグラムのビン幅とを用いて表される、トピックに対するヒストグラムの分割数の事後確率ｐ（Ｗ｜ｚ、ｔ、α、β、Ｗ、Δ）に従って、トピックに対するヒストグラムの分割数を推定する。また、分割数ビン幅トピック推定部３２４は、各連続値データについてのトピックの推定結果と、各トピックに対するヒストグラムの分割数とを用いて表される、各トピックに対するヒストグラムのビン幅の事後確率ｐ（Δ｜ｚ、ｔ、α、β、Ｗ、Δ）に従って、各トピックに対するヒストグラムのビン幅を推定する。
【００９６】
また、分割数ビン幅トピック推定部３２４は、第１の実施の形態のトピック推定部２４と同様に、各連続値データについてのトピックｋの推定結果に基づいて、各個体ｕの各トピックｋに対する重み
0006517731.tif 000042
の分布を表すハイパーパラメータαと、各トピックに対するヒストグラムを特徴付ける形状パラメータφ.kの分布を表すハイパーパラメータβとを推定する。トピック推定部２４は、上記のトピックの推定、分割数の推定、ビン幅の推定、及びハイパーパラメータの推定を繰り返し行う。
【００９７】
分割数ビン幅トピック推定部３２４で行われる、具体的な計算方法について以下に詳述する。
【００９８】
まず、第１の実施の形態のトピック推定部２４と同様に、所属トピックのギブスサンプリングを一度実行する。次に、分割数Ｗのサンプリングを得るために、事前分布としてディリクレ分布
【００９９】
【数１２】
0006517731.tif 000043
・・・（１２）
【０１００】
を仮定し、上記式（５）の同時分布をビン幅 Δについて周辺化を行う。γはディリクレ分布のパラメータである。周辺化はBayesian Information Criteria（上記非特許文献3）に基づき近似的に実行される。
【０１０１】
【数１３】
0006517731.tif 000044
・・・（１３）
【０１０２】
ただし、Δ*はビン幅の最大事後確率推定値である。
【０１０３】
【数１４】
0006517731.tif 000045
・・・（１４）
【０１０４】
さらに分割数に関する無情報事前分布として一様分布
【０１０５】
【数１５】
0006517731.tif 000046
・・・（１５）
【０１０６】
を仮定し、分割数Ｗについてのギブスサンプリングの公式
【０１０７】
【数１６】
0006517731.tif 000047
・・・（１６）
【０１０８】
を得る。上記式（１６）に従い分割数Ｗのサンプリングを実行する。その際同時にビン幅は式（１４）により与えられる。経験的に分割数Ｗの分布は鋭いので、最後のサンプリングで得られた分割数
【０１０９】
【数１７】
0006517731.tif 000048
【０１１０】
を推定値とする。未知のハイパーパラメータα、βの更新式は上記式（８）と同様にして以下の（１７）式で与えられる。
【０１１１】
【数１８】
0006517731.tif 000049
0006517731.tif 000050
・・・（１７）
【０１１２】
個体確率密度関数推定部２６は、分割数ビン幅トピック推定部３２４によって得られたα、β、十分統計量
0006517731.tif 000051
、Ｗ、Δを用いて、上記の式（９）、（１０）に従って、各トピックｋに対する形状パラメータφlk、及び各個体ｕの各トピックｋに対する重み
0006517731.tif 000052
を推定する。
【０１１３】
また、個体確率密度関数推定部２６は、上記式（９）、（１０）で得られた結果を用いて、各個体ｕについて、推定された各トピックに対する形状パラメータφlkに基づく各トピックに対するヒストグラムの、推定された個体の各トピックに対する重みを用いた線形和で表される個体ｕが生成する連続値データの確率密度関数の推定値
0006517731.tif 000053
を、出力部４０より出力する。
【０１１４】
なお、第２の実施の形態に係る確率密度関数推定装置３００の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
【０１１５】
＜本発明の第２の実施の形態に係る連続値予測装置の構成＞
第２の実施の形態に係る連続値予測装置は、第１の実施の形態と同様に、予測対象の個体ｕについて確率密度関数推定装置３００により推定された、個体ｕが生成する連続値データの確率密度関数に基づいて、連続値データの期待値を計算し、予測値とする。
【０１１６】
以上説明したように、第２の実施の形態に係る確率密度関数推定装置によれば、各トピックに対するヒストグラムの分割数、及び各トピックに対するヒストグラムのビン幅を推定し、各トピックに対する形状パラメータ、及び各個体の各トピックに対する重みを推定し、各個体について、推定された各トピックに対する形状パラメータ、各トピックに対する分割数、各トピックに対するビン幅に基づく各トピックに対するヒストグラムの、推定された個体の各トピックに対する重みを用いた線形和で表される、個体が生成する連続値データの確率密度関数を出力することにより、個体が生成する連続値データを表す正しい確率密度関数を推定することができる。
【０１１７】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１１８】
例えば、上記実施の形態に係る確率密度関数推定装置１００、３００は、連続値データ記憶部２２を備えている場合について説明したが、例えば連続値データ記憶部２２が確率密度関数推定装置１００、３００の外部装置に設けられ、確率密度関数推定装置１００、３００は、外部装置と通信手段を用いて通信することにより、連続値データ記憶部２２を参照するようにしてもよい。
【０１１９】
また、上記実施の形態では、確率密度関数推定装置１００、３００と連続値予測装置２００とを別々の装置として構成する場合を例に説明したが、確率密度関数推定装置１００、３００と連続値予測装置２００とを１つの装置として構成してもよい。
【０１２０】
また、上述の確率密度関数推定装置及び連続値予測装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【０１２１】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【０１２２】
１０、５０    入力部
２０、６０、３２０   演算部
２２   連続値データ記憶部
２４   トピック推定部
２６   個体確率密度関数推定部
４０、７０    出力部
６２   連続値予測部
１００、３００       確率密度関数推定装置
２００ 連続値予測装置
３２４ 分割数ビン幅トピック推定部
【図１】
0006517731.tif 000054
【図２】
0006517731.tif 000055
【図３】
0006517731.tif 000056
【図４】
0006517731.tif 000057
【図５】
0006517731.tif 000058
【図６】
0006517731.tif 000059