(57)【特許請求の範囲】
【請求項１】
複数の個体で観測された、前記個体の個体ＩＤが付与された連続値データの集合を入力とし、前記連続値データの集合に含まれる各連続値データについて、各個体及び各トピックに対する、前記トピックに所属する前記個体の連続値データの個数、及び各トピックに対応するヒストグラムにおける連続値の各区間に対する、前記トピックに所属する連続値データのうち、前記トピックに対応する前記ヒストグラムの前記区間に含まれる連続値データの個数に基づく、前記連続値データが各トピックに所属する事後確率に従って、前記連続値データが所属するトピックを計算し、
前記トピックの計算結果から得られる、各個体及び各トピックに対する、前記トピックに所属する前記個体の連続値データの個数、及び各トピックに対応するヒストグラムの各区間に対する、前記トピックに対応する前記ヒストグラムの前記区間に含まれる連続値データの個数に基づいて、前記トピックの各々に対応するヒストグラムの各々に対する重みの分布を表すパラメータ、及び前記ヒストグラムの分布を表すパラメータを更新することを繰り返すトピック推定部と、
前記トピック推定部によって更新された前記重みの分布を表すパラメータ、前記ヒストグラムの分布を表すパラメータ、繰り返し毎に得られた、各個体及び各トピックに対する、前記トピックに所属する前記個体の連続値データの個数、及び繰り返し毎に得られた、各トピックに対応するヒストグラムの各区間に対する、前記トピックに対応する前記ヒストグラムの前記区間に含まれる連続値データの個数に基づいて、前記トピックの各々に対応する前記ヒストグラムの各々の各区間の形状、及び各個体における前記トピックの各々に対応する前記ヒストグラムの各々に対する重みを推定し、前記複数の個体の各々に対し、前記個体に対して推定された前記ヒストグラムの各々に対する重みと、前記推定された前記トピックの各々に対応する前記ヒストグラムの各々の各区間の形状とに基づいて、前記トピックの各々に対応する前記ヒストグラムの各々の線形和で表わされる確率密度関数を推定する確率密度関数推定部と、
を含む確率密度関数推定装置。
【請求項２】
前記トピック推定部は、前記連続値データの集合に含まれる各連続値データについて、前記連続値データが各トピックに所属する事後確率に従って、前記連続値データが所属するトピックを計算し、
前記トピックの各々に対応する前記ヒストグラムの各々について、前記トピックの計算結果から得られる、各個体に対する、前記トピックに所属する前記個体の連続値データの個数、及び前記トピックに対応するヒストグラムの各区間に含まれる連続値データの個数に基づく、前記ヒストグラムの分割数の事後確率に従って、前記ヒストグラムの分割数を計算し、
前記トピックの計算結果から得られる、各個体及び各トピックに対する、前記トピックに所属する前記個体の連続値データの個数、及び各トピックに対応するヒストグラムの各区間に対する、前記トピックに対応する前記ヒストグラムの前記区間に含まれる連続値データの個数と、前記トピックの各々に対応するヒストグラムの各々について計算された分割数とに基づいて、前記トピックの各々に対応するヒストグラムの各々に対する重みの分布を表すパラメータ、及び前記ヒストグラムの分布を表すパラメータを更新することを繰り返し、
前記確率密度関数推定部は、前記トピック推定部によって更新された前記重みの分布を表すパラメータ、前記ヒストグラムの分布を表すパラメータ、前記トピックの各々に対応するヒストグラムの各々について計算された分割数、繰り返し毎に得られた、各個体及び各トピックに対する、前記トピックに所属する前記個体の連続値データの個数、及び繰り返し毎に得られた、各トピックに対応するヒストグラムの各区間に対する、前記トピックに対応する前記ヒストグラムの前記区間に含まれる連続値データの個数に基づいて、前記トピックの各々に対応する前記ヒストグラムの各々の各区間の形状、及び各個体における前記トピックの各々に対応する前記ヒストグラムの各々に対する重みを推定する請求項１記載の確率密度関数推定装置。
【請求項３】
予測対象の個体の連続値データを予測する連続値予測装置であって、
前記予測対象の個体に対して、請求項１又は請求項２に記載の前記確率密度関数推定装置によって予め推定された、トピックの各々に対するヒストグラムの各々に対する重みと、前記トピックの各々に対応する前記ヒストグラムの各々における連続値の各区間の形状とに基づく、前記トピックの各々に対応する前記ヒストグラムの各々の線形和で表わされる確率密度関数に基づいて、前記予測対象の個体について将来生成される連続値の期待値を計算する連続値予測部
を含む連続値予測装置。
【請求項４】
トピック推定部が、複数の個体で観測された、前記個体の個体ＩＤが付与された連続値データの集合を入力とし、前記連続値データの集合に含まれる各連続値データについて、各個体及び各トピックに対する、前記トピックに所属する前記個体の連続値データの個数、及び各トピックに対応するヒストグラムにおける連続値の各区間に対する、前記トピックに所属する連続値データのうち、前記トピックに対応する前記ヒストグラムの前記区間に含まれる連続値データの個数に基づく、前記連続値データが各トピックに所属する事後確率に従って、前記連続値データが所属するトピックを計算し、
前記トピックの計算結果から得られる、各個体及び各トピックに対する、前記トピックに所属する前記個体の連続値データの個数、及び各トピックに対応するヒストグラムの各区間に対する、前記トピックに対応する前記ヒストグラムの前記区間に含まれる連続値データの個数に基づいて、前記トピックの各々に対応するヒストグラムの各々に対する重みの分布を表すパラメータ、及び前記ヒストグラムの分布を表すパラメータを更新することを繰り返すステップと、
確率密度関数推定部が、前記トピック推定部によって更新された前記重みの分布を表すパラメータ、前記ヒストグラムの分布を表すパラメータ、繰り返し毎に得られた、各個体及び各トピックに対する、前記トピックに所属する前記個体の連続値データの個数、及び繰り返し毎に得られた、各トピックに対応するヒストグラムの各区間に対する、前記トピックに対応する前記ヒストグラムの前記区間に含まれる連続値データの個数に基づいて、前記トピックの各々に対応する前記ヒストグラムの各々の各区間の形状、及び各個体における前記トピックの各々に対応する前記ヒストグラムの各々に対する重みを推定し、前記複数の個体の各々に対し、前記個体に対して推定された前記ヒストグラムの各々に対する重みと、前記推定された前記トピックの各々に対応する前記ヒストグラムの各々の各区間の形状とに基づいて、前記トピックの各々に対応する前記ヒストグラムの各々の線形和で表わされる確率密度関数を推定するステップと、
を含む確率密度関数推定方法。
【請求項５】
前記トピック推定部が推定及び更新するステップは、前記連続値データの集合に含まれる各連続値データについて、前記連続値データが各トピックに所属する事後確率に従って、前記連続値データが所属するトピックを計算し、
前記トピックの各々に対応する前記ヒストグラムの各々について、前記トピックの計算結果から得られる、各個体に対する、前記トピックに所属する前記個体の連続値データの個数、及び前記トピックに対応するヒストグラムの各区間に含まれる連続値データの個数に基づく、前記ヒストグラムの分割数の事後確率に従って、前記ヒストグラムの分割数を計算し、前記トピックの計算結果から得られる、各個体及び各トピックに対する、前記トピックに所属する前記個体の連続値データの個数、及び各トピックに対応するヒストグラムの各区間に対する、前記トピックに対応する前記ヒストグラムの前記区間に含まれる連続値データの個数と、前記トピックの各々に対応するヒストグラムの各々について計算された分割数とに基づいて、前記トピックの各々に対応するヒストグラムの各々に対する重みの分布を表すパラメータ、及び前記ヒストグラムの分布を表すパラメータを更新することを繰り返し、
前記確率密度関数推定部が推定するステップは、前記トピック推定部によって更新された前記重みの分布を表すパラメータ、前記ヒストグラムの分布を表すパラメータ、前記トピックの各々に対応するヒストグラムの各々について計算された分割数、繰り返し毎に得られた、各個体及び各トピックに対する、前記トピックに所属する前記個体の連続値データの個数、及び繰り返し毎に得られた、各トピックに対応するヒストグラムの各区間に対する、前記トピックに対応する前記ヒストグラムの前記区間に含まれる連続値データの個数に基づいて、前記トピックの各々に対応する前記ヒストグラムの各々の各区間の形状、及び各個体における前記トピックの各々に対応する前記ヒストグラムの各々に対する重みを推定する請求項４記載の確率密度関数推定方法。
【請求項６】
予測対象の個体の連続値データを予測する連続値予測装置における連続値予測方法であって、
連続値予測部が、前記予測対象の個体に対して、請求項４又は請求項５に記載の前記確率密度関数推定方法によって予め推定された、トピックの各々に対するヒストグラムの各々に対する重みと、前記トピックの各々に対応する前記ヒストグラムの各々における連続値の各区間の形状とに基づく、前記トピックの各々に対応する前記ヒストグラムの各々の線形和で表わされる確率密度関数に基づいて、前記予測対象の個体について将来生成される連続値の期待値を計算するステップ
を含む連続値予測方法。
【請求項７】
コンピュータを、請求項１又は２に記載の確率密度関数推定装置を構成する各部として機能させるためのプログラム。
【請求項８】
コンピュータを、請求項３に記載の連続値予測装置を構成する各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、確率密度関数推定装置、連続値予測装置、方法、及びプログラムに係り、特に、個体が生成する連続値を予測するための確率密度関数推定装置、連続値予測装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
一般に、確率的に振る舞う個体が連続値を生成し、その連続値をデータとして我々が観測する状況を考える。本状況としては、例えば、消費者（＝個体）がある金額（＝連続値）の購買を行う、消費者（＝個体）がある時間間隔（＝連続値）で購買を行う、旅行者（＝個体）がある時間間隔（＝連続値）で次の滞在地に移動する、旅行者（＝個体）がある距離（＝連続値）だけ離れた位置に移動する、文書（＝個体）の中のある単語がある時刻（＝連続値）に出現する、機器（＝個体）の故障がある時刻（＝連続値）に発生する、神経細胞（＝個体）がある時間間隔（＝連続値）で神経スパイク信号を発生させる、地震（＝個体）がある時間間隔（＝連続値）で発生する、など様々なものが挙げられる。
【０００３】
個体が連続値を生成する時に従う確率的な規則、すなわち確率密度関数をデータから推定することができれば、個体が将来に生成する連続値を予測することができる。上記の例では、消費者の将来の購買時刻や旅行者の将来の滞在地を予測できることになる。確率密度関数の推定方法は大きく分けて、パラメトリック密度推定とノンパラメトリック密度推定の二種類が存在する。パラメトリック密度推定とは、確率密度関数をパラメータを有した分布関数で表現し、データからそのパラメータの値を決める方法である。一方ノンパラメトリック密度推定とは、確率密度関数の形状に強い仮定を置かずにデータから推定する方法である。ノンパラメトリック密度推定の代表的なものにヒストグラム法があり、本発明はこのヒストグラム法に関するものである。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】J. Rissanen, "Density estimation by stochastic complexity", IEEE Transactions on Information Theory, Vol. 38, pp.315-323, 1992.
【非特許文献２】C. Bishop. “Pattern Recognition and Machine Learning”, Springer, New York, 2006.
【非特許文献３】K. H. Knuth, "Optimal data-based binning for Histograms", arXiv preprint physics/0605197, 2006.
【非特許文献４】L. Davies, U. Gather, D. Nordman, H. Weinert, "A comparison of automatic histogram constructions", ESAIM: Probability and Statistics, Vol. 13, pp.181-196, 2009.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
個体から観測されたデータが十分手に入る場合、確率密度関数の形状が制限される（自由度が低い）パラメトリック密度推定ではなく、より多様な形状を再現できるヒストグラム法が適している。しかし多くの場合、手に入る個体のデータは少ないため、ヒストグラム法は適用できずパラメトリック密度推定が用いられる。このとき、パラメトリック密度推定において仮定された分布関数の形状が真の形状と異なる場合、正しい確率密度関数を推定することができず、結果予測精度が低くなる。ヒストグラム法とパラメトリック密度推定の長所と短所について表１に示す。
【０００６】
【表１】
0006433858.tif 000002
【０００７】
我々は個体に内在する真の確率密度関数を知り得ないため、可能な限りヒストグラム法を使用すべきである。本発明で解決しようとする課題は、個体の少ないデータ（スパースデータ）に対するヒストグラム法の弱さである。
【０００８】
本発明は、上記問題点を解決するために成されたものであり、個体が生成する連続値を精度よく予測するための確率密度関数を推定することができる確率密度関数推定装置、方法、及びプログラムを提供することを目的とする。
【０００９】
また、個体が生成する連続値を精度よく予測することができる連続値予測装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、第１の発明に係る確率密度関数推定装置は、複数の個体で観測された、前記個体の個体ＩＤが付与された連続値データの集合を入力とし、前記連続値データの集合に含まれる各連続値データについて、各個体及び各トピックに対する、前記トピックに所属する前記個体の連続値データの個数、及び各トピックに対応するヒストグラムにおける連続値の各区間に対する、前記トピックに所属する連続値データのうち、前記トピックに対応する前記ヒストグラムの前記区間に含まれる連続値データの個数に基づく、前記連続値データが各トピックに所属する事後確率に従って、前記連続値データが所属するトピックを計算し、前記トピックの計算結果から得られる、各個体及び各トピックに対する、前記トピックに所属する前記個体の連続値データの個数、及び各トピックに対応するヒストグラムの各区間に対する、前記トピックに対応する前記ヒストグラムの前記区間に含まれる連続値データの個数に基づいて、前記トピックの各々に対応するヒストグラムの各々に対する重みの分布を表すパラメータ、及び前記ヒストグラムの分布を表すパラメータを更新することを繰り返すトピック推定部と、前記トピック推定部によって更新された前記重みの分布を表すパラメータ、前記ヒストグラムの分布を表すパラメータ、繰り返し毎に得られた、各個体及び各トピックに対する、前記トピックに所属する前記個体の連続値データの個数、及び繰り返し毎に得られた、各トピックに対応するヒストグラムの各区間に対する、前記トピックに対応する前記ヒストグラムの前記区間に含まれる連続値データの個数に基づいて、前記トピックの各々に対応する前記ヒストグラムの各々の各区間の形状、及び各個体における前記トピックの各々に対応する前記ヒストグラムの各々に対する重みを推定し、前記複数の個体の各々に対し、前記個体に対して推定された前記ヒストグラムの各々に対する重みと、前記推定された前記トピックの各々に対応する前記ヒストグラムの各々の各区間の形状とに基づいて、前記トピックの各々に対応する前記ヒストグラムの各々の線形和で表わされる確率密度関数を推定する確率密度関数推定部と、を含んで構成されている。
【００１１】
また、第１の発明に係る確率密度関数推定装置において、前記トピック推定部は、前記連続値データの集合に含まれる各連続値データについて、前記連続値データが各トピックに所属する事後確率に従って、前記連続値データが所属するトピックを計算し、前記トピックの各々に対応する前記ヒストグラムの各々について、前記トピックの計算結果から得られる、各個体に対する、前記トピックに所属する前記個体の連続値データの個数、及び前記トピックに対応するヒストグラムの各区間に含まれる連続値データの個数に基づく、前記ヒストグラムの分割数の事後確率に従って、前記ヒストグラムの分割数を計算し、前記トピックの計算結果から得られる、各個体及び各トピックに対する、前記トピックに所属する前記個体の連続値データの個数、及び各トピックに対応するヒストグラムの各区間に対する、前記トピックに対応する前記ヒストグラムの前記区間に含まれる連続値データの個数と、前記トピックの各々に対応するヒストグラムの各々について計算された分割数とに基づいて、前記トピックの各々に対応するヒストグラムの各々に対する重みの分布を表すパラメータ、及び前記ヒストグラムの分布を表すパラメータを更新することを繰り返し、前記確率密度関数推定部は、前記トピック推定部によって更新された前記重みの分布を表すパラメータ、前記ヒストグラムの分布を表すパラメータ、前記トピックの各々に対応するヒストグラムの各々について計算された分割数、繰り返し毎に得られた、各個体及び各トピックに対する、前記トピックに所属する前記個体の連続値データの個数、及び繰り返し毎に得られた、各トピックに対応するヒストグラムの各区間に対する、前記トピックに対応する前記ヒストグラムの前記区間に含まれる連続値データの個数に基づいて、前記トピックの各々に対応する前記ヒストグラムの各々の各区間の形状、及び各個体における前記トピックの各々に対応する前記ヒストグラムの各々に対する重みを推定するようにしてもよい。
【００１２】
また、第２の発明に係る連続値予測装置は、予測対象の個体の連続値データを予測する連続値予測装置であって、前記予測対象の個体に対して予め推定された、トピックの各々に対するヒストグラムの各々に対する重みと、前記トピックの各々に対応する前記ヒストグラムの各々における連続値の各区間の形状とに基づく、前記トピックの各々に対応する前記ヒストグラムの各々の線形和で表わされる確率密度関数に基づいて、前記予測対象の個体について将来生成される連続値の期待値を計算する連続値予測部を含んで構成されている。
【００１３】
第３の発明に係る確率密度関数推定方法は、トピック推定部が、複数の個体で観測された、前記個体の個体ＩＤが付与された連続値データの集合を入力とし、前記連続値データの集合に含まれる各連続値データについて、各個体及び各トピックに対する、前記トピックに所属する前記個体の連続値データの個数、及び各トピックに対応するヒストグラムにおける連続値の各区間に対する、前記トピックに所属する連続値データのうち、前記トピックに対応する前記ヒストグラムの前記区間に含まれる連続値データの個数に基づく、前記連続値データが各トピックに所属する事後確率に従って、前記連続値データが所属するトピックを計算し、前記トピックの計算結果から得られる、各個体及び各トピックに対する、前記トピックに所属する前記個体の連続値データの個数、及び各トピックに対応するヒストグラムの各区間に対する、前記トピックに対応する前記ヒストグラムの前記区間に含まれる連続値データの個数に基づいて、前記トピックの各々に対応するヒストグラムの各々に対する重みの分布を表すパラメータ、及び前記ヒストグラムの分布を表すパラメータを更新することを繰り返すステップと、確率密度関数推定部が、前記トピック推定部によって更新された前記重みの分布を表すパラメータ、前記ヒストグラムの分布を表すパラメータ、繰り返し毎に得られた、各個体及び各トピックに対する、前記トピックに所属する前記個体の連続値データの個数、及び繰り返し毎に得られた、各トピックに対応するヒストグラムの各区間に対する、前記トピックに対応する前記ヒストグラムの前記区間に含まれる連続値データの個数に基づいて、前記トピックの各々に対応する前記ヒストグラムの各々の各区間の形状、及び各個体における前記トピックの各々に対応する前記ヒストグラムの各々に対する重みを推定し、前記複数の個体の各々に対し、前記個体に対して推定された前記ヒストグラムの各々に対する重みと、前記推定された前記トピックの各々に対応する前記ヒストグラムの各々の各区間の形状とに基づいて、前記トピックの各々に対応する前記ヒストグラムの各々の線形和で表わされる確率密度関数を推定するステップと、を含んで実行することを特徴とする。
【００１４】
また、第３の発明に係る確率密度関数推定方法において、前記トピック推定部が推定及び更新するステップは、前記連続値データの集合に含まれる各連続値データについて、前記連続値データが各トピックに所属する事後確率に従って、前記連続値データが所属するトピックを計算し、前記トピックの各々に対応する前記ヒストグラムの各々について、前記トピックの計算結果から得られる、各個体に対する、前記トピックに所属する前記個体の連続値データの個数、及び前記トピックに対応するヒストグラムの各区間に含まれる連続値データの個数に基づく、前記ヒストグラムの分割数の事後確率に従って、前記ヒストグラムの分割数を計算し、前記トピックの計算結果から得られる、各個体及び各トピックに対する、前記トピックに所属する前記個体の連続値データの個数、及び各トピックに対応するヒストグラムの各区間に対する、前記トピックに対応する前記ヒストグラムの前記区間に含まれる連続値データの個数と、前記トピックの各々に対応するヒストグラムの各々について計算された分割数とに基づいて、前記トピックの各々に対応するヒストグラムの各々に対する重みの分布を表すパラメータ、及び前記ヒストグラムの分布を表すパラメータを更新することを繰り返し、前記確率密度関数推定部が推定するステップは、前記トピック推定部によって更新された前記重みの分布を表すパラメータ、前記ヒストグラムの分布を表すパラメータ、前記トピックの各々に対応するヒストグラムの各々について計算された分割数、繰り返し毎に得られた、各個体及び各トピックに対する、前記トピックに所属する前記個体の連続値データの個数、及び繰り返し毎に得られた、各トピックに対応するヒストグラムの各区間に対する、前記トピックに対応する前記ヒストグラムの前記区間に含まれる連続値データの個数に基づいて、前記トピックの各々に対応する前記ヒストグラムの各々の各区間の形状、及び各個体における前記トピックの各々に対応する前記ヒストグラムの各々に対する重みを推定するようにしてもよい。
【００１５】
第４の発明に係る連続値予測方法は、予測対象の個体の連続値データを予測する連続値予測装置における連続値予測方法であって、連続値予測部が、前記予測対象の個体に対して予め推定された、トピックの各々に対するヒストグラムの各々に対する重みと、前記トピックの各々に対応する前記ヒストグラムの各々における連続値の各区間の形状とに基づく、前記トピックの各々に対応する前記ヒストグラムの各々の線形和で表わされる確率密度関数に基づいて、前記予測対象の個体について将来生成される連続値の期待値を計算するステップを含んで実行することを特徴とする。
【００１６】
第５の発明に係るプログラムは、コンピュータを、上記第１の発明に係る確率密度関数推定装置を構成する各部として機能させるためのプログラムである。
【００１７】
第６の発明に係るプログラムは、コンピュータを、上記第２の発明に係る連続値予測装置を構成する各部として機能させるためのプログラムである。
【発明の効果】
【００１８】
本発明の確率密度関数推定装置、方法、及びプログラムによれば、事後確率に従って、連続値データが所属するトピックを計算し、トピックの計算結果から得られる、各個体及び各トピックに対する、トピックに所属する個体の連続値データの個数、及び各トピックに対応するヒストグラムの各区間に対する、トピックに対応するヒストグラムの区間に含まれる連続値データの個数に基づいて、重みの分布を表すパラメータ、及びヒストグラムの分布を表すパラメータを更新することを繰り返し、更新された重みの分布を表すパラメータ、ヒストグラムの分布を表すパラメータ、繰り返し毎に得られた、各個体及び各トピックに対する、トピックに所属する個体の連続値データの個数、及び繰り返し毎に得られた、各トピックに対応するヒストグラムの各区間に対する、トピックに対応するヒストグラムの区間に含まれる連続値データの個数に基づいて、トピックの各々に対応するヒストグラムの各々の各区間の形状、及び各個体におけるトピックの各々に対応するヒストグラムの各々に対する重みを推定し、ヒストグラムの各々に対する重みと、ヒストグラムの各々の各区間の形状とに基づいて、確率密度関数を推定することにより、個体が生成する連続値を精度よく予測するための確率密度関数を推定することができる、という効果が得られる。
【００１９】
また、本発明の連続値予測装置、方法、及びプログラムによれば、予測対象の個体に対して予め推定された、トピックの各々に対するヒストグラムの各々に対する重みと、ヒストグラムの各々における連続値の各区間の形状とに基づく、確率密度関数に基づいて、予測対象の個体について将来生成される連続値の期待値を計算することにより、個体が生成する連続値を精度よく予測することができる、という効果が得られる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施の形態に係る確率密度関数推定装置の構成を示すブロック図である。
【図２】本発明の実施の形態に係る連続値予測装置の構成を示すブロック図である。
【図３】本発明の第１の実施の形態に係る確率密度関数推定装置における確率密度関数推定処理ルーチンを示すフローチャートである。
【図４】本発明の第１の実施の形態に係る確率密度関数推定装置における連続値予測処理ルーチンを示すフローチャートである。
【図５】本発明の第２の実施の形態に係る確率密度関数推定装置における確率密度関数推定処理ルーチンを示すフローチャートである。
【発明を実施するための形態】
【００２１】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２２】
＜本発明の実施の形態に係る概要＞
【００２３】
まず、本発明の実施の形態における概要を説明する。
【００２４】
多くの場合、個体一つ一つから得られるデータは少ないが、一方で複数の個体からそれぞれ（少数の）データを得ることができる。例えばｅコマースサイトにおいて、大半の顧客は数回しか購買を行っていないが、登録されている顧客数が極めて多い、という状況である。個体はそれぞれ独自の確率密度関数を有しているが、互いに似た確率密度関数を有する個体群が存在はずである。このとき、（ｉ）全個体の確率密度関数が少数のヒストグラムの線形和で表現される、（ｉｉ）個体ごとの確率密度関数の違いは線形和の重み付けの違いで表現される、の二点を仮定することで、ヒストグラム法の長所である高い自由度を担保しつつ、その弱みであるデータのスパース性を回避することができる、と着想した。個体の確率密度関数をヒストグラムの線形和で表現する装置はすでに存在するが（上記非特許文献１参照）、それは単一の個体に対してであり、ヒストグラム法の弱点であるデータのスパース性を回避することはできないものである。
【００２５】
＜本発明の第１の実施の形態に係る確率密度関数推定装置の構成＞
【００２６】
次に、本発明の第１の実施の形態に係る確率密度関数推定装置の構成について説明する。図１に示すように、本発明の第１の実施の形態に係る確率密度関数推定装置１００は、ＣＰＵと、ＲＡＭと、後述する確率密度関数推定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この確率密度関数推定装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部５０とを備えている。
【００２７】
入力部１０は、解析対象である複数の個体で観測された、個体の個体ＩＤが付与された連続値データの集合を受け付ける。また、個体の確率密度関数を表現するためのヒストグラムの個数Ｋ、及び連続値データの観測期間である確率密度関数の定義域（連続値が取りうる値の範囲）Ｔ≡［Ｔ０，Ｔ１］を受け付ける。ただし以後、Ｋ個のヒストグラムをそれぞれｋ＝１，２，３，・・・，Ｋで表記し、ｋ番目のヒストグラムがトピックｋに対応しているものとする。連続値データは、個体ＩＤ（ｕと表記）、個体ｕで観測された連続値データの個数（Ｎｕと表記）、全個体で観測された連続値データの総数（Ｎと表記）、全個体で観測された連続値データの集合（｛ｔｊ｝≡（ｔ１，ｔ２，・・・，ｔＮ）と表記）、各連続値データを生成した個体ＩＤの集合（｛ｕｊ｝≡（ｕ１，ｕ２，・・・，ｕＮ）と表記）、から構成される。
【００２８】
ここで、本実施の形態で用いる生成モデルの原理について説明する。
【００２９】
ヒストグラムによる確率密度推定では、定義域の分割数を与える必要がある。本実施の形態では、分割数を推定しないため、各トピックの分割数Ｗ≡（Ｗ１、Ｗ２、・・・，ＷＫ）が入力として与えられる。
【００３０】
まず、以下（１）式に示す生成モデルに基づき、各個体から連続値データが生成されると仮定する。ｊ番目の連続値データｔｊを生成した個体ｕｊは、Ｋ個のヒストグラムの線形和で表現される確率密度関数ｐ（ｔ｜φ）から連続値データｔｊを生成する。
【００３１】
【数１】
0006433858.tif 000003
【００３２】
ただし、ｚｊはｊ番目の連続値データが所属するトピック（１〜Ｋ）を表す潜在変数、
【００３３】
【数２】
0006433858.tif 000004
【００３４】
は個体ｕｊのトピックｋに対する重み、ｐ（ｔｊ｜ｚｊ＝ｋ、φ・ｋ）はヒストグラム
【００３５】
【数３】
0006433858.tif 000005
【００３６】
で表されるトピックｋの分布、φｌｋはヒストグラムの区間ｌにおける形状を決めるパラメータ、ｗｊｋは
【００３７】
【数４】
0006433858.tif 000006
【００３８】
で定義される整数（１＜ｗｊｋ＜Ｗｋ）である。
【００３９】
ここで上記（３）式の関数ｉｎｔ［ｘ］は実数値ｘの整数部分を取り出す関数とする。ヒストグラムによる確率密度関数は、連続値データの測定期間の定義域［Ｔ０、Ｔ１］をＷｋ個の区間に等分割しその各区間ｌ（１〜Ｗｋ）での確率密度の値を一定値φｌｋで表現したものであり、ｗｊｋは連続値データｔｊが何番目の区間内に入っているかを示している。
【００４０】
次に、上記（１）式〜（３）式の生成モデルに現れる二種類のパラメータ
【００４１】
【数５】
0006433858.tif 000007
【００４２】
及びφｌｋに対して、共役な事前分布であるディリクレ分布をそれぞれに仮定する。
【００４３】
【数６】
0006433858.tif 000008
【００４４】
上記（１）式〜（４）式より、連続値データの所属トピックｚ≡（ｚ１，ｚ２，・・・，ｚＮ）及び観測ｔ≡（ｔ１，ｔ２，・・・，ｔＮ）の同時確率
【００４５】
【数７】
0006433858.tif 000009
【００４６】
を得る。ただし、Ｎｋｕは個体ｕの連続値データのうち所属トピックがｋである連続値データの個数、Ｎｋｌは所属トピックがｋである全連続値データの中でヒストグラムのｌ番目の区間に含まれている連続値データの個数、Ｎｋは所属トピックがｋである連続値データの総数を表しており、また、モデルを簡潔にするためディリクレ分布のパラメータβの全要素を等しいと置いた（β１＝β２＝・・・＝β）。
【００４７】
上記（１）〜（５）式によって本実施の形態における生成モデルが計算できる。以上が本実施の形態における生成モデルの原理である。
【００４８】
演算部２０は、トピック推定部３０と、確率密度関数推定部３２とを含んで構成されている。
【００４９】
トピック推定部３０は、入力部１０で受け付けた個体ｕの個体ＩＤが付与された連続値データの集合を入力とし、連続値データの集合に含まれる各連続値データについて、各個体ｕ及び各トピックに対する、トピックｋに所属する個体ｕの連続値データの個数Ｎｋｕ、及び各トピックｋに対応するヒストグラムにおける連続値の各区間ｌに対する、トピックｋに所属する連続値データのうち、トピックｋに対応するヒストグラムの区間ｌに含まれる連続値データの個数Ｎｋｌに基づく、連続値データが各トピックに所属する事後確率に従って、連続値データが所属するトピックｋを計算する。また、トピック推定部３０は、トピックｋの計算結果から得られる、各個ｕ体及び各トピックｋに対する、トピックｋに所属する個体ｕの連続値データの個数Ｎｋｕ、及び各トピックｋに対応するヒストグラムの各区間ｌに対する、トピックｋに対応するヒストグラムの区間ｌに含まれる連続値データの個数Ｎｋｌに基づいて、トピックｋの各々に対応するヒストグラムの各々に対する重みの分布を表すパラメータα、及びヒストグラムの分布を表すパラメータβを更新する。トピック推定部３０は、上記のトピックの計算及びパラメータの更新を繰り返し行う。
【００５０】
トピック推定部３０で行われる具体的な計算方法について以下に詳述する。トピック推定部３０及び後述する確率密度関数推定部３２では、所属トピックｚ≡（ｚ１，ｚ２，・・・ｚＮ）の事後確率ｐ（ｚ｜ｔ，α，β，Ｗ）を計算することで、未知のパラメータα、β、θ、及びφをすべて推定することが出来る。
【００５１】
トピック推定部３０は、まず、事後確率を解析的に扱うのは困難であるため、同時確率が上記（５）式から得られる、各連続値データｔｊが所属するトピックｚｊをギブスサンプリングするための公式
【００５２】
【数８】
0006433858.tif 000010
【００５３】
を用いて、パラメータα、パラメータβ、トピックｋに所属する個体ｕの連続値データの個数Ｎｋｕ、トピックｋに対応するヒストグラムの区間ｌに含まれる連続値データの個数Ｎｋｌ、及び所属トピックがｋである連続値データの総数Ｎｋに基づいて、ｚ≡（ｚ１、ｚ２、・・・ｚＮ）のＰ回分のサンプル（ｚ（１），ｚ（２），・・・，ｚ（Ｐ））を生成し、保持しておく。ただし、（６）式に現れる−ｊは、総数Ｎの全連続値データ集合からｊ番目の連続値データを除いた部分集合を表す。実際にはｚのサンプルそのものではなく、その十分統計量である（Ｎｋｕ（１），Ｎｋｕ（２），・・・，Ｎｋｕ（Ｐ））と（Ｎｋｌ（１），Ｎｋｌ（２），・・・，Ｎｋｌ（Ｐ））とを保持することになる。
【００５４】
トピック推定部３０は、Ｐ回分のサンプルを生成するのと同時に、以下（７）式に示す確率的ＥＭ法（上記非特許文献２参照）に基づき未知パラメータα、及びβの値をＰ回更新する。
【００５５】
【数９】
0006433858.tif 000011
【００５６】
トピック推定部３０は、具体的には、パラメータα、パラメータβ、トピックｋに所属する個体ｕの連続値データの個数Ｎｋｕ、トピックｋに対応するヒストグラムの区間ｌに含まれる連続値データの個数Ｎｋｌ、個体ｕの連続値データの総数Ｎu、及び所属トピックがｋである連続値データの総数Ｎｋに基づいて、以下（８）式の更新式に従ってパラメータα、及びβの値をＰ回更新する。
【００５７】
【数１０】
0006433858.tif 000012
【００５８】
そして、トピック推定部３０は、Ｐ回更新後のパラメータ値α（Ｐ）、及びβ（Ｐ）をパラメータα、及びβのそれぞれの推定値とする。なお、更新の度に、Ｎｋｕ（ｐ）、Ｎｋｌ（ｐ）、及びＮｋの値も更新される。
【００５９】
確率密度関数推定部３２は、トピック推定部３０によって更新された重みの分布を表すパラメータα、ヒストグラムの分布を表すパラメータβ、繰り返し毎に得られた、各個体ｕ及び各トピックｋに対する、トピックｋに所属する個体ｕの連続値データの個数Ｎｋｕ、及び繰り返し毎に得られた、各トピックｋに対応するヒストグラムの各区間ｌに対する、トピックｋに対応するヒストグラムの区間ｌに含まれる連続値データの個数Ｎｋｌに基づいて、トピックｋの各々に対応するヒストグラムの各々の各区間ｌの形状~φｌｋ、及び各個体ｕにおけるトピックｋの各々に対応するヒストグラムの各々に対する重み~θｋｕを推定する。そして、確率密度関数推定部３２は、複数の個体ｕの各々に対し、当該個体ｕに対して推定されたヒストグラムの各々に対する重み~θｋｕと、推定されたトピックｋの各々に対応するヒストグラムの各々の各区間ｌの形状~φｌｋとに基づいて、トピックｋの各々に対応するヒストグラムの各々の線形和で表わされる確率密度関数~ｐｕ（ｔ│~φ，~θ・ｕ）を推定する。
【００６０】
確率密度関数推定部３２で行われる具体的な計算について以下に詳述する。確率密度関数推定部３２では、トピック推定部３０による推定で得られたパラメータα、パラメータβ、（Ｎｋｕ（１），Ｎｋｕ（２），・・・，Ｎｋｕ（Ｐ））、及び（Ｎｋｌ（１），Ｎｋｌ（２），・・・，Ｎｋｌ（Ｐ））を用いて、各個体ｕの確率密度関数を推定する。
【００６１】
まず、パラメータβ、トピックｋに対応するヒストグラムの区間ｌに含まれる連続値データの個数Ｎｋｌ、所属トピックがｋである連続値データの総数Ｎｋに基づいて、トピックｋ（１≦ｋ≦Ｋ）のヒストグラムの各区間ｌの形状を表すパラメータφｌｋを事後確率の平均
【００６２】
【数１１】
0006433858.tif 000013
【００６３】
により推定する。次に、パラメータα、トピックｋに対応するヒストグラムの区間ｌに含まれる連続値データの個数Ｎｋｌ、及び個体ｕの連続値データの総数Ｎuに基づいて、各個体ｕにおけるトピックｋの重みθｋｕを事後確率の平均
【００６４】
【数１２】
0006433858.tif 000014
【００６５】
により推定する。最終的に、上記（９）式、及び（１０）式で得られた結果を用いて、各個体ｕの確率密度関数の推定値~ｐｕ（ｔ│~φ，~θ・ｕ）は以下（１１）式に従って計算する。
【００６６】
【数１３】
0006433858.tif 000015
【００６７】
ただし、ヒストグラムｐ（ｔ│ｚｊ＝ｋ，~φｋ，Ｗｋ）は上記（２）式で定義される。
【００６８】
確率密度関数推定部３２において、個体ｕの確率密度関数は~θｋｕ、~φｌｋ、Ｗｋ、及びＴで表現される。そして、確率密度関数推定部３２は、個体ｕごとに~θｋｕ（１≦ｋ≦Ｋ）が、トピックｋごとに、分割数Ｗｋと、~φｌｋ（１≦ｌ≦Ｗｋ）と、共通の定義域であるＴ≡［Ｔ０,Ｔ１］とを出力部５０に出力する。トピック数Ｋ＝３の場合の出力例を表２に示す。
【００６９】
【表２】
0006433858.tif 000016
＜本発明の第１の実施の形態に係る連続値予測装置の構成＞
【００７０】
次に、本発明の第１の実施の形態に係る連続値予測装置の構成について説明する。図２に示すように、本発明の第１の実施の形態に係る連続値予測装置２００は、ＣＰＵと、ＲＡＭと、後述する連続値予測処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この連続値予測装置２００は、機能的には図２に示すように入力部２１０と、演算部２２０と、出力部２５０とを備えている。
【００７１】
入力部２１０は、予測対象の個体ｕに対して予め確率密度関数推定装置１００によって推定された、トピックｋの各々に対するヒストグラムの各々に対する重み~θｋｕと、トピックｋの各々に対応するヒストグラムの各々における連続値の各区間ｌの形状~φｌｋとに基づく、トピックｋの各々に対応するヒストグラムの各々の線形和で表わされる確率密度関数~ｐｕ（ｔ│~φ，~θ・ｕ）を受け付ける。
【００７２】
演算部２２０は、連続値予測部２３０を含んで構成されている。
【００７３】
連続値予測部２３０は、入力部２１０で受け付けた確率密度関数~ｐｕ（ｔ│~φ，~θ・ｕ）に基づいて、以下（１２）式に従って、予測対象の個体ｕについて将来生成される連続値の期待値Ｅ［ｔｕ］を計算し、計算の結果得られた個体ｕについての期待値Ｅ［ｔｕ］を出力部２５０に出力する。
【００７４】
【数１４】
0006433858.tif 000017
【００７５】
ただし、ΔＴ≡Ｔ１−Ｔ０とする。
【００７６】
＜本発明の第１の実施の形態に係る確率密度関数推定装置の作用＞
【００７７】
次に、本発明の第１の実施の形態に係る確率密度関数推定装置１００の作用について説明する。入力部１０において個体の個体ＩＤが付与された連続値データの集合を受け付けると、確率密度関数推定装置１００は、図３に示す確率密度関数推定処理ルーチンを実行する。
【００７８】
まず、ステップＳ１００では、入力部１０において受け付けた連続値データの集合を取得する。
【００７９】
次に、ステップＳ１０２では、ステップＳ１００で取得した連続値データの集合に含まれる各連続値データについて、各個体ｕ及び各トピックに対する、トピックｋに所属する個体ｕの連続値データの個数Ｎｋｕの初期値、及び各トピックｋに対応するヒストグラムにおける連続値の各区間ｌに含まれる連続値データの個数Ｎｋｌの初期値、又は後述するステップ１０４で得られた、各個体ｕ及び各トピックに対する、トピックｋに所属する個体ｕの連続値データの個数Ｎｋｕ、及び各トピックｋに対応するヒストグラムにおける連続値の各区間ｌに含まれる連続値データの個数Ｎｋｌに基づいて、上記（６）式に示す連続値データが各トピックに所属する事後確率に従って、連続値データが所属するトピックｋを計算する。
【００８０】
ステップＳ１０４では、ステップＳ１０２によるトピックｋの計算結果から得られる、各個ｕ体及び各トピックｋに対する、トピックｋに所属する個体ｕの連続値データの個数Ｎｋｕ、及び各トピックｋに対応するヒストグラムの各区間ｌに対する、トピックｋに対応するヒストグラムの区間ｌに含まれる連続値データの個数Ｎｋｌに基づいて、上記（８）式に従って、トピックｋの各々に対応するヒストグラムの各々に対する重みの分布を表すパラメータα、及びヒストグラムの分布を表すパラメータβを更新する。
【００８１】
ステップＳ１０５では、ステップＳ１０２〜Ｓ１０４の処理を予め定められた回数繰り返したかを判定し、予め定められた回数繰り返していなければステップＳ１０２へ戻ってステップＳ１０２〜Ｓ１０４の処理を繰り返し、予め定められた回数繰り返していればステップＳ１０６へ移行する。
【００８２】
ステップＳ１０６では、ステップＳ１０４で更新されたトピックｋの各々に対応するヒストグラムの各々に対する重みの分布を表すパラメータα、及びヒストグラムの分布を表すパラメータβ、繰り返し毎に得られた、トピックｋに所属する個体ｕの連続値データの個数Ｎｋｕ、及び繰り返し毎に得られた、ヒストグラムの区間ｌに含まれる連続値データの個数Ｎｋｌに基づいて、上記（９）式及び（１０）式に従って、トピックｋの各々に対応するヒストグラムの各々の各区間ｌの形状~φｌｋ、及び各個体ｕにおけるトピックｋの各々に対応するヒストグラムの各々に対する重み~θｋｕを推定する。
【００８３】
ステップＳ１０８では、ステップＳ１０６で複数の個体ｕの各々に対し、当該個体ｕに対して推定されたヒストグラムの各々に対する重み~θｋｕと、推定されたトピックｋの各々に対応するヒストグラムの各々の各区間ｌの形状~φｌｋとに基づいて、上記（１１）式に従って、トピックｋの各々に対応するヒストグラムの各々の線形和で表わされる確率密度関数~ｐｕ（ｔ│~φ，~θ・ｕ）を推定し、出力部５０に出力して確率密度関数処理ルーチンを終了する。
【００８４】
以上説明したように、第１の実施の形態に係る確率密度関数推定装置によれば、上記（６）式に示す事後確率に従って、連続値データが所属するトピックｋを計算し、トピックｋの計算結果から得られる、各個体及び各トピックに対する、トピックｋに所属する個体の連続値データの個数、及び各トピックｋに対応するヒストグラムの各区間ｌに対する、トピックに対応するヒストグラムの区間ｌに含まれる連続値データの個数に基づいて、上記（８）式に従って、重みの分布を表すパラメータα、及びヒストグラムの分布を表すパラメータβを更新することを繰り返し、更新された重みの分布を表すパラメータα、ヒストグラムの分布を表すパラメータβ、繰り返し毎に得られた、各個体及び各トピックｋに対する、トピックｋに所属する個体の連続値データの個数Ｎｋｕ、及び繰り返し毎に得られた、各トピックｋに対応するヒストグラムの各区間ｌに対する、トピックｋに対応するヒストグラムの区間ｌに含まれる連続値データの個数Ｎｋｌに基づいて、上記（９）式及び（１０）式に従って、トピックｋの各々に対応するヒストグラムの各々の各区間ｌの形状~φｌｋ、及び各個体におけるトピックｋの各々に対応するヒストグラムの各々に対する重み~θｋｕを推定し、ヒストグラムの各々に対する重み~θｋｕと、ヒストグラムの各々の各区間ｌの形状~φｌｋとに基づいて、上記（１１）式に従って、確率密度関数~ｐｕ（ｔ│~φ，~θ・ｕ）を推定することにより、個体が生成する連続値を精度よく予測するための確率密度関数を推定することができる。
【００８５】
＜本発明の実施の形態に係る連続値予測装置の作用＞
【００８６】
次に、本発明の実施の形態に係る連続値予測装置２００の作用について説明する。入力部２１０において、予測対象の個体ｕについて確率密度関数推定装置１００により推定された確率密度関数を受け付けると、連続値予測装置２００は、図４に示す連続値予測処理ルーチンを実行する。
【００８７】
ステップＳ２００では、入力部２１０において受け付けた確率密度関数に基づいて、上記（１２）式に従って、予測対象の個体ｕについて将来生成される連続値の期待値Ｅ［ｔｕ］を計算する。
【００８８】
そして、ステップＳ２０２では、計算の結果得られた個体ｕについての期待値Ｅ［ｔｕ］を出力部２５０に出力し、連続値予測処理ルーチンを終了する。
【００８９】
以上説明したように、第１の実施の形態に係る予測装置によれば、予測対象の個体に対して予め推定された、トピックの各々に対するヒストグラムの各々に対する重みと、ヒストグラムの各々における連続値の各区間ｌの形状とに基づく、確率密度関数に基づいて、上記（１２）式に従って、予測対象の個体について将来生成される連続値の期待値を計算することにより、個体が生成する連続値を精度よく予測することができる。
【００９０】
＜本発明の第２の実施の形態に係る確率密度関数推定装置の構成＞
【００９１】
次に、本発明の第２の実施の形態に係る確率密度関数推定装置の構成について説明する。なお、第１の実施の形態と同様となる箇所については同一符号を付して説明を省略する。
【００９２】
上記図１に示すように、本発明の第２の実施の形態に係る確率密度関数推定装置１００は、ＣＰＵと、ＲＡＭと、後述する確率密度関数推定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この確率密度関数推定装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部５０とを備えている。
【００９３】
第２の実施の形態に係る入力部１０は、解析対象である複数の個体で観測された、個体の個体ＩＤが付与された連続値データの集合を受け付ける。また、確率密度関数の定義域（連続値が取りうる値の範囲）Ｔ≡［Ｔ０，Ｔ１］を受け付ける。
【００９４】
第２の実施の形態に係る演算部２０は、トピック推定部３０と、確率密度関数推定部３２とを含んで構成されている。
【００９５】
第２の実施の形態に係るトピック推定部３０は、入力部１０により受け付けた連続値データの集合に含まれる各連続値データについて、連続値データが各トピックｋに所属する事後確率に従って、連続値データが所属するトピックｋを計算する。また、トピック推定部３０は、トピックｋの各々に対応するヒストグラムの各々について、トピックｋの計算結果から得られる、各個体ｕに対する、トピックｋに所属する個体ｕの連続値データの個数Ｎｋｕ、及びトピックｋに対応するヒストグラムの各区間ｌに含まれる連続値データの個数Ｎｋｌに基づく、ヒストグラムの分割数Ｗの事後確率に従って、ヒストグラムの分割数Ｗを計算する。また、トピック推定部３０は、トピックｋの計算結果から得られる、各個体ｕ及び各トピックｋに対する、トピックｋに所属する個体ｕの連続値データの個数Ｎｋｕ、及び各トピックに対応するヒストグラムの各区間ｌに対する、トピックに対応するヒストグラムの区間ｌに含まれる連続値データの個数Ｎｋｌと、トピックｋの各々に対応するヒストグラムの各々について計算された分割数Ｗとに基づいて、トピックｋの各々に対応するヒストグラムの各々に対する重みの分布を表すパラメータα、及びヒストグラムの分布を表すパラメータβを更新する。トピック推定部３０は、上記のトピックの計算、ヒストグラムの分割数Ｗの計算、及びパラメータの更新を繰り返し行う。
【００９６】
トピック推定部３０において、トピックｋの計算は第１の実施の形態と同様に行えばよい。
【００９７】
次に、トピック推定部３０におけるヒストグラムの分割数Ｗの推定、並びに、パラメータα、及びパラメータβの更新の計算方法について説明する。
【００９８】
トピック推定部３０では、第１の実施の形態では既知とした各トピックのヒストグラムの分割数Ｗ≡（Ｗ１，Ｗ２，・・・，ＷＫ）を連続値データから推定する。分割数に関する無情報事前分布として一様分布
【００９９】
【数１５】
0006433858.tif 000018
【０１００】
を仮定し、上記（６）式における所属トピックｚのギブスサンプリングだけでなく、パラメータβ、トピックｋに対応するヒストグラムの各区間ｌに含まれる連続値データの個数Ｎｋｌ、及び所属トピックがｋである連続値データの総数Ｎｋに基づいて、下記（１４）式に従って分割数Ｗについてもギブスサンプリングを行う。
【０１０１】
【数１６】
0006433858.tif 000019
【０１０２】
経験的に分割数Ｗの分布の凸形状は鋭いので、最後のサンプリングで得られた分割数Ｗ（Ｐ）≡（Ｗ１（Ｐ），Ｗ２（Ｐ），・・・，ＷＫ（Ｐ））を推定値とする。
【０１０３】
また、トピック推定部３０では、未知パラメータα、及びβは第１の実施の形態と同様に確率的ＥＭ法を用いて、以下（１５）式に従ってＰ回更新する。
【０１０４】
【数１７】
0006433858.tif 000020
【０１０５】
従来技術においては、単一の個体に対してのヒストグラム法に限り、分割数をデータから決定する方法はいくつか提案されていた（上記非特許文献１、３、４参照）。しかし、本発明の第２の実施の形態のように、（ｉ）全個体の確率密度関数がＫ（≠１）個のヒストグラムの線形和で表現される、（ｉｉ）個体ごとの確率密度関数の違いは線形和の重み付けの違いで表現される、の二点を仮定した上で各ヒストグラムの分割数Ｗをデータから決定する方法は未だ提案されておらず、この機能は本実施の形態に係る確率密度関数推定装置独自のものである。
【０１０６】
第２の実施の形態に係る確率密度関数推定部３２は、トピック推定部３０によって更新された重みの分布を表すパラメータα、ヒストグラムの分布を表すパラメータβ、トピックｋの各々に対応するヒストグラムの各々について計算された分割数Ｗ、繰り返し毎に得られた、各個体ｕ及び各トピックｋに対する、トピックｋに所属する個体ｕの連続値データの個数Ｎｋｕ、及び繰り返し毎に得られた、各トピックｋに対応するヒストグラムの各区間ｌに対する、トピックｋに対応するヒストグラムの区間ｌに含まれる連続値データの個数Ｎｋｌに基づいて、トピックｋの各々に対応するヒストグラムの各々の各区間ｌの形状~φｌｋ、及び各個体ｕにおけるトピックｋの各々に対応するヒストグラムの各々に対する重み~θｋｕを推定する。そして、確率密度関数推定部３２は、複数の個体ｕの各々に対し、当該個体ｕに対して推定されたヒストグラムの各々に対する重み~θｋｕと、推定されたトピックｋの各々に対応するヒストグラムの各々の各区間ｌの形状~φｌｋとに基づいて、トピックｋの各々に対応するヒストグラムの各々の線形和で表わされる確率密度関数~ｐｕ（ｔ│~φ，~θ・ｕ）を推定する。なお、第２の実施の形態に係る確率密度関数推定部３２における確率密度関数の具体的な計算方法については第１の実施の形態と同様である。
【０１０７】
なお、第２の実施の形態に係る確率密度関数推定装置１００の他の構成は第１の実施の形態と同様であるため説明を省略する。
【０１０８】
＜本発明の第２の実施の形態に係る連続値予測装置の構成＞
【０１０９】
本発明の第２の実施の形態に係る連続値予測装置の構成は第１の発明の実施の形態に係る連続値予測装置の構成と同様であるため詳細な説明を省略する。
【０１１０】
＜本発明の第２の実施の形態に係る確率密度関数推定装置の作用＞
【０１１１】
次に、本発明の第２の実施の形態に係る確率密度関数推定装置１００の作用について説明する。なお、第１の実施の形態と同様の作用となる箇所については同一符号を付して説明を省略する。
【０１１２】
入力部１０において個体の個体ＩＤが付与された連続値データの集合を受け付けると、確率密度関数推定装置１００は、図５に示す確率密度関数推定処理ルーチンを実行する。
【０１１３】
ステップＳ３００では、各トピックｋに対し、ステップＳ１０２によるトピックｋの計算結果から得られる、各個体ｕに対する、トピックｋに所属する個体ｕの連続値データの個数Ｎｋｕ、及びトピックｋに対応するヒストグラムの各区間ｌに含まれる連続値データの個数Ｎｋｌに基づく、上記（１４）式に示すヒストグラムの分割数Ｗｋの事後確率に従って、当該トピックｋに対応するヒストグラムの分割数Ｗｋを計算する。
【０１１４】
ステップＳ３０２では、ステップＳ１０２、Ｓ３００、及びＳ１０４の処理を予め定められた回数繰り返したかを判定し、予め定められた回数繰り返していなければステップＳ１０２へ戻ってステップＳ１０２、Ｓ３００、及びＳ１０４の処理を繰り返し、予め定められた回数繰り返していればステップＳ２０４へ移行する。
【０１１５】
ステップＳ３０４では、ステップＳ１０４で更新されたトピックｋの各々に対応するヒストグラムの各々に対する重みの分布を表すパラメータα、ヒストグラムの分布を表すパラメータβ、ステップＳ３００でトピックｋの各々に対応するヒストグラムの各々について計算された分割数Ｗｋ、繰り返し毎に得られた、トピックｋに所属する個体ｕの連続値データの個数Ｎｋｕ、及び繰り返し毎に得られた、ヒストグラムの区間ｌに含まれる連続値データの個数Ｎｋｌに基づいて、上記（９）式及び（１０）式に従って、トピックｋの各々に対応するヒストグラムの各々の各区間ｌの形状~φｌｋ、及び各個体ｕにおけるトピックｋの各々に対応するヒストグラムの各々に対する重み~θｋｕを推定する。
【０１１６】
なお、第２の実施の形態に係る確率密度関数推定装置１００の他の作用は第１の実施の形態と同様であるため説明を省略する。
【０１１７】
以上説明したように、第２の実施の形態に係る確率密度関数推定装置によれば、上記（６）式に示す事後確率に従って、連続値データが所属するトピックｋを計算し、トピックｋに所属する個体ｕの連続値データの個数Ｎｋｕ、及びトピックｋに対応するヒストグラムの各区間ｌに含まれる連続値データの個数Ｎｋｌに基づく、上記（１４）式に示すヒストグラムの分割数Ｗの事後確率に従って、ヒストグラムの分割数Ｗを計算し、トピッｋクの計算結果から得られる、各個体及び各トピックｋに対する、トピックｋに所属する個体の連続値データの個数Ｎｋｕ、及び各トピックｋに対応するヒストグラムの各区間に対する、トピックに対応するヒストグラムの区間に含まれる連続値データの個数Ｎｋｌに基づいて、上記（１５）式に従って、重みの分布を表すパラメータα、及びヒストグラムの分布を表すパラメータβを更新することを繰り返し、更新された重みの分布を表すパラメータα、ヒストグラムの分布を表すパラメータβ、分割数Ｗ、繰り返し毎に得られた、各個体及び各トピックｋに対する、トピックｋに所属する個体の連続値データの個数Ｎｋｕ、及び繰り返し毎に得られた、各トピックｋに対応するヒストグラムの各区間に対する、トピックｋに対応するヒストグラムの区間に含まれる連続値データの個数Ｎｋｌに基づいて、上記（９）式及び（１０）式に従って、トピックｋの各々に対応するヒストグラムの各々の各区間の形状~φｌｋ、及び各個体におけるトピックｋの各々に対応するヒストグラムの各々に対する重み~θｋｕを推定し、ヒストグラムの各々に対する重み~θｋｕと、ヒストグラムの各々の各区間の形状~φｌｋとに基づいて、上記（１１）式に従って、確率密度関数~ｐｕ（ｔ│~φ，~θ・ｕ）を推定することにより、個体が生成する連続値を精度よく予測するための確率密度関数を推定することができる。
＜本発明の第２の実施の形態に係る連続値予測装置の作用＞
【０１１８】
本発明の第２の実施の形態に係る連続値予測装置の作用は第１の発明の実施の形態に係る連続値予測装置の作用と同様であるため詳細な説明を省略する。
【０１１９】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【符号の説明】
【０１２０】
１０、２１０  入力部
２０、２２０  演算部
３０   トピック推定部
３２   確率密度関数推定部
５０、２５０  出力部
１００ 確率密度関数推定装置
２００ 連続値予測装置
２３０ 連続値予測部
【図１】
0006433858.tif 000021
【図２】
0006433858.tif 000022
【図３】
0006433858.tif 000023
【図４】
0006433858.tif 000024
【図５】
0006433858.tif 000025