(57)【要約】【課題】高速に系列情報を考慮したトピック解析を行う。【解決手段】圧縮部２４により、入力された記号系列を圧縮した、文脈自由文法を生成し、モデル生成部２６により、文脈自由文法を表す構文木を生成すると共に、モデルパラメータに初期値を設定し、学習部２８により、モデルパラメータと構文木とに基づいて、非終端記号の各々に対し、トピック毎に、非終端記号に対応し、かつ、潜在変数にトピックが割り当てられた内点から、構文木を辿って終端記号が得られる確率である内側確率を計算し、非終端記号の各々に対し、トピック毎に、非終端記号に対応する内点の潜在変数にトピックが割り当てられる回数の期待値である外側期待値を計算し、計算した内側確率及び外側期待値に基づいて、モデルパラメータを更新することを、予め定められた終了条件を満たすまで繰り返す。【選択図】図１
2016212742.tif 000002
【特許請求の範囲】
【請求項１】
入力された記号系列を圧縮した、終端記号集合、非終端記号集合、圧縮を実現するルールの集合、及び圧縮後の記号系列を含む文脈自由文法を生成する圧縮部と、
前記文脈自由文法を表す構文木であって、非終端記号に対応する各内点が、トピックが割り当てられる潜在変数を持ち、各葉節点が、終端記号が割り当てられる観測変数を持つ構文木を生成すると共に、トピック毎の終端記号の分布を表すパラメータ、トピックの分布を表すパラメータ、トピック毎の左側の子節点の潜在変数に割り当てられるトピックの分布を表すパラメータ、及びトピック毎の右側の子節点の潜在変数に割り当てられるトピックの分布を表すパラメータを含むモデルパラメータに初期値を設定するモデル生成部と、
前記モデルパラメータと前記構文木とに基づいて、前記非終端記号の各々に対し、トピック毎に、前記非終端記号に対応し、かつ、前記潜在変数に前記トピックが割り当てられた前記内点から、前記構文木を辿って終端記号が得られる確率である内側確率を計算し、前記非終端記号の各々に対し、トピック毎に、前記非終端記号に対応する前記内点の前記潜在変数に前記トピックが割り当てられる回数の期待値である外側期待値を計算し、前記計算した内側確率及び前記外側期待値に基づいて、前記モデルパラメータを更新することを、予め定められた終了条件を満たすまで繰り返す学習部と、
を含むデータ解析装置。
【請求項２】
前記学習部は、
前記非終端記号の各々に対するトピック毎の前記外側期待値に基づいて、トピック毎の前記終端記号の分布を表すパラメータを更新し、前記圧縮後の記号系列における各非終端記号の出現回数、及び前記非終端記号の各々に対するトピック毎の前記内側確率に基づいて、前記トピックの分布を表すパラメータを更新し、前記非終端記号の各々に対するトピック毎の前記内側確率、前記非終端記号の各々に対するトピック毎の前記外側期待値、及びトピック毎の前記右側の子節点の潜在変数に割り当てられるトピックの分布を表すパラメータに基づいて、トピック毎の前記左側の子節点の潜在変数に割り当てられるトピックの分布を表すパラメータを更新し、前記非終端記号の各々に対するトピック毎の前記内側確率、前記非終端記号の各々に対するトピック毎の前記外側期待値、及びトピック毎の前記左側の子節点の潜在変数に割り当てられるトピックの分布を表すパラメータに基づいて、トピック毎の前記右側の子節点の潜在変数に割り当てられるトピックの分布を表すパラメータを更新する請求項１記載のデータ解析装置。
【請求項３】
圧縮部と、モデル生成部と、学習部とを含むデータ解析装置における、データ解析方法であって、
前記圧縮部は、入力された記号系列を圧縮した、終端記号集合、非終端記号集合、圧縮を実現するルールの集合、及び圧縮後の記号系列を含む文脈自由文法を生成し、
前記モデル生成部は、前記文脈自由文法を表す構文木であって、非終端記号に対応する各内点が、トピックが割り当てられる潜在変数を持ち、各葉節点が、終端記号が割り当てられる観測変数を持つ構文木を生成すると共に、トピック毎の終端記号の分布を表すパラメータ、トピックの分布を表すパラメータ、トピック毎の左側の子節点の潜在変数に割り当てられるトピックの分布を表すパラメータ、及びトピック毎の右側の子節点の潜在変数に割り当てられるトピックの分布を表すパラメータを含むモデルパラメータに初期値を設定し、
前記学習部は、前記モデルパラメータと前記構文木とに基づいて、前記非終端記号の各々に対し、トピック毎に、前記非終端記号に対応し、かつ、前記潜在変数に前記トピックが割り当てられた前記内点から、前記構文木を辿って終端記号が得られる確率である内側確率を計算し、前記非終端記号の各々に対し、トピック毎に、前記非終端記号に対応する前記内点の前記潜在変数に前記トピックが割り当てられる回数の期待値である外側期待値を計算し、前記計算した内側確率及び前記外側期待値に基づいて、前記モデルパラメータを更新することを、予め定められた終了条件を満たすまで繰り返す
データ解析方法。
【請求項４】
前記学習部により更新することは、
前記非終端記号の各々に対するトピック毎の前記外側期待値に基づいて、トピック毎の前記終端記号の分布を表すパラメータを更新し、前記圧縮後の記号系列における各非終端記号の出現回数、及び前記非終端記号の各々に対するトピック毎の前記内側確率に基づいて、前記トピックの分布を表すパラメータを更新し、前記非終端記号の各々に対するトピック毎の前記内側確率、前記非終端記号の各々に対するトピック毎の前記外側期待値、及びトピック毎の前記右側の子節点の潜在変数に割り当てられるトピックの分布を表すパラメータに基づいて、トピック毎の前記左側の子節点の潜在変数に割り当てられるトピックの分布を表すパラメータを更新し、前記非終端記号の各々に対するトピック毎の前記内側確率、前記非終端記号の各々に対するトピック毎の前記外側期待値、及びトピック毎の前記左側の子節点の潜在変数に割り当てられるトピックの分布を表すパラメータに基づいて、トピック毎の前記右側の子節点の潜在変数に割り当てられるトピックの分布を表すパラメータを更新する請求項３記載のデータ解析方法。
【請求項５】
コンピュータを、請求項１又は２記載のデータ解析装置を構成する各部として機能させるためのプログラム。
【請求項６】
コンピュータを、請求項１又は２記載のデータ解析装置を構成する各部として機能させるためのプログラムを記録した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記号系列からの系列情報を考慮した潜在構造を抽出するためのデータ解析装置、方法、プログラム、及び記憶媒体に関するものである。
【背景技術】
【０００２】
従来、データが与えられたとき、当該データを分析する方法として、潜在変数モデルが利用される方法がある。また、潜在変数モデルは観測データを表現する観測変数とは別に、データの持つ潜在的な構造を表現する潜在変数を含むモデルである。また、潜在変数モデルを用いてデータの潜在構造を抽出することはデータを分析するために非常に重要である。
【０００３】
例えば、記号系列データが大量に与えられたとき、各記号系列を特徴付ける単語の集合（トピック）を抽出することは、データの特徴を掴むために有用である。このタスクは、トピック解析、潜在変数は記号系列中の単語がどのようなトピックに属するかを表現する。また、トピックを抽出するための潜在変数モデルを、特にトピックモデルと呼び、トピックの抽出はトピックモデルの持つパラメータを与えられたデータに合うようにフィッティング（学習）することで達成される。
【０００４】
また、得られるトピックは用意したトピックモデルの構造に強く依存する。また、記号系列を解析する場合、その系列情報を考慮した解析を実現するには、用意するモデルは系列情報を反映した潜在変数を持つ必要がある。なお、系列情報を考慮したトピックモデルが存在する（非特許文献１）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】G. Amit, Y. Weiss and M. Rosen-Zvi: “Hidden topic Markov models”, AISTATS 2007.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上述したトピックモデルは、記号系列が巨大になるとスケールしないという問題がある。
【０００７】
本発明では、上記問題点を解決するために成されたものであり、高速に系列情報を考慮したトピック解析を行うことができるデータ解析装置、方法、プログラム、及び記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、第１の発明に係るデータ解析装置は、入力された記号系列を圧縮した、終端記号集合、非終端記号集合、圧縮を実現するルールの集合、及び圧縮後の記号系列を含む文脈自由文法を生成する圧縮部と、前記文脈自由文法を表す構文木であって、非終端記号に対応する各内点が、トピックが割り当てられる潜在変数を持ち、各葉節点が、終端記号が割り当てられる観測変数を持つ構文木を生成すると共に、トピック毎の終端記号の分布を表すパラメータ、トピックの分布を表すパラメータ、トピック毎の左側の子節点の潜在変数に割り当てられるトピックの分布を表すパラメータ、及びトピック毎の右側の子節点の潜在変数に割り当てられるトピックの分布を表すパラメータを含むモデルパラメータに初期値を設定するモデル生成部と、前記モデルパラメータと前記構文木とに基づいて、前記非終端記号の各々に対し、トピック毎に、前記非終端記号に対応し、かつ、前記潜在変数に前記トピックが割り当てられた前記内点から、前記構文木を辿って終端記号が得られる確率である内側確率を計算し、前記非終端記号の各々に対し、トピック毎に、前記非終端記号に対応する前記内点の前記潜在変数に前記トピックが割り当てられる回数の期待値である外側期待値を計算し、前記計算した内側確率及び前記外側期待値に基づいて、前記モデルパラメータを更新することを、予め定められた終了条件を満たすまで繰り返す学習部と、を含んで構成されている。
【０００９】
第２の発明に係るデータ解析方法は、圧縮部と、モデル生成部と、学習部とを含むデータ解析装置における、データ解析方法であって、前記圧縮部は、入力された記号系列を圧縮した、終端記号集合、非終端記号集合、圧縮を実現するルールの集合、及び圧縮後の記号系列を含む文脈自由文法を生成し、前記モデル生成部は、前記文脈自由文法を表す構文木であって、非終端記号に対応する各内点が、トピックが割り当てられる潜在変数を持ち、各葉節点が、終端記号が割り当てられる観測変数を持つ構文木を生成すると共に、トピック毎の終端記号の分布を表すパラメータ、トピックの分布を表すパラメータ、トピック毎の左側の子節点の潜在変数に割り当てられるトピックの分布を表すパラメータ、及びトピック毎の右側の子節点の潜在変数に割り当てられるトピックの分布を表すパラメータを含むモデルパラメータに初期値を設定し、前記学習部は、前記モデルパラメータと前記構文木とに基づいて、前記非終端記号の各々に対し、トピック毎に、前記非終端記号に対応し、かつ、前記潜在変数に前記トピックが割り当てられた前記内点から、前記構文木を辿って終端記号が得られる確率である内側確率を計算し、前記非終端記号の各々に対し、トピック毎に、前記非終端記号に対応する前記内点の前記潜在変数に前記トピックが割り当てられる回数の期待値である外側期待値を計算し、前記計算した内側確率及び前記外側期待値に基づいて、前記モデルパラメータを更新することを、予め定められた終了条件を満たすまで繰り返す。
【００１０】
第１及び第２の発明によれば、圧縮部により、入力された記号系列を圧縮した、文脈自由文法を生成し、モデル生成部により、文脈自由文法を表す構文木を生成すると共に、トピック毎の終端記号の分布を表すパラメータ、トピックの分布を表すパラメータ、トピック毎の左側の子節点の潜在変数に割り当てられるトピックの分布を表すパラメータ、及びトピック毎の右側の子節点の潜在変数に割り当てられるトピックの分布を表すパラメータを含むモデルパラメータに初期値を設定し、学習部により、モデルパラメータと構文木とに基づいて、非終端記号の各々に対し、トピック毎に、非終端記号に対応し、かつ、潜在変数にトピックが割り当てられた内点から、構文木を辿って終端記号が得られる確率である内側確率を計算し、非終端記号の各々に対し、トピック毎に、非終端記号に対応する内点の潜在変数にトピックが割り当てられる回数の期待値である外側期待値を計算し、計算した内側確率及び外側期待値に基づいて、モデルパラメータを更新することを、予め定められた終了条件を満たすまで繰り返す。
【００１１】
このように、入力された記号系列を圧縮した、文脈自由文法を生成し、文脈自由文法を表す構文木を生成すると共に、トピック毎の終端記号の分布を表すパラメータ、トピックの分布を表すパラメータ、トピック毎の左側の子節点の潜在変数に割り当てられるトピックの分布を表すパラメータ、及びトピック毎の右側の子節点の潜在変数に割り当てられるトピックの分布を表すパラメータを含むモデルパラメータに初期値を設定し、モデルパラメータと構文木とに基づいて、非終端記号の各々に対し、トピック毎に、非終端記号に対応し、かつ、潜在変数にトピックが割り当てられた内点から、構文木を辿って終端記号が得られる確率である内側確率を計算し、非終端記号の各々に対し、トピック毎に、非終端記号に対応する内点の潜在変数にトピックが割り当てられる回数の期待値である外側期待値を計算し、計算した内側確率及び外側期待値に基づいて、モデルパラメータを更新することを、予め定められた終了条件を満たすまで繰り返すことにより、高速に系列情報を考慮したトピック解析を行うことができる。
【００１２】
また、第１及び第２の発明において、前記学習部は、前記非終端記号の各々に対するトピック毎の前記外側期待値に基づいて、トピック毎の前記終端記号の分布を表すパラメータを更新し、前記圧縮後の記号系列における各非終端記号の出現回数、及び前記非終端記号の各々に対するトピック毎の前記内側確率に基づいて、前記トピックの分布を表すパラメータを更新し、前記非終端記号の各々に対するトピック毎の前記内側確率、前記非終端記号の各々に対するトピック毎の前記外側期待値、及びトピック毎の前記右側の子節点の潜在変数に割り当てられるトピックの分布を表すパラメータに基づいて、トピック毎の前記左側の子節点の潜在変数に割り当てられるトピックの分布を表すパラメータを更新し、前記非終端記号の各々に対するトピック毎の前記内側確率、前記非終端記号の各々に対するトピック毎の前記外側期待値、及びトピック毎の前記左側の子節点の潜在変数に割り当てられるトピックの分布を表すパラメータに基づいて、トピック毎の前記右側の子節点の潜在変数に割り当てられるトピックの分布を表すパラメータを更新してもよい。
【００１３】
また、本発明のプログラムは、コンピュータを、上記のデータ解析装置を構成する各部として機能させるためのプログラムである。
【００１４】
また、本発明の記憶媒体は、コンピュータを、上記のデータ解析装置を構成する各部として機能させるためのプログラムを記録した記憶媒体である。
【発明の効果】
【００１５】
以上説明したように、本発明のデータ解析装置、方法、プログラム、及び記憶媒体によれば、入力された記号系列を圧縮した、文脈自由文法を生成し、文脈自由文法を表す構文木を生成すると共に、トピック毎の終端記号の分布を表すパラメータ、トピックの分布を表すパラメータ、トピック毎の左側の子節点の潜在変数に割り当てられるトピックの分布を表すパラメータ、及びトピック毎の右側の子節点の潜在変数に割り当てられるトピックの分布を表すパラメータを含むモデルパラメータに初期値を設定し、モデルパラメータと構文木とに基づいて、非終端記号の各々に対し、トピック毎に、非終端記号に対応し、かつ、潜在変数にトピックが割り当てられた内点から、構文木を辿って終端記号が得られる確率である内側確率を計算し、非終端記号の各々に対し、トピック毎に、非終端記号に対応する内点の潜在変数にトピックが割り当てられる回数の期待値である外側期待値を計算し、計算した内側確率及び外側期待値に基づいて、モデルパラメータを更新することを、予め定められた終了条件を満たすまで繰り返すことにより、高速に系列情報を考慮したトピック解析を行うことができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態に係るデータ解析装置の機能的構成を示すブロック図である。
【図２】圧縮部の処理の例を示す図である。
【図３】構文木の例と対応する潜在トピックの依存関係とを表すグラフィカルモデルの例を示す図である。
【図４】ＲＴＭのグラフィカルモデルの例を示す図である。
【図５】本発明の実施形態に係るデータ解析装置におけるデータ解析処理ルーチンを表すフローチャート図である。
【図６】実データの例を示す図である。
【図７】各データセットに対する負のテスト対数尤度の例を示す図である。
【図８】各データセットに対する負のテスト対数尤度の例を示す図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００１８】
＜本発明の原理＞
【００１９】
まず、本発明の実施形態に係るデータ解析装置の原理について説明する。本実施形態に係るデータ解析装置は、記号系列が与えられたときに、データの持つ潜在的な構造を抽出するための確率モデルに基づく推論装置である。
【００２０】
本実施形態においては、記号系列からの系列情報を考慮した高速トピック解析を実現する。これにより、大規模記号系列のトピック解析を実現する。
【００２１】
本実施形態の特徴として、文法圧縮技術をトピック解析に利用する点が挙げられる。文法圧縮技術を利用することにより、下記（ｉ）〜（ｉｉｉ）の特徴をもつ。
【００２２】
（ｉ）圧縮技術を利用するため、トピック解析を高速に行うことができる。
（ｉｉ）圧縮度合いをコントロールすることで、解析に係る時間を調整することができる。
（ｉｉｉ）文法圧縮は系列情報の一部を保存するため、系列情報を考慮したトピックモデルが可能である。
【００２３】
単純に圧縮されたデータを入力としてトピック解析を行う場合、データの持つ系列情報を抽出するため、データを展開する必要があり、効率的ではない。効率的な学習を実現するためには、データを圧縮したまま学習を行う必要があるが、圧縮された状態のデータから自然に系列情報をモデルに反映させるには、圧縮アルゴリズムと密に融合されたトピックモデルを利用する必要がある。
【００２４】
そのため、本実施形態においては、圧縮されたデータから、系列情報を反映させたトピックモデルを自動的に生成し、そのモデルパラメータの学習を行う。
【００２５】
具体的には、入力は、記号系列であり、出力は、トピックモデルの構造及び入力データにフィットされたモデルパラメータである。まず、入力データである記号系列を文脈自由文法と呼ばれる形式に圧縮し、圧縮結果に基づいて、圧縮情報を考慮したトピックモデルの構造を生成する。そして、トピックモデルの構造に基づいて、モデルのパラメータを入力データに合うようにフィッティングする。
【００２６】
＜本発明の実施形態に係るデータ解析装置の構成＞
次に、本発明の実施形態に係るデータ解析装置の構成について説明する。図１に示すように、本発明の実施形態に係るデータ解析装置１００は、ＣＰＵと、ＲＡＭと、後述するデータ解析処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することができる。このデータ解析装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部９０とを含んで構成されている。
【００２７】
入力部１０は、ユーザから入力される、記号系列集合
【００２８】
【数１】
2016212742.tif 000003
【００２９】
を受け付ける。ここで、
【００３０】
【数２】
2016212742.tif 000004
【００３１】
は、終端記号集合
【００３２】
【数３】
2016212742.tif 000005
【００３３】
の要素の系列である。
【００３４】
演算部２０は、圧縮部２４と、モデル生成部２６と、学習部２８と、パラメータ記憶部３０とを含んで構成されている。
【００３５】
圧縮部２４は、入力部１０において受け付けた記号系列集合
【００３６】
【数４】
2016212742.tif 000006
【００３７】
を文脈自由文法
【００３８】
【数５】
2016212742.tif 000007
【００３９】
に圧縮する。ここで、
【００４０】
【数６】
2016212742.tif 000008
【００４１】
は、圧縮過程で生成された非終端記号の集合であり、
【００４２】
【数７】
2016212742.tif 000009
【００４３】
は、圧縮を実現するルールの集合であり、
【００４４】
【数８】
2016212742.tif 000010
【００４５】
は、圧縮後の記号系列集合である。
【００４６】
具体的には、まず、圧縮部２４は、入力部１０において受け付けた記号系列集合
【００４７】
【数９】
2016212742.tif 000011
【００４８】
に基づいて、終端記号集合
【００４９】
【数１０】
2016212742.tif 000012
【００５０】
中に現れる記号の集合、
【００５１】
【数１１】
2016212742.tif 000013
【００５２】
と設定する。次に、圧縮部２４は、変数ｉ＝１と設定し、変数ｉを１からＶまで、１ずつ変化させながら、下記（ａ）〜（ｃ）までの処理を繰り返す。
【００５３】
（ａ）非終端記号の集合
【００５４】
【数１２】
2016212742.tif 000014
【００５５】
に新たな非終端記号Ａｉを追加する。
（ｂ）ルールの集合
【００５６】
【数１３】
2016212742.tif 000015
【００５７】
に新たなルール「Ｒｉ＝Ａｉ→ａｉ」を追加する。
（ｃ）圧縮後の記号系列集合
【００５８】
【数１４】
2016212742.tif 000016
【００５９】
中の全ての終端記号
【００６０】
【数１５】
2016212742.tif 000017
【００６１】
をＡｉに置き換える。
【００６２】
次に、圧縮部２４は、変数ｉ＝Ｖ＋１と設定し、下記（ｄ）〜（ｇ）までの処理を、下記条件（ｈ）及び条件（ｉ）の少なくとも一方の条件を満たすまで繰り返す。
【００６３】
（ｄ）圧縮後の記号系列集合
【００６４】
【数１６】
2016212742.tif 000018
【００６５】
中の最頻の記号ペアを抽出する。なお、説明のため、抽出した記号ペアを、例えば、仮にＡｊＡｋとして以後説明する。
（ｅ）非終端記号の集合
【００６６】
【数１７】
2016212742.tif 000019
【００６７】
に新たな非終端記号Ａｉを追加する。
（ｆ）ルールの集合
【００６８】
【数１８】
2016212742.tif 000020
【００６９】
に新たなルール「Ｒｉ＝Ａｉ→ＡｊＡｋ」を追加する。
（ｇ）圧縮後の記号系列集合
【００７０】
【数１９】
2016212742.tif 000021
【００７１】
中のすべての記号ペアＡｊＡｋをＡｉに置き換える。
【００７２】
条件（ｈ）最頻の記号ペアＡｊＡｋの出現回数が事前に設定した閾値Ｃよりも小さい。
条件（ｉ）変数ｉが事前に設定した閾値Ｎより小さい。
【００７３】
次に、圧縮部２４は、構成された文脈自由文法
【００７４】
【数２０】
2016212742.tif 000022
【００７５】
を、モデル生成部２６へ出力する。
【００７６】
図２に、入力部１０において、例えば、記号系列集合
【００７７】
【数２１】
2016212742.tif 000023
【００７８】
を受け付けた場合についての、圧縮部２４の処理の例を示す。なお、記号系列Ｓ１＝｛ａｂｃａｂａｂｃ｝であるものとする。この場合、取得される文脈自由文法
【００７９】
【数２２】
2016212742.tif 000024
【００８０】
は、終端記号集合
【００８１】
【数２３】
2016212742.tif 000025
【００８２】
、非終端記号の集合
【００８３】
【数２４】
2016212742.tif 000026
【００８４】
、ルールの集合
【００８５】
【数２５】
2016212742.tif 000027
【００８６】
、及び圧縮後の記号系列集合
【００８７】
【数２６】
2016212742.tif 000028
【００８８】
となる。
【００８９】
モデル生成部２６は、圧縮部２４から入力された文脈自由文法
【００９０】
【数２７】
2016212742.tif 000029
【００９１】
に基づいて、階層構造を反映させたトピックモデルの構造として、文脈自由文法を表す構文木を生成し、学習部２８へ出力する。なお、モデル生成部２６において生成されたトピックモデルは、Ｒｅｐａｉｒ  Ｔｏｐｉｃ  Ｍｏｄｅｌ（以後、ＲＴＭとする）と呼ぶ。
【００９２】
ここで、ＲＴＭの構成法について説明する。モデル生成部２６は、まず、圧縮部２４から入力された文脈自由文法
【００９３】
【数２８】
2016212742.tif 000030
【００９４】
に基づいて、記号系列Ｓｉ毎に、圧縮後の記号系列Ｓ＊ｉを表現する構文木Ｔｉを生成する。ＲＴＭは、構文木Ｔｉの非終端記号に対応する各内点が、トピックが割り当てられる潜在変数を持ち、Ｔｉの各葉節点が、終端記号が割り当てられる観測変数を持つ潜在変数モデルである。
【００９５】
本実施形態においては、構文木Ｔｉ中の内点ｊに対応する潜在変数をｚｉ,ｊ、葉節点に対応する観測変数をｘｉ,ｌと定義する。例えば、構文木Ｔｉ中の内点ａ、ｂ、及びｃの各々が、非終端記号Ａｎ、Ａｌ、及びＡｒの各々に対応し、ルール「Ａｎ→ＡｌＡｒ」により展開されると考える。このとき、ｂをａの左側の子、ｃをａの右側の子と呼び、それぞれの内点に対応する潜在変数ｚｉ,ａ、ｚｉ,ｂ、及びｚｉ,ｃの各々は、下記（１）式に示す依存関係を有する。
【００９６】
【数２９】
2016212742.tif 000031
【００９７】
ここで、ｐ（ｚｉ,ｂ｜ｚｉ,ａ）を左側遷移分布、ｐ（ｚｉ,ｃ｜ｚｉ,ｂ）を右側遷移分布とし、パラメータ
【００９８】
【数３０】
2016212742.tif 000032
【００９９】
を用いて下記（２）式、及び下記（３）式とする。
【０１００】
【数３１】
2016212742.tif 000033
【０１０１】
上記（２）式、及び上記（３）式のように表すことができるため、遷移分布は記号系列Ｓｉに依存しない。図３に構文木の例と対応する潜在トピックの依存関係とを表すグラフィカルモデルを示す。構文木中でｃがａの右側の子であるとき、グラフィカルモデル中では、潜在変数ｚｉ,ｃは潜在変数ｚｉ,ａではなく、潜在変数ｚｉ,ｂの子となる。
【０１０２】
以下に、ＲＴＭのデータ生成過程全体について説明する。
【０１０３】
（ｊ）各トピックｋ＝１,...Ｋに対し、
（ｊ１）単語分布
【０１０４】
【数３２】
2016212742.tif 000034
【０１０５】
を生成する。
（ｊ２）左側遷移分布
【０１０６】
【数３３】
2016212742.tif 000035
【０１０７】
を生成する。
（ｊ３）右側遷移分布
【０１０８】
【数３４】
2016212742.tif 000036
【０１０９】
を生成する。
（ｋ）各記号系列ｉ＝１,...,Ｄに対し、
（ｋ１）トピック分布
【０１１０】
【数３５】
2016212742.tif 000037
【０１１１】
を生成する。
（ｋ２）Ｔｉの各内点ｊに対し、潜在変数ｚｉ,ｊに割り当てるトピックを下記（４）式に従って生成する。
【０１１２】
【数３６】
2016212742.tif 000038
【０１１３】
（ｋ３）Ｔｉの各葉ｌに対し、単語
【０１１４】
【数３７】
2016212742.tif 000039
【０１１５】
を生成する。
【０１１６】
ここで、ｐｖ（ｚｉ,ｊ）は、潜在変数ｚｉ,ｊのグラフィカルモデルにおける親潜在変数の値であり、グラフィカルモデルの構造は文脈自由文法
【０１１７】
【数３８】
2016212742.tif 000040
【０１１８】
より自動的に生成される。図４にＲＴＭのグラフィカルモデルの例を示す。潜在変数の数や潜在変数の依存関係は実際に得られる文脈自由文法
【０１１９】
【数３９】
2016212742.tif 000041
【０１２０】
によって変化する。
【０１２１】
また、モデル生成部２６は、トピック毎の終端記号の分布を表すパラメータ
【０１２２】
【数４０】
2016212742.tif 000042
【０１２３】
、トピックの分布を表すパラメータ
【０１２４】
【数４１】
2016212742.tif 000043
【０１２５】
、トピック毎の左側の子節点の潜在変数に割り当てられるトピックの分布を表すパラメータ
【０１２６】
【数４２】
2016212742.tif 000044
【０１２７】
、及びトピック毎の右側の子節点の潜在変数に割り当てられるトピックの分布を表すパラメータ
【０１２８】
【数４３】
2016212742.tif 000045
【０１２９】
を含むモデルパラメータに初期値を設定し、学習部２８へ出力する。また、モデル生成部２６は、初期値を設定したパラメータの各々に基づいて、下記（１１）式、（１３）式、（１５）式、及び（１７）式と同様の式に従って、パラメータ
【０１３０】
【数４４】
2016212742.tif 000046
【０１３１】
、
【０１３２】
【数４５】
2016212742.tif 000047
【０１３３】
、及び
【０１３４】
【数４６】
2016212742.tif 000048
【０１３５】
の初期値を計算し、学習部２８へ出力する。
【０１３６】
学習部２８は、モデル生成部２６から入力されたトピックモデルＲＴＭ及び初期値が設定されたＲＴＭのモデルパラメータの各々の初期値に基づいて、ＲＴＭのモデルパラメータの各々を学習し、学習したＲＴＭのモデルパラメータの各々を出力部９０から出力する。
【０１３７】
具体的には、学習部２８は、モデル生成部２６から入力された初期値が設定されたモデルパラメータの各々の初期値、又はパラメータ記憶部３０に記憶されている前回更新したモデルパラメータの各々に基づいて、モデルパラメータ各々の期待値を計算する。また、学習部２８は、計算されたモデルパラメータの各々の初期値又は期待値に基づいて、各パラメータを更新する。本実施形態については、モデルパラメータの各々の更新法は変分ベイズ法を用いる。
【０１３８】
ここで、パラメータの期待値を愚直に学習すると、各記号系列を表す構文木の総節点数に比例した計算時間を要する。しかし、隠れマルコフモデルに対するＦｏｒｗａｒｄ−Ｂａｃｋｗａｒｄアルゴリズムや確率的文脈自由文法に対するＩｎｓｉｄｅ−Ｏｕｔｓｉｄｅアルゴリズムと同様に動的計画法を用いれば、圧縮部２４で得られた文脈自由文法
【０１３９】
【数４７】
2016212742.tif 000049
【０１４０】
のサイズに比例する時間で高速に期待値計算が可能である。本実施形態では、ＲＴＭ上の期待値計算を効率的に実行するため、内側確率Ｉｋ,ｎと外側期待値Ｏｎ,ｋとを導入して考える。
【０１４１】
上記内側確率Ｉｋ,ｎとは、ある内点の潜在トピックが値ｋのとき、そこから非終端記号Ａｎより得られる終端記号列を得る確率である。ここで、内側確率Ｉｋ,ｎは、下記（５ａ）式に従って、再帰的に計算可能である。具体的には、構文木の各葉節点に近い内点から計算を行う。
【０１４２】
【数４８】
2016212742.tif 000050
【０１４３】
ここで、下記（６）式に示す量を中間的に保持すれば、内側確率は
【０１４４】
【数４９】
2016212742.tif 000051
【０１４５】
で計算可能である。内側確率Ｉｋ,ｎより、非終端記号Ａｎが圧縮後の記号系列
【０１４６】
【数５０】
2016212742.tif 000052
【０１４７】
に含まれる確率は
【０１４８】
【数５１】
2016212742.tif 000053
【０１４９】
となる。また、内側確率Ｉｋ,ｎを用いて以下のパラメータが定義される。
【０１５０】
【数５２】
2016212742.tif 000054
【０１５１】
また、外側期待値Ｏｎ,ｋとは、記号系列が与えられたとき、非終端記号Ａｎでラベル付けられた内点の潜在トピックが値ｋで現れる回数の期待値である。圧縮後の記号系列
【０１５２】
【数５３】
2016212742.tif 000055
【０１５３】
中の非終端記号Ａｎの出現回数を
【０１５４】
【数５４】
2016212742.tif 000056
【０１５５】
とすれば、非終端記号Ａｎを右辺に持つルールが存在しないとき、その外側期待値は、下記（７）式に示すようになる。
【０１５６】
【数５５】
2016212742.tif 000057
【０１５７】
ここで、
【０１５８】
【数５６】
2016212742.tif 000058
【０１５９】
とすれば、この計算量は
【０１６０】
【数５７】
2016212742.tif 000059
【０１６１】
である。しかし、Ｎｉ,ｎ＞０かつ
【０１６２】
【数５８】
2016212742.tif 000060
【０１６３】
であるとき、非終端記号Ａｌと非終端記号Ａｒとは非終端記号Ａｎを通して間接的に記号系列Ｓｉ内に表れることになる。つまり、非終端記号Ａｎの外側期待を非終端記号Ａｌと非終端記号Ａｒとの外側期待に伝播させる必要がある。非終端記号Ａｎ、Ａｌ、Ａｒの各々に対応する潜在変数の値をｋ、ｋｌ、ｋｒとし、非終端記号Ａｎの外側期待値Ｏｎ,ｋが既に計算済みであるとする。このとき、非終端記号Ａｌと非終端記号Ａｒとの外側期待値
【０１６４】
【数５９】
2016212742.tif 000061
【０１６５】
には、下記（８）式、及び下記（９）式に示すような加算が行われる。
【０１６６】
【数６０】
2016212742.tif 000062
【０１６７】
ここで、
【０１６８】
【数６１】
2016212742.tif 000063
【０１６９】
である。そのため、当該加算はＲＫ２回行われるため、外側期待値の計算量は
【０１７０】
【数６２】
2016212742.tif 000064
【０１７１】
となる。
【０１７２】
ＲＴＭ上の各パラメータの期待値は、上記（５ａ）式に基づいて計算される内側確率と、上記（７）式に基づいて計算される外側期待値とを利用して効率的に計算可能である。下記（１０）〜（１７）式に、変分ベイズ法によりパラメータの各々を更新する際に用いる更新式を示す。なお、各パラメータに「〜」が付加されているパラメータは、変分ベイズ法で計算される近似分布のパラメータであることを表すものとする。また、各パラメータに「〜」が付加されていないパラメータは、真の分布のパラメータであることを表すものとする。
【０１７３】
【数６３】
2016212742.tif 000065
2016212742.tif 000066
2016212742.tif 000067
2016212742.tif 000068
2016212742.tif 000069
2016212742.tif 000070
2016212742.tif 000071
2016212742.tif 000072
【０１７４】
ここで、
【０１７５】
【数６４】
2016212742.tif 000073
【０１７６】
であり、
【０１７７】
【数６５】
2016212742.tif 000074
【０１７８】
はｄｉｇａｍｍａ関数である。ＲＴＭに対する変分ベイズ法の１ステップ当たりの計算量は
【０１７９】
【数６６】
2016212742.tif 000075
【０１８０】
となる。
【０１８１】
具体的には、学習部２８は、まず、モデル生成部２６から入力されたモデルパラメータ、又はパラメータ記憶部３０に記憶されているパラメータφｋ,ｖ、
【０１８２】
【数６７】
2016212742.tif 000076
【０１８３】
、及び
【０１８４】
【数６８】
2016212742.tif 000077
【０１８５】
に基づいて、上記（５ａ）式に従って内側確率Ｉｋ,ｎを計算する。この内側確率Ｉｋ,ｎの計算を、構文木の葉節点に近い内点から順に計算を行い、非終端記号Ａｎの各々に対するトピックｋ毎の内側確率Ｉｋ,ｎを更新する。また、学習部２８は、モデル生成部２６から入力されたモデルパラメータ、又はパラメータ記憶部３０に記憶されているパラメータ
【０１８６】
【数６９】
2016212742.tif 000078
【０１８７】
に基づいて、上記（６）式に従って、パラメータＩＲａ,ｒを計算する。また、学習部２８は、モデル生成部２６から入力されたモデルパラメータ、又はパラメータ記憶部３０に記憶されているパラメータθｉ,ｋに基づいて、上記（５ｂ）の式に従って、確率ψｉ,ｎを計算する。
【０１８８】
次に、学習部２８は、計算された確率ψｉ,ｎと、モデル生成部２６から入力されたモデルパラメータ、又はパラメータ記憶部３０に記憶されているパラメータθｉ,ｋと、圧縮後の記号系列
【０１８９】
【数７０】
2016212742.tif 000079
【０１９０】
中の非終端記号Ａｎの出現回数
【０１９１】
【数７１】
2016212742.tif 000080
【０１９２】
とに基づいて、上記（７）式に従って、非終端記号Ａｎに対し、トピックｋ毎に外側期待値Ｏｎ,ｋを計算する。次に、学習部２８は、ルールＡｎ→ＡｌＡｒに対し、ＡｌをＡｎの左側の子、ＡｒをＡｎの右側の子と呼び、それぞれの内点の潜在変数の値をそれぞれｚｉ,ｌ、ｚｉ,ｒとして、計算したＩＲａ,ｒ、内側確率Ｉｋ,ｎ、外側期待値Ｏｎ,ｋ、及びモデル生成部２６から入力されたモデルパラメータ、又はパラメータ記憶部３０に記憶されているパラメータ
【０１９３】
【数７２】
2016212742.tif 000081
【０１９４】
、
【０１９５】
【数７３】
2016212742.tif 000082
【０１９６】
に基づいて、上記（８）式、及び（９）式に従って、非終端記号Ａｌに対するトピックｋｌの外側期待値
【０１９７】
【数７４】
2016212742.tif 000083
【０１９８】
、及び非終端記号Ａｒに対するトピックｋｒの外側期待値
【０１９９】
【数７５】
2016212742.tif 000084
【０２００】
を計算する。上記の計算を、構文木の根節点に近い内点から順に計算を行い、非終端記号Ａｎの各々に対するトピックｋ毎の外側期待値Ｏｎ，ｋを更新する。
【０２０１】
次に、学習部２８は、内側確率Ｉｋ,ｎと、モデル生成部２６から入力されたモデルパラメータ、又はパラメータ記憶部３０に記憶されているモデルパラメータαｉ,ｋと、モデル生成部２６から入力されたモデルパラメータ、又はパラメータ記憶部３０に記憶されているモデルパラメータθｉ,ｋ若しくは前回更新されたパラメータ
【０２０２】
【数７６】
2016212742.tif 000085
【０２０３】
と、圧縮後の記号系列
【０２０４】
【数７７】
2016212742.tif 000086
【０２０５】
中の非終端記号Ａｎの出現回数
【０２０６】
【数７８】
2016212742.tif 000087
【０２０７】
とに基づいて、上記（１０）式、及び上記（１１）式に従って、パラメータαｉ,ｋ及びパラメータθｉ,ｋを更新する。
【０２０８】
なお、近似分布のパラメータがない場合、真の分布のパラメータを用いればよい。また、上記（１０）式の
【０２０９】
【数７９】
2016212742.tif 000088
【０２１０】
は、上記（５ｂ）式と同様に計算する。
【０２１１】
また、学習部２８は、計算した外側期待値Ｏｖ,ｋと、モデル生成部２６から入力されたモデルパラメータ、又はパラメータ記憶部３０に記憶されているパラメータβｋ,ｖと、モデル生成部２６から入力されたモデルパラメータ、又はパラメータ記憶部３０に記憶されているモデルパラメータφｋ,ｖ、若しくは前回更新されたパラメータ
【数８０】
2016212742.tif 000089
【０２１２】
とに基づいて、上記（１２）式、及び上記（１３）式に従って、パラメータβｋ,ｖ及びパラメータφｋ,ｖを更新する。
【０２１３】
また、学習部２８は、計算した外側期待値Ｏｎ,ｋ、内側確率
【０２１４】
【数８１】
2016212742.tif 000090
【０２１５】
、及び
【０２１６】
【数８２】
2016212742.tif 000091
【０２１７】
と、モデル生成部２６から入力されたモデルパラメータ、又はパラメータ記憶部３０に記憶されているモデルパラメータ
【０２１８】
【数８３】
2016212742.tif 000092
【０２１９】
と、モデル生成部２６から入力されたモデルパラメータ、又はパラメータ記憶部３０に記憶されているモデルパラメータ
【０２２０】
【数８４】
2016212742.tif 000093
【０２２１】
若しくは前回更新されたパラメータ
【０２２２】
【数８５】
2016212742.tif 000094
【０２２３】
とに基づいて、上記（１４）式、及び上記（１５）式に従って、パラメータ
【０２２４】
【数８６】
2016212742.tif 000095
【０２２５】
及びパラメータ
【０２２６】
【数８７】
2016212742.tif 000096
【０２２７】
を更新する。
【０２２８】
また、学習部２８は、計算した
【０２２９】
【数８８】
2016212742.tif 000097
【０２３０】
と、計算した内側確率
【０２３１】
【数８９】
2016212742.tif 000098
【０２３２】
、及び
【０２３３】
【数９０】
2016212742.tif 000099
【０２３４】
と、モデル生成部２６から入力されたパラメータ、又はパラメータ記憶部３０に記憶されているパラメータ
【０２３５】
【数９１】
2016212742.tif 000100
【０２３６】
と、モデル生成部２６から入力されたモデルパラメータ、又はパラメータ記憶部３０に記憶されているモデルパラメータ
【０２３７】
【数９２】
2016212742.tif 000101
【０２３８】
若しくは前回更新されたパラメータ
【０２３９】
【数９３】
2016212742.tif 000102
【０２４０】
とに基づいて、上記（１６）式、及び上記（１７）式に従って、パラメータ
【０２４１】
【数９４】
2016212742.tif 000103
【０２４２】
、及びパラメータ
【０２４３】
【数９５】
2016212742.tif 000104
【０２４４】
を更新する。
【０２４５】
また、学習部２８は、更新したパラメータの各々をパラメータ記憶部３０に記憶する。
【０２４６】
また、学習部２８は、予め定められた終了条件を満たす場合には、更新したパラメータの各々を、出力部９０から出力する。一方、学習部２８は、予め定められた終了条件を満たさない場合には、上述の内側確率及び外側期待値の計算処理、及びパラメータの各々の更新処理を繰り返す。なお、終了条件としては、例えば、繰り返し処理の回数等である。
【０２４７】
＜本発明の実施形態に係るデータ解析装置の作用＞
次に、本発明の実施形態に係るデータ解析装置１００の作用について説明する。データ解析装置１００は、ユーザから入力される、記号系列集合
【０２４８】
【数９６】
2016212742.tif 000105
【０２４９】
を受け付けると、データ解析装置１００によって、図５に示すデータ解析処理ルーチンが実行される。
【０２５０】
まず、図５に示すデータ解析推定処理ルーチンのステップＳ１００で、圧縮部２４は、受け付けた記号系列集合
【０２５１】
【数９７】
2016212742.tif 000106
【０２５２】
に基づいて、文脈自由文法
【０２５３】
【数９８】
2016212742.tif 000107
【０２５４】
を生成する。
【０２５５】
次に、ステップＳ１０２で、モデル生成部２６は、ステップＳ１００において生成した文脈自由文法
【０２５６】
【数９９】
2016212742.tif 000108
【０２５７】
に基づいて、記号系列Ｓｉ毎に、圧縮後の記号系列Ｓ＊ｉを表現する構文木Ｔｉを生成する。
【０２５８】
次に、ステップＳ１０４で、モデル生成部２６は、トピック毎の終端記号の分布を表すパラメータ
【０２５９】
【数１００】
2016212742.tif 000109
【０２６０】
、トピックの分布を表すパラメータ
【０２６１】
【数１０１】
2016212742.tif 000110
【０２６２】
、トピック毎の左側の子節点の潜在変数に割り当てられるトピックの分布を表すパラメータ
【０２６３】
【数１０２】
2016212742.tif 000111
【０２６４】
、及びトピック毎の右側の子節点の潜在変数に割り当てられるトピックの分布を表すパラメータ
【０２６５】
【数１０３】
2016212742.tif 000112
【０２６６】
を含むモデルパラメータに初期値を設定する。また、モデル生成部２６は、初期値を設定したパラメータの各々に基づいて、上記（１１）式、（１３）式、（１５）式、及び（１７）式と同様の式に従って、パラメータ
【０２６７】
【数１０４】
2016212742.tif 000113
【０２６８】
、
【０２６９】
【数１０５】
2016212742.tif 000114
【０２７０】
、及び
【０２７１】
【数１０６】
2016212742.tif 000115
【０２７２】
の初期値を計算する。
【０２７３】
次に、ステップＳ１０６で、学習部２８は、ステップＳ１０４において取得した、又はパラメータ記憶部３０に記憶されているパラメータの各々に基づいて、上記（５ａ）式、（５ｂ）式、及び（６）式に従って、非終端記号Ａｎの各々に対するトピックｋ毎の内側確率Ｉｋ,ｎと、記号系列Ｓｉ及び非終端記号Ａｎの組み合わせの各々に対する確率ψｉ,ｎと、非終端記号Ａｒの各々に対するトピックａ毎のパラメータＩＲａ,ｒとを計算する。
【０２７４】
次に、ステップＳ１０８で、学習部２８は、ステップＳ１０４において取得した、又はパラメータ記憶部３０に記憶されているパラメータの各々と、ステップＳ１０６において取得した内側確率Ｉｋ,ｎ、確率ψｉ,ｎ、及びパラメータＩＲａ,ｒとに基づいて、上記（７）式、（８）式、及び（９）式に従って、非終端記号Ａｎの各々に対するトピックｋ毎の外側期待値Ｏｎ,ｋを計算する。
【０２７５】
次に、ステップＳ１１０で、ステップＳ１０６において取得した内側確率Ｉｋ,ｎ、確率ψｉ,ｎ、及びパラメータＩＲａ,ｒと、ステップＳ１０８において取得した外側期待値Ｏｎ,ｋと、ステップＳ１０４において取得した、又はパラメータ記憶部３０に記憶されているパラメータの各々とに基づいて、上記（１０）式〜（１７）式に従って、パラメータの各々を更新し、更新したパラメータの各々をパラメータ記憶部３０に記憶する。
【０２７６】
次に、ステップＳ１１２で、学習部２８は、終了条件を満たしているか否かを判定する。学習部２８が、終了条件を満たしていると判定した場合には、データ解析処理は、ステップＳ１１４へ移行する。一方、学習部２８が、終了条件を満たしていないと判定した場合には、ステップＳ１０６へ移行し、ステップＳ１０６〜ステップＳ１１２までの処理を繰り返す。
【０２７７】
次に、ステップＳ１１４で、学習部２８が、ステップＳ１１０において取得したパラメータの各々の値を出力部９０から出力して、データ解析処理ルーチンを終了する。
【０２７８】
＜実験例＞
本実施形態に係るデータ解析装置に、図６に示す５つの実データに対して適用し、系列を考慮しないトピックモデルの体表例であるｌａｔｔｅｎｔ  Ｄｉｒｉｃｈｌｅｔ  ａｌｌоｃａｔｉоｎ（ＬＤＡ）と比較した。なお、系列情報を考慮したトピックモデルである手法（非特許文献１）は計算量が膨大になるため、同データセットに対して適用した場合、本実施形態に係るデータ解析装置を用いて場合の１００倍以上の時間がかかると予想されるため、比較しない。
【０２７９】
ここで、モデルの良し悪しを図る指標として、テストデータに対する周辺対数尤度を利用した。この指標は大きいほどモデルがデータに適していることを意味する。ここで、ＬＤＡは元記号系列
【０２８０】
【数１０７】
2016212742.tif 000116
【０２８１】
を直接入力した場合（ＬＤＡ１）と、圧縮後の記号系列
【０２８２】
【数１０８】
2016212742.tif 000117
【０２８３】
を入力した場合（ＬＤＡ２）との２種類の実験を行った。系列情報を破壊しないため、高頻度語（ストップワード）や低頻度語の除去という前処理は行っていない。トピック数Ｋを５,１０,...,１００と変化させながら学習を行い、文長で正規化されたテスト対数尤度を計算した。
【０２８４】
図７及び図８に各データセットに対する、ＲＴＭ、ＬＤＡ１、及びＬＤＡ２の各々の負のテスト対数尤度を示す。グラフより、全データセットにおいて、ＲＴＭのテスト対数尤度が最も良いことがわかる。これにより、構造情報を考慮することでより系列データにあったモデリングが行えることが確認できる。
【０２８５】
計算時間はＬＤＡがＫに対して線形であるのに対し、ＲＴＭはＲＫ２の影響で緩やかに非線形に増加している。計算時間の増加はＭ＋Ｄ＋Ｖに対するＲが大きいほど顕著になる。
【０２８６】
ここで、ＲはＳの１／１００以下であるため、ＨＭＭをベースにしたトピックモデルは、この１００倍以上の計算時間が必要だと予想される。
【０２８７】
なお、図６に示した各データセットについては、記号系列数Ｄ、語彙数Ｖ、ルール数Ｒ、元文の総文長Ｓ、圧縮後の総文長Ｓ＊、元文の各記号系列の異なり語彙数の総和Ｍ＊、及び圧縮後の各記号系列の異なり語彙数の総和Ｍとする。
【０２８８】
以上説明したように、本発明の実施形態に係るデータ解析装置によれば、入力された記号系列を圧縮した、文脈自由文法を生成し、文脈自由文法を表す構文木を生成すると共に、トピック毎の終端記号の分布を表すパラメータ、トピックの分布を表すパラメータ、トピック毎の左側の子節点の潜在変数に割り当てられるトピックの分布を表すパラメータ、及びトピック毎の右側の子節点の潜在変数に割り当てられるトピックの分布を表すパラメータを含むモデルパラメータに初期値を設定し、モデルパラメータと構文木とに基づいて、非終端記号の各々に対し、トピック毎に、非終端記号に対応し、かつ、潜在変数にトピックが割り当てられた内点から、構文木を辿って終端記号が得られる確率である内側確率を計算し、非終端記号の各々に対し、トピック毎に、非終端記号に対応する内点の潜在変数にトピックが割り当てられる回数の期待値である外側期待値を計算し、計算した内側確率及び外側期待値に基づいて、モデルパラメータを更新することを、予め定められた終了条件を満たすまで繰り返すことにより、高速に系列情報を考慮したトピック解析を行うことができる。
【０２８９】
また、解析対象の記号系列が持つ系列情報を有効利用したトピック解析が可能となる。
【０２９０】
また、内部で記号系列圧縮法を利用することにより、情報を圧縮したままモデルの学習が行えるため、非常に高速に系列情報を考慮したトピック解析が可能となる。
【０２９１】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０２９２】
例えば、本実施形態におけるデータ解析装置において、
【０２９３】
【数１０９】
2016212742.tif 000118
【０２９４】
を非終端記号集合として、文字レベルでの圧縮の様子を示す場合について説明したが、これに限定されるものではなく、単語などのある程度の長さを持った記号列を一塊としたものでもよい。
【０２９５】
また、本実施形態においては、モデル生成部において初期値を設定するパラメータを
【０２９６】
【数１１０】
2016212742.tif 000119
【０２９７】
とする場合について説明したが、これに限定されるものではない。例えば、初期値を設定するパラメータを、本実施形態において初期値を設定したパラメータに加えて、パラメータ
【０２９８】
【数１１１】
2016212742.tif 000120
【０２９９】
の各々について初期値を設定してもよい。この場合、学習部における１回目の処理においては、初期値を設定したパラメータの各々を用いて、内側確率、及び外側期待値を計算する処理を行い、当該計算された内側確率、及び外側期待値と、パラメータの各々を用いて、パラメータの各々を更新する処理を行う。
【０３００】
また、本実施形態においては、ＲＴＭの学習は変分ベイズ法を用いる場合について説明したが、これに限定されるものではない。例えば、ＥＭアルゴリズムに基づく最尤推定やＭＡＰ推定を用いてもよい。
【０３０１】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記憶媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。
【符号の説明】
【０３０２】
１０   入力部
２０   演算部
２４   圧縮部
２６   モデル生成部
２８   学習部
３０   パラメータ記憶部
９０   出力部
１００ データ解析装置
【図１】
2016212742.tif 000121
【図５】
2016212742.tif 000122
【図２】
2016212742.tif 000123
【図３】
2016212742.tif 000124
【図４】
2016212742.tif 000125
【図６】
2016212742.tif 000126
【図７】
2016212742.tif 000127
【図８】
2016212742.tif 000128