(57)【特許請求の範囲】
【請求項１】
言語が異なる２以上の文書であり、各々、文書の部分である２以上のセグメントを有する２以上の文書の集合である多言語文書集合が格納される文書集合格納部と、
前記多言語文書集合が有する２以上の文書を構成する２以上の各セグメント間の対応であり、異なる文書に含まれる２以上のセグメント間の対応である１以上のセグメント間対応関係が管理され対応管理部と、
２以上の各言語に対応付けて、２以上の各トピックの単語分布を示す単語分布情報が格納される単語分布情報格納部と、
前記多言語文書集合に対するトピック分布であり、２以上の言語の各文書に共通のトピック分布を示す文書トピック分布情報を確率的に取得する文書トピック分布生成部と、
前記１以上の各セグメント間対応関係により対応付けられる２以上のセグメントを有する１以上の各セグメント集合に対して、または１以上のセグメント集合および前記１以上の各セグメント間対応関係により対応付けられない１以上の各セグメントに対して、各セグメントを含む文書の文書トピック分布情報を用いて、トピック分布を示すセグメントトピック分布情報であり、前記セグメント集合を構成する２以上の各セグメントに対して同一のトピック分布を示すセグメントトピック分布情報を確率的に取得するセグメントトピック分布生成部と、
前記多言語文書集合が有する２以上の各文書に含まれる各単語に対して、当該単語が含まれるセグメントのセグメントトピック分布情報を用いて、各単語のトピックを確率的に決定し、出力する単語トピック決定部とを具備するトピック推定装置。
【請求項２】
前記セグメント間対応関係を用いて、対応関係のある１以上のセグメント集合を取得するセグメント集合取得部をさらに具備し、
前記セグメントトピック分布生成部は、
前記セグメント集合取得部が取得した１以上の各セグメント集合に対して、または前記セグメント集合取得部が取得した１以上のセグメント集合および前記１以上の各セグメント間対応関係により対応付けられない１以上の各セグメントに対して、１以上の各セグメントを含む文書の文書トピック分布情報である基底測度と、予め決められた集中度パラメータと、予め決められたディスカウントパラメータとを用いたPitman-Yor過程から、セグメントトピック分布情報を生成する請求項１記載のトピック推定装置。
【請求項３】
前記単語トピック決定部は、
２以上の各言語の文書ごと、および各文書に含まれるセグメントごとに、各セグメントに含まれる各単語の位置に対して、当該セグメントのセグメントトピック分布情報をパラメータとする多項分布から隠れ変数である潜在トピックを取得し、当該潜在トピックと前記文書に対応する単語分布情報とを用いて、確率的に各単語のトピックを決定し、出力する請求項１または請求項２記載のトピック推定装置。
【請求項４】
前記多言語文書集合が有する言語が異なる２以上の各文書が有するセグメント間の類似度を算出し、当該類似度を用いて、１以上のセグメント間対応関係を取得するセグメント間対応関係取得部をさらに具備し、
前記対応管理部の１以上のセグメント間対応関係は、前記セグメント間対応関係取得部が取得したセグメント間対応関係である請求項１から請求項３いずれか一項に記載のトピック推定装置。
【請求項５】
記録媒体は、
言語が異なる２以上の文書であり、各々、文書の部分である２以上のセグメントを有する２以上の文書の集合である多言語文書集合が格納される文書集合格納部と、
前記多言語文書集合が有する２以上の文書を構成する２以上の各セグメント間の対応であり、異なる文書に含まれる２以上のセグメント間の対応である１以上のセグメント間対応関係が管理され対応管理部と、
２以上の各言語に対応付けて、２以上の各トピックの単語分布を示す単語分布情報が格納される単語分布情報格納部とを具備し、
文書トピック分布生成部、セグメントトピック分布生成部、および単語トピック決定部により実現されるトピック推定方法であって、
前記文書トピック分布生成部が、前記多言語文書集合に対するトピック分布であり、２以上の言語の各文書に共通のトピック分布を示す文書トピック分布情報を確率的に取得する文書トピック分布生成ステップと、
前記セグメントトピック分布生成部が、前記１以上の各セグメント間対応関係により対応付けられる２以上のセグメントを有する１以上の各セグメント集合に対して、または１以上のセグメント集合および前記１以上の各セグメント間対応関係により対応付けられない１以上の各セグメントに対して、各セグメントを含む文書の文書トピック分布情報を用いて、トピック分布を示すセグメントトピック分布情報であり、前記セグメント集合を構成する２以上の各セグメントに対して同一のトピック分布を示すセグメントトピック分布情報を確率的に取得するセグメントトピック分布生成ステップと、
前記単語トピック決定部が、前記多言語文書集合が有する２以上の各文書に含まれる各単語に対して、当該単語が含まれるセグメントのセグメントトピック分布情報を用いて、各単語のトピックを確率的に決定し、出力する単語トピック決定ステップとを具備するトピック推定方法。
【請求項６】
コンピュータがアクセス可能な記録媒体は、
言語が異なる２以上の文書であり、各々、文書の部分である２以上のセグメントを有する２以上の文書の集合である多言語文書集合が格納される文書集合格納部と、
前記多言語文書集合が有する２以上の文書を構成する２以上の各セグメント間の対応であり、異なる文書に含まれる２以上のセグメント間の対応である１以上のセグメント間対応関係が管理され対応管理部と、
２以上の各言語に対応付けて、２以上の各トピックの単語分布を示す単語分布情報が格納される単語分布情報格納部とを具備し、
コンピュータを、
前記多言語文書集合に対するトピック分布であり、２以上の言語の各文書に共通のトピック分布を示す文書トピック分布情報を確率的に取得する文書トピック分布生成部と、
前記１以上の各セグメント間対応関係により対応付けられる２以上のセグメントを有する１以上の各セグメント集合に対して、または１以上のセグメント集合および前記１以上の各セグメント間対応関係により対応付けられない１以上の各セグメントに対して、各セグメントを含む文書の文書トピック分布情報を用いて、トピック分布を示すセグメントトピック分布情報であり、前記セグメント集合を構成する２以上の各セグメントに対して同一のトピック分布を示すセグメントトピック分布情報を確率的に取得するセグメントトピック分布生成部と、
前記多言語文書集合が有する２以上の各文書に含まれる各単語に対して、当該単語が含まれるセグメントのセグメントトピック分布情報を用いて、各単語のトピックを確率的に決定し、出力する単語トピック決定部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書単位で対応付いた非対訳コーパスの各文書または各単語に対して、言語を横断したトピックを割り当てるトピック推定装置等に関するものである。
【背景技術】
【０００２】
従来、文書に隠れた潜在トピックを教師無しで解析するトピックモデルが数多く提案されている。トピックモデルは、当初、単言語文書集合を対象としていたが、近年では、多言語文書集合に対して言語共通のトピックを解析する多言語トピックモデルが提案され、言語横断文書分類や対訳対抽出など数多くの多言語処理タスクに活用されている（非特許文献１参照）。
【０００３】
そして、Bilingual Latent Dirichlet Allocation (BiLDA) （非特許文献２、３参照）を筆頭に、多言語トピックモデルの多くは、ウィキペディアの記事集合など、直接の対訳関係はないが、話題や分野を文書単位で共有する多言語文書集合（以降、コンパラブルコーパスと言うこともある）を扱い、トピックを推定する。具体的には、コンパラブルコーパスの特徴を利用し、対応関係がある文書のトピック分布を共通化することで、文書間の対応関係を反映したトピック推定を行う。
【０００４】
なお、BiLDAでは、対応関係がある文書のトピック分布を共通化することで、多言語文書に潜む言語共通のトピックを解析する。
【０００５】
詳細には、BiLDAでは、図１４に示すモデルにより、図１５に示すアルゴリズムで文書のトピック分布を取得する。
【０００６】
図１４は、BiLDA により、言語eとfで記述されたD個の文書対から成るコンパラブルコーパスを生成する生成過程とグラフィカルモデルを示す。以降、各文書対di (i∈{1,…,D}) における言語eの文書をdie、言語fの文書をdifと表記する。BiLDAでは、各トピックk∈{1,…,K})は、言語eの単語分布?keと言語fの単語分布?kfを持つ。そして、各単語分布?kl (l∈{e,f})は、βlをパラメータとするディリクレ分布から生成される（図１５のステップ1から5参照）。文書対diの生成過程では、まず、diに対するトピック分布θiが、αをパラメータとするディリクレ分布から生成される（図１５のステップ7）。これにより、対応関係にあるdieとdif は共通のトピック分布θiを持つ。その後、文書dilの各単語位置m∈{1,...,Nil}に対して、潜在トピックzimlが、θiをパラメータとする多項分布(Multinomial(θi)）から生成される（図１５のステップ10）。そして、単語wimlのトピックが、具体化された潜在トピックziml と言語lの単語分布?lに基づき、確率分布p(wiml| ziml，?l) から生成される（図１５のステップ11）。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Ivan Vuli´c, Wim De Smet, Jie Tang, and Marie-Francine Moens. Probabilistic Topic Modeling in Multilingual Settings: An Short Overview of Its Methodology and Applications. Information Processing & Management, Vol. 51, No. 1, pp. 111-147, 2015.
【非特許文献２】David Mimno, Hanna M. Wallach, Jason Naradowsky,David A. Smith, and Andrew McCallum.Polylingual Topic Models. In Proc. EMNLP 2009, pp. 880-889, 2009.
【非特許文献３】Xiaochuan Ni, Jian-Tao Sun, Jian Hu, and Zheng Chen. Mining Multilingual Topics from Wikipedia. In Proc. WWW 2009, pp. 1155-1156, 2009.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
一方、ほとんどの文書は「文書―セグメント―単語」といった階層構造を持ち、コンパラブルコーパスの場合、文書より小さい単位で対応付く場合が多い。なお、セグメントとは、例えば、段落やセクションであり、文書を構成する部分の部分文書であり、単語より大きい。
【０００９】
しかし、従来技術においては、文書単位で対応付いた非対訳コーパスの各文書または各単語に対して言語を横断したトピックの推定を行う場合、セグメントを考慮していないために、トピックの推定の精度が高くなかった。
【００１０】
そこで、本発明において、コンパラブルコーパスにおけるセグメント間の対応関係を捉える新たな多言語トピックモデルにより、トピックの推定を行うことにより、トピック推定の精度を向上させることを目的とする。
【課題を解決するための手段】
【００１１】
本第一の発明のトピック推定装置は、言語が異なる２以上の文書であり、各々、文書の部分である２以上のセグメントを有する２以上の文書の集合である多言語文書集合が格納される文書集合格納部と、多言語文書集合が有する２以上の文書を構成する２以上の各セグメント間の対応であり、異なる文書に含まれる２以上のセグメント間の対応である１以上のセグメント間対応関係が管理され対応管理部と、２以上の各言語に対応付けて、２以上の各トピックの単語分布を示す単語分布情報が格納される単語分布情報格納部と、多言語文書集合に対するトピック分布であり、２以上の言語の各文書に共通のトピック分布を示す文書トピック分布情報を確率的に取得する文書トピック分布生成部と、１以上の各セグメント間対応関係により対応付けられる２以上のセグメントを有する１以上の各セグメント集合に対して、または１以上のセグメント集合および１以上の各セグメント間対応関係により対応付けられない１以上の各セグメントに対して、各セグメントを含む文書の文書トピック分布情報を用いて、トピック分布を示すセグメントトピック分布情報であり、セグメント集合を構成する２以上の各セグメントに対して同一のトピック分布を示すセグメントトピック分布情報を確率的に取得するセグメントトピック分布生成部と、多言語文書集合が有する２以上の各文書に含まれる各単語に対して、単語が含まれるセグメントのセグメントトピック分布情報を用いて、各単語のトピックを確率的に決定し、出力する単語トピック決定部とを具備するトピック推定装置である。
【００１２】
かかる構成により、文書より小さいセグメント単位の対応関係も考慮することにより、言語を横断したトピックの推定を精度高くできる。
【００１３】
また、本第二の発明のトピック推定装置は、第一の発明に対して、２以上の各言語ごとに、２以上の各トピックごとに、予め決められた第一のハイパーパラメータを与えたディリクレ分布に基づいて、単語分布を示す単語分布情報を取得する単語分布情報取得部をさらに具備し、単語分布情報格納部に格納されている単語分布情報は、単語分布情報取得部が取得した単語分布情報であり、文書トピック分布生成部は、多言語文書集合に対して、予め決められた第二のハイパーパラメータを与えたディリクレ分布から文書トピック分布情報を生成し、セグメント間対応関係を用いて、対応関係のある１以上のセグメント集合を取得するセグメント集合取得部をさらに具備し、セグメントトピック分布生成部は、セグメント集合取得部が取得した１以上の各セグメント集合に対して、またはセグメント集合取得部が取得した１以上のセグメント集合および１以上の各セグメント間対応関係により対応付けられない１以上の各セグメントに対して、１以上の各セグメントを含む文書の文書トピック分布情報である基底測度と、予め決められた集中度パラメータと、予め決められたディスカウントパラメータとを用いたPitman-Yor過程から、セグメントトピック分布情報を生成し、単語トピック決定部は、２以上の各言語の文書ごと、および各文書に含まれるセグメントごとに、各セグメントに含まれる各単語の位置に対して、セグメントのセグメントトピック分布情報をパラメータとする多項分布から隠れ変数である潜在トピックを取得し、潜在トピックと文書に対応する単語分布情報とを用いて、確率的に各単語のトピックを決定し、出力するトピック推定装置である。
【００１４】
かかる構成により、文書より小さいセグメント単位の対応関係も考慮することにより、言語を横断したトピックの推定を精度高くできる。
【００１５】
また、本第三の発明のトピック推定装置は、第一または第二の発明に対して、多言語文書集合が有する言語が異なる２以上の各文書が有するセグメント間の類似度を算出し、類似度を用いて、１以上のセグメント間対応関係を取得するセグメント間対応関係取得部をさらに具備し、対応管理部の１以上のセグメント間対応関係は、セグメント間対応関係取得部が取得したセグメント間対応関係であるトピック推定装置である。
【００１６】
かかる構成により、文書単位で対応付いた非対訳コーパスの各文書または各単語に対して言語を横断したトピックの推定を精度高く行う場合に、セグメント間の対応関係を自動推定できるため、セグメント間の対応関係を予め与える必要がない。
【００１７】
また、本第四の発明のトピック推定装置は、第三の発明に対して、セグメント間対応関係取得部は、セグメント間の類似度をパラメータとするベルヌーイ分布を用いて、１以上のセグメント間対応関係を取得するトピック推定装置である。
【００１８】
かかる構成により、文書単位で対応付いた非対訳コーパスの各文書または各単語に対して言語を横断したトピックの推定を精度高く行う場合に、セグメント間の対応関係を自動推定できるため、セグメント間の対応関係を予め与える必要がない。
【００１９】
また、本第五の発明のトピック推定装置は、第三または第四の発明に対して、多言語文書集合が有する２以上の各文書ごとに、各文書が有する各文に対して、セグメントの切れ目の文であるか否かを判断する境界推定部をさらに具備し、セグメント間対応関係取得部は、境界推定部がセグメントの切れ目の文として判断した文をセグメントの最後の文とするセグメント間の類似度を算出し、類似度を用いて、１以上のセグメント間対応関係を取得するトピック推定装置である。
【００２０】
かかる構成により、文書単位で対応付いた非対訳コーパスの各文書または各単語に対して言語を横断したトピックの推定を精度高く行う場合に、セグメントの境界も自動推定できる。
【００２１】
また、本第六の発明のトピック推定装置は、第五の発明に対して、境界推定部は、第三のハイパーパラメータと第四のハイパーパラメータとを用いたベータ分布に基づいて取得したパラメータのベルヌーイ分布から、各文書が有する各文に対して、セグメントの切れ目の文であるか否かを判断するトピック推定装置である。
【００２２】
かかる構成により、文書単位で対応付いた非対訳コーパスの各文書または各単語に対して言語を横断したトピックの推定を精度高く行う場合に、セグメントの境界も自動推定できる。
【発明の効果】
【００２３】
本発明によるトピック推定装置によれば、文書より小さいセグメント単位の対応関係も考慮することにより、言語を横断したトピックの推定を精度高くできる。
【図面の簡単な説明】
【００２４】
【図１】実施の形態１におけるトピック推定装置１のブロック図
【図２】同他のトピック推定装置１のブロック図
【図３】同トピック推定装置１の動作について説明するフローチャート
【図４】同文書のセグメントの切れ目の文を検知する動作について説明するフローチャート
【図５】同トピック推定装置１の動作の概念図
【図６】同トピック推定装置１のグラフィカルモデルを示す図
【図７】同ピック推定装置１のアルゴリズムを示す図
【図８】同実験結果を示す図
【図９】同実験結果を示す図
【図１０】同実験結果を示す図
【図１１】同実験結果を示す図
【図１２】同コンピュータシステムの概観図
【図１３】同コンピュータシステムの内部構成を示すブロック図
【図１４】同従来技術のグラフィカルモデルを示す図
【図１５】同従来技術のアルゴリズムを示す図
【発明を実施するための形態】
【００２５】
以下、トピック推定装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
【００２６】
（実施の形態１）
【００２７】
本実施の形態において、多言語文書集合のセグメント間の対応関係を用いて、単語のトピックや文書集合のトピック分布を推定するトピック推定装置について説明する。
【００２８】
また、本実施の形態において、多言語文書集合を構成する文書のセグメント間の対応関係を自動推定するトピック推定装置について説明する。
【００２９】
さらに、本実施の形態において、セグメント境界を自動推定するトピック推定装置について説明する。
【００３０】
図１は、本実施の形態におけるトピック推定装置１のブロック図である。
【００３１】
トピック推定装置１は、文書集合格納部１０、対応管理部１１、単語分布情報格納部１２、単語分布情報取得部１３、文書トピック分布生成部１４、セグメント集合取得部１５、セグメントトピック分布生成部１６、単語トピック決定部１７、セグメント間対応関係取得部１８、および境界推定部１９を備える。
【００３２】
文書集合格納部１０には、１または２以上の多言語文書集合が格納される。多言語文書集合は、言語が異なる２以上の文書の集合である。多言語文書集合を構成する２以上の文書は、直接の対訳関係はないが，話題や分野が共通である、または話題や分野を共有する文書である。また、言語が異なる２以上の各文書は、通常、２以上のセグメントを有する。セグメントは文書の部分である。セグメントとは、単語より大きく、文書より小さい。多言語文書集合は、少なくとも１以上の文書が２以上のセグメントを有する２以上の文書でも良い。
【００３３】
対応管理部１１には、１以上のセグメント間対応関係が管理される。セグメント間対応関係とは、通常、２以上の各セグメント間の対応を示す情報である。セグメント間対応関係は、多言語文書集合が有する２以上の文書を構成する２以上の各セグメント間の対応であり、異なる文書に含まれる２以上のセグメント間の対応を示す情報である。セグメント間対応関係は、例えば、対応関係のある２以上のセグメントの識別子や、対応関係のある２以上のセグメント間のリンク情報等である。なお、セグメント間対応関係で対応づけられる２以上のセグメントは異なる言語のセグメントである。対応管理部１１の１以上のセグメント間対応関係は、例えば、セグメント間対応関係取得部１８が取得したセグメント間対応関係である。ただし、対応管理部１１の１以上のセグメント間対応関係は、人手により入力された情報でも良い。
【００３４】
単語分布情報格納部１２は、２以上の各言語に対応付けて、２以上の各トピックの単語分布を示す単語分布情報が格納される。なお、トピックの数は問わない。単語分布情報格納部１２に格納されている単語分布情報は、例えば、後述する単語分布情報取得部１３が取得した単語分布情報である。ただし、単語分布情報格納部１２に格納されている単語分布情報は、予め格納されていても良い。単語分布情報格納部１２に格納されている単語分布情報は、通常、４以上である。
【００３５】
単語分布情報取得部１３は、２以上の各言語ごとに、２以上の各トピックごとに、単語分布を示す単語分布情報を取得する。単語分布情報取得部１３は、２以上の各言語ごとに、２以上の各トピックごとに、単語分布を示す単語分布情報を、通常、確率的に取得する。
【００３６】
単語分布情報取得部１３は、２以上の各言語ごとに、２以上の各トピックごとに、例えば、予め決められた第一のハイパーパラメータを与えたディリクレ分布に基づいて、単語分布を示す単語分布情報を取得する。単語分布情報取得部１３は、第一のハイパーパラメータβを与えたディリクレ分布から単語分布情報を生成される。第一のハイパーパラメータβは何でも良い。βは、例えば、全要素が０．１、次元が単語数のベクトルである。なお、ディリクレ分布は公知技術につき、詳細な説明は省略する。
【００３７】
なお、単語分布情報取得部１３は、他の方法により、２以上の各言語ごとに、２以上の各トピックごとに、単語分布情報を取得しても良い。単語分布情報取得部１３は、例えば、ディリクレ分布以外の他の分布（例えば、多項分布）を用いて、確率的に単語分布情報を取得しても良い。
【００３８】
文書トピック分布生成部１４は、文書トピック分布情報を取得する。文書トピック分布情報は、多言語文書集合に対するトピック分布であり、２以上の言語の各文書に共通のトピック分布を示す情報である。文書トピック分布生成部１４は、通常、確率的に文書トピック分布情報を取得する。
【００３９】
文書トピック分布生成部１４は、多言語文書集合に対して、予め決められた第二のハイパーパラメータを与えたディリクレ分布から文書トピック分布情報を生成する。ここで、第二のハイパーパラメータαは、例えば、全要素が０．１のK（トピック数）次元ベクトルである。ただし、αは何でも良い。
【００４０】
なお、文書トピック分布生成部１４は、他の方法により、文書トピック分布情報を取得しても良い。文書トピック分布生成部１４は、例えば、ディリクレ分布以外の他の分布（例えば、多項分布）を用いて、文書トピック分布情報を、確率的に取得しても良い。
【００４１】
セグメント集合取得部１５は、セグメント間対応関係を用いて、対応関係のある１以上のセグメント集合を取得する。セグメント集合取得部１５は、対応関係のないセグメントを取得しても良い。
【００４２】
ここで、例えば、対応関係のある文書dieと文書difとが文書集合格納部１０に格納されている、とする。なお、文書dieは言語eの文書であり、文書difは言語fの文書である、とする。そして、文書dieはセグメント｛si1e,si2e｝を有し、文書difはセグメント｛si1f,si2f,si3f｝を有する、とする。そして、対応管理部１１には、｛si1e｝と｛si1f｝と{si2f}とが対応していることを示すセグメント間対応関係（yi11とyi12が１）が格納されている、とする。なお、対応管理部１１には、その他のセグメント間の対応を示すセグメント間対応関係「０」が格納されていても良い。かかる場合、セグメント集合取得部１５は、ASi={ASi1={si1e, si1f, si2f}, ASi2={ si2e｝, ASi3={ si3f｝}を生成する。なお、セグメント間対応関係により対応付けられない１以上の各セグメントであるASi2={ si2e｝, ASi3={ si3f｝もセグメント集合と言っても良い。つまり、セグメント集合は、通常、２以上のセグメントの集合であるが、一つのセグメントも含むと考えても良い。
【００４３】
セグメントトピック分布生成部１６は、１以上の各セグメント間対応関係により対応付けられる２以上のセグメントを有する１以上の各セグメント集合に対して、各セグメントを含む文書の文書トピック分布情報を用いて、トピック分布を示すセグメントトピック分布情報であり、セグメント集合を構成する２以上の各セグメントに対して同一のトピック分布を示すセグメントトピック分布情報を取得する。セグメントトピック分布生成部１６は、通常、確率的に、セグメントトピック分布情報を生成する。
【００４４】
また、セグメントトピック分布生成部１６は、１以上のセグメント集合および１以上の各セグメント間対応関係により対応付けられない１以上の各セグメントに対して、各セグメントを含む文書の文書トピック分布情報を用いて、トピック分布を示すセグメントトピック分布情報であり、セグメント集合を構成する２以上の各セグメントに対して同一のトピック分布を示すセグメントトピック分布情報を取得する。
【００４５】
セグメントトピック分布生成部１６は、セグメント集合取得部１５が取得した１以上の各セグメント集合に対して、セグメントを含む文書の文書トピック分布情報を用いて、セグメントトピック分布情報を取得する。
【００４６】
セグメントトピック分布生成部１６は、例えば、１以上の各セグメント集合（セグメント間対応関係により対応付けられないセグメントを含んでも良い）に対して、１以上の各セグメントを含む文書の文書トピック分布情報である基底測度と、予め決められた集中度パラメータと、予め決められたディスカウントパラメータとを用いたPitman-Yor過程から、セグメントトピック分布情報を生成する。なお、セグメント間対応関係により対応付けられているセグメントは、共通のセグメントトピック分布情報を持つ。
【００４７】
セグメントトピック分布生成部１６は、例えば、基底測度θｉ、集中度パラメータa、ディスカウントパラメータbのPitman-Yor過程からセグメントトピック分布情報νigを生成する。なお、θｉは、セグメント集合に含まれる１以上のセグメントが含まれる１以上の文書の文書トピック分布情報である。また、セグメントトピック分布生成部１６は、他の方法により、セグメントトピック分布情報を生成しても良い。他の方法とは、例えば、基底測度θｉ、集中度パラメータaのディリクレ過程からセグメントトピック分布情報νigを生成する方法である。
【００４８】
単語トピック決定部１７は、多言語文書集合が有する２以上の各文書に含まれる各単語に対して、単語が含まれるセグメントのセグメントトピック分布情報を用いて、各単語のトピックを決定し、出力する。
【００４９】
単語トピック決定部１７は、例えば、２以上の各言語の文書ごと、および各文書に含まれるセグメントごとに、各セグメントに含まれる各単語の位置m∈{1,…Nijl}に対して、セグメントのセグメントトピック分布情報νigをパラメータとする多項分布から隠れ変数である潜在トピックzijmlを取得し、当該潜在トピックzijmlと文書に対応する単語分布情報φlとを用いて、確率的に各単語のトピックを決定し、出力する。なお、gは、セグメントsijl を含むセグメント集合のインデックスである。  なお、単語トピック決定部１７は、セグメントトピック分布情報を用いて、確率的に、単語のトピックを決定すれば良い。単語トピック決定部１７は、セグメントトピック分布情報を用いる他の方法により、確率的に、各単語のトピックを決定しても良い。他の方法とは、例えば、上記の多項分布に代えて他の分布（例えば、ディリクレ分布）を用いることである。
【００５０】
ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。
【００５１】
セグメント間対応関係取得部１８は、多言語文書集合が有する言語が異なる２以上の各文書が有するセグメント間の類似度を算出し、当該類似度を用いて、１以上のセグメント間対応関係を取得する。
【００５２】
セグメント間対応関係取得部１８は、例えば、セグメント間の類似度をパラメータとするベルヌーイ分布を用いて、１以上のセグメント間対応関係を取得する。なお、セグメント間の類似度として、例えば、２つのセグメントのTF-IDFトピックベクトルのコサイン類似度を用いる。なお、ここでは、セグメント間対応関係取得部１８は、例えば、ベクトルの各重みを、通常の単語TF-IDFとは異なり、コーパスを文書集合ではなくセグメント集合と捉え、各セグメントを単語列ではなく潜在トピック列とみなして算出する。ただし、セグメント間の類似度として、セグメントの単語集合から構成される文書ベクトルのコサイン類似度等でも良い。かかる類似度の算出方法は公知技術であるので、詳細な説明を省略する。
【００５３】
なお、セグメント間対応関係取得部１８は、例えば、以下の数式１に基づいて、セグメント間対応関係（yijj'）を取得する。なお、「yijj'」は、２つのセグメント間に対応関係があるか否かを示す情報である。また、セグメント間対応関係（yijj'）は、例えば、「０（対応関係なし）」または「１（対応関係あり）」の値を採り得る。
【数１】
0006674172.tif 000002
【００５４】
数式１において、xはセグメント間対応関係（yijj'）の値である。zは、各単語のトピックを表す隠れ変数である。wは、単語である。ここで、言語依存の変数に対して、上付き文字を省略することで、e とfの両言語の変数を表すことにする（例えば、z={ze,zf}）。tは、中華料理店過程のテーブルに関する変数である。αは、第二のハイパーパラメータである。βは、第一のハイパーパラメータである。aは、集中度パラメータである。bは、ディスカウントパラメータである。y-yijj' は、全セグメント間対応関係（y）からy_{ijj'}を除いたセグメント間対応関係の集合である。Sijeは、言語eの文書iのj番目のセグメントである。Sij'fは、言語ｆの文書iのj'番目のセグメントである。さらに、Cos(Sije, Sij'f)は、２つのセグメント間のコサイン類似度である。
【００５５】
なお、セグメント間対応関係取得部１８等は、直接的に、隠れ変数の事後確率ｐ（θ，ν，z，φ|α，β，w，y）を算出できない。そこで、セグメント間対応関係取得部１８等は、ギブスサンプリングにより各隠れ変数を推定する。ここでは、セグメント間対応関係取得部１８等は、階層性（νとzの生成過程）を中華料理店過程で表現する。この過程により、θ，ν，φを積分消去し、代わりに、中華料理店過程のテーブルに関する変数tを導入する。したがって、セグメント間対応関係取得部１８等は、zとtの２種類の変数のサンプリングを交互に繰り返し行うことで推定を行う。ただし、yが観測データとして与えられない場合、yもサンプリングにより推定する。
【００５６】
なお、ギブスサンプリングは、公知技術であり、「David Mimno, Hanna M. Wallach, Jason Naradowsky, David A. Smith, and Andrew McCallum. Polylingual Topic Models. In Proc. EMNLP 2009, pp. 880-889, 2009.」「Xiaochuan Ni, Jian-Tao Sun, Jian Hu, and Zheng Chen. Mining Multilingual Topics from Wikipedia. In Proc. WWW 2009, pp. 1155-1156, 2009.」「Ivan Vulic', Wim De Smet, Jie Tang, and Marie Francine Moens. Probabilistic Topic Modeling in Multilingual Settings: An Overview of Its Methodology and Applications. Information Processing & Management, Vol. 51, No. 1, pp. 111-147, 2015.」等に記載されている。
【００５７】
セグメント間対応関係取得部１８等は、例えば、ギブスサンプリングを用いて、数式２に示す事後確率を用いて、θ、ν、φ取得する。
【数２】
0006674172.tif 000003
【００５８】
ここで、数式２等の推定に用いる統計量において、tijklは、セグメントsijlのトピックkに関するテーブル数である。また、Tijlは、セグメントsijlの総テーブル数（Σktijkl) である。また、nijklは、セグメントsijl中のトピックkの単語数である。また、Nijlは、セグメントsijl中の総単語数（Σknijkl) である。また、Mkwlは、トピックがkである言語lの単語wの数である。また、Mklは、w番目の要素がMkwlである|wl|次元ベクトルである。
【００５９】
また、zijmlの事後分布は、上記と同様、数式３に示すように、ギブスサンプリングにより、算出される。
【数３】
0006674172.tif 000004
【００６０】
また、tijklの事後分布は、上記と同様、数式４に示すように、ギブスサンプリングにより、算出される。
【数４】
0006674172.tif 000005
【００６１】
セグメント間対応関係取得部１８は、例えば、境界推定部１９がセグメントの切れ目の文として判断した文をセグメントの最後の文とするセグメント間の類似度を算出し、類似度を用いて、１以上のセグメント間対応関係を取得しても良い。
【００６２】
境界推定部１９は、多言語文書集合が有する２以上の各文書ごとに、各文書が有する各文に対して、セグメントの切れ目の文であるか否かを判断する。境界推定部１９は、各文書が有する各文に対して、セグメントの切れ目であるか否かを示す区切り情報を取得しても良い。なお、区切り情報は、例えば、「１」または「０」である。例えば、区切り情報「１」はセグメントの区切りであることを示し、「０」は区切りでないことを示す。また、切れ目と区切りは同意義である。
【００６３】
境界推定部１９は、例えば、第三のハイパーパラメータと第四のハイパーパラメータとを用いたベータ分布に基づいて取得したパラメータのベルヌーイ分布から、各文書が有する各文に対して、セグメントの切れ目の文であるか否かを判断する。
【００６４】
例えば、５つの文{ui1l,ui2l,ui3l,ui4l,ui5l}を有する文書の各文に対して、境界推定部１９は区切り情報を取得し、例えば、区切り情報のベクトルρil=(0,1,0,0,1)を得た、とする。なお、ρil=(0,1,0,0,1)は、５つの文のうち、第２文と第５文が区切りであることを示す。かかる場合、本文書dilは、２つのセグメントを有する。セグメント１は{ui1l,ui2l }（第１文と第２文）であり、セグメント２は{ui3l,ui4l,ui5l}（第３文と第４文と第５文）である。なお、ここで、区切り情報「１」はセグメントの区切りであることを示し、「０」は区切りでないことを示す。
【００６５】
境界推定部１９は、例えば、数式５に示すように、ギブスサンプリングにより、各文の区切り情報（ρihl）を推定しても良い。
【数５】
0006674172.tif 000006
【００６６】
数式５において、ρihlは、言語lの文書iの文h区切り情報である。上の式は、s_{m}をρihl を1にすることでs_{r}とs_{l}に分割する場合、下の式はs_{r}とs_{l}をρihl を0にすることでs_{m}に結合させる場合を表す。また、Τ（数式５の下から２行目のΣの下のＴ）は、s_{r}又はs_{l}、あるいはその両者のtijklが1であるtijklの集合である。また、ci1lは、言語ｌの文書ｉにおける区切り情報「１」の文の総数である。ci0lは、言語ｌの文書ｉにおける区切り情報「０」の文の総数である。
【００６７】
なお、境界推定部１９は、他の方法により、各文書が有する各文に対して、セグメントの切れ目の文であるか否かを判断しても良い。境界推定部１９は、他の一般的な境界推定の手法を用いて、各文書が有する各文に対して、セグメントの切れ目の文であるか否かを判断しても良い。他の一般的な境界推定の手法は、例えば、語彙的結束性を用いる方法、手がかり句を用いる方法等である。
【００６８】
なお、トピック推定装置１において、図示しない出力部が、文書トピック情報、セグメントトピック情報、単語トピックなどを出力しても良い。
【００６９】
また、トピック推定装置１において、文書集合格納部１０の多言語文書集合が有する２以上の文書において、セグメントは予め与えられていても良い。かかる場合、境界推定部１９は不要である。
【００７０】
また、トピック推定装置１において、セグメント間の対応関係を示す１以上のセグメント間対応関係が予め与えられていても良い。かかる場合、セグメント間対応関係取得部１８は不要である。そして、かかる場合のトピック推定装置１のブロック図は、図２である。
【００７１】
さらに、例えば、単語分布情報取得部１３の処理は別の装置で行われても良い。図２において、単語分布情報取得部１３は不要となる。
【００７２】
文書集合格納部１０、対応管理部１１、および単語分布情報格納部１２は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【００７３】
文書集合格納部１０等に多言語文書集合等が記憶される過程は問わない。例えば、記録媒体を介して多言語文書集合等が文書集合格納部１０等で記憶されるようになってもよく、通信回線等を介して送信された多言語文書集合等が文書集合格納部１０等で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された多言語文書集合等が文書集合格納部１０等で記憶されるようになってもよい。
【００７４】
単語分布情報取得部１３、文書トピック分布生成部１４、セグメント集合取得部１５、セグメントトピック分布生成部１６、単語トピック決定部１７、セグメント間対応関係取得部１８、および境界推定部１９は、通常、ＭＰＵやメモリ等から実現され得る。単語分布情報取得部１３等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００７５】
次に、図１のトピック推定装置１の動作について、図３のフローチャートを用いて説明する。なお、図３のフローチャートにおいて、文書集合格納部１０には、２つの多言語文書集合が格納されている、とする。
【００７６】
（ステップＳ３０１）単語分布情報取得部１３は、カウンタｋに１を代入する。
【００７７】
（ステップＳ３０２）単語分布情報取得部１３は、ｋ番目のトピックが存在するか否かを判断する。ｋ番目のトピックが存在する場合はステップＳ３０３に行き、ｋ番目のトピックが存在しない場合はステップＳ３０８に行く。なお、トピックの情報は、通常、図示しない格納部に予め格納されている。また、トピックの情報とは、トピックの数、トピックを識別する情報等のうち１種類以上の情報である。
【００７８】
（ステップＳ３０３）単語分布情報取得部１３は、カウンタｌに１を代入する。
【００７９】
（ステップＳ３０４）単語分布情報取得部１３は、ｌ番目の言語が存在するか否かを判断する。ｌ番目の言語が存在する場合はステップＳ３０５に行き、ｌ番目の言語が存在しない場合はステップＳ３０７に行く。なお、文書集合格納部１０の多言語文書集合を検査し、いくつの言語の文書が存在するか否かを判断しても良いし、存在する言語の情報が図示しない格納部に予め格納されていても良い。なお、存在する言語の情報とは、多言語文書集合を構成する文書の言語の数、多言語文書集合を構成する文書の言語を識別する情報等である。
【００８０】
（ステップＳ３０５）単語分布情報取得部１３は、ｋ番目のトピックのｌ番目の言語（ｌ番目の言語の文書と言っても良い）の単語分布情報を取得する。単語分布情報取得部１３は、例えば、予め決められた第一のハイパーパラメータを与えたディリクレ分布に基づいて、単語分布情報を取得する。
【００８１】
（ステップＳ３０６）単語分布情報取得部１３は、カウンタｌを１、インクリメントし、ステップＳ３０４に戻る。
【００８２】
（ステップＳ３０７）単語分布情報取得部１３は、カウンタｋを１、インクリメントし、ステップＳ３０２に戻る。
【００８３】
（ステップＳ３０８）文書トピック分布生成部１４は、カウンタｉに１を代入する。
【００８４】
（ステップＳ３０９）文書トピック分布生成部１４は、ｉ番目の多言語文書集合が文書集合格納部１０に存在するか否かを判断する。ｉ番目の多言語文書集合が存在する場合はステップＳ３１０に行き、存在しない場合は処理を終了する。なお、処理を終了する前に、図示しない出力部が、文書トピック情報、セグメントトピック情報、単語トピック等を出力しても良い。
【００８５】
（ステップＳ３１０）文書トピック分布生成部１４は、ｉ番目の多言語文書集合の文書トピック分布情報を取得する。文書トピック分布生成部１４は、例えば、ｉ番目の多言語文書集合に対して、予め決められた第二のハイパーパラメータを与えたディリクレ分布から文書トピック分布情報を生成する。
【００８６】
（ステップＳ３１１）セグメント間対応関係取得部１８は、対応管理部１１に１以上のセグメント間対応関係が存在するか否かを判断する。１以上のセグメント間対応関係が存在する場合はステップＳ３１３に行き、存在しない場合はステップＳ３１２に行く。
【００８７】
（ステップＳ３１２）セグメント間対応関係取得部１８は、セグメント間の類似度を算出し、当該類似度を用いて、１以上のセグメント間対応関係を取得する。セグメント間対応関係取得部１８は、例えば、セグメント間の類似度をパラメータとするベルヌーイ分布を用いて、１以上のセグメント間対応関係を取得する。なお、セグメント間の類似度とは、ｉ番目の多言語文書集合が有する言語が異なる２以上の各文書が有するセグメント間の類似度である。
【００８８】
（ステップＳ３１３）セグメント集合取得部１５は、１以上のセグメント間対応関係を用いて、対応関係のある１以上のセグメント集合を決定する。なお、ここでの１以上のセグメント集合は、他のセグメントと対応関係にない一つのセグメントも含むとする。
【００８９】
（ステップＳ３１４）セグメントトピック分布生成部１６は、カウンタｇに１を代入する。
【００９０】
（ステップＳ３１５）セグメントトピック分布生成部１６は、ステップＳ３１３で取得されたセグメント集合の中で、ｇ番目のセグメント集合が存在するか否かを判断する。ｇ番目のセグメント集合が存在すればステップＳ３１６に行き、存在しなければステップＳ３１８に行く。
【００９１】
（ステップＳ３１６）セグメントトピック分布生成部１６は、ｇ番目のセグメント集合に対して、当該セグメント集合を含む１または２以上の文書の１または２以上の文書トピック分布情報を用いて、セグメントトピック分布情報を取得する。なお、セグメントトピック分布生成部１６は、例えば、基底測度θｉ、集中度パラメータa、ディスカウントパラメータbのPitman-Yor過程からセグメントトピック分布情報を生成する。
【００９２】
（ステップＳ３１７）セグメントトピック分布生成部１６は、カウンタｇを１、インクリメントし、ステップＳ３１５に戻る。
【００９３】
（ステップＳ３１８）単語トピック決定部１７は、カウンタｌに１を代入する。
【００９４】
（ステップＳ３１９）単語トピック決定部１７は、ｉ番目の多言語文書集合の文書の中に、ｌ番目の言語の文書が存在するか否かを判断する。ｌ番目の言語の文書が存在すればステップＳ３２０に行き、存在しなければステップＳ３２９に行く。
【００９５】
（ステップＳ３２０）単語トピック決定部１７は、カウンタｊに１を代入する。
【００９６】
（ステップＳ３２１）単語トピック決定部１７は、ｉ番目の多言語文書集合のｌ番目の言語の文書中に、ｊ番目のセグメントが存在するか否かを判断する。ｊ番目のセグメントが存在する場合はステップＳ３２２に行き、存在しない場合はステップＳ３２８に行く。
【００９７】
（ステップＳ３２２）単語トピック決定部１７は、ｌ番目の言語の文書中のｊ番目のセグメントのインデックスを取得する。ｊ番目のセグメントのインデックスとは、ｊ番目のセグメントを識別する情報であれば何でも良い。
【００９８】
（ステップＳ３２３）単語トピック決定部１７は、カウンタｍに１を代入する。
【００９９】
（ステップＳ３２４）単語トピック決定部１７は、ｊ番目のセグメントの中に、ｍ番目の単語位置が存在するか否かを判断する。ｍ番目の単語位置が存在する場合はステップＳ３２５に行き、存在しない場合はステップＳ３２７に行く。
【０１００】
（ステップＳ３２５）単語トピック決定部１７は、ｊ番目のセグメントのセグメントトピック分布情報を用いて、ｍ番目の単語位置の単語のトピックを取得する。なお、ここで、単語トピック決定部１７は、ｍ番目の単語位置の単語のトピックが視覚的に認識できるように出力しても良い。また、単語トピック決定部１７は、例えば、ｊ番目のセグメントのセグメントトピック分布情報をパラメータとする多項分布から隠れ変数である潜在トピックを取得し、当該潜在トピックと文書に対応する単語分布情報とを用いて、確率的に各単語のトピックを取得しても良い。
【０１０１】
（ステップＳ３２６）単語トピック決定部１７は、カウンタｍを１、インクリメントし、ステップＳ３２４に戻る。
【０１０２】
（ステップＳ３２７）単語トピック決定部１７は、カウンタｊを１、インクリメントし、ステップＳ３２１に戻る。
【０１０３】
（ステップＳ３２８）単語トピック決定部１７は、カウンタｌを１、インクリメントし、ステップＳ３１９に戻る。
【０１０４】
（ステップＳ３２９）文書トピック分布生成部１４は、カウンタｉを１、インクリメントし、ステップＳ３０９に戻る。
【０１０５】
なお、図３のフローチャートにおいて、各文書のセグメントの区切りの情報が存在しない場合、境界推定部１９が、各文書が有する各文に対して、セグメントの切れ目の文であるか否かを判断し、各文書のセグメントの区切りの情報を取得しても良い。
【０１０６】
また、境界推定部１９が、セグメントの区切りの情報を有しない各文書のセグメントの切れ目の文を検知する動作について、図４のフローチャートを用いて説明する。
【０１０７】
（ステップＳ４０１）境界推定部１９は、カウンタｉに１を代入する。
【０１０８】
（ステップＳ４０２）境界推定部１９は、文書集合格納部１０に、セグメントに分割されていないｉ番目の文書が存在するか否かを判断する。ｉ番目の文書が存在する場合はステップＳ４０３に行き、存在しない場合は処理を終了する。
【０１０９】
（ステップＳ４０３）境界推定部１９は、ｉ番目の文書のトピックシフト確率を取得する。なお、トピックシフト確率を取得する処理は公知技術であるので、詳細な説明を省略する。トピックシフト確率を取得する技術は、「Lan Du, Wray Buntine, and Mark Johnson. 2013. Topic Segmentation with a Structured Topic Model. In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 190-200. 」に記載されている技術と同様である。
【０１１０】
（ステップＳ４０４）境界推定部１９は、カウンタｈに１を代入する。
【０１１１】
（ステップＳ４０５）境界推定部１９は、ｉ番目の文書にｈ番目の文が存在するか否かを判断する。ｈ番目の文が存在する場合はステップＳ４０６に行き、ｈ番目の文が存在しない場合はステップＳ４０８に行く。
【０１１２】
（ステップＳ４０６）境界推定部１９は、ｉ番目の文書のトピックシフト確率を用いて、ｈ番目の文の区切り情報を取得する。境界推定部１９は、例えば、ｉ番目の文書のトピックシフト確率をベルヌーイ分布に与え、ｈ番目の文の区切り情報を取得する。
【０１１３】
（ステップＳ４０７）境界推定部１９は、カウンタｈを１、インクリメントする。ステップＳ４０５に戻る。
【０１１４】
（ステップＳ４０８）境界推定部１９は、ｉ番目の文書を構成する各文の区切り情報を用いて、１または２以上のセグメントを取得する。
【０１１５】
（ステップＳ４０９）境界推定部１９は、カウンタｉを１、インクリメントする。ステップＳ４０２に戻る。
【０１１６】
以下、本実施の形態におけるトピック推定装置１の具体的な動作について説明する。トピック推定装置１の動作の概念図は、図５である。図５において、トピック推定装置１は、文書には階層構造があり、セグメント単位で対応付く点に着目している。なお、文書の階層構造とは、例えば、文書→セグメント（例：セクション、段落）→単語である。図５において、英語のAssociation footballの文書と日本語のサッカー（football）の文書とが対応付いている。また、セクション「History」とセクション「歴史(History)」とが対応付いている。また、セクション「Etymology and names」とセクション「名称(name)」とが対応付いている。また、セクション「Gameplay」とセクション「試合(game)」とが対応付いている。さらに、セクション「Laws」とセクション「ルール(rule)」とが対応付いている。そして、かかる場合において、トピック推定装置１は、対応関係にある文書のトピック分布は同じであることに加えて、対応関係にあるセグメントのトピック分布は同じである、としてトピック推定を行う。ここでのトピック推定とは、例えば、文書トピック分布情報、セグメントトピック分布情報、各単語のトピックのうちの１種類以上の情報の取得である。
【０１１７】
また、トピック推定装置１のグラフィカルモデルを図６に示す。図６において、αはハイパーパラメータ、θは文書トピック分布、ｙはセグメント間に対応関係があるかを示す二値変数、νe，νfは各言語（ｅまはたｆ）のセグメントのトピック分布、?kl (l∈{e,f})は単語分布、βl (l∈{e,f})はハイパーパラメータ、ｚl (l∈{e,f})は各言語（ｅまはたｆ）の潜在トピック、ｗl (l∈{e,f})は各言語（ｅまはたｆ）の単語wimlのトピック、Ｎl (l∈{e,f})は各言語（ｅまはたｆ）の単語の単語位置、ｓl (l∈{e,f})は各言語（ｅまはたｆ）のセグメントである。
【０１１８】
また、トピック推定装置１のアルゴリズムを図７に示す。トピック推定装置１のアルゴリズムは、適宜「BiSTM」(Bilingual Segmented Topic Model)ということとする。
【０１１９】
BiSTMは、セグメント間の対応関係を考慮する。ここで，各文書dilは，sil個のセグメントで構成されているものとする。BiSTMでは、各言語で、セグメントのトピック分布（νe，νf）が、文書のトピック分布（θ）と単語のトピック（ze，zf ）の間に挿入され、文書を階層的に生成する。なお、トピック分布（νe，νf）は上述したトピック分布情報、トピック分布（θ）は上述した文書トピック分布情報である。また、セグメント間に対応関係があるかを示す二値変数y（セグメント間対応関係）を導入することで、セグメント間の対応関係を反映したモデル化を行う。トピック推定装置１は、まず、各トピックに対して言語固有の単語分布φkl（単語分布情報）をディリクレ分布により生成する（図７のステップ1から5）。そして、文書対diの生成過程では、最初に、diに対するトピック分布θiが生成される（ステップ7）。したがって、BiSTM において、各文書対は共通のトピック分布を持つ。その後、yiに基づき、対応関係のあるセグメント集合の集合ASiが生成される(ステップ8)。ここで、yijj' =1はセグメントsijeとsij'fに対応関係があることを示し、yijj' =0は対応関係がないことを示す。続いて、ASi中の各セグメント集合ASig(g∈{1,...,|ASi|})に対して、トピック分布νigが、基底測度θi、集中度パラメータa、ディスカウントパラメータbのPitman-Yor過程から生成される（ステップ10）。ステップ8から11を通じて、yで示唆される対応関係のあるセグメントは、共通のトピック分布を持つ。最後に、セグメントsijlの各単語位置m∈{1,...,Nijl}に対して，潜在トピックzijmlが、νigをパラメータとする多項分布から生成され（ステップ16）、単語wijmlが、具体化されたzijmlと単語分布φlに基づき生成される（ステップ17）。ここで、gは、セグメントsijlを含むセグメント集合のインデックスであり、図７のステップ14で具体化されている。
（実験１）
【０１２０】
以下、トピック推定装置１の実験結果について述べる。本実験において、トピック推定装置１のアルゴリズムの有効性をパープレキシティと対訳対抽出における性能の観点で評価する。
【０１２１】
本実験において、３９９５文書対からなる日英コンパラブルコーパスを実験データとして用いた。実験データは、Wikipedia日英京都関連文書対訳コーパス（インターネットＵＲＬ：https://alaginrc.nict.go.jp/WikiCorpus/）の日本語記事に対して、対応する英語記事をWikipediaの言語間リンクに基づき収集することで作成した。なお、対応する英語記事が存在しない日本語記事は除いた。ここで、Wikipedia日英京都関連文書対訳コーパスは、本来、日本語記事の各文を人手で英語に翻訳した対訳コーパスであるが、この翻訳された英語記事は実験データに含まれていない。日本語テキストは、MeCab（インターネットＵＲＬ：http://taku910.github.io/mecab/）、英語テキストはTreeTagger（インターネットＵＲＬ：http://www.cis.uni-muenchen.de/?schmid/tools/TreeTagger/） により形態素解析した後、機能語は除去し、その他の単語は原形化した。
【０１２２】
対訳対抽出実験のために、対訳対の正解セットを、「Xiaodong Liu, Kevin Duh, and Yuji Matsumoto.Topic Models + Word Alignment = A Flexible Framework for Extracting Bilingual Dictionary from Comparable Corpus. In Proc. CoNLL 2013, pp. 212-221, 2013.」に記載の技術を用いて自動的に作成した。まず最初に、本来のWikipedia日英京都関連文書対訳コーパスに対して、IBMモデル4によりp(we|wf) 及びp(wf | we) を算出し、w^e=argmaxwep(we|wf = w^f)かつw^f =argmaxwfp((wf | we = w^e) を満たす単語ペア(w^e, w^f)を抽出した。その後、コンパラブルコーパスの文書対に出現しない単語ペアを除き、残った単語対を正解セットとした。対訳対抽出実験では，正解セット中の全日本語単語７９３０に対する対訳語獲得を行った。
【０１２３】
そして、本実験では，トピック推定装置１のモデルであるBiSTMおよびBiSTM＋TSと、非特許文献２、３に記載されている従来モデルBiLDAとを比較する。BiSTM は、トピック推定装置１のアルゴリズムであり、境界推定部１９によるセグメントの境界の推定処理を行わない場合である。BiSTM＋TS は、トピック推定装置１のアルゴリズムであり、境界推定部１９によるセグメントの境界の推定処理を行う場合である。また、BiSTMでは、ウィキペディア記事中の各セクションをセグメントとした。また、実験データにはセクション間の対応関係は付与されていないため、BiSTMとBiSTM＋TSでは、上述した方法によりyを推定した。また、BiLDAの推定は、BiSTM同様、ギブスサンプリング（「Mimno et al., 2009;Ni et al., 2009; Vulic' et al., 2015).」参照）により行った。各モデルの推定では、各変数を無作為に初期化した後、一連のギブスサンプリングを１００００回繰り返した。なお、zは１からKの間の整数にランダムに初期化し、tijkl は０とnijklの間の整数にランダムに初期化し、yおよびρは０または１にランダムに初期化した。そして、ハイパーパラメータαとβlは、それぞれ、対称なパラメータαk=50/K、βwl =0.01を用い、ハイパーパラメータaとbとλ1とλ2とは、それぞれ、0.2、10、0.1、0.1とした。また、トピック数の影響を調べるため、Kは、100、400、2000の３種類を試した。なお、BiSTM＋TSに対して、「K=2000」は実験しなかった。
【０１２４】
対訳対抽出実験では、２つの対訳対抽出手法(CueとLiu)を用いた。Cueは、「Ivan Vulic', Wim De Smet, and Marie-Francine Moens. 2011. Identifying Word Translations from Comparable Corpora Using Latent Topic Models. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pages 479-484.」参照のこと。Liuは「Xiaodong Liu, Kevin Duh, and Yuji Matsumoto. Topic Models + Word Alignment = A Flexible Framework for Extracting Bilingual Dictionary from Comparable Corpus. In Proc. CoNLL 2013, pp. 212-221, 2013.」参照のこと。これらの手法では、まず、多言語トピックモデル（BiLDA またはBiSTMまたはBiSTM＋TS）により各単語のトピックを推定する。次に、推定したトピックに基づき、確率p(we|wf)が高い単語対(we,wf) を抽出する。
【０１２５】
ここで、Cueでは、以下の数式６により、確率p(we|wf)を算出する。
【数６】
0006674172.tif 000007
【０１２６】
また、Liuでは、推定したトピックに基づき、コンパラブルコーパスをトピックで対応付けた対訳コーパスに変換し、変換後の対訳コーパスに対して、IBMモデル1により、p(we|wf,k)を算出する。そして、確率p(we|wf) =Σk=1K p(we|wf,k)p(k|wf)が高い単語対(we,wf) を対訳対とする。
【０１２７】
上記実験の結果、図８に各モデルのテストセットパープレキシティを示す。このパープレキシティは、５分割交差検定により求めた。パープレキシティが低いほど、優れていることを示す。図８より、BiSTMはBiLDAより、パープレキシティの観点で優れたモデルであることが分かる。また、BiSTM＋TSも、BiLDAより、パープレキシティの観点で優れたモデルであることが分かる。
【０１２８】
また、図９に、各モデルを用いて抽出した対訳対の正解率を示す。正解率は、上位Ｎの翻訳候補の中に正しい翻訳語が含まれている場合に正解とする上位N正解率（N＝１および１０）を用いる。
【０１２９】
図９より、CueとLiuの両方の方法において、BiSTMを用いた方が、BiLDAを用いた場合より正解率が高いことが分かる。この差は、符号検定により有意差水準１％で有意であった。これより、BiSTMは、より適切なトピックを単語に割り当てることで、対訳対抽出性能を改善できることが分かる。また、BiSTM＋TSも、BiLDAより、正解率が高いことが分かる。
【０１３０】
また、本実験において、K=100および400におけるBiSTM＋TSとBiSTMの結果の比較から、トピック推定装置１の手法において、セグメントの境界が未知であっても、優れた評価結果であったことが分かる。
【０１３１】
また、図９から、CueよりLiuを用いた方が良い結果となったことが分かる。
【０１３２】
以上より、セグメント間の対応関係を捉えることで、多言語コーパスのモデル化性能を改善できることが実験的に確認できた。なお、トピック数が大きいほど、性能が良いことも分かった。
（実験２）
【０１３３】
また、トピック推定装置１のセグメント間対応関係取得部１８におけるセグメント間対応関係を取得する実験を行った。
【０１３４】
本実験において、BiSTM（K=2000）で、セグメント間対応yを推定する。本実験において、コンパラブルコーパスから100の文書対をランダムに選択した。そして、人手で言語間のセクション間（セグメント間）の対応をとり、かつ本手法によりyを推定した。図１０において、「Reference y=1」は人手で作成したセグメント間対応yが「１」であった場合、「Reference y=0」は人手で作成したセグメント間対応yが「０」であった場合、「Inference y=1」は本手法で推定したセグメント間対応yが「１」であった場合、「Inference y=0」は本手法で推定したセグメント間対応yが「０」であった場合である。つまり、図１０は、正解率が0.858（1325/1544）であったことを示す。なお、「1325＝186+1139」であり、「Reference y=1」かつ「Inference y=1」、または「Reference y=0」かつ「Inference y=0」であり、正解の場合である。また、「167」「52」は、不正解の場合である。
（実験３）
【０１３５】
さらに、トピック推定装置１の境界推定部１９における、セグメントの境界の推定に対する実験を行った。
【０１３６】
本実験では、BiSTM＋TS（K=400）によるセグメント境界の推定と、元々のセクション（セグメント）の境界とを比較した。BiSTM＋TSの再現率は、0.724であった。
【０１３７】
図１１に、実験３の実験結果を示す。本実験では、日本語の記事、および英語の記事の両方を使用した。また、図１１は、各モデル（BiSTM, BiSTM＋TS）における記事あたりのセグメント数の平均を示す。図１１に示すように、BiSTM+TSでは、元々のセクションよりも、小さなセグメントに記事を分割することが分かる。しかし、元々のセクションは、複数のトピックスを含んでいるから、この結果は好適である、と考えられる。なお、図１１によれば、BiSTM+TSは言語間のギャップを増大させることが分かった。これは、言語間の同等の粒度でのセグメンテーションは、本手法（BiSTM+TS）にとって好適であることを示す。
【０１３８】
以上、本実施の形態によれば、文書より小さいセグメント単位の対応関係も考慮することにより、言語を横断したトピックの推定を精度高くできる。
【０１３９】
また、本実施の形態によれば、文書単位で対応付いた非対訳コーパスの各文書または各単語に対して言語を横断したトピックの推定を精度高く行う場合に、セグメント間の対応関係を自動推定できるため、セグメント間の対応関係を予め与える必要がない。
【０１４０】
さらに、本実施の形態によれば、文書単位で対応付いた非対訳コーパスの各文書または各単語に対して言語を横断したトピックの推定を精度高く行う場合に、セグメントの境界も自動推定できる。
【０１４１】
なお、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態におけるトピック推定装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータがアクセス可能な記録媒体は、言語が異なる２以上の文書であり、各々、文書の部分である２以上のセグメントを有する２以上の文書の集合である多言語文書集合が格納される文書集合格納部と、前記多言語文書集合が有する２以上の文書を構成する２以上の各セグメント間の対応であり、異なる文書に含まれる２以上のセグメント間の対応である１以上のセグメント間対応関係が管理され対応管理部と、２以上の各言語に対応付けて、２以上の各トピックの単語分布を示す単語分布情報が格納される単語分布情報格納部とを具備し、コンピュータを、前記多言語文書集合に対するトピック分布であり、２以上の言語の各文書に共通のトピック分布を示す文書トピック分布情報を確率的に取得する文書トピック分布生成部と、前記１以上の各セグメント間対応関係により対応付けられる２以上のセグメントを有する１以上の各セグメント集合に対して、または１以上のセグメント集合および前記１以上の各セグメント間対応関係により対応付けられない１以上の各セグメントに対して、各セグメントを含む文書の文書トピック分布情報を用いて、トピック分布を示すセグメントトピック分布情報であり、前記セグメント集合を構成する２以上の各セグメントに対して同一のトピック分布を示すセグメントトピック分布情報を確率的に取得するセグメントトピック分布生成部と、前記多言語文書集合が有する２以上の各文書に含まれる各単語に対して、当該単語が含まれるセグメントのセグメントトピック分布情報を用いて、各単語のトピックを確率的に決定し、出力する単語トピック決定部として機能させるためのプログラムである。
【０１４２】
上記プログラムにおいて、コンピュータを、２以上の各言語ごとに、２以上の各トピックごとに、予め決められた第一のハイパーパラメータを与えたディレクレ分布に基づいて、単語分布を示す単語分布情報を取得する単語分布情報取得部としてさらに機能させ、前記単語分布情報格納部に格納されている単語分布情報は、前記単語分布情報取得部が取得した単語分布情報であり、前記文書トピック分布生成部は、前記多言語文書集合に対して、予め決められた第二のハイパーパラメータを与えたディレクレ分布から前記文書トピック分布情報を生成し、前記セグメント間対応関係を用いて、対応関係のある１以上のセグメント集合を取得するセグメント集合取得部をさらに具備し、前記セグメントトピック分布生成部は、前記セグメント集合取得部が取得した１以上の各セグメント集合に対して、または前記セグメント集合取得部が取得した１以上のセグメント集合および前記１以上の各セグメント間対応関係により対応付けられない１以上の各セグメントに対して、１以上の各セグメントを含む文書の文書トピック分布情報である基底測度と、予め決められた集中度パラメータと、予め決められたディスカウントパラメータとを用いたPitman-Yor過程から、セグメントトピック分布情報を生成し、前記単語トピック決定部は、２以上の各言語の文書ごと、および各文書に含まれるセグメントごとに、各セグメントに含まれる各単語の位置に対して、当該セグメントのセグメントトピック分布情報をパラメータとする多項分布から隠れ変数である潜在トピックを取得し、当該潜在トピックと前記文書に対応する単語分布情報とを用いて、確率的に各単語のトピックを決定し、出力するものとして、コンピュータを機能させるプログラムであることは好適である。
【０１４３】
上記プログラムにおいて、コンピュータを、前記多言語文書集合が有する言語が異なる２以上の各文書が有するセグメント間の類似度を算出し、当該類似度を用いて、１以上のセグメント間対応関係を取得するセグメント間対応関係取得部としてさらに機能させ、前記対応管理部の１以上のセグメント間対応関係は、前記セグメント間対応関係取得部が取得したセグメント間対応関係であるものとして、コンピュータを機能させるプログラムであることは好適である。
【０１４４】
上記プログラムにおいて、前記セグメント間対応関係取得部は、前記セグメント間の類似度をパラメータとするベルヌーイ分布を用いて、１以上のセグメント間対応関係を取得するものとして、コンピュータを機能させるプログラムであることは好適である。
【０１４５】
上記プログラムにおいて、コンピュータを、前記多言語文書集合が有する２以上の各文書ごとに、各文書が有する各文に対して、セグメントの切れ目の文であるか否かを判断する境界推定部としてさらに機能させ、前記セグメント間対応関係取得部は、前記境界推定部がセグメントの切れ目の文として判断した文をセグメントの最後の文とするセグメント間の類似度を算出し、当該類似度を用いて、１以上のセグメント間対応関係を取得するものとして、コンピュータを機能させるプログラムであることは好適である。
【０１４６】
上記プログラムにおいて、前記境界推定部は、第三のハイパーパラメータと第四のハイパーパラメータとを用いたベータ分布に基づいて取得したパラメータのベルヌーイ分布から、各文書が有する各文に対して、セグメントの切れ目の文であるか否かを判断するものとして、コンピュータを機能させるプログラムであることは好適である。
【０１４７】
また、図１２は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態のトピック推定装置１等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図１２は、このコンピュータシステム３００の概観図であり、図１３は、システム３００の内部構成を示すブロック図である。
【０１４８】
図１２において、コンピュータシステム３００は、ＣＤ−ＲＯＭドライブ３０１２を含むコンピュータ３０１と、キーボード３０２と、マウス３０３と、モニタ３０４とを含む。
【０１４９】
図１３において、コンピュータ３０１は、ＣＤ−ＲＯＭドライブ３０１２に加えて、ＭＰＵ３０１３と、ＭＰＵ３０１３、ＣＤ−ＲＯＭドライブ３０１２に接続されたバス３０１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ３０１５と、ＭＰＵ３０１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ３０１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３０１７とを含む。ここでは、図示しないが、コンピュータ３０１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。
【０１５０】
コンピュータシステム３００に、上述した実施の形態のトピック推定装置１等の機能を実行させるプログラムは、ＣＤ−ＲＯＭ３１０１に記憶されて、ＣＤ−ＲＯＭドライブ３０１２に挿入され、さらにハードディスク３０１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３０１に送信され、ハードディスク３０１７に記憶されても良い。プログラムは実行の際にＲＡＭ３０１６にロードされる。プログラムは、ＣＤ−ＲＯＭ３１０１またはネットワークから直接、ロードされても良い。
【０１５１】
プログラムは、コンピュータ３０１に、上述した実施の形態のトピック推定装置１等の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３００がどのように動作するかは周知であり、詳細な説明は省略する。
【０１５２】
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【０１５３】
また、上記各実施の形態において、各処理は、単一の装置によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【０１５４】
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【０１５５】
以上のように、本発明にかかるトピック推定装置は、文書より小さいセグメント単位の対応関係も考慮することにより、言語を横断したトピックの推定の精度が高くなるという効果を有し、例えば、言語横断文書分類を行う装置等として有用である。
【符号の説明】
【０１５６】
１  トピック推定装置
１０  文書集合格納部
１１  対応管理部
１２  単語分布情報格納部
１３  単語分布情報取得部
１４  文書トピック分布生成部
１５  セグメント集合取得部
１６  セグメントトピック分布生成部
１７  単語トピック決定部
１８  セグメント間対応関係取得部
１９  境界推定部
【図１】
0006674172.tif 000008
【図２】
0006674172.tif 000009
【図３】
0006674172.tif 000010
【図４】
0006674172.tif 000011
【図５】
0006674172.tif 000012
【図６】
0006674172.tif 000013
【図７】
0006674172.tif 000014
【図８】
0006674172.tif 000015
【図９】
0006674172.tif 000016
【図１０】
0006674172.tif 000017
【図１１】
0006674172.tif 000018
【図１２】
0006674172.tif 000019
【図１３】
0006674172.tif 000020
【図１４】
0006674172.tif 000021
【図１５】
0006674172.tif 000022