(57)【要約】【課題】フレーズレベルの同義又は類義関係の認識を容易にするために、フレーズの特徴量の有意性を維持又は向上させながら特徴量の次元を圧縮すること。【解決手段】複数の文を有する文集合、及び上記文集合に含まれる複数のフレーズを取得するデータ取得部と、上記データ取得部により取得される各フレーズの特徴を表すフレーズ特徴量を決定するフレーズ特徴量決定部と、上記文集合の特徴を表す集合特徴量を決定する集合特徴量決定部と、上記フレーズ特徴量よりも次元の低い圧縮フレーズ特徴量であって、上記データ取得部により取得される各フレーズの特徴を表す上記圧縮フレーズ特徴量を、上記フレーズ特徴量と上記集合特徴量とを用いて生成する圧縮部と、を備える情報処理装置を提供する。【選択図】図１
2011227758.tif 000002
【特許請求の範囲】
【請求項１】
複数の文を有する文集合、及び前記文集合に含まれる複数のフレーズを取得するデータ取得部と；
前記データ取得部により取得される各フレーズの特徴を表すフレーズ特徴量を決定するフレーズ特徴量決定部と；
前記文集合の特徴を表す集合特徴量を決定する集合特徴量決定部と；
前記フレーズ特徴量よりも次元の低い圧縮フレーズ特徴量であって、前記データ取得部により取得される各フレーズの特徴を表す前記圧縮フレーズ特徴量を、前記フレーズ特徴量と前記集合特徴量とを用いて生成する圧縮部と；
を備える情報処理装置。
【請求項２】
前記フレーズ特徴量は、前記複数のフレーズ内に出現する単語の各々に対応する成分を有するベクトル量である、請求項１に記載の情報処理装置。
【請求項３】
前記集合特徴量は、前記文集合内に出現する単語の組合せの各々に対応する成分を有する行列であり、
前記フレーズ特徴量のベクトル空間の少なくとも一部は、前記集合特徴量を構成する行ベクトル又は列ベクトルのベクトル空間の一部と重複する、
請求項２に記載の情報処理装置。
【請求項４】
前記圧縮部は、前記複数のフレーズについての前記フレーズ特徴量と前記集合特徴量とを観測データとする確率モデルであって、潜在的な変量が前記観測データの生起に寄与するとする前記確率モデルにおいて、最尤推定により前記潜在的な変量を算出し、
前記圧縮フレーズ特徴量は、前記潜在的な変量に含まれる、
請求項３に記載の情報処理装置。
【請求項５】
前記確率モデルにおいて、前記集合特徴量の生起に寄与する潜在的な変量と、前記フレーズ特徴量の生起に寄与する潜在的な変量とは、少なくとも部分的に共通する変量である、請求項４に記載の情報処理装置。
【請求項６】
前記圧縮部は、前記集合特徴量よりも次数の小さい第１の低次行列を前記集合特徴量を行列分解することにより算出し、及び、前記複数のフレーズについての前記フレーズ特徴量を含むフレーズ特徴量行列よりも次数の小さい第２の低次行列を前記フレーズ特徴量行列を行列分解することにより算出し、
前記第２の低次行列は、前記第１の低次行列との共通部分を有する行列との積により前記フレーズ特徴量行列を近似的に導く行列であり、
前記圧縮フレーズ特徴量は、前記第２の低次行列に含まれる、
請求項３に記載の情報処理装置。
【請求項７】
前記集合特徴量決定部は、単語の前記組合せごとの前記文集合内での共起回数に応じて前記集合特徴量を決定する、請求項３に記載の情報処理装置。
【請求項８】
前記集合特徴量決定部は、単語間の類義関係に応じて前記集合特徴量を決定する、請求項３に記載の情報処理装置。
【請求項９】
前記情報処理装置は、
前記圧縮部により生成される複数の圧縮フレーズ特徴量を特徴量間の類似度に応じてクラスタリングするクラスタリング部、
をさらに備える、請求項１に記載の情報処理装置。
【請求項１０】
前記クラスタリング部は、
クラスタリングの結果として生成される１つ以上のクラスタの各々に、各クラスタを代表するフレーズに応じたラベルを付与する、
請求項９に記載の情報処理装置。
【請求項１１】
前記データ取得部は、前記文集合内の１つの文に共に含まれる単語のペアを抽出し、抽出した各ペアについての単語間の関連性をそれぞれ表す前記複数のフレーズを取得する、請求項１に記載の情報処理装置。
【請求項１２】
前記情報処理装置は、
前記圧縮部により生成される複数の圧縮フレーズ特徴量を特徴量間の類似度に応じてクラスタリングするクラスタリング部と、
前記文集合に含まれる特定の単語に注目し、注目単語に関連するフレーズについての前記クラスタリング部によるクラスタリングの結果を用いて、前記注目単語についての要約情報を作成する要約部と、
をさらに備える、請求項１１に記載の情報処理装置。
【請求項１３】
情報処理装置の処理手段を用いて、
複数の文を有する文集合、及び前記文集合に含まれる複数のフレーズを取得するステップと；
取得された各フレーズの特徴を表すフレーズ特徴量を決定するステップと；
取得された前記文集合の特徴を表す集合特徴量を決定するステップと；
前記フレーズ特徴量よりも次元の低い圧縮フレーズ特徴量であって、前記複数のフレーズのうちの各フレーズの特徴を表す前記圧縮フレーズ特徴量を、前記フレーズ特徴量と前記集合特徴量とを用いて生成するステップと；
を含む情報処理方法。
【請求項１４】
情報処理装置を制御するコンピュータを：
複数の文を有する文集合、及び前記文集合に含まれる複数のフレーズを取得するデータ取得部と；
前記データ取得部により取得される各フレーズの特徴を表すフレーズ特徴量を決定するフレーズ特徴量決定部と；
前記文集合の特徴を表す集合特徴量を決定する集合特徴量決定部と；
前記フレーズ特徴量よりも次元の低い圧縮フレーズ特徴量であって、前記データ取得部により取得される各フレーズの特徴を表す前記圧縮フレーズ特徴量を、前記フレーズ特徴量と前記集合特徴量とを用いて生成する圧縮部と；
として機能させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、コンピュータの情報処理能力が向上したことを背景として、自然言語処理の分野において、テキストの意味的側面を統計的に取り扱う技術に注目が集まっている。例えば、文書の内容を解析して各文書を様々なジャンルに分類しようとする文書分類技術はその一例である。また、他の例としては、インターネットのＷｅｂページ、又は企業において顧客から寄せられた質問及び意見の履歴など、蓄積されたテキストの集合から有益な情報を抽出しようとするテキストマイニング技術が存在する。
【０００３】
ここで、一般的に、１つの同じ又は類似する意味を表現する場合にも、テキストにおいて異なる単語又はフレーズが使用されることは少なくない。そこで、テキストの統計的な解析において、テキストの統計的特徴を表現するためのベクトル空間を定義し、そのベクトル空間における各テキストの特徴量をクラスタリングすることにより、類似する意味を有するテキストを識別しようとする試みがなされている（例えば、下記非特許文献１参照）。テキストの統計的特徴を表現するためのベクトル空間としては、例えば、テキストに出現する可能性のある語彙に含まれる個々の単語をベクトルの個々の成分（ベクトル空間の軸）として配置したベクトル空間が用いられることが多い。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Alexander  Yates  and  Oren  Etzioni,  “Unsupervised  Methods  for  Determining  Object  and  Relation  Synonyms  on  the  Web”,  Journal  of  Artificial  Intelligence  Research  (JAIR)  34,  March,  2009,  pp.255-296
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特徴量をクラスタリングする手法は、少なくとも複数の文を有する文書の分類などにおいては効果的である一方で、フレーズの同義又は類義関係を認識しようとする場合には有意な結果を生み出すことが難しい。その主な理由は、フレーズに含まれる単語が少ないことである。例えば、ニュース記事、又は人物、コンテンツ若しくは製品を紹介するＷｅｂページなどの文書は、通常、数十から数百の単語を含む。その一方、１つの文よりも小さい単位であるフレーズは、通常、数個の単語しか含まない。従って、文書の特徴量ですら疎らなベクトル（sparse  vector；大部分の成分にゼロが入っているベクトル）となり易いことを考えると、フレーズの特徴量は、より一層疎らである超スパースなベクトル（super-sparse  vector）となる。このような超スパースなベクトルは、意味を認識する際に手掛かりとして使用し得る情報が少ないという側面を持つ。その結果として、例えば、超スパースなベクトルのベクトル間の類似度（例えばコサイン距離など）に基づいてクラスタリングを行う場合に、意味的には１つのクラスタに属するべき２つ以上のベクトルが１つのクラスタにクラスタリングされないといった問題が生じる。
【０００６】
例えば、ＳＶＤ（Singular  Value  Decomposition；特異値分解）又は潜在意味解析に関連するＰＬＳＡ（Probabilistic  Latent  Semantic  Analysis）若しくはＬＤＡ（Latent  Dirichlet  Allocation）などの確率的手法を用いて高次元のベクトルを低次元のベクトルに圧縮する技術も存在する。これら確率的手法は、文書の特徴量の次元の圧縮においては有効に機能する。しかし、これら確率的手法を超スパースなベクトルであるフレーズの特徴量に単純に適用すると、多くの場合、データの有意性が失われてしまい、もはやクラスタリングなどの後段の処理に適さない出力しか得られない。上記特許文献１は、このような状況において、短い文字列についての特徴量の有意性を獲得することを目的として、数百万オーダの数の文字列（string）をＷｅｂ上のテキストから収集することにより大規模なデータ集合を確保することを提案している。しかし、そうした大規模なデータ集合を取り扱うことは、リソースの制約の問題を生じる。また、いわゆるロングテールに属する対象を取り扱う場合など、本質的に大規模なデータ集合を確保し得ない場合も少なくない。
【０００７】
そこで、本発明は、例えばフレーズレベルの同義又は類義関係の認識を容易にするために、フレーズの特徴量の有意性を維持又は向上させながら特徴量の次元を圧縮することのできる、新規かつ改良された情報処理装置、情報処理方法及びプログラムを提供しようとするものである。
【課題を解決するための手段】
【０００８】
本発明のある実施形態によれば、複数の文を有する文集合、及び上記文集合に含まれる複数のフレーズを取得するデータ取得部と、上記データ取得部により取得される各フレーズの特徴を表すフレーズ特徴量を決定するフレーズ特徴量決定部と、上記文集合の特徴を表す集合特徴量を決定する集合特徴量決定部と、上記フレーズ特徴量よりも次元の低い圧縮フレーズ特徴量であって、上記データ取得部により取得される各フレーズの特徴を表す上記圧縮フレーズ特徴量を、上記フレーズ特徴量と上記集合特徴量とを用いて生成する圧縮部と、を備える情報処理装置が提供される。
【０００９】
かかる構成によれば、情報処理装置は、各フレーズの特徴を表すフレーズ特徴量に加えて、フレーズの取得元である文集合の特徴を表す集合特徴量を用いることにより、特徴量の情報の少なさを補った上で、フレーズ特徴量を圧縮する。
【００１０】
また、上記フレーズ特徴量は、上記複数のフレーズ内に出現する単語の各々に対応する成分を有するベクトル量であってもよい。
【００１１】
また、上記集合特徴量は、上記文集合内に出現する単語の組合せの各々に対応する成分を有する行列であり、上記フレーズ特徴量のベクトル空間の少なくとも一部は、上記集合特徴量を構成する行ベクトル又は列ベクトルのベクトル空間の一部と重複してもよい。
【００１２】
また、上記圧縮部は、上記複数のフレーズについての上記フレーズ特徴量と上記集合特徴量とを観測データとする確率モデルであって、潜在的な変量が上記観測データの生起に寄与するとする上記確率モデルにおいて、最尤推定により上記潜在的な変量を算出し、上記圧縮フレーズ特徴量は、上記潜在的な変量に含まれていてもよい。
【００１３】
また、上記確率モデルにおいて、上記集合特徴量の生起に寄与する潜在的な変量と、上記フレーズ特徴量の生起に寄与する潜在的な変量とは、少なくとも部分的に共通する変量であってもよい。
【００１４】
また、上記圧縮部は、上記集合特徴量よりも次数の小さい第１の低次行列を上記集合特徴量を行列分解することにより算出し、及び、上記複数のフレーズについての上記フレーズ特徴量を含むフレーズ特徴量行列よりも次数の小さい第２の低次行列を上記フレーズ特徴量行列を行列分解することにより算出し、上記第２の低次行列は、上記第１の低次行列との共通部分を有する行列との積により上記フレーズ特徴量行列を近似的に導く行列であり、上記圧縮フレーズ特徴量は、上記第２の低次行列に含まれていてもよい。ここでの第１の低次行列及び第２の低次行列は、例えば、後に説明する低次行列Ｍｔ４及び低次行列Ｍｔ１にそれぞれ相当し得る。
【００１５】
また、上記集合特徴量決定部は、単語の上記組合せごとの上記文集合内での共起回数に応じて上記集合特徴量を決定してもよい。
【００１６】
また、上記集合特徴量決定部は、単語間の類義関係に応じて上記集合特徴量を決定してもよい。
【００１７】
また、上記情報処理装置は、上記圧縮部により生成される複数の圧縮フレーズ特徴量を特徴量間の類似度に応じてクラスタリングするクラスタリング部、をさらに備えてもよい。
【００１８】
また、上記クラスタリング部は、クラスタリングの結果として生成される１つ以上のクラスタの各々に、各クラスタを代表するフレーズに応じたラベルを付与してもよい。
【００１９】
また、上記データ取得部は、上記文集合内の１つの文に共に含まれる単語のペアを抽出し、抽出した各ペアについての単語間の関連性をそれぞれ表す上記複数のフレーズを取得してもよい。
【００２０】
また、上記情報処理装置は、上記圧縮部により生成される複数の圧縮フレーズ特徴量を特徴量間の類似度に応じてクラスタリングするクラスタリング部と、上記文集合に含まれる特定の単語に注目し、注目単語に関連するフレーズについての上記クラスタリング部によるクラスタリングの結果を用いて、上記注目単語についての要約情報を作成する要約部と、をさらに備えてもよい。
【００２１】
また、本発明の別の実施形態によれば、情報処理装置の処理手段を用いて、複数の文を有する文集合、及び上記文集合に含まれる複数のフレーズを取得するステップと、取得された各フレーズの特徴を表すフレーズ特徴量を決定するステップと、取得された上記文集合の特徴を表す集合特徴量を決定するステップと、上記フレーズ特徴量よりも次元の低い圧縮フレーズ特徴量であって、上記複数のフレーズのうちの各フレーズの特徴を表す上記圧縮フレーズ特徴量を、上記フレーズ特徴量と上記集合特徴量とを用いて生成するステップと、を含む情報処理方法が提供される。
【００２２】
また、本発明の別の実施形態によれば、情報処理装置を制御するコンピュータを、複数の文を有する文集合、及び上記文集合に含まれる複数のフレーズを取得するデータ取得部と、上記データ取得部により取得される各フレーズの特徴を表すフレーズ特徴量を決定するフレーズ特徴量決定部と、上記文集合の特徴を表す集合特徴量を決定する集合特徴量決定部と、上記フレーズ特徴量よりも次元の低い圧縮フレーズ特徴量であって、上記データ取得部により取得される各フレーズの特徴を表す上記圧縮フレーズ特徴量を、上記フレーズ特徴量と上記集合特徴量とを用いて生成する圧縮部と、として機能させるための、プログラムが提供される。
【発明の効果】
【００２３】
以上説明したように、本発明に係る情報処理装置、情報処理方法及びプログラムによれば、フレーズの特徴量の有意性を維持又は向上させながら特徴量の次元を圧縮することができる。
【図面の簡単な説明】
【００２４】
【図１】一実施形態に係る情報処理装置の構成の一例を示すブロック図である。
【図２】一実施形態に係るデータ取得部によるフレーズの取得について説明するための第１の説明図である。
【図３】一実施形態に係るデータ取得部によるフレーズの取得について説明するための第２の説明図である。
【図４】一実施形態に係るデータ取得処理の流れの一例を示すフローチャートである。
【図５】一実施形態に係るフレーズ特徴量決定部によるフレーズ特徴量の決定について説明するための説明図である。
【図６】一実施形態に係るフレーズ特徴量決定処理の流れの一例を示すフローチャートである。
【図７】一実施形態に係る集合特徴量決定部による集合特徴量の決定について説明するための説明図である。
【図８Ａ】一実施形態に係る集合特徴量決定処理の流れの第１の例を示すフローチャートである。
【図８Ｂ】一実施形態に係る集合特徴量決定処理の流れの第２の例を示すフローチャートである。
【図９Ａ】一実施形態に係るフレーズ特徴量の圧縮について概念的に説明するための第１の説明図である。
【図９Ｂ】一実施形態に係るフレーズ特徴量の圧縮について概念的に説明するための第２の説明図である。
【図１０】一実施形態に係るクラスタリング部によるフレーズのクラスタリングの結果の一例について説明するための説明図である。
【図１１】一実施形態に係るクラスタリング処理の流れの一例を示すフローチャートである。
【図１２】一実施形態に係る要約部により作成される要約情報の一例について説明するための説明図である。
【図１３】一実施形態に係る要約情報作成処理の流れの一例を示すフローチャートである。
【図１４】一実施形態に係る情報処理の全体的な流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００２５】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。
【００２６】
また、以下の順序にしたがって当該「発明を実施するための形態」を説明する。
１．一実施形態に係る情報処理装置の全体的な構成例
２．各部の説明
２−１．文書ＤＢ
２−２．データ取得部
２−３．フレーズ特徴量決定部
２−４．集合特徴量決定部
２−５．特徴量ＤＢ
２−６．圧縮部
２−７．圧縮特徴量ＤＢ
２−８．クラスタリング部
２−９．要約部
２−１０．要約ＤＢ
３．情報処理の流れ
４．応用例
５．まとめ
【００２７】
＜１．一実施形態に係る情報処理装置の全体的な構成例＞
図１は、本発明の一実施形態に係る情報処理装置１００の構成の一例を示すブロック図である。図１を参照すると、情報処理装置１００は、文書データベース（ＤＢ）１０２、データ取得部１１０、フレーズ特徴量決定部１２０、集合特徴量決定部１３０、特徴量ＤＢ１４０、圧縮部１５０、圧縮特徴量ＤＢ１６０、クラスタリング部１７０、要約部１８０及び要約ＤＢ１９０を備える。情報処理装置１００は、例えば、高性能コンピュータ、ＰＣ（Personal  Computer）、スマートフォン、デジタル家電機器、ゲーム機器、又はＡＶプレーヤなどの任意の種類の装置であってよい。情報処理装置１００の構成要素のうち、文書ＤＢ１０２、特徴量ＤＢ１４０、圧縮特徴量ＤＢ１６０及び要約ＤＢ１９０は、典型的には、ハードディスク又は半導体メモリなどの記憶媒体を用いて構成される。記憶媒体は、情報処理装置１００の内部にあってもよく、又は情報処理装置１００の外部にあってもよい。
【００２８】
＜２．各部の説明＞
次に、図２〜図１３を用いて、図１に示した情報処理装置１００の各構成要素について説明する。
【００２９】
［２−１．文書ＤＢ］
文書ＤＢ１０２は、複数の文を有する文集合を予め記憶しているデータベースである。文書ＤＢ１０２により記憶される文集合は、例えば、ニュース記事、電子辞書、又は人物、コンテンツ若しくは製品を紹介するＷｅｂページなどの文書の集合であってもよい。また、文書ＤＢ１０２により記憶される文集合は、例えば、電子メール、電子掲示板における書き込み、又はＷｅｂ上のフォームに入力された何らかのテキストの履歴などであってもよい。さらに、文書ＤＢ１０２により記憶される文集合は、例えば、人間によるスピーチをテキスト化したコーパスであってもよい。文書ＤＢ１０２は、データ取得部１１０からの要求に応じて、記憶している文集合をデータ取得部１１０へ出力する。
【００３０】
［２−２．データ取得部］
データ取得部１１０は、文書ＤＢ１０２から複数の文を有する文集合を取得する。また、データ取得部１１０は、当該文集合に含まれる複数のフレーズを取得する。より具体的には、データ取得部１１０は、文集合内の１つの文に共に含まれる単語のペアを抽出し、抽出した各ペアについての単語間の関連性をそれぞれ表す複数のフレーズを取得する。データ取得部１１０が文集合から抽出する単語のペアは、任意の単語のペアであってよい。本実施形態では、一例として、データ取得部１１０が特に固有名詞のペアを抽出し、固有名詞間の関連性を表すフレーズを取得するシナリオを説明する。
【００３１】
図２及び図３は、データ取得部１１０による文集合からのフレーズの取得について説明するための説明図である。
【００３２】
図２を参照すると、文書ＤＢ１０２から取得される一例としての文集合１０４が示されている。文集合１０４は、例えば、第１の文Ｓ０１及び第２の文Ｓ０２を有する。データ取得部１１０は、まず、文集合１０４が有するこのような個々の文を認識し、認識した文のうち２つ以上の固有名詞が出現する文を特定する。固有名詞の判別は、例えば、公知の固有表現抽出（named  entity  extraction）技術を用いて行われ得る。例えば、図２の第１の文Ｓ０１は、“Jackson  5”及び“CBS  Records”という２つの固有名詞を含んでいる。また、第２の文Ｓ０２は、“Jackson”及び“Of  the  Wall”という２つの固有名詞を含んでいる。次に、データ取得部１１０は、特定したそれぞれの文について構文解析を行い、構文木を導出する。そして、データ取得部１１０は、導出した構文木において２つの固有名詞のペアをリンクさせるフレーズを取得する。図２の例において、第１の文Ｓ０１の“Jackson  5”及び“CBS  Records”をリンクさせるフレーズは“signed  a  new  contract  with”である。第２の文Ｓ０２の“Jackson”及び“Of  the  Wall”をリンクさせるフレーズは“produced”である。本明細書では、このような単語の１つのペアと当該１つのペアに対応するフレーズとの組を関連性（relation）という。
【００３３】
図３には、データ取得部１１０により導出される構文木の一例が示されている。図３の例において、データ取得部１１０は、第３の文Ｓ０３の構文を解析することにより、構文木Ｔ０３を導出している。構文木Ｔ０３は、“Alice  Cooper”及び“MCR  Records”という２つの固有名詞の間に、“signed  to”という最短パスを有する。“subsequently”という副詞は、２つの固有名詞の間の最短パスからは外れている。データ取得部１１０は、このような構文解析の結果に基づいて所定の抽出条件を満たす単語のペアを抽出し、抽出した当該ペアのみについてのフレーズを取得してもよい。所定の抽出条件とは、例えば、次の条件Ｅ１〜Ｅ３などであってよい：
‐条件Ｅ１：固有名詞間の最短パス上に文の区切りに相当するノードが存在しない。
‐条件Ｅ２：固有名詞間の最短パスの長さが３ノード以下である。
‐条件Ｅ３：文集合における固有名詞間の単語数が１０以下である。
【００３４】
条件１における文の区切りとは、例えば、関係代名詞及びカンマなどである。これら抽出条件は、２つの固有名詞間の関連性を表すフレーズとして適当ではない文字列をデータ取得部１１０が誤って取得することを防止する。
【００３５】
なお、文集合からのフレーズの抽出は、情報処理装置１００の外部の装置において事前に行われていてもよい。その場合には、データ取得部１１０は、情報処理装置１００による情報処理の開始時に、事前に抽出されたフレーズと抽出元の文集合とを外部の装置から取得する。
【００３６】
データ取得部１１０は、このように取得した複数のフレーズを含む関連性データ１１２を、フレーズ特徴量決定部１２０へ出力する。また、データ取得部１１０は、フレーズの取得の基礎とした文集合を、集合特徴量決定部１３０へ出力する。
【００３７】
図４は、本実施形態に係るデータ取得部１１０によるデータ取得処理の流れの一例を示すフローチャートである。
【００３８】
図４を参照すると、まず、データ取得部１１０は、文書ＤＢ１０２から文集合を取得する（ステップＳ１０２）。次に、データ取得部１１０は、取得した文集合に含まれる文のうち、２つ以上の単語（例えば固有名詞）が出現する文を特定する（ステップＳ１０４））。次に、データ取得部１１０は、特定した文の構文を解析することにより、各文の構文木を導出する（ステップＳ１０６）。次に、データ取得部１１０は、ステップＳ１０４において特定した文から、所定の抽出条件（例えば上述した条件Ｅ１〜Ｅ３）を満たす単語のペアを抽出する（ステップＳ１０８）。次に、データ取得部１１０は、抽出した単語のペアをリンクさせるフレーズを、対応するそれぞれの文から取得する（ステップＳ１１０）。そして、データ取得部１１０は、単語のペアと対応するフレーズとの組にそれぞれ相当する複数の関連性を含む関連性データ１１２を、フレーズ特徴量決定部１２０へ出力する。また、データ取得部１１０は、フレーズの取得の基礎とした文集合を、集合特徴量決定部１３０へ出力する（ステップＳ１１２）。
【００３９】
［２−３．フレーズ特徴量決定部］
フレーズ特徴量決定部１２０は、データ取得部１１０により取得される各フレーズの特徴を表すフレーズ特徴量を決定する。本実施形態において、フレーズ特徴量は、複数のフレーズ内で１回以上出現する単語の各々に対応する成分を有するベクトル空間におけるベクトル量である。即ち、例えば１００個のフレーズにおいて３００種類の単語が出現する場合には、フレーズ特徴量の次元（dimension）は３００次元となり得る。フレーズ特徴量決定部１２０は、複数のフレーズ内に出現する単語の語彙に基づいてフレーズ特徴量のベクトル空間を決定した後、各フレーズ内での各単語の出現の有無に応じて、各フレーズについてのフレーズ特徴量を決定する。フレーズ特徴量決定部１２０は、例えば、各フレーズのフレーズ特徴量において、各フレーズ内で出現した単語に対応する成分を「１」とし、出現しなかった単語に対応する成分を「０」としてもよい。
【００４０】
なお、フレーズ特徴量のベクトル空間の決定において、フレーズの特徴を表現する上であまり意味をなさない単語（例えば、冠詞、指示語及び関係代名詞など）をストップワードとし、ストップワードに相当する単語を成分から除外するのが好適である。また、フレーズ特徴量決定部１２０は、例えば、フレーズ内に出現する単語のＴＦ／ＩＦ（Term  Frequency／Inverse  Document  Frequency）スコアを評価し、スコアの低い（即ち重要度の低い）単語をベクトル空間の成分から除外してもよい。
【００４１】
また、フレーズ特徴量のベクトル空間は、複数のフレーズ内に出現する単語のみならず、当該複数のフレーズ内に出現する単語バイグラム（bigram）又は単語トライグラム（trigram）に対応する成分を有してもよい。また、品詞の種類又は単語の属性などのその他のパラメータがフレーズ特徴量に含まれてもよい。
【００４２】
図５は、フレーズ特徴量決定部１２０によるフレーズ特徴量の決定について説明するための説明図である。
【００４３】
図５の上段には、データ取得部１１０から入力される関連性データ１１２の一例が示されている。関連性データ１１２は、３つの関連性Ｒ０１、Ｒ０２及びＲ０３を含む。フレーズ特徴量決定部１２０は、例えば、このような関連性データ１１２に含まれるフレーズから、“signed”、“a”、“new”、“contract”、“produced”及び“signed”という６つの単語を抽出する。次に、データ取得部１１０は、これら６つの単語についてステミング処理（語幹を解釈するための処理）を行った後、ストップワード等を除外することにより、“sign”、“new”、“contract”及び“produc”という一意な４つの単語（語幹）を特定する。そして、フレーズ特徴量決定部１２０は、これら“sign”、“new”、“contract”及び“produc”を成分として有するフレーズ特徴量のベクトル空間を形成する。
【００４４】
図５の下段には、“sign”、“new”、“contract”及び“produc”を成分として有するベクトル空間におけるフレーズ特徴量の３つの例が示されている。フレーズＦ０１は、関連性Ｒ０１に対応するフレーズであり、フレーズＦ０１のフレーズ特徴量は（…，“sign”，“new”，“contract”，…，“produc”，…）＝（…，１，１，１，…，０，…）である。フレーズＦ０２は、関連性Ｒ０２に対応するフレーズであり、フレーズＦ０２のフレーズ特徴量は（…，“sign”，“new”，“contract”，…，“produc”，…）＝（…，０，０，０，…，１，…）である。フレーズＦ０３は、関連性Ｒ０３に対応するフレーズであり、フレーズＦ０３のフレーズ特徴量は（…，“sign”，“new”，“contract”，…，“produc”，…）＝（…，１，０，０，…，０，…）である。実際には、フレーズ特徴量は、より多くの数の成分を有し、そのごく一部の成分についてのみゼロ以外の値が入るいわゆる超スパースなベクトルとなる。これらフレーズ特徴量を各列（又は各行）に並べた行列は、フレーズ特徴量行列１２２を形成する。
【００４５】
図６は、本実施形態に係るフレーズ特徴量決定部１２０によるフレーズ特徴量決定処理の流れの一例を示すフローチャートである。
【００４６】
図６を参照すると、まず、フレーズ特徴量決定部１２０は、データ取得部１１０から入力される関連性データ１１２内のフレーズに含まれる単語を抽出する（ステップＳ２０２）。次に、フレーズ特徴量決定部１２０は、抽出した単語についてステミング処理を行い、語形の変化による単語の相違を除去する（ステップＳ２０４）。次に、フレーズ特徴量決定部１２０は、ステミング処理後の単語から、ストップワード及びＴＦ／ＩＤＦスコアの低い単語などの不要な単語を除外する（ステップＳ２０６）。そして、フレーズ特徴量決定部１２０は、残った単語を含む語彙に応じたフレーズ特徴量のベクトル空間を形成する（ステップＳ２０８）。
【００４７】
次に、フレーズ特徴量決定部１２０は、形成したベクトル空間内で、例えば各フレーズにおける単語の出現の有無に応じて各フレーズのフレーズ特徴量を決定する（ステップＳ２１０）。そして、フレーズ特徴量決定部１２０は、決定したフレーズごとのフレーズ特徴量を、特徴量ＤＢ１４０へ出力する（ステップＳ２１２）。
【００４８】
［２−４．集合特徴量決定部］
集合特徴量決定部１３０は、データ取得部１１０から入力される文集合１０４の特徴を表す集合特徴量を決定する。本実施形態において、集合特徴量は、文集合１０４内に出現する単語の組合せの各々に対応する成分を有する行列である。上述したフレーズ特徴量のベクトル空間の少なくとも一部は、集合特徴量を構成する行ベクトル又は列ベクトルのベクトル空間の一部と重複する。集合特徴量決定部１３０は、例えば、単語の組合せごとの文集合１０４内での共起回数に応じて集合特徴量を決定してもよい。この場合、集合特徴量は、単語の組合せの各々の共起回数を表す共起行列となる。また、集合特徴量決定部１３０は、例えば、単語間の類義関係に応じて集合特徴量を決定してもよい。さらに、集合特徴量決定部１３０は、単語の組合せの各々の共起回数と類義関係に応じた数値とを共に反映させた集合特徴量を決定してもよい。
【００４９】
図７は、集合特徴量決定部１３０による集合特徴量の決定について説明するための説明図である。
【００５０】
図７の上段には、データ取得部１１０から入力される文集合１０４の一例が示されている。文集合１０４は、２つの文Ｓ０１及びＳ０２、並びにその他の複数の文を有する。集合特徴量決定部１３０は、例えば、このような文集合１０４の複数の文に含まれる単語を抽出する。次に、集合特徴量決定部１３０は、抽出した単語についてステミング処理を行った後、ストップワード等を除外することにより、集合特徴量の特徴量空間を形成すべき語彙を決定する。ここで決定される語彙には、フレーズ特徴量のベクトル空間の成分となる“sign”、“new”、“contract”及び“produc”などのフレーズに出現する単語に加えて、“album”及び“together”などのフレーズ以外の部分に出現する単語も含まれる。
【００５１】
図７の下段には、行及び列の双方の成分として文集合１０４に出現する単語の語彙が割り当てられた共起行列としての集合特徴量１３２が示されている。例えば、集合特徴量１３２の“sign”及び“contract”の組合せに対応する成分の値は「３０」である。この値は、“sign”及び“contract”の組合せが文集合１０４において１つの文内に共に出現した回数（文の数）が３０であることを表している。同様に、“sign”及び“agree”の組合せに対応する成分の値は「１０」である。また、“sign”及び“born”の組合せに対応する成分の値は「０」である。これら値は、文集合１０４におけるそれぞれの単語の組合せの共起回数がそれぞれ１０及び０であることを表している。
【００５２】
なお、集合特徴量決定部１３０は、例えば、単語間の類義関係に応じて集合特徴量を決定する場合には、予め用意される類義語辞書において類義関係（同義関係を含む）にある単語の組合せに対応する成分を「１」とし、その他の成分を「０」として、集合特徴量を決定してもよい。また、集合特徴量決定部１３０は、例えば、単語の各組合せについての共起回数と、類義語辞書に応じて付与される上述した値とを所定の係数を用いて重み付け加算してもよい。
【００５３】
図８Ａは、本実施形態に係る集合特徴量決定部１３０による集合特徴量決定処理の流れの第１の例を示すフローチャートである。
【００５４】
図８Ａを参照すると、まず、集合特徴量決定部１３０は、データ取得部１１０から入力される文集合１０４に含まれる単語を抽出する（ステップＳ３０２）。次に、集合特徴量決定部１３０は、抽出した単語についてステミング処理を行い、語形の変化による単語の相違を除去する（ステップＳ３０４）。次に、集合特徴量決定部１３０は、ステミング処理後の単語から、ストップワード及びＴＦ／ＩＤＦスコアの低い単語などの不要な単語を除外する（ステップＳ３０６）。そして、集合特徴量決定部１３０は、残った単語を含む語彙に応じた集合特徴量の特徴量空間（行列空間）を形成する（ステップＳ３０８）。
【００５５】
次に、集合特徴量決定部１３０は、形成した特徴量空間の各成分に対応する単語の各組合せについて、文集合１０４内での共起回数を計数する（ステップＳ３１０）。そして、集合特徴量決定部１３０は、計数結果としての共起行列を、集合特徴量として特徴量ＤＢ１４０へ出力する（ステップＳ３１２）。
【００５６】
図８Ｂは、本実施形態に係る集合特徴量決定部１３０による集合特徴量決定処理の流れの第２の例を示すフローチャートである。
【００５７】
図８Ｂを参照すると、まず、集合特徴量決定部１３０は、データ取得部１１０から入力される文集合１０４に含まれる単語を抽出する（ステップＳ３５２）。次に、集合特徴量決定部１３０は、抽出した単語についてステミング処理を行い、語形の変化による単語の相違を除去する（ステップＳ３５４）。次に、集合特徴量決定部１３０は、ステミング処理後の単語から、ストップワード及びＴＦ／ＩＤＦスコアの低い単語などの不要な単語を除外する（ステップＳ３５６）。そして、集合特徴量決定部１３０は、残った単語を含む語彙に応じた集合特徴量の特徴量空間（行列空間）を形成する（ステップＳ３５８）。ここまでの処理は、図８ＡのステップＳ３０２〜ステップＳ３０８と同様である。
【００５８】
次に、集合特徴量決定部１３０は、類義語辞書を取得する（ステップＳ３６０）。次に、集合特徴量決定部１３０は、取得した類義語辞書において類義関係にある単語の組合せに対応する行列の成分に数値を付与する（ステップＳ３６２）。そして、集合特徴量決定部１３０は、各成分に数値を付与した特徴量行列を集合特徴量として特徴量ＤＢ１４０へ出力する（ステップＳ３６４）。
【００５９】
［２−５．特徴量ＤＢ］
特徴量ＤＢ１４０は、フレーズ特徴量決定部１２０により決定されるフレーズ特徴量と集合特徴量決定部１３０により決定される集合特徴量とを記憶媒体を用いて記憶する。そして、特徴量ＤＢ１４０は、圧縮部１５０からの要求に応じて、記憶しているフレーズ特徴量と集合特徴量とを圧縮部１５０へ出力する。
【００６０】
［２−６．圧縮部］
圧縮部１５０は、上述したフレーズ特徴量よりも次元の低い圧縮フレーズ特徴量であって、データ取得部１１０により取得される各フレーズの特徴を表す圧縮フレーズ特徴量を、特徴量ＤＢ１４０から入力されるフレーズ特徴量と集合特徴量とを用いて生成する。
【００６１】
ここで、図５を用いて説明したように、フレーズ特徴量決定部１２０により決定されるフレーズ特徴量は、超スパースなベクトル量である。そのため、公知の確率的手法に基づくベクトル圧縮技術をフレーズ特徴量に単純に適用したとしても、圧縮によりデータの有意性が失われ易い。そこで、本実施形態に係る圧縮部１５０は、フレーズ特徴量に加えて上述した集合特徴量を観測データとして取り扱うことにより、特徴量の情報の少なさを補った上で、確率的手法を用いてフレーズ特徴量を圧縮する。それにより、フレーズの単独の統計的特徴のみならず、フレーズが属す文集合の統計的特徴によって圧縮後のデータが効果的にトレーニングされ得る。
【００６２】
圧縮部１５０が利用する確率モデルは、複数のフレーズについてのフレーズ特徴量と集合特徴量とを観測データとし、及び潜在的な変量が当該観測データの生起に寄与するとする確率モデルである。また、圧縮部１５０が利用する確率モデルにおいて、集合特徴量の生起に寄与する潜在的な変量と、複数のフレーズについてのフレーズ特徴量の生起に寄与する潜在的な変量とは、少なくとも部分的に共通する変量である。かかる確率モデルは、例えば、次の式（１）により表される。
【００６３】
【数１】
2011227758.tif 000003
【００６４】
式（１）において、Ｘ（ｘｉｊ）はフレーズ特徴量行列を表す。Ｆ（ｆｊｋ）は集合特徴量（行列）を表す。Ｕｉは、ｉ番目のフレーズに対応する潜在ベクトルを表す。Ｖｊ（又はＶｋ）は、ｊ番目（又はｋ番目）の単語に対応する潜在ベクトルを表す。αＸはフレーズ特徴量の精度に相当し、以下の式（２）における正規分布の分散を与える。αＦは集合特徴量の精度に相当し、以下の式（３）における正規分布の分散を与える。Ｎは取得されたフレーズの総数、Ｍはフレーズ特徴量のベクトル空間の次元、Ｌは集合特徴量の次数（order）をそれぞれ表す。式（１）の右辺の２つの確率変数は、次式のように定義される。なお、Ｇ（ｘ｜μ，α）は、平均をμ、精度をαとする正規分布である。
【００６５】
【数２】
2011227758.tif 000004
【００６６】
圧縮部１５０は、このような確率モデルに基づき、共役事前分布を設定した後、最大事後確率推定又はベイズ推定などの最尤推定法に従って潜在的な変量であるＮ個の潜在ベクトルＵｉ及びＬ個のＶｊを推定する。そして、圧縮部１５０は、推定の結果として得られる各フレーズについての潜在ベクトルＵｉ（ｉ＝１〜Ｎ）を、各フレーズの圧縮フレーズ特徴量として圧縮特徴量ＤＢ１６０へ出力する。
【００６７】
図９Ａ及び図９Ｂは、フレーズ特徴量の圧縮についての本実施形態のアイディアを異なる側面から概念的に説明するための説明図である。
【００６８】
図９Ａを参照すると、潜在的な変量のデータ空間の一例である潜在トピック空間が上部に、観測されるデータ空間が下部にそれぞれ示されている。潜在ベクトルＵｉは、潜在トピック空間に属し、文集合において観測されるｉ番目のフレーズの生起に寄与する。これは、フレーズの持つ意味的側面が言葉としてのフレーズの出現に確率的に影響を与えることを意味する。一方、ｉ番目のフレーズに含まれるｊ番目の単語の生起には、潜在ベクトルＵｉと共に、潜在ベクトルＶｊ（Ｖｋ）が寄与する。これは、例えば文集合における文脈の意味的側面（あるいは文書の言語的な傾向など）が個別の単語の出現に確率的に影響を与えることを意味する。このとき、潜在ベクトルＶｊ（Ｖｋ）は、ｉ番目のフレーズに含まれるｊ番目の単語の生起に寄与するだけでなく、注目されたフレーズ以外の文集合の他の部分における単語の生起にも寄与する。そのため、ｉ番目のフレーズのフレーズ特徴量ｘｉｊに加えて集合特徴量ｆｊｋを観測することで、潜在ベクトルＵｉと潜在ベクトルＶｊ（Ｖｋ）とを良好に推定することができる。ここで、潜在ベクトルＵｉ及びＶｊの次元は、潜在トピック空間におけるトピック数に等しい。かかるトピック数をフレーズ特徴量の次元よりも少ない数とすることで、フレーズ特徴量よりも次元の低い潜在ベクトルＵｉを圧縮フレーズ特徴量として獲得することができる。潜在トピック空間におけるトピック数は、例えば、後段の処理の要件又はリソースの制約などに応じた適切な数（例えば２０など）に設定され得る。
【００６９】
図９Ｂの上段には、Ｎ行Ｍ列のフレーズ特徴量行列Ｘが示されている。また、図９Ｂの下段には、Ｌ行Ｌ列の集合特徴量Ｆが示されている。なお、図９Ｂのフレーズ特徴量行列Ｘ及び集合特徴量Ｆは、図５及び図７にそれぞれ例示したフレーズ特徴量行列１２２及び集合特徴量１３２に対して行と列とが反転していることに留意されたい。
【００７０】
図９Ｂに示したＮ行Ｍ列のフレーズ特徴量行列Ｘは、例えば、図９Ａに例示した潜在トピック空間におけるトピック数をＴとすると、より次数の小さいＮ行Ｔ列の低次行列Ｍｔ１とＴ行Ｍ列の低次行列Ｍｔ２との積に行列分解することができる。このうち、低次行列Ｍｔ１は、Ｔ次元の潜在ベクトルＵｉを各行に並べた行列である。同様に、Ｌ行Ｌ列の集合特徴量Ｆは、Ｌ行Ｔ列の低次行列Ｍｔ３とＴ行Ｌ列の低次行列Ｍｔ４との積に行列分解することができる。このうち、低次行列Ｍｔ３は、Ｔ次元の潜在ベクトルＶｊを各行に並べた行列である。ここで、低次行列Ｍｔ２の斜線部分の潜在的な変量と低次行列Ｍｔ４の斜線部分の潜在的な変量とが同じ値を有するという仮定の下に、圧縮部１５０は、フレーズ特徴量行列Ｘ及び集合特徴量Ｆを近似的に導く尤もらしい低次行列Ｍｔ１、Ｍｔ２、Ｍｔ３及びＭｔ４を推定する。それにより、圧縮部１５０は、フレーズ特徴量行列Ｘのみから低次行列Ｍｔ１及びＭｔ２を推定する場合と比較して、より有意な低次行列Ｍｔ１（即ち、潜在ベクトルＵｉ）を獲得することができる。
【００７１】
なお、図９Ｂでは、フレーズ特徴量のベクトル空間の次元Ｍよりも集合特徴量の次数Ｌの方が大きい例を示した。典型的には、Ｌ＞Ｍとすることで、フレーズに出現する単語のみならず、フレーズには出現しないもののフレーズが属す文集合に出現する単語の傾向に基づいて、フレーズ特徴量の圧縮の有意性を高めることができる。しかしながら、例えばＬ＝Ｍ又はＬ＜Ｍとした場合にも、本発明の効果は享受され得る。その理由は、Ｎ行Ｍ列のフレーズ特徴量行列よりもＬ行Ｌ列の集合特徴量が通常は密である（あるいは“超スパース”ではない）ことで、フレーズ特徴量の情報の少なさがやはり集合特徴量によって補われるためである。
【００７２】
［２−７．圧縮特徴量ＤＢ］
圧縮特徴量ＤＢ１６０は、圧縮部１５０により生成される圧縮フレーズ特徴量を記憶媒体を用いて記憶する。そして、圧縮特徴量ＤＢ１６０は、クラスタリング部１７０からの要求に応じて、記憶している圧縮フレーズ特徴量をクラスタリング部１７０へ出力する。さらに、圧縮特徴量ＤＢ１６０は、クラスタリング部１７０によるクラスタリングの結果を圧縮フレーズ特徴量と関連付けて記憶する。
【００７３】
［２−８．クラスタリング部］
クラスタリング部１７０は、圧縮部１５０により生成される複数の圧縮フレーズ特徴量を特徴量間の類似度に応じてクラスタリングする。クラスタリング部１７０によるクラスタリング処理は、Ｋ平均法（K-means）などの公知のクラスタリングアルゴリズムに従って行われてよい。また、クラスタリング部１７０は、クラスタリングの結果として生成される１つ以上のクラスタの各々に、各クラスタを代表するフレーズに応じたラベルを付与する。ラベルが付与されるクラスタは、クラスタリングアルゴリズムに従って生成された全てのクラスタではなく、例えば次の選択条件を満たす一部のクラスタであってよい。
‐選択条件：クラスタ内のフレーズの数（重複するフレーズも別々に計数する）が全てのクラスタのうち上位Ｎｆ以内であり、かつ、クラスタ内のフレーズの全てのペアについての圧縮フレーズ特徴量の類似度が所定の閾値以上である。
【００７４】
なお、上記選択条件における類似度として、例えば圧縮フレーズ特徴量間のコサイン類似度又は内積などを用いることができる。
【００７５】
選択されたクラスタを代表するフレーズは、例えば、クラスタ内で一意なフレーズのうち最も多くクラスタ内に含まれるフレーズであってよい。クラスタリング部１７０は、例えば、文字列が同じフレーズごとに圧縮フレーズ特徴量の和を算出し、その和が最大となるフレーズの文字列をクラスタのラベルとして付与してもよい。
【００７６】
図１０は、クラスタリング部１７０によるフレーズのクラスタリングの結果の一例について説明するための説明図である。
【００７７】
図１０を参照すると、圧縮フレーズ特徴量空間１６２において、１１個のフレーズＦ１１〜Ｆ２１がその圧縮フレーズ特徴量に応じた位置に示されている。このうち、フレーズＦ１２〜Ｆ１４はクラスタＣ１に分類されている。また、フレーズＦ１５〜Ｆ１７はクラスタＣ２に分類されている。フレーズＦ１８〜Ｆ２０はクラスタＣ３に分類されている。さらに、クラスタＣ１には、“Sign”という文字列がラベルとして付与されている。クラスタＣ２には、“Collaborate”という文字列がラベルとして付与されている。クラスタＣ３には、“Born”という文字列がラベルとして付与されている。これらクラスタのラベルは、クラスタを代表するフレーズの文字列に応じて付与される。クラスタリング部１７０は、このようなクラスタリングの結果を、圧縮特徴量ＤＢ１６０に圧縮フレーズ特徴量と関連付けて記憶させる。
【００７８】
なお、クラスタを代表するフレーズに応じてクラスタのラベルを付与する代わりに、属するべきクラスタが既知であるフレーズ（以下、教師フレーズという）が予め与えられている場合には、教師フレーズ又は教師フレーズと関連付けられる文字列をそのクラスタのラベルとしてもよい。
【００７９】
図１１は、本実施形態に係るクラスタリング部１７０によるクラスタリング処理の流れの一例を示すフローチャートである。
【００８０】
図１１を参照すると、まず、クラスタリング部１７０は、文集合１０４に含まれる複数のフレーズについての圧縮フレーズ特徴量を圧縮特徴量ＤＢ１６０から読み込む（ステップＳ４０２）。次に、クラスタリング部１７０は、公知のクラスタリングアルゴリズムに従って、圧縮フレーズ特徴量をクラスタリングする（ステップＳ４０４）。次に、クラスタリング部１７０は、各クラスタが所定の選択条件を満たすか否かをそれぞれ判定し、所定の選択条件を満たす主要なクラスタを選択する（ステップＳ４０６）。次に、クラスタリング部１７０は、選択したクラスタに、各クラスタを代表するフレーズの文字列に応じたラベルを付与する（ステップＳ４０８）。
【００８１】
［２−９．要約部］
要約部１８０は、文集合１０４に含まれる特定の単語に注目し、注目単語に関連するフレーズについてのクラスタリング部１７０によるクラスタリングの結果を用いて、注目単語についての要約情報を作成する。より具体的には、要約部１８０は、例えば、注目単語と関連する複数の関連性を関連性データ１１２から抽出する。そして、要約部１８０は、抽出した第１の関連性のフレーズ及び第２の関連性のフレーズが共に１つのクラスタに分類されていれば、当該１つのクラスタに付与されたラベルについての要約の内容に、第１の関連性における他方の単語と第２の関連性における他方の単語とを追加する。
【００８２】
図１２は、要約部１８０により作成される一例としての要約情報１８２を示している。要約情報１８２における注目単語は、“Michael  Jackson”である。また、要約情報１８２は、４つのラベル“Sign”、“Born”、“Collaborate”及び“Album”を含む。要約情報１８２において、ラベル“Sign”についての内容は、“CBS  Records”及び“Motown”である。例えば、注目単語である“Michael  Jackson”と“CBS  Records”との単語ペアについてフレーズが“signed  to”であり、“Michael  Jackson”と“Motown”との単語ペアについてフレーズが“contracted  with”であって、これらフレーズが共に“Sign”をラベルとするクラスタに分類された場合には、このような要約情報１８２のエントリが作成され得る。
【００８３】
図１３は、本実施形態に係る要約部１８０による要約情報作成処理の流れの一例を示すフローチャートである。
【００８４】
図１３を参照すると、まず、要約部１８０は、注目単語を特定する（ステップＳ５０２）。注目単語は、例えば、ユーザにより指定される単語であってもよい。その代わりに、要約部１８０は、例えば、関連性データ１１２に含まれる１つ以上の固有名詞などの単語を自動的に注目単語として特定してもよい。次に、要約部１８０は、特定した注目単語に関連する関連性を関連性データ１１２から抽出する（ステップＳ５０４）。注目単語に関連する関連性とは、例えば、単語ペアのいずれかの単語が注目単語である関連性である。次に、要約部１８０は、抽出した関連性に含まれるフレーズが属するクラスタのラベルをクラスタリングの結果から取得する（ステップＳ５０６）。そして、要約部１８０は、取得したラベルごとに、注目単語とペアをなす単語をリスト化することにより、要約の内容を生成する（ステップＳ５０８）。要約部１８０は、このように作成した要約情報１８２を、要約ＤＢ１９０へ出力する。
【００８５】
［２−１０．要約ＤＢ］
要約ＤＢ１９０は、要約部１８０により作成される要約情報１８２を記憶媒体を用いて記憶する。要約ＤＢ１９０により記憶される要約情報１８２は、例えば、情報検索、広告、又は推薦などの様々な目的を有する情報処理装置１００の内部又は外部のアプリケーションによって利用され得る。
【００８６】
＜３．情報処理の流れ＞
図１４は、本実施形態に係る情報処理装置１００による情報処理の全体的な流れの一例を示すフローチャートである。図１４を参照すると、まず、情報処理装置１００のデータ取得部１１０により、図４を用いて説明したデータ取得処理が行われる（ステップＳ６０２）。次に、フレーズ特徴量決定部１２０により、図６を用いて説明したフレーズ特徴量決定処理が行われる（ステップＳ６０４）。次に、集合特徴量決定部１３０により、図８Ａ又は図８Ｂを用いて説明した集合特徴量決定処理が行われる（ステップＳ６０６）。次に、圧縮部１５０は、図９Ａ及び図９Ｂを用いて説明した手法に従って、フレーズ特徴量と集合特徴量とを用いて圧縮フレーズ特徴量を生成する（ステップＳ６０８）。次に、クラスタリング部１７０により、図１１を用いて説明したクラスタリング処理が行われる（ステップＳ６１０）。そして、要約部１８０により、図１３を用いて説明した要約情報作成処理が行われる（ステップＳ６１２）。
【００８７】
＜４．応用例＞
本実施形態では、圧縮フレーズ特徴量についてのクラスタリングの結果を要約情報の作成に利用する例について主に説明した。しかしながら、本実施形態に従って生成される圧縮フレーズ特徴量は、上述した以外の用途にも応用され得る。
【００８８】
例えば、Ｗｅｂ上のフォーム又は電子メールなどを通じて顧客から収集される質問は、同じような質問の趣旨を有する場合であっても顧客ごとに異なる表現をとり易い。例えば、テレビの画面に障害がある場合に、あるユーザは“ノイズが多い”と表現し、他のユーザは“映りが悪い”と表現し、また別のユーザは“画質に問題がある”と表現するかも知れない。このような場合に、本実施形態に従って良好に圧縮された圧縮フレーズ特徴量についてのクラスタリング結果を用いることで、いずれの質問も同様の趣旨を有することをシステムが自動的に認識することができる。それにより、顧客を適切な問い合わせ先に誘導し、又は顧客に適切な回答を迅速に提供することができる。
【００８９】
また、人間が発話する音声においても、１つの同じ又は類似する意味が多様な言葉で表現され得る。そのため、音声認識を通じて人間と会話するコンピュータ又はロボットなどのエージェントにとって、多様な言葉の意味を正しく理解して適切な応答を返すことは容易でない。しかし、本実施形態に従って良好に圧縮された圧縮フレーズ特徴量についてのクラスタリング結果を用いることで、人間が発話する多様な言葉の意味をエージェントがより正確に理解することができる。１つの例として、本実施形態は、人間から音声入力された指示に表現の違いがあっても、その指示の意味を適切に理解してアクションを行うようなエージェントに応用され得る。また、他の例として、本実施形態は、人間に向けて音声を出力する際に、伝達しようとする１つの意味を様々なバリエーションのフレーズを用いて表現するエージェントにも応用され得る。
【００９０】
また、本実施形態に係るクラスタリングの結果は、例えば、単語のペアの一方がユーザの行動（情報の閲覧、又はコンテンツの視聴若しくは購買など）の対象となった場合に、他方の単語に関連する情報又はコンテンツをユーザに推薦するシステムにも応用され得る。例えば、推薦の際に、情報又はコンテンツを推薦する理由として対応するクラスタのラベルを提示することで、推薦に対するユーザの納得感を高めることができる。
【００９１】
＜５．まとめ＞
ここまで、図１〜図１４を用いて、本発明の一実施形態に係る情報処理装置１００について説明した。本実施形態によれば、フレーズの特徴を表すフレーズ特徴量に加えて、当該フレーズの取得元である文集合の特徴を表す集合特徴量を用いて、フレーズ特徴量よりも次元の低い圧縮フレーズ特徴量が生成される。かかる構成によれば、フレーズ特徴量の有意性を維持又は向上させながら特徴量の次元を圧縮することができる。それにより、例えば、リソースの制約又は対象とするテキストの性質などに応じて大規模なデータ集合を確保し得ない場合であっても、クラスタリングなどの後段の処理を効果的に行うことのできる低次元のフレーズ特徴量が提供される。
【００９２】
また、本実施形態によれば、フレーズ特徴量は、複数のフレーズ内に出現する単語の各々に対応する成分を有するベクトル量である。また、集合特徴量は、文集合内に出現する単語の組合せの各々に対応する成分を有する行列である。かかる構成によれば、フレーズ特徴量のベクトル空間の少なくとも一部を、集合特徴量を構成する行ベクトル又は列ベクトルのベクトル空間の一部と重複させることができる。それにより、フレーズ特徴量の情報の少なさを集合特徴量で補った上で、確率的手法を用いてフレーズ特徴量を圧縮することができる。
【００９３】
また、本実施形態によれば、複数のフレーズについてのフレーズ特徴量と集合特徴量とを観測データとし、及び潜在的な変量が当該観測データの生起に寄与するとする確率モデルが提供される。かかる確率モデルに最尤推定法を適用することで、圧縮フレーズ特徴量がより良好にトレーニングされ、圧縮フレーズ特徴量の有意性が向上される。
【００９４】
また、本実施形態によれば、集合特徴量は、単語の組合せごとの文集合内での共起回数若しくは単語間の類義関係、又はそれらの双方に応じて決定される。このような集合特徴量は、文集合における文脈の意味的側面を反映し、又は単語間の類義関係を直接的に表す。それにより、フレーズの同義又は類義関係の認識を目的とするクラスタリングに適した圧縮フレーズ特徴量のトレーニングが可能となる。
【００９５】
なお、本明細書において説明した情報処理装置１００による一連の処理は、典型的には、ソフトウェアを用いて実現される。一連の処理を実現するソフトウェアを構成するプログラムは、例えば、情報処理装置１００の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時に情報処理装置１００のＲＡＭ（Random  Access  Memory）に読み込まれ、ＣＰＵ（Central  Processing  Unit）などのプロセッサにより実行される。
【００９６】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００９７】
１００    情報処理装置
１０４    文集合
１１０    データ取得部
１１２    関連性データ
１２０    フレーズ特徴量決定部
１２２    フレーズ特徴量（行列）
１３０    集合特徴量決定部
１３２    集合特徴量（行列）
１５０    圧縮部
１７０    クラスタリング部
１８０    要約部
１８２    要約情報
【図１】
2011227758.tif 000005
【図２】
2011227758.tif 000006
【図３】
2011227758.tif 000007
【図４】
2011227758.tif 000008
【図５】
2011227758.tif 000009
【図６】
2011227758.tif 000010
【図７】
2011227758.tif 000011
【図８Ａ】
2011227758.tif 000012
【図８Ｂ】
2011227758.tif 000013
【図９Ａ】
2011227758.tif 000014
【図９Ｂ】
2011227758.tif 000015
【図１０】
2011227758.tif 000016
【図１１】
2011227758.tif 000017
【図１２】
2011227758.tif 000018
【図１３】
2011227758.tif 000019
【図１４】
2011227758.tif 000020