(57)【要約】【課題】データに対してカテゴリを精度よく割り当てることができる。【解決手段】潜在ベクトル推定部３２で、文書集合Ｄｔｒの文書の各々がカテゴリ割当に貢献する度合いを表すパラメータａｉと、文書の各々に割り当てられたカテゴリｔｉと、文書集合Ｄｔｒとに基づいて、各文書の多重集合に含まれる単語の潜在ベクトルｘｖ、及びパラメータａｉが、文書のカテゴリ分類に有効な度合いを表す目的関数を最適化するように、潜在ベクトルｘｖを推定し、識別関数推定部３４で、潜在ベクトルｘｖと、文書の各々に割り当てられたカテゴリｔｉと、文書集合Ｄｔｒとに基づいて、目的関数を最適化するように、パラメータａｉを推定することを、予め定めた繰り返し終了条件を満たすまで繰り返す。【選択図】図１
2016091374.tif 000002
【特許請求の範囲】
【請求項１】
入力された、各々にカテゴリが予め割り当てられたデータ集合であって、かつ、離散特徴の多重集合で表現可能なデータの前記データ集合の各データの前記多重集合に含まれる各離散特徴の潜在ベクトル、前記データ集合のデータの各々がカテゴリ割当に貢献する度合いを表すパラメータ、前記データ集合のデータの各々に割り当てられたカテゴリ、及び前記データ集合を用いて、前記データに割り当てるカテゴリを識別するための識別関数で用いられる、各離散特徴の潜在ベクトルと、前記データ集合のデータの各々がカテゴリ割当に貢献する度合いを表すパラメータとを初期化する初期化部と、
前記データ集合のデータの各々がカテゴリ割当に貢献する度合いを表すパラメータと、前記データ集合のデータの各々に割り当てられたカテゴリと、前記データ集合とに基づいて、各離散特徴の潜在ベクトル、及び前記データ集合のデータの各々がカテゴリ割当に貢献する度合いを表すパラメータが、データのカテゴリ分類に有効な度合いを表す目的関数を最適化するように、各離散特徴の潜在ベクトルを推定する潜在ベクトル推定部と、
各離散特徴の潜在ベクトルと、前記データ集合のデータの各々に割り当てられたカテゴリと、前記データ集合とに基づいて、前記目的関数を最適化するように、前記データ集合のデータの各々がカテゴリ割当に貢献する度合いを表すパラメータを推定する識別関数推定部と、
予め定めた繰り返し終了条件を満たすまで、前記潜在ベクトル推定部による推定、及び前記識別関数推定部による推定を繰り返す繰り返し判定部と、
を含むパラメータ推定装置。
【請求項２】
前記識別関数は、以下の式に示すｆ（ｗk*）で表わされ、
前記目的関数は、以下の式に示すＬ（Ａ，Ｘ，γ）で表わされる請求項１に記載のパラメータ推定装置。
【数１】
2016091374.tif 000015
ただし、ｗはデータの前記多重集合を表し、ｗ＊はカテゴリが割り当てられていないデータの前記多重集合を表し、Ａはデータ集合のデータの各々がカテゴリ割当に貢献する度合いを表すパラメータａｉの集合を表し、０≦ａｉ≦Ｃであり、ｔｉはデータに予め割り当てられたカテゴリを表し、Ｘは各離散特徴ｖの潜在ベクトルｘｖの集合を表し、
【数２】
2016091374.tif 000016
は離散特徴ｖのｑ次元の潜在ベクトルを表し、γは、離散特徴間の類似度の値を制御するためのパラメータであり、Ｋ（ｗｉ，ｗｊ；Ｘ，γ）はデータｉとデータｊとの類似度を表すカーネル関数である。
【請求項３】
入力された、離散特徴の多重集合で表現可能なデータのデータ集合であって、かつ、割り当てられるカテゴリが未知の未知データ集合を受け付ける入力部と、
請求項１又は２に記載のパラメータ推定装置によって推定された各離散特徴の潜在ベクトル、及び前記データ集合のデータの各々がカテゴリ割当に貢献する度合いを表すパラメータと、前記データ集合のデータの各々に割り当てられたカテゴリと、前記データ集合とに基づいて、前記入力部で受け付けた未知データ集合の各データに対して、前記識別関数に従って、前記カテゴリを割り当てる割当部と、
を含むカテゴリ割当装置。
【請求項４】
初期化部が、入力された、各々にカテゴリが予め割り当てられたデータ集合であって、かつ、離散特徴の多重集合で表現可能なデータの前記データ集合の各データの前記多重集合に含まれる各離散特徴の潜在ベクトル、前記データ集合のデータの各々がカテゴリ割当に貢献する度合いを表すパラメータ、前記データ集合のデータの各々に割り当てられたカテゴリ、及び前記データ集合を用いて、前記データに割り当てるカテゴリを識別するための識別関数で用いられる、各離散特徴の潜在ベクトルと、前記データ集合のデータの各々がカテゴリ割当に貢献する度合いを表すパラメータとを初期化するステップと、
潜在ベクトル推定部が、前記データ集合のデータの各々がカテゴリ割当に貢献する度合いを表すパラメータと、前記データ集合のデータの各々に割り当てられたカテゴリと、前記データ集合とに基づいて、各離散特徴の潜在ベクトル、及び前記データ集合のデータの各々がカテゴリ割当に貢献する度合いを表すパラメータが、データのカテゴリ分類に有効な度合いを表す目的関数を最適化するように、各離散特徴の潜在ベクトルを推定するステップと、
識別関数推定部が、各離散特徴の潜在ベクトルと、前記データ集合のデータの各々に割り当てられたカテゴリと、前記データ集合とに基づいて、前記目的関数を最適化するように、前記データ集合のデータの各々がカテゴリ割当に貢献する度合いを表すパラメータを推定するステップと、
繰り返し判定部が、予め定めた繰り返し終了条件を満たすまで、前記潜在ベクトル推定部による推定、及び前記識別関数推定部による推定を繰り返すステップと、
を含むパラメータ推定方法。
【請求項５】
前記識別関数は、以下の式に示すｆ（ｗk*）で表わされ、
前記目的関数は、以下の式に示すＬ（Ａ，Ｘ，γ）で表わされる請求項１に記載のパラメータ推定方法。
【数３】
2016091374.tif 000017
ただし、ｗはデータの前記多重集合を表し、ｗ＊はカテゴリが割り当てられていないデータの前記多重集合を表し、Ａはデータ集合のデータの各々がカテゴリ割当に貢献する度合いを表すパラメータａｉの集合を表し、０≦ａｉ≦Ｃであり、ｔｉはデータに予め割り当てられたカテゴリを表し、Ｘは各離散特徴ｖの潜在ベクトルｘｖの集合を表し、
【数４】
2016091374.tif 000018
はｑ次元の離散特徴ｖの潜在ベクトルを表し、γは、離散特徴間の類似度の値を制御するためのパラメータであり、Ｋ（ｗｉ，ｗｊ；Ｘ，γ）はデータｉとデータｊとの類似度を表すカーネル関数である。
【請求項６】
入力部が、入力された、離散特徴の多重集合で表現可能なデータのデータ集合であって、かつ、割り当てられるカテゴリが未知の未知データ集合を受け付けるステップと、
割当部が、請求項１又は２に記載のパラメータ推定装置によって推定された各離散特徴の潜在ベクトル、及び前記データ集合のデータの各々がカテゴリ割当に貢献する度合いを表すパラメータと、前記データ集合のデータの各々に割り当てられたカテゴリと、前記データ集合とに基づいて、前記入力部で受け付けた未知データ集合の各データに対して、前記識別関数に従って、前記カテゴリを割り当てるステップと、
を含むカテゴリ割当方法。
【請求項７】
コンピュータを、請求項１若しくは請求項２に記載のパラメータ推定装置、又は請求項３に記載のカテゴリ割当装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パラメータ推定装置、カテゴリ割当装置、方法、及びプログラムに係り、特に、データに対してカテゴリを割り当てるためのパラメータ推定装置、カテゴリ割当装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、大量の文書データが蓄積されている。例えば、論文、新聞記事、ウェブページがこれにあたる。ユーザが全ての文書に目を通し、文書を分類していくことは困難であるため、これらの文書を自動的に望ましいカテゴリに分類する装置が要望されている。この装置を開発することにより、文書を効率的に分類し整理できるようになるだけでなく、ユーザの必要な文書を効率的に検索できるようになる。
【０００３】
多くの場合、文書は単語の集合として表現される。これまでの文書分類の手法は、単語の集合間の類似度を基準に文書を分類する（例えば非特許文献１）。しかし、単語の字面は異なるが意味が似ている単語（例えば「テスト」と「試験」）が類似度に反映されないため、正しく文書分類できない場合がある。
【０００４】
このような問題を解決するための方法として、単語の潜在ベクトルを導入することにより、単語の字面は異なるが意味が似ている単語を類似度に反映する方法が知られている。単語の潜在ベクトル表現の獲得の方法として、例えば、特異値分解（ＳＶＤ）によるもの（例えば非特許文献２）や、ｗｏｒｄ２ｖｅｃを用いるもの（例えば非特許文献３）が知られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−２４６７９５号公報
【非特許文献】
【０００６】
【非特許文献１】Thorsten Joachims,“Text categorization with Support Vector Machines:Learning with many relevant features,” Lecture Notes in Computer Science Volume 1398, pp137-142, 1998.
【非特許文献２】Zhu, Jun, Amr Ahmed, and Eric P. Xing.“MedLDA: maximum margin supervised topic models for regression and classication.”Proceedings of the 26th Annual International Conference on Machine Learning. ACM, 2009.
【非特許文献３】Muandet, Krikamol, et al.“Learning from distributions via support measure machines.” Advances in Neural Information Processing Systems. 2012.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、非特許文献２や非特許文献３の方法では、単語の潜在ベクトルを識別とは関係なく前処理で計算するため、文書の分類精度にそれほど寄与しない。
【０００８】
本発明は、上記問題点を解決するために成されたものであり、データに対して、カテゴリを精度よく割り当てるための識別関数のパラメータを推定することができるパラメータ推定装置、方法、及びプログラムを提供することを目的とする。
【０００９】
また、データに対して、カテゴリを精度よく割り当てることができるカテゴリ割当装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、第１の発明に係るパラメータ推定装置は、入力された、各々にカテゴリが予め割り当てられたデータ集合であって、かつ、離散特徴の多重集合で表現可能なデータの前記データ集合の各データの前記多重集合に含まれる各離散特徴の潜在ベクトル、前記データ集合のデータの各々がカテゴリ割当に貢献する度合いを表すパラメータ、前記データ集合のデータの各々に割り当てられたカテゴリ、及び前記データ集合を用いて、前記データに割り当てるカテゴリを識別するための識別関数で用いられる、各離散特徴の潜在ベクトルと、前記データ集合のデータの各々がカテゴリ割当に貢献する度合いを表すパラメータとを初期化する初期化部と、前記データ集合のデータの各々がカテゴリ割当に貢献する度合いを表すパラメータと、前記データ集合のデータの各々に割り当てられたカテゴリと、前記データ集合とに基づいて、各離散特徴の潜在ベクトル、及び前記データ集合のデータの各々がカテゴリ割当に貢献する度合いを表すパラメータが、データのカテゴリ分類に有効な度合いを表す目的関数を最適化するように、各離散特徴の潜在ベクトルを推定する潜在ベクトル推定部と、各離散特徴の潜在ベクトルと、前記データ集合のデータの各々に割り当てられたカテゴリと、前記データ集合とに基づいて、前記目的関数を最適化するように、前記データ集合のデータの各々がカテゴリ割当に貢献する度合いを表すパラメータを推定する識別関数推定部と、予め定めた繰り返し終了条件を満たすまで、前記潜在ベクトル推定部による推定、及び前記識別関数推定部による推定を繰り返す繰り返し判定部と、を含んで構成されている。
【００１１】
また、第１の発明に係るパラメータ推定装置において、前記識別関数は、以下の式に示すｆ（ｗk*）で表わされ、前記目的関数は、以下の式に示すＬ（Ａ，Ｘ，γ）で表わされるようにしてもよい。
【００１２】
【数１】
2016091374.tif 000003
【００１３】
ただし、ｗはデータの前記多重集合を表し、ｗ＊はカテゴリが割り当てられていないデータの前記多重集合を表し、Ａはデータ集合のデータの各々がカテゴリ割当に貢献する度合いを表すパラメータａｉの集合を表し、０≦ａｉ≦Ｃであり、ｔｉはデータに予め割り当てられたカテゴリを表し、Ｘは各離散特徴ｖの潜在ベクトルｘｖの集合を表し、
【００１４】
【数２】
2016091374.tif 000004
【００１５】
は離散特徴ｖのｑ次元の潜在ベクトルを表し、γは、離散特徴間の類似度の値を制御するためのパラメータであり、Ｋ（ｗｉ，ｗｊ；Ｘ，γ）はデータｉとデータｊとの類似度を表すカーネル関数である。
【００１６】
第２の発明に係るカテゴリ割当装置は、入力された、離散特徴の多重集合で表現可能なデータのデータ集合であって、かつ、割り当てられるカテゴリが未知の未知データ集合を受け付ける入力部と、上記第１の発明係るパラメータ推定装置によって推定された各離散特徴の潜在ベクトル、及び前記データ集合のデータの各々がカテゴリ割当に貢献する度合いを表すパラメータと、前記データ集合のデータの各々に割り当てられたカテゴリと、前記データ集合とに基づいて、前記入力部で受け付けた未知データ集合の各データに対して、前記識別関数に従って、前記カテゴリを割り当てる割当部と、を含んで構成されている。
【００１７】
第１の発明に係るパラメータ推定方法は、初期化部が、入力された、各々にカテゴリが予め割り当てられたデータ集合であって、かつ、離散特徴の多重集合で表現可能なデータの前記データ集合の各データの前記多重集合に含まれる各離散特徴の潜在ベクトル、前記データ集合のデータの各々がカテゴリ割当に貢献する度合いを表すパラメータ、前記データ集合のデータの各々に割り当てられたカテゴリ、及び前記データ集合を用いて、前記データに割り当てるカテゴリを識別するための識別関数で用いられる、各離散特徴の潜在ベクトルと、前記データ集合のデータの各々がカテゴリ割当に貢献する度合いを表すパラメータとを初期化するステップと、潜在ベクトル推定部が、前記データ集合のデータの各々がカテゴリ割当に貢献する度合いを表すパラメータと、前記データ集合のデータの各々に割り当てられたカテゴリと、前記データ集合とに基づいて、各離散特徴の潜在ベクトル、及び前記データ集合のデータの各々がカテゴリ割当に貢献する度合いを表すパラメータが、データのカテゴリ分類に有効な度合いを表す目的関数を最適化するように、各離散特徴の潜在ベクトルを推定するステップと、識別関数推定部が、各離散特徴の潜在ベクトルと、前記データ集合のデータの各々に割り当てられたカテゴリと、前記データ集合とに基づいて、前記目的関数を最適化するように、前記データ集合のデータの各々がカテゴリ割当に貢献する度合いを表すパラメータを推定するステップと、繰り返し判定部が、予め定めた繰り返し終了条件を満たすまで、前記潜在ベクトル推定部による推定、及び前記識別関数推定部による推定を繰り返すステップと、を含んで実行することを特徴とする。
【００１８】
また、第１の発明に係るパラメータ推定方法において、前記識別関数は、以下の式に示すｆ（ｗk*）で表わされ、前記目的関数は、以下の式に示すＬ（Ａ，Ｘ，γ）で表わされるようにしてもよい。
【００１９】
【数３】
2016091374.tif 000005
【００２０】
ただし、ｗはデータの前記多重集合を表し、ｗ＊はカテゴリが割り当てられていないデータの前記多重集合を表し、Ａはデータ集合のデータの各々がカテゴリ割当に貢献する度合いを表すパラメータａｉの集合を表し、０≦ａｉ≦Ｃであり、ｔｉはデータに予め割り当てられたカテゴリを表し、Ｘは各離散特徴ｖの潜在ベクトルｘｖの集合を表し、
【００２１】
【数４】
2016091374.tif 000006
【００２２】
はｑ次元の離散特徴ｖの潜在ベクトルを表し、γは、離散特徴間の類似度の値を制御するためのパラメータであり、Ｋ（ｗｉ，ｗｊ；Ｘ，γ）はデータｉとデータｊとの類似度を表すカーネル関数である。
【００２３】
第２の発明に係るカテゴリ割当方法は、入力部が、入力された、離散特徴の多重集合で表現可能なデータのデータ集合であって、かつ、割り当てられるカテゴリが未知の未知データ集合を受け付けるステップと、割当部が、請求項１又は２に記載のパラメータ推定装置によって推定された各離散特徴の潜在ベクトル、及び前記データ集合のデータの各々がカテゴリ割当に貢献する度合いを表すパラメータと、前記データ集合のデータの各々に割り当てられたカテゴリと、前記データ集合とに基づいて、前記入力部で受け付けた未知データ集合の各データに対して、前記識別関数に従って、前記カテゴリを割り当てるステップと、を含んで実行することを特徴とする。
【００２４】
第３の発明に係るプログラムは、コンピュータを、上記第１の発明に係るパラメータ推定装置又は上記第２の発明に係るカテゴリ割当装置の各部として機能させるためのプログラムである。
【発明の効果】
【００２５】
本発明のパラメータ推定装置、方法、及びプログラムによれば、データ集合のデータの各々がカテゴリ割当に貢献する度合いを表すパラメータと、データの各々に割り当てられたカテゴリと、データ集合とに基づいて、各データの多重集合に含まれる各離散特徴の潜在ベクトル、及びデータの各々がカテゴリ割当に貢献する度合いを表すパラメータが、データのカテゴリ分類に有効な度合いを表す目的関数を最適化するように、潜在ベクトルを推定し、潜在ベクトルと、データの各々に割り当てられたカテゴリと、データ集合とに基づいて、目的関数を最適化するように、カテゴリ割当に貢献する度合いを表すパラメータを推定することを、予め定めた繰り返し終了条件を満たすまで繰り返すことで、カテゴリを精度よく割り当てるための識別関数のパラメータを推定することができる、という効果が得られる。
【００２６】
また、カテゴリ割当装置、方法、及びプログラムによれば、パラメータ推定装置によって推定されたデータ集合の各データの多重集合に含まれる各離散特徴の潜在ベクトル、及びデータ集合のデータの各々がカテゴリ割当に貢献する度合いを表すパラメータと、データの各々に割り当てられたカテゴリと、及びデータ集合とに基づいて、未知データ集合の各データに対して、識別関数に従って、カテゴリを割り当てることで、データに対して、カテゴリを精度よく割り当てることができる、という効果が得られる。
【図面の簡単な説明】
【００２７】
【図１】本実施の形態に係るパラメータ推定装置及びカテゴリ割当装置の機能的構成を示すブロック図である。
【図２】本実施の形態に係るパラメータ推定装置におけるパラメータ推定処理ルーチンを示すフローチャートである。
【図３】本実施の形態に係るカテゴリ割当装置におけるカテゴリ割当処理ルーチンを示すフローチャートである。
【図４】本実施の形態に係る手法を用いて文書にカテゴリを割り当てた実験結果の一例を示すグラフである。
【図５】本実施の形態に係る手法を用いて文書にカテゴリを割り当てた実験結果における可視化の一例を示す抽象図である。
【発明を実施するための形態】
【００２８】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２９】
＜本発明の実施の形態に係るパラメータ推定装置の構成＞
【００３０】
次に、本発明の実施の形態に係るパラメータ推定装置の構成について説明する。なお、本実施の形態では、文書にカテゴリを割り当てるためのパラメータを推定するパラメータ推定装置に本発明を適用した場合を例に説明するが、文書の場合と同様に、入力データが離散特徴の多重集合で表現可能なデータであれば、本発明を適用できる。例えば、本発明は画像や音楽等にも適用できる。
【００３１】
図１に示すように、本発明の実施の形態に係るパラメータ推定装置１００は、ＣＰＵと、ＲＡＭと、後述するパラメータ推定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。このパラメータ推定装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、パラメータ集合記憶部４０とを備えている。
【００３２】
入力部１０は、入力データとして、各々にカテゴリが予め割り当てられた文書集合
【００３３】
【数５】
2016091374.tif 000007
【００３４】
を受け付ける。ここで、ｗｉはｉ番目の文書（ｉ＝１，・・・，Ｎｔｒ）を表現する離散特徴の多重集合である。離散特徴としては、例えば単語を用いることができる。この場合、ｗｉは語彙集合Ｖの部分集合である。また、ｔｉ∈｛＋１，−１｝は文書ｉの二値カテゴリラベルを表す。カテゴリラベルが多値の場合も、例えば１対１方式や１対他方式と呼ばれる方法によって対応できる。
【００３５】
演算部２０は、初期化部３０と、潜在ベクトル推定部３２と、識別関数推定部３４と、繰り返し判定部３６とを含んで構成されている。
【００３６】
初期化部３０は、入力部１０で受け付けた文書集合Ｄｔｒの各文書の単語の多重集合に含まれる各単語ｖの潜在ベクトルｘｖ（ｖ∈Ｖ）、文書集合Ｄｔｒの文書の各々がカテゴリ割当に貢献する度合いを表すパラメータａｉ（ｉ＝１，・・・，Ｎｔｒ）、文書集合Ｄｔｒの文書の各々に割り当てられたカテゴリｔｉ、及び文書集合Ｄｔｒを用いて、文書に割り当てるカテゴリを識別するための下記の（１）式の識別関数で用いられる、各単語ｖの潜在ベクトルｘｖと、文書集合Ｄｔｒの文書の各々がカテゴリ割当に貢献する度合いを表すパラメータａｉと、パラメータγとを初期化する。
【００３７】
【数６】
2016091374.tif 000008
【００３８】
ここで、ｗは文書を表現する単語の多重集合を表し、ｗ＊はカテゴリが割り当てられていない文書を表現する単語の多重集合を表す。また、Ｘ＝｛ｘｖ｝ｖ∈Ｖは各単語ｖの潜在ベクトル集合を表し、
【００３９】
【数７】
2016091374.tif 000009
【００４０】
は単語ｖのｑ次元の潜在ベクトルを表す。Ｋ（ｗｉ，ｗｊ；Ｘ，γ）は、潜在ベクトルｘｖの集合Ｘを入力としてとる、文書ｉと文書ｊの類似の度合いを表すカーネル関数である。
【００４１】
本実施の形態では、初期化部３０は、各単語ｖの潜在ベクトルｘｖ、及びパラメータγをランダムに初期化する。また、文書集合Ｄｔｒの文書の各々がカテゴリ割当に貢献する度合いを表すパラメータａｉをＣとして設定する。Ｃは誤識別を許すかどうかを決める、予め定められたパラメータである。
【００４２】
潜在ベクトル推定部３２は、初期化部３０で初期化され、又は識別関数推定部３４で推定された文書集合Ｄｔｒの文書の各々がカテゴリ割当に貢献する度合いを表すパラメータａｉと、文書集合Ｄｔｒの文書の各々に割り当てられたカテゴリｔｉと、文書集合Ｄｔｒとに基づいて、各単語ｖの潜在ベクトルｘｖ、及び文書集合Ｄｔｒの文書の各々がカテゴリ割当に貢献する度合いを表すパラメータａｉが、文書のカテゴリ分類に有効な度合いを表す下記の（２）式の目的関数を最適化するように、各単語ｖの潜在ベクトルｘｖ、及びパラメータγを推定する。
【００４３】
【数８】
2016091374.tif 000010
【００４４】
ここで、
【００４５】
【数９】
2016091374.tif 000011
【００４６】
は文書集合Ｄｔｒの文書の各々がカテゴリ割当に貢献する度合いを表すパラメータａｉの集合であり、ａｉの定義域は０≦ａｉ≦Ｃである。また、ａｉ＝０のとき、文書ｉはカテゴリ割当に貢献しないことを意味する。ρ＞０は予め定められたパラメータである。また、カーネル関数としては、例えば下記の（３）式を用いることができる。
【００４７】
【数１０】
2016091374.tif 000012
【００４８】
ここで、γ＞０は単語間の類似度の値を制御するパラメータである。なお、上記（３）式のカーネル関数の他にも、線形カーネルや多項式カーネルなどの半正定値性を持つカーネル関数を用いることが可能である。潜在ベクトル推定部３２における推定では、同じカテゴリに属する文書間のカーネルが大きい値になり、そうでなければ小さい値になるように潜在ベクトルとパラメータを更新することによって行う。これは、パラメータａｉの集合Ａが与えられたうえで、上記（２）式の目的関数を最小化することによって可能である。例えば、準ニュートン法などの最適化手法を用いることにより、各単語の潜在ベクトルｘｖとパラメータγを推定できる。目的関数の値は、各単語ｖの潜在ベクトルｘｖが与えられた時、カテゴリラベル付き文書集合Ｄｔｒに含まれる全ての文書の単語の多重集合ｗｉについて、カテゴリｔｉを正しく当てられれば最適値となる。
【００４９】
識別関数推定部３４は、潜在ベクトル推定部３２で推定された各単語ｖの潜在ベクトルｘｖと、パラメータγと、文書集合Ｄｔｒの文書の各々に割り当てられたカテゴリｔｉと、文書集合Ｄｔｒとに基づいて、目的関数を最適化するように、文書集合Ｄｔｒの文書の各々がカテゴリ割当に貢献する度合いを表すパラメータａｉを推定する。
【００５０】
識別関数推定部３４では、直感的には、各文書ｉについて、カテゴリｔｉと上記（１）式の識別関数の符号が一致するように上記（２）式におけるパラメータａｉの集合Ａを求める。
【００５１】
これは、上記潜在ベクトル推定部３２の推定によって潜在ベクトルｘｖの集合Ｘとパラメータγが与えられたうえで、上記（２）式の目的関数を最大化することによって可能である。例えば、二次計画法やＳＭＯ（Ｓｅｑｕｅｎｔｉａｌ  Ｍｉｎｉｍａｌ  Ｏｐｔｉｍｉｚａｔｉｏｎ）などの最適化手法を用いることによって、識別関数のパラメータを推定できる。
【００５２】
繰り返し判定部３６は、予め定めた繰り返し終了条件を満たすまで、上記潜在ベクトル推定部３２による推定、及び上記識別関数推定部３４による推定を繰り返す。具体的な繰り返し終了条件としては、繰り返しの回数、又は目的関数の変化の大きさなどを用いることができ、目的関数の値が収束するまで更新を繰り返す。そして、目的関数が収束したと判定されれば、潜在ベクトル推定部３２で推定された潜在ベクトルｘｖの集合Ｘ及びパラメータγ、識別関数推定部３４で推定された文書集合Ｄｔｒの文書の各々がカテゴリ割当に貢献する度合いを表すパラメータａｉの集合Ａ、並びに入力部１０で受け付けた文書集合Ｄｔｒをパラメータ集合記憶部４０に記憶する。
【００５３】
＜本発明の実施の形態に係るカテゴリ割当装置の構成＞
【００５４】
次に、本発明の実施の形態に係るカテゴリ割当装置の構成について説明する。図２に示すように、本発明の実施の形態に係るカテゴリ割当装置３００は、ＣＰＵと、ＲＡＭと、後述するカテゴリ割当ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。このカテゴリ割当装置３００は、機能的には図２に示すように入力部３１０と、演算部３２０と、パラメータ集合記憶部４０と、出力部３５０とを備えている。
【００５５】
入力部３１０は、入力データとして、割り当てられるカテゴリが未知の未知文書集合
【００５６】
【数１１】
2016091374.tif 000013
【００５７】
を受け付ける。
【００５８】
演算部３２０は、読込部３３０と、割当部３３２とを含んで構成されている。
【００５９】
読込部３３０は、パラメータ集合記憶部４０に記憶されている各単語ｖの潜在ベクトルｘｖの集合Ｘ、パラメータγ、及び文書集合Ｄｔｒの文書の各々がカテゴリ割当に貢献する度合いを表すパラメータａｉの集合Ａと、文書集合Ｄｔｒとを読み込む。
【００６０】
割当部３３２は、読込部３３０で読み込んだ、各単語ｖの潜在ベクトルｘｖの集合Ｘ、パラメータγ、及び文書集合Ｄｔｒの文書の各々がカテゴリ割当に貢献する度合いを表すパラメータａｉの集合Ａと、文書集合Ｄｔｒの文書の各々に割り当てられたカテゴリと、文書集合Ｄｔｒとに基づいて、未知文書集合Ｄｔｅの各文書に対して、上記（１）式の識別関数に従って、カテゴリを割り当てる。本実施の形態では、カテゴリが割り当てられていない未知文書の単語の多重集合ｗk*（ｋ＝１，・・・，Ｎｔｅ）について、上記（１）式を用いて識別関数の値を計算する。ここで、識別関数の値がｆ（ｗk*）≧０のとき、未知文書の単語の多重集合ｗk*のカテゴリｙｋは＋１、そうでなければ−１となる。
【００６１】
そして、割当部３３２は、未知文書の単語の多重集合ｗk*の各々について計算して得られたカテゴリラベル集合
【００６２】
【数１２】
2016091374.tif 000014
【００６３】
を、出力部３５０によって出力する。
【００６４】
＜本発明の実施の形態に係るパラメータ推定装置の作用＞
【００６５】
次に、本発明の実施の形態に係るパラメータ推定装置１００の作用について説明する。入力部１０において、カテゴリが割り当てられた文書集合Ｄｔｒを受け付けると、パラメータ推定装置１００は、図２に示すパラメータ推定処理ルーチンを実行する。
【００６６】
まず、ステップＳ１００では、入力部１０において受け付けた文書集合Ｄｔｒを取得する。
【００６７】
次に、ステップＳ１０２では、ステップＳ１００で取得した文書集合Ｄｔｒの各文書の単語の多重集合に含まれる各単語ｖの潜在ベクトルｘｖ、文書集合Ｄｔｒの文書の各々がカテゴリ割当に貢献する度合いを表すパラメータａｉ、及びパラメータγを初期化する。
【００６８】
ステップＳ１０４では、ステップＳ１０２で初期化され、又は後述するステップＳ１０６で推定された文書集合Ｄｔｒの文書の各々がカテゴリ割当に貢献する度合いを表すパラメータａｉと、文書集合Ｄｔｒの文書の各々に割り当てられたカテゴリｔｉと、文書集合Ｄｔｒとに基づいて、各単語ｖの潜在ベクトルｘｖ、及び文書集合Ｄｔｒの文書の各々がカテゴリ割当に貢献する度合いを表すパラメータａｉが、文書のカテゴリ分類に有効な度合いを表す上記（２）式の目的関数を最適化するように、各単語ｖの潜在ベクトルｘｖ、及びパラメータγを推定する。
【００６９】
ステップＳ１０６では、ステップＳ１０４で推定された各単語ｖの潜在ベクトルｘｖと、パラメータγと、文書集合Ｄｔｒの文書の各々に割り当てられたカテゴリｔｉと、文書集合Ｄｔｒとに基づいて、目的関数を最適化するように、文書集合Ｄｔｒの文書の各々がカテゴリ割当に貢献する度合いを表すパラメータａｉを推定する。
【００７０】
ステップＳ１０８では、目的関数が収束したかを判定し、収束していないと判定されば場合は、ステップＳ１０４からステップＳ１０６の処理を繰り返し、収束していると判定された場合は、ステップＳ１０４で推定された潜在ベクトルｘｖの集合Ｘ及びパラメータγ、ステップＳ１０６で推定された文書集合Ｄｔｒの文書の各々がカテゴリ割当に貢献する度合いを表すパラメータａｉの集合Ａ、並びにステップＳ１００で取得した文書集合Ｄｔｒをパラメータ集合記憶部４０に記憶し、処理を終了する。
【００７１】
＜本発明の実施の形態に係るカテゴリ割当装置の作用＞
【００７２】
次に、本発明の実施の形態に係るカテゴリ割当装置３００の作用について説明する。入力部３１０において未知文書集合Ｄｔｅを受け付けると、カテゴリ割当装置３００は、図３に示すカテゴリ割当処理ルーチンを実行する。
【００７３】
まず、ステップＳ３００では、入力部３１０において受け付けた未知文書集合Ｄｔｅを取得する。
【００７４】
次にステップＳ３０２では、パラメータ集合記憶部４０に記憶されている、各単語ｖの潜在ベクトルｘｖの集合Ｘ、パラメータγ、文書集合Ｄｔｒの文書の各々がカテゴリ割当に貢献する度合いを表すパラメータａｉの集合Ａ、及び文書集合Ｄｔｒとを読み込む。
【００７５】
ステップＳ３０４では、ステップＳ３０４で読み込んだ、各単語ｖの潜在ベクトルｘｖの集合Ｘ、パラメータγ、及び文書集合Ｄｔｒの文書の各々がカテゴリ割当に貢献する度合いを表すパラメータａｉの集合Ａと、文書集合Ｄｔｒの文書の各々に割り当てられたカテゴリと、文書集合Ｄｔｒとに基づいて、未知文書集合Ｄｔｅの各文書に対して、上記（１）式の識別関数に従って、カテゴリを割り当てる。
【００７６】
そして、ステップＳ３０６では、ステップＳ３０４のカテゴリ割当結果を出力部３５０によって出力し処理を終了する。
【００７７】
＜実験結果＞
【００７８】
次に、本実施の形態に係る手法を用いて行った実験結果について説明する。
【００７９】
本実施の形態に係る手法を評価するため、３データセット（WebKB、Reuters-21578、及び20 Newsgroups）を用いて実験を行った。比較手法として、ＭｅｄＬＤＡ（Maximum entropy discrimination Latent Dirichlet Allocation）（上記、非特許文献２参照）、特異値分解（ＳＶＤ）によって単語のベクトル表現を得た後にＳＭＭ（Support Measure Machine）（上記、非特許文献３参照）によって分類するＳＶＤ＋ＳＭＭ、ｗｏｒｄ２ｖｅｃ（非特許文献４（Mikolov, Tomas, et al.“Distributed representations of words and phrases and their compositionality.”Advances in Neural Information Processing Systems. 2013.））によって単語のベクトル表現を得た後にＳＭＭによって分類するｗｏｒｄ２ｖｅｃ＋ＳＭＭ、及びｒｂｆカーネルと二次の多項式（poly2）カーネルを使ったＳＶＭ（Support Vector Machine）（非特許文献５（Cortes, Corinna, and Vladimir Vapnik.“Support-vector networks.”Machine learning 20.3 (1995): 273-297.））を用いた。
【００８０】
本実施の形態に係る手法による学習と、上記の比較手法による学習とにおいて、カテゴリが割り当てられた文書数を変化させたときの分類精度を図４に示す。３データセット全てにおいて、本実施の形態に係る手法（Ｌａｔｅｎｔ ＳＭＭ）が最も高い精度を達成しており、高精度で文書分類が可能であることを示唆している。
【００８１】
また、本実施の形態に係る手法による単語の可視化結果の例を図５に示す。同じカテゴリの単語がまとまって可視化されていることから、各カテゴリにおいて特徴的な単語を効率的に発見できることを示唆している。
【００８２】
以上、説明したように、本実施の形態に係るパラメータ推定装置によれば、文書集合Ｄｔｒの文書の各々がカテゴリ割当に貢献する度合いを表すパラメータａｉと、文書の各々に割り当てられたカテゴリｔｉと、文書集合Ｄｔｒとに基づいて、各文書の多重集合に含まれる単語の潜在ベクトルｘｖ、及びパラメータａｉが、文書のカテゴリ分類に有効な度合いを表す目的関数を最適化するように、潜在ベクトルｘｖを推定し、潜在ベクトルｘｖと、文書の各々に割り当てられたカテゴリｔｉと、文書集合Ｄｔｒとに基づいて、目的関数を最適化するように、カテゴリ割当に貢献する度合いを表すパラメータａｉを推定することを、予め定めた繰り返し終了条件を満たすまで繰り返すことで、カテゴリを精度よく割り当てるための識別関数のパラメータを推定することができる。
【００８３】
また、本実施の形態に係るカテゴリ割当装置によれば、パラメータ推定装置によって推定された文書集合の各文書の多重集合に含まれる各単語の潜在ベクトルｘｖ、及び文書集合の文書の各々がカテゴリ割当に貢献する度合いを表すパラメータａｉと、文書の各々に割り当てられたカテゴリｔｉと、及び文書集合Ｄｔｒとに基づいて、未知文書集合Ｄｔｅの各文書に対して、識別関数に従って、カテゴリを割り当てることで、文書に対して、カテゴリを精度よく割り当てることができる
【００８４】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００８５】
例えば、上記の実施の形態では、データとして文書を想定して説明してきたが、これに限定されるものではなく、１つのデータを離散特徴の多重集合で表現可能なデータであれば、画像や音楽等のデータにも適用できることは言うまでもない。画像の局所特徴としては、例えば、勾配情報から算出されるＳＩＦＴ（Scale Invariant Feature Transform）が挙げられる。１つの画像から複数のＳＩＦＴが抽出されるので、それらに対しベクトル量子化を用いて離散化したものを要素とする集合は、その画像の離散特徴の多重集合である。この多重集合をｗとして上記（１）式の識別関数に適用すれば、あとは文書の場合と同様、カテゴリが割り当てられた画像の集合からカテゴリを識別する関数のパラメータを推定することや、カテゴリが割り当てられていない画像の集合に対してカテゴリ割当を行うことができる。
【符号の説明】
【００８６】
１０、３１０  入力部
２０、３２０  演算部
３０   初期化部
３２   上記潜在ベクトル推定部
３２   潜在ベクトル推定部
３４   識別関数推定部
３４   上記識別関数推定部
３６   繰り返し判定部
４０   パラメータ集合記憶部
１００ パラメータ推定装置
３００ カテゴリ割当装置
３３０ 読込部
３３２ 割当部
３５０ 出力部
【図１】
2016091374.tif 000019
【図２】
2016091374.tif 000020
【図３】
2016091374.tif 000021
【図４】
2016091374.tif 000022
【図５】
2016091374.tif 000023