(57)【特許請求の範囲】
【請求項１】
テキストを分類する方法であって、
前記テキストからテキスト特徴を求めるステップと、
前記テキスト特徴をトピック特徴に変換するステップと、
前記トピック特徴からスコアを求めるステップであって、該求めるステップは、モデルを用い、該モデルは、前記トピック特徴に対し動作する分類器を含む識別トピックモデルであり、前記変換は、誤ったクラスの前記スコアに対し正しいクラスの前記スコアを最大にするように最適化される、ステップと、
前記テキストについて、最高のスコアを有するクラスラベルの集合を選択するステップと、
を含み、
前記テキスト特徴は、ｆｊ、ｋ（ｘ、ｙ）であり、前記変換は、以下の式に従って行われ、
【数１】
0005924713.tif 000023
式中、ｊは、特徴タイプのインデックスであり、ｋは、前記特徴に関連付けられたクラスのインデックスであり、ｘは、前記テキストであり、ｙは、前記クラスラベルの仮説であり、ｈｌ（・）は、前記テキスト特徴を変換する関数であり、ｌは、前記トピック特徴のインデックスであり、
前記識別トピックモデルは、
【数２】
0005924713.tif 000024
であり、式中、α、β、γは、重みであり、Ａは、特徴変換行列であり、Λは、分類最適化パラメータであり、
前記ステップは、プロセッサにおいて実行される、テキストを分類する方法。
【請求項２】
前記トピック特徴は、前記テキスト特徴の線形変換である、請求項１に記載の方法。
【請求項３】
前記モデルのパラメータは、Ｌ１正則化項、Ｌ２正則化項および混合ノルム正則化項を含む正則化項を用いて正則化される、請求項１に記載の方法。
【請求項４】
前記テキストは、発話信号に対し動作する自動発話認識システムからの１つまたは複数の仮説から導出される、請求項１に記載の方法。
【請求項５】
前記トピック特徴は、前記テキストの意味論的側面に関係する、請求項１に記載の方法。
【請求項６】
線形変換
【数３】
0005924713.tif 000025
は、特徴変換行列Ａによってパラメータ化され、前記トピック特徴
【数４】
0005924713.tif 000026
が得られる、請求項１に記載の方法。
【請求項７】
前記重みは、交差検証によって求められる、請求項１に記載の方法。
【請求項８】
前記分類は、前記テキストによって用いられる自然言語の意味論に従う、請求項１に記載の方法。
【請求項９】
前記クラスは、階層構造に編成され、各クラスは、階層におけるノードに対応し、ノードは、前記階層の異なるレベルに割り当てられ、前記階層の前記レベルの１つまたは複数に異なる分類パラメータが用いられ、分類は、前のレベルにおける前記クラスの仮説を条件として、前記階層をトラバースして各レベルにおける前記クラスの部分スコアを評価し、前記レベルのうちの１つまたは複数における前記クラスの前記部分スコアを組み合わせて共同スコアを求めることによって実行される、請求項１に記載の方法。
【請求項１０】
前記階層は、ツリーとして表される、請求項９に記載の方法。
【請求項１１】
前記階層は、無閉路有向グラフとして表される、請求項９に記載の方法。
【請求項１２】
前記階層は、幅優先でトラバースされる、請求項９に記載の方法。
【請求項１３】
１つまたは複数のレベルにおける前記スコアを用いて、他のレベルにおける検討から仮説を排除する、請求項９に記載の方法。
【請求項１４】
所与のレベルにおいて、最も高いスコアを有する仮説以外の全てが、さらなる検討から排除される、請求項１３に記載の方法。
【請求項１５】
所与のレベルにおいて、ある正の整数ｎについて、最も高いスコアを有するｎ個の仮説以外の全てが、さらなる検討から排除される、請求項１３に記載の方法。
【請求項１６】
最上位レベルから別のレベルのクラスへのパスに沿ったクラスシーケンスの前記共同スコアは、前記パスに沿った前記部分スコアを合算することによって求められる、請求項９に記載の方法。
【請求項１７】
特定のレベルにおける前記クラスの前記スコアは、該クラスにつながる全てのパスの前記共同スコアを周辺化することによって求められる、請求項１６に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的にはテキストを分類する方法に関し、より詳細には、多数のカテゴリに関してテキストを分類することに関する。
【背景技術】
【０００２】
テキスト分類は、コマンドおよび制御のためのユーザーインターフェース等の自然言語処理における多くのタスクにとって重要な問題である。そのような方法では、複数のテキストクラスから導出されるトレーニングデータを用いて、テキストの最も可能性の高いクラスを推定する方法によって用いられるパラメータを最適化する。
【０００３】
テキスト分類のための多項ロジスティック回帰（ＭＬＲ）分類器
テキスト分類は、入力テキストｘからクラスｙを推定する。ここで、ｙは、クラスのラベルである。テキストは、発話信号から導出することができる。
【０００４】
従来技術の多項ロジスティック回帰では、入力テキストに関する情報は、以下の特徴関数を用いて符号化される。
【０００５】
【数１】
0005924713.tif 000002
【０００６】
この特徴関数は、通常、以下のように定義される。
【０００７】
【数２】
0005924713.tif 000003
【０００８】
換言すれば、項ｔｊが、テキストｘ内に含まれ、クラスラベルｙが、カテゴリＩｋに等しい場合、特徴は、１に等しい。
【０００９】
分類に用いられるモデルは、以下の形式の条件付き指数モデルである。
【００１０】
【数３】
0005924713.tif 000004
【００１１】
式中、
【数４】
0005924713.tif 000005
であり、λｊ、ｋおよびΛは、分類パラメータである。
【００１２】
パラメータは、以下の目的関数を用いて、テキストｘｉとラベルｙｉとのトレーニング対において最適化される。
【００１３】
【数５】
0005924713.tif 000006
【００１４】
この目的関数は、Λに関して最大にされる。
【００１５】
正則化多項ロジスティック回帰分類器
ロジスティック回帰において分類パラメータに正則化項を加えて一般化能力を改善することができる。
【００１６】
正則化多項ロジスティック回帰分類器において、Ｌ１ノルム正則化項およびＬ２ノルム正則化項の双方を用いる一般定式化は、以下のとおりである。
【００１７】
【数６】
0005924713.tif 000007
【００１８】
式中、
【数７】
0005924713.tif 000008
は、Ｌ２ノルム正則化項であり、
【数８】
0005924713.tif 000009
は、Ｌ１ノルム正則化項であり、αおよびβは重み付け係数である。ここでも、この目的関数は、Λに関して最大にされる。
【００１９】
これらの正則化の下で様々な方法によりパラメータを最適化することができる。
【００２０】
トピックのモデル化
従来技術において、確率的潜在意味解析（ＰＬＳＡ）および潜在的ディリクレ解析（ＬＤＡ）は、トピックが多項潜在変数である生成トピックモデルであり、トピックの分布は、トピックを所与として単語が多項分布したテキストを含む特定の文書に依拠する。文書にクラスが関連付けられている場合、そのようなモデルをテキスト分類に用いることができる。
【発明の概要】
【発明が解決しようとする課題】
【００２１】
しかしながら、生成トピックモデルでは、クラス固有パラメータおよびトピック固有パラメータは、対数確率に従って加法的である。
【００２２】
本発明の実施の形態は、識別トピック変換を用いてテキストを分類する方法を提供する。本発明の実施の形態は、クラスが階層に配列される問題における分類も行う。
【００２３】
本方法は、テキストから特徴を抽出し、次に特徴をトピック特徴に変換し、その後、テキストを分類してスコアを求める。
【００２４】
詳細には、テキストは、テキストからテキスト特徴を求め、テキスト特徴をトピック特徴に変換することによって分類される。テキストは、認識された発話から取得することができる。
【００２５】
識別トピック変換モデルを用いて、トピック特徴ごとにスコアが求められる。
【００２６】
モデルは、トピック特徴に対し動作する分類器を含み、トピック特徴は、テキスト特徴からの変換によって求められ、変換は、誤ったクラスのスコアに対し正しいクラスのスコアを最大にするように最適化される。
【００２７】
次に、テキストについて最高のスコアを有するクラスラベルの集合が選択される。選択されるラベル数は、所定とすることもできるし、動的にすることもできる。
【００２８】
各クラスが階層におけるノードに対応する階層構造にクラスが編成される状況において、本方法は、以下のように進行する。階層は、幅優先順にトラバースすることができる。
【００２９】
本方法の第１段階は、上記で説明したのと同じようにして、階層の最高レベル（レベル１）における入力テキストのクラススコアを、レベル１のクラスについてトレーニングされた識別トピック変換モデルを用いて評価することである。この段階によって、レベル１クラスごとのスコアが生成され、最大スコアを有するレベル１クラスの集合を選択するのに用いられる。次に、選択されたレベル１クラスごとに、各レベル１クラスに関連付けられた識別トピック変換モデルを用いて、対応するレベル２の子クラスが評価される。手順は、１つまたは複数のレベルにわたって、または階層の最後のレベルに達するまで繰り返される。階層の最上位レベルから任意のノードへのパス上で用いられる各分類器からのスコアが組み合わされて、そのノードのレベルにおける分類の共同スコアが得られる。スコアを用いて、階層内の任意の所与のレベルにおける最高のスコアを有する候補を出力する。識別トピック変換モデルにおけるトピック変換パラメータは、階層内の一般化を促進するために、モデルの１つまたは複数の部分集合にわたって共有することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の実施の形態による、テキスト分類の方法およびシステムの流れ図である。
【図２】本発明の実施の形態による、階層的テキスト分類の方法およびシステムの流れ図である。
【発明を実施するための形態】
【００３１】
本発明の実施の形態は、識別トピック変換モデルを用いてテキストを分類する方法を提供する。
【００３２】
本方法は、分類されるテキストからテキスト特徴ｆｊ、ｋ（ｘ、ｙ）を抽出する。ここで、ｊは、特徴タイプのインデックスであり、ｋは、特徴と関連付けられたクラスのインデックスであり、ｘは、テキストであり、ｙは、クラスの仮説である。
【００３３】
テキスト特徴は、以下の式を用いてトピック特徴に変換される。
【００３４】
【数９】
0005924713.tif 000010
【００３５】
式中、ｈｌ（・）は、テキスト特徴を変換する関数であり、ｌは、トピック特徴のインデックスである。
【００３６】
「トピック特徴」という用語は、特徴がテキストの意味論的側面に関係することに起因して用いられる。当該技術分野および本明細書において用いられるとき、「意味論」とは、自然言語におけるテキストの意味全体に関係する。意味論は、単語、句、符号およびシンボル等のシニフィアン（signifier）間の関係、およびシニフィアンが表すものに焦点をあてる。意味論は、個々の単語の「辞書的」意味と区別される。
【００３７】
特徴変換行列Ａによってパラメータ化された線形変換
【数１０】
0005924713.tif 000011
によって、以下のトピック特徴が得られる。
【００３８】
【数１１】
0005924713.tif 000012
【００３９】
次に、本発明による識別トピック変換モデルは、
【数１２】
0005924713.tif 000013
であり、式中、
【数１３】
0005924713.tif 000014
である。
【００４０】
トレーニングテキストを用いて本発明のモデルを構築し、最適化する。モデルは、セット分類パラメータΛと特徴変換行列Ａとを含む。パラメータは、正しいクラスラベルのスコアを最大にする。モデルは、分類中のスコアを評価するのにも用いられる。構築は、１回限りの前処理ステップにおいて行うことができる。
【００４１】
モデルパラメータは、特徴変換行列Ａおよび分類パラメータΛについて設計された様々な正則化項を用いて、最適化中に正則化することもできる。
【００４２】
１つの方法は、分類パラメータΛに対し、以下の正則化項の混合を用い、
【数１４】
0005924713.tif 000015
特徴変換行列Ａに対し、以下の組み合わされたＬ１／Ｌ２正則化項を用い、
【数１５】
0005924713.tif 000016
ここで、α、βおよびγは、重み付け係数である。
【００４３】
モデルパラメータをトレーニングするための目的関数
次に、テキストｘｉおよびラベルｙｉのトレーニング対において、モデルパラメータΛおよびＡをトレーニングするための目的関数は、
【数１６】
0005924713.tif 000017
であり、式中、α、β、γは、各正則化項の相対強度を制御する重みであり、交差検証を用いて求められる。この目的関数は、ΛおよびＡに関して最大にされる。
【００４４】
スコアリング
テキストｘを所与としたクラスｙごとのスコアを、定数項を除外して、上記の目的関数において用いられるのと類似した定式を用いて計算することができる。
【００４５】
【数１７】
0005924713.tif 000018
【００４６】
階層的分類
ここで、クラスが階層構造に編成される場合を検討する。ここでは、テキストｘごとに、階層のレベルごとのラベルｙｄ、ｄ＝１、・・・、Ｄを有する。各レベルｄにおけるラベル変数ｙｄは、集合Ｃｄ内の値をとる。ｙｄについて検討される値の集合は、前のレベルにおけるラベル変数ｙ１：（ｄ−１）＝ｙ１、・・・、ｙｄ−１がとる値に従って、部分集合Ｃｄ（ｙ１：（ｄ−１））に制約することができる。
【００４７】
例えば、クラスのツリー構造の場合、各集合Ｃｄ（ｙ１：（ｄ−１））は、レベルｄ−１におけるラベルｙｄ−１の子の集合として定義することができる。
【００４８】
各レベルｄにおけるクラスを推定するために、前のレベルｄ’≦ｄ−１におけるクラスの仮説に依拠するテキストの分類器を構築することができる。クラスｙｄのスコアは、以下の定式を用いて計算される。
【００４９】
【数１８】
0005924713.tif 000019
【００５０】
式中、Λｄ（ｙ１：（ｄ−１））は、レベル１〜ｄ−１におけるクラスを所与としたレベルｄにおけるクラスのパラメータの集合である。オプションで、行列Ａは、レベルｄおよび前のレベルのクラスｙ１：（ｄ−１）に応じて決めることができるが、行列を複数のレベルにわたって共有させることが有利である場合がある。
【００５１】
ツリー表現の場合、１つの可能性は、スコアが前のレベルのクラスのみに応じて決まるように、上記の定式を、以下のように単純化することである。
【００５２】
【数１９】
0005924713.tif 000020
【００５３】
この枠組みにおいて、階層をトラバースし、仮説ｙ１：ｄの組み合わせについて複数のレベルにわたってスコアを組み合わせることによって推測を行うことができる。
【００５４】
複数のレベルにわたってスコアを組み合わせることは、多くの方法で行うことができる。ここでは、様々なレベルからのスコアを総和することを検討する。
【００５５】
【数２０】
0005924713.tif 000021
【００５６】
状況によっては、ｙｄの限界スコアｓ（ｙｄ｜ｘ）を求めることが重要である可能性がある。条件付き指数モデルの場合、これは、以下の式によって（無関係の定数まで）与えられる。
【００５７】
【数２１】
0005924713.tif 000022
【００５８】
ツリーの場合、ｙｄにつながる単一のパスしか存在しないため、単に、
ｓ（ｙｄ｜ｘ）＝ｓ（ｙ１：ｄ｜ｘ）
を得る。
【００５９】
様々な仮説について組み合わされたスコアを用いて仮説をランク付けし、入力テキストの各レベルにおいて最も可能性の高いクラスを求める。
【００６０】
階層のトラバースは、多くの方法で行うこともでき、ここでは、幅優先探索方式において最上部から階層をトラバースする。この状況において、スコアが過度に低い仮説ｙ１：（ｄ−１）をレベルｄ−１まで検討から排除することによって、プロセスを加速することができる。ここで、レベルｄにおいて、最上位のスコアを有するｙ１：（ｄ−１）を含む仮説ｙ１：ｄのみを検討すればよい。
【００６１】
階層は、無閉路有向グラフ（ＤＡＧ）によって表すこともできる。ＤＡＧは、閉路を有しない。無向グラフのノードの全順序を選択し、順序が早いノードから順序が後のノードへの２つのノード間の全てのエッジを方向付けることによって、無向グラフをＤＡＧに変換することができる。
【００６２】
方法
図１は、本発明の実施の形態による、識別トピック変換モデルを用いてテキストを分類する方法を示している。
【００６３】
上記で説明したように、前処理中に既知のラベル付けされたトレーニングテキスト１０４から、本発明によるモデル１０３を構築する（１０５）。
【００６４】
モデルが構築された後、未知のラベル付けされていないテキストを分類することができる。
【００６５】
方法への入力は、テキスト１０１であり、テキストは、グリフ、文字、シンボル、単語、句または文を含む。テキストは、発話から導出することができる。
【００６６】
出力は、未知の入力テキスト、すなわち、クラス仮説に対応する可能性が最も高いクラスラベルの集合１０２である。
【００６７】
モデルを用いるとき、テキスト特徴１１１が入力テキスト１０１から求められる（１１０）。テキスト特徴は、トピック特徴１２１に変換される（１２０）。
【００６８】
モデル１０３に従って、クラススコアが求められる（１３０）。次に、最も高いスコアを有するクラスラベルの集合１０２が生成される。
【００６９】
上記の方法のステップは、当該技術分野において既知のメモリおよび入／出力インターフェースに接続されたプロセッサ１００において実行することができる。
【００７０】
図２は、クラスがツリー構造階層に配列されている場合に上記の方法を用いてテキストを分類する方法を示している。
【００７１】
パラメータ２０２は、階層の各レベルにおいて分類を実行する上記の方法に従って構築される。上記のように、ラベル付けされていないテキスト２０１において、レベル１のクラスのスコアが評価され（２１０）、レベル１のクラスのスコア２０３が得られる。次に、レベル１のスコアに基づいて、次のレベル２における１つまたは複数のノードが選択される（２２０）。ここでも、ラベル付けされていないテキスト２０１において、上記の方法を用いて、レベル２の選択されたノードのスコアが評価され（２３０）、前のレベルのスコアを用いて集約される（２０４）。
【００７２】
同じ方法が、レベルｉのノードの選択２２０から開始して、レベルｉにおけるスコアの評価２３０、レベルｉまでのスコア２０４の記憶へと、階層の各後続のレベルにおいて実行される。
【００７３】
最終レベルｉ＝ｎまでのスコアが集約された後、スコアが複数のレベルにわたって組み合わされ（２４０）、最高のスコアを有するレベルごとのクラスラベルの集合２０５が得られる。
【００７４】
発明の効果
本発明は、従来のテキスト分類方法に対する代替を提供する。従来の方法は、トピックモデルに基づく特徴を用いることができる。しかしながら、これらの特徴は、分類器の枠組み内で識別してトレーニングされない。
【００７５】
トピック特徴を用いることによって、全てのクラスにわたってパラメータが共有されることが可能になり、これによって、従来の分類モデルでのように、各クラス内のみではなく、複数のクラスにわたる単語間の関係をモデルが求めることが可能になる。
【００７６】
また、トピック特徴は、クラスごとのパラメータが全てのクラスに用いられることを可能にする。これによって、パラメータ推定中の雑音および過学習を低減し、一般化を改善することができる。
【００７７】
潜在変数トピックモデルと比べて、本発明のモデルは、対数確率領域におけるトピック固有パラメータおよびクラス固有パラメータの乗算を伴うのに対し、従来技術による潜在変数トピックモデルは、対数確率領域における加算を伴い、これによって可能なモデルの異なる集合が得られる。
【００７８】
別の利点として、本方法は、決定境界から離れたトレーニングテキスト点に対する感度がより低い最適化を用いた多変量ロジスティック関数を使用する。
【００７９】
識別トピック変換と組み合わされた分類の階層的動作によって、システムが、複数のクラスにわたってパラメータを共有することにより、トレーニングデータから十分一般化することが可能になる。また、より低いレベルにおける推測を十分な確信を持って実行することができない場合に、より高いレベルのクラスにバックオフすることも可能になる。
【図１】
0005924713.tif 000027
【図２】
0005924713.tif 000028