(57)【特許請求の範囲】
【請求項１】
複数のテキストの各々について、当該テキストが属するクラスに係る情報と当該テキストに含まれる各単語に係る情報を表すベクトルである第１のWord Embedding（ＷＥ）を取得する、ＷＥ取得手段と、
前記テキストが属するクラスに係る情報と当該テキストに含まれる各単語の第１のＷＥとに基づき、前記第１のＷＥを、第２のＷＥを有する単語を含むテキストが属するクラスを推定可能な前記第２のＷＥに変換するための変換関数を学習する、変換関数学習手段と、
を備える情報処理システム。
【請求項２】
前記変換関数学習手段は、前記第２のＷＥによる推定精度がより高くなるように、前記変換関数を学習する、
請求項１に記載の情報処理システム。
【請求項３】
前記変換関数学習手段は、前記変換関数を用いて表された前記推定精度に係る目的関数の解を求めることにより、前記変換関数を学習する、
請求項１または２に記載の情報処理システム。
【請求項４】
前記目的関数は、前記変換関数に係る正則化項を含む、
請求項３に記載の情報処理システム。
【請求項５】
前記変換関数に係る正則化項は、前記第１のＷＥと前記第２のＷＥとの類似性を保つための正則化項である、
請求項４に記載の情報処理システム。
【請求項６】
前記変換関数に係る正則化項は、前記変換関数と当該変化関数に係る正規直交行列との差分の大きさを示す、
請求項５に記載の情報処理システム。
【請求項７】
前記変換関数に係る正則化項は、前記変換関数と単位行列との差分の大きさを示す、
請求項５に記載の情報処理システム。
【請求項８】
前記クラスに係る情報は、テキストが属するクラス、または、テキストが各クラスに属する確率のいずれかである、
請求項１乃至７のいずれかに記載の情報処理システム。
【請求項９】
さらに、前記学習された変換関数を用いて、前記第１のＷＥを前記第２のＷＥに変換するＷＥ変換手段を備える、
請求項１乃至８のいずれかに記載の情報処理システム。
【請求項１０】
コンピュータに具備されたＷＥ（Word Embedding）取得手段が、複数のテキストの各々について、当該テキストが属するクラスに係る情報と当該テキストに含まれる各単語に係る情報を表すベクトルである第１のＷＥを取得し、
前記コンピュータに具備された変換関数学習手段が、前記テキストが属するクラスに係る情報と当該テキストに含まれる各単語の第１のＷＥとに基づき、前記第１のＷＥを、第２のＷＥを有する単語を含むテキストが属するクラスを推定可能な前記第２のＷＥに変換するための変換関数を学習する、
情報処理方法。
【請求項１１】
コンピュータに、
複数のテキストの各々について、当該テキストが属するクラスに係る情報と当該テキストに含まれる各単語に係る情報を表すベクトルである第１のWord Embedding（ＷＥ）を取得し、
前記テキストが属するクラスに係る情報と当該テキストに含まれる各単語の第１のＷＥとに基づき、前記第１のＷＥを、第２のＷＥを有する単語を含むテキストが属するクラスを推定可能な前記第２のＷＥに変換するための変換関数を学習する、
処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム、情報処理方法、及び、プログラムに関し、特に、単語に係る情報を表すベクトルであるWord Embeddingを生成するための情報処理システム、情報処理方法、及び、プログラムに関する。
【背景技術】
【０００２】
近年、自然言語処理に関する様々な目的のために、Word Embeddingが利用されている。Word Embeddingは、単語に関する構文や意味的な情報を、低次元のベクトルで表したものである。意味的に類似する単語間では、Word Embeddingの距離が小さくなることが知られている。
【０００３】
Word Embeddingを文書（テキスト）の分類に用いる場合に、Word Embeddingに、クラスを推定するための情報を組み入れる（クラスを推定可能なWord Embeddingを学習する）ことが有用であることが、非特許文献１に開示されている。例えば、Word Embeddingを、テキストが「(romantic) date」についてのテキストであるかどうかの分類に用いる場合、単語「flowers」は「tulips」や、「present」、「chocolate」に近い方がよい。一方、テキストが「environment issue」についてのテキストであるかどうかの分類に用いる場合、単語「flowers」は「grass」や「trees」に近い方がよい。
【０００４】
Word Embeddingの質を向上させるためには、一般的に、例えば、数百万程度の大量の学習データが必要である。しかしながら、上述のようなテキストの分類に用いるWord Embeddingの学習に必要な、クラスを表すラベルが付与された学習データは、例えば、数千程度と、それほど多くない。さらに、Word Embeddingの学習は、大規模なデータに対して行われるため、一般的に、Word Embeddingを生成するための計算量も膨大になる。
【０００５】
そのため、クラスを推定可能なWord Embeddingを生成する他の方法として、既に存在するWord Embeddingを、クラスを推定可能なWord Embeddingに適合させる技術が、例えば、非特許文献２、非特許文献３に開示されている。
【０００６】
非特許文献２に開示された技術では、Word Embeddingをパラメタとして用い、オリジナルのWord Embeddingに近づけるための正則化項を含む最適化問題を解くことにより、クラスを推定可能なWord Embeddingを学習する。
【０００７】
また、非特許文献３に開示された技術では、ニューラルネットワークの初期パラメタにオリジナルのWord Embeddingを設定し、ラベルが付与された学習データを用いて、クラスを推定可能なWord Embeddingを学習する。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】Duyu Tang他、「Learning sentiment-specific word embedding for twitter sentiment classification」、Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics、pages 1555-1565、June 2014
【非特許文献２】Igor Labutov、Hod Lipson、「Re-embedding words」、Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics、pages 489-493、August 2013
【非特許文献３】Remi Lebret、Ronan Collobert、「Word embeddings through hellinger pca」、Proceedings of the 14th Conference of the European Chapter of the Association for Computational Linguistics、pages 482-490、April 2014
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述の非特許文献２、３に開示された技術は、ラベルが付与された学習データに存在する単語のWord Embeddingを対象としており、学習データに存在しない単語のWord Embeddingには、クラスを推定するための情報を組み入れることができない。このため、学習データに存在する単語のWord Embeddingと学習データに存在しない単語のWord Embeddingとを正しく比較することができない。例えば、単語「like」と「love」間でオリジナルのWord Embeddingの距離が近いと仮定する。しかしながら、単語「like」だけが学習データに存在し、クラスを推定するための情報を組み入れられた場合、理想的には、単語「like」と「love」の類似性が維持されるべきであっても、Word Embedding間の距離が増加してしまう。
【００１０】
本発明の目的は、上述の技術課題を解決し、学習データに存在しない単語のWord Embeddingも、クラスを推定可能なWord Embeddingに変換できる、情報処理システム、情報処理方法、及び、プログラムを提供することである。
【課題を解決するための手段】
【００１１】
上述の技術課題を解決するための技術手段として、本発明の情報処理システムは、複数のテキストの各々について、当該テキストが属するクラスに係る情報と当該テキストに含まれる各単語に係る情報を表すベクトルである第１のWord Embedding（ＷＥ）を取得する、ＷＥ取得手段と、前記テキストが属するクラスに係る情報と当該テキストに含まれる各単語の第１のＷＥとに基づき、前記第１のＷＥを、第２のＷＥを有する単語を含むテキストが属するクラスを推定可能な前記第２のＷＥに変換するための変換関数を学習する、変換関数学習手段と、を備える。
【００１２】
また、本発明の情報処理方法は、複数のテキストの各々について、当該テキストが属するクラスに係る情報 と当該テキストに含まれる各単語に係る情報を表すベクトルである第１のWord Embedding（ＷＥ）を取得し、前記テキストが属するクラスに係る情報と当該テキストに含まれる各単語の第１のＷＥとに基づき、前記第１のＷＥを、第２のＷＥを有する単語を含むテキストが属するクラスを推定可能な前記第２のＷＥに変換するための変換関数を学習する。
【００１３】
また、本発明のプログラムは、コンピュータに、複数のテキストの各々について、当該テキストが属するクラスに係る情報 と当該テキストに含まれる各単語に係る情報を表すベクトルである第１のWord Embedding（ＷＥ）を取得し、前記テキストが属するクラスに係る情報と当該テキストに含まれる各単語の第１のＷＥとに基づき、前記第１のＷＥを、第２のＷＥを有する単語を含むテキストが属するクラスを推定可能な前記第２のＷＥに変換するための変換関数を学習する、処理を実行させる。
【発明の効果】
【００１４】
本発明の技術効果は、学習データに存在しない単語のWord Embeddingを、クラスを推定可能なWord Embeddingに変換できることである。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施の形態の特徴的な構成を示すブロック図である。
【図２】本発明の実施の形態における、ＷＥ（Word Embedding）学習システム１００の構成を示す図である。
【図３】本発明の実施の形態における、コンピュータにより実現されたＷＥ学習システム１００の構成を示すブロック図である。
【図４】本発明の実施の形態におけるＷＥ学習システム１００の動作を示すフローチャートである。
【図５】本発明の実施の形態における変換行列Ｔの学習処理の例を示すフローチャートである。
【図６】本発明の実施の形態における、学習データ記憶部１１０に記憶される学習データの例を示す図である。
【図７】本発明の実施の形態における、ＷＥ記憶部１２０に記憶されるWord Embeddingの例を示す図である。
【図８】本発明の実施の形態における、変換済みＷＥ記憶部１６０に記憶される変換済みのWord Embeddingの例を示す図である。
【発明を実施するための形態】
【００１６】
はじめに、本発明の実施の形態の構成を説明する。図２は、本発明の実施の形態における、ＷＥ（Word Embedding）学習システム１００の構成を示す図である。ＷＥ学習システム１００は、本発明の情報処理システムの一実施形態である。
【００１７】
図２を参照すると、ＷＥ学習システム１００は、学習データ記憶部１１０、ＷＥ記憶部１２０、ＷＥ取得部１３０、変換関数学習部１４０、ＷＥ変換部１５０、及び、変換済みＷＥ記憶部１６０を含む。
【００１８】
学習データ記憶部１１０は、学習データとして、クラスに分類された（ラベルが付与された）テキストを記憶する。
【００１９】
図６は、本発明の実施の形態における、学習データ記憶部１１０に記憶される学習データの例を示す図である。図６の例では、各学習データの識別子に対して、テキストが属するクラス、及び、テキストが関連付けられている。
【００２０】
ＷＥ記憶部１２０は、単語毎に、クラスを推定するための情報を組み入れる前の（オリジナルの）Word Embedding（第１のWord Embedding）を記憶する。オリジナルのWord Embeddingは、例えば、クラスに分類されていない（ラベルが付与されていない）大量のテキストを用いた学習により、予め生成される。ＷＥ記憶部１２０に記憶されているWord Embeddingは、学習データに含まれる単語、及び、学習データに含まれない単語の両方のWord Embeddingを含む。
【００２１】
図７は、本発明の実施の形態における、ＷＥ記憶部１２０に記憶されるWord Embeddingの例を示す図である。図７の例では、各単語の識別子に対して、当該単語のオリジナルのWord Embeddingが関連付けられている。
【００２２】
ＷＥ取得部１３０は、学習データ記憶部１１０の各学習データについて、当該学習データのテキストが属するクラスを取得する。また、ＷＥ取得部１３０は、ＷＥ記憶部１２０から、当該テキストに含まれる各単語のWord Embeddingを取得する。
【００２３】
変換関数学習部１４０は、オリジナルのWord Embeddingを、クラスを推定するための情報を含む（クラスを推定可能な）Word Embedding（第２のWord Embedding）に変換するための変換関数を学習（生成）する。ここで、変換関数学習部１４０は、ＷＥ取得部１３０により取得された、各学習データのテキストが属するクラス、及び、当該テキストに含まれる各単語のWord Embeddingを用いて、変換関数を学習する。
【００２４】
ＷＥ変換部１５０は、変換関数学習部１４０により生成された変換関数を用いて、ＷＥ記憶部１２０に記憶されるオリジナルのWord Embeddingを、クラスを推定可能なWord Embeddingに変換する。
【００２５】
変換済みＷＥ記憶部１６０は、単語毎に、クラスを推定可能なWord Embedding（変換済みのWord Embedding）を記憶する。
【００２６】
図８は、本発明の実施の形態における、変換済みＷＥ記憶部１６０に記憶される変換済みのWord Embeddingの例を示す図である。図８の例では、各単語の識別子に対して、当該単語の変換済みのWord Embeddingが関連付けられている。
【００２７】
なお、ＷＥ学習システム１００は、ＣＰＵ（Central Processing Unit）とプログラムを記憶した記憶媒体を含み、プログラムに基づく制御によって動作するコンピュータであってもよい。
【００２８】
図３は、本発明の実施の形態における、コンピュータにより実現されたＷＥ学習システム１００の構成を示すブロック図である。
【００２９】
ＷＥ学習システム１００は、ＣＰＵ１０１、ハードディスクやメモリ等の記憶デバイス（記憶媒体）１０２、他の装置等と通信を行う通信デバイス１０３、マウスやキーボード等の入力デバイス１０４、及び、ディスプレイ等の出力デバイス１０５を含む。
【００３０】
ＣＰＵ１０１は、ＷＥ取得部１３０、変換関数学習部１４０、及び、ＷＥ変換部１５０の機能を実現するためのコンピュータプログラムを実行する。記憶デバイス１０２は、学習データ記憶部１１０、ＷＥ記憶部１２０、及び、変換済みＷＥ記憶部１６０のデータを記憶する。なお、通信デバイス１０３が、他の装置等から、学習データやオリジナルのWord Embeddingを取得してもよい。また、通信デバイス１０３は、他の装置等へ、変換済みのWord Embeddingを出力してもよい。また、入力デバイス１０４が、利用者等から、学習データやオリジナルのWord Embeddingを取得し、出力デバイス１０５が、利用者等へ、変換済みのWord Embeddingを出力してもよい。
【００３１】
また、ＷＥ学習システム１００は、図２に示された各構成要素が、有線または無線で接続された複数の物理的な装置に分散的に配置されることより構成されていてもよい。
【００３２】
次に、本発明の実施の形態における、変換関数の学習方法を説明する。
【００３３】
本発明の実施の形態では、変換関数として変換行列Ｔを学習する。変換行列Ｔを学習するために、変換行列Ｔをパラメタとして含む目的関数が設定された最適化問題を、以下のように生成する。
【００３４】
はじめに、単語ｗｏｒｄ＿ｊ（ｊ＝１,２，…）のオリジナルのWord Embeddingを次元数ｄのベクトルｅｏｒｉｇｊとすると、変換後のWord Embeddingであるｅｊは、次元数ｄ×ｄの変換行列Ｔを用いた線形変換により、ｅｊ＝Ｔ・ｅｏｒｉｇｊと表される。ここで、変換後のWord Embeddingについて、数１式を定義する。
【００３５】
【数１】
0006467893.tif 000002
【００３６】
そして、ｉ番目の学習データのテキストｔｅｘｔ＿ｉを表す特徴量として、例えば、テキストｔｅｘｔ＿ｉに含まれる全単語についてのｆｊの平均を、数２式のように定義する。
【００３７】
【数２】
0006467893.tif 000003
【００３８】
ここで、ｎｉは、テキストｔｅｘｔ＿ｉに含まれる単語の数である。
【００３９】
テキストの分類に、ロジスティック回帰分析を用いる場合、特徴量ｘのテキストのクラスｙがｃ（ｃ∈Ｃ、Ｃはクラスを表すラベルの集合）であると推定される確率は、数３式に示すソフトマックス関数により表される。
【００４０】
【数３】
0006467893.tif 000004
【００４１】
ここで、ｗｋ（ｗｋは、次元数ｄのベクトル）とｂｋは、回帰パラメタである。ｎｃは、クラスの数である。
【００４２】
変換行列Ｔ、回帰パラメタｗｋ、ｂｋは、数３式の推定確率を用いた、数４式に示す目的関数を解くことにより得られる。
【００４３】
【数４】
0006467893.tif 000005
【００４４】
数４式の右辺第１項目は、損失関数（負の対数尤度関数）であり、クラスの推定精度の悪さを示す。右辺第２項目は、過学習を防ぐための正則化項である。｜｜・｜｜は、行列の大きさ（フロベニウスノルム（L2-norm））を示す。係数λ１の値には、予め設定された所定の値が用いられる。
【００４５】
さらに、オリジナルのWord Embeddingと変換後のWord Embeddingとの類似性を保つために、数４式に、オリジナルのWord Embeddingと変換後のWord Embeddingとの類似性を保つための正則化項Ｒｅｇ（Ｔ）を加えた、数５式に示す目的関数を用いてもよい。
【００４６】
【数５】
0006467893.tif 000006
【００４７】
ここで、係数λ２の値には、予め設定された所定の値が用いられる。正則化項Ｒｅｇ（Ｔ）には、例えば、数６式が用いられる。
【００４８】
【数６】
0006467893.tif 000007
【００４９】
ここで、行列Ｂは、次元数ｄ×ｄの、変換行列Ｔに係る正規直交行列である。
【００５０】
数７式に示すように、異なるWord Embeddingに正規直交行列Ｂによる線形変換を行っても、変換前と変換後で、Word Embedding間の距離（L2-distance）は変わらない。
【００５１】
【数７】
0006467893.tif 000008
【００５２】
したがって、数６式に示す正則化項により、変換行列Ｔを正規直交行列Ｂに近づけることにより、オリジナルのWord Embeddingと変換後のWord Embeddingとの類似性を保つような解が得られる。なお、変換行列Ｔに最も近い正規直交行列Ｂは、変換行列Ｔの特異値分解（ＳＶＤ：Singular Value Decomposition）により得られる左特異行列Ｕ、右特異行列Ｖを用いて、Ｂ＝Ｕ・ＶＴにより与えられる。
【００５３】
次に、本発明の実施の形態の動作を説明する。
【００５４】
図４は、本発明の実施の形態におけるＷＥ学習システム１００の動作を示すフローチャートである。
【００５５】
はじめに、ＷＥ取得部１３０は、学習データ記憶部１１０から学習データを取得する（ステップＳ１０１）。
【００５６】
例えば、ＷＥ取得部１３０は、図６のような学習データを取得する。
【００５７】
ＷＥ取得部１３０は、学習データ記憶部１１０の各学習データについて、当該学習データのテキストが属するクラスを取得し、ＷＥ記憶部１２０から、当該テキストに含まれる各単語のWord Embeddingを取得する。（ステップＳ１０２）。
【００５８】
例えば、ＷＥ取得部１３０は、図６の各学習データについて、当該学習データのテキストが属するクラスを取得し、図７のWord Embeddingの中から、当該テキストに含まれる各単語のオリジナルのWord Embeddingを取得する。
【００５９】
変換関数学習部１４０は、各学習データのテキストが属するクラス、及び、テキストに含まれる各単語のWord Embeddingを用いて、変換関数を学習するための目的関数を生成する（ステップＳ１０３）。
【００６０】
例えば、変換関数学習部１４０は、図６の各学習データのテキストが属するクラス、及び、図７のWord Embeddingの中から取得した、当該テキストに含まれる各単語のオリジナルのWord Embeddingを、数５式の目的関数に適用する。
【００６１】
変換関数学習部１４０は、生成した目的関数の解を求めることにより、変換関数を学習する（ステップＳ１０４）。
【００６２】
例えば、変換関数学習部１４０は、数５式の目的関数の解を求めることにより、変換行列Ｔ、パラメタｗｋ、ｂｋを学習する。
【００６３】
ここで、数５式における特異値分解は計算量が多いため、変換関数学習部１４０は、変換行列Ｔの学習を、例えば以下のように、変換行列Ｔに係る特異値分解と、変換行列Ｔ、パラメタｗｋ、ｂｋの更新と、に分けて近似的に行ってもよい。
【００６４】
図５は、本発明の実施の形態における変換行列Ｔの学習処理の例を示すフローチャートである。
【００６５】
変換関数学習部１４０は、変換行列Ｔを、例えば、単位行列のような所定の正規直交行列で初期化する（ステップＳ２０１）。
【００６６】
変換関数学習部１４０は、変換行列Ｔの特異値分解Ｔ＝Ｕ・Ｓ・ＶＴにより、特異行列Ｕ、Ｖを求め、正規直交行列ＢにＵ・ＶＴを設定する（ステップＳ２０２）。
【００６７】
変換関数学習部１４０は、例えば、勾配降下法（gradient decent）を用いて、変換行列Ｔ、パラメタｗｋ、ｂｋを更新する（ステップＳ２０３）。
【００６８】
変換関数学習部１４０は、ステップＳ２０３の結果が収束するまで、ステップＳ２０２からの処理を繰り返す（ステップＳ２０４）。ここで、収束の有無は、数５式の目的関数ｇ（ｘ；ｗ、Ｔ）の値の前回の値との差異が所定の閾値以下の場合、収束と判断する。
【００６９】
なお、変換関数学習部１４０は、ステップＳ２０２を毎回実施する代わりに、所定の繰り返し回数毎に実施することにより、特異値分解の演算量を低減してもよい。また、変換関数学習部１４０は、ステップＳ２０１、Ｓ２０２の処理を初回だけ実施することにより、特異値分解の演算量をさらに低減してもよい。この場合、ステップＳ２０１における所定の正規直交行列として単位行列を用いることにより、変換行列Ｔは単位行列に近づくように更新される。
【００７０】
次に、ＷＥ変換部１５０は、変換関数学習部１４０により学習された変換関数を用いて、ＷＥ記憶部１２０に記憶されているオリジナルのWord Embeddingの各々を、クラスを推定可能なWord Embeddingに変換する（ステップＳ１０５）。ＷＥ変換部１５０は、変換済みのWord Embeddingを変換済みＷＥ記憶部１６０に保存する
例えば、ＷＥ変換部１５０は、学習された変換行列Ｔを用いて、図７の各Word Embeddingｅｏｒｉｇｊを、図８のように、クラスを推定可能なWord Embeddingｅｊに変換する。
【００７１】
以降、変換済みＷＥ記憶部１６０に記憶された変換済みのWord Embeddingを用いて、テキスト分類部（図示せず）や他の分類装置（図示せず）により、新たなテストデータについて、テキスト分類が行われる。
【００７２】
ここで、テキスト分類部や他の分類装置は、ロジスティック回帰分析を用いて、テストデータのテキストを分類してもよい。この場合、例えば、変換関数学習部１４０により学習した変換行列Ｔ、パラメタｗｋ、ｂｋを数３式に適用して得られる確率をもとに、分類が行われる。また、テキスト分類部や他の分類装置は、ロジスティック回帰分析以外の分析手法を用いて、テストデータのテキストを分類してもよい。
【００７３】
以上により、本発明の実施の形態の動作が完了する。
【００７４】
次に、本発明の実施の形態の変形例を説明する。
【００７５】
（正則化についての変形例１）
上述の説明では、数５式において、オリジナルのWord Embeddingと変換後のWord Embeddingとの類似性を保つための正則化項として、数６式を用いた。ここで、正則化項として、数６式の代わりに、正規直交行列Ｂに所定の倍率αを乗じた、数８式を用いてもよい。
【００７６】
【数８】
0006467893.tif 000009
【００７７】
数９式に示すように、異なるWord Embeddingに、αＢによる線形変換を行っても、変換前と変換後で、Word Embedding間の相対的な距離は変わらない。
【００７８】
【数９】
0006467893.tif 000010
【００７９】
｜α｜を十分大きくして得られた変換行列Ｔを用いてテキストの分類を行う場合、数１式において、ｔａｎｈが−１、または、＋１に近づくため、離散ベクトルが得られる。これにより、テキストの分類処理における演算量を低減できる。
【００８０】
（正則化についての変形例２）
上述の説明では、オリジナルのWord Embeddingｅｏｒｉｇを、変換行列Ｔを用いた線形変換Ｔ・ｅｏｒｉｇにより、クラスを推定可能なWord Embeddingに変換した。しかしながら、オリジナルのWord Embeddingｅｏｒｉｇを、ｔａｎｈ（Ｔ・ｅｏｒｉｇ）のような非線形変換により変換してもよい。この場合、数６式の正則化項の代わりに、例えば、数１０式を用いてもよい。
【００８１】
【数１０】
0006467893.tif 000011
【００８２】
ここで、Ｓは、変換後のWord EmbeddingからオリジナルのWord Embeddingを再構成するための行列であり、上述の勾配降下法（gradient decent）により学習される。
【００８３】
（正則化についての変形例３）
また、オリジナルのWord Embeddingｅｏｒｉｇを、α・ｔａｎｈ（（１／α）・Ｔ・ｅｏｒｉｇ）のような非線形変換により変換してもよい。この場合、数１式の代わりに、数１１式が用いられる。
【００８４】
【数１１】
0006467893.tif 000012
【００８５】
ここで、αは、α≫１の実数である。この場合、変換行列Ｔが単位行列Ｉに近づけば、変換後のWord Embeddingは、オリジナルのWord Embeddingに近づく。したがって、数６式の正則化項の代わりに、数１２式が用いられる。
【００８６】
【数１２】
0006467893.tif 000013
【００８７】
（正則化についての変形例４）
また、数６式の正則化項の代わりに、数１３式のように、変換行列Ｔの大きさ（フロベニウスノルム（L2-norm））を用いてもよい。この場合、変換行列Ｔの大きさが小さくなるような解が得られる。
【００８８】
【数１３】
0006467893.tif 000014
【００８９】
さらに、数６式の正則化項の代わりに、数１４式のように、変換行列Ｔのトレースノルムを用いてもよい。この場合、変換行列Ｔのランクが低くなるような解が得られる。
【００９０】
【数１４】
0006467893.tif 000015
【００９１】
（変換関数についての変形例）
上述の説明では、変換関数として、次元数ｄ×ｄの変換行列Ｔを用いた。しかしながら、これに限らず、Word Embeddingを変換できれば、変換関数は、他の変換関数や他の変換行列でもよい。例えば、変換関数学習部１４０は、変換関数として、オリジナルのWord Embeddingをより高次の空間のWord Embeddingにマッピングする、次元数ｐ×ｄ（ｐ＞ｄ）の変換行列Ｔを用いてもよい。この場合、例えば、数６式の正則化項における正規直交行列Ｂの代わりに、数１５式のような行列Ｂ’が用いられる。
【００９２】
【数１５】
0006467893.tif 000016
【００９３】
ここで、０は、次元数（ｐ−ｄ）×ｄのゼロ行列である。行列Ｂ’による線形変換が、変換前のベクトル間の距離を変えないことも、容易に示すことができる。
【００９４】
（目的関数についての変形例）
上述の説明では、各学習データに、テキストが属するクラスを表すラベルが付与されている場合を例に説明した。しかしながら、これに限らず、各学習データに、テキストが各クラスｃ（ｃ∈Ｃ）に属する確率ｐｉ（ｙｉ＝ｃ）が付与されていてもよい。この場合、変換関数学習部１４０は、数５式の代わりに、例えば数１６式の目的関数を用いて、変換関数を学習する。
【００９５】
【数１６】
0006467893.tif 000017
【００９６】
最後に、本発明の実施の形態の特徴的な構成を説明する。図１は、本発明の実施の形態の特徴的な構成を示すブロック図である。
【００９７】
図１を参照すると、ＷＥ学習システム１００（情報処理システム）は、ＷＥ取得部１３０、及び、変換関数学習部１４０を含む。
【００９８】
ＷＥ取得部１３０は、複数のテキストの各々について、当該テキストが属するクラスに係る情報と当該テキストに含まれる各単語に係る情報を表すベクトルである第１のWord Embedding（ＷＥ）を取得する。
【００９９】
変換関数学習部１４０は、テキストが属するクラスに係る情報と当該テキストに含まれる各単語の第１のＷＥとに基づき、第１のＷＥを、第２のＷＥを有する単語を含むテキストが属するクラスを推定可能な第２のＷＥに変換するための変換関数を学習する。
【０１００】
本発明の実施の形態によれば、学習データに存在しない単語のWord Embeddingも、クラスを推定可能なWord Embeddingに変換できる。その理由は、変換関数学習部１４０が、テキストが属するクラスに係る情報とテキストに含まれる各単語の第１のWord Embeddingとに基づき、第１のWord Embeddingを、クラスを推定可能な第２のWord Embeddingに変換するための変換関数を学習するためである。
【０１０１】
これにより、任意の単語のWord Embeddingを、変換関数を用いて、クラスを推定するための情報を含む（クラスを推定可能な）Word Embeddingに変換することができる。そして、テキストを分類するときに、学習データに存在しない単語についても、変換関数により変換された（クラスを推定可能な）Word Embeddingを用いることができる。したがって、テキストの分類精度が向上する。
【０１０２】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【０１０３】
１００    ＷＥ学習システム
１０１    ＣＰＵ
１０２    記憶デバイス
１０３    通信デバイス
１０４    入力デバイス
１０５    出力デバイス
１１０    学習データ記憶部
１２０    ＷＥ記憶部
１３０    ＷＥ取得部
１４０    変換関数学習部
１５０    ＷＥ変換部
１６０    変換済みＷＥ記憶部
【図１】
0006467893.tif 000018
【図２】
0006467893.tif 000019
【図３】
0006467893.tif 000020
【図４】
0006467893.tif 000021
【図５】
0006467893.tif 000022
【図６】
0006467893.tif 000023
【図７】
0006467893.tif 000024
【図８】
0006467893.tif 000025