(57)【要約】【課題】意味情報を用いることで精度よく分類できる文と、構造情報を用いることで精度よく分類できる文が混在している文書であっても、精度よく分類することができる。【解決手段】文意味ベクトル生成部３０が、文に含まれる単語の出現順序の情報を含む意味ベクトルを生成する。文書構造系列生成部３２が、文の各々の意味ベクトルと、文の各々についての文の出現順序の情報を含む構造ベクトルとからなる系列データを生成する。属性値推定部３４が、生成された系列データと、文にどの属性に関する属性値であるかを付与するための予め求められた系列ラベリングモデルとに基づいて、文の各々について、文が複数の属性のうちの何れかの属性に関する属性値であるかを推定する。【選択図】図３
2017174004.tif 000002
【特許請求の範囲】
【請求項１】
文書に含まれる文の各々について、前記文に含まれる単語の出現順序の情報を含む意味ベクトルを生成する文意味ベクトル生成部と、
前記文意味ベクトル生成部で生成された前記文の各々の前記意味ベクトルと、前記文の各々についての前記文の出現順序の情報を含む構造ベクトルとからなる系列データを生成する文書構造系列生成部と、
前記文書構造系列生成部によって生成された前記系列データと、文が複数の属性の何れかに関する属性値であるかを付与するための予め求められた系列ラベリングモデルとに基づいて、前記文の各々について、前記文が、前記複数の属性のうちの何れかの属性に関する属性値であるかを推定する属性値推定部と、
を含む文意味分類算出装置。
【請求項２】
前記属性値推定部は、前記文書構造系列生成部によって生成された前記系列データと、前記系列ラベリングモデルとに基づいて、前記文の各々について、前記文書構造系列生成部によって生成された前記系列データが与えられた条件のもとでの前記文が前記属性に関する属性値である条件付き確率が最も大きい、前記属性と、前記最も大きい前記条件付き確率とを属性推定結果とする請求項１に記載の文意味分類算出装置。
【請求項３】
前記文書は商品に関する説明文書であり、階層的な構造を持つＨＴＭＬで記述されている請求項１又は２に記載の文意味分類算出装置。
【請求項４】
各文が複数の属性のうちの何れかの属性に関する属性値であるかが予め与えられた訓練用文書に含まれる文の各々について、前記文に含まれる単語の出現順序の情報を含む意味ベクトルを生成する文意味ベクトル生成部と、
前記文意味ベクトル生成部で生成された前記文の各々の前記意味ベクトルと、前記文の各々についての前記文の出現順序の情報を含む構造ベクトルとからなる系列データを生成する文書構造系列生成部と、
前記文書構造系列生成部によって生成された前記系列データと、前記訓練用文書の各文の前記複数の属性のうちの何れかの属性に関する属性値であるかとに基づいて、文が前記複数の属性のうちの何れかの属性に関する属性値であることを付与するための系列ラベリングモデルを学習するパラメタ学習部と、
を含むモデル学習装置。
【請求項５】
文意味ベクトル生成部が、文書に含まれる文の各々について、前記文に含まれる単語の出現順序の情報を含む意味ベクトルを生成するステップと、
文書構造系列生成部が、前記文意味ベクトル生成部で生成された前記文の各々の前記意味ベクトルと、前記文の各々についての前記文の出現順序の情報を含む構造ベクトルとからなる系列データを生成するステップと、
属性値推定部が、前記文書構造系列生成部によって生成された前記系列データと、文が複数の属性の何れかに関する属性値であるかを付与するための予め求められた系列ラベリングモデルとに基づいて、前記文の各々について、前記文が、前記複数の属性のうちの何れかの属性に関する属性値であるかを推定するステップと、
を含む文意味分類算出方法。
【請求項６】
文意味ベクトル生成部が、各文が複数の属性のうちの何れかの属性に関する属性値であるかが予め与えられた訓練用文書に含まれる文の各々について、前記文に含まれる単語の出現順序の情報を含む意味ベクトルを生成するステップと、
文書構造系列生成部が、前記文意味ベクトル生成部で生成された前記文の各々の前記意味ベクトルと、前記文の各々についての前記文の出現順序の情報を含む構造ベクトルとからなる系列データを生成するステップと、
パラメタ学習部が、前記文書構造系列生成部によって生成された前記系列データと、前記訓練用文書の各文の前記複数の属性のうちの何れかの属性に関する属性値であるかとに基づいて、文が前記複数の属性のうちの何れかの属性に関する属性値であることを付与するための系列ラベリングモデルを学習するステップと、
を含むモデル学習方法。
【請求項７】
コンピュータを、請求項１〜請求項３のいずれか１項に記載の文意味分類算出装置の各部として機能させるためのプログラム。
【請求項８】
コンピュータを、請求項４に記載のモデル学習装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文意味分類算出装置、モデル学習装置、方法、及びプログラムに係り、特に、特定の知識の文であるかを分類するための文意味分類算出装置、モデル学習装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
インターネット上に大量のテキストデータが利用可能になっており、文書から必要な情報を抽出する試みが数多くなされている。情報抽出の一手法として、文書と抽出したい情報に関するフレーズ・単語が与えられた時、文書から文単位で情報を抽出する手法が考えられる。これによって、例えば、ある保険商品に関する文書と抽出したい知識「支払事由」が与えられた時、文書中の支払事由について述べている「学校や通勤途中のケガ」という文を抽出することができる。以下、特定の文書・ドメインに関して抽出したい知識を指し示す意味属性を「属性」と表記し、属性に関する情報を記述する文を「属性値」と表記する。例えば「学校や通勤途中のケガ」という文は、ある保険商品の属性「支払事由」に関する属性値である。
【０００３】
各文がどの属性に分類されるか、あらかじめアノテートされた訓練用文書を用いた機械学習の手法を用いることで、ある程度の精度で上記の試みを達成している。例えば、同じ意味を持つ単語を含んでいれば同じ属性に分類するといった意味情報を考慮する手法や、テーブルやリスト構造などの同様の書き方がされている文であれば同じ属性に分類するといった構造情報を考慮する手法がある。
【０００４】
また、特定のドメインに関する属性が複数与えられているとき、当該ドメインに関する文書から属性値を抽出する問題は、文書中の各文を対象とした、複数の属性に対する分類問題として定式化することができる。このような分類問題では従来文中の表層情報から特徴ベクトルを獲得し、当該特徴ベクトルを用いていずれかの属性に分類させる手法が用いられており、例えば、非特許文献１などがある。特徴ベクトルを分類する手法としては、訓練データ集合を用いた機械学習による手法がある。
【０００５】
商品のマニュアルなどの説明文書中の文に対して、複数の意味属性のいずれかに分類することを考える。例として、図１にある保険商品（以下、保険商品Ａ）に関する説明文書の一部を、図２に別の保険商品（以下、保険商品Ｂ）に関する説明文書の一部を示す。説明文書は階層的な構造を持つＨＴＭＬで記述されている。保険商品の属性としては、「支払事由」や「免責事由」、「保険の対象」などを考えることができ、保険商品Ｂの文書中の各文については、いずれの属性に分類されるラベルが付与されている。例えば図２において、文「地震保険の対象は居住用建物または家財です。」は属性「保険の対象」に関する属性値であり、文「通貨、預貯金証書これらに類する物」や文「自動車」は属性「免責事由」に関する属性値に分類される。また、文「地震保険の取扱い」や文「○引受条件」はいずれの属性に関する属性値にも分類されない。
【０００６】
ここで、まず、文書間の各文の単語の意味情報を用いて、保険文書Ｂを訓練文書として保険文書Ａから属性値を抽出することを考える。非特許文献１などの従来手法では文書中の文の単語情報などを用いて分類しており、例えば保険文書Ｂの文「自動車」が属性「免責事由」の属性値として分類されていることから、保険文書Ａの文「自動車、原動機付き自転車、船舶」が属性「免責事由」に関する属性値であると分類されること、保険文書Ｂの文「通貨、預貯金証書その他これらに類する物」が属性「免責事由」の属性値として分類されていることから、保険文書Ａの文「通貨、預貯金証書、株券手形等」が属性「免責事由」に関する属性値であると分類されることが期待できる。
【０００７】
一方で、例えば保険文書Ｂの文「地震保険の対象は居住用建物または家財です。」が属性「保険の対象」の属性値として分類されていることから、保険文書Ａの文「建物」が属性「保険の対象」の属性値として分類されることが予想できる。保険文書Ａを見ると、文「通貨、預貯金証書、株券手形等」や文「自動車、原動機付き自転車、船舶」と同様に、文「建物」は属性「免責事由」に関する属性値に分類されると考えられ、これは誤った分類である。このように文書間の各文の単語の意味情報のみを用いる場合、誤った分類が起こりうることがわかる。
【０００８】
正しい分類を行うために、文書の構造情報を利用する手法が考えられる。文書の構造情報を利用する手法として非特許文献２などがあり、文書の見出し文とリスト構造とを利用して情報を抽出している手法がある。このような構造情報を利用することで、次のような構造情報を利用した分類が可能となる。例えば、保険文書Ｂの文「次のものは地震保険の対象に含まれません。」の直後に位置するリスト構造に含まれる文が、すべて属性「免責事由」の属性値として分類されていることから、保険文書Ａの文「以下のものは保険の対象となりません」の直後に位置するリスト構造に含まれるすべての文を属性「免責事由」の属性値として分類することができる。文書Ａを見ると、「以下のものは保険の対象となりません」以下の文は属性「免責事由」に関する正しい属性値であると考えられ、構造情報を利用することは文の属性分類に有効であるとわかる。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】Tai, Kai Sheng and Socher, Richard and Manning, Christopher D. Improved semantic representations from tree-structured long short-term memory networks. arXiv preprint arXiv:1503.00075, 2015.
【非特許文献２】玉川奨，香川宏介，森田武史，山口高平. “日本語Wikipediaからプロパティを備えたオントロジーの構築”. 人工知能学会論文誌，Vol. 26，No. 4，pp. 504-517，2011.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、構造情報を利用するだけでは分類できない例が存在する。例えば文書Ｂの文「保険金をお支払する事故の主な場合は次のとおりです」の直後のリスト構造に含まれる文が属性「支払事由」に分類されていることから、保険文書Ａの文「日常生活で起きた様々なケガを補償します」の直後のリスト構造に含まれる文を属性「支払事由」の属性値として分類されることが考えられるが、保険文書Ａを見ると文「お支払対象外」は属性「支払事由」に関する属性値であるとは考えづらく、誤った分類である。このように、文書の構造情報を利用するだけでは誤った分類をする場合が存在し、文書の構造情報だけでなく、文の単語における意味情報を同時に考慮する必要がある。例えば保険文書Ｂの文「次のものは地震保険の対象に含まれません」がいずれの属性の属性値にも分類されていないことから、保険文書Ａの文「お支払対象外」もいずれの属性の属性値に分類されないと推定されることが望ましい。
【００１１】
本発明は、上記事情を鑑みて成されたものであり、意味情報を用いることで精度よく分類できる文と、構造情報を用いることで精度よく分類できる文が混在している文書であっても、精度よく分類することができる文意味分類算出装置、方法、及びプログラムを提供することを目的とする。
【００１２】
また、意味情報を用いることで精度よく分類できる文と、構造情報を用いることで精度よく分類できる文が混在している文書であっても、精度よく分類するためのモデルを学習することができるモデル学習装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、第１の発明に係る文意味分類算出装置は、文書に含まれる文の各々について、前記文に含まれる単語の出現順序の情報を含む意味ベクトルを生成する文意味ベクトル生成部と、前記文意味ベクトル生成部で生成された前記文の各々の前記意味ベクトルと、前記文の各々についての前記文の出現順序の情報を含む構造ベクトルとからなる系列データを生成する文書構造系列生成部と、前記文書構造系列生成部によって生成された前記系列データと、文が複数の属性の何れかに関する属性値であるかを付与するための予め求められた系列ラベリングモデルとに基づいて、前記文の各々について、前記文が、前記複数の属性のうちの何れかの属性に関する属性値であるかを推定する属性値推定部と、を含んで構成されている。
【００１４】
また、第１の発明に係る文意味分類算出装置において、前記属性値推定部は、前記文書構造系列生成部によって生成された前記系列データと、前記系列ラベリングモデルとに基づいて、前記文の各々について、前記文書構造系列生成部によって生成された前記系列データが与えられた条件のもとでの前記文が前記属性に関する属性値である条件付き確率が最も大きい、前記属性と、前記最も大きい前記条件付き確率とを属性推定結果とするようにしてもよい。
【００１５】
また、第１の発明に係る文意味分類算出装置において、前記文書は商品に関する説明文書であり、階層的な構造を持つＨＴＭＬで記述されているようにしてもよい。
【００１６】
第２の発明に係るモデル学習装置は、各文が複数の属性のうちの何れかの属性に関する属性値であるかが予め与えられた訓練用文書に含まれる文の各々について、前記文に含まれる単語の出現順序の情報を含む意味ベクトルを生成する文意味ベクトル生成部と、前記文意味ベクトル生成部で生成された前記文の各々の前記意味ベクトルと、前記文の各々についての前記文の出現順序の情報を含む構造ベクトルとからなる系列データを生成する文書構造系列生成部と、前記文書構造系列生成部によって生成された前記系列データと、前記訓練用文書の各文の前記複数の属性のうちの何れかの属性に関する属性値であるかとに基づいて、文が前記複数の属性のうちの何れかの属性に関する属性値であることを付与するための系列ラベリングモデルを学習するパラメタ学習部と、を含んで構成されている。
【００１７】
第３の発明に係る文意味分類算出方法は、文意味ベクトル生成部が、文書に含まれる文の各々について、前記文に含まれる単語の出現順序の情報を含む意味ベクトルを生成するステップと、文書構造系列生成部が、前記文意味ベクトル生成部で生成された前記文の各々の前記意味ベクトルと、前記文の各々についての前記文の出現順序の情報を含む構造ベクトルとからなる系列データを生成するステップと、属性値推定部が、前記文書構造系列生成部によって生成された前記系列データと、文が複数の属性の何れかに関する属性値であるかを付与するための予め求められた系列ラベリングモデルとに基づいて、前記文の各々について、前記文が、前記複数の属性のうちの何れかの属性に関する属性値であるかを推定するステップと、を含んで実行することを特徴とする。
【００１８】
第４の発明に係るモデル学習方法は、文意味ベクトル生成部が、各文が複数の属性のうちの何れかの属性に関する属性値であるかが予め与えられた訓練用文書に含まれる文の各々について、前記文に含まれる単語の出現順序の情報を含む意味ベクトルを生成するステップと、文書構造系列生成部が、前記文意味ベクトル生成部で生成された前記文の各々の前記意味ベクトルと、前記文の各々についての前記文の出現順序の情報を含む構造ベクトルとからなる系列データを生成するステップと、パラメタ学習部が、前記文書構造系列生成部によって生成された前記系列データと、前記訓練用文書の各文の前記複数の属性のうちの何れかの属性に関する属性値であるかとに基づいて、文が前記複数の属性のうちの何れかの属性に関する属性値であることを付与するための系列ラベリングモデルを学習するステップと、を含んで実行することを特徴とする。
【００１９】
第５の発明に係るプログラムは、コンピュータを、上記第１の発明に係る文意味分類算出装置の各部として機能させるためのプログラムである。
【００２０】
第６の発明に係るプログラムは、コンピュータを、上記第３の発明に係るモデル学習装置の各部として機能させるためのプログラムである。
【発明の効果】
【００２１】
本発明の文意味分類算出装置、方法、及びプログラムによれば、文に含まれる単語の出現順序の情報を含む意味ベクトルを生成し、文の各々の意味ベクトルと、文の各々についての文の出現順序の情報を含む構造ベクトルとからなる系列データを生成し、生成された系列データと、文に属性値を付与するための予め求められた系列ラベリングモデルとに基づいて、文の各々について、文がどの属性に関する属性値であるかを推定することにより、意味情報を用いることで精度よく分類できる文と、構造情報を用いることで精度よく分類できる文が混在している文書であっても、精度よく分類することができる、という効果が得られる。
【００２２】
また、本発明のモデル学習装置、方法、及びプログラムによれば、各文が複数の属性のうちの何れかの属性に関する属性値であるかが予め与えられた訓練用文書に含まれる文の各々について、文に含まれる単語の出現順序の情報を含む意味ベクトルを生成し、意味ベクトルと、構造ベクトルとからなる系列データを生成し、生成された系列データと、訓練用文書の各文の複数の属性のうちの何れかの属性に関する属性値であるかとに基づいて、系列ラベリングモデルを学習することにより、意味情報を用いることで精度よく分類できる文と、構造情報を用いることで精度よく分類できる文が混在している文書であっても、精度よく分類するためのモデルを学習することができる、という効果が得られる。
【図面の簡単な説明】
【００２３】
【図１】保険商品の説明文書の一例を示す図である。
【図２】保険商品の説明文書の一例を示す図である。
【図３】本発明の実施の形態に係る文意味分類算出装置の構成を示すブロック図である。
【図４】文意味ベクトルに変換する処理の一例を示す図である。
【図５】属性値推定モデルの一例を示す図である。
【図６】本発明の実施の形態に係るモデル学習装置の構成を示すブロック図である。
【図７】本発明の実施の形態に係る文意味分類算出装置における文意味分類算出処理ルーチンを示すフローチャートである。
【図８】本発明の実施の形態に係るモデル学習装置におけるモデル学習処理ルーチンを示すフローチャートである。
【発明を実施するための形態】
【００２４】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２５】
＜本発明の実施の形態に係る概要＞
【００２６】
まず、本発明の実施の形態における概要を説明する。本発明の実施の形態では、例えば、特定のドメイン（保険商品）における商品の説明文書と、属性集合が与えられた時に、文書中の各文がどの属性に関する文であるかを判定したい。また、保険商品の説明文書が与えられた時に、文書中の文「学校や通勤途中のケガ」が属性「支払事由」に関する文であると分類したい。
【００２７】
上記の分類ためには、意味情報と、構造情報とを用いる必要が出てくる。しかし、意味情報を用いることで精度よく分類できる文と、構造情報を用いることで精度よく分類できる文が混在している文書には、上記の方法を単独に用いても精度良く分類ができない。そこで、意味情報と構造情報を同時に考慮することで、意味情報で精度よく分類できる文と、構造情報で精度よく分類できる文とが混じる文書に対して精度よく分類を行うことができるようにする。
【００２８】
ただし、意味情報と構造情報の両方を素性にする際に、対象を文としているため、文の分類のためには文中の単語の順序を考慮する必要がある、という課題が存在する。例えば、「入院しない場合を含む」と「入院の場合は含まない」は意味が異なるため、構造情報を考慮する必要がある。例えば、「ガンによる治療費をお支払します」という文が前にあれば、「入院しない場合を含む」は属性「支払事由」に関する文であり、「入院の場合は含まない」は属性「免責事由」に関する文であると考えられる。一方で「ケガによる費用はお支払しません」という文が前にあれば、「入院しない場合を含む」は属性「免責事由」になると考えられ、同じ文でも構造情報に従って分類結果が異なる。
【００２９】
そのため、意味情報として文中の単語の関係を、構造情報として文間の関係を、それぞれ同時に考慮する必要があるが、それぞれの要素の次元が異なるために、１つのモデルでは表現できない。
【００３０】
そこで、本実施の形態では、意味情報の学習を行う処理と、構造情報の学習を行う処理からなる２段階の処理を行う系列ラベリングモデルを用いる。このとき、構造情報を学習する処理におけるパラメタの更新度合いを、意味情報を学習する処理に伝搬させて意味情報の学習を行い処理のパラメタを更新する。このようにして、意味情報と構造情報とを同時に考慮したパラメタを学習することができる。
【００３１】
＜本発明の実施の形態に係る文意味分類算出装置の構成＞
【００３２】
次に、本発明の実施の形態に係る文意味分類算出装置の構成について説明する。図３に示すように、本発明の実施の形態に係る文意味分類算出装置１００は、ＣＰＵと、ＲＡＭと、後述する文意味分類算出処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この文意味分類算出装置１００は、機能的には図３に示すように入力部１０と、演算部２０と、出力部５０とを備えている。
【００３３】
入力部１０は、文間に構造性を持つ文書を受け付ける。文書は、例えば図１に示すような保険商品Ａに関する説明文書とする。ここで、文書は階層的な構造を持つＨＴＭＬで記述されており、文間の階層的な関係が推察できる文書である。
【００３４】
演算部２０は、文意味ベクトル生成部３０と、文書構造系列生成部３２と、属性値推定部３４と、モデル・パラメタ集合２８とを含んで構成されている。
【００３５】
モデル・パラメタ集合２８には、文にどの属性に関する属性値であるかを付与するための予め求められた系列ラベリングモデルが格納されている。系列ラベリングモデルとしては、文意味ベクトル生成部３０で用いる系列ラベリングモデルに関する荷重行列Ｗｓｉ，Ｗｓｆ，Ｗｓｏ，Ｗｓｃ，Ｗｓｙ，Ｕｓｉ，Ｕｓｆ，Ｕｓｏ，Ｕｓｃ、バイアスベクトルｂｓｉ，ｂｓｆ，ｂｓｏ，ｂｓｃ，ｂｓｙと、文書構造系列生成部３２で用いる構造系列データｔと、属性値推定部３４で用いる系列ラベリングモデルに関する荷重行列Ｗｌｉ，Ｗｌｆ，Ｗｌｏ，Ｗｌｃ，Ｗｌ，Ｕｌｉ，Ｕｌｆ，Ｕｌｏ，Ｕｌｃ、バイアスベクトルｂｌｉ，ｂｌｆ，ｂｌｏ，ｂｌｃ，ｂｌとに関する情報を記録・保存している。これらのベクトル・行列の各要素は実数の定義域を持つ。
【００３６】
文意味ベクトル生成部３０は、文書に含まれる文の各々について、モデル・パラメタ集合２８に格納された系列ラベリングモデルを用いて、当該文に含まれる単語の出現順序の情報を含む意味ベクトルを生成する。
【００３７】
文意味ベクトル生成部３０では、具体的には、まず与えられた文書中の各文に対して、形態素解析の処理を加える。形態素解析の手法としては例えば非特許文献３記載の方法を利用することができる。
【００３８】
［非特許文献３］：Takeshi Fuchi and Shinichiro Takagi. Japanese Morphological Analyzer using Word Co-occurrence - JTAG. In Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics (Volume 1), pp. 409-413, 1998.
【００３９】
文意味ベクトル生成部３０は、次に、形態素解析によって得られた形態素集合を用いて、文書中の各文を意味ベクトルに変換する。各文の意味ベクトルの変換には、例えば、非特許文献１に記載のＬＳＴＭＲＮＮｓモデルを用いた方法を用いることができる。ＬＳＴＭＲＮＮｓモデルが、系列ラベリングモデルの一例である。
【００４０】
ここで、各形態素を入力とする際に、例えば、非特許文献４に記載の方法を用いてＷｅｂ等の大規模文書で学習した単語意味ベクトルを用いることで、単語の表層情報だけでなく、単語のより詳細な意味情報を利用するなどの工夫が考えられる。
【００４１】
［非特許文献４］：Mikolov, Tomas and Chen, Kai and Corrado, Greg and Dean, Jeffrey. Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781, 2013
【００４２】
単語意味ベクトルを用いることで、文書に含まれない単語であっても意味が類似していれば同様に処理することができる。図４に文「レジャー中のケガ」を文意味ベクトルに変換する処理の一例を示す。図４の例では、まず文「レジャー中のケガ」について形態素解析が行われ４つの形態素「レジャー」「中」「の」「ケガ」が得られる。各形態素に対応する単語意味ベクトルｗ１，ｗ２，ｗ３，ｗ４を、以下の式で表現されるＬＳＴＭＲＮＮｓモデルに入力する。文中の最後の形態素「ケガ」を入力後、ＬＳＴＭＲＮＮｓモデルの中間層を文「レジャー中のケガ」に対応する文意味ベクトルｓとして扱う。
【００４３】
【数１】
2017174004.tif 000003
【００４４】
ここで、ｉｎ，ｆｎ，ｏｎ，ｃｎはそれぞれ対象としている文中のｎ（１≦ｎ≦Ｎ）番目の単語を入力した際のＬＳＴＭＲＮＮｓモデルの中間層の振る舞いを決めるベクトルであり、それぞれｉｎｐｕｔ ｇａｔｅ，ｆｏｒｇｅｔ ｇａｔｅ，ｏｕｔｐｕｔ ｇａｔｅ，ｍｅｍｏｒｙ ｃｅｌｌと呼ばれる。また、Ｗｓｉ，Ｗｓｆ，ＷｓＯ，ＷｓｃとＵｓｉ，Ｕｓｆ，ＵｓＯ，Ｕｓｃはそれぞれｉｎｐｕｔ ｇａｔｅ，ｆｏｒｇｅｔ ｇａｔｅ，ｏｕｔｐｕｔ ｇａｔｅ，ｍｅｍｏｒｙ ｃｅｌｌに対応する荷重行列で、ｂｓｉ，ｂｓｆ，ｂｓＯ，ｂｓｃはそれぞれのバイアスベクトルである。ベクトルｈｎはｎ番目の単語を入力した際ＬＳＴＭＲＮＮｓモデルの中間層で、ｙｎは当該モデルの出力ベクトルを表す。また、Ｗｓｙ，ｂｓｙはそれぞれ出力ベクトルに関する荷重行列とバイアスベクトルである。σ，ｔａｎｈ，ｓｏｆｔｍａｘは活性化関数でありそれぞれシグモイド関数、ｔａｎｈ関数、ｓｏｆｔｍａｘ関数を示す。
【００４５】
文書構造系列生成部３２では、文意味ベクトル生成部３０で生成された文の各々の意味ベクトルと、文の各々についての文の出現順序の情報を含む構造ベクトルとからなる系列データを生成する。
【００４６】
文書構造系列生成部３２では、具体的には、文書中の文の各々のＨＴＭＬタグ及び深さを表す構造ベクトルと、文意味ベクトル生成部３０で獲得した文の各々の文意味ベクトルとを用いて、各要素が文書中の各文に対応する系列データ
【００４７】
【数２】
2017174004.tif 000004
【００４８】
を生成する。図５の左部に、図１に示した保険商品Ａに関する文書の一部から生成した系列データの一例を示す。当該系列データの各要素は文書中の各文に対応しており、文書の出現順に整列している。系列データの各要素ｕｔは対応する文書中のｔ番目の文に関する文意味ベクトルｓｔと、当該文に付与されているＨＴＭＬタグや階層の深さから得られる構造ベクトルｔｔを結合したベクトルｕｔ＝［ｓｔｔｔ］からなる。構造ベクトルｔｔは対応する文のＨＴＭＬに関連する特徴量からなり、例えば「＜ｌｉ＞タグを持つ場合１の値を取る」特徴量や、「直前の階層の深さに比べ、同じ階層の深さであれば１の値を取る」特徴量などを持つ。本実施の形態では、モデル・パラメタ集合２８に記憶されている、タグ、深さに応じた値を参照して、特徴量を決定する。
【００４９】
属性値推定部３４は、文書構造系列生成部３２によって生成された系列データと、モデル・パラメタ集合２８に格納された系列ラベリングモデルとに基づいて、文の各々について、文がどの属性に関する属性値であるかを推定する。ここで、属性値推定部３４は、文書構造系列生成部３２によって生成された系列データと、モデル・パラメタ集合２８に格納された系列ラベリングモデルとに基づいて、文の各々について、文書構造系列生成部３２によって生成された系列データが与えられた条件のもとでの当該文が属性に関する属性値であることの条件付き確率が最も大きくなる、文の属性と、最も大きい条件付き確率とを属性推定結果とする。
【００５０】
具体的には、属性値推定部３４は、文書構造系列生成部３で獲得した系列データと、モデル・パラメタ集合２８に格納された系列ラベリングモデルとを用いて、文書の各文に対応する系列データの各要素に対して、複数の属性のうちの何れかの属性に関する属性値であることを示すラベルを推定する。つまり当該系列データ
【００５１】
【数３】
2017174004.tif 000005
【００５２】
に対して、与えられたＬ個の属性に関する「属性値」または「属性なし」のいずれかが要素である系列データ
【００５３】
【数４】
2017174004.tif 000006
【００５４】
の確率値
【００５５】
【数５】
2017174004.tif 000007
【００５６】
を推定する。
【００５７】
図５に属性値推定モデルの一例を示す。図５では図１で示した保険文書Ａに関する文書の一部から生成した系列データと推定された出力系列データを示しており、入力系列データ
【００５８】
【数６】
2017174004.tif 000008
【００５９】
に関して
【００６０】
【数７】
2017174004.tif 000009
【００６１】
が推定されている。系列ラベリングモデルには例えば、非特許文献１の手法を用いることができ、確率値
【００６２】
【数８】
2017174004.tif 000010
【００６３】
は次の（１）式で計算される。
【００６４】
【数９】
2017174004.tif 000011
【００６５】
ただし、
【００６６】
【数１０】
2017174004.tif 000012
【００６７】
である。
【００６８】
ここで、ｉｔ，ｆｔ，ｏｔ，ｃｔはそれぞれｔ（１≦ｔ≦Ｔ）番目の文を入力した際のＬＳＴＭＲＮＮｓモデルの中間層の振る舞いを決めるベクトルであり、Ｗｌｉ，Ｗｌｆ，Ｗｌｏ，ＷｌｃとＵｌｉ，Ｕｌｆ，Ｕｌｏ，Ｕｌｃはそれぞれｉｔ，ｆｔ，ｏｔ，ｃｔに対応する荷重行列で、ｂｌｉ，ｂｌｆ，ｂｌｏ，ｂｌｃはそれぞれのバイアスベクトルである。また、Ｗｌとｂｌは、それぞれ出力に関する荷重行列とバイアスベクトルである。
【００６９】
出力部５０は、属性値推定部３４で獲得した条件付き確率
【００７０】
【数１１】
2017174004.tif 000013
【００７１】
を用いて、系列データのｔ番目の要素に対応する文について、いずれの属性の属性値であるか、または属性なしであるかを、分類結果として出力する。ここでは条件付き確率
【００７２】
【数１２】
2017174004.tif 000014
【００７３】
が最大の値を取るラベルを、ｔ番目の文に関する推定ラベルｌｅとして出力することが考えられる。
【００７４】
なお、上述したモデル・パラメタ集合２８は、以下のモデル学習装置によって学習される。
【００７５】
＜本発明の実施の形態に係るモデル学習装置の構成＞
【００７６】
次に、本発明の実施の形態に係るモデル学習装置の構成について説明する。図６に示すように、本発明の実施の形態に係るモデル学習装置２００は、ＣＰＵと、ＲＡＭと、後述するモデル学習処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。このモデル学習装置２００は、機能的には図６に示すように入力部２１０と、演算部２２０とを備えている。
【００７７】
入力部２１０は、訓練文集合を受け付ける。訓練用文書集合は、複数のＨＴＭＬ文書からなり、各文書中の各文にはどの属性に関する属性値であるかを示す正解ラベルデータが付与されている。
【００７８】
演算部２２０は、文意味ベクトル生成部２３０と、文書構造系列生成部２３２と、パラメタ学習部２３４とを含んで構成されている。
【００７９】
文意味ベクトル生成部２３０は、入力部２１０で受け付けた訓練用文書に含まれる文の各々について、系列ラベリングモデルを用いて、文に含まれる単語の出現順序の情報を含む意味ベクトルを生成する。
【００８０】
ここでは、一例として、系列ラベリングモデルを事前に独立して学習し、意味ベクトルを生成する場合について説明する。この場合、次の（２）式により交差エントロピーＨを定義し、交差エントロピーを最小化することで当該系列ラベリングモデルのパラメタを学習・更新する。
【００８１】
【数１３】
2017174004.tif 000015
【００８２】
ここで、Ｌは属性の種類数を表し、ｙｎｌは出力ベクトルｙｎのｌ番目の値である。また、δｔは、出力ベクトルのｌ番目に対応する属性が、訓練用系列データのｔ番目の文に付与された正解ラベル
【数１４】
2017174004.tif 000016
と等しい場合に１、そうでない場合に０の値を持つ変数である。このように、事前に学習を行うことで、あらかじめ各属性に関する属性値として分類しやすい意味ベクトルを生成することができる。
【００８３】
文書構造系列生成部２３２は、上記文意味分類算出装置１００の文書構造系列生成部３２と同様の処理を行って、文意味ベクトル生成部２３０で生成された文の各々の意味ベクトルと、文の各々についての文の出現順序の情報を含む構造ベクトルとからなる系列データを生成する。
【００８４】
パラメタ学習部２３４は、文書構造系列生成部２３２によって生成された系列データと、訓練用文書の各文に付与されたどの属性に関する属性値であるかを示すラベルとに基づいて、文に属性を付与するための系列ラベリングモデルを学習する。
【００８５】
パラメタ学習部２３４は、具体的には訓練用文集合が持つ複数の文書を連続した１つの文書と見なし、文意味ベクトル生成部２３０、及び文書構造系列生成部２３２によって獲得した訓練用系列データ
【００８６】
【数１５】
2017174004.tif 000017
【００８７】
を用いて、あらかじめ定められた回数学習を繰り返すことにより系列ラベリングモデルの学習を行う。ここで
【００８８】
【数１６】
2017174004.tif 000018
【００８９】
を訓練用系列データに対応する正解ラベル系列データと定義する。当該系列データの各要素は、対応する訓練用系列データの要素がどの属性に関する属性値であると分類されるかを示す正解ラベル
【００９０】
【数１７】
2017174004.tif 000019
【００９１】
である。当該系列データを用いて尤度関数を最大化する最尤法の枠組みでパラメタとして、上記、文意味ベクトル生成部３０で用いる系列ラベリングモデルに関する荷重行列Ｗｓｉ，Ｗｓｆ，Ｗｓｏ，Ｗｓｃ，Ｗｓｙ，Ｕｓｉ，Ｕｓｆ，Ｕｓｏ，Ｕｓｃ、バイアスベクトルｂｓｉ，ｂｓｆ，ｂｓｏ，ｂｓｃ，ｂｓｙと、文書構造系列生成部３２で用いる構造系列データｔと、属性値推定部３４で用いる系列ラベリングモデルに関する荷重行列Ｗｌｉ，Ｗｌｆ，Ｗｌｏ，Ｗｌｃ，Ｗｌ，Ｕｌｉ，Ｕｌｆ，Ｕｌｏ，Ｕｌｃ、バイアスベクトルｂｌｉ，ｂｌｆ，ｂｌｏ，ｂｌｃ，ｂｌとを学習する。尤度関数Ｌは以下の（３）式で定義される。
【００９２】
【数１８】
2017174004.tif 000020
【００９３】
尤度関数Ｌの最大化のために、例えば非特許文献５で示されるＢＰＴＴ法を用いることで効率的にパラメタを学習することができる。
【００９４】
［非特許文献５］：Williams, Ronald J and Zipser, David. A learning algorithm for continually running fully recurrent neural networks. Neural computation, Vol.1, No.2,  pp. 270-280, 1989.
【００９５】
ここで、上述した文意味分類算出装置１００における、属性値推定部３４における系列ラベリングモデルと、文意味ベクトル生成部３０における系列ラベリングモデルとが同様の枠組み・式で表現できるために、同時に学習することができる。文書の構造情報と文の意味情報を同時に考慮できるために、構造と意味の問題が混在する場合においても、文が、どの属性に関する属性値であるか、より正確に分類することが期待できる。
【００９６】
モデル・パラメタ集合２２８には、パラメタ学習部２３４によって学習された、文に、どの属性に関する属性値であるかを付与するための系列ラベリングモデルが格納される。具体的には、系列ラベリングモデルのパラメータとして、文意味ベクトル生成部３０で用いる系列ラベリングモデルに関する荷重行列Ｗｓｉ，Ｗｓｆ，Ｗｓｏ，Ｗｓｃ，Ｗｓｙ，Ｕｓｉ，Ｕｓｆ，Ｕｓｏ，Ｕｓｃ、バイアスベクトルｂｓｉ，ｂｓｆ，ｂｓｏ，ｂｓｃ，ｂｓｙと、文書構造系列生成部３２で用いる構造系列データｔと、属性値推定部４で用いる系列ラベリングモデルに関する荷重行列Ｗｌｉ，Ｗｌｆ，Ｗｌｏ，Ｗｌｃ，Ｗｌ，Ｕｌｉ，Ｕｌｆ，Ｕｌｏ，Ｕｌｃ、バイアスベクトルｂｌｉ，ｂｌｆ，ｂｌｏ，ｂｌｃ，ｂｌとに関する情報が記録・保存されている。これらのベクトル・行列の各要素は実数の定義域を持ち、訓練用文書集合から得られる訓練データを用いてパラメタ学習部２３４の処理を、あらかじめ定められた回数繰り返すことによって学習・更新されうる。
【００９７】
＜本発明の実施の形態に係る文意味分類算出装置の作用＞
【００９８】
次に、本発明の実施の形態に係る文意味分類算出装置１００の作用について説明する。入力部１０において文書を受け付けると、文意味分類算出装置１００は、図７に示す文意味分類算出処理ルーチンを実行する。
【００９９】
まず、ステップＳ１００では、入力部１０において受け付けた文書に含まれる文の各々について、モデル・パラメタ集合２８に格納された系列ラベリングモデルを用いて、当該文に含まれる単語の出現順序の情報を含む意味ベクトルを生成する。
【０１００】
次に、ステップＳ１０２では、ステップＳ１００で生成された文の各々の意味ベクトルと、文の各々についての文の出現順序の情報を含む構造ベクトルとからなる系列データを生成する。
【０１０１】
ステップＳ１０４では、文書構造系列生成部３２によって生成された系列データと、モデル・パラメタ集合２８に格納された系列ラベリングモデルとに基づいて、文の各々について、ステップＳ１０２で生成された系列データが与えられた条件のもとでの当該文が属性に関する属性値であることの上記（１）式の条件付き確率が最も大きくなる、属性と、最も大きい条件付き確率とを推定する。
【０１０２】
ステップＳ１０６では、ステップＳ１０４で得られた属性推定結果を用いて、文書に含まれる文の各々について、いずれの属性に関する属性値であるか、または属性なしであるかを、分類結果として出力し、処理を終了する。
【０１０３】
以上説明したように、本発明の実施の形態に係る文意味分類算出装置によれば、文に含まれる単語の出現順序の情報を含む意味ベクトルを生成し、文の各々の意味ベクトルと、文の各々についての文の出現順序の情報を含む構造ベクトルとからなる系列データを生成し、生成された系列データと、文がどの属性に関する属性値であるかを付与するための予め求められた系列ラベリングモデルとに基づいて、文の各々について、文がどの属性に関する属性値であるかを推定することにより、意味情報を用いることで精度よく分類できる文と、構造情報を用いることで精度よく分類できる文が混在している文書であっても、精度よく分類することができる。
【０１０４】
また、本発明の実施の形態に係る手法によれば、文間に構造性を持つ文書と、当該文書中の文が分類されうる属性集合が与えられた際に、文書中の各文について、文間の関係性に着目した文書の構造情報と文の意味情報を同時に考慮することで、構造情報を利用すると効果的に抽出できる場合と意味情報を利用することで効果的に抽出できる場合が混在する文書に対して、各文がどの属性に関する属性値であるかどうかの推定精度を高めることができる。
【０１０５】
また、例えば、ある属性に分類されやすい単語を含んでいても、別の属性に関するリスト構造に含まれる文であれば、リスト構造に関する属性に分類することができる。また、特定の属性に関するリスト構造に含まれている文でも、訓練文書中の当該属性に関する文と大きく意味が離れている場合は、当該属性に分類されないと判定できる。
【０１０６】
＜本発明の実施の形態に係るモデル学習装置の作用＞
【０１０７】
次に、本発明の実施の形態に係るモデル学習装置２００の作用について説明する。入力部２１０において各文にはどの属性に関する属性値であるかを示す正解ラベルデータが付与された訓練文からなる訓練文集合を受け付けると、モデル学習装置２００は、図８に示すモデル学習処理ルーチンを実行する。
【０１０８】
ステップＳ２００では、入力部２１０で受け付けた訓練用文書に含まれる文の各々について、上記（２）式に示す交差エントロピーを最小化するように予め学習した系列ラベリングモデルを用いて、文に含まれる単語の出現順序の情報を含む意味ベクトルを生成する。
【０１０９】
ステップＳ２０２では、ステップＳ２００で生成された文の各々の意味ベクトルと、文の各々についての文の出現順序の情報を含む構造ベクトルとからなる系列データを生成する。
【０１１０】
ステップＳ２０４では、ステップＳ２０２で生成された系列データと、訓練用文書の各文に付与されたどの属性に関する属性値であるかを示すラベルとに基づいて、文に属性を付与するための系列ラベリングモデルを学習し、モデル・パラメタ集合２２８に格納して、処理を終了する。
【０１１１】
以上説明したように、本発明の実施の形態に係るモデル学習装置によれば、各文が複数の属性のうちの何れかの属性に関する属性値であるかが予め与えられた訓練用文書に含まれる文の各々について、文に含まれる単語の出現順序の情報を含む意味ベクトルを生成し、意味ベクトルと、構造ベクトルとからなる系列データを生成し、生成された系列データと、訓練用文書の各文の属性とに基づいて、系列ラベリングモデルを学習することにより、意味情報を用いることで精度よく分類できる文と、構造情報を用いることで精度よく分類できる文が混在している文書であっても、精度よく分類するためのモデルを学習することができる。
【０１１２】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１１３】
例えば、上述した実施の形態では、文の分類をする場合を例に説明したが、これに限定されるものではなく、フレーズの分類に拡張することもできる。その場合、例えば文書中でｔ番目の文が持つ形態素に関するｎ番目の単語意味ベクトルｗｎを、それぞれ上記で説明した文意味ベクトルｓｔと同様に扱う処理が考えられる。このとき各形態素は当該形態素が属する文の構造ベクトルｔｔを用いて、各要素がベクトルｕｔ＝［ｗｎｔｔ］からなる系列データｕを生成する。当該系列データの各要素は、対応する形態素ごとにいずれかの属性に関する「属性値」または「属性なし」であるかどうかのラベルを学習・推定することができる。
【０１１４】
また、本発明は、周知のコンピュータに媒体もしくは通信回線を介して、図３の構成図に示された機能を実現するプログラムをインストールすることによっても実現可能である。
【符号の説明】
【０１１５】
１０、２１０  入力部
２０、２２０  演算部
２８、２２８  モデル・パラメタ集合
３０、２３０  文意味ベクトル生成部
３２、２３２  文書構造系列生成部
３４   属性値推定部
５０   出力部
１００ 文意味分類算出装置
２００ モデル学習装置
２３４ パラメタ学習部
【図１】
2017174004.tif 000021
【図２】
2017174004.tif 000022
【図３】
2017174004.tif 000023
【図４】
2017174004.tif 000024
【図５】
2017174004.tif 000025
【図６】
2017174004.tif 000026
【図７】
2017174004.tif 000027
【図８】
2017174004.tif 000028