(57)【要約】  本発明は、特徴及び識別子を含むトレーニングデータを用いて人工ニューラルネットワークをトレーニングするためのコンピュータ実装方法に関し、ここで、特徴は、コーパス（３０２）からの用語候補を特徴付ける。コーパスは、ドメインからのテキストを含み、識別子は、用語候補に関して少なくとも３つの互いに異なるクラスに対する帰属性の程度を特徴付ける。それぞれ異なるクラスは、ドメインに対する用語候補の帰属性のそれぞれ異なる程度を示し、トレーニングデータは、特徴と識別子との対応付けを含む。本発明は、さらに、人工ニューラルネットワーク、用語候補を分類するための方法、及び、トレーニングデータを生成するためのコンピュータ実装方法に関する。
2021533477.tif 000002
【特許請求の範囲】
【請求項１】
特徴（ｚ；ｚ，ｖ）及び識別子（ｓ）を含むトレーニングデータを用いて人工ニューラルネットワーク（１００；２００）をトレーニングするためのコンピュータ実装方法であって、
前記特徴（ｚ；ｚ，ｖ）は、コーパス（３０２）からの用語候補（Ｔ；ｃ２）を特徴付け、
前記コーパス（３０２）は、ドメインからのテキストを含み、
前記識別子（ｓ）は、前記用語候補（Ｔ；ｃ２）に関して少なくとも３つの互いに異なるクラスに対する帰属性の程度を特徴付け、
それぞれ異なるクラスは、前記ドメインに対する前記用語候補（Ｔ；ｃ２）の帰属性のそれぞれ異なる程度を示し、
前記トレーニングデータは、前記特徴（ｚ；ｚ，ｖ）と前記識別子（ｓ）との対応付けを含み、
前記人工ニューラルネットワーク（１００；２００）の入力層（１０２；２０２ａ，・・・，２０２ｅ）に、特徴（ｚ；ｚ，ｖ）が供給され（Ｓ３）、
前記人工ニューラルネットワーク（１００；２００）は、当該人工ニューラルネットワーク（１００；２００）の出力層（２０８；２１４）における予測の際に、前記入力層（１０２；２０２ａ，・・・，２０２ｅ）からの前記特徴（ｚ；ｚ，ｖ）に識別子（Ｏ）を対応付け（Ｓ５）、
比較の際に、前記出力層（２０８；２１４）からの前記識別子（Ｏ）が、前記トレーニングデータ内の前記特徴（ｚ；ｚ，ｖ）に対応付けられた識別子（ｓ）と比較され（Ｓ４）、
前記比較の結果に応じて、前記入力層（１０２；２０２ａ，・・・，２０２ｅ）と前記出力層（２０８；２１４）との間の前記人工ニューラルネットワークの接続を特徴付ける前記人工ニューラルネットワーク（１００；２００）の少なくとも１つのパラメータ（Ｗ１，Ｗ２；Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５，Ｗ６，Ｗ７，Ｗ８，Ｗ９）が学習される（Ｓ４）、
ことを特徴とする方法。
【請求項２】
前記用語候補（Ｔ；ｃ２）は、前記ドメインに関する専門分野特有のコーパス（３０２）から取り出される（Ｓ１）、
請求項１に記載の方法。
【請求項３】
前記用語候補（Ｔ）は、前記クラスのうちの少なくとも１つに対応付けられ（Ｓ２）、
前記用語候補（Ｔ）に関する前記特徴（ｚ）が決定され（Ｓ３）、特に、単語ベクトル（ｚ）が決定され、
前記人工ニューラルネットワーク（１００）の少なくとも１つのパラメータ（Ｗ１，Ｗ２）は、前記特徴（ｚ）を用いてトレーニングされる（Ｓ４）、
請求項２に記載の方法。
【請求項４】
前記用語候補（ｃ２）は、少なくとも２つの成分（ｃ１，ｃ３）を有する複合語（ｃ２）である、
請求項１又は２に記載の方法。
【請求項５】
前記ドメインに関する専門分野特有のコーパス（３０２）からの、前記用語候補（ｃ２）としての複合語（ｃ２）は、複数の成分（ｃ１，ｃ３）に分割され（Ｓ１）、
前記複合語（ｃ２）は、前記クラスのうちの少なくとも１つに対応付けられ（Ｓ２）、
前記複合語（ｃ２）及び前記成分（ｃ１，ｃ３）に関する前記特徴（ｚ，ｖ）が決定され（Ｓ３）、
前記人工ニューラルネットワーク（２００）の少なくとも１つのパラメータ（Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５，Ｗ６，Ｗ７，Ｗ８，Ｗ９）は、前記特徴（ｚ，ｖ）を用いてトレーニングされる（Ｓ４）、
請求項４に記載の方法。
【請求項６】
特徴（ｚ）として、少なくとも１つの単語ベクトルが決定される、
請求項５に記載の方法。
【請求項７】
前記特徴（ｖ）として、前記成分（ｃ１，ｃ２）の生産性（Ｐ（ｃ１），Ｐ（ｃ３））及び頻度（ｆ（ｃ１），ｆ（ｃ３））が、前記専門分野特有のコーパス（３０２）に基づいて決定される、
請求項５又は６に記載の方法。
【請求項８】
前記人工ニューラルネットワーク（１００；２００）をトレーニングするための、特徴（ｚ；ｚ，ｖ）及び識別子（ｓ）を含むトレーニングデータを生成するためのコンピュータ実装方法であって、
コーパス（３０２）からの用語候補（Ｔ；ｃ２）を特徴付ける特徴（ｚ；ｚ，ｖ）が決定され、
前記コーパス（３０２）は、ドメインからのテキストを含み、
前記用語候補（Ｔ；ｃ２）に関して少なくとも３つの互いに異なるクラスに対する帰属性の程度を特徴付ける識別子（ｓ）が決定され、
それぞれ異なるクラスは、前記ドメインに対する前記用語候補の帰属性のそれぞれ異なる程度を示し、
少なくとも１つの特徴（ｚ；ｚ，ｖ）に、前記識別子（ｓ）のうちの少なくとも１つが対応付けられる
ことを特徴とする方法。
【請求項９】
前記用語候補（Ｔ；ｃ２）は、前記ドメインに関する専門分野特有のコーパス（３０２）から取り出される（Ｓ１）、
請求項８に記載の方法。
【請求項１０】
前記用語候補（Ｔ）は、前記クラスのうちの少なくとも１つに対応付けられ（Ｓ２）、
前記用語候補（Ｔ）に関する前記特徴（ｚ）が決定され（Ｓ３）、特に、単語ベクトル（ｚ）が決定される、
請求項９に記載の方法。
【請求項１１】
前記用語候補（ｃ２）は、少なくとも２つの成分（ｃ１，ｃ３）を有する複合語（ｃ２）である、
請求項８又は９に記載の方法。
【請求項１２】
前記ドメインに関する専門分野特有のコーパス（３０２）からの、用語候補（ｃ２）としての前記複合語（ｃ２）は、複数の成分（ｃ１，ｃ３）に分割され（Ｓ１）、
前記複合語（ｃ２）は、前記クラスのうちの少なくとも１つに対応付けられ（Ｓ２）、
前記複合語（ｃ２）及び前記成分（ｃ１，ｃ３）に関する前記特徴（ｚ，ｖ）が決定される（Ｓ３）、
請求項１１に記載の方法。
【請求項１３】
前記特徴（ｚ）として、少なくとも１つの単語ベクトルが決定される、
請求項１２に記載の方法。
【請求項１４】
前記特徴（ｖ）として、前記成分（ｃ１，ｃ３）の生産性（Ｐ（ｃ１），Ｐ（ｃ３））及び頻度（ｆ（ｃ１），ｆ（ｃ３））が、前記専門分野特有のコーパス（３０２）に基づいて決定される、
請求項１２又は１３に記載の方法。
【請求項１５】
人工ニューラルネットワーク（１００；２００）であって、
前記人工ニューラルネットワーク（１００；２００）の入力層（１０２；２０２ａ，・・・，２０２ｅ）に、特徴（ｚ；ｚ，ｖ）を供給可能であり、
前記人工ニューラルネットワーク（１００；２００）は、当該人工ニューラルネットワーク（１００；２００）の出力層（２０８；２１４）における予測の際に、前記入力層（１０２；２０２ａ，・・・，２０２ｅ）からの前記特徴（ｚ；ｚ，ｖ）に識別子（Ｏ）を対応付けるように構成されており、
前記特徴（ｚ；ｚ，ｖ）は、コーパス（３０２）からの用語候補（Ｔ；ｃ２）を特徴付け、
前記コーパス（３０２）は、ドメインからのテキストを含み、
前記識別子（Ｏ）は、前記用語候補（Ｔ；ｃ２）に関して少なくとも３つの互いに異なるクラスを特徴付け、
それぞれ異なるクラスは、前記ドメインに対する前記用語候補（Ｔ；ｃ２）の帰属性のそれぞれ異なる程度を示す、
ことを特徴とする人工ニューラルネットワーク（１００；２００）。
【請求項１６】
前記人工ニューラルネットワーク（２００）は、少なくとも１つの第１の入力層（２０２ｂ，２０２ｃ，２０２ｄ）を含み、前記第１の入力層（２０２ｂ，２０２ｃ，２０２ｄ）には、第１の特徴（ｚ）に関して複合語（ｃ２）及び前記複合語（ｃ２）の成分（ｃ１，ｃ３）を供給可能であり、
前記人工ニューラルネットワーク（２００）は、少なくとも１つの第２の入力層（２０２ａ，２０２ｅ）を含み、前記第２の入力層（２０２ａ，２０２ｅ）には、第２の特徴（ｖ）に関して前記成分（ｃ１，ｃ３）の生産性（Ｐ（ｃ１），Ｐ（ｃ３））及び頻度（ｆ（ｃ１），ｆ（ｃ３））を供給可能であり、
前記入力層の下流には、前記出力層（２１４）が配置されており、前記出力層（２１４）は、予測の際に、前記第１の特徴（ｚ）及び前記第２の特徴（ｖ）に基づいて前記識別子（Ｏ）を出力する、
請求項１５に記載の人工ニューラルネットワーク（１００；２００）。
【請求項１７】
前記人工ニューラルネットワーク（２００）は、さらなる出力層（２１２ｂ）を含み、
前記さらなる出力層（２１２ｂ）は、前記少なくとも３つのクラスに対する複合語（ｃ２）の対応付けの程度を、当該複合語（ｃ２）の成分（ｃ１，ｃ３）の前記生産性（Ｐ（ｃ１），Ｐ（ｃ３））及び前記頻度（ｆ（ｃ１），ｆ（ｃ３））とは独立して出力するように構成されている、
請求項１５又は１６に記載の人工ニューラルネットワーク（１００；２００）。
【請求項１８】
前記人工ニューラルネットワーク（２００）は、さらなる出力層（２１２ａ，２１２ｃ）を含み、
前記さらなる出力層（２１２ａ，２１２ｃ）は、前記少なくとも３つのクラスに対する前記成分（ｃ１，ｃ３）のうちの１つの成分の対応付けの程度を、当該成分（ｃ１，ｃ３）の前記生産性（Ｐ（ｃ１），Ｐ（ｃ３））及び前記頻度（ｆ（ｃ１），ｆ（ｃ３））に基づいて出力するように構成されている、
請求項１５乃至１７のいずれか一項に記載の人工ニューラルネットワーク（１００；２００）。
【請求項１９】
用語候補（Ｔ；ｃ２）を分類するための方法であって、
人工ニューラルネットワーク（１００；２００）の入力層（１０２；２０２ａ，・・・，２０２ｅ）に、特徴（ｚ；ｚ，ｖ）が供給され、
前記人工ニューラルネットワーク（１００；２００）の出力層（２０８；２１４）における予測の際に、前記入力層（１０２；２０２ａ，・・・，２０２ｅ）からの前記特徴（ｚ；ｚ，ｖ）に識別子（Ｏ）が対応付けられ、
前記特徴（ｚ；ｚ，ｖ）は、コーパス（３０２）からの用語候補（Ｔ；ｃ２）を特徴付け、
前記コーパス（３０２）は、ドメインからのテキストを含み、
前記識別子（Ｏ）は、前記用語候補（Ｔ；ｃ２）に関して少なくとも３つの互いに異なるクラスを特徴付け、
それぞれ異なるクラスは、前記ドメインに対する前記用語候補（Ｔ；ｃ２）の帰属性のそれぞれ異なる程度を示す、
ことを特徴とする方法。
【請求項２０】
第１の入力層（２０２ｂ，２０２ｃ，２０２ｄ）には、第１の特徴（ｚ）に関して複合語（ｃ２）及び前記複合語（ｃ２）の成分（ｃ１，ｃ３）が供給され、
第２の入力層（２０２ａ，２０２ｅ）には、第２の特徴（ｖ）に関して前記成分（ｃ１，ｃ３）の生産性（Ｐ（ｃ１），Ｐ（ｃ３））及び頻度（ｆ（ｃ１），ｆ（ｃ３））が供給され、
前記入力層の下流には、前記出力層（２１４）が配置されており、前記識別子（Ｏ）は、予測の際に、前記第１の特徴（ｚ）及び前記第２の特徴（ｖ）に基づいて出力される、
請求項１９に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
従来技術
本開示は、テキスト分析のための、特に、専門領域に対する、テキストからの複合語の帰属性を予測するための、コンピュータ実装方法及び装置に関する。
【背景技術】
【０００２】
テキスト分析のためのマシンベースのシステムは、専門用語を抽出して索引付けするために、規則に基づいた又は統計的な方法を使用する。テキスト分析のために、ハイブリッド方法及び機械学習方法も使用される。
【０００３】
独国実用新案第２０２０１７１０２２３５号明細書は、概して、機械学習方法の態様を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】独国実用新案第２０２０１７１０２２３５号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
複合語を特定の専門領域に対応付けるためのそのような方法の基礎は、二分決定である。これに対して、改善されたプロシージャを可能にすることが望まれている。
【課題を解決するための手段】
【０００６】
発明の開示
このことは、独立請求項に記載の方法及び装置によって達成される。
【０００７】
以下の説明においては、コーパスという表現は、テキスト又はテキストコレクションを指す。専門分野特有のコーパスは、ドメインに関して特有であるテキストのみを含む。一般言語のコーパスは、ドメインとの特有の対応付けを有していないテキスト又はテキストコレクションを指す。
【０００８】
例えば、インターネット上の料理フォーラムの総てのテキストは、専門分野特有のコーパスである。例えば、Wikipediaの総てのエントリは、一般言語のコーパスである。
【０００９】
以下の説明においては、コーパスのうちの分析される部分は、用語候補と称される。テキストは、用語候補の他に、分析することができない部分又は分析すべきでない部分も含み得る。
【００１０】
以下の説明においては、複合語という表現は、合成語、即ち、少なくとも２つの既存の単語又は語幹の結合によって合成されている単語を指す。
【００１１】
以下の説明においては、成分という用語は、複合語の一部、即ち、合成語の一部を指す。
【００１２】
特定のドメインに対する成分又は複合語の帰属性の程度は、以下においてはクラスと称される。特定の複合語は、例えば、このドメインに対する帰属性の程度が特定の値を有している場合又は特定の値範囲内にある場合に、特定のクラスに対応付けられる。複数の異なる値によって、又は、互いに重複しない複数の異なる値範囲によって、例えば、一意のクラスが定義されている。
【００１３】
特徴及び識別子を含むトレーニングデータを用いて人工ニューラルネットワークをトレーニングするためのコンピュータ実装方法においては、特徴は、コーパスからの用語候補を特徴付け、コーパスは、ドメインからのテキストを含む。識別子は、用語候補に関して少なくとも３つの互いに異なるクラスに対する帰属性の程度を特徴付ける。それぞれ異なるクラスは、ドメインに対する用語候補の帰属性のそれぞれ異なる程度を示す。トレーニングデータは、特徴と識別子との対応付けを含む。本方法においては、人工ニューラルネットワークの入力層に、特徴が供給され、人工ニューラルネットワークは、当該人工ニューラルネットワークの出力層における予測の際に、入力層からの特徴に識別子を対応付ける。比較の際に、出力層からの識別子が、トレーニングデータ内の特徴に対応付けられた識別子と比較される。比較の結果に応じて、入力層と出力層との間の人工ニューラルネットワークの接続を特徴付ける人工ニューラルネットワークの少なくとも１つのパラメータが学習される。これにより、用語は、「用語」又は「非用語」の２つのクラスに分類される代わりに、例えば、ＮＯＮＴＥＲＭ，ＳＩＭＴＥＲＭ，ＴＥＲＭ，ＳＰＥＣＴＥＲＭの４つのクラスに分類可能となる。
【００１４】
有利には、用語候補は、ドメインに関する専門分野特有のコーパスから取り出される。このようなコーパスは、分類をトレーニングするために特に適している。
【００１５】
有利には、用語候補は、クラスのうちの少なくとも１つに対応付けられ、用語候補に関する特徴が決定され、特に単語ベクトルが決定され、人工ニューラルネットワークの少なくとも１つのパラメータは、特徴を用いてトレーニングされる。
【００１６】
有利には、用語候補は、少なくとも２つの成分を有する複合語である。トレーニングデータは、複合語を、３つより多くのクラスのうちの少なくとも１つに対応付ける。このことは、特に複合語の場合には有用である。なぜなら、複合語は、ドメインに対して、その複合語の成分に応じて異なる特有性又は中心性を有する可能性があるからである。例えば、特有の専門用語は、１つ又は複数の非常に特有の成分を含む可能性が高い。例えば、一般用語は、そのドメインに関して特有の成分を含まない。これにより、人工ニューラルネットワークは、非常に細かい識別のためにトレーニングされる。
【００１７】
有利には、ドメインに関する専門分野特有のコーパスからの、用語候補としての複合語は、複数の成分に分割され、複合語は、クラスのうちの少なくとも１つに対応付けられ、複合語及び成分に関する特徴が決定され、人工ニューラルネットワークの少なくとも１つのパラメータは、特徴を用いてトレーニングされる。これにより、トレーニングの際に、複合語と、この複合語の成分とが考慮される。このことにより、学習挙動が追加的に改善される。
【００１８】
有利には、特徴として、少なくとも１つの単語ベクトルが決定される。単語ベクトルは、トレーニング方法のために特に適した特徴である。
【００１９】
有利には、特徴として、成分の生産性及び頻度が、専門分野特有のコーパスに基づいて決定される。生産性及び頻度は、成分が出現する頻繁さに関連するさらなる特徴である。これにより、トレーニングが追加的に改善される。
【００２０】
人工ニューラルネットワークをトレーニングするためのトレーニングデータを生成するためのコンピュータ実装方法であって、トレーニングデータは、特徴及び識別子を含む、方法においては、コーパスからの用語候補を特徴付ける特徴が決定され、コーパスは、ドメインからのテキストを含み、用語候補に関して少なくとも３つの互いに異なるクラスに対する帰属性の程度を特徴付ける識別子が決定され、それぞれ異なるクラスは、ドメインに対する用語候補の帰属性のそれぞれ異なる程度を示し、少なくとも１つの特徴に、識別子のうちの少なくとも１つが対応付けられる。これらのトレーニングデータは、３つより多くのクラスを用いて分類をトレーニングするために特に適している。
【００２１】
有利には、用語候補は、ドメインに関する専門分野特有のコーパスから取り出される。専門分野特有のコーパスは、ドメインに関連する用語候補に関する高い緻密性を提供する。
【００２２】
有利には、用語候補は、クラスのうちの少なくとも１つに対応付けられ、用語候補に関する特徴が決定され、特に単語ベクトルが決定される。特徴とクラスとの対応付けは、用語候補の分類の、機械学習のために特に適した表現である。
【００２３】
有利には、用語候補は、少なくとも２つの成分を有する複合語である。この形式のトレーニングデータは、クラスを細分するために特に適している。対応付けの観点から、複合語の複数の成分がそれぞれ異なるクラスに分類され得ることに起因して、複合語は、用語又は非用語とは称されず、その代わりに、ドメインに対するこの複合語の帰属性の程度に応じて、非用語クラスとは異なる他のクラスに分類され得る。
【００２４】
有利には、ドメインに関する専門分野特有のコーパスからの、用語候補としての複合語は、複数の成分に分割され、複合語は、クラスのうちの少なくとも１つに対応付けられ、複合語及び成分に関する特徴が決定される。これらの追加的な特徴により、テキスト範囲が限定されていて用語候補の利用可能性が限定されている場合であっても、新しい複合語を有する追加的な新しいテキストを追加する必要なしに、人工ニューラルネットワークをより良好にトレーニングすることが可能になる。
【００２５】
有利には、特徴として、少なくとも１つの単語ベクトルが決定される。トレーニングデータ内の単語ベクトルが使用される場合には、人工ニューラルネットワーク自体は、用語候補から特徴として単語ベクトルを決定する埋め込み層を必要としない。
【００２６】
有利には、特徴として、成分の生産性及び頻度が、専門分野特有のコーパスに基づいて決定される。生産性及び頻度というこれらの追加的な特徴により、テキスト範囲が限定されていて用語候補の利用可能性が限定されている場合であっても、新しい複合語を有する追加的な新しいテキストを追加する必要なしに、人工ニューラルネットワークをより良好にトレーニングすることが可能になる。
【００２７】
人工ニューラルネットワークは、入力層を含み、この入力層に、特徴を供給可能であり、人工ニューラルネットワークは、当該人工ニューラルネットワークの出力層における予測の際に、入力層からの特徴に識別子を対応付けるように構成されており、特徴は、コーパスからの用語候補を特徴付け、コーパスは、ドメインからのテキストを含み、識別子は、用語候補に関して少なくとも３つの互いに異なるクラスを特徴付け、それぞれ異なるクラスは、ドメインに対する用語候補の帰属性のそれぞれ異なる程度を示す。この人工ニューラルネットワークは、複合語を２つより多くのクラスに分類するための特に効率的な実装形態である。
【００２８】
有利には、人工ニューラルネットワークは、少なくとも１つの第１の入力層を含み、第１の入力層には、第１の特徴に関して複合語及び複合語の成分を供給可能であり、人工ニューラルネットワークは、少なくとも１つの第２の入力層を含み、第２の入力層には、第２の特徴に関して成分の生産性及び頻度を供給可能であり、入力層の下流には、出力層が配置されており、出力層は、予測の際に、第１の特徴及び第２の特徴に基づいて識別子を出力する。これらの追加的な特徴により、人工ニューラルネットワークの予測の効率及び信頼性が追加的に改善される。
【００２９】
好ましくは、人工ニューラルネットワークは、さらなる出力層を含み、さらなる出力層は、少なくとも３つのクラスに対する複合語の対応付けの程度を、当該複合語の成分の生産性及び頻度とは独立して出力するように構成されている。このさらなる出力層は、最適化のための誤差関数において使用することができる補助出力である。
【００３０】
好ましくは、人工ニューラルネットワークは、さらなる出力層を含み、さらなる出力層は、少なくとも３つのクラスに対する成分のうちの１つの成分の対応付けの程度を、当該成分の生産性及び頻度に基づいて出力するように構成されている。このさらなる出力層は、最適化のための誤差関数において使用することができる補助出力である。
【００３１】
用語候補を分類するための本方法においては、人工ニューラルネットワークの入力層に、特徴が供給され、人工ニューラルネットワークの出力層における予測の際に、入力層からの特徴に識別子が対応付けられ、特徴は、コーパスからの用語候補を特徴付け、コーパスは、ドメインからのテキストを含み、識別子は、用語候補に関して少なくとも３つの互いに異なるクラスを特徴付け、それぞれ異なるクラスは、ドメインに対する用語候補の帰属性のそれぞれ異なる程度を示す。２つより多くのクラスに分類することにより、用語候補がドメインに関する用語であるか又はドメインに関する用語でないかを識別することに加えて、２つより多くのクラスによって細かく分類されたデータセットを提供することが可能となる。
【００３２】
好ましくは、第１の入力層には、第１の特徴に関して複合語及び複合語の成分が供給され、第２の入力層には、第２の特徴に関して成分の生産性及び頻度が供給され、入力層の下流には、出力層が配置されており、識別子は、予測の際に、第１の特徴及び第２の特徴に基づいて出力される。これらの追加的な特徴を追加することにより、予測がさらに改善される。
【００３３】
さらなる有利な実施形態は、以下の説明及び図面から明らかとなる。
【図面の簡単な説明】
【００３４】
【図１】人工ニューラルネットワークの一部の概略図である。
【図２】テキスト分析のためのモデルの一部の概略図である。
【図３】トレーニングするための方法又は分類するための方法のステップの概略図である。
【発明を実施するための形態】
【００３５】
以下の説明においては、ドメインという表現は、専門領域又はテーマ領域を指す。
【００３６】
以下に説明する例においては、ＮＯＮＴＥＲＭ，ＳＩＭＴＥＲＭ，ＴＥＲＭ，ＳＰＥＣＴＥＲＭというクラスが使用される。
【００３７】
ＮＯＮＴＥＲＭは、ドメインとの特有の関連性を有していない成分又は複合語のためのクラスである。例えば、ドメインとの特有の関連性を有していない一般言語の複合語は、ＮＯＮＴＥＲＭとして分類される。
【００３８】
ＳＩＭＴＥＲＭは、ＮＯＮＴＥＲＭクラスからの成分又は複合語よりも深くドメインとの関連性を有している成分又は複合語のためのクラスである。例えば、ドメインとの意味論的な関連性を有している成分又は複合語は、ＳＩＭＴＥＲＭとして分類される。
【００３９】
ＴＥＲＭは、ＳＩＭＴＥＲＭクラスからの成分又は複合語よりも深くドメインとの関連性を有している成分又は複合語のためのクラスである。例えば、ドメインとの関連性を有している明解な成分又は複合語は、ＴＥＲＭとして分類される。
【００４０】
ＳＰＥＣＴＥＲＭは、ＴＥＲＭクラスからの成分又は複合語よりも深くドメインとの関連性を有している成分又は複合語のためのクラスである。例えば、ドメインとの関連性を有している不明解な成分又は複合語は、ＳＰＥＣＴＥＲＭとして分類される。
【００４１】
これらの４つのクラスは、ドメインに対する帰属性のそれぞれ異なる程度を表す。より正確には、ドメインに対する帰属性の程度は、ＮＯＮＴＥＲＭからＳＩＭＴＥＲＭ及びＴＥＲＭを経てＳＰＥＣＴＥＲＭへと分類されるにつれて増加する。例えば、これらの４つのクラスには、以下のように４つの識別子が対応付けられる。即ち、ＮＯＮＴＥＲＭクラスには第１のスカラーｏ１が対応付けられ、ＳＩＭＴＥＲＭクラスには第２のスカラーｏ２が対応付けられ、ＴＥＲＭクラスには第３のスカラーｏ３が対応付けられ、ＳＰＥＣＴＥＲＭクラスには第４のスカラーｏ４が対応付けられる。この例においては、識別子としてベクトルＯ＝（ｏ１，ｏ２，ｏ３，ｏ４）Ｔが使用される。それぞれのスカラーは、この例においては０から１までの値を有し、帰属性の程度は、それぞれのスカラーの値が０から１になるにつれて増加する。
【００４２】
コーパスの成分又は複合語の帰属性の程度は、コーパスからのテキストの難解さに対する尺度であり、即ち、ドメインに関する、コーパスからのテキストの水準又は特有性に対する尺度である。ＳＰＥＣＴＥＲＭクラスの成分又は複合語が含まれたテキストは、高確率で、専門家によって作成されており、又は、専門家のために作成されている。ＴＥＲＭクラス又はＳＰＥＣＴＥＲＭクラスの成分又は複合語が含まれていないテキストは、高確率で、ドメインに関して非特有である。
【００４３】
以下の説明においては、トレーニングデータは、特徴及び識別子を含む。より正確には、トレーニングデータ内の特徴に、少なくとも１つの識別子が対応付けられる。１つの態様においては、それぞれの特徴に、少なくとも１つの識別子が対応付けられる。
【００４４】
以下の説明においては、特徴は、用語候補を特徴付ける。１つの態様においては、１つの特徴は、１つの用語候補を一意に表す。１つの特徴は、例えば、用語候補を表す１つの単語ベクトルである。さらなる態様においては、特徴は、専門分野特有のコーパス内の複合語の成分の、一般言語のコーパスに関する生産性又は頻度を表す。
【００４５】
以下の説明においては、識別子は、クラスを特徴付ける。１つの態様においては、１つの識別子は、１つのクラスを一意に表す。識別子は、例えば、スカラーｓ１，ｓ２，ｓ３，ｓ４を有するベクトルｓであり、これらのスカラーｓ１，ｓ２，ｓ３，ｓ４の値は、０から１の間において、それらのクラスに対する帰属性の程度を表す。例えば、値１は、帰属性の程度が高いことを表す。例えば、値０は、帰属性の程度が低いことを表す。
【００４６】
特定のドメインに対する成分又は複合語の帰属性の程度に基づいてテキストを分類するのためのモデルの例として、以下においては、図１を参照しながら、第１の実施形態による人工ニューラルネットワークについて説明する。
【００４７】
例えば、ネットワークの出力Ｏは、
Ｏ＝σ（φ（Ｅ（ｘ）＊Ｗ１）＊Ｗ２））
として定義されている。
【００４８】
ここで、ｘは、単語、即ち、複合語又は成分であり、ｚ＝Ｅ（ｘ）は、埋め込み層の出力であり、この埋め込み層においては、単語ｘが、関数
Ｅ：ｘ→ｚ
によってベクトルｚにマッピングされる。この例においては、単語ｘのためのベクトルｚは、２００次元の単語ベクトルである。サイズｂのバッチにおいてｎ個の単語が使用される場合には、ｎ個のベクトルｚが、次元［ｎ＊２００，ｂ］を有する行列Ｚにおいて使用される。
【００４９】
Ｗ１及びＷ２は、重み行列である。重み行列Ｗ１は、ｎ個の単語の例においては、ｎ個の２００次元のベクトルｚに一致する次元［６４，ｎ＊２００］を有する。
【００５０】
φは、活性化関数である。この例においては、活性化関数として、以下のような双曲線正接関数
φ（ｚ＊Ｗ１）＝ｔａｎｈ（ｚ＊Ｗ１）
が使用される。
【００５１】
この例においては、全結合層において、第２の隠れ層１０６の出力ｄにおいて、次元［６４，ｂ］を有するｄ＝φ（Ｗ１＊ｚ）が使用される。
【００５２】
重み行列Ｗ２は、この例においては、ＮＯＮＴＥＲＭ，ＳＩＭＴＥＲＭ，ＴＥＲＭ，ＳＰＥＣＴＥＲＭの４つのクラスに一致する次元［４，６４］を有する。この例においては、出力層における出力Ｏとして、４つのニューロンが使用される。
【００５３】
この例においては、σは、ソフトマックス活性化関数であり、このソフトマックス活性化関数により、複数のクラスのうちの１つに対する帰属性の確率が決定される。このためにソフトマックス活性化関数は、生の値を確率に変換し、この確率は、結果の正確さに関する確実性に対する尺度としても使用される。ソフトマックス活性化関数として、出力層における出力Ｏからの、例えばｎ＝４個のニューロンである場合にはＯ＝（ｏ１，ｏ２，ｏ３，ｏ４）からの、ニューロンｉに関して、それぞれのスカラー出力ｏｉのために、以下の関数
【数１】
2021533477.tif 000003
が使用される。ここで、ｙｉは、ベクトルｙ＝φ（Ｅ（ｘ）＊Ｗ１）＊Ｗ２の行ｉであり、ｙｋは、ベクトルｙ＝φ（Ｅ（ｘ）＊Ｗ１）＊Ｗ２の行ｋである。
【００５４】
以下に、対応付けの例を挙げる。
【００５５】
ＮＯＮＴＥＲＭは、ｏ１に対応付けられ、ＳＩＭＴＥＲＭは、ｏ２に対応付けられ、ＴＥＲＭは、ｏ３に対応付けられ、ＳＰＥＣＴＥＲＭは、ｏ４に対応付けられる。スカラー値ｏｉは、それぞれのクラスに対する用語の帰属性の程度である。
【００５６】
図１は、モデルの例として、相前後して配置された複数の層を有する人工ニューラルネットワーク１００の一部を概略的に示している。人工ニューラルネットワーク１００は、入力層１０２、第１の隠れ層１０４、第２の隠れ層１０６及び出力層１０８を含む。
【００５７】
入力層１０２は、用語候補Ｔを、単語ｘとして第１の隠れ層１０４に伝送するように構成されている。
【００５８】
第１の隠れ層１０４は、この例においては関数Ｅ（ｘ）即ち埋め込み層であり、この埋め込み層においては、単語ｘが、関数
Ｅ：ｘ→ｚ
によってベクトルｚにマッピングされる。
【００５９】
マッピングは、例えば、ＣＢＯＷ（Continuous Bag-of-Words）モデルを用いて実施される。例えば、2003年のTomas Mikolovら著の“Distributed representations of words and phrases and their compositionality”，Advances in Neural Information Processing Systems，第3111-3119頁，Curran Associatates, Inc.によるWord2Vec CBOWモデルを使用して、２００次元の単語ベクトルが生成される。
【００６０】
１つの態様においては、例えば、ＣＢＯＷモデルは、単語に対する第１の隠れ層１０４の重みを学習するために、辞書を用いてトレーニングされる。例えば、以前にトレーニングされたＣＢＯＷモデルを使用して、埋め込み層が初期化される。次いで、第１の隠れ層１０４は、単語に対する対応する重みによって初期化される。
【００６１】
単語として認識されない単語は、例えば、ランダムな要素を有する単語ベクトルｚにマッピングされる。認識された単語は、対応する単語ベクトルｚにマッピングされる。単語ベクトルは、用語候補を表す。
【００６２】
単語ベクトルｚは、第１の隠れ層１０４から第２の隠れ層１０６に伝送される。
【００６３】
第２の隠れ層１０６は、第１の重み行列Ｗ１及び活性化関数φを使用する。この例においては、第２の隠れ層１０６における活性化関数として、以下のような双曲線正接関数
ｄ＝φ（Ｅ（ｘ）＊Ｗ１）＝ｔａｎｈ（ｚ＊Ｗ１）
が使用される。
【００６４】
出力ｄは、出力層１０８に伝送される。この例においては、ソフトマックス活性化関数が使用され、このソフトマックス活性化関数により、複数のクラスのうちの１つに対する単語ｘの帰属性の確率が決定される。
【００６５】
重み行列及び活性化関数は、人工ニューラルネットワーク１００のパラメータである。パラメータ、特に重み行列は、トレーニングにおいて変更可能である。
【００６６】
以下においては、この人工ニューラルネットワーク１００をトレーニングするための方法について説明する。
【００６７】
この人工ニューラルネットワーク１００をトレーニングするためのトレーニングデータは、特徴及び識別子を含む。より正確には、トレーニングデータは、特徴と識別子との対応付けを含む。
【００６８】
特徴は、専門分野特有のコーパスからの用語候補Ｔを特徴付ける。識別子ｓは、用語候補Ｔに関して少なくとも３つの互いに異なるクラスを特徴付ける。この例においては、識別子ｓは、ＮＯＮＴＥＲＭ，ＳＩＭＴＥＲＭ，ＴＥＲＭ，ＳＰＥＣＴＥＲＭの４つのクラスを特徴付ける。クラスは、ドメインに対する用語候補Ｔの帰属性の程度を示す。
【００６９】
アノテータ、即ち、例えば人間は、専門分野特有のコーパスから用語候補Ｔとして単語又は合成語を見出して、それらを４つのクラスのうちの１つに対応付ける。用語候補Ｔの場合、トレーニングデータにおける対応付けは、例えば、特徴として、用語候補Ｔを表す単語ベクトルｚを含む。識別子ｓにおいて、ＮＯＮＴＥＲＭクラスに第１のスカラーｓ１が対応付けられ、ＳＩＭＴＥＲＭクラスに第２のスカラーｓ２が対応付けられ、ＴＥＲＭクラスに第３のスカラーｓ３が対応付けられ、ＳＰＥＣＴＥＲＭクラスに第４のスカラーｓ４が対応付けられる。この例においては、識別子としてベクトルｓ＝（ｓ１，ｓ２，ｓ３，ｓ４）Ｔが使用される。それぞれのスカラーは、この例においては０から１までの値を有し、帰属性の程度は、例えば、それぞれのスカラーの値が０から１になるにつれて増加する。識別子は、アノテータが選択した値を含む。
【００７０】
人工ニューラルネットワーク１００がトレーニングされている場合には、スプリッタを用いて複合語を自動的に検索することができ、既にトレーニングされた人工ニューラルネットワーク１００を用いて、クラスを予測することができる。
【００７１】
人工ニューラルネットワーク１００の入力層１０２には、用語候補Ｔが供給される。トレーニング前に、人工ニューラルネットワーク１００のパラメータを、ランダム値によって初期化することができる。トレーニングのために、用語候補Ｔのグループを、例えば、ｂ＝３２個のトレーニング例を有するバッチとして同時に供給するものとしてもよい。
【００７２】
人工ニューラルネットワーク１００は、当該人工ニューラルネットワーク１００の出力層１０８における予測の際に、入力層１０２からの用語候補Ｔを表す特徴に、識別子ｏを対応付ける。予測は、上述したモデルを用いて実施される。予測の結果は、ｂ＝３２個のトレーニング例を有する例においては、３２個のベクトルｏ１，・・・，ｏ３２を有する行列Ｏである。
【００７３】
比較の際に、出力層１０８からの識別子ｏは、トレーニングデータ内のこの特徴に対応付けられた識別子ｓと比較される。例えば、比較の際には、誤差関数、例えば、ベクトルｓとベクトルｏとの間の差、特にユークリッド距離が評価される。
【００７４】
比較の結果に応じて、人工ニューラルネットワーク１００の少なくとも１つのパラメータが学習される。パラメータは、入力層１０２と出力層１０８との間の人工ニューラルネットワーク１００の接続を特徴付ける。例えば、重み行列Ｗ１及びＷ２は、誤差関数に基づいて、この誤差関数が最小化されるまで学習される。例えば、確率的勾配降下（ＳＧＤ）法が使用される。
【００７５】
好ましくは、トレーニングデータ内に、特徴と識別子との多数の対応付けが設けられる。この例においては、５０個のエポックが使用される。５０個のエポックの各々において、３２個のトレーニング例が処理される。トレーニングデータセットは、この場合には、１６００個の対応付けを含む。それぞれ異なる個数のエポック又はそれぞれ異なるサイズのトレーニングデータセットを用いて、トレーニングを実施することができる。
【００７６】
少なくとも３つのクラスを使用することにより、用語候補Ｔがドメインからの用語であるか否かの二分決定の代わりに、帰属性の程度を定義する人工ニューラルネットワークを提供することができる。これにより、より細かい分類が可能になる。
【００７７】
用語候補Ｔとして複合語のみを使用すると、特に有利である。そのようなトレーニングされた人工ニューラルネットワークにより、テキストに含まれている複合語に基づいて、このテキストを特に効率的に分類することが可能となる。
【００７８】
この場合、トレーニングデータセットのトレーニングデータは、アノテータが複合語を分類したクラスを表す識別子と、その複合語を表す特徴との対応付けを含む。複合語は、ドメインに関する専門分野特有のコーパスから取り出される。モデルは、特定のドメインに対する成分の帰属性の程度に基づいて分類するようにトレーニングされる。
【００７９】
トレーニングデータセットは、以下の態様に基づく。
【００８０】
複合語は、成分として単語又は語幹を含む合成語である。成分の組成に応じて、ドメインに対する帰属性の程度を多かれ少なかれ有している複合語が発生する。例えば、“Mais（トウモロコシ）”という成分は、料理ドメイン又は農業ドメインに対応付け可能である。この例においては、“Maisanbau（トウモロコシ栽培）”という複合語は、農業ドメインにのみ対応付け可能である。この例においては、“Maismehl（トウモロコシ粉）”という複合語は、料理ドメインにのみ対応付け可能である。この例においては、２つのさらなる成分である“- anbau（栽培）”及び“- mehl（粉）”を分類することによって、複合語を分類することが可能となる。“Maismehl（トウモロコシ粉）”という複合語は、内容的にさらに、料理ドメインに関連付け可能である。“Maisanbau（トウモロコシ栽培）”という複合語は、例えば、ＳＩＭＴＥＲＭクラスに分類可能である。
【００８１】
トレーニングデータセットを作成するために、このドメインとの既知の関連性を有するテキスト又はテキストコレクションが、専門分野特有のコーパスとして使用される。この例においては、専門分野特有のコーパスは、料理レシピのテキストコレクションである。料理レシピのテキストコレクションは、用語候補として、「料理」ドメインからの考えられる専門用語を含む。
【００８２】
専門分野特有のコーパスから、用語候補が識別される。この例においては、用語候補として、複合語が識別される。用語候補、即ち、複合語には、語彙上の複合語定義又は例が対応付けられる。語彙上の定義又は例として、例えばテキストが使用される。
【００８３】
トレーニング及び分類のために、この例においては、特定の最小長さを有する用語候補が考慮される。１文字しか有さない用語候補は、この場合には無視される。これに代えて、最小長さがなければ、１文字しか有さない用語候補は、ＮＯＮＴＥＲＭクラスに分類されることとなる。
【００８４】
用語候補には、１人又は複数人のアノテータによるトレーニングのための至適基準として、特有性及び中心性に関するユーザベースの評価が割り当てられる。この例においては、用語候補に対して、４つのクラスを用いて、多次元のスカラーを使用して、ＮＯＮＴＥＲＭ，ＳＩＭＴＥＲＭ，ＴＥＲＭ，又はＳＰＥＣＴＥＲＭのクラスのうちのいずれかへの分類が、用語候補に割り当てられる。ある用語候補が特定のドメインに関して、この例においては「料理」ドメインに関して非常に特有であって、かつ、この特定のドメインに対して高程度の近接性を有している場合には、アノテータは、この用語候補をＳＰＥＣＴＥＲＭクラスに分類することが要求されている。ある用語候補が特定のドメインに関して非常に特有であって、かつ、この特定のドメインに対して中程度の近接性を有している場合には、アノテータは、この用語候補をＳＩＭＴＥＲＭクラスに分類することが要求されている。ある用語候補が特定のドメインに対して、この例においては「料理」ドメインに対して高程度の近接性を有しているが、その他の点において、専門分野的には非特有である場合には、アノテータは、この用語候補をＴＥＲＭクラスに分類することが要求されている。アノテータは、その他の用語候補をＮＯＮＴＥＲＭクラスに分類することが要求されている。
【００８５】
例示的に、専門分野特有のコーパスからの用語候補を分類するために、“Maisanbau（トウモロコシ栽培）”という複合語について検討する。多数のアノテータに、“Maisanbau（トウモロコシ栽培）”という複合語と、分類のための定義とが提示される。何人かのアノテータは、この複合語を、例えば、この定義に基づいてＮＯＮＴＥＲＭクラスに分類する。他のアノテータは、この複合語を、例えばＳＩＭＴＥＲＭクラスに分類する。
【００８６】
この例においては、トレーニングデータセットは、全員又は過半数のアノテータが“Maisanbau（トウモロコシ栽培）”という複合語を分類したクラスにおいて、エントリ“Maisanbau（トウモロコシ栽培）”の分だけ補足される。トレーニングデータセットは、例えば、エントリ“Maisanbau（トウモロコシ栽培）”を表す特徴と、複数のクラスのうちの１つとの対応付けを含む。例えば、“Maisanbau（トウモロコシ栽培）”という用語候補を特徴付ける単語ベクトルｚが、ＳＩＭＴＥＲＭクラスを特徴付けるベクトルｓに対応付けられる。
【００８７】
トレーニングデータセットは、多数のそれぞれ異なる用語候補に対して、多数のそのような対応付けを含む。このトレーニングデータセットを起点として、モデルがトレーニングされる。トレーニングの際には、トレーニングデータセットからの多数のそのような対応付けを使用して、重み行列が学習される。
【００８８】
第１の実施形態においては、複合語を表す単語ベクトルｚが、特徴として使用される。重み行列Ｗ１及びＷ２は、これらの単語ベクトルｚと、ベクトルｓと、対応する誤差関数とに基づいて学習される。
【００８９】
複合語に加えてその複合語の成分を使用すると、さらなる改善が可能である。このために、さらなる特徴が使用される。
【００９０】
以下においては、図２に概略的に示されている第２の実施形態による人工ニューラルネットワーク２００を参照しながら、このことについて説明する。
【００９１】
人工ニューラルネットワーク２００は、第１の入力層２０２ａ、第２の入力層２０２ｂ、第３の入力層２０２ｃ、第４の入力層２０２ｄ及び第５の入力層２０２ｅを含む。人工ニューラルネットワーク２００は、第２の入力層２０２ｂの下流に配置された第１の隠れ層２０４ａと、第３の入力層２０２ｃの下流に配置された第２の隠れ層２０４ｂと、第４の入力層２０２ｄの下流に配置された第３の隠れ層２０４ｃとを含む。
【００９２】
人工ニューラルネットワーク２００は、第１の入力層２０２ａの下流に配置された第４の隠れ層２０６ａを含む。人工ニューラルネットワーク２００は、第１の隠れ層２０４ａの下流に配置された第５の隠れ層２０６ｂを含む。人工ニューラルネットワーク２００は、第２の隠れ層２０４ｂの下流に配置された第６の隠れ層２０６ｃを含む。人工ニューラルネットワーク２００は、第３の隠れ層２０４ｃの下流に配置された第７の隠れ層２０６ｄを含む。人工ニューラルネットワーク２００は、第５の入力層２０２ｅの下流に配置された第８の隠れ層２０６ｅを含む。
【００９３】
人工ニューラルネットワーク２００は、第４の隠れ層２０６ａ及び第５の隠れ層２０６ｂの下流に配置された第９の隠れ層２０８ａを含む。人工ニューラルネットワーク２００は、第７の隠れ層２０６ｄ及び第８の隠れ層２０６ｅの下流に配置された第１０の隠れ層２０８ｂを含む。
【００９４】
人工ニューラルネットワーク２００は、第９の隠れ層２０８ａ及び第１０の隠れ層２０８ｂの下流に配置された第１１の隠れ層２１０を含む。人工ニューラルネットワーク２００は、第９の隠れ層２０８ａの下流に配置された第１の出力層２１２ａを含む。人工ニューラルネットワーク２００は、第６の隠れ層２０６ｃの下流に配置された第２の出力層２１２ｂを含む。人工ニューラルネットワーク２００は、第１０の隠れ層２０８ｂの下流に配置された第３の出力層２１２ｃを含む。人工ニューラルネットワーク２００は、第１１の隠れ層２１０の下流に配置された第４の出力層２１４を含む。
【００９５】
第３の入力層２０２ｃは、用語候補のための入力部として構成されている。この例においては、用語候補として複合語ｃ２即ち、合成語が使用される。
【００９６】
第２の入力層２０２ｂ及び第４の入力層２０２ｄは、複合語ｃ２の成分ｃ１，ｃ３のための入力層として構成されている。図２には、第１の成分ｃ１及び第２の成分ｃ３が示されているが、複合語に２つより多くの成分が含まれている場合には、２つより多くの成分を使用することもできる。
【００９７】
一般に、人工ニューラルネットワーク２００の入力は、複合語ｃ２と、この複合語ｃ２のそれぞれの成分とを含む。
【００９８】
ｂ個のトレーニングデータセットを有するバッチにおいては、それぞれの成分及び複合語につき、次元［１，ｂ］のそれぞれ１つのベクトルが、入力層に個々に供給される。第２の入力層２０２ｂ、第３の入力層２０２ｃ及び第４の入力層２０２ｄの下流に配置された隠れ層のための入力として、例えばベクトルｘが使用され、このベクトルｘにおいては、複合語ｃ２と、この複合語ｃ２の成分とが連結されている。図２に示されている２つの成分ｃ１，ｃ３を有する例においては、連結されたベクトルのモデルにおいて、例えば、以下のベクトル
ｘ＝（ｃ１，ｃ２，ｃ３）
が使用される。
【００９９】
関数Ｅは、ｘを、例えば、連結された単語ベクトル
ｚ＝（ｚ１，ｚ２，ｚ３）
にマッピングする。単語ベクトルｚは、対応付けのための特徴である。
【０１００】
それぞれの入力に単一の単語を割り当てて、ようやく全結合層において連結することもできる。この場合には、個々のベクトル
ｘ１＝ｃ１
ｘ２＝ｃ２
ｘ３＝ｃ３
及び
ｚ１＝Ｅ（ｘ１）
ｚ２＝Ｅ（ｘ２）
ｚ３＝Ｅ（ｘ３）
が使用される。
【０１０１】
サイズｂのバッチの場合、ベクトルｘ１，ｘ２，ｘ３は、次元［１，ｂ］を有し、ここで、ｚ１，ｚ２，ｚ３は、次元［２００，ｂ］の行列を表す。
【０１０２】
第５の隠れ層２０６ｂ、第６の隠れ層２０６ｃ及び第７の隠れ層２０６ｄのそれぞれの出力は、個々に計算されたベクトルについて、
Ｉ１＝φ（Ｅ（ｃ１）＊Ｗ１）    第５の隠れ層２０６ｂの出力、
Ｉ２＝φ（Ｅ（ｃ２）＊Ｗ２）    第６の隠れ層２０６ｃの出力、
Ｉ３＝φ（Ｅ（ｃ３）＊Ｗ３）    第７の隠れ層２０６ｄの出力
のように表現される。
【０１０３】
関数Ｅは、埋め込み層であり、この埋め込み層は、例えば、bag-of-wordsモデルを用いて、ベクトルｘのそれぞれの部分を、単語ベクトルｚのそれぞれの部分にマッピングする。
Ｅ：ｘ→ｚ
【０１０４】
第５の隠れ層２０６ｂの出力Ｉ１、第６の隠れ層２０６ｃの出力Ｉ２及び第７の隠れ層２０６ｄの出力Ｉ３は、ｂ個のトレーニングデータを有するバッチの例においては、それぞれ次元［６４，ｂ］を有する。
【０１０５】
第１の入力層２０２ａは、複合語ｃ２からの第１の成分ｃ１の第１の頻度ｆ（ｃ１）及び第１の生産性Ｐ（ｃ１）のための入力部である。
【０１０６】
第５の入力層２０２ｃは、複合語ｃ２からの第２の成分ｃ３の第２の頻度ｆ（ｃ３）及び第２の生産性Ｐ（ｃ３）のための入力部である。ここでの「頻度」とは、専門分野特有のコーパスからの総ての成分に関して、専門分野特有のコーパス内のその他の複合語においてそれぞれの成分ｃ１，ｃ３が出現する頻繁さを指す。
【０１０７】
ここでの「生産性」とは、専門分野特有のコーパス内の、この複合語ｃ２以外の複合語においてそれぞれの成分ｃ１，ｃ３を含む、互いに異なる複合語の数を指す。
【０１０８】
生産性及び頻度は、対応付けのための２つのさらなる特徴である。
【０１０９】
この例においては、第１の入力層２０２ａのために
ｖ１＝（ｆ（ｃ１）；Ｐ（ｃ１））
が使用され、第５の入力層２０２ｃのために
ｖ２＝（ｆ（ｃ３）；Ｐ（ｃ３））
が使用される。
【０１１０】
入力として、一般に、個々の成分の頻度及び生産性という次元を有する多次元のベクトルｖが使用される。
ｖ＝（ｖ１，ｖ２）
【０１１１】
第４の隠れ層２０６ａの出力Ｉ４及び第８の隠れ層２０６ｅの出力Ｉ５は、
Ｉ４＝φ（ｗ４＊ｖ１）    第４の隠れ層２０６ａの出力、
Ｉ５＝φ（ｗ５＊ｖ２）    第８の隠れ層２０６ｅの出力
である。
【０１１２】
第４の隠れ層２０６ａの出力Ｉ４及び第５の隠れ層２０６ｂの出力Ｉ１は、ｂ個のトレーニングデータを有するバッチの例においては、それぞれ次元［６４，ｂ］を有する。第４の隠れ層２０６ａの出力Ｉ４及び第５の隠れ層２０６ｂの出力Ｉ１は、第９の隠れ層２０８ａの入力を形成する。
【０１１３】
第８の隠れ層２０６ｅの出力Ｉ５及び第７の隠れ層２０６ｄの出力Ｉ３は、ｂ個のトレーニングデータを有するバッチの例においては、それぞれ次元［６４，ｂ］を有する。第８の隠れ層２０６ｅの出力Ｉ５及び第７の隠れ層２０６ｄの出力Ｉ３は、第１０の隠れ層２０８ｂの入力を形成する。
【０１１４】
第９の隠れ層２０８ａの出力Ｉ６及び第１０の隠れ層２０８ｂの出力Ｉ７は、
Ｉ６＝［Ｉ１；Ｉ４］Ｔ    第９の隠れ層２０８ａの出力
Ｉ７＝［Ｉ３；Ｉ５］Ｔ    第１０の隠れ層２０８ｂの出力
である。
【０１１５】
この例においては、第９の隠れ層２０８ａ及び第１０の隠れ層２０８ｂは、各自のそれぞれの入力同士を連結している。
【０１１６】
第９の隠れ層２０８ａの出力Ｉ６及び第１０の隠れ層２０８ｂの出力Ｉ７は、ｂ個のトレーニングデータを有するバッチの例においては、それぞれ次元［１２８，ｂ］を有する。第９の隠れ層２０８ａの出力Ｉ６及び第１０の隠れ層２０８ｂの出力Ｉ７は、第６の隠れ層２０６ｃの出力Ｉ２と共に、第１１の隠れ層２１０の入力を形成する。
【０１１７】
第１１の隠れ層２１０の出力Ｉ８は、
Ｉ８＝［Ｉ６；Ｉ２；Ｉ７］Ｔ    第１１の隠れ層２１０の出力
である。
【０１１８】
第１１の隠れ層２１０の出力Ｉ８は、ｂ個のトレーニングデータを有するバッチの例においては、次元［３２０，ｂ］を有する。１つの態様においては、第４の出力層２１４の出力：
Ｏ＝σ（Ｗ６＊Ｉ８）
が、人工ニューラルネットワーク２００の出力を形成する。
【０１１９】
人工ニューラルネットワーク２００の出力、この例においては、第４の出力層２１４の出力は、ｂ個のトレーニングデータを有するバッチの例においては、次元［４，ｂ］を有する。
【０１２０】
トレーニング中又はそれ以降における人工ニューラルネットワーク２００の最適化のために、この出力Ｏが、誤差関数において、例えば確率的勾配降下法において、ベクトルｓと共に使用され、これによって、重み行列の重みが適合させられる。
【０１２１】
任意選択のさらなる態様においては、出力Ｏ及び補助出力Ｏａｕｘが、
Ｏ＝σ（Ｗ６＊Ｉ８）      第４の出力層２１４の出力、
Ｏａｕｘ１＝σ（Ｗ７＊Ｉ６）      第１の出力層２１２ａの出力、
Ｏａｕｘ２＝σ（Ｗ８＊Ｉ２）      第２の出力層２１２ｂの出力、
Ｏａｕｘ３＝σ（Ｗ９＊Ｉ７）      第３の出力層２１２ｃの出力
のように設けられている。
【０１２２】
補助出力Ｏａｕｘ１，Ｏａｕｘ２，及びＯａｕｘ３は、ｂ個のトレーニングデータを有するバッチの例においては、次元［４，ｂ］を有する。
【０１２３】
成分ｃ１，ｃ３に関する補助出力Ｏａｕｘ１及びＯａｕｘ３からの情報は、出力Ｏへの途上において人工ニューラルネットワーク２００を最適化するために使用される。補助出力Ｏａｕｘ１及びＯａｕｘ３へとつながる層により、人工ニューラルネットワーク２００における知識は、成分がどのクラスに帰属するかに関して精確になる。出力Ｏのために、人工ニューラルネットワーク２００は、複合語を分類するためにこの情報がどの程度まで役立つかを学習する。
【０１２４】
例えば、“Tomaten｜suppe（トマト｜スープ）”という複合語の場合には、おそらく両方の成分がＴＥＲＭとして分類され、その場合、出力Ｏにおける複合語もそのように分類される。“Dosen｜suppe（缶｜スープ）”という複合語の場合には、“Dose（缶）”という成分は、おそらくＮＯＮＴＥＲＭに分類され、“suppe（スープ）”という成分は、ＴＥＲＭに分類される。人工ニューラルネットワーク２００は、出力Ｏのためにもう一度、この成分の組合せにおいては多くの場合ＴＥＲＭが優勢であってかつＴＥＲＭがクラスを構成することを学習する。
【０１２５】
例えば、“Portulak｜salat（パースレーン｜サラダ）”という複合語の場合には、人工ニューラルネットワーク２００は、ＳＰＥＣＴＥＲＭである“Portulak（パースレーン）”と、ＴＥＲＭである“salad（サラダ）”との組合せから、複合語のクラスがＳＰＥＣＴＥＲＭであることを学習する。
【０１２６】
活性化関数φは、例えば、それぞれの入力ｙｉと、ｉ個の重み行列Ｗｉの各々とに関して、
φ（ｙｉ）＝ｔａｎｈ（ｙｉ＊Ｗｉ）
として定義されている。
【０１２７】
この例においては、出力Ｏは、この順序で、ＮＯＮＴＥＲＭ，ＳＩＭＴＥＲＭ，ＴＥＲＭ，ＳＰＥＣＴＥＲＭの４つのクラスのうちのｉ番目のクラスを特徴付ける。例えば、出力層における出力Ｏ＝（ｏ１，ｏ２，ｏ３，ｏ４）のために、それぞれの入力ｙｉと、ｎ個のスカラー出力ｏｉのうちのｉ番目のスカラー出力とに関して、以下の関数
【数２】
2021533477.tif 000004
が使用される。
【０１２８】
この例においては、ｏｉの値は、ｏｉであると決定されたクラスに対する帰属性の程度を示し、なお、この帰属性の程度は、０から開始して最大値１まで増加する。
【０１２９】
ｊ個の任意選択の追加的な出力Ｏａｕｘｊ＝（ｏａｕｘｊ１，ｏａｕｘｊ２，ｏａｕｘｊ３，ｏａｕｘｊ４）は、それぞれ、ｉ個の値ｏａｕｘｊｉを示し、このｉ個の値ｏａｕｘｊｉは、この例でも、ｉ番目のクラスに対する帰属性の程度を示し、なお、この帰属性の程度は、０から開始して最大値１まで増加する。より正確には、出力Ｏａｕｘ１は、クラスに対する第１の成分ｃ１の帰属性の程度を示す。出力Ｏａｕｘ２は、クラスに対する複合語ｃ２の帰属性の程度を示す。出力Ｏａｕｘ３は、クラスに対する成分ｃ３の帰属性の程度を示す。人工ニューラルネットワーク２００をさらに最適化するために、値ｏａｕｘｊ１，ｏａｕｘｊ２，ｏａｕｘｊ３，ｏａｕｘｊ４は、誤差関数において重み付けされて使用される。例示的な誤差関数においては、第４の出力層２１４の出力は、係数１によって重み付けされて使用され、総ての任意選択の出力は、係数０．２によって重み付けされて使用される。他の重み付けを使用することもできる。ニューラルネットワークのトレーニングのために、例えば、誤差逆伝播アルゴリズムが利用され、この誤差逆伝播アルゴリズムは、種々の出力を使用して、種々の重み付けによって重み行列の重みを最適化する。
【０１３０】
重み行列Ｗの次元は、それぞれの入力層２０２ａ，２０２ｂ，２０２ｃ，２０２ｄ，２０２ｅ及びそれぞれの出力層２１２ａ，２１２ｂ，２１２ｃ，２１４の次元と一致するように規定される。第５の隠れ層２０６ｂの重み行列Ｗ１は、例えば、２００次元の単語ベクトルｚ１の場合には、２００×６４の次元を有する。相応にして、第６の隠れ層２０６ｃの重み行列Ｗ２及び第７の隠れ層２０６ｄの重み行列Ｗ３も、同じく２００次元の単語ベクトルｚ２及びｚ３場合には、同一の次元を有する。
【０１３１】
成分の生産性及び頻度は、この例においてはスカラーであり、対応するベクトルｖ１又はｖ２は、２次元である。重み行列Ｗ３及びＷ４は、例えば、サイズｂのバッチの場合、次元２×ｂを有する。第９の隠れ層２０８ａは、出力Ｉ１及びＩ４を統合する。第１０の隠れ層２０８ｂは、出力Ｉ３及びＩ５を統合する。それぞれの重み行列の次元は、それぞれの出力の次元と、バッチｂのサイズとに適合させられている。
【０１３２】
多かれ少なかれ任意選択の出力と、他の適当な次元とを使用することもできる。出力及びベクトルの統合は、例えば、連結（concatenation）によって実施される。
【０１３３】
一般に、人工ニューラルネットワーク２００は、当該人工ニューラルネットワーク２００の出力層２１４における予測の際に、入力層２０２からの複合語ｃ２を表す特徴ｚ，ｖに、識別子Ｏを対応付ける。予測は、上述したモデルを用いて実施される。予測の結果は、この例においては、ベクトルＯである。
【０１３４】
比較の際に、識別子Ｏは、トレーニングデータ内のこの特徴に対応付けられた識別子ｓと比較される。例えば、比較の際には、誤差関数、特に、ベクトルｓとベクトルＯとの間の差が使用される。
【０１３５】
比較の結果に応じて、人工ニューラルネットワークの少なくとも１つのパラメータが学習される。パラメータは、入力層１０２と出力層１０８との間の人工ニューラルネットワークの接続を特徴付ける。例えば、重み行列Ｗ１及びＷ２は、上記の差に基づいて決定される。このために、差を最小化する誤差関数が評価される。例えば、確率的勾配降下（ＳＧＤ）法が使用される。
【０１３６】
第２の実施形態は、第１の実施形態と比較して、以下の追加的な態様に基づく。
【０１３７】
生産性及び頻度は、テーマに関する対応付け、即ち、中心度の程度と、難易度、即ち、特有性又は水準の程度とを形成する。複数の異なる複合語において頻繁に出現する、複合語の成分は、高確率で、このドメインに関する中心的な成分である。出現する回数が少ない、複合語の成分は、高確率で、ドメインにとって特有の成分である。
【０１３８】
成分の組成に応じて、ドメインに対する帰属性の程度を多かれ少なかれ有している複合語が発生する。例えば、“Mais（トウモロコシ）”という成分は、料理ドメイン又は農業ドメインに対応付け可能である。この例においては、“Maisanbau（トウモロコシ栽培）”という複合語は、農業ドメインにのみ対応付け可能である。この例においては、“Maismehl（トウモロコシ粉）”という複合語は、料理ドメインにのみ対応付け可能である。この例においては、共通の成分である“Mais（トウモロコシ）”を分類することによって、及び／又は、２つのさらなる成分である“- anbau（栽培）”及び“- mehl（粉）”によって、複合語を分類することが可能となる。
【０１３９】
例えば、１つの単語、又は、合成語の１つの語幹は、成分として１つのクラスにのみ対応付け可能である。例えば、複数の成分の各々を、少なくとも、１つの同一のクラスに分類することができる。合成語、即ち、これらの成分から構成される又はこれらの成分が含まれている複合語は、例えば、自動的にこのクラスに分類される。
【０１４０】
分類の他の態様においては、合成語は、少なくとも２つの成分を含み、これらの少なくとも２つの成分は、それぞれ異なるクラスに分類可能であり、この場合、これらの少なくとも２つの成分は、共通のクラスには分類不可能である。この場合には、これらの成分から構成されている又はこれらの成分が含まれている複合語の分類は、一意にはならない。この場合には、例えば、多数決を自動的に実施することができ、この多数決に基づいて、複合語は、この複合語の複数の成分のうちの過半数が分類されるクラスに分類される。このことが、過半数の比率が不足していることに起因して排除されたとしても、単語又は合成語の語幹が成分として分類されなかった特定のクラスは、排除されている。
【０１４１】
従って、分類の際に、複合語自体を使用することに加えてその複合語の成分を使用することにより、分類の顕著な改善が提供される。このことは、あまり頻繁には出現しない複合語にとっては、又は、モデルをトレーニングした際に用いたトレーニングデータセットにおいて未知であった組成を有する複合語にとっては、特に重要である。複合語の個々の成分が未知であったとしても、このトレーニングデータセットを使用したトレーニング中に、以前は未知であった成分について、複合語のその他の成分を用いて分類を学習することができる。
【０１４２】
トレーニングデータセットを作成するために、単語ベクトルは、可能な限り広範囲なデータ資料を取得するために、一般言語のコーパス上においてトレーニングされる。単語ベクトルを、ドメインにとって専門分野特有であるコーパス上においてトレーニングすることにより、微調整が実施される。例えば、このドメインとの既知の関連性を有するテキスト又はテキストコレクションが、専門分野特有のコーパスとして使用される。この例においては、専門分野特有のコーパスは、料理レシピのテキストコレクションである。料理レシピのテキストコレクションは、用語候補として、「料理」ドメインからの考えられる専門用語を含む。生産性又は頻度を決定するために、例えば、専門分野特有のコーパスのみが使用される。
【０１４３】
専門分野特有のコーパスから、用語候補が識別される。この例においては、用語候補として、複合語が識別される。用語候補には、語彙上の複合語定義又は例が対応付けられる。語彙上の定義又は例として、例えば、テキストが使用される。
【０１４４】
トレーニング及び分類のために、この例においては、特定の最小長さを有する用語候補が考慮される。１文字しか有さない用語候補は、この場合には無視される。これに代えて、最小長さがなければ、１文字しか有さない用語候補は、ＮＯＮＴＥＲＭクラスに分類されることとなる。
【０１４５】
用語候補には、１人又は複数人のアノテータによるトレーニングのための至適基準として、特有性及び中心性に関するユーザベースの評価が割り当てられる。この例においては、用語候補に対して、多次元のスカラーを使用して、ＮＯＮＴＥＲＭ，ＳＩＭＴＥＲＭ，ＴＥＲＭ，又はＳＰＥＣＴＥＲＭのクラスのうちのいずれかへの分類が、用語候補に割り当てられる。例えば、頻度及び生産性が、単語ベクトルｚに加えてベクトルｖとしてトレーニングデータセットに追加される。ある用語候補が特定のドメインに関して、この例においては「料理」ドメインに関して非常に特有であって、かつ、この特定のドメインに対して高程度の近接性を有している場合には、アノテータは、この用語候補をＳＰＥＣＴＥＲＭクラスに分類することが要求されている。ある用語候補が特定のドメインに対して中程度の近接性を有している場合には、アノテータは、この用語候補をＳＩＭＴＥＲＭクラスに分類することが要求されている。ある用語候補が特定のドメインに対して、この例においては「料理」ドメインに関して高程度の近接性を有しているが、その他の点において、専門分野には非特有である場合には、アノテータは、この用語候補をＴＥＲＭクラスに分類することが要求されている。アノテータは、その他の用語候補をＮＯＮＴＥＲＭクラスに分類することが要求されている。
【０１４６】
例示的に、専門分野特有のコーパスからの用語候補を分類するために、“Tomatenpueree（トマトピューレ）”という複合語について検討する。定義によれば、トマトピューレは、特にソースを作るために台所において使用されるトマトから作られたペーストである。多数のアノテータに、“Tomatenpueree（トマトピューレ）”という複合語と、分類のための定義とが提示される。例えば、何人かのアノテータは、この複合語を、この定義に基づいてＴＥＲＭクラスに分類する。他のアノテータは、この複合語を、例えばＳＰＥＣＴＥＲＭクラスに分類する。
【０１４７】
この例においては、トレーニングデータセットは、全員又は過半数のアノテータが“Tomatenpueree（トマトピューレ）”という複合語を分類したクラスにおいて、エントリ“Tomatenpueree（トマトピューレ）”の分だけ補足される。トレーニングデータセットは、例えば、エントリ“Tomatenpueree（トマトピューレ）”を表す特徴と、複数のクラスのうちの１つとの対応付けを含む。例えば、特徴として、“Tomatenpueree（トマトピューレ）”という用語候補を特徴付ける単語ベクトルｚ及びベクトルｖが、ＳＰＥＣＴＥＲＭクラスを特徴付けるベクトルｓに対応付けられる。
【０１４８】
トレーニングデータセットは、多数のそのような対応付けを含む。
【０１４９】
トレーニングの際には、トレーニングデータセットからの多数のそのような対応付けを使用して、重み行列が学習される。
【０１５０】
第２の実施形態においては、複合語が表す特徴に基づいて重み行列が学習される。成分と、成分の生産性及び／又は頻度とに基づいて決定される追加的な特徴も使用される。
【０１５１】
トレーニングの際には、“Tomatenpueree（トマトピューレ）”という複合語に加えて、この複合語の関連する成分である“Tomate（トマト）”及び“pueree（ピューレ）”を特徴付ける特徴が使用される。例えば、対応する連結された単語ベクトルｚと、生産性及び頻度を特徴付ける連結されたベクトルｖとが使用される。人工ニューラルネットワーク２００の層と、計算のためのベクトル及び行列とは、このために、例えば、対応して組み合わせられて再ソートされる。
【０１５２】
「料理」ドメインのためのトレーニングデータセットを生成する場合には、関連する複合語は、この例においてはアノテータによって手動により、ＳＩＭＴＥＲＭ，ＴＥＲＭ，又はＳＰＥＣＴＥＲＭのクラスに分類される。なぜなら、これらの複合語は、「料理」というテーマに対してそれぞれ異なる中心性及びそれぞれ異なる特有性を備える関連性を有する名称だからである。それぞれの成分のクラスは、これらの成分が存在するトレーニングデータセットからの複合語に基づいて推定される。例えば、“Tomate（トマト）”という成分の場合には、おそらく、この成分がＴＥＲＭクラスを有することが推定される。なぜなら、“Tomate（トマト）”という成分は、ＴＥＲＭとして分類されている“Tomatensuppe（トマトスープ）”，“Tomatensalat（トマトサラダ）”，“Tomatenauflauf（トマトグラタン）”，“Tomatenpueree（トマトピューレ）”等のような複合語においては非常に頻繁に出現するが、その他の複合語においてはさほど頻繁には出現しないからである。この分類は、アノテータによってアノテートされた複合語クラスと必ずしも常に同一でなくてもよい。それにもかかわらず、補助出力Ｏａｕｘ１及びａｕｘ３からのこの情報は、結果を最適化する。
【０１５３】
このトレーニングデータセットに基づいて、第２の実施形態によるモデルは、以下に説明するようにトレーニングされる。
【０１５４】
人工ニューラルネットワーク２００の重み行列からの総ての重みは、例えば、トレーニングの開始時に同一の値に設定される。ランダム値を使用することもできる。
【０１５５】
トレーニングデータセットを用いたモデルのトレーニングを、“Tomatenpueree（トマトピューレ）”という複合語を例として説明する。
【０１５６】
第１のステップにおいては、複合語が、成分に分解される。“Tomatenpueree（トマトピューレ）”という合成語は、成分として、“Tomate（トマト）”という語幹と、“pueree（ピューレ）”という単語とを含む。残余の成分“n”は、この例においては接合辞であり、検討されない。即ち、この例においては、最小長さである２文字よりも長い成分のみが使用される。その結果として得られた“Tomate（トマト）”及び“pueree（ピューレ）”という関連する成分と、“Tomatenpueree（トマトピューレ）”という複合語とが、モデルによる分類の入力項を形成する。
【０１５７】
この例においては、人工ニューラルネットワーク２００が使用され、この人工ニューラルネットワーク２００の重みを、少なくとも１つの最適化関数によって適合させることができる。“Tomatenpueree（トマトピューレ）”という複合語が高確率でＴＥＲＭクラスに対応付けられるように、最適化関数及びトレーニングデータセットに基づいて重みが適合させられる。“Tomate（トマト）”という成分が高確率でＴＥＲＭクラスに対応付けられるように、かつ、“pueree（ピューレ）”という成分が高確率でＳＰＥＣＴＥＲＭクラスに対応付けられるように、成分に関する他の出力も同様に最適化することができる。このために、既知の成分を表す特徴と、対応するクラスとの対応付けが含まれている、拡張されたトレーニングデータセットが使用される。このことは、つまり、判別を支援するために、複合語、より正確には複合語ベクトルが使用されるということを意味する。
【０１５８】
一般に、図３に示されているように、第１のステップＳ１においては、専門分野特有のコーパス３０２において用語候補として複合語が検索され、複数の成分に分割される。第２のステップＳ２においては、複合語が、自動的に又はアノテータによって、複数のクラスのうちの少なくとも１つに対応付けられる。第３のステップＳ３においては、複合語及び成分に関する特徴が決定される。即ち、単語ベクトルと、生産性と、頻度とが、専門分野特有のコーパス３０２に基づいて決定される。第４のステップＳ４においては、人工ニューラルネットワークの種々のモデルが、これらの特徴を用いてトレーニングされ、第５のステップＳ５においては、複合語に関してそのクラスが予測される。
【０１５９】
対応するトレーニングデータセットを用いてトレーニングされた第２の実施形態によるモデルを用いた、“Tomatenpueree（トマトピューレ）”という複合語が含まれたテキストの分析は、以下の態様を含む。
【０１６０】
“Tomatenpueree（トマトピューレ）”という複合語は、先ず始めに、その成分に分解される。その結果として得られた“Tomate（トマト）”及び“pueree（ピューレ）”という関連する成分は、専門分野特有のコーパスにおいてその生産性及び頻度の観点から評価される。“Tomatenpueree（トマトピューレ）”という複合語と、その関連する成分である“Tomate（トマト）”及び“pueree（ピューレ）”と、生産性及び頻度とに基づいて、特徴が、モデルの対応する入力層に伝送される。“Tomatenpueree（トマトピューレ）”という複合語は、複数のクラスのうちの１つに対応付けられる。
【０１６１】
複合語と、この複合語の成分とは、任意選択的にスプリッタによって生成され、このスプリッタは、専門分野特有のコーパスから用語候補Ｔとして複合語ｃを抽出して、ｉ個の成分ｃｉに分割する。
【０１６２】
スプリッタは、例えば、以下の参考文献のうちの１つに記載されているように動作する。
【０１６３】
CharSplit：Character ngram-based Splitting of sparse compound nouns，Appendix A.3，Don Tuggener，2016年，Incremental Coreference Resolution for German，Thesis presented to the Faculty of Arts and Social Sciences of the University of Zuerich．
【０１６４】
CompoST：Fabienne Cap，2014年，Morphological Processing of Compounds for Statistical Machine Translation，dem Institut fuer Maschinelle Sprachverarbeitung Universitaet Stuttgart vorgelegt Abhandlung．
【０１６５】
SCS：Marion Weller-Di Marco，2017年，Simple compound Splitting for German，Proceedings of the 13th workshop on Multiword Expressions，MWE@EACL 2017年，第161-166頁，Valencia，Spain．
【０１６６】
好ましくは、ドイツ語の専門分野特有のコーパスからの複合語であれば、先ず始めにCompoSTによるプロシージャを用いて分割される。続いて、SCSによるプロシージャが適用され、最後に、CharSplitによるプロシージャが適用される。これにより、特に良好な結果を達成することができる。他の言語の場合には、対応する他のスプリッタも同様にして使用される。
【０１６７】
第１の実施形態によるモデルを用いてテキストの分析が実施される場合には、第２の実施形態について説明したように実施される。この場合には、成分に分解するステップと、生産性及び頻度を決定及び使用するステップとが省略される。その代わりに、第１の実施形態によるモデルが、直接的に用語候補と共に使用される。
【０１６８】
テキスト分析のための両方の方法は、テキストを分類するための従来の方法に比較して格別の改善を示す。
【０１６９】
人工ニューラルネットワークのみを使用する代わりに、他の機械学習アプローチを使用することもできる。例えば、２つより多くのクラスを予測することができる他の深層学習アプローチ又は他の分類子を使用することができる。人工ニューラルネットワークに基づくコンピュータ実装方法の代わりに、分類のために、他の統計的な方法を使用することもできる。
【０１７０】
１つの態様においては、テキストの分類は、人工ニューラルネットワークを含む。人工ニューラルネットワークは、装置として構成することが可能であり、例えば、特定のハードウェアとして、例えば、特定用途向け集積回路、ＡＳＩＣ又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）として、構成することが可能である。本システムは、汎用集積回路としてのプロセッサを含むことも可能であり、この汎用集積回路が、人工ニューラルネットワークをマッピングし、又は、専用のハードウェアと相互作用する。人工ニューラルネットワークは、特に、汎用集積回路を有するコンピュータの場合には、コンピュータ自体の内部機能を格段に改善するコンピュータ実装されたデータ構造である。
【図１】
2021533477.tif 000005
【図２】
2021533477.tif 000006
【図３】
2021533477.tif 000007
【国際調査報告】
2021533477.tif 000008
2021533477.tif 000009
2021533477.tif 000010
2021533477.tif 000011