(57)【要約】【課題】自然言語処理により、少量のアノテーション付テキストデータを機械的に拡張して、アノテーションラベルと矛盾せず、かつ、テキストとして不自然でない、大量のアノテーション付テキストデータを得ることができる、アノテーション付テキストデータの拡張方法を提供する。【解決手段】（ａ）テキストＳにアノテーションラベルyを付与したアノテーション付テキストデータを予測補完モデルに入力する入力ステップと、（ｂ）前記予測補完モデルが新たなアノテーション付テキストデータを作成するステップ、を有するアノテーション付テキストデータの拡張方法。【選択図】図１
2019185551.tif 000002
【特許請求の範囲】
【請求項１】
（ａ）テキストＳにアノテーションラベルyを付与したアノテーション付テキストデータを予測補完モデルに入力する入力ステップと、（ｂ）前記予測補完モデルが、前記アノテーションラベルyと、前記テキストＳの文脈を参照して、新たなアノテーション付テキストデータを作成するステップ、を有するアノテーション付テキストデータの拡張方法。
【請求項２】
前記（ｂ）が、下記（ｂ−１）〜（ｂ−３）の演算処理を行うステップを含む、請求項１に記載のアノテーション付テキストデータの拡張方法。
（ｂ−１）前記予測補完モデルが備える抽出アルゴリズムにより、前記テキストＳ内の要素ｗiと置換可能な要素ｗi´を抽出。
（ｂ−２）前記要素ｗi´を前記テキストＳ内の要素ｗiと置換したテキストＳ´を作成。
（ｂ−３）前記テキストＳ´に前記アノテーションラベルyを付与。
【請求項３】
前記予測補完モデルがラベル条件付き双方向言語モデルである、請求項１又は２に記載のアノテーション付テキストデータの拡張方法。
【請求項４】
前記抽出アルゴリズムは、下記式（１）で確率分布を算出するステップを有する、請求項２又は３に記載のアノテーション付テキストデータの拡張方法。
【数１】
2019185551.tif 000010
【請求項５】
前記要素が、単語である、請求項２〜４の何れかに記載のアノテーション付テキストデータの拡張方法。
【請求項６】
前記入力ステップに先立ち、ラベルなしのテキストデータセットを訓練データとして、前記予測補完モデルを訓練するプレステップを有する、請求項１〜５の何れかに記載のアノテーション付テキストデータの拡張方法。
【請求項７】
コンピュータによって、アノテーション付テキストデータの拡張を行わせるためのアノテーション付テキストデータの拡張プログラムであって、
前記コンピュータに、（ａ）テキストＳにアノテーションラベルyを付与したアノテーション付テキストデータを予測補完モデルに入力する入力ステップと、（ｂ）前記予測補完モデルが、前記アノテーションラベルyと、前記テキストＳの文脈を参照して、新たなアノテーション付テキストデータを作成するステップ、を実行させる、アノテーション付テキストデータの拡張プログラム。
【請求項８】
前記（ｂ）が、下記（ｂ−１）〜（ｂ−３）の演算処理を行うステップを含む、請求項７に記載のアノテーション付テキストデータの拡張プログラム。
（ｂ−１）予測補完モデルが備える抽出アルゴリズムにより、前記テキストＳ内の要素ｗiと置換可能な要素ｗi´を抽出。
（ｂ−２）前記要素ｗi´を前記テキストＳ内の要素ｗiと置換したテキストＳ´を作成。
（ｂ−３）前記テキストＳ´にテキストデータと同一のアノテーションラベルyを付与。
【請求項９】
テキストＳにアノテーションラベルyを付与したアノテーション付テキストデータを入力するアノテーション付テキストデータ入力部と、
予測補完モデルを記憶する予測補完モデル記憶部と、
前記予測補完モデルにより、前記アノテーションラベルyと、前記テキストＳの文脈を参照して、新たなアノテーション付テキストデータを作成する演算処理を行う演算部を有する、
アノテーション付テキストデータ拡張装置。
【請求項１０】
前記演算処理が、下記（ｂ−１）〜（ｂ−３）を含む、請求項９に記載のアノテーション付テキストデータ拡張装置。
（ｂ−１）予測補完モデルが備える抽出アルゴリズムにより、前記テキストＳ内の要素ｗiと置換可能な要素ｗi´を抽出。
（ｂ−２）前記要素ｗi´を前記テキストＳ内の要素ｗiと置換したテキストＳ´を作成。
（ｂ−３）前記テキストＳ´にテキストデータと同一のアノテーションラベルyを付与。
【請求項１１】
前記演算部が、
前記（ｂ−１）の演算処理を行う置換要素抽出部と、
前記（ｂ−２）の演算処理を行うテキスト作成部と、
前記（ｂ−３）の演算処理を行うラベル付与部
を有する、請求項９又は１０に記載のアノテーション付テキストデータ拡張装置。
【請求項１２】
請求項１〜６の何れかに記載のアノテーション付テキストデータの拡張方法で得た拡張データセットを、テキスト分類モデルの訓練データとして用いる、テキスト分類モデルの訓練方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、アノテーション付テキストデータの拡張方法、アノテーション付テキストデータの拡張プログラム、アノテーション付テキストデータの拡張装置、及び、テキスト分類モデルの訓練方法に関する。
【背景技術】
【０００２】
自然言語処理を用いたアプリケーションのうち、テキストの分類問題（識別問題ともいう）を扱うものは、大量のテキストデータを自動分類する用途に適用が可能であり、近年各種の技術が開発されている（例えば、特許文献１）。特許文献１には、新聞記事のカテゴリを自動推定する際に、その分類精度の向上を図る技術が開示されている。
【０００３】
テキストの分類問題を扱うアプリケーションでは、一般的に、アノテーション（関連する注釈情報）をラベル（以下、アノテーションラベル）として付与したアノテーション付テキストデータを訓練データとして与えて学習させる「教師あり学習」が行われ、その学習の結果得られたモデルパラメータ（以下、モデルという）を用いて未知データの分類（いずれかのラベルを付与することによるクラス分類）が行われる。
このような、機械学習手法により高い分類精度（以下、単に「高精度」ともいう）を達成するためには、一般的に、訓練データとして大量のアノテーション付テキストデータが必要となる。
【０００４】
アノテーションラベルをテキストに付与する作業は、通常、人手によって行われ、手間とコストがかかる。特に、テキストが、独自の知識やルールを前提にしないと内容を理解できない分野に関するものである場合は、アノテーションラベルを付与する作業に莫大な手間とコストがかかる。このため、高精度を達成するだけの大量のアノテーション付テキストデータを、人手によって用意するのは現実的とはいえない。
【０００５】
一方、自然言語処理でのデータ拡張手法として、予め用意された類義語辞典を用いて、アノテーション付テキストデータ内の単語と類義語を置き換える手法（非特許文献１）が開示されている。
しかし、類義語と置き換える手法では、類義語辞典の作成に手間がかかる他、データの拡張範囲が単語の類義語の範囲に留まり、高精度を達成するだけの大量のアノテーション付テキストデータを用意するのは難しい。
また、上記のデータ拡張手法は、既存のアノテーション付テキストデータが、ある程度の量存在することを前提としたものであり、その前提となる量のアノテーション付テキストデータの作成に手間がかかる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１５−３８７０９号公報
【非特許文献】
【０００７】
【非特許文献１】William Yang Wang and Diyi Yang. 2015. That’s so annoying!!!: A lexical and frame-semantic embedding based data augmentation approach to automatic categorization of annoying behaviors using ♯petpeeve tweets. In EMNLP
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明はこのような実情に鑑みてなされたものであり、本発明の課題は、自然言語処理により、少量のアノテーション付テキストデータを機械的に拡張して、アノテーションラベルと矛盾せず、かつ、テキストとして不自然でない、大量のアノテーション付テキストデータを得ることができる、アノテーション付テキストデータの拡張方法、アノテーション付テキストデータの拡張プログラム、アノテーション付テキストデータの拡張装置、及び、テキスト分類モデルの訓練方法を提供することである。
【課題を解決するための手段】
【０００９】
本発明者は、上記の課題を解決するために鋭意研究した結果、特定の予測補完モデルを用いて演算処理を行うことで、上記課題が解決できることを見出した。本発明は、この知見に基づくものであり、以下の［１］〜［１２］を提供する。
【００１０】
［１］（ａ）テキストＳにアノテーションラベルyを付与したアノテーション付テキストデータを予測補完モデルに入力する入力ステップと、（ｂ）前記予測補完モデルが、前記アノテーションラベルyと、前記テキストＳの文脈を参照して、新たなアノテーション付テキストデータを作成するステップ、を有するアノテーション付テキストデータの拡張方法。
［２］  前記（ｂ）が、下記（ｂ−１）〜（ｂ−３）の演算処理を行うステップを含む、［１］に記載のアノテーション付テキストデータの拡張方法。
（ｂ−１）前記予測補完モデルが備える抽出アルゴリズムにより、前記テキストＳ内の要素ｗiと置換可能な要素ｗi´を抽出。
（ｂ−２）前記要素ｗi´を前記テキストＳ内の要素ｗiと置換したテキストＳ´を作成。
（ｂ−３）前記テキストＳ´に前記アノテーションラベルyを付与。
［３］  前記予測補完モデルがラベル条件付き双方向言語モデルである、［１］又は［２］に記載のアノテーション付テキストデータの拡張方法。
［４］  前記抽出アルゴリズムは、下記式（１）で確率分布を算出するステップを有する、［２］又は［３］に記載のアノテーション付テキストデータの拡張方法。
【数１】
2019185551.tif 000003
［５］  前記要素が、単語である、［２］〜［４］の何れかに記載のアノテーション付テキストデータの拡張方法。
［６］  前記入力ステップに先立ち、ラベルなしのテキストデータセットを訓練データとして、前記予測補完モデルを訓練するプレステップを有する、［１］〜［５］の何れかに記載のアノテーション付テキストデータの拡張方法。
［７］  コンピュータによって、アノテーション付テキストデータの拡張を行わせるためのアノテーション付テキストデータの拡張プログラムであって、
前記コンピュータに、（ａ）テキストＳにアノテーションラベルyを付与したアノテーション付テキストデータを予測補完モデルに入力する入力ステップと、（ｂ）前記予測補完モデルが、前記アノテーションラベルyと、前記テキストＳの文脈を参照して、新たなアノテーション付テキストデータを作成するステップ、を実行させる、アノテーション付テキストデータの拡張プログラム。
［８］  前記（ｂ）が、下記（ｂ−１）〜（ｂ−３）の演算処理を行うステップを含む、［７］に記載のアノテーション付テキストデータの拡張プログラム。
（ｂ−１）予測補完モデルが備える抽出アルゴリズムにより、前記テキストＳ内の要素ｗiと置換可能な要素ｗi´を抽出。
（ｂ−２）前記要素ｗi´を前記テキストＳ内の要素ｗiと置換したテキストＳ´を作成。
（ｂ−３）前記テキストＳ´にテキストデータと同一のアノテーションラベルyを付与。
［９］  テキストＳにアノテーションラベルyを付与したアノテーション付テキストデータを入力するアノテーション付テキストデータ入力部と、予測補完モデルを記憶する予測補完モデル記憶部と、前記予測補完モデルにより、前記アノテーションラベルyと、前記テキストＳの文脈を参照して、新たなアノテーション付テキストデータを作成する演算処理を行う演算部を有する、アノテーション付テキストデータ拡張装置。
［１０］  前記演算処理が、下記（ｂ−１）〜（ｂ−３）を含む、［９］に記載のアノテーション付テキストデータ拡張装置。
（ｂ−１）予測補完モデルが備える抽出アルゴリズムにより、前記テキストＳ内の要素ｗiと置換可能な要素ｗi´を抽出。
（ｂ−２）前記要素ｗi´を前記テキストＳ内の要素ｗiと置換したテキストＳ´を作成。
（ｂ−３）前記テキストＳ´にテキストデータと同一のアノテーションラベルyを付与。
［１１］  前記演算部が、前記（ｂ−１）の演算処理を行う置換要素抽出部と、前記（ｂ−２）の演算処理を行うテキスト作成部と、
前記（ｂ−３）の演算処理を行うラベル付与部を有する、［９］又は［１０］に記載のアノテーション付テキストデータ拡張装置。
［１２］  ［１］〜［６］の何れかに記載のアノテーション付テキストデータの拡張方法で得た拡張データセットを、テキスト分類モデルの訓練データとして用いる、テキスト分類モデルの訓練方法。
【発明の効果】
【００１１】
本発明によれば、自然言語処理により、少量のアノテーション付テキストデータを機械的に拡張して、アノテーションラベルと矛盾せず、かつ、テキストとして不自然でない、大量のアノテーション付テキストデータを得ることができる、アノテーション付テキストデータの拡張方法、アノテーション付テキストデータの拡張プログラム、アノテーション付テキストデータの拡張装置、及び、テキスト分類モデルの訓練方法を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態のアノテーション付テキストデータ拡張装置の機能構成を示すブロック図である。
【図２】（ｂ−１）〜（ｂ−３）の演算処理の流れを説明する図である。
【図３】本実施形態のアノテーション付テキストデータ拡張装置のハードウェア構成を示すブロック図である。
【図４】［演算例Ｂ］の結果を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の一実施形態について説明する。ただし本発明は、当実施形態に限定されるものではない。
【００１４】
＜アノテーション付テキストデータ拡張装置及びアノテーション付テキストデータの拡張方法＞
図１は、本実施形態のアノテーション付テキストデータの拡張方法に用いるアノテーション付テキストデータ拡張装置１の機能構成を示すブロック図である。
【００１５】
本実施形態のアノテーション付テキストデータ拡張装置１は、入力部２と、記憶部３と、演算部４を備えている。
入力部２にはアノテーション付テキストデータ入力部２１を備え、記憶部３には予測補完モデル記憶部３１を備え、演算部４には置換要素抽出部４１と、テキスト作成部４２と、ラベル付与部４３を備えている。記憶部３に拡張データ記憶部３２を備えることもできる。
【００１６】
本実施形態のアノテーション付テキストデータ拡張装置１の演算部４では、予測補完モデル記憶部３１に記憶した予測補完モデルを用いて、アノテーション付テキストデータ入力部２１から入力されたアノテーション付テキストデータの演算処理が行われる。
この演算処理により、少量のアノテーション付テキストデータ（入力されたアノテーション付テキストデータ）が、大量のアノテーション付テキストデータに拡張される。
【００１７】
アノテーション付テキストデータ入力部２１から入力されるアノテーション付テキストデータの種類は、アノテーションラベルを付したテキストデータであれば特に限定されない。ここで、テキストとは、文字列を意味し、文章の他、シークエンスデータや、センサーデータを含む。
【００１８】
予測補完モデルは、入力されたアノテーション付テキストデータから拡張したアノテーション付テキストデータを得るためのモデルであり、双方向ＬＳＴＭ-ＲＮＮに基づく言語モデルに基づくものであることが好ましい。
【００１９】
なお、予測補完モデルにアノテーション付テキストデータを入力する前に、アノテーションラベルyを付与していないテキストデータセット（ラベルなしのテキストデータセット）を訓練データとして、予測補完モデルの訓練を行うことが好ましい。
例えば、映画のレビューサイトでの評価分類を行うための分類モデルのための訓練データとして用いるアノテーション付テキストデータセットを本発明の拡張方法で作成しようとする場合、予測補完モデルにアノテーション付の訓練データ（例えば、「テキストデータ“the actors are fantastic.”＋アノテーションラベル“positive.”」等）を入力する前に、プレステップとしてラベルなしのテキストデータセット（WikiText-103 corpus等）を用いて予測補完モデルを訓練することで、文脈上矛盾なく置換できる単語の選択肢を増やして予測補完モデルの性能を向上させることができる。
ここで文脈とは、テキストデータ中にある、単語間の意味内容の繋がり具合や、ある特定の単語の前後などの統語的関係、または係り受け関係にある単語や文章そのものや、それら単語や文章との論理的関係のことをいう。更に、連続して入力されるテキスト（例えばシーケンスデータやセンサーデータ）の場合は、ある特定の対象部分のデータとその周辺のデータとの繋がり具合や論理的関係などのこと、およびそれら周辺のデータそのものも文脈と呼ぶ。
【００２０】
予測補完モデルは、下記（ｂ−１）〜（ｂ−３）の演算処理を行うためのアルゴリズムを含む。
（ｂ−１）：抽出アルゴリズムにより、前記テキストＳ内の要素ｗiと置換可能な要素ｗi´を抽出。
（ｂ−２）：前記要素ｗi´を前記テキストＳ内の要素ｗiと置換したテキストＳ´を作成。
（ｂ−３）：前記テキストＳ´にテキストデータと同一のアノテーションラベルyを付与した新たなアノテーション付テキストデータを作成。
【００２１】
演算部４の置換要素抽出部４１で上記（ｂ−１）の演算処理が行われ、テキスト作成部４２で上記（ｂ−２）の演算処理が行われ、ラベル付与部４３で上記（ｂ−３）の演算処理が行われる。
【００２２】
置換要素抽出部４１は、予測補完モデルが備える抽出アルゴリズムにより、前記テキストＳ内の要素ｗiと置換可能な要素ｗi´を抽出する。
例えば、テキストデータを構成するテキストが、要素である単語を複数並べて構成されたクローズセンテンスの文Ｓである場合、文Ｓの文脈に照らして、ｗiの置換候補の単語ｗi´が、その文Ｓの位置iにおいて存在しうる確率を下記式（２）で算出し、ｗiの置換候補の確率分布を得ることができる。
その確率が高いほど、置換可能性が高い単語となり、所定の確率以上の単語を置換可能な要素ｗi´として抽出することができる。
このように、確率分布を利用することで、代替可能な複数の単語を同時に抽出することができる。
【００２３】
【数２】
2019185551.tif 000004
【００２４】
予測補完モデルが、前記の双方向ＬＳＴＭ-ＲＮＮに基づく言語モデルに基づくものである場合、順方向推定と逆方向推定の結果を統合して、より精度の高い確率分布を得ることができる。
【００２５】
量子アニーリングの手法を用いることで、より精度の高い確率分布を得ることができる。具体的には、上記式（２）に温度パラメータτを導入して、下記式（３）で求めたアニール分布を用いることで、より精度の高い確率分布を得ることができる。
【００２６】
【数３】
2019185551.tif 000005
【００２７】
式（２）や式（３）では、入力されたアノテーション付テキストデータのうち、テキストデータにのみ着目しているため、例えば、「テキストデータ“the actors are fantastic.”＋アノテーションラベル“positive.”」の組み合わせからなるアノテーション付テキストデータを入力して、テキストデータ中の “fantastic”と置換可能な単語を上記手法で抽出した場合、文脈上矛盾なく置換することができる単語として、“good” “entertaining” “bad ” “terrible ” などが抽出される。このうち、“bad ” “terrible ”はアノテーションラベル“positive.”と矛盾するため、これらも含めた拡張アノテーション付テキストデータを訓練データに含めて、テキスト分類モデルの訓練データとして用いた場合、分類精度が低下する可能性がある。
【００２８】
本発明者は、単語の置換をアノテーションラベルｙに矛盾のない範囲で行うという条件付きの制約を導入することでこの問題を回避できることを見出した。例えば、埋め込みラベルyを双方向ＬＳＴＭ-ＲＮＮのフィードフォワードネットワークの隠れたレイヤに連結した下記式（４）で確率分布を算出することで、文脈上矛盾なく置換することができる単語であって、かつ、アノテーションラベルｙのアノテーション情報と矛盾のないテキストを構成する単語を抽出することができる。
【００２９】
【数４】
2019185551.tif 000006
【００３０】
図２は（ｂ−１）〜（ｂ−３）の演算処理の流れを説明する図である。
（ｂ−１）では要素ｗi´が抽出される。このとき、上記式（４）を用いることで、図２（ｂ−１）の最下段に示すような、アノテーション情報と矛盾のあるテキストを生じる要素ｗi´のグループを排除することができる。
（ｂ−２）では前記テキストＳ内の要素ｗiと要素ｗi´とを置換したテキストＳ´が作成され、（ｂ−３）ではテキストＳ´にテキストデータと同一のアノテーションラベルyを付与した新たなアノテーション付テキストデータが作成される。
【００３１】
（ｂ−３）で作成された新たなアノテーション付テキストデータを、記憶部３の拡張データ記憶部３２に記憶し、予測補完モデルの更なる訓練のための訓練データとして利用したり、増強した拡張データセットとして纏めて取り出すこともできる。
【００３２】
＜ハードウェア構成＞
汎用のコンピュータ装置を基本ハードウェアとして用い、コンピュータ装置に搭載された中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などのプロセッサ（処理回路）にプログラムを実行させることにより、上記の実施形態の処理を実現することが可能である。言い換えると、当該プログラムの実行により、プロセッサ（処理回路）が、（ｂ−１）〜（ｂ−３）の各演算処理を実行できるように構成される。
図３は、アノテーション付テキストデータ拡張装置１のハードウェア構成の一実施形態を示す図である。図３の実施形態では、アノテーション付テキストデータ拡張装置１は、ＣＰＵ１１、メモリ１２、ハードディスクドライブ（ＨＤＤ）等の記憶装置１３、表示装置１４を有し、これらの構成要素は、制御バス１５を介して互いに接続されている。
ＣＰＵ１１は、メモリ１２または記憶装置１３に格納された（あるいはＣＤ−ＲＯＭ等の記憶媒体（図示しない）から提供される）制御プログラム、に基づいて所定の処理を実行して、アノテーション付テキストデータ拡張装置１の動作を制御する。
本発明の実施に当たっては、アノテーション付テキストデータ拡張装置１が、キーボード、タッチパネルなどの各種入力用インターフェイス装置を更に具えていてもよい。
【００３３】
＜アノテーション付テキストデータの拡張プログラム＞
上述の実施形態で説明したアノテーション付テキストデータの拡張方法のそれぞれにおける一連の手順は、プログラムに組み込んでコンピュータに読込ませて実行させてもよい。これにより、本発明にかかるアノテーション付テキストデータの拡張方法における各一連の手順を、汎用コンピュータを用いて実現することができる。また、上述したアノテーション付テキストデータの拡張方法の各一連の手順をコンピュータに実行させるプログラムとしてフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の携帯可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。また、上述したアノテーション付テキストデータの拡張方法のそれぞれの一連の手順を組込んだプログラムをインターネット等の通信回線（無線通信を含む）を介して頒布してもよい。さらに、上述したアノテーション付テキストデータの拡張方法の各一連の手順を組込んだプログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、または記録媒体に収納して頒布してもよい。
コンピュータが読み取り可能な記憶媒体に記憶された専用のソフトウェアをコンピュータが読み出すことにより、コンピュータを上記の実施形態の装置とすることができる。記憶媒体の種類は特に限定されるものではない。また、通信ネットワークを介してダウンロードされた専用のソフトウェアをコンピュータがインストールすることにより、コンピュータを上記の実施形態の装置とすることができる。こうして、ソフトウェアによる情報処理が、ハードウェア資源を用いて、具体的に実装される。
上記の実施形態の少なくとも一部は、プロセッサ、メモリなどを実装しているＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ：集積回路）などの専用の電子回路（すなわちハードウェア）により実現されてもよい。
【００３４】
＜テキスト分類モデルの訓練方法＞
上述の実施形態で説明したアノテーション付テキストデータの拡張方法で得た拡張データセットを、テキスト分類モデルの訓練データとして用いることで、あらゆるテキスト分類モデルの分類精度を向上させることができる。
テキスト分類モデルとして、例えば、映画等のレビューサイトに投稿されたレビューをその内容に応じて肯定的評価と否定的評価に自動分類する分類モデル、新聞記事のカテゴリを「経済」「政治」「スポーツ」「文化」等に自動分類する分類モデル、シークエンスデータを系統ごとに自動分類する分類モデル、センサーデータを評価レベルごとに自動分類する分類モデル、カスタマーサポートへの質問文を問い合わせカテゴリごとに自動分類する分類モデル、ウェブサイト内の記事をカテゴリごとに自動分類する分類モデル、ロボットに向けた人間の発話内容をテキスト化して自動分類する分類モデル、等の用途が例示される。
また、化学技術分野においても、例えば化学物質の審査及び製造等の規制に関する法律（化審法）において、新規化学物質の届出をする場合など、既存物質のデータベースに対して、元素の種類や構造に応じた有害性情報を自動分類する分類モデル等に応用することができる。
【実施例】
【００３５】
以下、実施例を示して、本発明を更に具体的に説明する。
【００３６】
［演算例Ａ］
予測補完モデルとして８つの手法（表１の「CNN（比較例１）」「w/ synonym（比較例２）」「w/ context（比較例３）」「+ label（実施例１）」「LSTM-RNN（比較例４）」「w/ synonym（比較例５）」「w/ context（比較例６）」「+ label（実施例２）」）を用いて得た拡張データセットについて、６種類の分類モデル（STT5、STT2、Subj、MPQA、RT、TREC）で検証を行った結果を表１に示す。表１の数値は、分類の正確性を示す。
【００３７】
比較例１は、ニューラルネットワーク（CNN）のアルゴリズムのみを用いた予測補完モデルから得た拡張データセットでの検証結果を示す。比較例４は、ニューラルネットワーク（LSTM-RNN）のアルゴリズムのみを用いた予測補完モデルから得た拡張データセットでの検証結果を示す。
比較例２は、ニューラルネットワーク（CNN）のアルゴリズムを用いた予測補完モデルと、人手で作成された類義語データベース（単語a -> 類義語集合B={b1, b2, …} の集合）を用いたデータ拡張の組み合わせから得た拡張データセットでの検証結果を示す。前記類義語データベースを用いたデータ拡張では、文中の単語aは確率p（ユーザーが設定する、[0, 1]の間の値を取るパラメータ）で選ばれ、類義語とaを含む集合{a, b1, b2, …}の中から一様分布でサンプリングされた単語と置換した。比較例５は、ニューラルネットワーク（LSTM-RNN）のアルゴリズムを用いた予測補完モデルと、前記類義語データベースを用いたデータ拡張の組み合わせから得た拡張データセットでの検証結果を示す。
比較例３と比較例６は、それぞれ、比較例１と比較例４で用いたアルゴリズムに、文脈上矛盾なく置換することができる単語を抽出するアルゴリズムを追加した予測補完モデルを用い、下記式（５）で算出した確率分布から得た単語で置換して拡張したデータを含む拡張データセットでの検証結果を示す。
【００３８】
【数５】
2019185551.tif 000007
【００３９】
実施例１と実施例２は、それぞれ、比較例１と比較例４で用いたアルゴリズムに、文脈上矛盾なく置換することができる単語であって、かつ、アノテーション情報と矛盾のないテキストを構成する単語での置換を行うアルゴリズムを追加した予測補完モデルを用い、下記式（６）で算出した確率分布から得た単語で置換して拡張したデータを含む拡張データセットでの検証結果を示す。
【００４０】
【数６】
2019185551.tif 000008
【００４１】
STT5とSTT2とRTは映画レビューを分類する分類モデルである。
Subjは文章を「主観的」「客観的」に分類する分類モデルである。
MPQAは短いフレーズにおける極性（ポジティブ、ネガティ部）を検出する分類モデルである。
TRECは６つの質問タイプ「人」「物」等に分類する分類モデルである。
【００４２】
【表１】
2019185551.tif 000009
【００４３】
表１から、本発明の方法（アノテーションラベルyと、テキストＳの文脈を参照して、新たなアノテーション付テキストデータを作成する予測補完モデルを用いて、アノテーション付テキストデータを拡張する方法）で得たアノテーション付テキストデータのデータセットを用いることで、分類精度が向上する傾向があることが確認された。
【００４４】
［演算例Ｂ］
予測補完モデルとして「CNN/ context+ label」（演算例Aの実施例1の条件）を用いて得た拡張データセットを用いて、映画レビューに関する分類モデルSTTを訓練した後、アノテーション付テキストデータとして、「テキストデータ“the actors are fantastic.”＋アノテーションラベル“positive.”」の組み合わせからなるアノテーション付テキストデータおよび「テキストデータ“the actors are fantastic.”＋アノテーションラベル“negative.”」の組み合わせからなるアノテーション付テキストデータを入力した。
【００４５】
テキストデータ“the actors are fantastic.”を構成する各単語に関し、上記式（６）で算出した確率分布から、確率が高い上位１０個の単語を抽出した結果を図４に示す（図中右側の数字「１〜１０」が小さい程、確率が高いことを意味する）。
図４の上段（図中の“positive.”の文字より上部）に、「テキストデータ“the actors are fantastic.”＋アノテーションラベル“positive.”」の組み合わせからなるアノテーション付テキストデータを入力して得られた結果を示し、図４の下段（図中の““negative.”の文字より下部）に、「テキストデータ“the actors are fantastic.”＋アノテーションラベル“negative.”」の組み合わせからなるアノテーション付テキストデータを入力して得られた結果を示す。
【００４６】
予測補完モデルとして「w/ synonym」（演算例Aの比較例2の条件）を用いた場合、例えば、“actors.”の置換候補として“characters”、 “movies”、“stories.”は抽出されないが、予測補完モデルとして「CNN/ context+ label」を用いることで、これらの単語も網羅されることが確認できた。
また、「CNN/ context+ label」を用いることで、ラベルに関連性の強い単語（本演算例の場合“ fantastic.”）については、アノテーションラベル“positive.”  “negative.”の種類によって、全く異なる単語が候補として抽出されることが確認できた。
【産業上の利用可能性】
【００４７】
本発明は、テキスト分類モデルの機械学習用訓練データ作成の用途に適用できる。
【符号の説明】
【００４８】
１    アノテーション付テキストデータ拡張装置
１１  ＣＰＵ
１２  メモリ
１３  記憶装置
１４  表示装置
１５  制御バス
２    入力部
２１  アノテーション付テキストデータ入力部
３    記憶部
３１  予測補完モデル記憶部
３２  拡張データ記憶部
４    演算部
４１  置換要素抽出部
４２  テキスト作成部
４３  ラベル付与部
【図１】
2019185551.tif 000011
【図２】
2019185551.tif 000012
【図３】
2019185551.tif 000013
【図４】
2019185551.tif 000014