(57)【要約】【課題】隣接しえない単語ｎ個組の生成を抑え、与えられた文章データから隣接しうる言語として自然な単語ｎ個組を多く生成できる学習データ生成装置を提供する。【解決手段】単語毎に区切られた文章データと文章データの文節間の係り受けデータを所定の長さ読み込んで、所定の長さの文章データの係り受け関係を表す木構造を生成する木構造生成部と、木構造に基づいて、他の文節を受けていない文節を一部、または全部取り除いて、新たな文を生成する文生成部を含む。【選択図】図１
2016180849.tif 000002
【特許請求の範囲】
【請求項１】
単語毎に区切られた文章データと前記文章データの文節間の係り受けデータを所定の長さ読み込んで、前記所定の長さの文章データの係り受け関係を表す木構造を生成する木構造生成部と、
前記木構造に基づいて、他の文節を受けていない文節を一部、または全部取り除いて、新たな文を生成する文生成部を含む
学習データ生成装置。
【請求項２】
単語毎に区切られた文章データと前記文章データの文節間の係り受けデータを所定の長さ読み込んで、前記所定の長さの文章データの係り受け関係を表す木構造を生成する木構造生成部と、
前記木構造に基づいて、他の文節を受けていない文節を一部、または全部取り除いて、新たな文を生成する文生成部と、
前記生成された文を用いて言語モデルを学習する言語モデル学習部を含む
言語モデル学習装置。
【請求項３】
学習データ生成装置が実行する学習データ生成方法であって、
前記学習データ生成装置は、
単語毎に区切られた文章データと前記文章データの文節間の係り受けデータを所定の長さ読み込んで、前記所定の長さの文章データの係り受け関係を表す木構造を生成するステップと、
前記木構造に基づいて、他の文節を受けていない文節を一部、または全部取り除いて、新たな文を生成するステップを実行する
学習データ生成方法。
【請求項４】
コンピュータを請求項１に記載の学習データ生成装置として機能させるプログラム。
【請求項５】
コンピュータを請求項２に記載の言語モデル学習装置として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識、統計翻訳、自然言語処理などで用いられる統計的言語モデルの学習データを生成する学習データ生成装置、学習データ生成方法、統計的言語モデルを学習する言語モデル学習装置、プログラムに関する。
【背景技術】
【０００２】
単語ｎ-ｇｒａｍなどの統計的言語モデルの学習には大量の文章データが必要であるが、文章データの量が増えても、単語の全てのｎ個組のうちの一部しか得られない問題が常に生じる。そのため、できるだけ文章データを利用しつくす工夫が必要とされている。
【０００３】
例えば非特許文献１では、必ずしも連接せずに間にある単語をスキップして得られた単語のｎ個組を生成して、これを単語ｎ-ｇｒａｍの学習データとして利用する試みがなされている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Guthrie, David, et al.， "A closer look at skip-gram modelling"， Proceedings of the 5th International Conference on Language Resources and Evaluation (LREC). 2006.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
非特許文献１の方法で学習データを生成した場合、言語的に隣り合って並びえない単語のｎ個組まで生成する虞があり、このような学習データを用いても、高精度な統計的言語モデルを学習することができなかった。
【０００６】
そこで本発明では、隣接しえない単語ｎ個組の生成を抑え、与えられた文章データから隣接しうる言語として自然な単語ｎ個組を多く生成できる学習データ生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の学習データ生成装置は、木構造生成部と、文生成部を含む。
【０００８】
木構造生成部は、単語毎に区切られた文章データと文章データの文節間の係り受けデータを所定の長さ読み込んで、所定の長さの文章データの係り受け関係を表す木構造を生成する。文生成部は、木構造に基づいて、他の文節を受けていない文節を一部、または全部取り除いて、新たな文を生成する。
【発明の効果】
【０００９】
本発明の学習データ生成装置によれば、隣接しえない単語ｎ個組の生成を抑え、与えられた文章データから隣接しうる言語として自然な単語ｎ個組を多く生成できる。
【図面の簡単な説明】
【００１０】
【図１】実施例１の学習データ生成装置、言語モデル学習装置の構成を示すブロック図。
【図２】実施例１の学習データ生成装置、言語モデル学習装置の動作を示すフローチャート。
【図３】木構造生成部が生成する木構造を例示する図。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００１２】
図１、図２を参照して本実施例の学習データ生成装置、言語モデル学習装置の構成、および動作について説明する。図１は、本実施例の学習データ生成装置１、言語モデル学習装置２の構成を示すブロック図である。図２は、本実施例の学習データ生成装置１、言語モデル学習装置２の動作を示すフローチャートである。
【００１３】
図１に示すように、本実施例の学習データ生成装置１は、木構造生成部１１と、文生成部１２を含む。また、学習データ生成装置１の機能に加え、統計的言語モデルの生成までを実行する言語モデル学習装置２としてもよい。この場合、言語モデル学習装置２は、学習データ生成装置１の構成に加え、言語モデル学習部２１をさらに含む構成である。
【００１４】
学習データ生成装置１、言語モデル学習装置２の外部の記憶領域として、文章データ記憶部８と、係り受けデータ記憶部９が存在するものとする。なお、文章データ記憶部８と、係り受けデータ記憶部９は、学習データ生成装置１、言語モデル学習装置２の内部に設けられていてもよい。文章データ記憶部８には、単語ごとに区切られた文章データが記憶されているものとする。係り受けデータ記憶部９には、文章データ記憶部８に記憶されている文章データの文節間の係り受けデータが記憶されているものとする。
【００１５】
単語ごとに区切られた文章データ（単語列データともいう）は形態素解析によって得ることができる。形態素解析は、例えば、参考非特許文献１に記載された方法によって実施できる。
（参考非特許文献１：松本裕治、“形態素解析システム「茶筅」”、情報処理、vol. 41(11)、pp. 1208-1214、2000年）
【００１６】
係り受け解析は、形態素解析結果を入力として、複数の単語からなる文節を構成し、品詞や単語の出現形や単語のＩＤの関係に基づいて、文節間の係り受け関係を予測する技術である。係り受け解析は、例えば、参考非特許文献２に記載された方法によって実施できる。
（参考非特許文献２：工藤拓、松本裕治、“チャンキングの段階適用による日本語係り受け解析”、情報処理学会論文誌、43(6)、pp. 1834-1842、2002）
【００１７】
木構造生成部１１は、単語毎に区切られた文章データと文章データの文節間の係り受けデータを所定の長さ（例えば一文ずつ）読み込んで、所定の長さの文章データの係り受け関係を表す木構造を生成する（Ｓ１１）。文生成部１２は、木構造に基づいて、（係り受けとして）他の文節を受けていない文節を一部、または全部取り除いて、新たな文を生成する（Ｓ１２）。言語モデル学習部２１は、元の文と、生成された複数の文とを用いて言語モデルを学習する（Ｓ２１）。
【００１８】
以下、図３の例を参照して上述のステップＳ１１、Ｓ１２を具体的に説明する。図３は、木構造生成部１１が生成する木構造を例示する図である。
【００１９】
係り受け関係はある文節がどの文節に係るかを示す情報である。係り元の文節番号と係り先の文節番号で係り受け関係が示される。これにより、木構造生成部１１は例えば図３のような木構造を生成する（Ｓ１１）。木構造生成部１１は、文節に属する単語番号を記録することで、文節内部の構造を木に関連付ける。
【００２０】
文生成部１２は、木の根から（係り受けとして）どの文節も受けていない文節を取り除くことにより、さまざまな文を生成できる。また、他の文節からの係りを受けている文節であっても、補助的な単語から始まる文節はその文節も含めて係りを受けていない文節として取り除くことができる。例えば、図３では、文節「あらゆる」「すべて」「自分の」「捻じ」（図３においてドットハッチングを施した文節）は何れの文節をも受けていない。文生成部１２は、これらの文節をランダムに取り除くことにより、元の文章データである
「あらゆる現実をすべて自分のほうへ捻じ曲げたのだ」
から、新たな文である
「あらゆる現実を曲げたのだ」、
「あらゆる現実を捻じ曲げたのだ」
「あらゆる現実を自分のほうへ捻じ曲げたのだ」
「あらゆる現実をすべて曲げたのだ」
などを生成する（Ｓ１２）。上記の４例のうち３例目以外は補助的な単語から始まる文節まで含めた“自分のほうへ”の２文節を取り除いた例である。その結果、言語モデル学習部２１は、新しい単語３個組である
「現実−を＋曲げ」「現実−を＋捻じ」「現実−を＋自分」
などの自然にあり得るｓｋｉｐ−ｇｒａｍを得ることができる。従来のようにスキップする距離を明示的に固定値として定めないので、前記の事例のように、６個、５個、２個スキップしたような上記の３つの自然な単語３個組の事例を数多く得ることができる。
【００２１】
新たな文の生成原理は何れの文節をも受けていない文節を一部、または全部取り除くことである。何れの文節をも受けていない文節がｎ個あれば、１つの文節を取り除く場合からｎ個すべての文節を取り除く場合まで、合計２ｎ通りの新たな文を生成できる。言語モデル学習部２１は、何れの文節をも受けていない文節をすべて均等に扱うのではなく、これらの文節を確率的に取り除いても良い。
【００２２】
本実施例の学習データ生成装置１、言語モデル学習装置２によれば、従来のｓｋｉｐ-ｇｒａｍとは異なるスキップの仕方で、文章データの係り受け情報に基づいて、自然な文としてあり得る学習データ、単語ｎ個組を作成できるため、与えられた同一の文章データから従来よりも自然で多くの単語ｎ個組を獲得し、言語モデル学習に利用することができる。また本実施例の学習データ生成装置１が生成する学習データは、単語Ｎｇｒａｍだけではなく、得られた単語に対応する品詞から作ることができる品詞のＮｇｒａｍも自然なものとなるため、その他の言語モデルの学習にも利用可能なデータである。
【００２３】
＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ−ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
【００２４】
ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
【００２５】
ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。
【００２６】
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【００２７】
既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
【００２８】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００２９】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００３０】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００３１】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2016180849.tif 000003
【図２】
2016180849.tif 000004
【図３】
2016180849.tif 000005