(57)【要約】【課題】既存のコーパスの容量を削減し、言語モデルのパープレキシティが悪化することを防止できるようにする。【解決手段】コーパス容量削減装置２０は、第１のコーパス２２に含まれる文を、第２のコーパス２４に追加するための候補文として順次選択する候補文選択部４０と、選択された候補文の各々について、第２のコーパスに含まれる３つの文の組合せからなる文セットを全て選択する３文セット選択部４４と、選択された候補文の各々について、３文セット選択部４４により選択された３つの文の組合せのいずれかとの間で類推関係が成立するか否かを判定する類推関係判定部４６と、候補文の各々について、類推関係判定部４６により類推関係が成立しないと判定されたものを第２のコーパス２４に追加する候補文書込部４２とを含む。【選択図】      図１ 
2005251101.tif 000002
【特許請求の範囲】
【請求項１】
予め準備された第１のコーパスから、前記第１のコーパスより削減された容量の第２のコーパスを作成するためのコーパス容量削減装置であって、
前記第１のコーパスに含まれる文を、前記第２のコーパスに追加するための候補文として順次選択するための候補文選択手段と、
前記候補文選択手段により選択された候補文の各々について、前記第２のコーパスに含まれる３以上の文の組合せからなる文セットを全て選択するための文セット選択手段と、
前記候補文選択手段により選択された候補文の各々について、前記文セット選択手段により選択された複数の文の組合せのいずれかとの間で類推関係が成立するか否かを判定するための類推関係判定手段と、
前記候補文選択手段により選択された候補文の各々について、前記類推関係判定手段による判定結果に従って、当該候補文を前記第２のコーパスに追加する処理と棄却する処理とを選択的に行なう候補文追加手段とを含む、コーパス容量削減装置。
【請求項２】
前記文セット選択手段は、前記候補文選択手段により選択された候補文の各々について、前記第２のコーパスに含まれる３つの文の組合せからなる３文セットを全て選択するための３文セット選択手段を含む、請求項１に記載のコーパス容量削減装置。
【請求項３】
前記候補文追加手段は、前記候補文選択手段により選択された候補文の各々について、前記類推関係判定手段により前記文セット選択手段により選択された文の組合せのいずれとも類推関係が成立しないと判定されたことに応答して、前記当該候補文を前記第２のコーパスに追加する処理を行なうための手段を含む、請求項１又は請求項２に記載のコーパス容量削減装置。
【請求項４】
予め準備された第１のコーパスから、前記第１のコーパスより削減された容量の第２のコーパスを作成するためのコーパス容量削減方法であって、
前記第１のコーパスに含まれる文を、前記第２のコーパスに追加するための候補文として順次選択するステップと、
前記候補文を順次選択するステップにおいて選択された候補文の各々について、前記第２のコーパスに含まれる３以上の文の組合せからなる文セットを全て選択するステップと、
前記候補文を順次選択するステップにおいて選択された候補文の各々について、前記全て選択するステップにおいて選択された複数の文の組合せのいずれかとの間で類推関係が成立するか否かを判定するステップと、
前記候補文を順次選択するステップにおいて選択された候補文の各々について、前記判定するステップにおける判定結果に従って、当該候補文を前記第２のコーパスに追加する処理と棄却する処理とを選択的に行なうステップとを含む、コーパス容量削減方法。
【請求項５】
前記全て選択するステップは、前記候補文を順次選択するステップにおいて選択された候補文の各々について、前記第２のコーパスに含まれる３つの文の組合せからなる３文セットを全て選択するステップを含む、請求項４に記載のコーパス容量削減方法。
【請求項６】
前記選択的に行なうステップは、前記候補文を順次選択するステップにおいて選択された候補文の各々について、前記判定するステップにおいて前記全て選択するステップにおいて選択された文の組合せのいずれとも類推関係が成立しないと判定されたことに応答して、前記当該候補文を前記第２のコーパスに追加する処理を行なうステップを含む、請求項４又は請求項５に記載のコーパス容量削減方法。
【請求項７】
コンピュータにより実行されると、予め準備されたコンピュータ読取可能な第１のコーパスから、前記第１のコーパスより削減された容量のコンピュータ読取可能な第２のコーパスを作成するためのコーパス容量削減方法を当該コンピュータに実行させるコンピュータプログラムであって、
前記コーパス容量削減方法は、
前記第１のコーパスに含まれる文を、前記第２のコーパスに追加するための候補文として順次選択するステップと、
前記候補文を順次選択するステップにおいて選択された候補文の各々について、前記第２のコーパスに含まれる３以上の文の組合せからなる文セットを全て選択するステップと、
前記候補文を順次選択するステップにおいて選択された候補文の各々について、前記全て選択するステップにおいて選択された複数の文の組合せのいずれかとの間で類推関係が成立するか否かを判定するステップと、
前記候補文を順次選択するステップにおいて選択された候補文の各々について、前記判定するステップにおける判定結果に従って、当該候補文を前記第２のコーパスに追加する処理と棄却する処理とを選択的に行なうステップとを含む、コンピュータプログラム。
【請求項８】
前記全て選択するステップは、前記候補文を順次選択するステップにおいて選択された候補文の各々について、前記第２のコーパスに含まれる３つの文の組合せからなる３文セットを全て選択するステップを含む、請求項７に記載のコンピュータプログラム。
【請求項９】
前記選択的に行なうステップは、前記候補文を順次選択するステップにおいて選択された候補文の各々について、前記判定するステップにおいて前記全て選択するステップにおいて選択された文の組合せのいずれとも類推関係が成立しないと判定されたことに応答して、前記当該候補文を前記第２のコーパスに追加する処理を行なうステップを含む、請求項７又は請求項８に記載のコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、機械翻訳、音声認識等に使用される言語モデルを作成するためのコーパスに関し、特に、パープレキシティの小さな言語モデルを作成できる、容量の小さなコーパスを作成するための装置及び方法、並びにそのためのコンピュータプログラムに関する。
【背景技術】
【０００２】
機械翻訳、音声認識、文字認識等においては、統計的な認識を行なうものが主流となっている。中でも言語モデルはこれらに共通して用いられるものであり、その役割は非常に大きい。
【０００３】
最近では、言語モデルの品質はそれを作成する際に使用するデータの量に直接的に依存するといわれることが多くなっている。より大きな学習コーパスを使用することにより、言語モデルのパープレキシティ（又はエントロピー）がより小さくなるという利点がある。
【０００４】
一方、言語モデルを作成する際に使用可能なハードウェア資源には限りがある。従って、同程度のパープレキシティの言語モデルを作成するのであれば、学習コーパスの大きさが小さい方が好ましい。又は、同じ大きさの学習コーパスでも、作成される言語モデルのパープレキシティが小さくなるような学習コーパスの方が好ましい。
【０００５】
【特許文献１】特許第３１７２５１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
コーパスを小さくする最も単純な方法は、コーパス中からランダムに文をいくつか削除していくことである。しかしそのようにして作成したコーパスを学習セットとして用いて作成した言語モデルの場合、パープレキシティが大きくなることが知られている。一方、パープレキシティが大きくなることを防ぎながら、コーパスの大きさを小さくする技術はこれまで知られていない。
【０００７】
それ故に、本発明の目的は、既存のコーパスの容量を削減し、かつ当該コーパスを学習セットとして作成される言語モデルのパープレキシティが悪化することを防止できる、コーパス容量削減装置を提供することである。
【課題を解決するための手段】
【０００８】
本発明の第１の局面によれば、予め準備された第１のコーパスから、第１のコーパスより削減された容量の第２のコーパスを作成するためのコーパス容量削減装置は、第１のコーパスに含まれる文を、第２のコーパスに追加するための候補文として順次選択するための候補文選択手段と、候補文選択手段により選択された候補文の各々について、第２のコーパスに含まれる３以上の文の組合せからなる文セットを全て選択するための文セット選択手段と、候補文選択手段により選択された候補文の各々について、文セット選択手段により選択された複数の文の組合せのいずれかとの間で類推関係が成立するか否かを判定するための類推関係判定手段と、候補文選択手段により選択された候補文の各々について、類推関係判定手段による判定結果に従って、当該候補文を第２のコーパスに追加する処理と棄却する処理とを選択的に行なう候補文追加手段とを含む。
【０００９】
好ましくは、文セット選択手段は、候補文選択手段により選択された候補文の各々について、第２のコーパスに含まれる３つの文の組合せからなる３文セットを全て選択するための３文セット選択手段を含む。
【００１０】
さらに好ましくは、候補文追加手段は、候補文選択手段により選択された候補文の各々について、類推関係判定手段により文セット選択手段により選択された文の組合せのいずれとも類推関係が成立しないと判定されたことに応答して、当該候補文を第２のコーパスに追加する処理を行なうための手段を含む。
【００１１】
本発明の第２の局面によれば、予め準備された第１のコーパスから、第１のコーパスより削減された容量の第２のコーパスを作成するためのコーパス容量削減方法は、第１のコーパスに含まれる文を、第２のコーパスに追加するための候補文として順次選択するステップと、候補文を順次選択するステップにおいて選択された候補文の各々について、第２のコーパスに含まれる３以上の文の組合せからなる文セットを全て選択するステップと、候補文を順次選択するステップにおいて選択された候補文の各々について、全て選択するステップにおいて選択された複数の文の組合せのいずれかとの間で類推関係が成立するか否かを判定するステップと、候補文を順次選択するステップにおいて選択された候補文の各々について、判定するステップにおける判定結果に従って、当該候補文を第２のコーパスに追加する処理と棄却する処理とを選択的に行なうステップとを含む。
【００１２】
好ましくは、全て選択するステップは、候補文を順次選択するステップにおいて選択された候補文の各々について、第２のコーパスに含まれる３つの文の組合せからなる３文セットを全て選択するステップを含む。
【００１３】
さらに好ましくは、選択的に行なうステップは、候補文を順次選択するステップにおいて選択された候補文の各々について、判定するステップにおいて全て選択するステップにおいて選択された文の組合せのいずれとも類推関係が成立しないと判定されたことに応答して、当該候補文を第２のコーパスに追加する処理を行なうステップを含む。
【００１４】
本発明の第３の局面にかかるコンピュータプログラムは、コンピュータにより実行されると、予め準備されたコンピュータ読取可能な第１のコーパスから、第１のコーパスより削減された容量のコンピュータ読取可能な第２のコーパスを作成するためのコーパス容量削減方法を当該コンピュータに実行させるコンピュータプログラムである。このコンピュータプログラムにより実現されるコーパス容量削減方法は、第１のコーパスに含まれる文を、第２のコーパスに追加するための候補文として順次選択するステップと、候補文を順次選択するステップにおいて選択された候補文の各々について、第２のコーパスに含まれる３以上の文の組合せからなる文セットを全て選択するステップと、候補文を順次選択するステップにおいて選択された候補文の各々について、全て選択するステップにおいて選択された複数の文の組合せのいずれかとの間で類推関係が成立するか否かを判定するステップと、候補文を順次選択するステップにおいて選択された候補文の各々について、判定するステップにおける判定結果に従って、当該候補文を第２のコーパスに追加する処理と棄却する処理とを選択的に行なうステップとを含む。
【発明を実施するための最良の形態】
【００１５】
［第１の実施の形態］
−構成−
図１に、本発明の一実施の形態に係るコーパス容量削減装置２０のブロック図を示す。このコーパス容量削減装置２０は、既存のコーパス２２に含まれる文数を削減して新たなコーパス２４（以下このコーパスを「基底セット」と呼ぶ。）を作成するためのものである。コーパス２２に含まれる文数をＳ１、コーパス２２を学習セットとして作成した言語モデルのパープレキシティをＰ１、基底セット２４に含まれる文数をＳ２、基底セット２４を学習セットとして作成した言語モデルのパープレキシティをＰ２とすると、Ｓ２＜Ｓ１、かつＰ２≒Ｐ１という関係が成立する。Ｐ２＞Ｐ１ではあるが、その差は後述するように僅かである。
【００１６】
コーパス容量削減装置２０において文を基底セット２４に追加するか否かは、基底セット２４に追加するための候補文が、基底セット２４に既に含まれている他の文から類推可能か否か（類推関係が成立するか否か）を基準として判定される。類推関係については、特許文献１を参照されたい。
【００１７】
特許文献１では、所定の順序で与えられた３つの文から別の文を類推生成する手法が開示されている。コーパス容量削減装置２０は、コーパス２２に含まれる文のうち、特許文献１において開示された手法を用いて基底セット２４の中の３つの文から類推できる文は基底セット２４に追加せず棄却し、そのような類推ができない文についてのみ基底セット２４に追加する。
【００１８】
図１を参照して、コーパス容量削減装置２０は、コーパス２２に含まれる文の中から、基底セット２４に追加するための候補文として指定された一文を選択するための候補文選択部４０と、候補文との類推関係が存在するか否かを調べるために、基底セット２４に含まれる文を用いて可能な全ての３つの文の組合せ（これを以後「３文セット」と呼ぶことにする。）を選択するための３文セット選択部４４と、３文セット選択部４４により選択された３文セットのいずれかから、候補文選択部４０により選択された候補文が類推可能か否かを判定するための類推関係判定部４６と、いずれの３文セットからも類推できないと類推関係判定部４６により判定された候補文を基底セット２４に書込み（追加し）、他を棄却するための候補文書込部４２とを含む。
【００１９】
図２を参照して、特許文献１に開示された類推関係による文の生成について説明する。図２において、文Ａ、Ｂ、Ｃから、類推関係により同じ集合に含まれる文Ｄが生成できることを、ここでは「Ａ：Ｂ＝Ｃ：Ｄ」と表すものとする。すなわち、文Ａ、Ｂ、及びＣがこの順序で与えられ、類推関係により文Ｄが生成できる場合、上記したように表すことができる。もちろん、文Ａ、Ｂ、Ｃが与えられても、類推関係によっては文を生成できない場合もある。
【００２０】
本実施の形態では、図２に示すようにある集合６０に含まれる文の中の一文（例えば文Ｄ）が、他の３つの文（例えばＡ、Ｂ、Ｃ）から類推できる場合、文Ａ、Ｂ、Ｃからなる文の集合６２は基底セットに採用するが、文Ｄ６４は基底セットに含めない、という方法により、既存の集合から基底セットを作成する。
【００２１】
［コンピュータによる実現及び動作］
図１に示すコーパス容量削減装置２０は、実際にはコンピュータハードウェア及びその上で実行されるソフトウェアと、コンピュータハードウェア内の記憶装置に格納されるデータとにより実現される。図３はこのコンピュータシステム３３０の外観を示し、図４はコンピュータシステム３３０の機能的構成をブロック図形式で示す。
【００２２】
図３を参照して、このコンピュータシステム３３０は、ＦＤ（フレキシブルディスク）ドライブ３５２及びＣＤ−ＲＯＭ（コンパクトディスク読出専用メモリ）ドライブ３５０を有するコンピュータ３４０と、キーボード３４６と、マウス３４８と、モニタ３４２とを含む。
【００２３】
図４を参照して、コンピュータ３４０は、ＦＤドライバ３５２及びＣＤ−ＲＯＭドライブ３５０に加えて、ＣＰＵ（中央処理装置）３５６と、ＣＰＵ３５６、ＦＤドライバ３５２及びＣＤ−ＲＯＭドライブ３５０に接続されたバス３６６と、ブートアッププログラム等を記憶する読出専用メモリ（ＲＯＭ）３５８と、バス３６６に接続され、プログラム命令、システムプログラム、及び作業データ等を記憶するランダムアクセスメモリ（ＲＡＭ）３６０とを含む。コンピュータシステム３３０はさらに、プリンタ３４４を含んでいる。
【００２４】
ここでは示さないが、コンピュータ３４０はさらに、ローカルエリアネットワーク（ＬＡＮ）への接続を提供するネットワークアダプタボードを含んでもよい。
【００２５】
コンピュータシステム３３０に図１に示すコーパス容量削減装置２０を実現させるためのコンピュータプログラムは、ＣＤ−ＲＯＭドライブ３５０又はＦＤドライブ３５２に挿入されるＣＤ−ＲＯＭ３６２又はＦＤ３６４に記憶され、さらにハードディスク３５４に転送される。図示しないネットワークを通じてコンピュータ３４０にプログラムを送信しハードディスク３５４に記憶してもよい。
【００２６】
プログラムは実行の際にはハードディスク３５４からＲＡＭ３６０にロードされる。ＣＤ−ＲＯＭ３６２から、ＦＤ３６４から、又はネットワークを介して、直接にＲＡＭ３６０にプログラムをロードしてもよい。
【００２７】
このプログラムは、コンピュータ３４０にこの実施の形態のコーパス容量削減装置２０の諸機能を実現させるための複数の命令を含む。これら機能を実現させるのに必要な基本的機能のいくつかは、コンピュータ３４０上で動作するオペレーティングシステム（ＯＳ）又はサードパーティのプログラム、もしくはコンピュータ３４０にインストールされる各種ツールキットのモジュールにより提供される。従って、このプログラムはこの実施の形態の装置を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方で適切な機能又は「ツール」を呼出すことにより、上記したコーパス容量削減装置２０の諸機能を実現する命令のみを含んでいればよい。コンピュータシステム３３０の一般的な動作は周知であるので、ここでは繰り返さない。
【００２８】
図５に、図３及び図４に示すコンピュータにおいて実行されることで、本発明の一実施の形態に係るコーパス容量削減装置２０を実現するためのコンピュータプログラムのフローチャートを示す。図５を参照して、まずステップ４００で基底セットの記憶領域をクリアする。続いてステップ４０２で、図１に示すコーパス２２に含まれる文の順番を示す変数ｉに０を代入する。なお、コーパス２２に含まれる文の総数をＮMAXとする。
【００２９】
続いてステップ４０４で変数ｉに１を加算する。ステップ４０６で変数ｉの値が文の総数ＮMAXを超えたか否かを判定する。超えていれば処理を終了する。超えていなければステップ４０８でコーパス２２のｉ番目の文Ｘiを読出す。続いてステップ４１０で文Ｘiに対して、基底セット２４に含まれる文から類推可能か否かについて判定する類推関係判定処理を行なう。類推関係判定処理については図６を参照して後述する。この処理の結果、類推可能か否かを示す戻り値が得られる。
【００３０】
ステップ４１２では、ステップ４１０の処理の結果得られた戻り値が、文Ｘiが基底セット２４に含まれる文から類推可能であることを示すか否かを判定する。戻り値が類推可能であることを示していれば何もせず制御はステップ４０４に進み、次の文Ｘi+1に対して上記した処理を実行する。すなわち文Ｘiは棄却される。戻り値が類推可能でないことを示していれば、ステップ４１４で文Ｘi を基底セット２４に追加する。この後制御はステップ４０４に戻り、次の文Ｘi+1に対する処理を実行する。
【００３１】
このようにして、ステップ４０６での判定結果がＹＥＳとなるまで上記した処理を繰返すことにより、コーパス２２の全ての文のうち、基底セット２４に含まれる他の文から類推できない文のみが基底セット２４に追加され、類推できる文は棄却される。
【００３２】
図５のステップ４１０で実行される類推関係判定処理について、図６を参照して説明する。図６を参照して、この処理には引数としてコーパス２２のｉ番目の文Ｘiが渡される。ステップ４４０で、基底セット２４に含まれる文の任意の３つを組み合わせて得られる３文セットのうち、文Ｘiに対する類推関係判定処理に用いられるものを表す変数ｊに０を代入する。ステップ４４２で、基底セット２４に含まれる文の任意の３つを組み合わせて得られる３文セットの総数を、変数ＭMAXに代入する。基底セット２４中に存在している文数が分かればＭMAXの値は簡単に計算できる。
【００３３】
続いてステップ４４４で、変数ｊに１を加算する。ステップ４４６で、変数ｊの値がＭMAXを超えたか否かについての判定が行なわれる。判定結果がＹＥＳであれば戻り値を０としてリターンする。戻り値「０」は、候補文Ｘiについては類推関係が成立しないことを示す。ステップ４４６での判定結果がＮＯであれば、ステップ４４８でｊ番目の３文セットＴj（これをＡj、Ｂj、Ｃjで表す。）を選択し、ステップ４５０で類推関係Ａj：Ｂj＝Ｃj：Ｘiが成立するか否かについての判定を行なう。この判定には、前記した特許文献１に記載の類推語生成アルゴリズムを使用する。
【００３４】
すなわち、文Ａj、Ｂj、Ｃjをこの順序で特許文献１に記載の類推語生成アルゴリズムに与え、それらから類推できる文を生成させる。文が生成されなければ類推関係Ａj：Ｂj＝Ｃj：Ｘiが成立しないことは明らかである。文が生成されても、その文が文Ｘiと一致しなければやはり類推関係Ａj：Ｂj＝Ｃj：Ｘiは成立しない。生成された文が文Ｘiと一致したときには、類推関係Ａj：Ｂj＝Ｃj：Ｘiが成立すると判定される。
【００３５】
ステップ４５０で類推関係Ａj：Ｂj＝Ｃj：Ｘiが成立しないと判定されるとフローはステップ４４４に戻り、次の３文セットＴj+1に対して上記した処理を実行する。類推関係Ａj：Ｂj＝Ｃj：Ｘiが成立する場合には、戻り値を１としてリターンする。戻り値「１」は文Ｘiが基底セット２４中の文から類推可能であることを示す。
【００３６】
−動作−
図１〜図６に示す第１の実施の形態に係るコーパス容量削減装置２０は以下のように動作する。図１を参照して、まず既存のコーパス２２と、空の基底セット２４とが準備される。
【００３７】
候補文選択部４０が、コーパス２２の最初の一文Ｘ1を候補文として選択する。類推関係判定部４６は、３文セット選択部４４に対して基底セット２４から３文セットを選択することを命ずる信号を与える。
【００３８】
３文セット選択部４４は、この信号に応答して、基底セット２４に含まれる３文セットを全て選択し、類推関係判定部４６に与えようとする。この場合基底セット２４は空なので、３文セット選択部４４から類推関係判定部４６に与えられる３文セットはない。
【００３９】
類推関係判定部４６は、３文セット選択部４４から与えられる３文セットにより、候補文選択部４０が選択した文Ｘ1が類推できるか否かを判定する。この場合３文セットが一つもないので、文Ｘ1は基底セット２４に含まれる文からは類推できないことになる。従って類推関係判定部４６は候補文書込部４２に対し、文Ｘ1が基底セット２４の文からは類推できないものであることを示す信号を候補文書込部４２に与える。
【００４０】
候補文書込部４２はこの信号に応答して、候補文選択部４０により選択された文Ｘ1を基底セット２４に書込む。
【００４１】
類推関係判定部４６はまた、候補文選択部４０に対して次の文を選択することを命ずる信号を与える。候補文選択部４０はこの信号に応答して、コーパス２２から次の文Ｘ2を選択する。類推関係判定部４６はさらに、３文セット選択部４４に対して基底セット２４から可能な３文セットを全て選択するように指示する信号を与える。３文セット選択部４４は、前と同様に基底セット２４に含まれる文により可能な３文セットを全て作成して類推関係判定部４６に与えようと試みる。ところがこの時点では、基底セット２４には先の文Ｘ1が含まれるだけである。従って可能な３文セットはない。その結果、最初の文Ｘ1と同様にして、２番目の文Ｘ2も基底セット２４に追加される。
【００４２】
３番目の文Ｘ3についても同様、基底セット２４に追加される。
【００４３】
４番目の文Ｘ4を基底セット２４に追加するか否かを判定する処理では、基底セット２４には３つの文Ｘ1、Ｘ2、Ｘ3が含まれている。従って３文セット選択部４４は、可能な３文セットとしてＴ1＝（Ｘ1、Ｘ2、Ｘ3）、Ｔ２＝（Ｘ1、Ｘ3、Ｘ2）、Ｔ3＝（Ｘ2、Ｘ1、Ｘ3）、Ｔ4＝（Ｘ2、Ｘ3、Ｘ1）、Ｔ5＝（Ｘ3、Ｘ2、Ｘ1）、Ｔ6＝（Ｘ3、Ｘ1、Ｘ2）を選択して類推関係判定部４６に与える。
【００４４】
類推関係判定部４６は、３文セットＸ1、Ｘ2、Ｘ3と文Ｘ4との間に類推関係が成立するか否かを判定し、成立すれば文Ｘ4を基底セット２４に追加させ、さもなければ次の文Ｘ5についての判定に進む。基底セット２４に含まれる文数が増えれば、３文セット選択部４４が選択する３文セットの数も多くなり、類推関係が成立する可能性が高くなることに注意する必要がある。
【００４５】
以上の処理をコーパス２２に含まれる全ての文について実行することにより、最終的に生成された基底セット２４に含まれるいずれの文も、基底セット２４中の他の文の組合せからは類推できないものとなる。容易に分かるように、基底セット２４の大きさはコーパス２２より小さいか等しい。等しいのはコーパス２２が基底セット２４と同様の性質を持つ場合だけである。
【００４６】
このような性質を持つ基底セット２４を用いて言語モデルを作成した場合、その言語モデルのパープレキシティは、元のコーパス２２を用いて作成した言語モデルのパープレキシティとほとんど変わらないことが、以下に述べる実験により確認できた。なお、以下の実験では、パープレキシティは単語ベースではなく文字ベースのＮ−グラムから算出している。
【００４７】
−実験−
＜データ＞
出願人の用意した、旅行ドメインの文を集めたアライメント済み・マルチリンガルの基本旅行者表現コーパス（ＢＴＥＣ：Ｂａｓｉｃ  Ｔｒａｖｅｌｌｅｒ’ｓ  Ｅｘｐｒｅｓｓｉｏｎｓ  Ｃｏｒｐｕｓ）のうち、英語部分を用いて一連の実験を行なった。実験に使用したコーパス部分の概要は以下のとおりである。
【００４８】
【表１】
2005251101.tif 000003
データ全体は１６２，３１８文を含んでいる。実験は、このコーパスのうち、１４２，３１８文までのサイズのコーパスを順次作成し、それらに基づいて３−グラム、５−グラム及び７−グラムの言語モデルを作成することにより行なった。残りの２０，０００文についてはトレーニングには用いず、クロスエントロピーとクロスエントロピーから得られるパープレキシティとの計算を行なうためのテストコーパスとして用いた。
【００４９】
＜基底セットのサイズ＞
実験により得られた、類推関係による基底セットについて表２に示す。
【００５０】
【表２】
2005251101.tif 000004
表２から分かるように基底セットの大きさは文数にして元のコーパスから１５．１６パーセント減少している。
【００５１】
＜基底セットのパープレキシティ＞
元のコーパスから作成した言語モデル（３、５、７−グラム）及び基底セットから作成した言語モデル（３、５、７−グラム）のパープレキシティを表２に示す。また、コーパスサイズを様々に変化させて基底セットを得たときの、言語モデルのパープレキシティの変化を図７に示す。図７には、元のコーパス（実線）、基底セット（点線）、及びランダム抽出により所定数まで文数を削減したコーパス（一点鎖線）について、それらから得た３，５，７−グラム言語モデルのパープレキシティを示してある。
【００５２】
表２及び図７から分かるように、いずれのモデルの場合にも、基底セットから作成した言語モデルのパープレキシティは、元のコーパスから作成した言語モデルのパープレキシティに非常に近い値となっている。特に図７からは、コーパスサイズが大きくなっても基底セットから得られたパープレキシティが元のコーパスから得られたパープレキシティに常に近いことが分かる。
【００５３】
一方、図７に一点鎖線で示したように、コーパスからランダムに文を削除することで文数を削減したコーパスを用いると、得られた言語モデルのパープレキシティは常に元のコーパス及び基底セットから得られたものを上回ることが分かる。
【００５４】
従って、本実施の形態に係るコーパス容量削減装置２０を用いることにより、元のコーパスより容量が小さく、かつ元のコーパスを用いた場合と同程度のパープレキシティの言語モデルを作成できる基底セットを得ることができる。基底セットからは少なくとも元のコーパスを復元できるので、容量を削減しながら言語的な生産性を維持することができる。逆に、ある容量の基底セットを用いれば、同程度の通常のコーパスを用いた場合よりも言語モデルのパープレキシティが低くなり、音声認識、文字認識、統計的機械翻訳等の精度を高くすることができる。
【００５５】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内でのすべての変更を含む。
【図面の簡単な説明】
【００５６】
【図１】本発明の一実施の形態に係るコーパス容量削減装置のブロック図である。
【図２】図１に示すコーパス容量削減装置で用いられる類推関係の成立による文の削除の概念を説明するための図である。
【図３】本発明の一実施の形態に係るコーパス容量削減装置を実現するためのコンピュータシステムの外観を示す図である。
【図４】図３に示すコンピュータシステムのブロック図である。
【図５】図３及び図４に示すコンピュータにおいて実行されることで、本発明の一実施の形態に係るコーパス容量削減装置を実現するためのコンピュータプログラムのフローチャートである。
【図６】類推関係判定処理を実現するためのコンピュータプログラムのフローチャートである。
【図７】本発明の一実施の形態について行なった実験結果を示すグラフである。
【符号の説明】
【００５７】
２０  コーパス容量削減装置、２２  コーパス、２４  基底セット、４０  候補文選択部、４２  候補文書込部、４４  ３文セット選択部、４６  類推関係判定部
【図１】
2005251101.tif 000005
【図２】
2005251101.tif 000006
【図３】
2005251101.tif 000007
【図４】
2005251101.tif 000008
【図５】
2005251101.tif 000009
【図６】
2005251101.tif 000010
【図７】
2005251101.tif 000011