(57)【要約】【課題】よりよい自然言語処理のためのコーパスを作成する。【解決手段】第１のコーパスが記憶される第１コーパス記憶部１１と、第２のコーパスが記憶される第２コーパス記憶部１２と、第１のコーパスにおけるサブセットの類似度係数が記憶される第１類似度係数記憶部１６と、第２のコーパスにおけるサブセットの類似度係数が記憶される第２類似度係数記憶部１７と、第２のコーパスのサブセットの集合であって、第１のコーパスにおける類似度係数の代表値と同じ代表値を有するサブセットの集合を第２のコーパスから抽出するサブセット抽出部１８と、サブセット抽出部１８が抽出した第２のコーパスのサブセットの集合と、第１のコーパスとを加算する加算部１９と、加算部１９が加算したコーパスを出力する出力部２０と、を備える。【選択図】図１
2007058311.tif 000002
【特許請求の範囲】
【請求項１】
第１のコーパスが記憶される第１コーパス記憶部と、
第２のコーパスが記憶される第２コーパス記憶部と、
前記第１のコーパスにおけるサブセットの類似度係数が記憶される第１類似度係数記憶部と、
前記第２のコーパスにおけるサブセットの類似度係数が記憶される第２類似度係数記憶部と、
前記第２のコーパスのサブセットの集合であって、前記第１のコーパスにおけるサブセットの類似度係数の代表値と同じ代表値を有するサブセットの集合を前記第２のコーパスから抽出するサブセット抽出部と、
前記サブセット抽出部が抽出した前記第２のコーパスのサブセットの集合と、前記第１のコーパスとを加算する加算部と、
前記加算部が加算したコーパスを出力する出力部と、を備えたコーパス加算装置。
【請求項２】
第１の参照コーパスが記憶される第１参照コーパス記憶部と、
第２の参照コーパスが記憶される第２参照コーパス記憶部と、
前記第１参照コーパス記憶部が記憶している第１の参照コーパスと、前記第２参照コーパス記憶部が記憶している第２の参照コーパスとを参照コーパスとして、前記第１コーパス記憶部が記憶している第１のコーパス、及び前記第２コーパス記憶部が記憶している第２のコーパスにおけるそれぞれのサブセットの類似度係数を算出する類似度係数算出部と、をさらに備え、
前記第１類似度係数記憶部が記憶している前記第１のコーパスにおけるサブセットの類似度係数、及び前記第２類似度係数記憶部が記憶している前記第２のコーパスにおけるサブセットの類似度係数は、前記類似度係数算出部が算出したものである、請求項１記載のコーパス加算装置。
【請求項３】
前記サブセット抽出部は、前記第１のコーパスに加算した結果のコーパスにおける類似度係数の分布の形状が、前記第１のコーパスにおける類似度係数の分布の形状と同じになるように、前記第２のコーパスから前記第１のコーパスに加算するサブセットを抽出する、請求項１または請求項２記載のコーパス加算装置。
【請求項４】
第１のコーパスが記憶される第１コーパス記憶部と、第２のコーパスが記憶される第２コーパス記憶部と、前記第１のコーパスにおけるサブセットの類似度係数が記憶される第１類似度係数記憶部と、前記第２のコーパスにおけるサブセットの類似度係数が記憶される第２類似度係数記憶部と、サブセット抽出部と、加算部と、出力部とを用いて処理されるコーパス加算方法であって、
前記サブセット抽出部が、前記第２のコーパスのサブセットの集合であって、前記第１のコーパスにおけるサブセットの類似度係数の代表値と同じ代表値を有するサブセットの集合を前記第２のコーパスから抽出する抽出ステップと、
前記加算部が、前記抽出ステップで抽出した前記第２のコーパスのサブセットの集合と、前記第１のコーパスとを加算する加算ステップと、
前記出力部が、前記加算ステップで加算したコーパスを出力する出力ステップと、を備えたコーパス加算方法。
【請求項５】
コンピュータに、
第１類似度係数記憶部で記憶されている、第１のコーパスにおけるサブセットの類似度係数と、第２類似度係数記憶部で記憶されている、第２のコーパスにおけるサブセットの類似度係数とを用いて、第２のコーパスのサブセットの集合であって、第１のコーパスにおけるサブセットの類似度係数の代表値と同じ代表値を有するサブセットの集合を、第２のコーパスから抽出する抽出ステップと、
前記抽出ステップで抽出した前記第２のコーパスのサブセットの集合と、前記第１のコーパスとを加算する加算ステップと、
前記加算ステップで加算したコーパスを出力する出力ステップと、を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一のコーパスに他のコーパスの少なくとも一部を加算するコーパス加算装置等に関する。
【背景技術】
【０００２】
コーパスに基づいた自然言語処理（例えば、機械翻訳や要約など）において、よりよい処理を行うために、どのようなコーパスを用いるのかについて研究がなされている。例えば、自然言語処理で用いるコーパスとして、異質（ｈｅｔｅｒｏｇｅｎｅｏｕｓ）なものではなく、同質（ｈｏｍｏｇｅｎｅｏｕｓ）なものを用いることが提案されている（例えば、非特許文献１）。
【０００３】
また、関連した技術として、コーパスの同質性を示す指標として、クロスエントロピーに基づいた係数を用いることが提案されている（例えば、非特許文献２）。
【非特許文献１】Ｇａｂｒｉｅｌａ  Ｃａｖａｇｌｉａ『Ｍｅａｓｕｒｉｎｇ  ｃｏｒｐｕｓ  ｈｏｍｏｇｅｎｅｉｔｙ  ｕｓｉｎｇ  ａ  ｒａｎｇｅ  ｏｆ  ｍｅａｓｕｒｅｓ  ｆｏｒ  ｉｎｔｅｒ−ｄｏｃｕｍｅｎｔ  ｄｉｓｔａｎｃｅ』、Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＬＲＥＣ、２００２、ｐｐ．４２６−４３１
【非特許文献２】Ｅｔｉｅｎｎｅ  Ｄｅｎｏｕａｌ『Ａ  ｍｅｔｈｏｄ  ｔｏ  ｑｕａｎｔｉｆｙ  ｃｏｒｐｕｓ  ｓｉｍｉｌａｒｉｔｙ  ａｎｄ  ｉｔｓ  ａｐｐｌｉｃａｔｉｏｎ  ｔｏ  ｑｕａｎｔｉｆｙｉｎｇ  ｔｈｅ  ｄｅｇｒｅｅ  ｏｆ  ｌｉｔｅｒａｌｉｔｙ  ｉｎ  ａ  ｄｏｃｕｍｅｎｔ』、Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｈｕｍａｎ  Ｌａｎｇｕａｇｅ  Ｔｅｃｈｎｏｌｏｇｙ，Ｈｏｎｇ  Ｋｏｎｇ、２００４
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述の通り、自然言語処理におけるよりよい処理のためのコーパスを提供することが求められている。
【０００５】
本発明は、上記状況においてなされたものであり、一のコーパスに他のコーパスの少なくとも一部を加算することにより、自然言語処理のよりよい処理のためのコーパスを作成するコーパス加算装置等を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明によるコーパス加算装置は、第１のコーパスが記憶される第１コーパス記憶部と、第２のコーパスが記憶される第２コーパス記憶部と、前記第１のコーパスにおけるサブセットの類似度係数が記憶される第１類似度係数記憶部と、前記第２のコーパスにおけるサブセットの類似度係数が記憶される第２類似度係数記憶部と、前記第２のコーパスのサブセットの集合であって、前記第１のコーパスにおけるサブセットの類似度係数の代表値と同じ代表値を有するサブセットの集合を前記第２のコーパスから抽出するサブセット抽出部と、前記サブセット抽出部が抽出した前記第２のコーパスのサブセットの集合と、前記第１のコーパスとを加算する加算部と、前記加算部が加算したコーパスを出力する出力部と、を備えたものである。
【０００７】
このような構成により、よりよい自然言語処理のためのコーパスを作成することができ、そのコーパスを用いて自然言語処理を実行することによって、より高いパフォーマンスが得られる。
【０００８】
また、本発明によるコーパス加算装置では、第１の参照コーパスが記憶される第１参照コーパス記憶部と、第２の参照コーパスが記憶される第２参照コーパス記憶部と、前記第１参照コーパス記憶部が記憶している第１の参照コーパスと、前記第２参照コーパス記憶部が記憶している第２の参照コーパスとを参照コーパスとして、前記第１コーパス記憶部が記憶している第１のコーパス、及び前記第２コーパス記憶部が記憶している第２のコーパスにおけるそれぞれのサブセットの類似度係数を算出する類似度係数算出部と、をさらに備え、前記第１類似度係数記憶部が記憶している前記第１のコーパスにおけるサブセットの類似度係数、及び前記第２類似度係数記憶部が記憶している前記第２のコーパスにおけるサブセットの類似度係数は、前記類似度係数算出部が算出したものであってもよい。
このような構成により、第１の参照コーパス及び第２の参照コーパスを用いて、類似度係数を算出することができる。
【０００９】
また、本発明によるコーパス加算装置では、前記サブセット抽出部は、前記第１のコーパスに加算した結果のコーパスにおける類似度係数の分布の形状が、前記第１のコーパスにおける類似度係数の分布の形状と同じになるように、前記第２のコーパスから前記第１のコーパスに加算するサブセットを抽出してもよい。
【００１０】
このような構成により、結果として、第１のコーパスの代表値を保ちながら、異質的な成分を第１のコーパスに付加したコーパスを作成することができ、そのコーパスを用いることによって、よりよい自然言語処理を実行することができる。
【００１１】
また、本発明によるコーパス加算装置では、前記サブセット抽出部は、前記第１のコーパスにおける類似度係数の分布に所定の値を掛けた類似度係数の分布が、前記第２のコーパスにおける類似度係数の分布に含まれる場合に、前記第１のコーパスにおける類似度係数の分布に前記所定の値を掛けた類似度係数の分布と同じ分布を有する前記第２のコーパスのサブセットの集合を前記第２のコーパスから抽出してもよい。
【００１２】
このような構成により、第１のコーパスにおける類似度係数の分布の形状を変化させないように、第２のコーパスの少なくとも一部を第１のコーパスに加算することができる。
【００１３】
また、本発明によるコーパス加算装置では、前記所定の値は、前記第１のコーパスにおける類似度係数の分布に当該所定の値を掛けた類似度係数の分布が、前記第２のコーパスにおける類似度係数の分布に含まれる場合における最も大きな値であってもよい。
【００１４】
このような構成により、第１のコーパスに第２のコーパスのできるだけ多くのサブセットの集合を加算することができ、結果として、サブセット数の多いコーパスを作成することができ、よりよい自然言語処理を実行するためのコーパスを作成することができる。
【発明の効果】
【００１５】
本発明によるコーパス加算装置等によれば、よりよい自然言語処理を実行することができるコーパスを作成することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明によるコーパス加算装置等について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。
【００１７】
（実施の形態１）
本発明の実施の形態１によるコーパス加算装置について、図面を参照しながら説明する。
図１は、本実施の形態によるコーパス加算装置１の構成を示すブロック図である。図１において、本実施の形態によるコーパス加算装置１は、第１コーパス記憶部１１と、第２コーパス記憶部１２と、第１参照コーパス記憶部１３と、第２参照コーパス記憶部１４と、類似度係数算出部１５と、第１類似度係数記憶部１６と、第２類似度係数記憶部１７と、サブセット抽出部１８と、加算部１９と、出力部２０とを備える。
【００１８】
第１コーパス記憶部１１では、第１のコーパスが記憶される。ここで、第１のコーパスとは、コーパス加算装置１において、その全てが加算される対象となるコーパスである。コーパスとは、電子化された言語（文書）データベースである。なお、第１コーパス記憶部１１に第１のコーパスが記憶される過程は問わない。例えば、記録媒体を介して第１のコーパスが第１コーパス記憶部１１で記憶されるようになってもよく、通信回線等を介して送信された第１のコーパスが第１コーパス記憶部１１で記憶されるようになってもよく、あるいは、入力デバイス等を介して入力された第１のコーパスが第１コーパス記憶部１１で記憶されるようになってもよい。第１コーパス記憶部１１は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。第１コーパス記憶部１１での記憶は、外部のストレージデバイス等から読み出した第１のコーパスのＲＡＭ等における一時的な記憶でもよく、あるいは、ハードディスク等における長期的な記憶でもよい。
【００１９】
第２コーパス記憶部１２では、第２のコーパスが記憶される。ここで、第２のコーパスとは、コーパス加算装置１において、その少なくとの一部が加算される対象となるコーパスである。なお、第２コーパス記憶部１２に第２のコーパスが記憶される過程は問わない。例えば、記録媒体を介して第２のコーパスが第２コーパス記憶部１２で記憶されるようになってもよく、通信回線等を介して送信された第２のコーパスが第２コーパス記憶部１２で記憶されるようになってもよく、あるいは、入力デバイス等を介して入力された第２のコーパスが第２コーパス記憶部１２で記憶されるようになってもよい。第２コーパス記憶部１２は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。第２コーパス記憶部１２での記憶は、外部のストレージデバイス等から読み出した第２のコーパスのＲＡＭ等における一時的な記憶でもよく、あるいは、ハードディスク等における長期的な記憶でもよい。
【００２０】
第１参照コーパス記憶部１３では、第１の参照コーパスが記憶される。ここで、第１の参照コーパスとは、後述する類似度係数算出部１５において、第１のコーパス等の類似度係数を算出する場合に、一の参照コーパスとして用いられるものである。参照コーパスとは、類似度係数を算出するときの基準となるコーパスのことである。なお、第１参照コーパス記憶部１３に第１の参照コーパスが記憶される過程は問わない。例えば、記録媒体を介して第１の参照コーパスが第１参照コーパス記憶部１３で記憶されるようになってもよく、通信回線等を介して送信された第１の参照コーパスが第１参照コーパス記憶部１３で記憶されるようになってもよく、あるいは、入力デバイス等を介して入力された第１の参照コーパスが第１参照コーパス記憶部１３で記憶されるようになってもよい。第１参照コーパス記憶部１３は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。第１参照コーパス記憶部１３での記憶は、外部のストレージデバイス等から読み出した第１の参照コーパスのＲＡＭ等における一時的な記憶でもよく、あるいは、ハードディスク等における長期的な記憶でもよい。
【００２１】
第２参照コーパス記憶部１４では、第２の参照コーパスが記憶される。ここで、第２の参照コーパスとは、後述する類似度係数算出部１５において、第１のコーパス等の類似度係数を算出する場合に、一の参照コーパスとして用いられるものである。第１の参照コーパスと、第２の参照コーパスとは、できるだけ離れたものであることが好ましい。コーパスが離れているとは、コーパスが類似していないことをいう。例えば、第１の参照コーパスとして口語のコーパスを用い、第２の参照コーパスとして文語のコーパスを用いてもよい。また、例えば、第１の参照コーパスとしてくだけた言葉のコーパスを用い、第２の参照コーパスとして礼儀正しい言葉のコーパスを用いてもよい。また、例えば、第１の参照コーパスとして新しいスタイルの言葉のコーパスを用い、第２の参照コーパスとして古いスタイルの言葉のコーパスを用いてもよい。なお、第１の参照コーパスと第２の参照コーパスを例示したが、第１の参照コーパスと第２の参照コーパスとが逆であってもよい。なお、第２参照コーパス記憶部１４に第２の参照コーパスが記憶される過程は問わない。例えば、記録媒体を介して第２の参照コーパスが第２参照コーパス記憶部１４で記憶されるようになってもよく、通信回線等を介して送信された第２の参照コーパスが第２参照コーパス記憶部１４で記憶されるようになってもよく、あるいは、入力デバイス等を介して入力された第２の参照コーパスが第２参照コーパス記憶部１４で記憶されるようになってもよい。第２参照コーパス記憶部１４は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。第２参照コーパス記憶部１４での記憶は、外部のストレージデバイス等から読み出した第２の参照コーパスのＲＡＭ等における一時的な記憶でもよく、あるいは、ハードディスク等における長期的な記憶でもよい。
【００２２】
なお、第１コーパス記憶部１１、第２コーパス記憶部１２、第１参照コーパス記憶部１３、第２参照コーパス記憶部１４の任意の２以上の記憶部は、同一の記録媒体によって実現されてもよく、あるいは、別々の記録媒体によって実現されてもよい。前者の場合には、例えば、第１のコーパスを記憶している領域が第１コーパス記憶部１１となり、第２のコーパスを記憶している領域が第２コーパス記憶部１２となる。
【００２３】
類似度係数算出部１５は、第１参照コーパス記憶部１３が記憶している第１の参照コーパスと、第２参照コーパス記憶部１４が記憶している第２の参照コーパスとを参照コーパスとして、第１コーパス記憶部１１が記憶している第１のコーパスにおけるサブセットの類似度係数を算出する。また、類似度係数算出部１５は、第１参照コーパス記憶部１３が記憶している第１の参照コーパスと、第２参照コーパス記憶部１４が記憶している第２の参照コーパスとを参照コーパスとして、第２コーパス記憶部１２が記憶している第２のコーパスにおけるサブセットの類似度係数を算出する。ここで、類似度係数とは、あるコーパス（コーパスのサブセットを含む）が２個の参照コーパスのいずれに近いのかを示す指標である。例えば、クロスエントロピーを用いて類似度係数Ｉ（Ａ）を算出する場合には、次のようになる。
【数１】
2007058311.tif 000003
【００２４】
上記の式より、Ｉ（Ｔ１）＝０となり、Ｉ（Ｔ２）＝１となる。したがって、類似度係数Ｉ（Ａ）の０から１の値により、テストコーパスＡがコーパスＴ１に近いのか、あるいは、コーパスＴ２に近いのかが示されることになる。また、訓練コーパスＴ、テストコーパスＡに構築されたＮ−ｇｒａｍモデルｐのクロスエントロピーＨＴ（Ａ）は、次のようになる。ただし、テストコーパスＡは、Ａ＝｛ｓ１，．．，ｓＱ｝というように、Ｑセンテンスからなるものである。
【数２】
2007058311.tif 000004
【００２５】
また、各センテンスｓｉは、次のように、｜ｓｉ｜個の文字からなる。
【数３】
2007058311.tif 000005
【００２６】
類似度係数算出部１５は、第１の参照コーパスを訓練コーパスＴ１とし、第２の参照コーパスを訓練コーパスＴ２とし、第１のコーパスのサブセットをテストコーパスＡとして、第１のコーパスのサブセットの類似度係数を算出する。第２のコーパスのサブセットの類似度係数を算出する場合も同様である。ここで、コーパスのサブセットとは、そのコーパスの任意の大きさの部分集合である。サブセットは、例えば、一のセンテンスであってもよく、２以上のセンテンスの集合であってもよく、フレーズの集合であってもよい。本実施の形態では、サブセットが１センテンス（１文）である場合について説明する。なお、本実施の形態では、類似度係数の算出において、クロスエントロピーを用いる場合について説明するが、それ以外の方法によって類似度係数を算出してもよい。例えば、クロスエントロピーに代えて、χ２検定等を用いて類似度係数を算出してもよい。また、類似度係数算出部１５は、第１の参照コーパスを訓練コーパスＴ２とし、第２の参照コーパスを訓練コーパスＴ１として、類似度係数の算出を行ってもよい。
【００２７】
第１類似度係数記憶部１６では、第１のコーパスにおけるサブセットの類似度係数が記憶される。この類似度係数は、類似度係数算出部１５によって算出されたものである。第１類似度係数記憶部１６は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。
【００２８】
第２類似度係数記憶部１７では、第２のコーパスにおけるサブセットの類似度係数が記憶される。この類似度係数は、類似度係数算出部１５によって算出されたものである。第２類似度係数記憶部１７は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。
【００２９】
なお、第１類似度係数記憶部１６、第２類似度係数記憶部１７は、第１コーパス記憶部１１、第２コーパス記憶部１２等と同一の記録媒体によって実現されてもよく、あるいは、別々の記録媒体によって実現されてもよい。前者の場合には、例えば、各コーパスのサブセットに対応付けて類似度係数が記憶されてもよい。また、後者の場合には、例えば、第１コーパス記憶部１１等においてコーパスのサブセットが、そのサブセットを識別するサブセット識別子に対応付けられて記憶されており、第１類似度係数記憶部１６等において、サブセット識別子に対応付けられて、そのサブセット識別子で識別されるサブセットの類似度係数が記憶されていてもよい。
【００３０】
サブセット抽出部１８は、第２コーパス記憶部１２が記憶している第２のコーパスから、加算部１９において第１のコーパスと加算するサブセットの集合を抽出する。ここで、サブセット抽出部１８が抽出する第２のコーパスのサブセットの集合は、第１のコーパスにおける類似度係数の代表値と同じ代表値を有するものである。ここで、代表値とは、類似度係数の分布（グループ）を代表する値であり、代表値は、例えば、平均値であってもよく、中央値であってもよい。なお、結果として、サブセット抽出部１８が抽出する第２のコーパスのサブセットの集合が、第１のコーパスにおける類似度係数の代表値と同じ代表値を有するものとなればよいため、サブセット抽出部１８は、第１のコーパスや第２のコーパスにおいて、代表値の算出を行ってもよく、あるいは行わなくてもよい。サブセット抽出部１８が第１のコーパス等の代表値の算出を行う場合には、第１類似度係数記憶部１６、第２類似度係数記憶部１７が記憶している類似度係数に基づいて代表値の算出等を行ってもよい。本実施の形態では、代表値として平均値を用いる場合について説明する。サブセット抽出部１８が、第１のコーパスにおける類似度係数の平均値と同じ平均値を有する、第２のコーパスのサブセットの集合を抽出する方法については後述する。
【００３１】
加算部１９は、サブセット抽出部１８が抽出した第２のコーパスのサブセットの集合と、第１コーパス記憶部１１が記憶している第１のコーパスとを加算する。
出力部２０は、加算部１９が加算したコーパスを出力する。ここで、この出力は、例えば、表示デバイス（例えば、ＣＲＴや液晶ディスプレイなど）への表示でもよく、所定の機器への通信回線を介した送信でもよく、記録媒体への蓄積でもよい。本実施の形態では、出力部２０は、加算部１９が加算したコーパスを記録媒体２１に蓄積するものとする。記録媒体２１は、第１コーパス記憶部１１等と同一の記録媒体であってもよく、そうでなくてもよい。なお、出力部２０は、出力を行うデバイス（例えば、表示デバイスなど）を含んでもよく、あるいは含まなくてもよい。また、出力部２０は、ハードウェアによって実現されてもよく、あるいは、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
【００３２】
なお、第１のコーパスは、自然言語処理において用いられるコーパスであり、あらかじめ自然言語処理の処理対象に対して調整されているコーパスであってもよく、そうでなくてもよい。また、第２のコーパスは、その類似度係数の分布がディラックのデルタ関数的な分布ではなく、ある程度の広がりを持ったものであれば、どのようなものであってもよい。
【００３３】
次に、本実施の形態によるコーパス加算装置１の動作について、図２のフローチャートを用いて説明する。図２は、第１のコーパスと、第２のコーパスの少なくとも一部とを加算する処理が開始された後の処理を示すフローチャートである。
【００３４】
（ステップＳ１０１）類似度係数算出部１５は、第１コーパス記憶部１１から第１のコーパスを読み出し、その第１のコーパスのサブセットの類似度係数を算出する。なお、その算出時には、第１参照コーパス記憶部１３が記憶している第１の参照コーパスと、第２参照コーパス記憶部１４が記憶している第２の参照コーパスとを参照コーパスとして用いる。また、その算出された類似度係数は、第１類似度係数記憶部１６で記憶される。
【００３５】
（ステップＳ１０２）類似度係数算出部１５は、第２コーパス記憶部１２から第２のコーパスを読み出し、その第２のコーパスのサブセットの類似度係数を算出する。なお、その算出時には、第１参照コーパス記憶部１３が記憶している第１の参照コーパスと、第２参照コーパス記憶部１４が記憶している第２の参照コーパスとを参照コーパスとして用いる。また、その算出された類似度係数は、第２類似度係数記憶部１７で記憶される。
【００３６】
（ステップＳ１０３）サブセット抽出部１８は、第１類似度係数記憶部１６で記憶されている第１のコーパスにおける各サブセットの類似度係数と、第２類似度係数記憶部１７で記憶されている第２のコーパスにおける各サブセットの類似度係数とを用いて、加算部１９において第１のコーパスと加算する第２のコーパスのサブセットの集合を決定する。この処理の詳細については後述する。
【００３７】
（ステップＳ１０４）サブセット抽出部１８は、ステップＳ１０３で決定した第２のコーパスのサブセットの集合を、第２コーパス記憶部１２から抽出する。
【００３８】
（ステップＳ１０５）加算部１９は、ステップＳ１０４でサブセット抽出部１８が抽出した第２のコーパスのサブセットの集合と、第１コーパス記憶部１１が記憶している第１のコーパスとを加算する。
【００３９】
（ステップＳ１０６）出力部２０は、加算部１９が加算したコーパスを記録媒体２１に蓄積する。そして、処理は終了となる。
【００４０】
次に、本実施の形態によるコーパス加算装置１の動作について、具体例を用いて説明する。この具体例において、第１のコーパスにおけるサブセットの類似度係数の分布の形状を用いて第２のコーパスのサブセットの集合を抽出する場合（具体例１）と、第１のコーパスにおけるサブセットの類似度係数の分布の形状と関係なく、第１のコーパスにおけるサブセットの類似度係数の平均値と同じ平均値を有する第２のコーパスのサブセットの集合を抽出する場合（具体例２）とについて説明する。なお、具体例１と具体例２とに共通する説明については、具体例２における説明を省略する場合がある。
【００４１】
［具体例１］
この具体例では、日本語のコーパスを用いることにする。第１の参照コーパスとしては、ＳＬＤＢ（Ｓｐｏｎｔａｎｅｏｕｓ  Ｓｐｅｅｃｈ  Ｄａｔａｂａｓｅ）コーパスを用いる。また、第２の参照コーパスとしては、日経新聞の記事からなるコーパスを用いる。
【００４２】
また、この具体例では、前述のように、類似度係数の分布の形状を用いてサブセットの集合の抽出を行うものとする。ここで、類似度係数の分布とは、横軸に類似度係数をとり、縦軸にサブセットの数をとった分布である。
【００４３】
サブセット抽出部１８は、第１のコーパスに加算した結果のコーパスにおける類似度係数の分布の形状が、類似度係数算出部１５が算出した第１のコーパスにおける類似度係数の分布の形状と同じになるように、第２のコーパスから第１のコーパスに加算するサブセットを抽出するものとする。ここで、一の類似度係数の分布の形状と、他の類似度係数の分布の形状とが同じであるとは、一の類似度係数の分布におけるサブセットの数を所定倍した場合に、他の類似度係数の分布と同じになる場合である。すなわち、類似度係数の分布を縦軸方向に所定倍したものは、全て同じ分布の形状を有することになる。
【００４４】
サブセット抽出部１８は、より具体的には、次のようにしてサブセットの集合を抽出するものとする。サブセット抽出部１８は、第１のコーパスにおける類似度係数の分布に所定の値を掛けた類似度係数の分布（すなわち、第１のコーパスの類似度係数の分布の縦軸方向に拡大、あるいは縮小した分布）が、第２のコーパスにおける類似度係数の分布に含まれる場合に、第１のコーパスにおける類似度係数の分布に所定の値を掛けた類似度係数の分布と同じ分布を有する第２のコーパスのサブセットの集合を第２のコーパスから抽出する。なお、この具体例では、その所定の値は、第１のコーパスにおける類似度係数の分布に当該所定の値を掛けた類似度係数の分布が、第２のコーパスにおける類似度係数の分布に含まれる場合における最も大きな値であるとする。
【００４５】
コーパスの加算の処理が開始されると、まず、類似度係数算出部１５は、第１コーパス記憶部１１、第１参照コーパス記憶部１３、第２参照コーパス記憶部１４から、第１のコーパス、第１の参照コーパス、第２の参照コーパスをそれぞれ読み出し、前述の式を用いて第１のコーパスにおけるサブセットの類似度係数を算出する（ステップＳ１０１）。前述の式のテストコーパスとして、第１のコーパスのサブセットが用いられる。類似度係数算出部１５が算出した第１のコーパスの類似度係数は、第１類似度係数記憶部１６で記憶される。
【００４６】
図３は、第１類似度係数記憶部１６で記憶されている第１のコーパスにおけるサブセットの類似度係数の一例を示す図である。図３で示されるように、サブセット識別子と、類似度係数とが対応付けられている。なお、前述のように、第１コーパス記憶部１１における第１のコーパスのサブセットに直接対応付けて類似度係数が記憶されてもよいことは言うまでもない。図４は、第１類似度係数記憶部１６で記憶されている第１のコーパスの類似度係数の分布を示す図である。図４で示される分布では、分布の平均値Ｉ０は、０．４５となっている。なお、図４において、類似度係数はとびとびの値を有しているが、図４では、その値を補間したものを分布として示している。他の類似度係数の分布においても同様である。
【００４７】
次に、類似度係数算出部１５は、第２コーパス記憶部１２、第１参照コーパス記憶部１３、第２参照コーパス記憶部１４から、第２のコーパス、第１の参照コーパス、第２の参照コーパスをそれぞれ読み出し、前述の式を用いて第２のコーパスにおけるサブセットの類似度係数を算出する（ステップＳ１０２）。前述の式のテストコーパスとして、第２のコーパスのサブセットが用いられる。類似度係数算出部１５が算出した第２のコーパスの類似度係数は、第２類似度係数記憶部１７で記憶される。第２類似度係数記憶部１７においても、図３と同様に、サブセット識別子に対応付けられて類似度係数が記憶されているものとする。図５は、第２類似度係数記憶部１７で記憶されている第２のコーパスの類似度係数の分布を示す図である。
【００４８】
サブセット抽出部１８は、第１類似度係数記憶部１６、第２類似度係数記憶部１７を参照し、図４，図５で示される類似度係数の分布を得る。そして、サブセット抽出部１８は、第１のコーパスの類似度係数の分布の縦軸方向に所定の値を掛けたものが、第２のコーパスの類似度係数の分布に含まれるようになる最大の値を求める。この具体例では、その値は、０．３４であったとする。すなわち、図５で示されるように、第１のコーパスの類似度係数の分布に０．３４を掛けたものが、第２のコーパスの類似度係数の分布に含まれる。したがって、サブセット抽出部１８は、図５で示される、第１のコーパスの類似度係数の分布に０．３４を掛けた分布を有する第２のコーパスのサブセットの集合を第２のコーパスから抽出するサブセットと決定する（ステップＳ１０３）。なお、このように第２のコーパスから抽出するサブセットの集合が決定されるため、結果として、その抽出されたサブセットの集合と、第１のコーパスとを加算した結果のコーパスにおける類似度係数の分布の形状は、第１のコーパスの類似度係数の分布の形状と同じになる。
【００４９】
サブセット抽出部１８は、抽出すると決定したサブセットの集合を、第２コーパス記憶部１２から抽出する。例えば、図５で示される第１のコーパスの類似度係数の分布に０．３４を掛けた分布において、類似度係数０．５に対応するサブセット数が１９０であった場合には、サブセット抽出部１８は、第２類似度係数記憶部１７から、類似度係数が０．５であるサブセットのサブセット識別子をランダムに１９０個選択し、その選択したサブセット識別子で識別されるサブセットを、第２コーパス記憶部１２から抽出する。このようなサブセットの抽出を、抽出すると決定した全てのサブセットの範囲について行う（ステップＳ１０４）。
【００５０】
加算部１９は、サブセット抽出部１８が抽出した第２のコーパスのサブセットの集合と、第１コーパス記憶部１１から読み出した第１のコーパスとを加算する（ステップＳ１０５）。加算された後のコーパスは、図６で示されるように、図４の第１のコーパスの類似度係数の分布を１．３４倍した分布となっている。出力部２０は、加算部１９が加算したコーパスを、記録媒体２１に蓄積する（ステップＳ１０６）。ユーザは、記録媒体２１に蓄積されたコーパスを用いることにより、第１のコーパスを用いた場合よりもよりよい処理結果を得ることができる。このことについては、後述する。
【００５１】
なお、この具体例では、サブセット抽出部１８が、第１のコーパスにおける類似度係数の分布に所定の値を掛けた類似度係数の分布が、第２のコーパスにおける類似度係数の分布に含まれる場合における、第１のコーパスにおける類似度係数の分布に最大の値を掛けた類似度係数の分布と同じ分布を有する第２のコーパスのサブセットの集合を第２のコーパスから抽出する場合について説明したが、サブセット抽出部１８は、第１のコーパスにおける類似度係数の分布に所定の値を掛けた類似度係数の分布が、第２のコーパスにおける類似度係数の分布に含まれる場合における、第１のコーパスにおける類似度係数の分布に最大でない値を掛けた類似度係数の分布と同じ分布を有する第２のコーパスのサブセットの集合を第２のコーパスから抽出してもよい。
【００５２】
［具体例２］
この具体例では、第２のコーパスから抽出するサブセットの集合を決定する方法が異なる以外、具体例１と同様である。その具体例１と同様である処理については説明を省略する。
【００５３】
類似度係数算出部１５によって第１のコーパス及び第２のコーパスにおけるサブセットの類似度係数が算出され、第１類似度係数記憶部１６及び第２類似度係数記憶部１７で記憶されたとする。すると、サブセット抽出部１８は、具体例１と同様にして、第２のコーパスにおけるサブセットの類似度係数の分布を得る。ここで、前述のように、第１のコーパスにおけるサブセットの類似度係数の平均値は、０．４５であったとする。サブセット抽出部１８は、図７で示されるように、第２のコーパスにおけるサブセットの類似度係数の分布において、第１のコーパスの平均値に対して類似度係数が対称となり（すなわち、図７の座標系において左右対称となり）、かつ、分布が最大となるように抽出するサブセットの集合の分布を決定する。この後、サブセット抽出部１８が、決定された分布を有するサブセットの集合を第２のコーパスから抽出し、その抽出されたサブセットの集合と第１のコーパスとが加算される処理については、具体例１と同様である。
【００５４】
なお、第２のコーパスから抽出されたサブセットの集合も、第１のコーパスにおけるサブセットの類似度係数の平均値と同じ平均値を有するため、加算された結果のコーパスにおけるサブセットの類似度係数の平均値も、第１のコーパスにおけるサブセットの類似度係数の平均値と同じとなる。
【００５５】
第２のコーパスから第１のコーパスの類似度係数の平均値と同じ平均値を有するサブセットの集合を抽出する方法は、この具体例の説明に限定されないことは言うまでもない。例えば、第２のコーパスにおけるサブセットの類似度係数の分布において、第１のコーパスの類似度係数の平均値に対して類似度係数が対称となるように、サブセットの集合の分布を決定することにより、容易に第２のコーパスから第１のコーパスの類似度係数の平均値と同じ平均値を有するサブセットの集合を抽出することができる。具体的には、図８で示されるように第２のコーパスから抽出するサブセットの集合の分布を決定してもよい。また、第１のコーパスの類似度係数の平均値と同じ平均値を有するサブセットの集合を第２のコーパスから抽出することができるのであれば、そのサブセットの集合の分布は、図７や図８で示されるように左右対称でなくてもよい。
【００５６】
上記２個の具体例において、サブセット抽出部１８が、第１のコーパスにおける類似度係数の代表値と同じ代表値を有する、第２のコーパスのサブセットの集合を抽出する場合について説明したが、サブセット抽出部１８が抽出する第２のコーパスのサブセットの集合は、結果として第１のコーパスにおける類似度係数の代表値と同じ代表値を有するのであれば、その抽出の方法は上記２個の具体例に限定されないことは言うまでもない。
【００５７】
また、上記各具体例においては、第１のコーパスにおけるサブセットの類似度係数は、類似度係数の分布を求めたり、代表値を求めたりするために用いられるだけであるため、第１類似度係数記憶部１６において、単にサブセットの類似度係数が記憶されているだけであり、図３で示されるように、サブセット識別子と対応付けられていなくてもよい。
【００５８】
［効果についての説明］
以下、本実施の形態で説明したようにして加算された結果のコーパスが、第１のコーパスよりも自然言語処理において、よりよいパフォーマンスを有するコーパスであることについて説明する。
【００５９】
ここでは、確率的言語モデルのパフォーマンスと、ＥＢＭＴシステムにおける日本語から英語への用例に基づく機械翻訳のパフォーマンスとについて評価することによって、本実施の形態によるコーパス加算装置１の効果について説明する。
【００６０】
なお、第１の参照コーパスとして、ＳＬＤＢを用いるものとする。このＳＬＤＢは、英語のコーパスと、日本語のコーパスの両方が存在する。第２の参照コーパスとして、英語ではＣａｌｇａｒｙ  Ｃｏｒｐｕｓを用い、日本語では日経新聞の記事からなるコーパスを用いるものとする。また、それらの参照コーパスを用いて類似度係数が算出されるコーパスとして、日本語及び英語の基本的な旅行会話のコーパスであるＢＴＥＣ（Ｂａｓｉｃ  Ｔｒａｖｅｌｅｒ'ｓ  Ｅｘｐｒｅｓｓｉｏｎ  Ｃｏｒｐｕｓ）を用いる。また、タスク（評価のために実際に処理されるデータ）としては、上記のコーパスに含まれないＢＴＥＣの５１０個の日本語のセンテンスのセットを用いる。このタスクの類似度係数（ここでは、タスク全体の類似度係数）は、０．３３１であるとする。なお、タスクに含まれる各センテンスの類似度係数も、タスクの類似度係数に近い値である。また、コーパスのサブセットはセンテンスであるとする。
【００６１】
図９は、日本語のＢＴＥＣにおけるサブセット（ここではセンテンス）の類似度係数の分布を示す図である。図９で示される分布における平均値は「０．３１５」であり、標準偏差は「０．１１８」である。また、図１０は、英語のＢＴＥＣにおけるサブセット（ここではセンテンス）の類似度係数の分布を示す図である。図１０で示される分布における平均値は「０．３１３」であり、標準偏差は「０．１５６」である。
【００６２】
まず、パープレキシティーについて検討する。日本語のＢＴＥＣからランダムに選択したデータを用いて、前述のタスクに対してパープレキシティーを算出した。なお、日本語のＢＴＥＣからのランダムなデータの選択は、ＢＴＥＣの０．５％から１００％まで行った。その結果は、図１１の実線のグラフで示されている。また、前述のタスクの類似度係数「０．３３１」の付近から順番に日本語のＢＴＥＣからのデータの選択を行い、前述のタスクに対してパープレキシティーを算出した。この場合には、タスクの類似度係数と、ＢＴＥＣの類似度係数とがほぼ同じであるため、同質的なデータによるパープレキシティーの算出が行われたことになる。なお、日本語のＢＴＥＣからの同質的なデータの選択も、ＢＴＥＣの０．５％から１００％まで行った。その結果は、図１１の一点鎖線のグラフで示されている。日本語のＢＴＥＣから１００％のデータの選択を行った場合には、ランダムに選択したデータでも、同質的なデータでも同じデータを選択したことになるため、パープレキシティーは同じとなる。
【００６３】
一般に、パープレキシティーが低いほど、確率モデルにおけるパフォーマンスは高いことになる。図１１からわかるように、パープレキシティーの算出で用いるコーパス（日本語のＢＴＥＣ）の割合が少ない場合、すなわち、１５％ぐらいまでの場合には、同質的なデータの方が低いパープレキシティーとなっている。一方、それ以上の割合となると、同質的なデータの方がランダムに選択したデータよりも高いパープレキシティー（すなわち、低いパフォーマンス）となっている。以上から、パープレキシティーに関しては、データの少ない領域をのぞいて、ランダムに選択したデータの方が、同質的なデータよりも高いパフォーマンスが得られ、役に立つことがわかる。
【００６４】
この結果を本実施の形態によるコーパス加算装置１の効果の説明に適用すると、タスクに対して、より多くの異質的なサブセットを含むコーパスの方が低いパープレキシティーとなり、高いパフォーマンスが得られることになる。したがって、第１のコーパスよりも、その第１のコーパスにサブセットを加算した結果のコーパスの方が、より多くの異質的なサブセットを含むことになり、より低いパープレキシティーとなり、自然言語処理における高いパフォーマンスが得られることがわかる。
【００６５】
次に、ＥＢＭＴシステムにおける日本語から英語への機械翻訳について検討する。上記のパープレキシティーに関する検討の場合と同様に、日本語及び英語のＢＴＥＣを用いて、５１０個のセンテンスからなるタスクに対して機械翻訳を実行する。この場合にも、パープレキシティーの場合と同様に、ランダムなデータの選択を行った場合と、同質的なデータの選択を行った場合とについて、図１２で示されるＢＬＥＵスコアの算出と、図１３で示されるＮＩＳＴスコアの算出と、図１４で示されるｍＷＥＲスコアの算出とを行った。図１２から図１４の各グラフにおいて、ランダムに選択したデータの結果は実線で示されており、同質的なデータの結果は一点鎖線で示されている。なお、ＢＬＥＵスコア、ＮＩＳＴスコア、ｍＷＥＲスコアについては、それぞれ下記の（文献１）、（文献２）、（文献３）で説明されている。
【００６６】
（文献１）Ｋｉｓｈｏｒｅ  Ｐａｐｉｎｅｎｉ，Ｓａｌｉｍ  Ｒｏｕｋｏｓ，Ｔｏｄｄ  Ｗａｒｄ  ａｎｄ  Ｗｅｉ−Ｊｉｎｇ  Ｚｈｕ．２００２．Ｂｌｅｕ：ａ  Ｍｅｔｈｏｄ  ｆｏｒ  Ａｕｔｏｍａｔｉｃ  Ｅｖａｌｕａｔｉｏｎ  ｏｆ  Ｍａｃｈｉｎｅ  Ｔｒａｎｓｌａｔｉｏｎ．
【００６７】
（文献２）Ｇｅｏｒｇｅ  Ｄｏｄｄｉｎｇｔｏｎ．２００２．Ａｕｔｏｍａｔｉｃ  ｅｖａｌｕａｔｉｏｎ  ｏｆ  ｍａｃｈｉｎｅ  ｔｒａｎｓｌａｔｉｏｎ  ｑｕａｌｉｔｙ  ｕｓｉｎｇ  ｎ−ｇｒａｍ  ｃｏ−ｏｃｃｕｒｒｅｎｃｅ  ｓｔａｔｉｓｔｉｃｓ。Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  Ｈｕｍａｎ  Ｌａｎｇ．Ｔｅｃｈｎｏｌ．Ｃｏｎｆ．（ＨＬＴ−０２），ｐｐ．１３８−１４５．
【００６８】
（文献３）Ｆｒａｎｚ  Ｊｏｓｅｆ  Ｏｃｈ．２００３．Ｍｉｎｉｍｕｍ  Ｅｒｒｏｒ  Ｒａｔｅ  Ｔｒａｉｎｉｎｇ  ｉｎ  Ｓｔａｔｉｓｔｉｃａｌ  Ｍａｃｈｉｎｅ  Ｔｒａｎｓｌａｔｉｏｎ．Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＡＣＬ  ２００３，ｐｐ．１６０−１６７．
【００６９】
図１２において、ＢＬＥＵスコアは、０から１の範囲の値をとるものであり、スコアの高い方がよりよい翻訳であることを示す。図１３において、ＮＩＳＴスコアは、０以上の値をとるものであり、スコアの高い方がよりよい翻訳であることを示す。図１４において、ｍＷＥＲスコアは、０から１の範囲の値をとるものであり、スコアの低い方がよりよい翻訳であることを示す。それらの結果より、機械翻訳の質は用いるＢＴＥＣのサイズが大きくなるほどよくなることがわかる。また、ＢＬＥＵスコアでのＢＴＥＣの３％まで、ＮＩＳＴスコアでのＢＴＥＣの１８％まで、ｍＷＥＲスコアのＢＴＥＣの２％までをのぞき、３個の評価方法において、ランダムに選択したデータの方が同質的なデータよりも翻訳の品質が同等であるかあるいは高いことがわかる。
【００７０】
この結果を本実施の形態によるコーパス加算装置１の効果の説明に適用すると、タスクに対して、より多くの異質的なサブセットを含むコーパスの方が機械翻訳の質が高いものとなり、高いパフォーマンスが得られることになる。したがって、第１のコーパスよりも、その第１のコーパスにサブセットを加算した結果のコーパスの方が、より多くの異質的なサブセットを含むことになり、より高い翻訳の品質が得られることとなり、自然言語処理における高いパフォーマンスが得られることがわかる。
【００７１】
このように、前述の非特許文献１とは異なり、異質なものを含むコーパスの方がよりよい自然言語処理を実行することができることがわかる。なお、このたびはパープレキシティーと機械翻訳についてのみ確認したが、他の自然言語処理、例えば、要約などにおいても同様の結果が得られると予測することができうる。
【００７２】
上記各具体例では、タスクの類似度係数と、第１のコーパスの類似度係数の分布の代表値とが近いものである場合、すなわち、第１のコーパスがタスクに対して既に調整されている場合について説明したが、本実施の形態によるコーパス加算装置１で用いる第１のコーパスは、前述のように、タスクに対して調整されたコーパスであってもよく、そうでなくてもよい。
【００７３】
以上のように、本実施の形態によるコーパス加算装置１によれば、よりパフォーマンスの高いコーパスを得ることができ、その加算された結果のコーパスを用いて自然言語処理を行うことによって、よりよい処理が行われることになる。
【００７４】
なお、コーパスにおけるサブセットの類似度係数の分布が図９や図１０で示されるものである場合には、類似度係数の分布を図４等と同様になめらかなものにしてもよく、あるいは、そのままの分布を用いてもよい。前者の場合には、最小自乗法等を用いて最適ななめらかな曲線を決定してもよい。
【００７５】
また、コーパスにおけるサブセットの類似度係数の分布の形状は、図４や図９等で示されるように、一般にガウス分布となることが多い。しかし、本実施の形態において用いるコーパスは、そのサブセットの類似度係数の分布がガウス分布でなくてもよいことは言うまでもない。
【００７６】
また、上記具体例において、コーパスとしてＢＴＥＣを用いる場合、また、参照コーパスとして、ＳＬＤＢやＣａｌｇａｒｙ、日経新聞等を用いる場合について説明したが、コーパスはそれらに限定されないものであることは言うまでもない。
【００７７】
また、本実施の形態では、類似度係数算出部１５が第１のコーパスにおけるサブセットの類似度係数、及び第２のコーパスにおけるサブセットの類似度係数を算出する場合について説明したが、第１類似度係数記憶部１６、第２類似度係数記憶部１７に類似度係数があらかじめ記憶されている場合には、コーパス加算装置１は、類似度係数算出部１５を備えなくてもよい。その場合には、コーパス加算装置１は、第１参照コーパス記憶部１３、第２参照コーパス記憶部１４を備えなくてもよい。なお、その場合において、第１類似度係数記憶部１６、及び第２類似度係数記憶部１７に類似度係数が記憶される過程は問わない。例えば、記録媒体を介して類似度係数が第１類似度係数記憶部１６等で記憶されるようになってもよく、通信回線等を介して送信された類似度係数が第１類似度係数記憶部１６等で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された類似度係数が第１類似度係数記憶部１６等で記憶されるようになってもよい。
【００７８】
また、本実施の形態では、加算部１９が第１のコーパスと、第２のコーパスの少なくとも一部とを実際に加算する場合について説明したが、加算部１９による加算は、論理的なものであってもよい。すなわち、加算部１９は、第１のコーパスと、第２のコーパスの少なくとも一部とを１個のコーパスとして用いると論理的に決定するだけであってもよい。この場合には、出力部２０は、加算後のコーパスを特定することができる情報を出力してもよい。例えば、出力部２０は、第１コーパス記憶部１１で記憶されている第１のコーパス及び第２コーパス記憶部１２で記憶されている第２のコーパスにおいて、加算後のコーパスに含まれるサブセットに対して、所定のフラグを立てる処理を行ってもよい。
【００７９】
また、本実施の形態では、類似度係数の分布の代表値として平均値を用いる場合について説明したが、前述のように、類似度係数の分布の代表値として中央値を用いてもよいことは言うまでもない。
【００８０】
また、上記各実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、あるいは、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。
【００８１】
また、上記各実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。なお、上記各実施の形態における情報処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、第１類似度係数記憶部で記憶されている、第１のコーパスにおけるサブセットの類似度係数と、第２類似度係数記憶部で記憶されている、第２のコーパスにおけるサブセットの類似度係数とを用いて、第２のコーパスのサブセットの集合であって、第１のコーパスにおけるサブセットの類似度係数の代表値と同じ代表値を有するサブセットの集合を、第２のコーパスから抽出する抽出ステップと、前記抽出ステップで抽出した前記第２のコーパスのサブセットの集合と、前記第１のコーパスとを加算する加算ステップと、前記加算ステップで加算したコーパスを出力する出力ステップと、を実行させるためのものである。
【００８２】
また、このプログラムは、コンピュータに、第１参照コーパス記憶部が記憶している第１の参照コーパスと、第２参照コーパス記憶部が記憶している第２の参照コーパスとを参照コーパスとして、前記第１のコーパス、及び前記第２のコーパスにおけるそれぞれのサブセットの類似度係数を算出する類似度係数算出ステップをさらに実行させ、前記第１類似度係数記憶部が記憶している、前記第１のコーパスにおけるサブセットの類似度係数、及び前記第２類似度係数記憶部が記憶している、前記第２のコーパスにおけるサブセットの類似度係数は、前記類似度係数算出ステップで算出したものであってもよい。
【００８３】
なお、上記プログラムにおいて、情報を出力する出力ステップなどでは、ハードウェアでしか行われない処理、例えば、出力ステップにおけるモデムやインターフェースカードなどで行われる処理は少なくとも含まれない。
【００８４】
また、このプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、ＣＤ−ＲＯＭなどの光ディスクや磁気ディスク、半導体メモリなど）に記録されたプログラムが読み出されることによって実行されてもよい。
【００８５】
また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【００８６】
図１５は、上記プログラムを実行して、上記実施の形態によるコーパス加算装置１を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現されうる。
【００８７】
図１５において、コンピュータシステム１００は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）ドライブ１０５、ＦＤ（Ｆｌｅｘｉｂｌｅ  Ｄｉｓｋ）ドライブ１０６を含むコンピュータ１０１と、キーボード１０２と、マウス１０３と、モニタ１０４とを備える。
【００８８】
図１６は、コンピュータシステムを示す図である。図１６において、コンピュータ１０１は、ＣＤ−ＲＯＭドライブ１０５、ＦＤドライブ１０６に加えて、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１１２と、ＣＰＵ１１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク１１４と、ＣＰＵ１１１、ＲＯＭ１１２等を相互に接続するバス１１５とを備える。なお、コンピュータ１０１は、ＬＡＮへの接続を提供する図示しないネットワークカードを含んでもよい。
【００８９】
コンピュータシステム１００に、上記実施の形態によるコーパス加算装置１の機能を実行させるプログラムは、ＣＤ−ＲＯＭ１２１、またはＦＤ１２２に記憶されて、ＣＤ−ＲＯＭドライブ１０５、またはＦＤドライブ１０６に挿入され、ハードディスク１１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ１０１に送信され、ハードディスク１１４に記憶されてもよい。プログラムは実行の際にＲＡＭ１１３にロードされる。なお、プログラムは、ＣＤ−ＲＯＭ１２１やＦＤ１２２、またはネットワークから直接、ロードされてもよい。
【００９０】
プログラムは、コンピュータ１０１に、上記実施の形態によるコーパス加算装置１の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含まなくてもよい。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム１００がどのように動作するのかについては周知であり、詳細な説明を省略する。
また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【００９１】
以上より、本発明によるコーパス加算装置等は、よりよい処理を実行できるコーパスを作成することができ、コーパスを処理する装置等として有用である。
【図面の簡単な説明】
【００９２】
【図１】本発明の実施の形態１によるコーパス加算装置の構成を示すブロック図
【図２】同実施の形態によるコーパス加算装置の動作を示すフローチャート
【図３】同実施の形態における類似度係数とサブセット識別子との対応の一例を示す図
【図４】同実施の形態におけるコーパスの類似度係数の分布の一例を示す図
【図５】同実施の形態におけるコーパスの類似度係数の分布の一例を示す図
【図６】同実施の形態におけるコーパスの類似度係数の分布の一例を示す図
【図７】同実施の形態におけるコーパスの類似度係数の分布の一例を示す図
【図８】同実施の形態におけるコーパスの類似度係数の分布の一例を示す図
【図９】同実施の形態におけるコーパスの類似度係数の分布の一例を示す図
【図１０】同実施の形態におけるコーパスの類似度係数の分布の一例を示す図
【図１１】同実施の形態におけるパープレキシティーの一例を示す図
【図１２】同実施の形態におけるＢＬＥＵスコアの一例を示す図
【図１３】同実施の形態におけるＮＩＳＴスコアの一例を示す図
【図１４】同実施の形態におけるｍＷＥＲスコアの一例を示す図
【図１５】同実施の形態におけるコンピュータシステムの外観一例を示す模式図
【図１６】同実施の形態におけるコンピュータシステムの構成の一例を示す図
【符号の説明】
【００９３】
１  コーパス加算装置
１１  第１コーパス記憶部
１２  第２コーパス記憶部
１３  第１参照コーパス記憶部
１４  第２参照コーパス記憶部
１５  類似度係数算出部
１６  第１類似度係数記憶部
１７  第２類似度係数記憶部
１８  サブセット抽出部
１９  加算部
２０  出力部
２１  記録媒体
【図１】
2007058311.tif 000006
【図２】
2007058311.tif 000007
【図３】
2007058311.tif 000008
【図４】
2007058311.tif 000009
【図５】
2007058311.tif 000010
【図６】
2007058311.tif 000011
【図７】
2007058311.tif 000012
【図８】
2007058311.tif 000013
【図９】
2007058311.tif 000014
【図１０】
2007058311.tif 000015
【図１１】
2007058311.tif 000016
【図１２】
2007058311.tif 000017
【図１３】
2007058311.tif 000018
【図１４】
2007058311.tif 000019
【図１５】
2007058311.tif 000020
【図１６】
2007058311.tif 000021