(57)【要約】【課題】大規模なコーパスから、性能を担保しながら小規模なコーパスを選択する。【解決手段】情報処理装置１は、コーパスが記憶されるコーパス記憶部１１と、サブコーパスが複数記憶される１３サブコーパス記憶部と、コーパス記憶部１１で記憶されているコーパスを文クラスタリングすることによりサブコーパスに分割し、サブコーパス記憶部１３に蓄積するコーパス分割部１２と、基準コーパスが記憶される基準コーパス記憶部１４と、基準コーパスと、複数のサブコーパスとの類似性に関する情報である類似情報をそれぞれ算出する類似情報算出部１５と、類似情報算出部１５が算出した類似情報を用いて、基準コーパスと類似性の高い１または２以上のサブコーパスを選択する選択部１６と、を備える。【選択図】図１
2008226104.tif 000002
【特許請求の範囲】
【請求項１】
コーパスが記憶されるコーパス記憶部と、
前記コーパス記憶部で記憶されるコーパスが分割されたコーパスであるサブコーパスが複数記憶されるサブコーパス記憶部と、
前記コーパス記憶部で記憶されているコーパスを文クラスタリングすることにより前記サブコーパスに分割し、前記サブコーパス記憶部に蓄積するコーパス分割部と、
基準となるコーパスである基準コーパスが記憶される基準コーパス記憶部と、
前記基準コーパスと、前記複数のサブコーパスとの類似性に関する情報である類似情報をそれぞれ算出する類似情報算出部と、
前記類似情報算出部が算出した類似情報を用いて、前記基準コーパスと類似性の高い１または２以上のサブコーパスを選択する選択部と、を備えた情報処理装置。
【請求項２】
前記類似情報算出部は、前記サブコーパスについて言語モデルを生成し、当該生成した言語モデルを用いて、前記基準コーパスのエントロピーを求めることによって類似情報を算出する、請求項１記載の情報処理装置。
【請求項３】
前記選択部が選択した１または２以上のサブコーパスから構成されるコーパスである部分コーパスから言語モデルを生成する言語モデル生成部と、
前記言語モデル生成部が生成した言語モデルを蓄積する言語モデル蓄積部と、をさらに備えた、請求項１または請求項２記載の情報処理装置。
【請求項４】
前記言語モデル蓄積部が蓄積した言語モデルを用いて機械翻訳を行う機械翻訳部をさらに備えた、請求項３記載の情報処理装置。
【請求項５】
前記言語モデル蓄積部が蓄積した言語モデルを用いて音声認識を行う音声認識部をさらに備えた、請求項３記載の情報処理装置。
【請求項６】
コーパスが記憶されるコーパス記憶部と、前記コーパス記憶部で記憶されるコーパスが分割されたコーパスであるサブコーパスが複数記憶されるサブコーパス記憶部と、基準となるコーパスである基準コーパスが記憶される基準コーパス記憶部と、コーパス分割部と、類似情報算出部と、選択部とを用いて処理される情報処理方法であって、
前記コーパス分割部が、前記コーパス記憶部で記憶されているコーパスを文クラスタリングすることにより前記サブコーパスに分割し、前記サブコーパス記憶部に蓄積するコーパス分割ステップと、
前記類似情報算出部が、前記基準コーパスと、前記複数のサブコーパスとの類似性に関する情報である類似情報をそれぞれ算出する類似情報算出ステップと、
前記選択部が、前記類似情報算出ステップで算出した類似情報を用いて、前記基準コーパスと類似性の高い１または２以上のサブコーパスを選択する選択ステップと、を備えた情報処理方法。
【請求項７】
コンピュータに、
コーパスを文クラスタリングすることにより前記コーパスを複数のサブコーパスに分割し、サブコーパス記憶部に蓄積するコーパス分割ステップと、
基準となるコーパスである基準コーパスと、前記複数のサブコーパスとの類似性に関する情報である類似情報をそれぞれ算出する類似情報算出ステップと、
前記類似情報算出ステップで算出した類似情報を用いて、前記基準コーパスと類似性の高い１または２以上のサブコーパスを選択する選択ステップと、を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コーパスを複数のサブコーパスに分割し、そのサブコーパスから１または２以上のサブコーパスを選択する情報処理装置等に関する。
【背景技術】
【０００２】
情報処理技術の進展や、インターネットの普及に伴い、多くの文書や情報が電子化されるようになった。このようなデータを整備・蓄積することにより、現在では非常に大規模な言語コーパスが開発され、そのような大規模な言語コーパスを利用することが可能となっている。なお、そのような大規模な言語コーパスに関する研究もなされている（例えば、非特許文献１参照）。
【非特許文献１】山下達雄、「大規模言語コーパスの解析と検索に関する研究」、［ｏｎｌｉｎｅ］、（ＵＲＬ：ｈｔｔｐ：／／ｃｌ．ａｉｓｔ−ｎａｒａ．ａｃ．ｊｐ／ｔｈｅｓｉｓ／ｄｔｈｅｓｉｓ−ｔａｔｕｏ．ｐｄｆ）、［平成１９年３月１３日検索］、２００２年
【発明の開示】
【発明が解決しようとする課題】
【０００３】
このような大規模な言語コーパスから確率的言語モデルが学習され、その確率的言語モデルが統計的機械翻訳、形態素解析、音声認識等において幅広く用いられている。ここで、確率的言語モデルと利用可能な言語コーパスの規模との関係について見ると、コーパスの大規模化により、言語モデルの性能が向上するというメリットがある反面、言語モデルの学習に要する処理量や、処理の際に必要となるメモリ量が増大するという問題が生じる。
【０００４】
本発明は、上記問題点を解決するためになされたものであり、大規模な言語コーパスの中から、対象とするタスクと異なるデータや、雑音的なデータを除去することにより、得られる言語モデルの性能を担保しつつ、言語モデルの生成で用いられるコーパスの量を減らすことができる情報処理装置等を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明による情報処理装置は、コーパスが記憶されるコーパス記憶部と、前記コーパス記憶部で記憶されるコーパスが分割されたコーパスであるサブコーパスが複数記憶されるサブコーパス記憶部と、前記コーパス記憶部で記憶されているコーパスを文クラスタリングすることにより前記サブコーパスに分割し、前記サブコーパス記憶部に蓄積するコーパス分割部と、基準となるコーパスである基準コーパスが記憶される基準コーパス記憶部と、前記基準コーパスと、前記複数のサブコーパスとの類似性に関する情報である類似情報をそれぞれ算出する類似情報算出部と、前記類似情報算出部が算出した類似情報を用いて、前記基準コーパスと類似性の高い１または２以上のサブコーパスを選択する選択部と、を備えたものである。
【０００６】
このような構成により、大規模なコーパスから、基準コーパスと類似するサブコーパスを選択することができる。したがって、その選択された１または２以上のサブコーパスから構成される部分コーパスを用いることによって、コーパス記憶部で記憶されているコーパスよりも、より小規模でありながら、性能を担保することができる部分コーパスを得ることができる。
【０００７】
また、本発明による情報処理装置では、前記類似情報算出部は、前記サブコーパスについて言語モデルを生成し、当該生成した言語モデルを用いて、前記基準コーパスのエントロピーを求めることによって類似情報を算出してもよい。
このような構成により、エントロピーや、パープレキシティーを類似情報として用いることができうる。
【０００８】
また、本発明による情報処理装置では、前記選択部が選択した１または２以上のサブコーパスから構成されるコーパスである部分コーパスから言語モデルを生成する言語モデル生成部と、前記言語モデル生成部が生成した言語モデルを蓄積する言語モデル蓄積部と、をさらに備えてもよい。
【０００９】
このような構成により、その蓄積された言語モデルを用いることによって、例えば、形態素解析や機械翻訳、音声認識等の処理を行うことができうる。なお、部分コーパスから言語モデルを生成する場合には、コーパス記憶部で記憶されているコーパスから言語モデルを生成する場合よりも、その言語モデルの生成に関する機械的負担を軽減することができる。
【００１０】
また、本発明による情報処理装置では、前記言語モデル蓄積部が蓄積した言語モデルを用いて機械翻訳を行う機械翻訳部をさらに備えてもよく、前記言語モデル蓄積部が蓄積した言語モデルを用いて音声認識を行う音声認識部をさらに備えてもよい。
このような構成により、機械翻訳部や、音声認識部を用いて、機械翻訳や音声認識等を行うことができうる。
【発明の効果】
【００１１】
本発明による情報処理装置等によれば、大規模なコーパスから基準コーパスと類似するサブコーパスを選択することができる。したがって、その選択された１または２以上のサブコーパスを含む部分コーパスを用いることによって、コーパス記憶部で記憶されているコーパスよりも、より小規模でありながら、性能を担保することができる部分コーパスを得ることができうる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明による情報処理装置について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。
【００１３】
（実施の形態１）
本発明の実施の形態１による情報処理装置について、図面を参照しながら説明する。
図１は、本実施の形態による情報処理装置１の構成を示すブロック図である。図１において、本実施の形態による情報処理装置１は、コーパス記憶部１１と、コーパス分割部１２と、サブコーパス記憶部１３と、基準コーパス記憶部１４と、類似情報算出部１５と、選択部１６と、言語モデル生成部１７と、言語モデル蓄積部１８とを備える。
【００１４】
コーパス記憶部１１では、コーパスが記憶される。ここで、コーパスとは、特定の言語、または２以上の言語の文の集合の情報である。このコーパスは、大規模言語コーパスであることが好適である。
【００１５】
コーパス記憶部１１は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。コーパス記憶部１１にコーパスが記憶される過程は問わない。例えば、記録媒体を介してコーパスがコーパス記憶部１１で記憶されるようになってもよく、通信回線等を介して送信されたコーパスがコーパス記憶部１１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力されたコーパスがコーパス記憶部１１で記憶されるようになってもよい。
【００１６】
コーパス分割部１２は、コーパス記憶部１１で記憶されているコーパスを文クラスタリングすることにより２以上のサブコーパスに分割する。そして、コーパス分割部１２は、その２以上のサブコーパスを、後述するサブコーパス記憶部１３に蓄積する。ここで、サブコーパスとは、コーパス記憶部１１で記憶されるコーパスが分割されたコーパスである。なお、コーパス分割部１２がコーパスを何個のサブコーパスに分割するのかについては、あらかじめ決められているものとする。例えば、サブコーパスの個数が図示しない記録媒体において記憶されており、コーパス分割部１２は、その個数を読み出して、コーパス記憶部１１で記憶されているコーパスを、その個数のサブコーパスに分割してもよい。文クラスタリングの手法は、すでに公知であるため、その説明を省略する。例えば、文クラスタリングとして、次の文献に記載されているものを用いることができる。
【００１７】
文献：Ｄ．Ｃａｒｔｅｒ，「Ｉｍｐｒｏｖｉｎｇ  Ｌａｎｇｕａｇｅ  Ｍｏｄｅｌ  ｂｙ  Ｃｌｕｓｔｅｒｉｎｇ  Ｔｒａｉｎｉｎｇ  Ｓｅｎｔｅｎｃｅｓ」、Ｐｒｏｃ．  ＡＣＬ，ｐｐ．５９−６４，１９９４年
【００１８】
サブコーパス記憶部１３では、コーパス記憶部１１で記憶されるコーパスが、コーパス分割部１２によって分割されたサブコーパスが複数記憶される。サブコーパス記憶部１３は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。サブコーパス記憶部１３は、各サブコーパスを記憶する２以上の記録媒体から構成されてもよく、あるいは、１の記録媒体によって構成されてもよい。
【００１９】
基準コーパス記憶部１４では、基準となるコーパスである基準コーパスが記憶される。ここで、基準コーパスは、後の処理で扱いたいドメインのコーパスである。この基準コーパスは、コーパス記憶部１１で記憶されるコーパスに比べて小規模のものである。例えば、５００文程度を含むものであってもよい。なお、「後の処理で扱いたいドメイン」とは、後述する言語モデル生成部１７によって生成された言語モデルを用いて行う統計的機械翻訳、形態素解析、音声認識等の処理で扱いたいドメインのことである。後述するように、この基準コーパスが、サブコーパスとの比較対象となるコーパスであり、教師データのように用いられるコーパスである。この基準コーパスを適切に選択することにより、後述するように、その基準コーパスと類似した適切な部分コーパスを得ることができる。
【００２０】
基準コーパス記憶部１４は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。基準コーパス記憶部１４に基準コーパスが記憶される過程は問わない。例えば、記録媒体を介して基準コーパスが基準コーパス記憶部１４で記憶されるようになってもよく、通信回線等を介して送信された基準コーパスが基準コーパス記憶部１４で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された基準コーパスが基準コーパス記憶部１４で記憶されるようになってもよい。
【００２１】
類似情報算出部１５は、基準コーパス記憶部１４で記憶されている基準コーパスと、サブコーパス記憶部１３で記憶されている複数のサブコーパスとの類似性に関する情報である類似情報をそれぞれ算出する。すなわち、類似情報算出部１５によって、各サブコーパスと、基準コーパスとの類似性に関する値がそれぞれ算出されることになる。類似情報は、両コーパスの類似性を知ることができる情報であれば、その内容を問わない。例えば、類似情報の示す値の大きい方が類似性の高くてもよく、あるいは、その逆であってもよい。類似情報は、例えば、エントロピーであってもよく、パープレキシティーであってもよく、コサイン距離であってもよく、その他の情報であってもよい。エントロピーやパープレキシティー、コサイン距離等、及びそれらの算出方法はすでに公知であるため、詳細な説明を省略する。なお、類似情報がエントロピーやパープレキシティーである場合に、類似情報の示す値の小さい方が、基準コーパスとサブコーパスとの類似性が高いことになる。一方、類似情報がコサイン距離である場合に、類似情報の示す値の大きい方が、基準コーパスとサブコーパスとの類似性が高いことになる。
【００２２】
類似情報がエントロピーやパープレキシティーである場合には、類似情報算出部１５は、各サブコーパスについて言語モデルを生成し、その生成した言語モデルを用いて基準コーパスのエントロピーを求めてもよい。エントロピーをＨとした場合に、パープレキシティーは、２＾Ｈとなる。言語モデルとは、確率的言語モデルであり、例えば、Ｎグラムモデルであってもよく、その他のモデルであってもよい。なお、Ｎグラムモデルとは、文や字列中のある文字の発生が直前の（Ｎ−１）文字にのみ依存すると考える言語モデルであり、単語や文字の生成確率をマルコフモデルで近似したモデルである。言語モデルの具体例については後述する。なお、類似情報がコサイン距離である場合には、類似情報算出部１５は、言語モデルを生成する必要はなく、基準コーパスとサブコーパスとからコサイン距離を求めることになる。本実施の形態では、類似情報算出部１５は、類似情報としてパープレキシティーを算出する場合について説明する。
【００２３】
ここで、エントロピー、パープレキシティーの算出方法について簡単に説明する。テストセットの単語列をｗ１Ｎ＝ｗ１ｗ２…ｗＮとし、言語モデルＭにおける単語列をｗ１Ｎの生成確率をＰＭ（ｗ１Ｎ）とすると、エントロピーＨと、パープレキシティーＰＰとは、次式のようになる。
【数１】
2008226104.tif 000003
【００２４】
選択部１６は、類似情報算出部１５が算出した類似情報を用いて、基準コーパスと類似性の高い１または２以上のサブコーパスを選択する。この選択では、例えば、基準コーパスと類似性の最も高い１個のサブコーパスを選択してもよく、基準コーパスと類似性の高いものから順に、あらかじめ決められている個数のサブコーパスを選択してもよく、あらかじめ決められている類似性の値（しきい値）よりも高い類似性を有するサブコーパスを選択してもよい。選択部１６がサブコーパスを選択するとは、例えば、選択したサブコーパスの識別する情報を所定の記録媒体等に蓄積することであってもよく、あるいは、その選択したサブコーパスに対応付けてフラグ等を設定することであってもよい。
【００２５】
言語モデル生成部１７は、選択部１６が選択した１または２以上のサブコーパスから構成されるコーパスである部分コーパスから言語モデルを生成する。その言語モデルを生成する方法は、すでに公知であり、その詳細な説明を省略する。
【００２６】
言語モデル蓄積部１８は、言語モデル生成部１７が生成した言語モデルを所定の記録媒体に蓄積する。この記録媒体は、例えば、半導体メモリや、光ディスク、磁気ディスク等であり、言語モデル蓄積部１８が有していてもよく、あるいは言語モデル蓄積部１８の外部に存在してもよい。また、この記録媒体は、言語モデルを一時的に記憶するものであってもよく、そうでなくてもよい。
【００２７】
なお、図１では、明記していないが、情報処理装置１は、言語モデル蓄積部１８が蓄積した言語モデルを出力する出力部（図示せず）を備えてもよい。ここで、この出力は、例えば、表示デバイス（例えば、ＣＲＴや液晶ディスプレイなど）への表示でもよく、所定の機器への通信回線を介した送信でもよく、プリンタによる印刷でもよく、記録媒体への蓄積でもよい。なお、その出力部は、出力を行うデバイス（例えば、表示デバイスやプリンタなど）を含んでもよく、あるいは含まなくてもよい。また、その出力部は、ハードウェアによって実現されてもよく、あるいは、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
【００２８】
また、コーパス記憶部１１、サブコーパス記憶部１３、基準コーパス記憶部１４、言語モデル蓄積部１８が言語モデルを蓄積する記録媒体での記憶は、ＲＡＭ等における一時的な記憶でもよく、あるいは、長期的な記憶でもよい。
【００２９】
また、コーパス記憶部１１と、サブコーパス記憶部１３と、基準コーパス記憶部１４と、言語モデル蓄積部１８が言語モデルを蓄積する記録媒体とは、同一の記録媒体によって実現されてもよく、別々の記録媒体によって実現されてもよい。前者の場合には、例えば、コーパスを記憶している領域がコーパス記憶部１１となり、サブコーパスを記憶している領域がサブコーパス記憶部１３となる。
【００３０】
次に、本実施の形態による情報処理装置１の動作について、図２のフローチャートを用いて説明する。
（ステップＳ１０１）コーパス分割部１２は、コーパス記憶部１１で記憶されているコーパスを複数のサブコーパスに分割し、サブコーパス記憶部１３に蓄積する。
【００３１】
（ステップＳ１０２）類似情報算出部１５は、カウンタｉを１に設定する。
（ステップＳ１０３）類似情報算出部１５は、ｉ番目のサブコーパスと、基準コーパスとの類似情報を算出する。この類似情報を算出する詳細な方法については、図３のフローチャートを用いて後述する。
【００３２】
（ステップＳ１０４）類似情報算出部１５は、算出した類似情報を一時的に所定の記録媒体に記憶する。この記憶の際に、類似情報算出部１５は、ｉ番目のサブコーパスを識別する情報に対応付けて記憶してもよい。
（ステップＳ１０５）類似情報算出部１５は、カウンタｉを１だけインクリメントする。
【００３３】
（ステップＳ１０６）類似情報算出部１５は、ｉ番目のサブコーパスが存在するかどうか判断する。そして、存在する場合には、ステップＳ１０３に戻り、そうでない場合には、ステップＳ１０７に進む。
【００３４】
（ステップＳ１０７）選択部１６は、ステップＳ１０４で一時記憶された情報を用いて、基準コーパスと類似性の高い１または２以上のサブコーパスを選択する。
【００３５】
（ステップＳ１０８）言語モデル生成部１７は、選択部１６が選択した１または２以上のサブコーパスから構成されるコーパスである部分コーパスから言語モデルを生成する。
【００３６】
（ステップＳ１０９）言語モデル蓄積部１８は、言語モデル生成部１７が生成した言語モデルを所定の記録媒体に蓄積する。そして、言語モデルを蓄積するまでの一連の処理は終了となる。
【００３７】
なお、図２のフローチャートにおいて、ステップＳ１０６では、ｉ番目のサブコーパスが存在するかどうかを判断する場合について説明したが、あらかじめサブコーパスの個数がわかっているため、ステップＳ１０６では、カウンタｉの値が、サブコーパスの個数と等しいかどうか判断し、等しい場合には、ステップＳ１０７に進み、そうでない場合には、ステップＳ１０３に戻るようにしてもよい。
【００３８】
図３は、図２のフローチャートにおけるステップＳ１０３の処理の詳細を示すフローチャートである。
（ステップＳ２０１）類似情報算出部１５は、ｉ番目のサブコーパスの言語モデルを生成する。なお、この生成された言語モデルは、図示しない記録媒体において一時的に記憶されてもよい。
【００３９】
（ステップＳ２０２）類似情報算出部１５は、ステップＳ２０１で算出したｉ番目のサブコーパスの言語モデルを用いて、基準コーパスのパープレキシティーを算出する。なお、この算出されたパープレキシティーは、図示しない記録媒体において一時的に記憶されてもよい。そして、図２のフローチャートに戻る。
【００４０】
なお、図３のフローチャートでは、類似情報として基準コーパスのパープレキシティーを算出する場合について説明したが、類似情報として、それ以外の情報、例えば、エントロピー等を算出してもよいことは、前述の通りである。
【００４１】
次に、本実施の形態による情報処理装置１の動作について、具体例を用いて説明する。この具体例において、図４で示されるように、コーパス記憶部１１では、大規模言語コーパスとしてのＬＤＣコーパスが記憶されているものとする。また、基準コーパス記憶部１４では、ＴＣ−ＳＴＡＲ（Ｔｅｃｈｎｏｌｏｇｙ  ａｎｄ  Ｃｏｒｐｏｒａ  ｆｏｒ  Ｓｐｅｅｃｈ  ｔｏ  Ｓｐｅｅｃｈ  Ｔｒａｎｓｌａｔｉｏｎ）第二回評価キャンペーンでのデータ（ｈｔｔｐ：／／ｗｗｗ．ｅｌｄａ．ｏｒｇ／ｅｎ／ｐｒｏｊ／ｔｃｓｔａｒ−ｗｐ４／ｔｃｓ−ｒｕｎ２．ｈｔｍ参照）からなるコーパスを用いるものとする。結果の評価で用いるテストセットも、基準コーパスと同様に、ＴＣ−ＳＴＡＲ第二回評価キャンペーンでのデータであるとする。
【００４２】
また、この具体例では、コーパスが１０個のサブコーパスに分割されるものとする。また、選択部１６は、基準コーパスと類似性の高いものから順に４個のサブコーパスを選択するものとする。
【００４３】
また、この具体例では、文クラスタリング時は１−ｇｒａｍの言語モデルを用い、文クラスタリング以外では、バックオフスムージング（次の文献１参照）とグッド・チューリング法（次の文献２参照）を用いた３−ｇｒａｍの言語モデルを用いるものとする。
【００４４】
文献１：Ｓ．Ｍ．Ｋａｔｚ，「Ｅｓｔｉｍａｔｉｏｎ  ｏｆ  ｐｒｏｂａｂｉｌｉｔｉｅｓ  ｆｒｏｍ  ｓｐａｒｓｅ  ｄａｔａ  ｆｏｒ  ｔｈｅ  ｌａｎｇｕａｇｅ  ｍｏｄｅｌ  ｃｏｍｐｏｎｅｎｔ  ｏｆ  ａ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｚｅｒ」、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ａｃｏｕｓｔｉｃｓ，  Ｓｐｅｅｃｈ  ａｎｄ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ，ｐｐ．ＡＳＳＰ−３５（３），４００−４０１，１９８７年
【００４５】
文献２：Ｉ．Ｊ．Ｇｏｏｄ，「Ｔｈｅ  ｐｏｐｕｌａｔｉｏｎ  ｆｒｅｑｕｅｎｃｉｅｓ  ｏｆ  ｓｐｅｃｉｅｓ  ａｎｄ  ｔｈｅ  ｅｓｔｉｍａｔｉｏｎ  ｏｆ  ｐｏｐｕｌａｔｉｏｎ  ｐａｒａｍｅｔｅｒｓ」、Ｂｉｏｍｅｔｒｉｋａ，ｐｐ．４０（３），２３７−２６４，１９５３年
【００４６】
まず、コーパス分割部１２は、コーパス記憶部１１で記憶されているコーパスを読み出し、文クラスタリングを行うことによって、１０個のサブコーパスに分割し、その分割したサブコーパスをそれぞれクラスタ番号に対応付けてサブコーパス記憶部１３に蓄積する（ステップＳ１０１）。ここで、クラスタ番号は、サブコーパスを識別する情報である。
【００４７】
次に、類似情報算出部１５は、クラスタ番号「１」のサブコーパスと、基準コーパスとの類似情報を算出する（ステップＳ１０２，Ｓ１０３）。具体的には、類似情報算出部１５は、クラスタ番号「１」のサブコーパスをサブコーパス記憶部１３から読み出し、そのサブコーパスの言語モデルを生成する（ステップＳ２０１）。そして、類似情報算出部１５は、基準コーパス記憶部１４から基準コーパスを読み出し、その生成した言語モデルを用いて、基準コーパスのパープレキシティーを算出する（ステップＳ２０２）。クラスタ番号「１」のパープレキシティーは、約４３０であったとする。類似情報算出部１５は、その類似情報としてのパープレキシティーをクラスタ番号「１」に対応付けて一時的に記憶する（ステップＳ１０４）。類似情報算出部１５は、このように類似情報を算出する処理を、クラスタ番号「１０」のサブコーパスまで実行する（ステップＳ１０３〜Ｓ１０６）。
【００４８】
図５は、クラスタ番号と、そのクラスタ番号で識別されるサブコーパスの言語モデルを用いて算出した基準コーパスのパープレキシティーとの対応を示すグラフである。ここでは、クラスタ番号が大きくなるにしたがって、パープレキシティーも大きくなっているが、これは偶然であって、そうでなくてもよい。類似情報算出部１５は、一時記憶していたパープレキシティーの値と、クラスタ番号とを対応付けて有する情報を選択部１６に渡す。すると、選択部１６は、パープレキシティーの小さい方から順に、４個のサブコーパスを選択する（ステップＳ１０７）。ここでは、選択部１６は、クラスタ番号「１」「２」「３」「４」の４個のサブコーパスを選択することになる。選択部１６は、その選択したサブコーパスを識別するクラスタ番号を言語モデル生成部１７に渡す。
【００４９】
言語モデル生成部１７は、選択部１６から受け取った４個のクラスタ番号に対応する４個のサブコーパスをサブコーパス記憶部１３から読み出し、その４個のサブコーパスを含む部分コーパスを作る。そして、その部分コーパスの言語モデルを生成する（ステップＳ１０８）。言語モデル蓄積部１８は、言語モデル生成部１７が生成した言語モデルを所定の記録媒体に蓄積する（ステップＳ１０９）。このようにして、選択されたサブコーパスからの言語モデルの生成が行われることになる。
【００５０】
最後に、その生成された言語モデルの評価について説明する。その生成された言語モデルを用いてテストセットのパープレキシティーを算出すると、約３６０であった。一方、コーパス記憶部１１で記憶されているコーパスから言語モデルを生成し、その言語モデルを用いてテストセットのパープレキシティーを算出すると、約４１０であった。パープレキシティーの値の小さい方が性能の高いことが知られている。したがって、選択されたサブコーパスからなる部分コーパスの言語モデルのほうがよりよい評価であることがわかる。なお、図６は、コーパス記憶部１１で記憶されているコーパス（大規模言語コーパス）のサイズが１となるように単語数で正規化した場合の部分コーパスのサイズと、その部分コーパスから生成された言語モデルで算出されたテストセットのパープレキシティーとの対応を黒丸で示すグラフである。図６では、コーパス記憶部１１で記憶されているコーパスからランダムに選択したコーパス（このコーパスもコーパス記憶部１１で記憶されているコーパスのサイズで正規化されている）と、そのコーパスから生成された言語モデルで算出されたテストセットのパープレキシティーとの対応を白丸で示すグラフも示されている。図６からわかるように、ランダムに選択した場合には、言語モデルを生成する学習セットのサイズが大きくなるにつれて、テストセットのパープレキシティーの値が小さくなっていることがわかる。一方、本実施の形態の方法によってその学習セットを選択すると、４個のサブコーパスを選択した場合に、テストセットのパープレキシティーが最も小さくなっている。したがって、４個のサブコーパスを選択した場合には、学習セットのサイズを６割程度削減することができるにもかかわらず、パープレキシティーを約１２％小さくすることができ、より小さな部分コーパスを用いることによって、よりよい結果を得ることができるようになることがわかる。
【００５１】
なお、サブコーパスの適切な個数を調べるために、サブコーパスの個数を１０個、３０個、５０個にして実験を行った結果を図７に示す。図７からわかるように、１０個のサブコーパスに分割した場合に、言語モデルを生成する部分コーパスのサイズを全体の４割程度におけるテストセットのパープレキシティーが最も小さくなっている。したがって、この実験では、１０個のサブコーパスに分割した場合に、最もよい選択を行うことができていることがわかる。
【００５２】
なお、このようにして生成された言語モデルは、前述のように、機械翻訳や、音声認識、形態素解析等の処理において用いられることになる。したがって、情報処理装置１は、図８，図９で示されるように、機械翻訳部２１や、音声認識部２２をさらに備えてもよい。なお、機械翻訳部２１や音声認識部２２は、言語モデル蓄積部１８が蓄積した言語モデルを用いて、機械翻訳や音声認識の処理を行うものである。その機械翻訳や音声認識の処理は、すでに公知であり、詳細な説明を省略する。
【００５３】
また、この具体例では、サブコーパスを４個選択する場合について説明したが、選択するサブコーパスの個数は、４個に限定されるものではない。また、サブコーパスの個数も、この具体例における実験では、１０個の場合が最も評価がよかったが、他のコーパスや他のテストセット等を用いた場合に同様の結果になるとは限らず、サブコーパスの個数も１０個に限定されるものではない。
【００５４】
以上のように、本実施の形態による情報処理装置１によれば、コーパス記憶部１１で記憶されている大規模なコーパスから、基準コーパスと類似性の高いサブコーパスを選択することによって、より小規模な部分コーパスを得ることができる。また、実験の結果、その部分コーパスを用いたとしても、言語モデルの性能を十分担保することができており、さらに、その大規模なコーパスを用いた場合よりも、性能が改善することもできた。また、より小規模な部分コーパスを用いて言語モデルの生成を行うことによって、言語モデルの生成に要する機械的負担を軽減することができる。また、その言語モデルを用いて機械翻訳や音声認識等の処理を行うことによって、機械翻訳や、音声認識の処理に要する機械的負担をも軽減することができる。
【００５５】
なお、本実施の形態では、図１で示されるように、情報処理装置１が言語モデルの生成、蓄積の処理も行う場合に対説明したが、情報処理装置１は、サブコーパスの選択までの処理を行うものであり、言語モデルの生成や蓄積の処理は、他の装置において行われてもよい。その場合には、情報処理装置１は、言語モデル生成部１７や、言語モデル蓄積部１８を備えなくてもよい。情報処理装置１がサブコーパスの選択までの処理を行うものである場合に、情報処理装置１は、その選択されたサブコーパスから構成される部分コーパスを出力する出力部（図示せず）をさらに備えてもよい。
【００５６】
また、本実施の形態において、コーパス、サブコーパス、部分コーパス、基準コーパス、言語モデル等は、本来は、コーパスの情報、サブコーパスの情報等と記載すべきであるが、単に、コーパス、サブコーパス等と記載した。
【００５７】
また、言語モデルの一例について説明する。言語モデルは、例えば、図１０で示されるようになる。図１０において、単語列と、確率とが対応付けられている。図１０はトライグラムの例である。例えば、図１０における１個目のレコードでは、単語列「ｔｈｅ  ＄１」の次に単語「ｍｉｌｌｉｏｎ」のくる確率が「−０．１１７５０５８」であることが示されている。なお、確率は、対数値である。したがって、通常の０から１の範囲の確率に直すには、１０のＮ乗の値を計算すればよい。Ｎが図１０における確率（例えば、−０．１１７５０５８等）である。
【００５８】
また、上記実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、あるいは、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。
【００５９】
また、上記実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。なお、上記実施の形態における情報処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、コーパスを文クラスタリングすることにより前記コーパスを複数のサブコーパスに分割し、サブコーパス記憶部に蓄積するコーパス分割ステップと、基準となるコーパスである基準コーパスと、前記複数のサブコーパスとの類似性に関する情報である類似情報をそれぞれ算出する類似情報算出ステップと、前記類似情報算出ステップで算出した類似情報を用いて、前記基準コーパスと類似性の高い１または２以上のサブコーパスを選択する選択ステップと、を実行させるためのものである。
なお、上記プログラムにおいて、ハードウェアでしか行われない処理、例えば、モデムやインターフェースカードなどで行われる処理は少なくとも含まれない。
【００６０】
また、このプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、ＣＤ−ＲＯＭなどの光ディスクや磁気ディスク、半導体メモリなど）に記録されたプログラムが読み出されることによって実行されてもよい。
【００６１】
また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【００６２】
図１１は、上記プログラムを実行して、上記実施の形態による情報処理装置を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現される。
【００６３】
図１１において、コンピュータシステム１００は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）ドライブ１０５、ＦＤ（Ｆｌｅｘｉｂｌｅ  Ｄｉｓｋ）ドライブ１０６を含むコンピュータ１０１と、キーボード１０２と、マウス１０３と、モニタ１０４とを備える。
【００６４】
図１２は、コンピュータシステムを示す図である。図１２において、コンピュータ１０１は、ＣＤ−ＲＯＭドライブ１０５、ＦＤドライブ１０６に加えて、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１１２と、ＣＰＵ１１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク１１４と、ＣＰＵ１１１、ＲＯＭ１１２等を相互に接続するバス１１５とを備える。なお、コンピュータ１０１は、ＬＡＮへの接続を提供する図示しないネットワークカードを含んでいてもよい。
【００６５】
コンピュータシステム１００に、上記実施の形態による情報処理装置の機能を実行させるプログラムは、ＣＤ−ＲＯＭ１２１、またはＦＤ１２２に記憶されて、ＣＤ−ＲＯＭドライブ１０５、またはＦＤドライブ１０６に挿入され、ハードディスク１１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ１０１に送信され、ハードディスク１１４に記憶されてもよい。プログラムは実行の際にＲＡＭ１１３にロードされる。なお、プログラムは、ＣＤ−ＲＯＭ１２１やＦＤ１２２、またはネットワークから直接、ロードされてもよい。
【００６６】
プログラムは、コンピュータ１０１に、上記実施の形態による情報処理装置の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム１００がどのように動作するのかについては周知であり、詳細な説明は省略する。
【００６７】
また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【００６８】
以上より、本発明による情報処理装置等によれば、部分コーパスを構成する１または２以上のサブコーパスを選択することができ、例えば、大きなコーパスから、そのコーパスよりも小さなコーパスを生成する装置として有用である。
【図面の簡単な説明】
【００６９】
【図１】本発明の実施の形態１による情報処理装置の構成を示すブロック図
【図２】同実施の形態による情報処理装置の動作を示すフローチャート
【図３】同実施の形態による情報処理装置の動作を示すフローチャート
【図４】同実施の形態における具体例で用いるコーパス等に関する説明を示す図
【図５】同実施の形態における各サブコーパスから生成された言語モデルを用いて算出された基準コーパスのパープレキシティーの一例を示す図
【図６】同実施の形態における正規化部分コーパスのサイズと、テストセットのパープレキシティーとの対応の一例を示す図
【図７】同実施の形態における正規化部分コーパスのサイズと、テストセットのパープレキシティーとの対応の一例を示す図
【図８】他の形態による情報処理装置の構成の一例を示す図
【図９】他の形態による情報処理装置の構成の一例を示す図
【図１０】言語モデルの一例を示す図
【図１１】同実施の形態におけるコンピュータシステムの外観一例を示す模式図
【図１２】同実施の形態におけるコンピュータシステムの構成の一例を示す図
【符号の説明】
【００７０】
１  情報処理装置
１１  コーパス記憶部
１２  コーパス分割部
１３  サブコーパス記憶部
１４  基準コーパス記憶部
１５  類似情報算出部
１６  選択部
１７  言語モデル生成部
１８  言語モデル蓄積部
２１  機械翻訳部
２２  音声認識部
【図１】
2008226104.tif 000004
【図２】
2008226104.tif 000005
【図３】
2008226104.tif 000006
【図４】
2008226104.tif 000007
【図５】
2008226104.tif 000008
【図６】
2008226104.tif 000009
【図７】
2008226104.tif 000010
【図８】
2008226104.tif 000011
【図９】
2008226104.tif 000012
【図１０】
2008226104.tif 000013
【図１１】
2008226104.tif 000014
【図１２】
2008226104.tif 000015