(57)【特許請求の範囲】
【請求項１】
複数の単語の一次元列としてのテキストデータから、互いに異なるＶ個の単語を抽出し、前記Ｖ個の単語の集合をＣ個の単語クラスに分割した第１のクラスタリングを生成するステップと、
前記第１のクラスタリングに基づいて生成された前記テキストデータの単語クラスの一次元列において、隣接する単語クラス間の粘着度が全て所定値以上の単語クラス列の集合を抽出するステップと、
前記単語クラス列に固有のトークンを対応させ、前記単語クラス列に属する単語列を前記テキストデータから検索し、前記テキストデータの単語列を対応するトークンで置換することにより、前記テキストデータについての単語とトークンとの一次元列を生成するステップと、
前記テキストデータについての単語とトークンとの一次元列において、互いに異なる単語と互いに異なるトークンとを抽出し、前記単語と前記トークンとが混在する集合を単語・トークンクラスに分割した第２のクラスタリングを生成するステップと、
前記テキストデータに存在する単語列のうち、前記トークンに対応するものを連語として抽出し、前記単語・トークンクラスの中のトークンを前記連語で置換することにより、前記単語と前記連語とが混在する集合を単語・連語クラスに分割した第３のクラスタリングを生成するステップとを備えることを特徴とする単語・連語分類処理方法。
【請求項２】
前記第１のクラスタリングは、前記単語クラスの平均相互情報量に基づいて生成されることを特徴とする請求項１に記載の単語・連語分類処理方法。
【請求項３】
前記第２のクラスタリングは、前記単語・トークンクラスの平均相互情報量に基づいて生成されることを特徴とする請求項１に記載の単語・連語分類処理方法。
【請求項４】
テキストデータに含まれる単語を分類した単語クラスを生成するステップと、
前記単語クラスを前記テキストデータの単語の一次元列にマッピングして単語クラスの一次元列を生成するステップと、
前記テキストデータの単語クラスの一次元列において、隣接する単語クラス間の粘着度が全て所定値以上の単語クラス列を、前記テキストデータの単語クラスの一次元列から抽出するステップと、
前記テキストデータに含まれる単語と前記単語クラス列とを一緒に分類するステップと、
前記単語クラス列を構成する個々の単語クラスから、前記テキストデータに隣接して存在する個々の単語を別々に取り出して連語を抽出するステップと、
前記単語クラス列を前記単語クラス列に属する連語で置換するステップとを備えることを特徴とする単語・連語分類処理方法。
【請求項５】
テキストデータに含まれる単語を分類した単語クラスを生成するステップと、
前記単語クラスを前記テキストデータの単語の一次元列にマッピングして単語クラスの一次元列を生成するステップと、
前記テキストデータの単語クラスの一次元列において、隣接する単語クラス間の粘着度が全て所定値以上の単語クラス列を、前記テキストデータの単語クラスの一次元列から抽出するステップと、
前記単語クラス列を構成する個々の単語クラスから、前記テキストデータに隣接して存在する個々の単語を別々に取り出して連語を抽出するステップとを備えることを特徴とする連語抽出方法。
【請求項６】
テキストデータの単語列から互いに異なる単語を抽出し、抽出された前記単語の集合を分割して単語クラスを生成する単語分類手段と、
前記テキストデータの単語の一次元列を構成する個々の単語を、前記単語が属する前記単語クラスで置換することにより、前記テキストデータの単語クラスの一次元列を生成する単語クラス列生成手段と、
前記テキストデータの単語クラスの一次元列において、隣接する単語クラス間の粘着度が全て所定値以上の単語クラス列を、前記テキストデータの単語クラスの一次元列から抽出する単語クラス列抽出手段と、
前記単語クラス列抽出手段により抽出された各単語クラス列にトークンを付与するトークン付与手段と、
前記テキストデータの単語の一次元列のうち、前記単語クラス列抽出手段により抽出された単語クラス列に属する単語列を前記トークンで置換することにより、前記テキストデータの単語・トークンの一次元列を生成する単語・トークン列生成手段と、
前記テキストデータの単語・トークンの一次元列に含まれる単語とトークンとが混在する集合を分割して単語・トークンクラスを生成する単語・トークン分類手段と、
前記単語・トークンクラスの中のトークンを、前記単語・トークン列生成手段により置換された単語列に逆置換して連語を生成する連語置換手段とを備えることを特徴とする単語・連語分類処理装置。
【請求項７】
前記単語分類手段は、
前記テキストデータの単語の一次元列から互いに異なる単語を抽出し、所定の出現頻度を有する単語のそれぞれに固有の単語クラスを割り当てる初期化クラス設定部と、
単語クラスの集合から２つの単語クラスを取り出して仮マージする仮マージ部と、
前記テキストデータの仮マージされた単語クラスについての平均相互情報量を算出する平均相互情報量算出部と、
前記単語クラスの集合のうち、前記平均相互情報量が最大である２つの単語クラスを本マージする本マージ部とを備えることを特徴とする請求項６に記載の単語・連語分類処理装置。
【請求項８】
前記単語クラス列抽出手段は、
前記テキストデータの単語クラスの一次元列から、隣接して存在する２つの単語クラスを順次に取り出す単語クラス取出部と、
前記単語クラス取出部により取り出した２つの単語クラスの相互情報量を算出する相互情報量算出部と、
前記相互情報量が所定のしきい値以上の２つの単語クラスをクラスチェーンで結ぶクラスチェーン結合部とを備えることを特徴とする請求項６に記載の単語・連語分類処理装置。
【請求項９】
前記単語・トークン分類手段は、
前記テキストデータの単語・トークンの一次元列から互いに異なる単語と互いに異なるトークンとを抽出し、所定の出現頻度を有する単語とトークンとのそれぞれに固有の単語・トークンクラスを割り当てる初期化クラス設定部と、
単語・トークンクラスの集合から２つの単語・トークンクラスを取り出して仮マージする仮マージ部と、
前記テキストデータの仮マージされた単語・トークンクラスについての平均相互情報量を算出する平均相互情報量算出部と、
前記単語・トークンクラスの集合のうち、前記平均相互情報量が最大である２つの単語・トークンクラスを本マージする本マージ部とを備えることを特徴とする請求項６に記載の単語・連語分類処理装置。
【請求項１０】
テキストデータに含まれる単語を分類した単語クラスを生成し、該単語クラスを該テキストデータの単語の一次元列にマッピングして単語クラスの一次元列を生成し、該テキストデータの単語クラスの一次元列において、隣接する単語クラス間の粘着度が全て所定値以上の単語クラス列を、該テキストデータの単語クラスの一次元列から抽出し、該単語クラス列を構成する個々の単語クラスから、該テキストデータに隣接して存在する個々の単語を別々に取り出して連語を抽出する連語抽出手段と、
前記テキストデータに含まれる単語と連語とを一緒に分類して、単語と連語とが混在するクラスを生成する単語・連語分類手段とを備えることを特徴とする単語連語分類処理装置。
【請求項１１】
前記クラスは、前記クラスの平均相互情報量に基づいて生成されることを特徴とする請求項１０に記載の単語・連語分類処理装置。
【請求項１２】
テキストデータに含まれる単語を分類して単語クラスを生成する単語分類手段と、
前記テキストデータの単語の一次元列を構成する個々の単語を、前記単語が属する前記単語クラスで置換することにより、前記テキストデータの単語クラスの一次元列を生成する単語クラス列生成手段と、
前記テキストデータの単語クラスの一次元列において、隣接する単語クラス間の粘着度が全て所定値以上の単語クラス列を、前記テキストデータの単語クラスの一次元列から抽出する単語クラス列抽出手段と、
前記単語クラス列を構成する個々の単語クラスから、前記テキストデータに隣接して存在する個々の単語を別々に取り出して連語を抽出する連語抽出手段とを備えることを特徴とする連語抽出装置。
【請求項１３】
前記単語クラスは、前記単語クラスの平均相互情報量に基づいて生成されることを特徴とする請求項１２に記載の連語抽出装置。
【請求項１４】
テキストデータに含まれる単語を分類した単語クラスを生成し、該単語クラスを該テキストデータの単語の一次元列にマッピングして単語クラスの一次元列を生成し、該テキストデータの単語クラスの一次元列において、隣接する単語クラス間の粘着度が全て所定値以上の単語クラス列を、該テキストデータの単語クラスの一次元列から抽出し、該単語クラス列を構成する個々の単語クラスから、該テキストデータに隣接して存在する個々の単語を別々に取り出して連語を抽出する連語抽出手段と、前記テキストデータに含まれる単語と連語とを一緒に分類して、単語と連語とが混在するクラスを生成する単語・連語分類手段とを備える単語連語分類処理装置によって、所定のテキストデータに含まれる単語と連語とを、単語と連語とが存在するクラスに分類し、該分類結果を格納している単語・連語辞書と、
前記単語・連語辞書と所定の隠れマルコフモデルとを参照することにより、発音音声を音声認識する音声認識手段とを備えることを特徴とする音声認識装置。
【請求項１５】
テキストデータに含まれる単語を分類した単語クラスを生成し、該単語クラスを該テキストデータの単語の一次元列にマッピングして単語クラスの一次元列を生成し、該テキストデータの単語クラスの一次元列において、隣接する単語クラス間の粘着度が全て所定値以上の単語クラス列を、該テキストデータの単語クラスの一次元列から抽出し、該単語クラス列を構成する個々の単語クラスから、該テキストデータに隣接して存在する個々の単語を別々に取り出して連語を抽出する連語抽出手段と、前記テキストデータに含まれる単語と連語とを一緒に分類して、単語と連語とが混在するクラスを生成する単語・連語分類手段とを備える単語連語分類処理装置によって、所定のテキストデータに含まれる単語と連語とを、単語と連語とが存在するクラスに分類し、該分類結果を格納している単語・連語辞書と、
用例原文と前記用例原文に対する用例訳文とを対応させて格納している用例文集と、
入力された原文の単語が属するクラスと同一のクラスに属する単語または連語により構成される用例原文を前記用例文集から検索する用例検索手段と、
前記用例原文に対する用例訳文の中の訳語を、入力された原文の単語に対する訳語に置換することにより、前記入力された原文に対する訳文を生成する用例適用手段と、
を備えることを特徴とする機械翻訳装置。
【請求項１６】
テキストデータの単語の一次元列から互いに異なる単語を抽出し、抽出された前記単語の集合を分割して単語クラスを生成する機能と、
前記テキストデータの単語の一次元列を構成する個々の単語を、前記単語が属する前記単語クラスで置換することにより、前記テキストデータの単語クラスの一次元列を生成する機能と、
前記テキストデータの単語クラスの一次元列から、隣接する単語クラス間の粘着度が全て所定値以上の単語クラス列を抽出する機能と、
前記単語クラス列にトークンを付与する機能と、
前記テキストデータの単語の一次元列のうち、前記単語クラス列に属する単語列を前記トークンで置換することにより、前記テキストデータの単語・トークンの一次元列を生成する機能と、
前記テキストデータの単語・トークンの一次元列に含まれる単語とトークンとが混在する集合を分割して単語・トークンクラスを生成する機能と、
前記単語・トークンクラスの中のトークンを、前記テキストデータに存在する単語列に逆置換して連語を生成する機能とをコンピュータに実行させるプログラムを格納したコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、単語・連語分類処理方法、連語抽出方法、単語・連語分類処理装置、音声認識装置、機械翻訳装置、連語抽出装置及び単語・連語記憶媒体に関し、特に、テキストデータの中から連語を自動的に抽出し、単語及び連語を自動的に分類する場合に好適なものである。
【０００２】
【従来の技術】
従来の単語分類処理装置には、例えば、「Ｂｒｏｗｎ，Ｐ．，Ｄｅｌｌａ  Ｐｉｅｔｒａ，Ｖ．，ｄｅＳｏｕｚａ，Ｐ．，Ｌａｉ，Ｊ．，Ｍｅｒｃｅｒ，Ｒ．（１９９２）“Ｃｌａｓｓ−Ｂａｓｅｄ  ｎ−ｇｒａｍ  Ｍｏｄｅｌｓ  ｏｆ  Ｎａｔｕｒａｌ  Ｌａｎｇｕａｇｅ”．Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｌｉｎｇｕｉｓｔｉｃｓ，Ｖｏｌ．１８，Ｎｏ４，ｐｐ．４６７−４７９」に記載されているように、テキストデータの中で使用されている単独の単語を統計的に処理することにより、単独の単語を自動的に分類するものがあり、この単独の単語の分類結果を用いて音声認識や機械翻訳を行っていた。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来の単語分類処理装置は、単語と連語とをまとめて自動的に分類することができず、単語と連語あるいは連語と連語の対応関係や類似度を用いて、音声認識や機械翻訳を行うことがきないため、音声認識や機械翻訳を正確に実行することができないという問題があった。
【０００４】
そこで、本発明の第１の目的は、単語と連語とをまとめて自動的に分類することが可能な単語・連語分類処理方法及び単語・連語分類処理装置を提供することである。
【０００５】
また、本発明の第２の目的は、大量のテキストデータから高速に連語を抽出することが可能な連語抽出装置を提供することである。
また、本発明の第３の目的は、単語と連語あるいは連語と連語の対応関係や類似度を用いることにより、正確な音声認識が可能な音声認識装置を提供することである。
【０００６】
また、本発明の第４の目的は、単語と連語あるいは連語と連語の対応関係や類似度を用いることにより、正確な機械翻訳が可能な機械翻訳装置を提供することである。
【０００７】
【課題を解決するための手段】
上述した第１の目的を達成するために、本発明によれば、テキストデータに含まれる単語と連語とを一緒に分類して、単語と連語とが混在するクラスを生成するようにしている。
【０００８】
このことにより、単語と単語とをまとめて分類するだけでなく、単語と連語あるいは連語と連語とをまとめて一緒に分類することができ、単語と連語あるいは連語と連語との対応関係や類似度を容易に判別することができる。
【０００９】
また、本発明の一態様によれば、単語を分類した単語クラスをテキストデータの単語の一次元列にマッピングして単語クラスの一次元列を生成し、テキストデータの単語クラスの一次元列において、隣接する単語クラス間の粘着度が全て所定値以上の単語クラス列を抽出してその単語クラス列にトークンを付与し、単語とトークンとを一緒に分類してから、トークンに対応する単語クラス列をその単語クラス列に属する連語で置換するようにしている。
【００１０】
このことにより、単語クラス列にトークンを付与してその単語クラス列を１つの単語とみなし、テキストデータに含まれる単語とトークンを付与された単語クラス列とを同等に取り扱って単語と連語との区別なく分類処理を行うことができる。また、単語を分類した単語クラスをテキストデータの単語の一次元列にマッピングして単語クラスの一次元列を生成し、隣接する単語クラス間の粘着度に基づいて連語を抽出することにより、テキストデータからの連語の抽出を高速に行うことができる。
【００１１】
また、上述した第２の目的を達成するために、本発明によれば、単語を分類した単語クラスをテキストデータの単語の一次元列にマッピングして単語クラスの一次元列を生成し、テキストデータの単語クラスの一次元列において、隣接する単語クラス間の粘着度が全て所定値以上の単語クラス列を抽出し、単語クラス列を構成する個々の単語クラスから、テキストデータに隣接して存在する個々の単語を別々に取り出して連語を抽出するようにしている。
【００１２】
このことにより、単語クラス列に基づいて連語を抽出することができ、テキストデータに存在する異なる単語の数よりも、それらの単語を分類した単語クラスの数のほうが少ないので、テキストデータの単語クラスの一次元列において、隣接する単語クラス間の粘着度が所定値以上の単語クラス列を抽出するほうが、テキストデータの単語の一次元列において、隣接する単語間の粘着度が所定値以上の単語列を抽出する場合に比べて、演算量及びメモリ容量を少なくすることができ、連語の抽出処理を高速に行うことができるとともに、メモリ資源を節約できる。なお、単語クラス列には、テキストデータの単語の一次元列に存在しない単語列が含まれている場合があるので、単語クラス列を構成する個々の単語クラスから、テキストデータに隣接して存在する個々の単語を別々に取り出して連語としている。
【００１３】
また、上述した第３の目的を達成するために、本発明によれば、所定のテキストデータに含まれる単語と連語とを、単語と連語とが混在するクラスに分類して格納している単語・連語辞書を参照することにより、発音音声を音声認識するようにしている。
【００１４】
このことにより、単語と連語あるいは連語と連語の対応関係や類似度を用いながら音声認識を行うことができ、正確な処理が可能になる。
また、上述した第４の目的を達成するために、本発明によれば、所定のテキストデータに含まれる単語と連語とを、単語と連語とが混在するクラスに分類して格納している単語・連語辞書に基づいて、用例文集に格納されている用例原文と入力された原文とを対応させるようにしている。
【００１５】
このことにより、用例文集に格納されている用例原文の単語が連語に置き換わった原文が入力された場合においても、入力された原文に用例原文を適用して機械翻訳を行うことができ、単語と連語あるいは連語と連語の対応関係や類似度を用いた正確な機械翻訳が可能になる。
【００１６】
【発明の実施の形態】
以下、本発明の一実施例に係わる単語・連語分類処理装置について図面を参照しながら説明する。この実施例は、所定のテキストデータに含まれる単語と連語とを、単語と連語とが混在するクラスに分類するものである。
【００１７】
図１は、本発明の一実施例に係わる単語・連語分類処理装置の機能的な構成を示すブロック図である。
図１において、単語分類手段１は、テキストデータの単語の一次元列から互いに異なる単語を抽出し、抽出された単語の集合を分割して単語クラスを生成する。
【００１８】
図２は、単語分類手段１の処理を説明するもので、テキストデータに含まれるＴ個の単語よりなる単語の一次元列（ｗ1 ｗ2 ｗ3 ｗ4 ・・・ｗT ）から、テキストデータでの出現頻度順に並べたＶ個のボキャブラリーとしての単語｛ｖ1 、ｖ2 、ｖ3 、ｖ4 、・・・、ｖV ｝を生成し、このテキストデータのボキャブラリーとしての単語｛ｖ1 、ｖ2 、ｖ3 、ｖ4 、・・・、ｖV ｝のそれぞれに初期化クラスを割り当てる。ここで、単語の個数Ｔ個は、例えば、５０００万個であり、ボキャブラリーの個数Ｖ個は、例えば、７０００個である。
【００１９】
図２の例では、テキストデータでの出現頻度が高い、例えば、“ｔｈｅ”、“ａ”、“ｉｎ”、“ｏｆ”が、それぞれボキャブラリーとしての単語ｖ1 、ｖ2 、ｖ3 、ｖ4 に対応している。初期化クラスを割り当てられたＶ個のボキャブラリーとしての単語｛ｖ1 、ｖ2 、ｖ3 、ｖ4 、・・・、ｖV ｝は、クラスタリングによりＣ個の単語クラス｛Ｃ1 、Ｃ2 、Ｃ3 、Ｃ4 、・・・、ＣC ｝に分割される。ここで、単語クラスの個数Ｃ個は、例えば、５００個である。
【００２０】
また、図２では、例えば、“ｓｐｅａｋ”、“ｓａｙ”、“ｔｅｌｌ”、“ｔａｌｋ”・・・が単語クラスＣ1 に分類され、“ｈｅ”、“ｓｈｅ”、“ｉｔ”・・・が単語クラスＣ5 に分類され、“ｃａｒ”、“ｔｒａｃｋ”、“ｗａｇｏｎ”・・・が単語クラスＣ32に分類され、“Ｔｏｙｏｔａ”、“Ｎｉｓｓａｎ”、“ＧＭ”・・・が単語クラスＣ300 に分類されている例を示している。
【００２１】
このＶ個のボキャブラリーとしての単語｛ｖ1 、ｖ2 、ｖ3 、ｖ4 、・・・、ｖV ｝よりなる単語の分類は、例えば、テキストデータに存在する２つの単語がおのおの属する２つの単語クラスをマージした場合、元のテキストデータの生成確率の減少が最も少なくなるものを同一の単語クラスに統合することにより行う。ここで、元のテキストデータのクラスバイモデルによる生成確率は、平均相互情報量ＡＭＩを用いて表現することができ、この平均相互情報量ＡＭＩは以下の式により表すことができる。
【００２２】
【数１】
0003875357.tif 000002
【００２３】
ここで、
Ｐｒ（Ｃi ）は、テキストデータの単語の一次元列（ｗ1 ｗ2 ｗ3 ｗ4 ・・・ｗT ）をその単語が属する単語クラスで置き換えた場合、そのテキストデータの単語クラスの一次元列でのクラスＣi の出現確率、
Ｐｒ（Ｃj ）は、テキストデータの単語の一次元列（ｗ1 ｗ2 ｗ3 ｗ4 ・・・ｗT ）をその単語が属する単語クラスで置き換えた場合、そのテキストデータの単語クラスの一次元列でのクラスＣj の出現確率、
Ｐｒ（Ｃi 、Ｃj ）は、テキストデータの単語の一次元列（ｗ1 ｗ2 ｗ3 ｗ4 ・・・ｗT ）を、その単語が属する単語クラスで置き換えた場合、そのテキストデータの単語クラスの一次元列での単語クラスＣi の次に隣接して単語クラスＣj が出現する確率である。
【００２４】
図３は、図１の単語分類手段１の機能的な構成の一例を示すブロック図である。
図３において、初期化クラス設定部１０は、テキストデータの単語の一次元列｛ｗ1 ｗ2 ｗ3 ｗ4 ・・・ｗT ｝から互いに異なる単語を抽出し、所定の出現頻度を有する単語｛ｖ1 、ｖ2 、ｖ3 、ｖ4 、・・・、ｖV ｝のそれぞれに固有の単語クラス｛Ｃ1 、Ｃ2 、Ｃ3 、Ｃ4 、・・・、ＣV ｝を割り当てる。
【００２５】
仮マージ部１１は、単語クラスの集合｛Ｃ1 、Ｃ2 、Ｃ3 、Ｃ4 、・・・、ＣM ｝から２つの単語クラス｛Ｃi 、Ｃj ｝を取り出して仮マージする。
平均相互情報量算出部１２は、テキストデータの仮マージされた単語クラス｛Ｃ1 、Ｃ2 、Ｃ3 、Ｃ4 、・・・、ＣM-1 ｝についての平均相互情報量ＡＭＩを（１）式により算出する。この場合、Ｍ個の単語クラスの集合｛Ｃ1 、Ｃ2 、Ｃ3 、Ｃ4 、・・・、ＣM ｝から２つの単語クラス｛Ｃi 、Ｃj ｝を取り出だす取り出しかたは、Ｍ（Ｍ−１）／２個だけ存在するので、Ｍ（Ｍ−１）／２回の平均相互情報量ＡＭＩの計算を行う必要がある。
【００２６】
本マージ部１３は、仮マージにより計算されたＭ（Ｍ−１）／２個の平均相互情報量ＡＭＩの基づいて、平均相互情報量ＡＭＩを最大とする２つの単語クラス｛Ｃi 、Ｃj ｝を単語クラスの集合｛Ｃ1 、Ｃ2 、Ｃ3 、Ｃ4 、・・・、ＣM ｝から取り出して本マージする。このことにより、本マージされたいずれかの単語クラス｛Ｃi 、Ｃj ｝に属する単語は、同一の単語クラスに分類される。
【００２７】
図１の単語クラス列生成手段２は、テキストデータの単語列（ｗ1 ｗ2 ｗ3 ｗ4 ・・・ｗT ）を構成する個々の単語を、単語が属する単語クラス｛Ｃ1 、Ｃ2、Ｃ3 、Ｃ4 、・・・、ＣV ｝で置換することにより、テキストデータの単語クラス列を生成する。
【００２８】
図４は、テキストデータの単語クラスの一次元列の一例を示す図である。
図４において、単語分類手段１によりＣ個の単語クラス｛Ｃ1 、Ｃ2 、Ｃ3 、Ｃ4 、・・・、ＣC ｝が生成されているものとし、例えば、単語クラスＣ1 には、ボキャブラリーｖ1 、ｖ37、・・・が属しており、単語クラスＣ2 には、ボキャブラリーｖ3 、ｖ15、・・・が属しており、単語クラスＣ3 には、ボキャブラリーｖ2 、ｖ4 、・・・が属しており、単語クラスＣ4 には、ボキャブラリーｖ7 、ｖ9 、・・・が属しており、単語クラスＣ5 には、ボキャブラリーｖ6 、ｖ8 、ｖ26、ｖV 、・・・が属しており、単語クラスＣ6 には、ボキャブラリーｖ6 、ｖ23、・・・が属しており、単語クラスＣ7 には、ボキャブラリーｖ5 、ｖ10、・・・が属しているものとする。
【００２９】
また、テキストデータの単語の一次元列（ｗ1 ｗ2 ｗ3 ｗ4 ・・・ｗT ）において、例えば、単語ｗ1 が示すボキャブラリーとしての単語がｖ15、単語ｗ2 が示すボキャブラリーとしての単語がｖ2 、単語ｗ3 が示すボキャブラリーとしての単語がｖ23、単語ｗ4 が示すボキャブラリーとしての単語がｖ4 、単語ｗ5 が示すボキャブラリーとしての単語がｖ5 、単語ｗ6 が示すボキャブラリーとしての単語がｖ15、単語ｗ7 が示すボキャブラリーとしての単語がｖ5 、単語ｗ8 が示すボキャブラリーとしての単語がｖ26、単語ｗ9 が示すボキャブラリーとしての単語がｖ37、単語ｗ10が示すボキャブラリーとしての単語がｖ2 、・・・、単語ｗT が示すボキャブラリーとしての単語がｖ8 であるとする。
【００３０】
この場合、ボキャブラリーｖ15は単語クラスＣ2 に属しているので、単語ｗ1 は単語クラスＣ2 にマッピングされ、ボキャブラリーｖ2 は単語クラスＣ3 に属しているので、単語ｗ2 は単語クラスＣ3 にマッピングされ、ボキャブラリーｖ23は単語クラスＣ6 に属しているので、単語ｗ3 は単語クラスＣ6 にマッピングされ、ボキャブラリーｖ4 は単語クラスＣ3 に属しているので、単語ｗ4 は単語クラスＣ3 にマッピングされ、ボキャブラリーｖ5 は単語クラスＣ7 に属しているので、単語ｗ5 は単語クラスＣ7 にマッピングされ、ボキャブラリーｖ15は単語クラスＣ2 に属しているので、単語ｗ6 は単語クラスＣ2 にマッピングされ、ボキャブラリーｖ5 は単語クラスＣ7 に属しているので、単語ｗ7 は単語クラスＣ7 にマッピングされ、ボキャブラリーｖ26は単語クラスＣ5 に属しているので、単語ｗ8 は単語クラスＣ5 にマッピングされ、ボキャブラリーｖ37は単語クラスＣ1 に属しているので、単語ｗ9 は単語クラスＣ1 にマッピングされ、ボキャブラリーｖ2 は単語クラスＣ3 に属しているので、単語ｗ10は単語クラスＣ3 にマッピングされ、・・・、ボキャブラリーｖ8 は単語クラスＣ5 に属しているので、単語ｗT は単語クラスＣ5 にマッピングされる。
【００３１】
すなわち、テキストデータの単語の一次元列（ｗ1 ｗ2 ｗ3 ｗ4 ・・・ｗT ）が、Ｃ個の単語クラス｛Ｃ1 、Ｃ2 、Ｃ3 、Ｃ4 、・・・、ＣC ｝によりマッピングされた結果として、テキストデータの単語クラスの一次元列（Ｃ2 Ｃ3 Ｃ6 Ｃ3 Ｃ7 Ｃ2 Ｃ7 Ｃ5 Ｃ1 Ｃ3 ・・・Ｃ5 ）が１対１対応で生成される。
【００３２】
図１の単語クラス列抽出手段３は、テキストデータの単語クラスの一次元列においての単語クラス間の粘着度が全て所定値以上の単語クラス列を、テキストデータの単語クラスの一次元列から抽出する。ここで、単語クラス間の粘着度は、単語クラス列を構成する単語クラス間のつながりの強さを示す指標であり、この粘着度を表現するものとして、例えば、相互情報量ＭＩ、相関係数、コサインメジャー、ｌｉｋｌｉｈｏｏｄ  ｒａｔｉｏなどがある。
【００３３】
以下の説明では、単語クラス間の粘着度として、相互情報量ＭＩを用いることにより、テキストデータの単語クラスの一次元列から単語クラス列を抽出する場合を例にとる。
【００３４】
図５は、単語クラス列抽出手段３により抽出された単語クラス列の一例を示す図である。
図５において、テキストデータの単語の一次元列（ｗ1 ｗ2 ｗ3 ｗ4 ｗ5 ｗ6 ｗ7 ・・・ｗT ）に対してマッピングされた結果として、テキストデータの単語クラスの一次元列（Ｃ2 Ｃ3 Ｃ6 Ｃ3 Ｃ7 Ｃ2 Ｃ7 ・・・Ｃ5 ）が１対１対応で生成されているものとする。このテキストデータの単語クラスの一次元列（Ｃ2 Ｃ3 Ｃ6 Ｃ3 Ｃ7 Ｃ2 Ｃ7 ・・・Ｃ5 ）から、隣接する２つの単語クラス（Ｃi 、Ｃj ）を順次に取り出し、隣接する２つの単語クラス（Ｃi 、Ｃj ）についての相互情報量ＭＩ（Ｃi 、Ｃj ）を、以下の（２）式により計算する。
【００３５】
0003875357.tif 000003
そして、隣接する２つの単語クラス（Ｃi 、Ｃj ）についての相互情報量ＭＩ（Ｃi 、Ｃj ）が所定のしきい値ＴＨ以上の場合、これら隣接する２つの単語クラス（Ｃi 、Ｃj ）をクラスチェーンで結んで互いに関連づける。
【００３６】
例えば、図５において、隣接する２つの単語クラス（Ｃ2 、Ｃ3 ）についての相互情報量ＭＩ（Ｃ2 、Ｃ3 ）、隣接する２つの単語クラス（Ｃ3 、Ｃ6 ）についての相互情報量ＭＩ（Ｃ3 、Ｃ6 ）、隣接する２つの単語クラス（Ｃ6 、Ｃ3 ）についての相互情報量ＭＩ（Ｃ6 、Ｃ3 ）、隣接する２つの単語クラス（Ｃ3 、Ｃ7 ）についての相互情報量ＭＩ（Ｃ3 、Ｃ7 ）、隣接する２つの単語クラス（Ｃ7 、Ｃ2 ）についての相互情報量ＭＩ（Ｃ7 、Ｃ2 ）、隣接する２つの単語クラス（Ｃ2 、Ｃ7 ）についての相互情報量ＭＩ（Ｃ2 、Ｃ7 ）、・・・を（２）式により順次に計算する。
【００３７】
そして、相互情報量ＭＩ（Ｃ2 、Ｃ3 ）、相互情報量ＭＩ（Ｃ3 、Ｃ7 ）、相互情報量ＭＩ（Ｃ7 、Ｃ2 ）、・・・がしきい値ＴＨ以上で、相互情報量ＭＩ（Ｃ3 、Ｃ6 ）、相互情報量ＭＩ（Ｃ6 、Ｃ3 ）、相互情報量ＭＩ（Ｃ2 、Ｃ7 ）、・・・がしきい値ＴＨより小さい場合、隣接する２つの単語クラス（Ｃ2 、Ｃ3 ）、（Ｃ3 、Ｃ7 ）、（Ｃ7 、Ｃ2 ）、・・・をそれぞれクラスチェーンで結ぶことにより、単語クラス列Ｃ2 −Ｃ3 、Ｃ3 −Ｃ7 −Ｃ2 、・・・を抽出する。
【００３８】
図６は、図１の単語クラス列抽出手段３の機能的な構成の一例を示すブロック図である。
図６において、単語クラス取出部３０は、テキストデータの単語クラスの一次元列から、隣接して存在する２つの単語クラス（Ｃi 、Ｃj ）を順次に取り出す。
【００３９】
相互情報量算出部３１は、単語クラス取出部３０により取り出した２つの単語クラス（Ｃi 、Ｃj ）の相互情報量ＭＩ（Ｃi 、Ｃj ）を（２）式により算出する。
【００４０】
クラスチェーン結合部３２は、相互情報量ＭＩ（Ｃi 、Ｃj ）が所定のしきい値以上の２つの単語クラス（Ｃi 、Ｃj ）をクラスチェーンで結ぶ。
図１のトークン付与手段４は、単語クラス列抽出手段３によりクラスチェーンで結ばれた単語クラス列にトークンを付与する。
【００４１】
図７は、トークン付与手段４により付与されたトークンの一例を示す図である。
図７において、クラスチェーンで結ばれた単語クラス列は、例えば、Ｃ1 −Ｃ3 、Ｃ1 −Ｃ7 、・・・、Ｃ2 −Ｃ3 、Ｃ2 −Ｃ11、・・・、Ｃ300 −Ｃ32、・・・、Ｃ1 −Ｃ3 −Ｃ80、Ｃ1 −Ｃ4 −Ｃ5 、Ｃ3 −Ｃ7 −Ｃ2 、・・・、Ｃ1 −Ｃ9 −Ｃ11−Ｃ32、・・・とする。この場合、単語クラス列Ｃ1 −Ｃ3 に対してトークンｔ1 を付与し、単語クラス列Ｃ1 −Ｃ7 に対してトークンｔ2 を付与し、・・・、単語クラス列Ｃ2 −Ｃ3 に対してトークンｔ3 を付与し、単語クラス列Ｃ2 −Ｃ11に対してトークンｔ4 を付与し、・・・、単語クラス列Ｃ300 −Ｃ32に対してトークンｔ5 を付与し、、・・・、単語クラス列Ｃ1 −Ｃ3 −Ｃ80に対してトークンｔ6 を付与し、単語クラス列Ｃ1 −Ｃ4 −Ｃ5 に対してトークンｔ7 を付与し、単語クラス列Ｃ3 −Ｃ7 −Ｃ2 に対してトークンｔ8 を付与し、・・・、単語クラス列Ｃ1 −Ｃ9 −Ｃ11−Ｃ32に対してトークンｔ9 を付与する。
【００４２】
図１の単語・トークン列生成手段５は、テキストデータの単語の一次元列（ｗ1 ｗ2 ｗ3 ｗ4 ｗ5 ｗ6 ｗ7 ・・・ｗT ）のうち、単語クラス列抽出手段４により抽出された単語クラス列に属する単語列をトークンで置換することにより、テキストデータの単語・トークンの一次元列を生成する。
【００４３】
図８は、テキストデータの単語・トークンの一次元列の一例を示す図である。図８において、テキストデータの単語の一次元列（ｗ1 ｗ2 ｗ3 ｗ4 ｗ5 ｗ6 ｗ7 ・・・ｗT ）に対してマッピングされた結果として、テキストデータの単語クラスの一次元列（Ｃ2 Ｃ3 Ｃ6 Ｃ3 Ｃ7 Ｃ2 Ｃ7 ・・・Ｃ5 ）が１対１対応で生成されているものとし、クラスチェーンで結ばれた単語クラス列Ｃ2 −Ｃ3 、Ｃ3 −Ｃ7 −Ｃ2 、・・・に対して、図７に示すように、トークンｔ3 、ｔ8 、・・・が付与されているものとする。
【００４４】
この場合、クラスチェーンで結ばれた単語クラス列Ｃ2 −Ｃ3 に属するテキストデータの単語列（ｗ1 ｗ2 ）をトークンｔ3 で置き換え、クラスチェーンで結ばれた単語クラス列Ｃ3 −Ｃ7 −Ｃ2 に属するテキストデータの単語列（ｗ4 ｗ5 ｗ6 ）をトークンｔ8 で置き換えることにより、テキストデータの単語・トークンの一次元列（ｔ3 ｗ3 ｔ8 ｗ7 ・・・ｗT ）を生成する。
【００４５】
図９は、テキストデータの単語・トークンの一次元列の一例を英文を例にとって示す図である。
図９（ｂ）のテキストデータの単語の一次元列（ｗ1 ｗ2 ｗ3 ｗ4 ｗ5 ｗ6 ｗ7 ｗ8 ｗ9 ｗ10ｗ11ｗ12ｗ13ｗ14ｗ15）として、図９（ａ）の“Ｈｅ  ｗｅｎｔｔｏ  ｔｈｅ  ａｐａｒｔｍｅｎｔ  ｂｙ  ｂｕｓ  ａｎｄ  ｓｈｅ  ｗｅｎｔ  ｔｏ  Ｎｅｗ  Ｙｏｒｋ  ｂｙ  ｐｌａｎｅ”が対応しているものとし、この単語の一次元列（ｗ1 ｗ2 ｗ3 ｗ4 ｗ5 ｗ6 ｗ7 ｗ8 ｗ9 ｗ10ｗ11ｗ12ｗ13ｗ14ｗ15）に１対１で対応する単語クラスの一次元列が図９（ｃ）の（Ｃ5 Ｃ90Ｃ3 Ｃ21Ｃ18Ｃ101 Ｃ32Ｃ2 Ｃ5 Ｃ90Ｃ3 Ｃ63Ｃ28Ｃ101 Ｃ32）で与えられるものとする。
【００４６】
この単語クラスの一次元列（Ｃ5 Ｃ90Ｃ3 Ｃ21Ｃ18Ｃ101 Ｃ32Ｃ2 Ｃ5 Ｃ90Ｃ3 Ｃ63Ｃ28Ｃ101 Ｃ32）において、隣接する２つの単語クラス（Ｃi 、Ｃj ）の相互情報量ＭＩ（Ｃi 、Ｃj ）を計算し、相互情報量ＭＩ（Ｃ63、Ｃ28）が所定のしきい値ＴＨ以上、相互情報量ＭＩ（Ｃ5 、Ｃ90）、ＭＩ（Ｃ90、Ｃ3 ）、ＭＩ（Ｃ3 、Ｃ21）、ＭＩ（Ｃ21、Ｃ18）、ＭＩ（Ｃ18、Ｃ101 ）、ＭＩ（Ｃ101 、Ｃ32）、ＭＩ（Ｃ32、Ｃ2 ）、ＭＩ（Ｃ2 、Ｃ5 ）、ＭＩ（Ｃ5 、Ｃ90）、ＭＩ（Ｃ90、Ｃ3 ）、ＭＩ（Ｃ3 、Ｃ63）、ＭＩ（Ｃ28、Ｃ101）及びＭＩ（Ｃ101 、Ｃ32）が所定のしきい値ＴＨより小さい場合、隣接する２つの単語クラス（Ｃ63、Ｃ28）が、図９（ｄ）に示すように、クラスチェーンで結ばれる。
【００４７】
このクラスチェーンで結ばれた２つの単語クラス（Ｃ63、Ｃ28）はトークンｔ1 に置き換えられ、図９（ｅ）に示すように、単語・トークンの一次元列（ｗ1 ｗ2 ｗ3 ｗ4 ｗ5 ｗ6 ｗ7 ｗ8 ｗ9 ｗ10ｗ11ｔ1 ｗ14ｗ15）が生成される。
【００４８】
図１の単語・トークン分類手段６は、テキストデータの単語・トークンの一次元列のＮ個の単語の集合｛ｗ1 、ｗ2 、ｗ3 、ｗ4 、・・・、ｗN ｝又はＬ個のトークンの集合｛ｔ1 、ｔ2 、ｔ3 、ｔ4 、・・・、ｔL ｝を分割することにより、単語とトークンとが混在して存在するＤ個の単語・トークンクラス｛Ｔ1 、Ｔ2 、Ｔ3 、Ｔ4 、・・・、ＴD ｝を生成する。
【００４９】
この単語・トークン分類手段６では、トークンを付与された単語クラス列が１つの単語のようにみなされ、テキストデータに含まれる単語｛ｗ1 、ｗ2 、ｗ3 、ｗ4 、・・・、ｗN ｝とトークン｛ｔ1 、ｔ2 、ｔ3 、ｔ4 、・・・、ｔL ｝とを同等に取り扱うことができるので、単語｛ｗ1 、ｗ2 、ｗ3 、ｗ4 、・・・、ｗN ｝とトークン｛ｔ1 、ｔ2 、ｔ3 、ｔ4 、・・・、ｔL ｝との区別なく分類処理を行うことができる
図１０は、図１の単語・トークン分類手段６の機能的な構成を示すブロック図である。
【００５０】
図１０において、初期化クラス設定部４０は、テキストデータの単語・トークン列から互いに異なる単語と互いに異なるトークンとを抽出し、所定の出現頻度を有するＮ個の単語｛ｗ1 、ｗ2 、ｗ3 、ｗ4 、・・・、ｗN ｝とＬ個のトークン｛ｔ1 、ｔ2 、ｔ3 、ｔ4 、・・・、ｔL ｝とのそれぞれに固有の単語・トークンクラス｛Ｔ1 、Ｔ2 、Ｔ3 、Ｔ4 、・・・、ＴY ｝を割り当てる。
【００５１】
仮マージ部４１は、単語・トークンクラスの集合｛Ｔ1 、Ｔ2 、Ｔ3 、Ｔ4 、・・・、ＴM ｝から２つの単語・トークンクラス｛Ｔi 、Ｔj ｝を取り出して仮マージする。
【００５２】
平均相互情報量算出部４２は、テキストデータの仮マージされた単語・トークンクラス｛Ｔ1 、Ｔ2 、Ｔ3 、Ｔ4 、・・・、ＴM-1 ｝についての平均相互情報量ＡＭＩを（１）式により算出する。この場合、Ｍ個の単語クラス・トークンクラスの集合｛Ｔ1 、Ｔ2 、Ｔ3 、Ｔ4 、・・・、ＴM ｝から、２つの単語・トークンクラス｛Ｔi 、Ｔj ｝を取り出だす取り出しかたは、Ｍ（Ｍ−１）／２個だけ存在するので、Ｍ（Ｍ−１）／２回の平均相互情報量ＡＭＩの計算を行う必要がある。
【００５３】
本マージ部４３は、仮マージにより計算されたＭ（Ｍ−１）／２個の平均相互情報量ＡＭＩの基づいて、平均相互情報量ＡＭＩを最大とする２つの単語・トークンクラス｛Ｔi 、Ｔj ｝を単語クラス・トークンクラスの集合｛Ｔ1 、Ｔ2 、Ｔ3 、Ｔ4 、・・・、ＴM ｝から取り出して本マージする。このことにより、本マージされたいずれかの単語・トークンクラス｛Ｔi 、Ｔj ｝に属する単語及びトークンは、同一の単語クラス・トークンクラスに分類される。
【００５４】
図１の連語置換手段７は、単語・トークンクラスの中のトークンを、単語・トークン列生成手段５により置換された単語列に逆置換して連語を生成する。
図１１は、クラスチェーンと連語との関係を説明する図である。
【００５５】
図１１において、例えば、単語クラスＣ300 と単語クラスＣ32とがクラスチェーンで結ばれ、このクラスチェーンで結ばれた単語クラス列Ｃ300 −Ｃ32にトークンｔ5 が付与されているとする。また、単語“Ｔｏｙｏｔａ”、“Ｎｉｓｓａｎ”、“ＧＭ”・・・などのＡ個の単語が単語クラスＣ300 に属し、単語“ｃａｒ”、“ｔｒａｃｋ”、“ｗａｇｏｎ”・・・などのＢ個の単語が単語クラスＣ32に属しているものとする。
【００５６】
この場合、連語の候補として、図１１（ｂ）に示すように、“Ｔｏｙｏｔａ  ｃａｒ”、“Ｔｏｙｏｔａ  ｔｒａｃｋ”、“Ｔｏｙｏｔａ  ｗａｇｏｎ”、  “Ｎｉｓｓａｎ  ｃａｒ”、“Ｎｉｓｓａｎ  ｔｒａｃｋ”、“Ｎｉｓｓａｎ  ｗａｇｏｎ”、“ＧＭ  ｃａｒ”、“ＧＭ  ｔｒａｃｋ”、“ＧＭ  ｗａｇｏｎ”、・・・など、単語クラスＣ300 に属するＡ個の単語と単語クラスＣ32に属するＢ個の単語との順列の数Ａ×Ｂだけ連語の候補が生成される。この連語の候補の中にはテキストデータに存在しない連語も含まれているので、テキストデータをスキャンすることにより、これらの連語の候補からテキストデータに存在する連語のみを抽出する。例えば、テキストデータには、“Ｎｉｓｓａｎ  ｔｒａｃｋ”及び“Ｔｏｙｏｔａ  ｗａｇｏｎ”は存在するが、“Ｔｏｙｏｔａ  ｃａｒ”、“Ｔｏｙｏｔａ  ｔｒａｃｋ”、  “Ｎｉｓｓａｎ  ｃａｒ”、“Ｎｉｓｓａｎ  ｗａｇｏｎ”、“ＧＭ  ｃａｒ”、“ＧＭ  ｔｒａｃｋ”及び“ＧＭ  ｗａｇｏｎ”は存在しない場合、図１１（ｃ）に示すように、“Ｎｉｓｓａｎ  ｔｒａｃｋ”及び“Ｔｏｙｏｔａ  ｗａｇｏｎ”のみが連語としてテキストデータから抽出される。
【００５７】
図１２は、Ｃ個の単語クラス｛Ｃ1 、Ｃ2 、Ｃ3 、Ｃ4 、・・・、ＣC ｝、Ｄ個の単語・トークンクラス｛Ｔ1 、Ｔ2 、Ｔ3 、Ｔ4 、・・・、ＴD ｝及びＤ個の単語・連語クラス｛Ｒ1 、Ｒ2 、Ｒ3 、Ｒ4 、・・・、ＲD ｝の一例を示す図である。
【００５８】
図１２（ａ）において、Ｃ個の単語クラス｛Ｃ1 、Ｃ2 、Ｃ3 、Ｃ4 、・・・、ＣC ｝が、図１の単語分類手段１により生成され、例えば、“ｈｅ”、“ｓｈｅ”、“ｉｔ”・・・などの単語が単語クラスＣ5 に属し、“Ｙｏｒｋ”、“Ｌｏｎｄｏｎ”・・・などの単語が単語クラスＣ28に属し、“ｃａｒ”、“ｔｒａｃｋ”、“ｗａｇｏｎ”・・・などの単語が単語クラスＣ32に属し、“ｎｅｗ”、“ｏｌｄ”・・・などの単語が単語クラスＣ63に属し、“Ｔｏｙｏｔａ”、“Ｎｉｓｓａｎ”、“ＧＭ”・・・などの単語が単語クラスＣ300 に属しているものとする。また、テキストデータには、“Ｎｅｗ  Ｙｏｒｋ”、“Ｎｉｓｓａｎｔｒａｃｋ”及び“Ｔｏｙｏｔａ  ｗａｇｏｎ”の連語が多数存在しているものとする。
【００５９】
このＣ個の単語クラス｛Ｃ1 、Ｃ2 、Ｃ3 、Ｃ4 、・・・、ＣC ｝をテキストデータの単語の一次元列（ｗ1 ｗ2 ｗ3 ｗ4 ・・・ｗT ）に１対１対応でマッピングした単語クラスの一次元列において、図１の単語クラス列抽出手段３は、“ｎｅｗ”が属する単語クラスＣ63と“Ｙｏｒｋ”が属する単語クラスＣ28との粘着度が大きいと判断し、単語クラスＣ63と単語クラスＣ28とをクラスチェーンで結ぶ。また、単語クラス列抽出手段３は、“Ｔｏｙｏｔａ”及び“Ｎｉｓｓａｎ”が属する単語クラスＣ300 と“ｔｒａｃｋ”及び“ｗａｇｏｎ”が属する単語クラスＣ32との粘着度が大きいと判断し、単語クラスＣ300 と単語クラスＣ32とをクラスチェーンで結ぶ。
【００６０】
トークン付与手段４は、単語クラス列Ｃ63−Ｃ28にトークンｔ1 を付与し、単語クラス列Ｃ300 −Ｃ32にトークンｔ5 を付与する。
単語・トークン列生成手段５は、テキストデータの単語の一次元列（ｗ1 ｗ2 ｗ3 ｗ4 ・・・ｗT ）に存在する“Ｎｅｗ  Ｙｏｒｋ”をトークンｔ1 で置き換え、テキストデータの単語の一次元列（ｗ1 ｗ2 ｗ3 ｗ4 ・・・ｗT ）に存在する“Ｎｉｓｓａｎ  ｔｒａｃｋ”及び“Ｔｏｙｏｔａ  ｗａｇｏｎ”をトークンｔ5 で置き換えた単語・トークンの一次元列を生成する。
【００６１】
単語・トークン分類手段６は、この単語・トークンの一次元列に存在する“ｈｅ”、“ｓｈｅ”、“ｉｔ”、“Ｌｏｎｄｏｎ”、“ｃａｒ”、“ｔｒａｃｋ”、“ｗａｇｏｎ”・・・などの単語及び“ｔ1 ”、“ｔ5 ”などのトークンについての分類処理を行い、図１２（ｂ）のＤ個の単語・トークンクラス｛Ｔ1 、Ｔ2 、Ｔ3 、Ｔ4 、・・・、ＴD ｝を生成する。
【００６２】
単語・トークンクラス｛Ｔ1 、Ｔ2 、Ｔ3 、Ｔ4 、・・・、ＴD ｝において、例えば、“ｈｅ”、“ｓｈｅ”、“ｉｔ”・・・などの単語やトークンが単語・トークンクラスＴ5 に属し、“ｔ1 ”、“Ｌｏｎｄｏｎ”・・・などの単語やトークンが単語・トークンクラスＴ28に属し、“ｃａｒ”、“ｔｒａｃｋ”、“ｗａｇｏｎ”、“ｔ5 ”・・・などの単語やトークンが単語・トークンクラスＴ32に属し、“ｎｅｗ”、“ｏｌｄ”・・・などの単語やトークンが単語・トークンクラスＴ63に属し、“Ｔｏｙｏｔａ”、“Ｎｉｓｓａｎ”、“ＧＭ”・・・などの単語やトークンが単語・トークンクラスＴ300 に属している。このように、単語・トークンクラス｛Ｔ1 、Ｔ2 、Ｔ3 、Ｔ4 、・・・、ＴD ｝には、単語とトークンとの区別なく、単語とトークンとが混在して分類されている。
【００６３】
連語置換手段７は、図１２（ｂ）の単語・トークンクラス｛Ｔ1 、Ｔ2 、Ｔ3 、Ｔ4 、・・・、ＴD ｝に存在する“ｔ1 ”、“ｔ5 ”などのトークンを、テキストデータの単語の一次元列に存在する連語で逆置換することにより、図１２（ｃ）の単語・連語クラス｛Ｒ1 、Ｒ2 、Ｒ3 、Ｒ4 、・・・、ＲD ｝を生成する。例えば、単語・トークンクラスＴ28に属しているトークンｔ1 は、  単語・トークン列生成手段５により、テキストデータの単語の一次元列に存在する“Ｎｅｗ  Ｙｏｒｋ”と置換されたものなので、このトークンｔ1 を“Ｎｅｗ  Ｙｏｒｋ”で逆置換することにより、単語・連語クラスＲ28を生成し、単語・トークンクラスＴ32に属しているトークンｔ5 は、単語・トークン列生成手段５により、テキストデータの単語の一次元列に存在する“Ｎｉｓｓａｎ  ｔｒａｃｋ”及び“Ｔｏｙｏｔａ  ｗａｇｏｎ”と置換されたものなので、このトークンｔ5 を“Ｎｉｓｓａｎ  ｔｒａｃｋ”及び“Ｔｏｙｏｔａ  ｗａｇｏｎ”で逆置換することにより、単語・連語クラスＲ32を生成する。
【００６４】
図１３は、図１の単語・連語分類処理装置を実現するシステム構成を示すブロック図である。
図１３において、単語・連語分類処理部４１のメモリインターフェース４２、４６、ＣＰＵ４３、ＲＯＭ４４、ワークＲＡＭ４５、ＲＡＭ４７、ドライバ７１及び通信インタフェース７２はバス４８を介して互いに接続され、テキストデータ４０が単語・連語分類処理部４１に入力されると、ＲＯＭ４４に格納されているプログラムに従って、ＣＰＵ４３はテキストデータ４０を処理し、テキストデータ４０の単語及び連語の分類処理を行う。テキストデータ４０の単語及び連語の分類処理結果は、単語・連語辞書４９に格納される。なお、テキストデータ４０や単語及び連語の分類処理結果を通信インタフェース７２から通信ネットワーク７３を介して送信したり、受信したりすることも可能である。
【００６５】
また、単語及び連語の分類処理を行うプログラムを、ハードディスク７４、ＩＣメモリカード７５、磁気テープ７６、フロッピーディスク７７またはＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの光ディスク７８による記憶媒体からＲＡＭ４７にロードした後、このプログラムをＣＰＵ４３で実行させるようにしてもよい。
【００６６】
さらに、単語及び連語の分類処理を行うプログラムを、通信インタフェース７２を介して通信ネットワーク７３から取り出すこともできる。通信インタフェース７２と接続される通信ネットワーク７３として、例えば、ＬＡＮ（ＬｏｃａｌＡｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネット、アナログ電話網、デジタル電話網（ＩＳＤＮ：Ｉｎｔｅｇｒａｌ  Ｓｅｒｖｉｃｅ  Ｄｉｇｉｔａｌ  Ｎｅｔｗｏｒｋ）、ＰＨＳ（パーソナルハンディシステム）や衛星通信などの無線通信網などを用いることが可能である。
【００６７】
図１４は、図１の単語・連語分類処理装置の動作を示すフローチャートである。
図１４において、まず、ステップＳ１に示すように、単語クラスタリング処理を行う。この単語クラスタリング処理では、複数の単語の一次元列（ｗ1 ｗ2 ｗ3 ｗ4 ・・・ｗT ）としてのテキストデータから、互いに異なるＶ個の単語｛ｖ1 、ｖ2 、ｖ3 、ｖ4 、・・・、ｖV ｝を抽出し、Ｖ個の単語の集合｛ｖ1 、ｖ2 、ｖ3 、ｖ4 、・・・、ｖV ｝をＣ個の単語クラス｛Ｃ1 、Ｃ2 、Ｃ3 、Ｃ4 、・・・、ＣC ｝に分割する第１のクラスタリング処理を行う。
【００６８】
ここで、Ｖ個の単語｛ｖ1 、ｖ2 、ｖ3 、ｖ4 、・・・、ｖV ｝それぞれに単語クラス｛Ｃ1 、Ｃ2 、Ｃ3 、Ｃ4 、・・・、ＣV ｝を割り当ててから、Ｖ個の単語クラス｛Ｃ1 、Ｃ2 、Ｃ3 、Ｃ4 、・・・、ＣV ｝についてマージ処理を行うことにより、Ｖ個の単語クラス｛Ｃ1 、Ｃ2 、Ｃ3 、Ｃ4 、・・・、ＣV ｝の個数を１つずつ減らしてＣ個の単語クラス｛Ｃ1 、Ｃ2 、Ｃ3 、Ｃ4 、・・・、ＣC ｝を生成する場合、Ｖが７０００もの数となって大きなものとなるときは、マージ処理を行うための（１）式の平均相互情報量ＡＭＩの計算回数が莫大なものとなり、現実的ではなくなる。このため、ウィンドウ処理を行って、マージ処理を行う単語クラスの数を減らすようにする。
【００６９】
図１５は、ウィンドウ処理を説明する図である。
図１５（ａ）において、テキストデータのＶ個の単語｛ｖ1 、ｖ2 、ｖ3 、ｖ4 、・・・、ｖV ｝それぞれに割り当てられたＶ個の単語クラス｛Ｃ1 、Ｃ2 、Ｃ3 、Ｃ4 、・・・、ＣV ｝のうち、テキストデータでの出現頻度の大きい単語に割り当てられたＣ＋１個の単語クラス｛Ｃ1 、Ｃ2 、Ｃ3 、Ｃ4 、・・・、ＣC 、ＣC+1 ｝を取り出し、このＣ＋１個の単語クラス｛Ｃ1 、Ｃ2 、Ｃ3 、Ｃ4 、・・・、ＣC 、ＣC+1 ｝についてのマージ処理を行う。
【００７０】
ここで、図１５（ｂ）に示すように、Ｍ個の単語クラス｛Ｃ1 、Ｃ2 、Ｃ3 、Ｃ4 、・・・、ＣM ｝は、ウィンドウ内のＣ＋１個の単語クラス｛Ｃ1 、Ｃ2 、Ｃ3 、Ｃ4 、・・・、ＣC 、ＣC+1 ｝についてのマージ処理を行った場合、Ｍ個の単語クラス｛Ｃ1 、Ｃ2 、Ｃ3 、Ｃ4 、・・・、ＣM ｝の数が１つ減ってＭ−１個の単語クラス｛Ｃ1 、Ｃ2 、Ｃ3 、Ｃ4 、・・・、ＣM-1 ｝となるとともに、ウィンドウ内のＣ＋１個の単語クラス｛Ｃ1 、Ｃ2 、Ｃ3 、Ｃ4 、・・・、ＣC 、ＣC+1 ｝の数も１つ減ってＣ個の単語クラス｛Ｃ1 、Ｃ2 、Ｃ3 、Ｃ4 、・・・、ＣC ｝となる。
【００７１】
この場合、図１５（ｃ）に示すように、ウィンドウ外の単語クラス｛ＣC+1 、・・・、ＣM-1 ｝のうち、テキストデータでの出現頻度が最も大きい単語クラスＣC+1 をウィンドウ内に入れ、ウィンドウ内の単語クラスの数が一定に保たれるようにする。
【００７２】
そして、ウィンドウ外に単語クラスがなくなり、図１５（ｄ）のＣ個の単語クラス｛Ｃ1 、Ｃ2 、Ｃ3 、Ｃ4 、・・・、ＣC ｝が生成された時に、単語クラスタリング処理を終了する。
【００７３】
なお、上述した実施例では、ウィンドウ内の単語クラスの個数をＣ＋１個に設定したが、Ｃ＋１個以外のＶ個未満の数でもよく、また、途中で変化させるようにしてもよい。
【００７４】
図１６は、ステップＳ１の単語クラスタリング処理を示すフローチャートである。
図１６において、まず、ステップＳ１０に示すように、Ｔ個の単語の一次元列（ｗ1 ｗ2 ｗ3 ｗ4 ・・・ｗT ）としてのテキストデータに基づいて、重複を除いた全てのＶ個の単語｛ｖ1 、ｖ2 、ｖ3 、ｖ4 、・・・、ｖV ｝の出現頻度を調べ、これらのＶ個の単語｛ｖ1 、ｖ2 、ｖ3 、ｖ4 、・・・、ｖV ｝を出現頻度の高い単語から順に並べて、これらのＶ個の単語｛ｖ1 、ｖ2 、ｖ3 、ｖ4 、・・・、ｖV ｝のそれぞれをＶ個の単語クラス｛Ｃ1 、Ｃ2 、Ｃ3 、Ｃ4 、・・・、ＣV ｝に割り当てる。
【００７５】
次に、ステップＳ１１に示すように、Ｖ個の単語クラス｛Ｃ1 、Ｃ2 、Ｃ3 、Ｃ4 、・・・、ＣV ｝の単語のうち、出現頻度の高い単語クラスの単語から、Ｖ個未満のＣ＋１個の単語クラスの単語を１つのウィンドウ内の単語クラスの単語とする。
【００７６】
次に、ステップＳ１２に示すように、１つのウィンドウ内の単語クラスの単語の中で、全ての組み合わせの仮ペアを作り、各仮ペアを仮マージした時の平均相互情報量ＡＭＩを（１）式により計算する。
【００７７】
次に、ステップＳ１３に示すように、全ての組み合わせの仮ペアについての平均相互情報量ＡＭＩのうち、最大となる平均相互情報量ＡＭＩを有する仮ペアを本マージすることにより、単語クラスを１つだけ減らし、本マージ後の１つのウィンドウ内の単語クラスの単語を更新する。
【００７８】
次に、ステップＳ１４に示すように、ウィンドウ外の単語クラスはなくなり、かつ、ウィンドウ内の単語クラスはＣ個になったかどうかを判断し、この条件が成り立たない場合、ステップＳ１５に進み、現在のウィンドウよりも外側にあり、最大の出現頻度を有するクラスの単語をウィンドウ内に入れ、ステップＳ１２に戻り、以上の処理を繰り返すことにより、単語クラスの数を減少させる。
【００７９】
一方、ステップＳ１４の条件が成り立ち、ウィンドウ外に単語クラスがなくなり、単語クラスの数がＣ個となった場合、ステップＳ１６に進み、ウィンドウ内のＣ個の単語クラス｛Ｃ1 、Ｃ2 、Ｃ3 、Ｃ4 、・・・、ＣC ｝をメモリに記憶する。
【００８０】
次に、図１４のステップＳ２に示すように、クラスチェーン抽出処理を行う。このクラスチェーン抽出処理では、ステップＳ１の第１のクラスタリング処理に基づいて生成されたテキストデータの単語クラスの一次元列において、所定のしきい値以上の相互情報量を有する隣接する２つの単語クラスをチェーンで結ぶことにより、チェーンで結ばれた単語クラス列の集合を抽出する。
【００８１】
図１７は、ステップＳ２のクラスチェーン抽出処理の第１実施例を示すフローチャートである。
図１７において、まず、ステップＳ２０に示すように、テキストデータの単語クラスの一次元列から、互いに隣接する２つの単語クラス（Ｃi 、Ｃj ）を取り出す。
【００８２】
次に、ステップＳ２１に示すように、ステップＳ２０で取り出した２つの単語クラス（Ｃi 、Ｃj ）についての相互情報量ＭＩ（Ｃi 、Ｃj ）を（２）式により計算する。
【００８３】
次に、ステップＳ２２に示すように、ステップＳ２１で計算した相互情報量ＭＩ（Ｃi 、Ｃj ）が所定のしきい値ＴＨ以上であるかどうかを判断し、相互情報量ＭＩ（Ｃi 、Ｃj ）が所定のしきい値ＴＨ以上である場合、ステップＳ２３に進んで、ステップＳ２０で取り出した２つの単語クラス（Ｃi 、Ｃj ）をクラスチェーンで結んでメモリに格納し、相互情報量ＭＩ（Ｃi 、Ｃj ）が所定のしきい値ＴＨより小さい場合、ステップＳ２３をスキップする。
【００８４】
次に、ステップＳ２４に示すように、メモリに格納されているクラスチェーンで結ばれた単語クラスにおいて、単語クラスＣi で終了しているクラスチェーンが存在するかどうかを判断し、単語クラスＣi で終了しているクラスチェーンが存在する場合、ステップＳ２５に進んで、単語クラスＣi で終了しているクラスチェーンに単語クラスＣj をつなぐ。
【００８５】
一方、ステップＳ２４において、単語クラスＣi で終了しているクラスチェーンが存在しない場合、ステップＳ２５をスキップする。
次に、ステップＳ２６に示すように、テキストデータの単語クラスの一次元列から、互いに隣接する２つの単語クラス（Ｃi 、Ｃj ）を全て取り出したかどうかを判断し、互いに隣接する２つの単語クラス（Ｃi 、Ｃj ）を全て取り出した場合、クラスチェーン抽出処理を終了し、互いに隣接する２つの単語クラス（Ｃi 、Ｃj ）を全て取り出していない場合、ステップＳ２０に戻って以上の処理を繰り返す。
【００８６】
図１８は、ステップＳ２のクラスチェーン抽出処理の第２実施例を示すフローチャートである。
図１８において、まず、ステップＳ２０１に示すように、テキストデータの単語クラスの一次元列から、互いに隣接する２つの単語クラス（Ｃi 、Ｃj ）を順次に取り出す。そして、取り出した２つの単語クラス（Ｃi 、Ｃj ）について、相互情報量ＭＩ（Ｃi 、Ｃj ）を（２）式により計算することにより、長さ２の全てのクラスチェーンをテキストデータの単語クラスの一次元列から抽出する。
【００８７】
次に、ステップＳ２０２に示すように、長さ２の全てのクラスチェーンをそれぞれオブジェクトで置き換える。ここで、オブジェクトは、上述したトークンと同じものを表しているが、長さ２のクラスチェーンに付与されたトークンを、特に、オブジェクトと呼ぶ。
【００８８】
次に、ステップＳ２０３に示すように、テキストデータのクラスの一次元列に対し、ステップＳ２０２でオブジェクトが付与された長さ２のクラスチェーンをオブジェクトで置き換え、テキストデータのクラスとオブジェクトの一次元列を生成する。
【００８９】
次に、ステップＳ２０４に示すように、テキストデータのクラスとオブジェクトの一次元列の中に存在する１つのオブジェクトを１つのクラスとみなし、２つのクラス（Ｃi 、Ｃj ）についての相互情報量ＭＩ（Ｃi 、Ｃj ）を（２）式により計算する。すなわち、テキストデータのクラスとオブジェクトの一次元列においての相互情報量ＭＩ（Ｃi 、Ｃj ）は、互いに隣接する１つのクラスと１つのクラスとの間で算出される場合、互いに隣接する１つのクラスと１つのオブジェクト（長さ２のクラスチェーン）との間で算出される場合、及び互いに隣接する１つのオブジェクト（長さ２のクラスチェーン）と１つのオブジェクト（長さ２のクラスチェーン）との間で算出される場合がある。
【００９０】
次に、ステップＳ２０５に示すように、ステップＳ２０４で計算した相互情報量ＭＩ（Ｃi 、Ｃj ）が所定のしきい値ＴＨ以上であるかどうかを判断し、相互情報量ＭＩ（Ｃi 、Ｃj ）が所定のしきい値ＴＨ以上である場合、ステップＳ２６に進んで、ステップＳ２０４で取り出した互いに隣接する２つのクラス、又は互いに隣接する１つのクラスと１つのオブジェクト、又は互いに隣接する２つのオブジェクトをクラスチェーンで結び、相互情報量ＭＩ（Ｃi 、Ｃj ）が所定のしきい値ＴＨより小さい場合、ステップＳ２０６をスキップする。
【００９１】
図１９は、テキストデータのクラスとオブジェクトの一次元列において抽出されたクラスチェーンを示す図である。
図１９において、互いに隣接する１つのクラスと１つのクラスとの間でクラスチェーンが抽出された場合、長さ２のクラスチェーン（オブジェクト）が生成され、互いに隣接する１つのクラスと１つのオブジェクトとの間でクラスチェーンが抽出された場合、長さ３のクラスチェーンが生成され、互いに隣接する１つのオブジェクトと１つのオブジェクトとの間でクラスチェーンが抽出された場合、長さ４のクラスチェーンが生成される。
【００９２】
次に、図１８のステップＳ２０７に示すように、クラスチェーン抽出処理が所定の回数行われたかどうかを判断し、所定の回数行われていない場合は、ステップＳ２０２に戻って以上の処理を繰り返す。
【００９３】
このように、長さ２のクラスチェーンをオブジェクトに置き換えて、相互情報量ＭＩ（Ｃi 、Ｃj ）を算出することを繰り返すことにより、任意の長さのクラスチェーンを抽出することができる。
【００９４】
次に、図１４のステップＳ３に示すように、トークン置換処理を行う。このトークン置換処理では、ステップＳ２のクラスチェーン抽出処理で抽出された単語クラス列に固有のトークンを対応させ、この単語クラス列に属する単語列をテキストデータの単語の一次元列から検索し、テキストデータの単語列を対応するトークンで置換することにより、テキストデータについての単語とトークンとの一次元列を生成する。
【００９５】
図２０は、ステップＳ３のトークン置換処理を示すフローチャートである。
図２０において、まず、ステップＳ３０に示すように、抽出されたクラスチェーンを重複を除いて所定の規則でソートし、それぞれのクラスチェーンにトークンを対応させて、クラスチェーンに名前を付ける。ここで、クラスチェーンのソートは、例えば、ＡＳＣＩＩコード順で行う。
【００９６】
次に、ステップＳ３１に示すように、トークンに対応させたクラスチェーンを１つ取り出す。
次に、ステップＳ３２に示すように、テキストデータの単語の一次元列の中にクラスチェーンで結ばれた単語クラス列に属する単語列が存在するかどうかを判断し、クラスチェーンで結ばれた単語クラス列に属する単語列が存在する場合、ステップＳ３３に進み、テキストデータの対応する単語列を１つのトークンで置き換え、クラスチェーンで結ばれた単語クラス列に属する単語列がテキストデータの単語の一次元列の中に存在しなくなるまで以上の処理を繰り返す。
【００９７】
一方、クラスチェーンで結ばれた単語クラス列に属する単語列が存在しない場合、ステップＳ３４に進み、ステップＳ３０でトークンに対応させた全てのクラスチェーンについての連語・トークン置換処理が終了したかどうかを判断し、全てのクラスチェーンについての連語・トークン置換処理が終了してない場合、ステップＳ３１に戻って、新たなクラスチェーンを１つ取り出して、以上の処理を繰り返す。
【００９８】
次に、図１４のステップＳ４に示すように、単語・トークンクラスタリング処理を行う。この単語・トークンクラスタリング処理では、テキストデータについての単語とトークンとの一次元列において、互いに異なる単語と互いに異なるトークンとを抽出し、単語とトークンとが混在する集合を単語・トークンクラス｛Ｔ1 、Ｔ2 、Ｔ3 、Ｔ4 、・・・、ＴD ｝に分割する第２のクラスタリング処理を行う。
【００９９】
図２１は、ステップＳ４の単語・トークンクラスタリング処理を示すフローチャートである。
図２１において、ステップＳ４０に示すように、ステップＳ３で得られたテキストデータの単語・トークンの一次元列を入力データとして、ステップＳ１の第１の単語クラスタリング処理と同一の方法でクラスタリングを行うことより、単語・トークンクラス｛Ｔ1 、Ｔ2 、Ｔ3 、Ｔ4 、・・・、ＴD ｝を生成する。この第２のクラスタリング処理では、単語とトークンは区別せず、トークンは１つの単語として扱われる。また、生成されたそれぞれの単語・トークンクラス｛Ｔ1 、Ｔ2 、Ｔ3 、Ｔ4 、・・・、ＴD ｝は、その要素として単語とトークンを含んでいる。
【０１００】
次に、図１４のステップＳ５に示すように、データ出力処理を行う。このデータ出力処理では、テキストデータの単語の一次元列に存在する単語列のうち、トークンに対応するものを連語として抽出し、単語・トークンクラス｛Ｔ1 、Ｔ2 、Ｔ3 、Ｔ4 、・・・、ＴD ｝の中のトークンを連語で置換することにより、単語と連語とが混在する集合を単語・連語クラス｛Ｒ1 、Ｒ2 、Ｒ3 、Ｒ4 、・・・、ＲD ｝に分割する第３のクラスタリング処理を行う。
【０１０１】
図２２は、ステップＳ５のデータ出力処理を示すフローチャートである。
図２２において、まず、ステップＳ５０に示すように、１つの単語・トークンクラスＴi から１つのトークンｔK を取り出す。
【０１０２】
次に、ステップＳ５１に示すように、テキストデータの単語の一次元列をスキャンし、ステップＳ５２において、ステップＳ５０で取り出したトークンｔK に対応するクラスチェーンで結ばれた単語クラス列に属する単語列が存在するかどうかを判断する。そして、トークンｔK に対応するクラスチェーンで結ばれた単語クラス列に属する単語列がテキストデータの単語の一次元列に存在する場合、ステップＳ５３に進んで、この単語列を連語とみなす処理を繰り返し、テキストデータの単語の一次元列をスキャンすることにより得られたこれらの連語でトークンｔK を置き換える。
【０１０３】
一方、トークンｔK に対応するクラスチェーンで結ばれた単語クラス列に属する単語列がテキストデータの単語の一次元列に存在しない場合、ステップＳ５４に進んで、全てのトークンについて処理が終了したかどうかを判断し、全てのトークンについて処理が終了していない場合、ステップＳ５０に進んで、以上の処理を繰り返す。
【０１０４】
例えば、ステップＳ３のトークン置換処理において、テキストデータの単語の一次元列（ｗ1 ｗ2 ｗ3 ｗ4 ・・・ｗT ）のうち、単語列（ｗ1 ｗ2 ）、（ｗ13ｗ14）、・・・がトークンｔ1 で置換され、単語列（ｗ4 ｗ5 ｗ6 ）、（ｗ17ｗ18）、・・・がトークンｔ2 で置換されたとすると、トークンｔ1 に対応する連語として、｛ｗ1 −ｗ2 、ｗ13−ｗ14、・・・｝がテキストデータから抽出され、トークンｔ2 に対応する連語として、｛ｗ4 −ｗ5 −ｗ6 、ｗ17−ｗ18、・・・｝がテキストデータから抽出される。
【０１０５】
１つの単語・トークンクラスＴi が単語の集合Ｗi とトークンの集合Ｊi ＝｛ｔi1、ｔi2、・・・ｔin｝からなり、トークンクラスＴi が｛Ｗi ∪Ｊi ｝により表され、、トークンの集合Ｊi の中の１つのトークンｔimが、連語の集合Ｖim＝｛ｖim(1) 、ｖim(2) 、・・・｝に逆トークン置換されたとすると、１つの単語・連語クラスＲi は、
【０１０６】
【数２】
0003875357.tif 000004
【０１０７】
で与えられる。
以上説明したように、本発明の一実施例による単語・連語分類処理装置によれば、単語と連語とを区別することなく分類することができる。
【０１０８】
次に、本発明の一実施例による音声認識装置について説明する。
図２３は、図１の単語・連語分類処理装置により得られた単語・連語分類処理結果を利用して音声認識を行う音声認識装置の構成を示すブロック図である。
【０１０９】
図２３において、所定のテキストデータ４０に含まれる単語と連語とが、単語・連語分類処理部４１により単語と連語とが混在するクラスに分類され、この分類された単語と連語とが単語・連語辞書４９に格納されている。
【０１１０】
一方、複数の単語と連語とからなる発音音声は、マイクロフォン５０によりアナログ音声信号に変換された後、Ａ／Ｄ変換器５１でデジタル音声信号に変換され、特徴抽出部５２に入力される。特徴抽出部５２は、デジタル音声信号に対して、例えば、ＬＰＣ分析を行い、ケプストラム係数や対数パワーなどの特徴パラメータを抽出する。特徴抽出部５２で抽出された特徴パラメータは、音声認識部５４に出力され、音素隠れマルコフモデルなどの言語モデル５５を参照するとともに、単語・連語辞書４９に格納されている単語と連語との分類結果を参照しながら、単語及び連語ごとに音声認識を行う。
【０１１１】
図２４は、単語・連語分類処理結果を利用して音声認識を行う場合の例を示す図である。
図２４において、「本日は晴天なり」と発声された発音音声がマイクロフォン５０に入力され、この発音音声に対して音声モデルを適用するとにより、例えば、「本日は晴天なり」という認識結果と「本日は静電なり」という認識結果とが得られる。これらの音声モデルによる認識結果に対し、言語モデルによる処理を行って単語・連語辞書４９の参照を行い、「晴天なり」という連語が単語・連語辞書４９に登録されている場合、「本日は晴天なり」という認識結果に対しては高い確率が与えられ、「本日は静電なり」という認識結果に対しては低い確率が与えられる。
【０１１２】
以上説明したように、本発明の一実施例による音声認識装置によれば、単語・連語辞書４９を参照して音声認識を行うことにより、より正確な認識処理が可能になる。
【０１１３】
次に、本発明の一実施例による機械翻訳装置について説明する。
図２５は、図１の単語・連語分類処理装置により得られた単語・連語分類処理結果を利用して機械翻訳を行う機械翻訳装置の構成を示すブロック図である。
【０１１４】
図２５において、所定のテキストデータ４０に含まれる単語と連語とが、単語・連語分類処理部４１により単語と連語とが混在するクラスに分類され、この分類された単語と連語とが単語・連語辞書４９に格納されている。また、用例原文とその用例原文に対する用例訳文とが、それぞれ対応させて用例文集６０に格納されている。
【０１１５】
用例検索部６１に原文が入力されると、単語・連語辞書４９を参照しながら入力された原文の単語が属するクラスを検索し、そのクラスと同一のクラスに属する単語又は連語により構成される用例原文を用例文集６０から検索する。用例文集６０から検索された用例原文及びその用例訳文は、用例適用部６２に入力され、用例訳文の中の訳語を、入力された原文の単語に対する訳語に置換することにより、入力された原文に対する訳文を生成する。
【０１１６】
図２６は、単語・連語分類処理結果を利用して音声認識を行う場合の例を示す図である。
図２６において、“Ｔｏｙｏｔａ”と“Ｋｏｈｌｂｅｒｇ  Ｋｒａｖｉｓ  Ｒｏｂｅｒｔ  ＆  Ｃｏ．”とは同一のクラスに属し、“ｇａｉｎｅｄ”と“ｌｏｓｔ”とは同一のクラスに属し、“２”と“１”とは同一のクラスに属し、“３０  １／４”と“８０  １／２”とは同一のクラスに属しているものとする。
【０１１７】
原文として、“Ｔｏｙｏｔａ  ｇａｉｎｅｄ  ２  ｔｏ  ３０  １／４．”が入力されると、用例原文として、用例文集６０から“Ｋｏｈｌｂｅｒｇ  Ｋｒａｖｉｓ  Ｒｏｂｅｒｔ  ＆  Ｃｏ．  ｌｏｓｔ  １  ｔｏ  ８０  １／２．”が検索されるとともに、その用例原文に対する用例訳文「Ｋｏｈｌｂｅｒｇ  Ｋｒａｖｉｓ  Ｒｏｂｅｒｔ  ＆  Ｃｏ．社は、１ドル値を下げて終値８０  １／２ドルだった。」も検索される。
【０１１８】
次に、用例原文の原語“Ｋｏｈｌｂｅｒｇ  Ｋｒａｖｉｓ  Ｒｏｂｅｒｔ  ＆Ｃｏ．”と同一のクラスに属している入力原文の原語“Ｔｏｙｏｔａ”に対する訳語「トヨタ」で、用例訳文の訳語「Ｋｏｈｌｂｅｒｇ  Ｋｒａｖｉｓ  Ｒｏｂｅｒｔ  ＆  Ｃｏ．社」を置き換え、用例原文の原語“ｌｏｓｔ”と同一のクラスに属している入力原文の原語“ｇａｉｎｅｄ”に対する訳語「上げて」で、用例訳文の訳語「下げて」を置き換え、用例訳文の数値“１”を“２”で置き換え、用例訳文の数値“８０  １／２”を“３０  １／４”で置き換えることにより、入力原文に対する訳文「トヨタは、２ドル値を上げて終値３０  １／２ドルだった。」を出力する。
【０１１９】
以上説明したように、本発明の一実施例による機械翻訳装置によれば、単語・連語辞書４９を参照して機械翻訳を行うことにより、より正確な翻訳処理が可能になる。
【０１２０】
以上、本発明の一実施例について説明したが、本発明は上述した実施例に限定されるものではなく、本発明の技術的思想の範囲内で他の様々な変更が可能である。例えば、上述した実施例では、単語・連語分類処理装置を音声認識装置及び機械翻訳装置に適用した場合について説明したが、単語・連語分類処理装置を文字認識装置に用いるようにしてもよい。また、上述した実施例では、単語と連語とを混在される分類する場合について説明したが、連語のみを抽出し、この抽出した連語を分類するようにしてもよい。
【０１２１】
【発明の効果】
以上説明したように、本発明の単語・連語分類処理装置によれば、テキストデータに含まれる単語と連語とを一緒に分類して、単語と連語とが混在するクラスを生成することにより、単語と単語とをまとめて分類するだけでなく、単語と連語あるいは連語と連語とをまとめて分類することができ、単語と連語あるいは連語と連語との対応関係や類似度を容易に判別することができる。
【０１２２】
また、本発明の一態様によれば、テキストデータの単語クラス列にトークンを付与して単語クラス列を１つの単語とみなし、テキストデータに含まれる単語とトークンを付与された単語クラス列とを同等に取り扱ってこれらを分類してから、テキストデータに存在する単語列で対応する単語クラス列を置き換えるようにしたので、単語と連語との区別なく分類処理を行うことができるとともに、テキストデータからの連語の抽出を高速に行うことができる。
【０１２３】
また、本発明の連語抽出装置によれば、テキストデータの単語列を構成する個々の単語を、その単語が属する単語クラスで置換し、テキストデータにおいて出現する確率が所定値以上の単語クラス列を抽出してから、テキストデータに存在する連語を抽出することにより、連語を高速に抽出することができる。
【０１２４】
また、本発明の音声認識装置によれば、単語と連語あるいは連語と連語の対応関係や類似度を用いながら音声認識を行うことができ、正確な処理が可能になる。
【０１２５】
また、本発明の機械翻訳装置によれば、用例文集に格納されている用例原文の単語が連語に置き換わった原文が入力された場合においても、入力された原文に用例原文を適用して機械翻訳を行うことができ、単語と連語あるいは連語と連語の対応関係や類似度を用いた正確な機械翻訳が可能になる。
【図面の簡単な説明】
【図１】本発明の一実施例に係わる単語・連語分類処理装置の機能的な構成を示すブロック図である。
【図２】本発明の一実施例に係わる単語・連語分類処理装置の単語クラスタリング処理を説明する図である。
【図３】図１の単語分類手段の機能的な構成を示すブロック図である。
【図４】本発明の一実施例に係わる単語・連語分類処理装置の単語クラス列生成処理を説明する図である。
【図５】本発明の一実施例に係わる単語・連語分類処理装置のクラスチェーン抽出処理を説明する図である。
【図６】図１の単語クラス列抽出手段の機能的な構成を示すブロック図である。
【図７】本発明の一実施例に係わる単語・連語分類処理装置によるクラスチェーンとトークンとの関係を示す図である。
【図８】本発明の一実施例に係わる単語・連語分類処理装置のトークン置換処理を説明する図である。
【図９】本発明の一実施例に係わる単語・連語分類処理装置によるトークン置換処理の英文例を示す図である。
【図１０】図１の単語・トークン分類手段の機能的な構成を示すブロック図である。
【図１１】本発明の一実施例に係わる単語・連語分類処理装置によるトークンと連語の関係を示す図である。
【図１２】本発明の一実施例に係わる単語・連語分類処理装置による単語・連語分類処理結果を示す図である。
【図１３】本発明の一実施例に係わる単語・連語分類処理装置のシステム構成を示すブロック図である。
【図１４】本発明の一実施例に係わる単語・連語分類処理装置の単語・連語分類処理を示すフローチャートである。
【図１５】本発明の一実施例に係わる単語・連語分類処理装置のウインドウ処理を説明する図である。
【図１６】本発明の一実施例に係わる単語・連語分類処理装置の単語クラスタリング処理を示すフローチャートである。
【図１７】本発明に係わる単語・連語分類処理装置のクラスチェーン抽出処理の第１実施例を示すフローチャートである。
【図１８】本発明に係わる単語・連語分類処理装置のクラスチェーン抽出処理の第２実施例を示すフローチャートである。
【図１９】本発明に係わる単語・連語分類処理装置のクラスチェーン抽出処理の第２実施例を説明する図である。
【図２０】本発明の一実施例に係わる単語・連語分類処理装置のトークン置換処理を示すフローチャートである。
【図２１】本発明の一実施例に係わる単語・連語分類処理装置の単語・トークンクラスタリング処理を示すフローチャートである。
【図２２】本発明の一実施例に係わる単語・連語分類処理装置のデータ出力処理を示すフローチャートである。
【図２３】本発明の一実施例に係わる音声認識装置の機能的な構成を示すブロック図である。
【図２４】本発明の一実施例に係わる音声認識方法を説明する図である。
【図２５】本発明の一実施例に係わる機械翻訳装置の機能的な構成を示すブロック図である。
【図２６】本発明の一実施例に係わる機械翻訳方法を説明する図である。
【符号の説明】
１  単語分類手段
２  単語クラス列生成手段
３  単語クラス列抽出手段
４  トークン付与手段
５  単語・トークン列生成手段
６  単語・トークン分類手段
７  連語置換手段
４０  テキストデータ
４１  単語・連語分類処理部
４２、４６  メモリインターフェイス
４３  ＣＰＵ
４４  ＲＯＭ
４５  ワークＲＡＭ
４７  ＲＡＭ
４８  バス
４９  単語・連語辞書
５０  マイクロフォン
５１  Ａ／Ｄ変換器
５２  特徴抽出部
５３  バッファメモリ
５４  音声認識部
５５  言語モデル
６０  用例文集
６１  用例検索部
６２  用例適用部
【図１】
0003875357.tif 000005
【図２】
0003875357.tif 000006
【図３】
0003875357.tif 000007
【図４】
0003875357.tif 000008
【図５】
0003875357.tif 000009
【図６】
0003875357.tif 000010
【図７】
0003875357.tif 000011
【図８】
0003875357.tif 000012
【図９】
0003875357.tif 000013
【図１０】
0003875357.tif 000014
【図１１】
0003875357.tif 000015
【図１２】
0003875357.tif 000016
【図１３】
0003875357.tif 000017
【図１４】
0003875357.tif 000018
【図１５】
0003875357.tif 000019
【図１６】
0003875357.tif 000020
【図１７】
0003875357.tif 000021
【図１８】
0003875357.tif 000022
【図１９】
0003875357.tif 000023
【図２０】
0003875357.tif 000024
【図２１】
0003875357.tif 000025
【図２２】
0003875357.tif 000026
【図２３】
0003875357.tif 000027
【図２４】
0003875357.tif 000028
【図２５】
0003875357.tif 000029
【図２６】
0003875357.tif 000030