(57)【要約】【課題】辞書を使用することなく、単語の機能語と内容語との分類精度をより高くする単語分類装置および単語分類プログラムを提供することを課題とする。【解決手段】単語分類装置１は、あらかじめ単語ごとに分節された入力文章から各単語のエントロピーの値に基づいて前記単語を機能語と内容語とに分類する単語分類装置であって、単語隣接関係算出手段２と、評価関数計算手段３と、単語隣接関係記憶手段７と、評価関数計算結果記憶手段４と、リスト作成手段３ａと、上位順位語抽出手段５と、クラス作成手段６と、を備え、前記評価関数計算手段が、前記クラス作成手段からクラス情報を受け取ったときに、そのクラス情報により前記隣接単語が上位順位の単語である場合には、当該隣接単語を同じ単語とみなして前記隣接単語の出現頻度の和を求めてエントロピーをまとめ、エントロピーの値を計算する構成とした。【選択図】図１
2008234026.tif 000002
【特許請求の範囲】
【請求項１】
あらかじめ単語ごとに分節された入力文章から各単語をエントロピーの値に基づいて前記単語を機能語と内容語とに分類する単語分類装置であって、
前記入力文章の各単語の単語出現頻度と、各単語の直前および直後に隣接するそれぞれの隣接単語の隣接単語出現頻度とを算出する単語隣接関係算出手段と、
この単語隣接関係算出手段により算出した前記単語の単語出現頻度、前記隣接単語の隣接単語出現頻度、ならびに、前記隣接単語出現頻度によりクラスを決めるクラス情報に基づいて、各単語のエントロピーの値を算出する評価関数計算手段と、
前記単語隣接関係算出手段で算出される前記単語出現頻度および前記単語出現頻度に対応づけて前記単語を記憶すると共に、前記隣接単語出現頻度および前記隣接単語出現頻度に対応づけて前記隣接単語を記憶する単語隣接関係記憶手段と、
前記評価関数計算手段により計算された前記エントロピーの値を記憶する評価関数計算結果記憶手段と、
前記評価関数計算手段により計算された前記エントロピーの値に基づいて、当該値を昇順にした昇順リストに対応する前記単語の単語リストを作成するリスト作成手段と、
このリスト作成手段により作成された単語リストにおいて、外部から入力される閾値に基づいて、前記単語リストの上位から前記閾値までに対応する前記単語を上位順位の単語として抽出する上位順位語抽出手段と、
この上位順位語抽出手段により抽出された上位順位の単語と、前記単語隣接関係記憶手段に記憶されている前記単語および前記隣接単語とを参照して、前記隣接単語が上位順位の単語であるか否のクラスを示す前記クラス情報を作成するクラス作成手段と、を備え、
前記評価関数計算手段は、前記クラス作成手段から前記クラス情報を受け取ったときに、前記クラス情報により前記隣接単語が上位順位の単語である場合には、当該隣接単語を同じ単語とみなして前記隣接単語の出現頻度の和を求めてまとめ、エントロピーの値を計算することを特徴とする単語分類装置。
【請求項２】
前記上位順位語抽出手段は、あらかじめ設定された処理回数に基づいて、前記評価関数計算手段が再計算して前記リスト作成手段により作成された前記単語リストを、前記評価関数計算結果記憶手段から受取り出力することを特徴とする請求項１に記載の単語分類装置。
【請求項３】
前記評価関数計算手段は、単語の集合をＷ＝｛ｗ１，ｗ２，…，ｗｉ，…ｗｎ｝とし、前記単語ｗｉ∈Ｗの出現頻度をＦ（ｗｉ）とし、前記単語ｗｉ∈Ｗに対する直前の前記隣接単語をＬ（ｗｉ）＝｛ｌ１（ｗｉ），ｌ２（ｗｉ），…ｌｊ（ｗｉ），…ｌｎ（ｗｉ）｝、とし、単語ｌ１（ｗｉ）∈Ｌ（ｗｉ）が、単語ｗｉの直前に出現した出現頻度をｆｌｊ（ｗｉ）とし、  単語ｗｉ∈Ｗに対してその直後に出現する単語の集合：Ｒ（ｗｉ）＝｛ｒ１（ｗｉ），ｒ２（ｗｉ），…ｒｊ（ｗｉ），…ｒｎ（ｗｉ）｝とし、単語ｒ１（ｗｉ）∈Ｒ（ｗｉ）が、単語ｗｉの直後に出現した出現頻度をｆｒｊ（ｗｉ）とし、前記上位順位の単語の集合Ｋ＝｛ｋ１，ｋ２…ｋｎ｝とし、前記Ｋ＝｛ｋ１，ｋ２…ｋｎ｝に対応する直前の前記隣接単語の出現頻度の和より次の式
【数１】
2008234026.tif 000016
に対応するＸＬを構成し、前記Ｋ＝｛ｋ１，ｋ２…ｋｎ｝に対応する直後の前記隣接単語の出現頻度の和より次の式
【数２】
2008234026.tif 000017
に対応するＸＲを構成し、前記クラス情報をＬ´（ｗｉ）＝Ｌ（ｗｉ）−Ｋ、Ｒ´（ｗｉ）＝Ｒ（ｗｉ）−Ｋ、ｌｊ（ｗｉ）∈Ｋ、ｒｊ（ｗｉ）∈Ｋとしたとき、前記エントロピーの値をＨ（ｗｉ）として次の式
【数３】
2008234026.tif 000018
により計算することを特徴とする請求項１に記載の単語分類装置。
【請求項４】
前記評価関数算出手段は、前記Ｈ（ｗｉ）の式において、前記クラス情報を受取った場合は、Ｌ´（ｗｉ）＝Ｌ（ｗｉ）−Ｋ、Ｒ´（ｗｉ）＝Ｒ（ｗｉ）−Ｋとし、また、前記クラス情報を受取らなかった場合は、Ｌ´（ｗｉ）＝Ｌ（ｗｉ）、Ｒ´（ｗｉ）＝Ｒ（ｗｉ）、ＸＬ＝ＸＲ＝０として設定して前記エントロピーの値を計算することを特徴とする請求項３に記載の単語分類装置。
【請求項５】
あらかじめ単語ごとに分節された入力文章から算出される単語出現頻度および前記単語出現頻度に対応づけて前記単語を記憶すると共に、前記単語の直前および直後に隣接する隣接単語の隣接単語出現頻度および前記隣接単語出現頻度に対応づけて前記隣接単語を記憶する単語隣接関係記憶手段と、前記単語のそれぞれについて計算されたエントロピーの値を記憶する評価関数計算結果記憶手段とを参照して、各単語のエントロピーの値に基づいて、前記単語のそれぞれを機能語と内容語とに分類するためにコンピュータを、
前記入力文章の各単語の単語出現頻度と、各単語の直前および直後に隣接するそれぞれの隣接単語の隣接単語出現頻度とを算出する単語隣接関係算出手段、
この単語隣接関係算出手段により算出した前記単語の単語出現頻度、前記隣接単語の隣接単語出現頻度、ならびに、前記隣接単語出現頻度によりクラスを決めるクラス情報に基づいて、各単語のエントロピーの値を算出する評価関数計算手段、
前記評価関数計算手段により計算された前記エントロピーの値に基づいて、当該の値を昇順にした昇順リストに対応する前記単語の単語リストを作成するリスト作成手段、
このリスト作成手段により作成された単語リストにおいて、外部から入力される閾値に基づいて、前記単語リストの上位から前記閾値までに対応する前記単語を上位順位の単語として抽出する上位順位語抽出手段、
この上位順位語抽出手段により抽出された上位順位の単語と、前記単語隣接関係記憶手段に記憶されている前記単語および前記隣接単語とを参照して、前記隣接単語が上位順位の単語であるか否のクラスを示す前記クラス情報を作成するクラス作成手段、として機能させると共に、
前記評価関数計算手段は、前記クラス作成手段から前記クラス情報を受け取ったときに、前記クラス情報により前記隣接単語が上位順位の単語である場合には、当該隣接単語を同じ単語とみなして前記隣接単語の出現頻度の和を求めてまとめ、エントロピーの値を計算するように機能させることを特徴とする単語分類プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された文章の単語を内容語と機能語を分類することを行う単語分類装置および単語分類プログラムに関するするものである。
【背景技術】
【０００２】
従来、自然言語処理技術において、単語辞書が用意できる言語であれば、その単語辞書を参照して形態素解析装置を用いて内容語と機能語を分類することが知られている（例えば、特許文献１参照）。この形態素解析装置は、入力された日本語文を単語に分割し、当該単語毎に読みや品詞等の情報が付与された単語情報列を出力するものであり、指定情報フォーマット規則を参照して、解析対象テキストとともに当該解析対象テキストを構成する単語や文字列またはその境界位置に関する指定情報を含む日本語文から指定情報を抽出し、当該指定情報から前記日本語文中の解析対象テキストを構成する単語やその境界位置に関する制約情報及び付加情報を作成し、これらを解析対象テキストとともに出力する。
【０００３】
そして、形態素解析装置は、単語辞書及び文法規則を参照するとともに前記制約情報を用いて、前記解析対象テキストから接続可能な品詞連鎖を満たす単語を抽出し、この際、制約情報が存在する場合はそれを満たすものだけを含め、さらに前記付加情報に基づき単語の各情報の置き換えあるいは単語の追加を行って単語連鎖候補列を生成して出力する。ついで、形態素解析装置は、前記単語連鎖候補列に対して所定のコスト計算を行い、前記解析対象テキストの文頭から文末までに対応する一連の単語連鎖からなる単語情報列を出力することで形態素解析を行っている。
【０００４】
一方、前記した形態素解析装置のような辞書（または、それに相当するもの）が用意できない場合、単純に考えられる方法として、単語の出現頻度、前後に隣接する語の関係を利用したエントロピーの値を用いて単語を分類する方法が考えられる（例えば、非特許文献１参照）。この方法では、一例として、出現頻度あるいはエントロピーの値が、上位の単語を機能語であると仮定すると、日本語ニュースでは、『を』や『の』のように機能語を抽出することができることになる。
【０００５】
【特許文献１】特開２００７−１１６５５号公報
【非特許文献１】「言語と計算−５『情報検索と言語処理』」東京大学出版会  徳永健伸著ｐｐ．１９−２３（発行年月日1999年11月25日初版）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、従来の単語を分類する装置では、以下に示すような問題点が存在した。
従来の特許文献１のような装置では、例えば、日本語や英語などの辞書が用意できる言語であれば、分類することは可能となるが、すべての言語に対して辞書を準備することは不可能である。
また、非特許文献１の手法では、出現頻度およびエントロピーを用いて単語の分類を行っているため、例えば、『日本』、『町』などの名詞も出現頻度が高く、上位の単語に含まれてしまう場合があり、出願頻度が高い名詞が分類したリストの上位に来るため、分類精度を思った以上に高めることができなかった。
【０００７】
本発明は、前記した問題点に鑑み創案されたものであり、辞書を使用することなく、単語の機能語と内容語との分類精度をより高くする単語分類装置および単語分類プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００８】
前記課題を解決するため、本発明に係る単語分類装置は、あらかじめ単語ごとに分節された入力文章から各単語のエントロピーの値に基づいて前記単語を機能語と内容語とに分類する単語分類装置であって、単語隣接関係算出手段と、評価関数計算手段と、単語隣接関係記憶手段と、評価関数計算結果記憶手段と、リスト作成手段と、上位順位語抽出手段と、クラス作成手段と、を備え、前記評価関数計算手段が、前記クラス作成手段からクラス情報を受け取ったときに、そのクラス情報により前記隣接単語が上位順位の単語である場合には、当該隣接単語を同じ単語とみなして前記隣接単語の出現頻度の和を求めてまとめ、エントロピーの値を計算する構成とした。
装置。
【０００９】
このように構成したので、単語分類装置は、単語隣接関係算出手段により単語の出現頻度と、隣接単語の出現頻度が算出されて、評価関数計算手段および単語隣接関係記憶手段に出力される。そして、単語分類装置は、評価関数計算手段により各単語のエントロピーの値が計算され、リスト作成手段により、計算されたエントロピーの値の大きい順に単語リストを作成し、評価関数計算結果記憶手段に記憶させる。さらに、単語分類装置は、評価関数計算結果記憶手段に記憶されている単語リストを参照して、外部から入力される閾値に基づいて、前記単語リストの上位順位となる単語から前記閾値までの単語を上位順位の単語として抽出して、リスト作成手段に出力する。そして、単語分類装置は、リスト作成手段により上位順位の単語と、単語隣接関係記憶手段に記憶されている隣接単語とを参照して、隣接単語が上位順位の単語であるときには、上位クラスとし、上位順位の単語でないときには、下位クラスとするクラス情報を作成して、評価関数計算手段に出力する。そうすると、単語分類装置は、評価関数計算手段が受取ったクラス情報を反映させて再度、各単語のエントロピーの値を計算すると、上位クラスの隣接単語は、同じ単語とみなされて出現頻度が加算された状態で、エントロピーの値が計算されるため、加算された項の数値がまとめられるために小さな値となる。
【００１０】
つまり、再計算するときに、クラス情報を用いると、単語リストの上位の単語に内容語が存在した場合、その内容語の直前および直後には機能語が来やすく、内容語の隣接単語の要素のうち、ひとつの単語としてまとめられる要素が確率的に多くなり、エントロピーの値が下がることになる。
【００１１】
また、単語分類装置は、上位順位語抽出手段が、あらかじめ設定された処理回数に基づいて、評価関数計算手段が再計算して前記リスト作成手段により作成された前記単語リストを出力する構成とした。
このように構成した単語分類装置は、例えば処理回数を２回と設定することで、評価関数計算手段が２回再計算を行った結果を、単語リストとして出力することができる。
【００１２】
さらに、単語分類装置において、前記評価関数計算手段は、単語の集合をＷ＝｛ｗ１，ｗ２，…，ｗｉ，…ｗｎ｝とし、前記単語ｗｉ∈Ｗの出現頻度をＦ（ｗｉ）とし、前記単語ｗｉ∈Ｗに対する直前の前記隣接単語をＬ（ｗｉ）＝｛ｌ１（ｗｉ），ｌ２（ｗｉ），…ｌｊ（ｗｉ），…ｌｎ（ｗｉ）｝、とし、単語ｌ１（ｗｉ）∈Ｌ（ｗｉ）が、単語ｗｉの直前に出現した出現頻度をｆｌｊ（ｗｉ）とし、  単語ｗｉ∈Ｗに対してその直後に出現する単語の集合：Ｒ（ｗｉ）＝｛ｒ１（ｗｉ），ｒ２（ｗｉ），…ｒｊ（ｗｉ），…ｒｎ（ｗｉ）｝とし、単語ｒ１（ｗｉ）∈Ｒ（ｗｉ）が、単語ｗｉの直後に出現した出現頻度をｆｒｊ（ｗｉ）とし、前記上位順位の単語の集合Ｋ＝｛ｋ１，ｋ２…ｋｎ｝とし、前記Ｋ＝｛ｋ１，ｋ２…ｋｎ｝に対応する直前の前記隣接単語の出現頻度の和より次の式
【数１】
2008234026.tif 000003
に対応するＸＬを構成し、前記Ｋ＝｛ｋ１，ｋ２…ｋｎ｝に対応する直後の前記隣接単語の出現頻度の和より次の式
【数２】
2008234026.tif 000004
に対応するＸＲを構成し、前記クラス情報をＬ´（ｗｉ）＝Ｌ（ｗｉ）−Ｋ、Ｒ´（ｗｉ）＝Ｒ（ｗｉ）−Ｋ、ｌｊ（ｗｉ）∈Ｋ、ｒｊ（ｗｉ）∈Ｋとしたとき、前記エントロピーの値をＨ（ｗｉ）として次の式
【数３】
2008234026.tif 000005
により計算する構成とした。
【００１３】
このように構成することで、単語分類装置は、評価関数計算手段に入力される出現頻度あるはクラス情報等をＨ（ｗｉ）の式に代入することで、エントロピーの値を算出できる。
【００１４】
そして、単語分類装置において、前記評価関数算出手段は、前記Ｈ（ｗｉ）の式において、前記クラス情報を受取らなかった場合は、Ｌ´（ｗｉ）＝Ｌ（ｗｉ）、Ｒ´（ｗｉ）＝Ｒ（ｗｉ）、ＸＬ＝ＸＲ＝０として設定して前記エントロピーの値を計算する構成とした。
このように構成することで、単語分類装置は、初期のエントロピーの値と、クラス情報が反映されるエントロピーの値とをテンプレートにより保持して計算することができる。
【００１５】
また、単語分類プログラムは、あらかじめ単語ごとに分節された入力文章から算出される単語出現頻度および前記単語出現頻度に対応づけて前記単語を記憶すると共に、前記単語の直前および直後に隣接する隣接単語の隣接単語出現頻度および前記隣接単語出現頻度に対応づけて前記隣接単語を記憶する単語隣接関係記憶手段と、前記単語のそれぞれについて計算されたエントロピーの値を記憶する評価関数計算結果記憶手段とを参照して、各単語のエントロピーの値に基づいて、前記単語のそれぞれを機能語と内容語とに分類するためにコンピュータを、単語隣接関係算出手段、評価関数計算手段、リスト作成手段、上位順位語抽出手段、クラス作成手段、として機能させる構成とした。
【００１６】
このように構成することで、単語分類プログラムは、評価関数計算手段によりはじめのエントロピーの値を計算して、リスト作成手段により算出したエントロピーの値に基づいて単語リストを作成し上位順位語作成手段により、単語リストから閾値より上位順位の単語を抽出する。そして、単語分類プログラムは、クラス作成手段が上位順位の単語と、隣接単語関係記憶手段の隣接単語とを参照してクラス情報を作成し、そのクラス情報に基づいて、再度評価関数計算手段がエントロピーの値を計算する。
【発明の効果】
【００１７】
本発明に係る単語分類装置および単語分類プログラムは、以下に示す優れた効果を奏するものである。
単語分類装置は、辞書を使用する必要がなく、クラス情報により再計算を行うことで、単語リストの上位順位に位置する内容語の隣接単語の要素がまとめられて、内容語のエントロピーの値を下げることができる。そのため、本来の機能語が単語リストの上位に順位することになり、機能語と内容語との分類精度を向上させることができる。ちなみに、単語分類装置は、従来の辞書を使用しない分類手法が７０〜８０％である場合と比較して、１０％前後分類精度を向上させことができる。
【００１８】
また、単語分類装置は、辞書を使用する必要がないため、多数の言語、特に、文章に記載されるときに、英語、フランス語、スカンジナビア語、ロシア語等のヨーロッパ言語、あるいは、タイ語、マレーシア語等のアジア言語等、単語に区切って文章に記載される言語であれば、多くの言語に対応して機能語と内容語の分類に使用することが可能となる。
【００１９】
単語分類装置は、設定した処理回数により、クラス情報を反映したエントロピーの値を繰り返し算出できるので、処理する言語に対応して分類精度が向上できる処理回数を選択することができ、応用が利く扱いを可能とする。
【００２０】
単語分類装置は、クラス情報を反映できるように、式（１）に代入して単語のエントロピーの値を計算するため、設定が容易で幅広い言語に対応して機能語と内容語の分類を分類精度よく行うことができる。
【００２１】
単語分類プログラムは、辞書を使用することなく、単語リストから閾値により抽出した上位順位の単語に基づいてクラス情報を作成して、そのクラス情報を反映させるように単語のエントロピーの値を計算することで、機能語と内容語との単語リストにおける順位を並び替えて機能語と内容語とを分類することが可能となる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明に係る単語分類装置について図面を参照して説明する。
図１は、単語分類装置を模式的に示すブロック図である。
図１に示すように、単語分類装置１は、あらかじめ単語に分節された（分かち書きされた）文章のテキストデータが入力されたものに対して単語ごとに機能語であるか、内容語であるかを分類するための分類単語リストを出力する装置である。
この単語分類装置１は、単語隣接関係収集手段（単語隣接関係算出手段）２と、リスト作成手段３ａを有する評価関数計算手段３と、評価関数計算結果記憶手段４と、上位順位語抽出手段５と、クラス作成手段６と、単語隣接関係記憶手段７とを備えている。
【００２３】
単語隣接関係収集手段２は、あらかじめ単語に分節された文章のテキストデータが入力され、個々の単語の出現頻度と、その単語の直前および直後に隣接する単語の出現頻度に対する情報を収集するものである。この単語隣接関係収集手段２は、入力された文章から単語ひとつひとつの出現頻度をカウントし、かつ、各単語の直前および直後に隣接する隣接単語のそれぞれをカウントして、各単語の出現頻度と、各隣接単語の出現頻度を算出している。
【００２４】
さらに具体的な例として、入力される言語が日本語の入力文章が以下のような場合とする。ここでは、日本語のニュースを１年分として４３万文章について入力した例の一部を示しているが、特に日本語または入力文章数に限定されるものではない。なお、文章は、文頭（句点の次の単語）から句点で区切られるまでを一文とした。
【００２５】
『日本／を／訪れ／て／いる／オランダ／の／皇太子／が／今日／兵庫／県／淡路島／で／開か／れ／て／いる／淡路／花博／の／会場／を／訪れ／オランダ／が／出展／し／て／いる／庭園／など／を／見学／し／まし／た／。／オランダ／の／アレキサンダー／皇太子／は／オランダ／と／の／交流／４００／周年／の／記念／行事／に／出席／する／ため／日本／を／訪問／し／て／い／て／きょう／は／淡路島／で／開か／れ／て／いる／淡路／花博／の／会場／を／訪れ／まし／た／。／アレキサンダー／皇太子／は／一面／に／色とりどり／の／チューリップ／が／咲い／て／いる／オランダ／庭園／を／見学／し／た／あと／オランダ／から／兵庫／県／に／贈ら／れる／庭園／の／中／の／高さ／およそ／１／メートル／７０／センチ／直径／およそ／５５／センチ／の／日時計／の／除幕／式／に／出席／し／まし／た／。／サッカー／の／日本／代表／選手…』
【００２６】
単語隣接関係収集手段２では、前記した入力文章の各単語と、その単語に対応する出現頻度と、その単語の直前および直後の隣接単語と、その隣接単語の隣接単語出現頻度とが関連つけられる。例えば、「の」の出現頻度については、つぎのようになる。
【００２７】
「の」の出現頻度が、例えば、１０７１３０１回で、さらに、「の」直前に出現した単語：「など」出現頻度［１７３３０］回、「人」出現頻度［１６３５８］回、「市」出現頻度［１５３２９］回、「県」出現頻度［１３５４４７］回、「へ」出現頻度［１１８４１］回…として格納される。
また、「の」直後に出現した単語：「間」出現頻度［１０９４８］回、「疑い」出現頻度［８９９９］回、「ため」出現頻度［８６２３］回、「中」出現頻度［８６０９］回、「二」出現頻度［７５３９］回…として格納される。
【００２８】
このようにして、４３万文章について対象となる対象単語「を」、「日本」、「選手」、「に」、「町」等の入力された全ての単語について、出現頻度（単語出現頻度）と、直前、直後に出現する単語の出現頻度（隣接単語出現頻度）を格納する。
【００２９】
収納された単語の出現頻度を一般的に整理すると、つぎのようになる。
単語の集合：Ｗ＝｛ｗ１，ｗ２，ｗ３，ｗ４…，ｗｉ，…，ｗｎ｝、
単語ｗｉ∈Ｗの出現頻度：Ｆ（ｗｉ）、
単語ｗｉ∈Ｗに対してその直前に出現する単語の集合：Ｌ（ｗｉ）＝｛ｌ１（ｗｉ），ｌ２（ｗｉ），…ｌｊ（ｗｉ），…ｌｎ（ｗｉ）｝、
単語ｌ１（ｗｉ）∈Ｌ（ｗｉ）が、単語ｗｉの直前に出現した回数：ｆｌｊ（ｗｉ）、
単語ｗｉ∈Ｗに対してその直後に出現する単語の集合：Ｒ（ｗｉ）＝｛ｒ１（ｗｉ），ｒ２（ｗｉ），…ｒｊ（ｗｉ），…ｒｎ（ｗｉ）｝、
単語ｒ１（ｗｉ）∈Ｒ（ｗｉ）が、単語ｗｉの直後に出現した回数：ｆｒｊ（ｗｉ）となる。
【００３０】
なお、上記の式中において、
ｗ１〜ｗｎは、それぞれ入力された各単語、
ｌ１〜ｌｎは、それぞれ対象となる単語の直前に現れる単語（隣接単語）、
ｒ１〜ｒｎは、それぞれ対象となる単語の直後に現れる単語（隣接単語）である。
【００３１】
単語隣接関係収集手段２は、各単語および単語それぞれの出現頻度と、各単語の直前および直後に隣接する単語である各隣接単語および隣接単語それぞれの出現頻度（隣接単語出現頻度）の情報を評価関数計算手段３に出力すると共に、単語隣接関係記憶手段７に出力している。
【００３２】
評価関数計算手段３は、各単語およびその単語それぞれの出現頻度と、各単語の直前および直後に隣接する隣接単語および隣接単語出現頻度、ならびに、隣接単語の後記するクラス情報を用いて、各単語の評価関数であるエントロピーの値を計算する。評価関数計算手段３は、ここでは、テンプレートとして次に示す式（１）を有しており、各単語についてそれぞれの値を代入してエントロピーの値を計算している。評価関数計算手段３は、つぎの式（１）に示すように、一般的な単語ｗｉ∈Ｗのエントロピーの値Ｈ（ｗｉ）という形で表現される。
【００３３】
【数４】
2008234026.tif 000006
【００３４】
ただし、Ｌ´（ｗｉ）、Ｒ´（ｗｉ）、ＸＬ、ＸＲは、後記する再計算（再構築）されるときに、使用される算出する項目である。そのため、最初のステップでは、Ｌ´（ｗｉ）＝Ｌ（ｗｉ）、Ｒ´（ｗｉ）＝Ｒ（ｗｉ）、ＸＬ＝ＸＲ＝０として設定される。
また、再計算（再構築）されるときには、はじめに計算した評価関数の値が高いものから上位ｍ番目までの単語（閾値より上位順位の単語）を集合ＫとしたときＫ＝｛ｋ１，ｋ２，…，ｋｉ，…，ｋｍ｝とし、式（２）のＸＬ、式（３）のＸＲが以下のように設定される。なお、ここでは、式（２）および式（３）は、評価関数計算手段３のテンプレートとしてあらかじめ保持されている。
【００３５】
【数５】
2008234026.tif 000007
【００３６】
【数６】
2008234026.tif 000008
【００３７】
前記した式（１）を、つぎの式（４）では、単語ｗｉ∈Ｗのエントロピーの値Ｈ（ｗｉ）に具体的な対象となる単語「日本」について、一回目の計算として表わした状態を示している。なお、式（４）において、式（１）の右辺第二項および第四項に対応する部分は括弧（再構築された情報＝０）で示されている。
【００３８】
【数７】
2008234026.tif 000009
【００３９】
また、評価関数（エントロピーの値）の構成は、つぎのようになる。なお、クラスとは単語の集合を示している。
評価関数＝単語直前の隣接単語について（閾値より小さいクラスの評価関数）＋（閾値より大きいクラスの評価関数）＋単語直後の隣接単語について（閾値より小さいクラスの評価関数）＋（閾値より大きいクラスの評価関数）。この評価関数の構成において、ここでは、外部から入力される閾値より小さい（順位が低い単語またはエントロピーの値が小さい単語）クラスを下位クラスとし、また、その閾値より大きいクラスを上位クラスとしている。
【００４０】
評価関数計算手段３は、再計算する際に、Ｌ´（ｗｉ）、Ｒ´（ｗｉ）で示す下位クラスの集合の情報により式（１）における右辺第一項と第三項の値を計算し、Ｌ´（ｗｉ）、Ｒ´（ｗｉ）に含まれないＬ（ｗｉ）、Ｒ（ｗｉ）の要素、すなわち、集合Ｋに含まれる単語と、同じ単語は、ｌｊ（ｗｉ）∈Ｋ（Ｌ（ｗｉ）∩Ｋに等しい）、ｒｊ（ｗｉ）∈Ｋ（Ｒ（ｗｉ）∩Ｋに等しい）で示す上位クラスの集合の情報として、式（１）における右辺第二項と右辺第四項の値を計算する。ただし、ここでの右辺第二項におけるＸＬは、式（２）に、右辺第四項におけるＸＲは、式（３）に従う。
【００４１】
そのため、評価関数計算手段３では、例えば「日本」のような名詞で明らかに内容語である単語が一回目のエントロピーの値を計算して昇順とした単語リストの上位にランクされていても、再計算によりランクを下げることができる。つまり、エントロピーが高い単語は、機能語が一般的に多く、内容語は隣接単語として機能語を持ちやすいので、クラス情報で与えられる上位クラスの単語をまとめて同じ単語（グループ）とみなして再計算すると、「の」、「は」等の機能語が同じ単語（グループ）とみなされるため、「日本」のような隣接単語として、機能語を多く持つ単語は、はじめに計算されたエントロピーの値より小さくなる。
【００４２】
それとは逆に、「の」のような本来の機能語は、その単語の後あるいは前に「の」、「は」等の機能語が連続する場合はほとんどないので、評価関数計算手段３で再計算された値は、はじめに計算されたエントロピーの値とほとんど変わらない。そのため、「日本」等の内容語は、エントロピーの値が小さくなり、機能語である「の」等の単語が単語リストの上位から連続することになる。
【００４３】
より具体的な例示により示すと、上位順位の単語が、閾値により例えば、集合Ｋ＝｛「の」、「や」、「を」…「日本」…｝としたとき、クラス情報Ｌ´（ｗｉ）＝Ｌ（ｗｉ）−Ｋ、Ｒ´（ｗｉ）＝Ｒ（ｗｉ）−Ｋにもとづいて、例えば前記式（４）について、『日本』の情報を再構築する場合、まず、『日本』の直前に出現する単語の集合、直後に出現する単語の集合のそれぞれに、集合Ｋに一致しない単語である下位クラスの集合となる差集合をつくることになる（式（１）の右辺第一項および第三項の計算）。
【００４４】
また、『日本』の直前に出現する単語の集合、直後に出現する単語の集合のそれぞれに、集合Ｋに一致する単語である上位クラスの集合との積集合ｌｊ（ｗｉ）∈Ｋ（Ｌ（ｗｉ）∩Ｋに等しい）、ｒｊ（ｗｉ）∈Ｋ（Ｒ（ｗｉ）∩Ｋに等しい）をつくり、その集合に含まれた単語の『日本』の直前（直後）に出現した回数の和を求めて、それらが和の回数だけ出現したひとつの単語のような扱いをして計算（式（１）の右辺第二項および第四項の計算）することになる。
【００４５】
つまり、集合の記号であらわすと、つぎのようになる。
（『日本』の直前に出現する単語の集合）∩（集合Ｋの単語に対応する単語の集合）となる単語は、式（１）の第一項には含まれず、第二項において、『日本』の直前に出現する回数２３３１１回（同一の単語としてまとめられた回数）の一単語『ｘｌ』となる。
【００４６】
同様に直後の隣接単語についても求めると、以下のようになる。
（『日本』の直後に出現する単語の集合）∩（集合Ｋの単語に対応する単語の集合）となる単語は、式（１）の第三項には含まれず、第四項において、『日本』の直後に出現する回数１６８８３回の一単語『ｘｒ』となる。
【００４７】
以上の再構築された情報から、『日本』のエントロピーの値を再計算すると、集合Ｋにより作成されたクラス情報に基づいて計算される隣接単語は、まとめられるため、はじめに計算した値からエントロピーの値が小さくなる。
そして、式（５）は、単語「日本」において、集合Ｋが具体的に式（２）、式（３）に反映された状態を示している。
【００４８】
【数８】
2008234026.tif 000010
【００４９】
なお、式（４）で計算したエントロピーの値は、６．９２であったのに対して、クラス情報により再計算した式（５）で示すエントロピーの値は、５．３７となり、単語リストのランクを下げることになる。
【００５０】
図１に示すように、評価関数計算手段３で計算あるいは再計算したエントロピーの値は、評価関数計算結果記憶手段４に出力される。なお、評価関数計算手段３は、エントロピーの値が高い順、あるいは、低い順に評価関数計算結果記憶手段４に記憶させている。したがって、ここでは、リスト作成手段３ａは、評価関数計算手段３に備えられている。
【００５１】
評価関数計算結果記憶手段４は、評価関数計算手段３により計算された結果を記憶するものである。この評価関数計算結果記憶手段４は、ハードディスク、光ディスク、光磁気ディスク等の記憶手段である。この評価関数計算結果記憶手段４に記憶された計算結果は、上位順位語抽出手段５により参照される。評価関数計算結果記憶手段４に記憶された単語リストの状態を表１に示す。
【００５２】
【表１】
2008234026.tif 000011
この表１に示すように、ここでは、項目として単語と、その単語のエントロピーの値と、再計算のエントロピーの値と、変化率とを示している。この表１で示すように、はじめの計算結果であるエントロピーの値順に並べられているため、本来名詞であり明らかな内容語として「日本」、「町」等が上位順位の単語である１００位以内に存在している。また、表１に示すように、再計算のエントロピーの値では、「日本」、「町」等の内容語は、値が小さく、はじめの値と比較して変化率も大きいことが分かる。表１では、再計算のエントロピーの値は、再計算を２回行ったときの値を示している。
【００５３】
上位順位語抽出手段５は、評価関数計算結果記憶手段４に記憶されている計算結果である単語リスト（表１参照）と、外部から入力された閾値に基づいて、前記単語リストから上位順位の単語を抽出する。ここで示す単語リストは、表１に示すように、エントロピーの値が高い昇順に対応するに単語を並べたリストである。例えば、外部から入力された閾値が上位となる１００語であれば、計算結果であるエントロピーの値が高い昇順に並んでいる単語リストから１００語抽出して上位順位の単語として抽出する。なお、抽出した上位順位の単語は、単語抽出リスト（図示せず）にしても構わない。
【００５４】
また、上位順位語抽出手段５は、外部から入力された処理回数に基づいて、上位順位の単語を抽出する処理を行うか、それとも、評価関数計算結果記憶手段４から取得する単語リストを出力する処理を行うかを決めている。ここでは、上位順位語抽出手段５は、評価関数計算手段３が２回再計算するように、処理回数を２回に設定されている。したがって、上位順位語抽出手段５は、設定された処理回数に基づいて、作成した単語抽出リストをクラス作成手段６に出力する。また、上位順位語抽出手段５は、上位順位の単語の抽出を２回行ったら、単語リストを分類単語リストとして外部に出力する。
【００５５】
なお、閾値、および、処理回数は、外部の設定手段１０からあらかじめ入力して設定される。この設定手段１０は、キーボード、マウス等の入力装置である。また、上位順位語抽出手段５は、図示しないバッファ等に、設定手段１０から入力される閾値および処理回数を記憶している。
【００５６】
クラス作成手段６は、上位順位語抽出手段５から送られて来た単語抽出リストと、後記する単語隣接関係記憶手段７に記憶されている個々の単語の直前および直後に隣接する隣接単語のリストを参照（比較）して、単語抽出リストにある単語（上位クラス）と、単語抽出リストにない単語（下位クラス）に分ける作業を行う。つまり、式（１）の第一項および第三項で計算される要素であるか、あるいは、第二項および第四項で計算される要素であるかを、単語抽出リスト（集合Ｋ）によりクラス分けしている。
このクラス作成手段６により作成されたクラス情報は、評価関数計算手段３に出力され、ここでは、式（１）中にクラス情報としてＬ´（ｗｉ）＝Ｌ（ｗｉ）−Ｋ、Ｒ´（ｗｉ）＝Ｒ（ｗｉ）−Ｋの下位クラス情報、および、ｌｊ（ｗｉ）∈Ｋ、ｒｊ（ｗｉ）∈Ｋの上位クラス情報に反映される。なお、ｌｊ（ｗｉ）∈Ｋは、Ｌ（ｗｉ）∩Ｋに等しく、また、ｒｊ（ｗｉ）∈Ｋは、Ｒ（ｗｉ）∩Ｋに等しい。
【００５７】
単語隣接関係記憶手段７は、単語隣接関係収集手段２から送られてきた単語（単語の集合）Ｗと、単語の出現頻度Ｆ（ｗｉ）、隣接単語（隣接単語の集合）Ｌ（ｗｉ）＝｛ｌ１（ｗｉ），ｌ２（ｗｉ），…ｌｊ（ｗｉ），…ｌｎ（ｗｉ）｝、Ｒ（ｗｉ）＝｛ｒ１（ｗｉ），ｒ２（ｗｉ），…ｒｊ（ｗｉ），…ｒｎ（ｗｉ）｝と、隣接単語の出現頻度ｆｌｊ（ｗｉ）、ｆｒｊ（ｗｉ）とを記憶している。この単語隣接関係記憶手段７は、ハードディスク、光ディスク、光磁気ディスク等の記憶手段である。この単語隣接関係記憶手段７に記憶された計算結果は、クラス作成手段６により参照される。
【００５８】
なお、上位順位語抽出手段５に設定される処理回数がカウントされて設定された処理回数に到達すると、例えば、表２に示すような分類単語リストとして外部に出力される。この表２に示すように、クラス情報を反映してエントロピーの値を計算しているため、「町」、「日本」等が、表１と比較すると、上位順位の単語である１００語から外れている。これは、クラス情報が反映されたことで、エントロピーの値が小さくなり、ランクが下がり、上位順位から後退したことを示している。
【００５９】
【表２】
2008234026.tif 000012
【００６０】
以上説明したように、単語分類装置１は、辞書を使用することなく、各単語についてエントロピーの値を、クラス情報に基づいて再計算するときに、出現頻度が多い内容語のエントロピーの値を下げるため、出力された分類単語リストを参照して上位から所定順位の単語を機能語とし、その所定順位の以下の単語を内容語として分類することができる。
したがって、単語の分類を機械的に行っても、従来の手法と比較して格段に分類精度を上げることができる。また、ここでは、分かり易くするため、日本語を一例として説明したが、マレーシア語、英語、ドイツ語等、文章を記載するときに単語を分かち書きされる言語であれば、辞書を使用することなく、機能語と内容語とを分類精度よく分類することが可能となる。
【００６１】
つぎに、単語分類装置１の動作の説明を、図２を中心にして、図１および図２を参照して説明する。図２は単語分類装置の動作フローを示すフローチャートである。
はじめに、単語分類装置１は、単語隣接関係収集手段２により単語に区分された文章（単語の集合Ｗ）を入力して、それぞれの文章から単語の隣接関係情報を収集する（Ｓ１）。すなわち、単語の隣接関係情報として、単語の集合と、単語の出現頻度と、隣接単語（直前および直後）の集合と、隣接単語（直前および直後）の出現頻度（出現する回数）とである。
【００６２】
つぎに、単語分類装置１は、単語の隣接関係に基づいて、評価関数計算手段３により単語の評価関数であるエントロピーの値を計算する（Ｓ２）。各単語についてエントロピーの値が計算されると、単語分類装置１は、評価関数計算結果記憶手段４にその計算結果を記憶させており、そのときに、計算したエントロピーの値が昇順になるように単語リストを作成（Ｓ３）した状態で記憶させている。そして、単語分類装置１は、上位順位語抽出手段５により作成した単語リストにおいて、閾値に基づいて上位順位の単語を抽出している（Ｓ４）。なお、閾値は、ここでは、表１に示すように、上位順位の単語として１００語を抽出している。
【００６３】
さらに、単語分類装置１は、クラス作成手段６により、単語隣接関係記憶手段７を参照して、各単語が上位順位の単語である集合Ｋに対応する場合、上位クラスとし、集合Ｋに対応しない場合、下位クラスとしてクラス情報を作成する（Ｓ５）。そして、単語分類装置１は、クラス作成手段６があらかじめ設定された処理回数に到達していなければ（Ｓ６のＮｏ）、各単語について上位クラスであるか、あるいは、下位クラスであるかのクラス情報を評価関数計算手段３に送る。そして、単語分類装置１は、評価関数計算手段３が送られてきたクラス情報に基づいて、単語隣接関係記憶手段７を参照して、再度エントロピーの値を計算する。
【００６４】
単語分類装置１は、エントロピーの値を再度計算して（Ｓ２）、ステップＳ３〜Ｓ６までを繰り返し、ステップＳ６において、設定した処理回数に到達すると（Ｓ６のＹｅｓ）、上位順位語抽出手段５から分類単語リストが出力され、あらかじめ設定されていた閾値（順位あるいはエントロピーの和の値）に基づいて、その閾値より低い順位の単語を内容語とし（Ｓ７）、その閾値より高い順位である単語を機能語とし（Ｓ８）ている。
【００６５】
以上説明したように単語分類装置１では、クラス情報に基づいてエントロピーの値を再計算するため、内容語が単語リストの上位に位置しても、再計算するときに、内容語の数値が低下して機能語と内容語の分類を的確に行うことができる。
【００６６】
なお、単語分類装置１において、再計算してエントロピーの値をまとめる状態を、より分かりやすくするため、簡単な具体例を挙げて、図３および、つぎの式（６）ないし式（８）に基づいて説明する。ここでは、図３に示すように、「日本」および「た」について、対象となる単語とした例で示す。なお、ここでは、説明を簡単にするため、単語の直後に隣接する隣接単語のみについての説明とする。
【００６７】
評価関数計算手段３は、最初の評価関数を計算するための情報として、「日本」が８回出現（出現頻度）し、直後に出現した単語の集合として、下位クラスの集合（括弧内は回数）｛「の」（１）、「が」（１）、「を」（１）、「は」（１）、「選手」（２）、チーム（２）｝であったとする。このとき、上位クラスの集合は、クラス情報がないので、空集合となる（単語「日本」における式（１）のＸＲに相当）。
【００６８】
同様に、最初の評価関数を計算するための情報として、「た」が８回出現（出現頻度）し、直後に出現した単語の集合（括弧内は回数）｛「が」（２）、「選手」（２）、「チーム」（２）、「日本」（２）｝であったとする。このとき、上位クラスの集合は、クラス情報がないため、上位クラスの集合は、空集合となる（単語「た」における式（１）のＸＲに相当）。
【００６９】
前記した各単語および隣接単語の情報を評価関数計算手段３は、単語隣接関係収集手段２から受取り、はじめに、クラス情報がないとして「日本」および「た」についてエントロピーの値を、つぎの式（６）に示すように計算する。
【００７０】
【数９】
2008234026.tif 000013
【００７１】
式（６）で示すように、最初の「日本」のエントロピーの値は、２．５となり、最初の「た」のエントロピーの値は２となる（図３（Ａ）参照）。このとき、他の単語についてもエントロピーの値が計算され、そのエントロピーの値の高い順に単語のリストを作成すると、「の」、「が」、「選手」、「日本」、「を」、「は」、「た」、「チーム」であったとする。ここで、閾値として４つの単語を設定し、集合Ｋとして上位順位の単語を（上位クラス）４つ集合Ｋ＝｛「の」、「が」、「選手」、「日本」｝とし、それ以外の単語を下位クラスとしたクラス情報を作成し、そのクラス情報に基づいて再計算を行う。
【００７２】
再計算する際に、クラス作成手段６からクラス情報を受け取り、式（２）および式（３）に反映させて、異なる単語であっても、例えば、「の」、「が」、「選手」、「日本」を集合Ｋに含まれる同じ単語（ｗｉ）とみなし、まとめた項として計算することになる。つまり、式（７）に示すように、「日本」の上位クラスの項は、まとめられて、式（６）と比較してエントロピーの和の値が低くなったことが分かる（図３（Ｂ）参照）。また、式（７）で示すように、「た」についてもエントロピーの和の値が下がる（図３（Ｂ）参照）。なお、「た」のエントロピーの値が下がるのは、本来正しくない上位クラスの情報に基づいて計算されることによる。
【００７３】
【数１０】
2008234026.tif 000014
【００７４】
さらに、他の単語も同様に再計算されることで、前記の計算結果と異なりリストの順位が「の」、「が」、「を」、「は」、「選手」、「日本」、「た」、「チーム」として入れ替わったとする。そうすると、その入れ替わったリストに基づいて、設定した閾値が４であったから上位順位の単語として、上位クラスが、「の」、「が」、「を」、「は」となり、また、下位クラスが「選手」、「日本」、「た」、「チーム」としたクラス情報により式（８）に示すように再計算が行われる。
【００７５】
【数１１】
2008234026.tif 000015
【００７６】
そうすると、式（８）に示すように、「日本」は、クラス情報を反映させて計算することで、エントロピーの値が１．５となり、また、「た」は、エントロピーの値が２となり（図３（Ｃ）参照）、単語リストでは「日本」より上位の順位となる。つまり、本来内容語である「日本」が、一回のエントロピーの値では、機能語である順位に単語リスト中において位置していた状態から、除外されたことを示している。
このように、クラス情報に基づいてエントロピーの値を再計算することにより、単語リストの上位から順に機能語を連続してリストアップできるようになる。したがって、単語分類装置１は、内容語と機能語の分類精度を向上させることができる。
【００７７】
以上説明した単語分類装置１は、評価関数計算手段３にリスト作成手段３ａを備えるように構成したが、たとえば、上位順位語抽出手段５にリスト作成手段３ａを備えるように構成しても構わない。
【００７８】
また、単語分類装置１は、一般的な、コンピュータを、前記した各手段として機能させるプログラムにより作動させることで実現することができる。このプログラム（単語分類プログラム）は、通信回線を介して配布することも可能であるし、また、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【図面の簡単な説明】
【００７９】
【図１】本発明に係る単語分類装置の全体を示すブロック図である。
【図２】本発明に係る単語分類装置の処理の流れを示すフローチャート図である。
【図３】本発明に係る単語分類装置の具体例を示す「日本」と「た」との単語にクラス情報を反映させたイメージを模式的に示す模式図である。
【符号の説明】
【００８０】
１        単語分類装置
２        単語隣接関係収集手段（単語隣接関係演算手段）
３        評価関数計算手段
３ａ      リスト作成手段
４        評価関数計算結果記憶手段
５        上位順位語抽出手段
６        クラス作成手段
７        単語隣接関係記憶手段
１０      設定手段
【図１】
2008234026.tif 000019
【図２】
2008234026.tif 000020
【図３】
2008234026.tif 000021