(57)【特許請求の範囲】
【請求項１】
単語間の適確な関連度を算出する単語ベース生成装置であって、
コーパスが入力されると、該コーパス内の任意の単語Ａに対し、各成分の値が、単語Ａと、該成分に対応する単語または単語意味属性との共起頻度の相対値である単語ベクトルを生成し、単語ベクトル記憶手段に格納する単語ベクトル生成手段と、
任意の単語Ｂに対し、該単語Ｂの前記単語ベクトル記憶手段に格納されている単語ベクトルと、任意の単語Ｃの該単語ベクトル記憶手段に格納されている単語ベクトルとの間の、あるパラメータαのもとでのダイバージェンス距離を算出し、該単語Ｂと該単語Ｃとの間の単語間関連度を算出し、単語間関連度記憶手段に格納する単語間関連度算出手段と、を有し、
前記単語間関連度算出手段は、
算出された前記ダイバージェンス距離から前記単語Ｂと前記単語Ｃとの間の単語間関連度を算出する手段、
または、
算出された前記ダイバージェンス距離の小さい順に前記単語Ｃをランキングし、ランキングにおける順位から前記単語Ｂと該単語Ｃとの間の単語間関連度を算出する手段の、いずれかを有し、
前記単語間関連度算出手段は、
前記ダイバージェンス距離の算出では、１／０＝Ｄ（Ｄは正定数）と定義し、単語ベクトルの要素ｘ、要素ｙに対して、
α＜０かつｘ＝０のとき、ｘのα乗＝（１／ｘ）の（−α）乗＝Ｄの（−α）乗と計算し、
（１−α）＜０かつｙ＝０のとき、ｙの（１−α）乗＝（１／ｙ）の（−（１−α））乗＝Ｄの（−（１−α））乗と計算する
ことを特徴とする単語ベース生成装置。
【請求項２】
前記単語間関連度算出手段は、前記単語間関連度を、複数の異なるパラメータのもとでのダイバージェンス距離に基づいて算出した上で、
任意の単語Ｂ，Ｃ間の関連度を、前記単語間関連度算出手段において算出した、複数の異なるパラメータのもとでの単語Ｂ，Ｃ間の関連度に基づいて算出する単語間関連度合成手段を、更に有する
請求項１記載の単語ベース生成装置。
【請求項３】
前記単語ベクトル生成手段は、
前記コーパスを形態素解析し、処理に必要な単語を特定し、該形態素解析結果から、任意の単語の対、または、任意の単語と任意の単語意味属性の対に対し、該コーパスにおける一つの所定範囲、または、複数の所定の範囲のそれぞれにおいて、該対が共起する事象を、全ての所定の範囲にわたって計数した頻度を算出し、
各単語に対し、各成分の値が、該単語と、該成分に対応する単語または単語意味属性の対に対し算出された前記頻度であるベクトルを生成する手段と、
該生成されたベクトルを、該ベクトルの各成分を全成分の和で割った相対頻度を成分とするベクトルに変換する手段を含む
請求項１または２記載の単語ベース生成装置。
【請求項４】
前記単語間関連度算出手段は、
前記関連度を、前記ランキングの順位の逆数により算出する手段を含む
請求項１乃至３記載の単語ベース生成装置。
【請求項５】
前記単語間関連度合成手段は、
前記任意の単語Ｂ，Ｃ間の関連度を、前記単語間関連度算出手段において算出した、複数の異なるパラメータのもとでの該単語Ｂ，Ｃ間の関連度の線形結合として算出する手段を含む
請求項２乃至４記載の単語ベース生成装置。
【請求項６】
前記単語間関連度合成手段は、
前記任意の単語Ｂ，Ｃ間の関連度を、前記単語間関連度算出手段において算出した、複数の異なるパラメータのもとでの単語Ｂ，Ｃ間の関連度の最大値または最小値として算出する手段を含む
請求項２乃至４記載の単語ベース生成装置。
【請求項７】
単語間の適確な関連度を算出する単語ベース生成方法であって、
単語ベクトル生成手段が、コーパスが入力されると、該コーパス内の任意の単語Ａに対し、各成分の値が、単語Ａと、該成分に対応する単語または単語意味属性との共起頻度の相対値である単語ベクトルを生成し、単語ベクトル記憶手段に格納する単語ベクトル生成ステップと、
単語間関連度算出手段が、任意の単語Ｂに対し、該単語Ｂの前記単語ベクトル記憶手段に格納されている単語ベクトルと、任意の単語Ｃの該単語ベクトル記憶手段に格納されている単語ベクトルとの間の、あるパラメータαのもとでのダイバージェンス距離を算出し、該単語Ｂと該単語Ｃとの間の単語間関連度を算出し、単語間関連度記憶手段に格納する単語間関連度算出ステップと、を行い、
前記単語間関連度算出ステップにおいて、
算出された前記ダイバージェンス距離から前記単語Ｂと前記単語Ｃとの間の単語間関連度を算出するステップ、
または、
算出された前記ダイバージェンス距離の小さい順に前記単語Ｃをランキングし、ランキングにおける順位から前記単語Ｂと該単語Ｃとの間の単語間関連度を算出するステップの、いずれかを行い、
前記単語間関連度算出ステップにおいて、
前記ダイバージェンス距離の算出では、１／０＝Ｄ（Ｄは正定数）と定義し、単語ベクトルの要素ｘ、要素ｙに対して、
α＜０かつｘ＝０のとき、ｘのα乗＝（１／ｘ）の（−α）乗＝Ｄの（−α）乗と計算し、
（１−α）＜０かつｙ＝０のとき、ｙの（１−α）乗＝（１／ｙ）の（−（１−α））乗＝Ｄの（−（１−α））乗と計算する
ことを特徴とする単語ベース生成方法。
【請求項８】
請求項１乃至６のいずれか１項に記載の単語ベース生成装置を構成する各手段としてコンピュータを機能させるための単語ベース生成プログラム。
【請求項９】
請求項８記載の単語ベース生成プログラムを格納したことを特徴とするコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単語ベース生成装置及び方法及びプログラム及びコンピュータ読取可能な記録媒体に係り、特に、単語間の適確な関連度を算出する単語ベース生成装置及び方法及びプログラム及びコンピュータ読取可能な記録媒体に関する。
【背景技術】
【０００２】
単語間の関連度を算出する手法として、まず、単語に意味属性が付随した辞書を用いて、コーパス中の単語・意味属性間の共起頻度を算出し、単語・意味属性共起行列を作成する。当該行列の各行ベクトルは、対応する単語の、意味属性と共起するパターンを表している。意味の似た単語は、共通の意味属性と共起する傾向があるので、対応するパターンも似る傾向がある。
【０００３】
単語・意味属性間共起行列の各行ベクトルに対し、各成分値を、全成分値の和に対する相対値に変換し、該行ベクトルを、各成分を確率変数、成分値を確率値とする確率分布と捉える。単語Ｂに対し、単語Ｂから任意の単語Ｃへのカルバック・ライブラ距離を、各単語のベクトルを基に算出し、該距離の昇順に単語Ｃをランキングする。これにより、単語Ｂの上位概念の度合いの大きい順に、単語Ｃがランキングされる。該ランキングにおける順位により、単語Ｂから単語Ｃへの関連度を算出する（例えば、非特許文献１参照）。
【０００４】
この算出した単語間関連度は、一例として、上記の非特許文献１で述べられているように、以下のようにテキスト分類に利用できる。
【０００５】
各カテゴリに対し、「テレビ番組ＯＲラジオ番組」のような、そのカテゴリを表す文字列のＯＲ結合を対応付けておく。次に、任意の単語から、ＯＲ結合された一文字列への関連度を、該単語から、該文字列中の単語への関連度をもとに算出しておく。
【０００６】
被分類テキストが入力されると、該テキストから一カテゴリへの関連度を以下のようにして算出する。該テキストから、該カテゴリのＯＲ結合された一文字列ヘの関連度を、該テキスト中の単語から、該文字列への関連度をもとに算出する。該テキストから、該カテゴリのＯＲ結合された一文字列への関連度の最大値を、該テキストから該カテゴリヘの関連度として算出する。関連度の高い順にカテゴリをランキングし、上位にランキングされたカテゴリを分類結果とする。
【非特許文献１】別所克人、内山俊郎、片岡良治：単語間の階層関係に基づくテキスト分類法式、信学技報、vol. PRMU2007-15, pp. 79-84, May. 2007.
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記の従来技術により、任意の単語に対し、該単語の上位または下位の概念にあたる単語を導出できる。しかし、上位概念一つをとっても、より上位のものから下位のものまで、上位概念のレベルに違いがあり、カルバック・ライブラ距離では、特定のレベルの上位概念は導出できても、異なるレベルの上位概念の導出ができない。例えば、単語「徳川家康」に対し、カルバック・ライブラ距離では「江戸時代」や「将軍」といった比較的「徳川家康」に近い上位概念の単語が導出されるが、「有名」や「強い」といった、より上位のレベルの概念の単語のランクは低く、導出されないという問題がある。
【０００８】
本発明は、上記の点に鑑みなされたもので、単語から該単語の、様々なレベルの上位概念や下位概念、兄弟概念の単語を導出することが可能な単語ベース生成装置及び方法及びプログラム及びコンピュータ読取可能な記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００９】
図１は、本発明の原理構成図である。
【００１０】
本発明（請求項１）は、単語間の適確な関連度を算出する単語ベース生成装置であって、
コーパスが入力されると、該コーパス内の任意の単語Ａに対し、各成分の値が、単語Ａと、該成分に対応する単語または単語意味属性との共起頻度の相対値である単語ベクトルを生成し、単語ベクトル記憶手段に格納する単語ベクトル生成手段と、
任意の単語Ｂに対し、該単語Ｂの前記単語ベクトル記憶手段に格納されている単語ベクトルと、任意の単語Ｃの該単語ベクトル記憶手段に格納されている単語ベクトルとの間の、あるパラメータαのもとでのダイバージェンス距離を算出し、該単語Ｂと該単語Ｃとの間の単語間関連度を算出し、単語間関連度記憶手段に格納する単語間関連度算出手段と、を有し、
前記単語間関連度算出手段は、
算出された前記ダイバージェンス距離から前記単語Ｂと前記単語Ｃとの間の単語間関連度を算出する手段、
または、
算出された前記ダイバージェンス距離の小さい順に前記単語Ｃをランキングし、ランキングにおける順位から前記単語Ｂと該単語Ｃとの間の単語間関連度を算出する手段の、いずれかを有し、
前記単語間関連度算出手段は、
前記ダイバージェンス距離の算出では、１／０＝Ｄ（Ｄは正定数）と定義し、単語ベクトルの要素ｘ、要素ｙに対して、
α＜０かつｘ＝０のとき、ｘのα乗＝（１／ｘ）の（−α）乗＝Ｄの（−α）乗と計算し、
（１−α）＜０かつｙ＝０のとき、ｙの（１−α）乗＝（１／ｙ）の（−（１−α））乗＝Ｄの（−（１−α））乗と計算する。
【００１１】
パラメータαのもとでのダイバージェンスは、「T. Minka, "Divergence measures and message passing," MSR-TR-2005-173, 2005」でαダイバージェンスと呼ばれている。
【００１２】
また、本発明（請求項２）は、単語間関連度算出手段２０において、単語間関連度を、複数の異なるパラメータのもとでのダイバージェンス距離に基づいて算出した上で、
任意の単語Ｂ，Ｃ間の関連度を、単語間関連度算出手段において算出した、複数の異なるパラメータのもとでの単語Ｂ，Ｃ間の関連度に基づいて算出する単語間関連度合成手段を、更に有する。
【００１３】
また、本発明（請求項３）は、単語ベクトル生成手段１０において、
コーパスを形態素解析し、処理に必要な単語を特定し、該形態素解析結果から、任意の単語の対、または、任意の単語と任意の単語意味属性の対に対し、該コーパスにおける一つの所定の範囲、または、複数の所定の範囲のそれぞれにおいて、該対が共起する事象を、全ての所定の範囲にわたって計数した頻度を算出し、
各単語に対し、各成分の値が、該単語と、該成分に対応する単語または単語意味属性の対に対し算出された頻度であるベクトルを生成する手段と、
該生成されたベクトルを、該ベクトルの各成分を全成分の和で割った相対頻度を成分とするベクトルに変換する手段を含む。
【００１４】
また、本発明（請求項４）は、単語間関連度算出手段２０において、関連度を、ランキングの順位の逆数により算出する手段を含む。
【００１５】
また、本発明（請求項５）は、単語間関連度合成手段において、任意の単語Ｂ，Ｃ間の関連度を、単語間関連度算出手段において算出した、複数の異なるパラメータのもとでの該単語Ｂ，Ｃ間の関連度の線形結合として算出する手段を含む。
【００１６】
また、本発明（請求項６）は、単語間関連度合成手段において、任意の単語Ｂ，Ｃ間の関連度を、単語間関連度算出手段において算出した、複数の異なるパラメータのもとでの単語Ｂ，Ｃ間の関連度の最大値または最小値として算出する手段を含む。
【００１７】
図２は、本発明の原理を説明するための図である。
【００１８】
本発明（請求項７）は、単語間の適確な関連度を算出する単語ベース生成方法であって、
単語ベクトル生成手段が、コーパスが入力されると、該コーパス内の任意の単語Ａに対し、各成分の値が、単語Ａと、該成分に対応する単語または単語意味属性との共起頻度の相対値である単語ベクトルを生成し、単語ベクトル記憶手段に格納する単語ベクトル生成ステップと、
単語間関連度算出手段が、任意の単語Ｂに対し、該単語Ｂの前記単語ベクトル記憶手段に格納されている単語ベクトルと、任意の単語Ｃの該単語ベクトル記憶手段に格納されている単語ベクトルとの間の、あるパラメータαのもとでのダイバージェンス距離を算出し、該単語Ｂと該単語Ｃとの間の単語間関連度を算出し、単語間関連度記憶手段に格納する単語間関連度算出ステップと、を行い、
前記単語間関連度算出ステップにおいて、
算出された前記ダイバージェンス距離から前記単語Ｂと前記単語Ｃとの間の単語間関連度を算出するステップ、
または、
算出された前記ダイバージェンス距離の小さい順に前記単語Ｃをランキングし、ランキングにおける順位から前記単語Ｂと該単語Ｃとの間の単語間関連度を算出するステップの、いずれかを行い、
前記単語間関連度算出ステップにおいて、
前記ダイバージェンス距離の算出では、１／０＝Ｄ（Ｄは正定数）と定義し、単語ベクトルの要素ｘ、要素ｙに対して、
α＜０かつｘ＝０のとき、ｘのα乗＝（１／ｘ）の（−α）乗＝Ｄの（−α）乗と計算し、
（１−α）＜０かつｙ＝０のとき、ｙの（１−α）乗＝（１／ｙ）の（−（１−α））乗＝Ｄの（−（１−α））乗と計算する。
【００１９】
本発明（請求項８）は、請求項１乃至６のいずれか１項に記載の単語ベース生成装置を構成する各手段としてコンピュータを機能させるための単語ベース生成プログラムである。
【００２０】
本発明（請求項９）は、請求項８記載の単語ベース生成プログラムを格納したコンピュータ読取可能な記録媒体である。
【発明の効果】
【００２１】
上記のように、本発明では、生成した単語ベクトルを、各成分を確率変数、成分値を確率値とする確率分布とみなし、αダイバージェンスにより、確率分布間の距離を算出する。単語Ｂの確率分布から、単語Ｃの確率分布へのαダイバージェンスを、Ｐα（Ｂ‖Ｃ）と表すこととする。Ｂの分布を固定したときにＰα（Ｂ‖Ｃ）を小さくするＣの分布は、αが小さい場合はＢの分布に包含される傾向があり、逆にαが大きい場合はＢの分布を包含する傾向がある。
【００２２】
一般に、下位概念の単語と共起する単語や意味属性とは、その上位概念の単語も共起する傾向がある。従って、下位概念の単語ベクトルは、その上位概念の単語ベクトルに包含される傾向がある。故に、単語Ｂを固定したときにＰα（Ｂ‖Ｃ）を小さくする単語Ｃは、αが小さい場合は単語Ｂの下位概念である傾向があり、逆にαが大きい場合は単語Ｂの上位概念である傾向がある。
【００２３】
単語Ｂを固定した上で、Ｐα（Ｂ‖Ｃ）の小さい順に単語Ｃをランキングしたとき、ランキングの上位にくる単語群との距離のスケールは、単語Ｂ毎に異なる。ランキングにおける順位に基づいて、単語Ｂから単語Ｃへの関連度を算出することにより、単語Ｂ毎の距離のスケールの違いをなくすことができる。
【００２４】
このようにして、αの値を変えることにより、着目している単語の様々なレベルの上位、下位概念の単語が導出可能となる。αの値によっては、着目している単語の兄弟概念の単語も導出可能となる。
【００２５】
αの値毎に、導出する単語概念のレベルは異なる。単語間関連度合成手段の処理により、単語Ｂを固定したときに、あるパラメータのもとでは関連度が低くても、他のパラメータのもとでは関連度が高い単語Ｃについて、合成後の関連度が高くなり、様々なレベルの上位、下位概念の単語が導出可能となる。
【発明を実施するための最良の形態】
【００２６】
以下、図面と共に本発明の実施の形態を説明する。
【００２７】
図３は、本発明の一実施の形態における単語ベース生成装置の構成を示す。
【００２８】
同図に示す単語ベース生成装置は、単語ベクトル生成部１０、単語ベクトル記憶部４０、単語間関連度算出部２０、単語間関連度記憶部５０、単語間関連度合成部３０、品詞リスト４１から構成される。このうち、単語ベクトル記憶部４０、品詞リスト４１、単語間関連度記憶部５０は、メモリやディスク等の記憶媒体である。
【００２９】
＜単語ベクトル生成部＞
単語ベクトル生成部１０は、コーパスを入力とし、任意の単語Ａに対し、各成分の値が、単語Ａと、該成分に対応する単語または単語意味属性との共起頻度の相対値である単語ベクトルを生成し、単語ベクトル記憶部４０に格納する。当該単語ベクトル生成部１０の処理は、例えば、文献１「別所克人、内山俊郎、片岡良治、"単語・意味属性間共起に基づく概念ベースの拡張方式"情処研報、vol. 2006-ICS-144, pp. 29-34, Jul. 2006」や文献２「別所克人、内山俊郎、片岡良治、"単語・意味属性間共起に基づく単語間の階層関係の抽出"、信学技報、vol. NLC2006-92, pp. 31-36, Jan. 2007.」で述べられている方法で行う。
【００３０】
この方法では、コーパスを形態素解析し、名詞や用言等の処理に必要な品詞リスト４１等を参照して、処理に必要な単語を特定する。各行が単語に対応し各列が単語に対応している単語間共起行列、または、各行が単語に対応し、各列が単語意味属性に対応している単語・意味属性間共起行列を生成し、単語ベクトル記憶部４０に格納する。形態素解析結果から、任意の単語の対、または、任意の単語と任意の単語意味属性の対に対し、コーパスにおける一つの所定の範囲、または、複数の所定の範囲（典型的には１文）のそれぞれにおいて、該対が共起する事象を、全ての所定の範囲にわたって計数した頻度を算出し、共起行列中の該対の成分に書き込む。
【００３１】
この単語意味属性とは、単語の属する意味カテゴリを表すもので、単語辞書等の中の各単語に、対応する意味属性が登録されている。意味カテゴリとは一般に、事物を抽象化した概念である。これは一般に、人が個々の単語の意味を吟味した上でえられるものである。意味カテゴリの集合は、一例として図４で表されるような意味体系をなしている。同図では、各意味カテゴリを言葉として表現しているが、意味カテゴリ自体は必ずしも言葉として表現されているとは限らない概念である。各意味カテゴリには、それを特定するためのＩＤが付与されている。新しい単語を単語辞書に登録するとき、既存の意味属性のどれが該単語に対応するかを、一般に、人が該単語の品詞や意味を吟味した上で付与する。
【００３２】
意味体系は、それ自体が上位・下位の概念体系を表しているものの、人手で作成するため、作成の労力が大きいことや、作成者の恣意性に左右されることから、その体系は一般に不完全性が大きい。例えば、「ペット」という意味属性に、「犬」や「プードル」といった単語が分類されていたりして、これらの単語が上位・下位関係になっていないということがある。また、上位・下位関係にない意味属性に属している単語が、実は上位・下位関係にあるということもある。このように、意味体系は人手で作成するため、単語の意味に関する貴重な情報を含んでいるものの、上位・下位関係を正確かつ網羅的には表していない。
【００３３】
図５は、本発明の一実施の形態における生成される共起行列の例である。共起行列の各行ベクトルは、対応する単語が、単語または意味属性と共起するパターンを表している。意味の似た単語は、共通の単語または意味属性と共起する傾向があるので、対応するパターンも似る傾向がある。このことから、単語のベクトルを該単語の概念とみて、単語間の関連性を、対応するベクトル間の類似度により定量的に算出することが可能となる。これにより、単語間の上位・下位関係を正確かつ網羅的に表すことができ、意味属性の体系の不完全性を解決できる可能性がある。
【００３４】
生成されたある単語のベクトルが（ａ１，ａ２，…，ａｎ）（ａｉ≧０（１≦ｉ≦ｎ））であったとする。この単語のベクトルは、
【００３５】
【数１】
0005221216.tif 000002
に変換される。各ｘｉ（１≦ｉ≦ｎ）は、変換前のベクトルにおける、対応する成分の値の、全成分の値の和に対する相対頻度である。
【００３６】
【数２】
0005221216.tif 000003
であるので、変換後のベクトルは、各成分を確率変数、成分値を確率値とする確率分布と捉えることができる。
【００３７】
以上の処理により、単語ベクトル記憶部４０からは、任意の単語に対し、該単語の、変換後のベクトルを読み出すことができるようになる。
【００３８】
＜単語間関連度算出部＞
単語間関連度算出部２０は、単語ベクトル記憶部４０から、任意の単語Ｂに対し、単語Ｂの単語ベクトルと、任意の単語Ｃの単語ベクトルを読み出し、双方の単語ベクトル間のあるパラメータαのものでのダイバージェンス距離を算出し、当該距離から単語Ｂ、Ｃ間の関連度を算出する（方法１）か、または、当該距離の小さい順に単語Ｃをランキングし、ランキングにおける順位から単語Ｂ，Ｃ間の関連度を算出（方法２）し、単語間関連度記憶部５０に格納する。単語間関連度算出部２０では、パラメータαを固定した上で処理を行う。
【００３９】
最初に、上記の方法１の、αダイバージェンス距離から単語Ｂ，Ｃ間の関連度を算出する場合の、単語間関連度算出部２０の処理を説明する。
【００４０】
図６は、本発明の一実施の形態における単語間関連度算出部２０の動作のフローチャート（その１）である。
【００４１】
ステップ４０１）これまでに処理していない単語の中で、処理対象とする単語Ｘを一つ決定する。あれば、ステップ４０２に移行し、なければ、単語間関連度算出部２０の処理を終了する。
【００４２】
ステップ４０２）  これまでに処理していない単語の中で、処理対象とする単語Ｙを一つ決定する。あれば、ステップ４０３に移行し、なければステップ４０１に移行する。任意の単語対Ｘ，Ｙに対し、Ｘ，Ｙ間の関連度を算出する処理の計算量を低減するために、単語Ｙの集合を、例えば、コーパス中の高頻度語集合に限定してもよい。
【００４３】
ステップ４０３）  単語の対Ｘ，Ｙに対し、Ｘ，Ｙのベクトルｖ（Ｘ），ｖ（Ｙ）が、
ｖ（Ｘ）：＝（ｘ１，ｘ２，…，ｘｎ）
ｖ（Ｙ）：＝（ｙ１，ｙ２，…，ｙｎ）
のようになっているとき、ＸからＹへのαダイバージェンスＰα（Ｘ‖Ｙ）を、
【００４４】
【数３】
0005221216.tif 000004
として算出する。
【００４５】
ここで、Ｐα（Ｘ‖Ｙ）の値を常に有限値にするため、
【００４６】
【数４】
0005221216.tif 000005
と定義し、
【００４７】
【数５】
0005221216.tif 000006
として算出する。
【００４８】
特定のαに対し、Ｐα（Ｘ‖Ｙ）は以下のように表される。
【００４９】
【数６】
0005221216.tif 000007
上記で、ＫＬ（Ｘ‖Ｙ）は、ＸからＹへのカルバック・ライブラ距離であり、以下の式で表される。
【００５０】
【数７】
0005221216.tif 000008
便宜上、Ｐ０（Ｘ‖Ｙ）＝ＫＬ（Ｙ‖Ｘ），Ｐ１（Ｘ‖Ｙ）＝ＫＬ（Ｘ‖Ｙ）とおけば、αダイバージェンスはカルバック・ライブラ距離を拡張したものと捉えることができる。
【００５１】
α＝０．５のとき常にＰα（Ｘ‖Ｙ）＝Ｐα（Ｙ‖Ｘ）であり、Ｐα（Ｘ‖Ｙ）はＸとＹに関し対称であるが、α≠０．５のときは、常にＰα（Ｘ‖Ｙ）＝Ｐα（Ｙ‖Ｘ）とは限らず、一般にＰα（Ｘ‖Ｙ）≠Ｐα（Ｙ‖Ｘ）であり、Ｐα（Ｘ‖Ｙ）はＸとＹに関し非対称であり方向性がある。
【００５２】
ｖ（Ｘ）を固定したときにＰα（Ｘ‖Ｙ）を小さくするｖ（Ｙ）は、αが小さい場合はｖ（Ｘ）に包含される傾向があり、逆にαが大きい場合はｖ（Ｘ）を包含する傾向がある。α＝０．５のときは、ｖ（Ｘ）とほぼ一致する傾向がある。
【００５３】
一般に、下位概念の単語と共起する単語や意味属性とは、その上位概念の単語も共起する傾向がある。従って、下位概念の単語ベクトルは、その上位概念の単語ベクトルに包含される傾向がある。また、兄弟概念の単語ベクトルは、一致する傾向がある。故に、Ｘを固定したときにＰα（Ｘ‖Ｙ）を小さくするＹは、αが小さい場合はＸの下位概念である傾向があり、逆にαが大きい場合はＸの上位概念である傾向がある。α＝０．５のときは、Ｘの兄弟概念である傾向がある。
【００５４】
算出したＰα（Ｘ‖Ｙ）を、ＸからＹへの関連度Ｅα（Ｘ‖Ｙ）としてもよい。また、関連度Ｅα（Ｘ‖Ｙ）を以下の式で算出してもよい。
【００５５】
【数８】
0005221216.tif 000009
一般に、Ｅα（Ｘ‖Ｙ）≠Ｅα（Ｙ‖Ｘ）であり、Ｅα（Ｘ‖Ｙ）はＸとＹに関し非対称であり、方向性がある。
【００５６】
上記の処理が終了したら、関連度を単語間関連度記憶部５０に格納し、ステップ４０２に戻る。
【００５７】
次に、上記の方法２の、αダイバージェンス距離の小さい順に単語Ｃをランキングし、ランキングにおける順位から単語Ｂ，Ｃ間の関連度を算出する場合の、単語間関連度算出部２０の処理を説明する。
【００５８】
図７は、本発明の一実施の形態における単語間関連度算出部２０の動作のフローチャート（その２）である。
【００５９】
同図に示すフローチャートにおいて、ステップ５０１，５０２の処理内容は、前述のステップ４０１，４０２と同じである。但し、ステップ５０２は、処理対象のＹがなければステップ５０４に移行する。但し、ステップ５０２は、処理対象のＹがなければ、ステップ５０４に移行する。また、ステップ５０３の処理内容は、ステップ４０３の内容からＥα（Ｘ‖Ｙ）算出処理を除いたものである。以下、ステップ５０４とステップ５０５について説明する。
【００６０】
ステップ５０４）  Ｐα（Ｘ‖Ｙ）の小さい順に単語Ｙをランキングする。
【００６１】
図８、図９、図１０、図１１は、本発明の一実施の形態における単語間関連度算出におけるランキングの例であり、当該ランキングの情報は、単語間関連度算出部２０内のメモリに格納されるものとする。単語Ｘを「徳川家康」とし、αをそれぞれα＝０，０．５，１，２としたときの、単語Ｙのランキングである。α＝０のとき（図８）は、徳川家康の六男である「忠輝」といった「徳川家康」の下位概念がランクされている。α＝０．５のとき（図９）は、「織田信長」といった「徳川家康」の兄弟概念がランクされている。α＝１のとき（図１０）は、「江戸時代」や「将軍」といった「徳川家康」の上位概念で、比較的下位レベルの単語がランクされている。α＝２（図１１）のときは、「有名」や「強い」といった「徳川家康」の上位概念で、比較的上位レベルの単語がランクされている。
【００６２】
ステップ５０５）  任意の単語Ｙに対し、Ｙの順位をｍとしたとき、ＸからＹへの関連度Ｅα（Ｘ‖Ｙ）を、一例として
【００６３】
【数９】
0005221216.tif 000010
として算出する。
【００６４】
一般に、Ｅα（Ｘ‖Ｙ）≠Ｅα（Ｙ‖Ｘ）であり、Ｅα（Ｘ‖Ｙ）はＸとＹに関し非対称であり方向性がある。
【００６５】
単語Ｘ毎のランキング結果上位におけるαダイバージェンスの大きさは異なる。例えば、図１２は、単語Ｘを「精神病」とし、αを１としたときの、単語Ｙのランキングである。同じαでも、図１０の単語Ｘを「徳川家康」としたときの単語Ｙのランキングと比べ、ランキング結果上位におけるαダイバージェンスの大きさが異なっている。
【００６６】
しかし、ランキング結果の上位は、Ｘ毎の距離の大きさの違いに関わらず、αに応じた概念レベルの単語が常に占める。従って、ランキングにおける順位は、αに応じたレベルの概念である度合いを表す。よって、この順位により算出される関連度は、ＸからＹへの関連度を適確に表す。
【００６７】
求められた関連度を単語間関連度記憶部５０に格納し、ステップ５０１に移行する。
【００６８】
＜単語間関連度合成部＞
次に、単語間関連度合成部３０について説明する。
【００６９】
単語間関連度合成部３０は、単語間関連度算出部２０において、単語間関連度を、複数の異なるパラメータのもとでのダイバージェンス距離に基づいて算出した上で、任意の単語Ｂ，Ｃ間の関連度を、単語間関連度算出部２０において算出した、異なるパラメータのもとでの単語Ｂ，Ｃ間の関連度に基づいて算出する。
【００７０】
単語間関連度算出部２０において、パラメータα１，α２，…，αhに対し、任意の単語Ｘから任意の単語Ｙへの関連度
【００７１】
【数１０】
0005221216.tif 000011
を算出する。
【００７２】
単語間関連度合成部３０では、一例として、任意の単語Ｘから任意の単語Ｙへの関連度Ｅ（Ｘ‖Ｙ）を、以下のように、
【００７３】
【数１１】
0005221216.tif 000012
の線形結合として算出する。
【００７４】
【数１２】
0005221216.tif 000013
βｇは、パラメータαｇのもとでの関連度を反映させる度合いを表す重みである。より反映させたいパラメータの重みを大きくする。
【００７５】
単語間関連度合成部３０では、別の一例として、任意の単語Ｘから任意の単語Ｙへの関連度Ｅ（Ｘ‖Ｙ）を、以下のように、
【００７６】
【数１３】
0005221216.tif 000014
の最大値として算出する。
【００７７】
【数１４】
0005221216.tif 000015
以上、上記のような算出式でＥ（Ｘ‖Ｙ）を算出することにより、単語Ｘを固定したときに、あるパラメータのもとでは関連度が低くても、他のパラメータのもとでは関連度が高い単語Ｙについて、合成後の関連度Ｅ（Ｘ‖Ｙ）が高くなる。Ｅ（Ｘ‖Ｙ）は、各パラメータαｇの連想の傾向を兼ね備えた関連度となり、様々なレベルの上位、下位概念の単語が導出可能である。
【００７８】
上記のようにして求められた単語間関連度合成部３０における合成後の結果は単語間関連度記憶部５０に格納されるものとする。
【００７９】
なお、上記の単語間関連度算出部２０、単語間関連度合成部３０の処理の説明において、Ｐα（Ｘ‖Ｙ）をＰα（Ｙ‖Ｘ）に、Ｅα（Ｘ‖Ｙ）をＥα（Ｙ‖Ｘ）に、Ｅ（Ｘ‖Ｙ）をＥ（Ｙ‖Ｘ）とした上で、単語間関連度算出部２０、単語間関連度合成部３０の処理を行うことも考えられる。この場合、単語Ｘ、Ｙの上位・下位関係は、上記の説明における関係を逆転したものとなる。また、任意の単語対Ｘ、Ｙに対し、Ｘ，Ｙ間の関連度を算出する処理の計算量を低減するために、単語Ｘの集合を、例えば、コーパス中の高頻度語集合に限定してもよい。
【００８０】
なお、上記の実施の形態における図３に示す構成の動作をプログラムとして構築し、単語ベース生成装置として利用されるコンピュータにインストールする、または、ネットワークを介して流通させることが可能である。
【００８１】
また、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【００８２】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００８３】
本発明は、言語処理技術に適用可能である。
【図面の簡単な説明】
【００８４】
【図１】本発明の原理構成図である。
【図２】本発明の原理を説明するための図である。
【図３】本発明の一実施の形態における単語ベース生成装置の構成図である。
【図４】意味カテゴリの例である。
【図５】本発明の一実施の形態における共起行列の例である。
【図６】本発明の一実施の形態における単語間関連度算出部の動作のフローチャート（その１）である。
【図７】本発明の一実施の形態における単語間関連度算出部の動作のフローチャート（その２）である。
【図８】本発明の一実施の形態における単語間関連度算出処理におけるランキングの例（その１）である。
【図９】本発明の一実施の形態における単語間関連度算出処理におけるランキングの例（その２）である。
【図１０】本発明の一実施の形態における単語間関連度算出処理におけるランキングの例（その３）である。
【図１１】本発明の一実施の形態における単語間関連度算出処理におけるランキングの例（その４）である。
【図１２】本発明の一実施の形態における単語間関連度算出処理におけるランキングの例（その５）である。
【符号の説明】
【００８５】
１０  単語ベクトル生成手段、単語ベクトル生成部
２０  単語間関連度算出手段、単語間関連度算出部
３０  単語間関連度合成部
４０  単語ベクトル記憶手段、単語ベクトル記憶部
４１  品詞リスト
５０  単語間関連度記憶手段、単語間関連度記憶部
【図１】
0005221216.tif 000016
【図２】
0005221216.tif 000017
【図３】
0005221216.tif 000018
【図４】
0005221216.tif 000019
【図５】
0005221216.tif 000020
【図６】
0005221216.tif 000021
【図７】
0005221216.tif 000022
【図８】
0005221216.tif 000023
【図９】
0005221216.tif 000024
【図１０】
0005221216.tif 000025
【図１１】
0005221216.tif 000026
【図１２】
0005221216.tif 000027