(57)【要約】【課題】本発明は、文章集合に基づいて単語間の連関度を測定する方法及びその方法を実行するシステムに関する。【解決手段】本発明に係る文章集合に基づいて単語間の連関度を測定する方法は、文章集合が含む単語、文章、単語に対する単語分類、又は文章に対する文章分類を用いて単語統計情報を取得する段階と、単語統計情報を定形化する段階と、定形化された単語統計情報に基づいて単語間の単語連関度を測定する段階とを含む。【選択図】図１
2008146648.tif 000002
【特許請求の範囲】
【請求項１】
文章集合に基づいて単語間の連関度を測定する方法であって、
前記文章集合が含む単語、文章、前記単語に対する単語分類、又は前記文章に対する文章分類を用いて単語統計情報を取得する段階と、
前記単語統計情報を定形化する段階と、
前記定形化された単語統計情報に基づいて前記単語間の単語連関度を測定する段階と、を含むことを特徴とする単語連関度測定方法。
【請求項２】
前記文章集合が含む単語、文章、前記単語に対する単語分類、又は前記文章に対する文章分類を用いて単語統計情報を取得する前記段階は、
前記単語ごとに前記単語が登場した回数である発生頻度を測定する段階と、
前記単語が異なる単語とともに登場した文章の数である交差頻度を前記単語ごとに測定する段階と、
前記発生頻度又は前記交差頻度に基づいて頻度情報を生成する段階と、
前記発生頻度、前記交差頻度、又は前記頻度情報を前記単語統計情報として取得する段階と、を含むことを特徴とする請求項１に記載の単語連関度測定方法。
【請求項３】
前記発生頻度又は前記交差頻度に基づいて頻度情報を生成する前記段階は、
前記発生頻度又は前記交差頻度を用いて、単語−文章分類発生頻度、文章頻度、文章分類頻度、単語−単語分類交差頻度、又は単語−単語結合頻度を前記頻度情報として生成する段階であることを特徴とする請求項２に記載の単語連関度測定方法。
【請求項４】
前記単語−文章分類発生頻度は、前記単語ごとに前記文章分類に属する文章に登場した回数であることを特徴とする請求項３に記載の単語連関度測定方法。
【請求項５】
前記文章頻度は、前記単語ごとに前記単語が登場した文章の数であり、
前記文章分類頻度は、前記単語ごとに前記単語が登場した単語分類の数であることを特徴とする請求項３に記載の単語連関度測定方法。
【請求項６】
前記単語−単語分類交差頻度は、前記単語ごとに前記単語分類に属する単語とともに登場した文章の数であることを特徴とする請求項３に記載の単語連関度測定方法。
【請求項７】
前記単語−単語結合頻度は、前記単語に対する単語対ごとに２つの単語がともに登場した文章の数、前記２つの単語すべてが登場しない文章の数、及び前記２つの単語がそれぞれ別に登場する文章の数であることを特徴とする請求項３に記載の単語連関度測定方法。
【請求項８】
前記単語統計情報を定形化する前記段階は、
前記単語、前記文章、前記単語分類、又は前記文章分類を多次元空間の独立した各次元を有する多次元ベクトル集合の列として設定する段階と、
前記単語をそれぞれ前記多次元空間のベクトルと対応させて前記多次元ベクトル集合の行として設定する段階と、を含むことを特徴とする請求項１に記載の単語連関度測定方法。
【請求項９】
前記単語統計情報を定形化する前記段階は、
前記単語、前記文章、前記単語分類、又は前記文章分類を実数型ランダム変数集合の列として設定する段階と、
前記単語をそれぞれ実数値を有するランダム変数と対応させて実数型ランダム変数集合の行として設定する段階と、を含み、
前記ランダム変数は、前記列及び前記行間に対応する頻度値をランダム変数値として有することを特徴とする請求項１に記載の単語連関度測定方法。
【請求項１０】
前記単語統計情報を定形化する前記段階は、
前記単語に対する単語対ごとに２つの単語がともに登場した文章の数、前記２つの単語がすべて登場しない文章の数、及び前記２つの単語がそれぞれ別に登場する文章の数である単語−単語結合頻度に基づいて、前記単語対ごとに対応するランダム変数の結合確率分布を生成して前記単語統計情報を定形化する段階であり、
前記ランダム変数は、前記単語の発生点又は非発生点のみを含む行と列の空間上で定義されることを特徴とする請求項１に記載の単語連関度測定方法。
【請求項１１】
前記結合確率分布の各結合における確率は、前記単語ごとに前記単語が登場した文章の数である文章頻度、及び前記単語が異なる単語とともに登場した文章の数である交差頻度に基づいて計算されることを特徴とする請求項１０に記載の単語連関度測定方法。
【請求項１２】
前記単語統計情報を定形化する前記段階は、
前記単語をランダム変数が定義された空間において各々独立した点を意味するように離散ランダム変数集合の列として設定する段階と、
前記単語を離散ランダム変数を意味するように前記離散ランダム変数集合の行として設定する段階と、を含み、
前記離散ランダム変数は、前記単語が異なる単語とともに登場した文章の数である交差頻度を用いて生成されることを特徴とする請求項１に記載の単語連関度測定方法。
【請求項１３】
定形化された前記単語統計情報に基づいて前記単語に対する単語連関度を測定する前記段階は、
前記単語統計情報を用いて生成された多次元ベクトル集合が含むベクトル間の距離又は角度に基づいて、前記単語連関度を測定する段階であることを特徴とする請求項１に記載の単語連関度測定方法。
【請求項１４】
定形化された前記単語統計情報に基づいて前記単語に対する単語連関度を測定する前記段階は、
前記単語統計情報を用いて生成された実数型ランダム変数集合が含むランダム変数間の統計的相関度に基づいて、前記単語連関度を測定する段階であることを特徴とする請求項１に記載の単語連関度測定方法。
【請求項１５】
定形化された前記単語統計情報に基づいて前記単語に対する単語連関度を測定する前記段階は、
前記単語統計情報を用いて生成された結合確率分布の２つのランダム変数に対する相互情報に基づいて、前記単語連関度を測定する段階であることを特徴とする請求項１に記載の単語連関度測定方法。
【請求項１６】
定形化された前記単語統計情報に基づいて前記単語に対する単語連関度を測定する前記段階は、
前記単語ごとに前記単語が登場した文章の数である文章頻度、及び前記単語が異なる単語とともに登場した文章の数である交差頻度に基づいて、前記単語連関度を測定する段階であることを特徴とする請求項１に記載の単語連関度測定方法。
【請求項１７】
文章集合に基づいて単語間の連関度を測定する方法であって、
文章集合が含む単語、文章、前記単語に対する単語分類、又は前記文章に対する文章分類を用いて単語統計情報を取得する段階と、
前記単語統計情報を多次元ベクトル集合として定形化する段階と、
前記多次元ベクトル集合を用いて前記単語間の単語連関度を測定する段階と、を含むことを特徴とする単語連関度測定方法。
【請求項１８】
前記多次元ベクトル集合を用いて前記単語に対する単語連関度を測定する前記段階は、
前記多次元ベクトル集合の２つのベクトルａ、ｂに対するインバースＬｐ、コサイン係数、拡張したダイス係数、拡張したジャッカード係数、又は相関関係を計算して前記単語連関度として測定する段階であることを特徴とする請求項１７に記載の単語連関度測定方法。
【請求項１９】
前記インバースＬｐは、下記の数式を用いて計算されることを特徴とする請求項１８に記載の単語連関度測定方法。
【数１】
2008146648.tif 000023
ここで、＜Ｖ＞ｐは、ベクトルＶのｐ−ｎｏｒｍとして示される値を意味する。
【請求項２０】
前記コサイン係数は、下記の数式を用いて計算されることを特徴とする請求項１８に記載の単語連関度測定方法。
【数２】
2008146648.tif 000024
【請求項２１】
前記拡張したダイス係数は、下記の数式を用いて計算されることを特徴とする請求項１８に記載の単語連関度測定方法。
【数３】
2008146648.tif 000025
【請求項２２】
前記拡張したジャッカード係数は、下記の数式を用いて計算されることを特徴とする請求項１８に記載の単語連関度測定方法。
【数４】
2008146648.tif 000026
【請求項２３】
前記相関関係は、下記の数式を用いて計算されることを特徴とする請求項１８に記載の単語連関度測定方法。
【数５】
2008146648.tif 000027
ここで、ａ＊ｉ＝ａｉ−＜ａ＞１／ｎで示され、＜ａ＊＞１＝０で示される。
【請求項２４】
文章集合に基づいて単語間の連関度を測定する方法であって、
文章集合が含む単語、文章、前記単語に対する単語分類、又は前記文章に対する文章分類を用いて単語統計情報を取得する段階と、
前記単語統計情報を実数型ランダム変数集合として定形化する段階と、
前記実数型ランダム変数集合を用いて前記単語間の単語連関度を測定する段階と、を含むことを特徴とする単語連関度測定方法。
【請求項２５】
前記実数型ランダム変数集合を用いて前記単語に対する単語連関度を測定する前記段階は、
前記実数型ランダム変数集合の２つのランダム変数Ｘ、Ｙに対してピアソンの相関関係又はコヒーレンスを計算して前記単語連関度として測定する段階であることを特徴とする請求項２４に記載の単語連関度測定方法。
【請求項２６】
前記ピアソンの相関関係は、下記の数式を用いて計算されることを特徴とする請求項２５に記載の単語連関度測定方法。
【数６】
2008146648.tif 000028
ここで、σは、標準偏差を意味する。
【請求項２７】
前記コヒーレンスは、下記の数式を用いて計算されることを特徴とする請求項２５に記載の単語連関度測定方法。
【数７】
2008146648.tif 000029
【請求項２８】
文章集合に基づいて単語間の連関度を測定する方法であって、
文章集合が含む単語、文章、前記単語に対する単語分類、又は前記文章に対する文章分類を用いて単語統計情報を取得する段階と、
前記単語統計情報をランダム変数の結合確率分布に定形化する段階と、
前記結合確率分布を用いて前記単語間の単語連関度を測定する段階と、を含むことを特徴とする単語連関度測定方法。
【請求項２９】
前記結合確率分布を用いて前記単語に対する単語連関度を測定する前記段階は、
２つのランダム変数Ａ、Ｂに対して、下記の数式に示される前記結合確率分布を用いてジャッカード係数、ダイス係数、オッズ比、相互情報、又は事件別相互情報を計算して前記単語連関度として測定する段階であることを特徴とする請求項２８に記載の単語連関度測定方法。
【数８】
2008146648.tif 000030
【請求項３０】
前記ジャッカード係数は、下記の数式を用いて計算されることを特徴とする請求項２９に記載の単語連関度測定方法。
【数９】
2008146648.tif 000031
【請求項３１】
前記ダイス係数は、下記の数式を用いて計算されることを特徴とする請求項２９に記載の単語連関度測定方法。
【数１０】
2008146648.tif 000032
【請求項３２】
前記オッズ比は、下記の数式を用いて計算されることを特徴とする請求項２９に記載の単語連関度測定方法。
【数１１】
2008146648.tif 000033
【請求項３３】
前記相互情報は、２つのランダム変数Ｘ、Ｙに対して下記の数式に示されることを特徴とする請求項２９に記載の単語連関度測定方法。
【数１２】
2008146648.tif 000034
ここで、Ｈ（Ｘ）は情報量であって、点空間Ｘ内の各点ｘに対する（−ｐ（ｘ）ｌｏｇｐ（ｘ））の合計を示す。
【請求項３４】
前記相互情報は、下記の数式１３のように前記ジャッカード係数の形態で正規化されたり、下記の数式１４のように前記ダイス係数の形態で正規化されることを特徴とする請求項３３に記載の単語連関度測定方法。
【数１３】
2008146648.tif 000035
【数１４】
2008146648.tif 000036
【請求項３５】
前記事件別相互情報は、２つのランダム変数Ｘ、Ｙに対して結合点空間（Ｘ、Ｙ）内の特定の結合点（ｘ、ｙ）が有する情報量であって、下記の数式のように示されることを特徴とする請求項２９に記載の単語連関度測定方法。
【数１５】
2008146648.tif 000037
【請求項３６】
文章集合に基づいて単語間の連関度を測定する方法であって、
文章集合の含む単語が異なる単語とともに登場した文章の数である交差頻度を前記単語ごとに測定する段階と、
前記交差頻度を離散ランダム変数集合として定形化する段階と、
前記離散ランダム変数集合を用いて前記単語間の単語連関度を測定する段階と、を含むことを特徴とする単語連関度測定方法。
【請求項３７】
前記交差頻度を離散ランダム変数集合として定形化する前記段階は、
前記離散ランダム変数集合の列が含む各単語をランダム変数が定義された点空間の独立した各点で設定し、前記離散ランダム変数集合の行が含む各単語を離散ランダム変数で設定する段階であり、
前記離散ランダム変数に対する交差頻度値は、前記行に含まれる単語ｖが存在するとき、前記列が含む単語ｗが存在する確率と対応する値として下記の数式のように示されることを特徴とする請求項３６に記載の単語連関度測定方法。
【数１６】
2008146648.tif 000038
ここで、前記交差頻度値は、前記ｖ及び前記ｗに対する交差頻度の前記ｖ及びｋに対する交差頻度の合計に対する比率を示しており、前記ｋはすべての単語を示している。
【請求項３８】
前記離散ランダム変数集合を用いて前記単語に対する単語連関度を測定する前記段階は、
前記単語連関度（ｆ（ｗ｜ｖ））は、下記の数式を用いて測定されることを特徴とする請求項３６に記載の単語連関度測定方法。
【数１７】
2008146648.tif 000039
ここで、前記単語連関度が０より小さい場合に、０として見なし、前記ｐ＊（ｗ）は、すべての単語ｖに対するｐ（ｗ｜ｖ）ｐ（ｖ）の合計を示し、前記ｐ（ｖ）は、前記ｖに対する文章頻度のｋに対する文章頻度の合計に対する比率を示し、前記ｋはすべての単語を示す。
【請求項３９】
請求項１から３８のいずれか一項の方法を実行させるためのプログラムを記録したコンピュータ読取可能な記録媒体。
【請求項４０】
文章集合に基づいて単語間の連関度を測定するシステムであって、
文章集合が含む単語、文章、前記単語に対する単語分類、又は前記文章に対する文章分類を用いて単語統計情報を取得する単語統計情報取得部と、
前記単語統計情報を定形化する定形化部と、
前記定形化された単語統計情報に基づいて前記単語間の単語連関度を測定する単語連関度測定部と、を含むことを特徴とする単語連関度測定システム。
【請求項４１】
前記単語統計情報取得部は、
前記単語ごとに前記単語が登場した回数である発生頻度を測定する発生頻度測定部と、
前記単語が異なる単語とともに登場した文章の数である交差頻度を前記単語ごとに測定する交差頻度測定部と、
前記発生頻度又は前記交差頻度に基づいて頻度情報を生成する頻度情報生成部と、
前記発生頻度、前記交差頻度、又は前記頻度情報を前記単語統計情報として取得する取得部と、を含むことを特徴とする請求項４０に記載の単語連関度測定システム。
【請求項４２】
前記定形化部は、
前記単語統計情報を多次元ベクトル集合、実数型ランダム変数集合、ランダム変数の結合確率分布、又は離散ランダム変数集合として定形化することを特徴とする請求項４０に記載の単語連関度測定システム。
【請求項４３】
前記単語連関度測定部は、
前記多次元ベクトル集合の２つのベクトルに対するインバースＬｐ、コサイン係数、拡張したダイス係数、拡張したジャッカード係数、又は相関関係を計算して前記単語連関度として測定することを特徴とする請求項４０に記載の単語連関度測定システム。
【請求項４４】
前記単語連関度測定部は、
前記実数型ランダム変数集合の２つのランダム変数に対してピアソンの相関関係又はコヒーレンスを計算して前記単語連関度として測定することを特徴とする請求項４０に記載の単語連関度測定システム。
【請求項４５】
前記単語連関度測定部は、
２つのランダム変数に対して前記結合確率分布を用い、ジャッカード係数、ダイス係数、オッズ比、相互情報、又は事件別相互情報を計算して前記単語連関度として測定することを特徴とする請求項４０に記載の単語連関度測定システム。
【請求項４６】
前記単語連関度測定部は、
前記単語連関度（ｆ（ｗ｜ｖ））は、下記の数式を用いて測定されることを特徴とする請求項４０に記載の単語連関度測定システム。
【数１８】
2008146648.tif 000040
ここで、前記単語連関度が０より小さい場合に、０として見なし、前記ｐ＊（ｗ）は、すべての単語ｖに対するｐ（ｗ｜ｖ）ｐ（ｖ）の合計を示し、前記ｐ（ｖ）は、前記ｖに対する文章頻度のｋに対する文章頻度の合計に対する比率を示し、前記ｋはすべての単語を示す。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文章集合に基づいて単語間の連関度を測定する方法及びこの方法を実行するシステムに関し、より詳細には、文章集合の単語を多様な種類の特徴に応じてその頻度を測定して単語統計情報を取得及び定形化し、定形化された単語統計情報に基づいて単語連関度を測定することで、単語間の連関度を数値化する方法及びこの方法を実行するシステムに関する。
【背景技術】
【０００２】
一般的に、人間は、使用される単語間の意味関係を直観的に把握できる能力を有している。例えば、「サッカーシューズ」と「サッカーボール」との間には互いに密接な関係が存在しているが、「サッカーシューズ」と「自動車」との間には特別な関係が存在しないことを知ることができる。したがって、人間が文章を読む過程において、このような文章がどのような単語と連関しているかを知ることができる上に、究極的には、連関した単語が文章内に含まれていなくても、文章を通じて連関した単語も連想できる。
【０００３】
一方、当然ではあるが、検索エンジンなどのコンピュータシステムでは、このような単語間の意味関係を把握することが不可能であるため、ある文章集合に対する単語又は文章の分類は、手作業によって行われざるを得ない。さらに、クエリを用いて文章集合から特定の文章を検索する場合にも、文章とクエリとの間の特別な関連がない。すなわち、単にクエリを含んでいるだけの文章が検索結果として提供されるに過ぎないという問題点がある。
【０００４】
仮に、このような単語間の連関程度を数値化できるようになれば、コンピュータシステムにおいても、このような単語連関度に基づいて単語又は文章を分類できるようになるし、文章検索などにも用いることができるようになる。例えば、「サッカーシューズ」と「サッカーボール」との間の単語連関度を０．９５、「サッカーシューズ」と「ナイキ」との間の単語連関度を０．３、「サッカーシューズ」と「自動車」との間の単語連関度を０．００１で設定できるようになる。
【０００５】
しかしながら、単語連関度を人間が直接的に決定するには、その分量が余りにも膨大である上に、人間によって決められた単語連関度は、決定段階においてその人の主観的な概念が含まれるようになることから、客観的でないという問題点が生じる。例えば、２０万個の単語に対して４００億個の単語連関度を決定しなければならないため、１秒当たりに１つずつ単語連関度を決定したとしても、４００億秒（１２６８年）という途方もない時間を要するようになる。さらに、「自動車」と「ヒュンダイ自動車」との間の単語連関度を設定する数に対して、客観的な決定が困難であるという理由から、決められた単語連関度の信頼性が欠如するようにもなる。
【０００６】
したがって、迅速かつ客観的に単語間の単語連関度を測定できる方法及びそのシステムが切実に求められている。
【０００７】
【特許文献１】大韓民国特許出願公開第２００４−００４３０８７号公報
【特許文献２】大韓民国特許出願公開第２００５−００２５５８２号公報
【特許文献３】米国特許出願公開第２００４−０２０２１１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、このような従来技術の問題点を解決するために案出されたものであって、文章集合に基づいて単語間の連関度を測定する方法及びこの方法を実行するシステムに関する新しい技術を提案する。
【０００９】
また、本発明は、文章集合が含む単語又は文章を自動で分類したり、クエリを用いた文章検索をより効率的に実行するために、単語間の関係を数値化した単語連関度を測定することを目的とする。
【００１０】
また、本発明は、文章集合と連関した単語、文章、単語分類、又は文章分類間の多様な特徴によって頻度を測定して単語統計情報を生成し、ベクトル、ランダム変数、結合確率分布などを用いて単語統計情報を定形化して解釈することで、単語間の関係に対して数値化された単語連関度を測定することを他の目的とする。
【００１１】
また、本発明は、単語間の交差頻度を離散ランダム変数集合として用い、単語間の非対称的な単語連関度を測定することをさらに他の目的とする。
【課題を解決するための手段】
【００１２】
前記の目的を達成し、上述した従来技術の問題点を解決するために、本発明の一実施形態に係る文章集合に基づいて単語間の連関度を測定する方法は、文章集合が含む単語、文章、前記単語に対する単語分類、又は前記文章に対する文章分類によって単語統計情報を取得する段階と、前記単語統計情報を定形化する段階と、前記定形化された単語統計情報に基づいて前記単語間の単語連関度を測定する段階とを含むことを特徴とする。
【００１３】
また、本発明の一側によれば、文章集合が含む単語、文章、前記単語に対する単語分類、又は前記文章に対する文章分類によって単語統計情報を取得する前記段階は、前記単語ごとに前記単語が登場した回数である発生頻度を測定する段階と、前記単語が異なる単語とともに登場した文章の数である交差頻度を前記単語ごとに測定する段階と、前記発生頻度又は前記交差頻度に基づいて頻度情報を生成する段階と、前記発生頻度、前記交差頻度、又は前記頻度情報を前記単語統計情報として取得する段階とを含むことを特徴とする。
【００１４】
また、本発明の他の側面によれば、前記発生頻度又は前記交差頻度に基づいて頻度情報を生成する前記段階は、前記発生頻度又は前記交差頻度によって単語−文章分類発生頻度、文章頻度、文章分類頻度、単語−単語分類交差頻度、又は単語−単語結合頻度を前記頻度情報として生成する段階を含むことを特徴とする。
【００１５】
また、本発明のさらに他の側面によれば、前記単語−文章分類発生頻度は、前記単語ごとに前記文章分類に属する文章に登場した回数であることを特徴とする。
【００１６】
本発明の他の実施形態における文章集合に基づいて単語間の連関度を測定する方法は、文章集合が含む単語、文章、前記単語に対する単語分類、又は前記文章に対する文章分類によって単語統計情報を取得する段階と、前記単語統計情報を多次元ベクトル集合として定形化する段階と、前記多次元ベクトル集合によって前記単語間の単語連関度を測定する段階とを含むことを特徴とする。
【発明の効果】
【００１７】
本発明によれば、文章集合が含む単語又は文章を自動で分類したり、クエリを用いた文章検索をより効率的に実行するために、単語間の関係を数値化した単語連関度を測定することができる。
【００１８】
本発明によれば、文章集合と連関した単語、文章、単語分類、又は文章分類間の多様な特徴による頻度を測定して単語統計情報を生成し、ベクトル、ランダム変数、結合確率分布などを用いて単語統計情報を定形化して解釈することで、単語間の関係に対して数値化された単語連関度を測定することができる。
【００１９】
本発明によれば、単語間の交差頻度を離散ランダム変数集合として用いることで、単語間の互いに非対称的な単語連関度を測定することができる。
【発明を実施するための最良の態様】
【００２０】
以下、添付した図面を参照しながら、本発明に係る多様な実施形態について詳しく説明する。
【００２１】
図１は、本発明の第１実施形態における文章集合に基づいて単語間の連関度を測定する方法を示したフローチャートである。
【００２２】
段階Ｓ１０１で、単語間の連関度を測定する単語連関度測定システムは、文章集合が含む単語、文章、単語に対する単語分類、又は文章に対する文章分類によって単語統計情報を取得する。
【００２３】
このとき、単語分類及び文章分類は、所定の分類方式を用いて分類された文章集合が含む単語又は文章の集合を意味する。
【００２４】
このような段階Ｓ１０１で、単語連関度測定システムは、文章ごとに単語が登場した回数である発生頻度を測定しながら、単語が異なる単語とともに登場した文章の数である交差頻度も単語ごとに測定する。
【００２５】
図２は、発生頻度を説明するための一例であり、図３は、交差頻度を説明するための一例である。
【００２６】
図２の符号２００は、文章集合が含む７つの文章（文章１から７）と４つの単語（単語１から４）との間の発生頻度を示している。例えば、単語４は文章５に５回登場することを知ることができる（符合２０１）。すなわち、単語４が文章５に対して発生する頻度は「５」である。
【００２７】
図３において、符号３００は、単語１から４の間の交差頻度を示す一例であって、１つの単語が他の単語とともに登場する文章の数を示している。図３の例では、単語１から単語４の間で他の単語と共に登場する文章の数を示している。例えば、単語３及び単語４が共に登場する文章の数は３つである（符合３０１）。すなわち、単語３及び単語４が交差する頻度は「３」となる。
【００２８】
また、単語連関度測定システムは、このような発生頻度又は交差頻度に基づいて頻度情報を生成し、発生頻度、交差頻度、又は頻度情報を単語統計情報として取得する。このとき、単語連関度測定システムは、発生頻度又は交差頻度によって単語−文章分類発生頻度、文章頻度、文章分類頻度、単語−単語分類交差頻度、及び単語−単語結合頻度を頻度情報として生成する。このような頻度情報については、上述した図２及び３の他にも、後述する図４から図７を用いてより詳しく説明する。
【００２９】
図４は、単語−文章分類発生頻度を説明するための一例である。単語−文章分類発生頻度とは、単語ごとに文章分類に属する各文章に登場した回数を意味するものであって、発生頻度に基づいて生成される。
【００３０】
例えば、図４の符号４００に示した文章分類１に、図２で示した文章１から文章４が属し、文章分類２に、図２示した文章５から文章７が属する場合、符号４００は、図２に示した単語１から単語４が文章分類１及び文章分類２に登場する回数を単語−文章分類発生頻度として示している。
【００３１】
例えば、図２に示すように、単語１は、文章分類１に含まれる文章１から文章４に対して、文章１に５回、文章２に７回、文章３に０回、文章４に２回登場している。したがって、図４の符号４００には、単語１が文章分類１に１４回（５＋７＋０＋２）登場するものとして示されている（符合４０１）。すなわち、単語１が文章分類１に対する単語−文章分類発生頻度は「１４」となる。
【００３２】
図５は、文章頻度及び文章分類頻度を説明するための一例である。文章頻度とは、単語ごとに単語が登場した文章の数を意味するものであり、文章分類頻度とは、単語ごとに単語が登場した文章分類の数を意味するものである。
【００３３】
図５の符号５００は、単語１から単語４に対する文章頻度５０１及び文章分類頻度５０２を示している。例えば、単語４が登場する文章の数は３（符合５０３）であり、文章分類の数は２（符合５０４）となる。
【００３４】
すなわち、発生頻度の一例である図２に示したように、単語４は、文章４、文章５、文章７に登場するため、単語４の文章頻度５０１は「３」となる。また、図４における文章分類１及び文章分類２にすべて登場するため、文章分類頻度５０２は「２」となる。
【００３５】
図６は、単語−単語分類交差頻度を説明するための一例である。単語−単語分類交差頻度とは、単語ごとに各単語分類に属する単語が登場した文章の数を意味するものである。
【００３６】
図６の符号６００は、単語１から単語４が、単語分類１から単語分類３に分類された場合における単語−単語分類交差頻度を示している。つまり、単語分類１は単語１及び単語２を、単語分類２は単語３を、単語分類３は単語４を含むように分類される。
【００３７】
このとき、例えば、単語１は、単語分類１に対して「６」の単語−単語分類交差頻度を有している（符合６０１）。これは、交差頻度を示した図３において、単語１が単語分類１に含まれる単語１に対して「３」の交差頻度を有しており、単語２に対して「３」の交差頻度を有しているため、単語１の単語分類１に対する単語−単語分類交差頻度は「６」（３＋３）となる。
【００３８】
図７は、単語−単語結合頻度を説明するための一例である。単語−単語結合頻度とは、各単語に対する単語対ごとに２つの単語が共に登場した文章の数、２つの単語すべてが登場しない文章の数、及び２つの単語がそれぞれ別に登場する文章の数を意味するものである。
【００３９】
図７の符号７００は、単語１及び単語２に対する単語−単語結合頻度を示している。このとき、上付き文字「ｏ」及び「×」は、単語１又は単語２の登場の可否を示している。例えば、単語１ｏ７０１及び単語２ｏ７０２は、単語１及び単語２がすべて登場した文章の数（「３」」（符合７０３）を示している。また、単語１×７０４及び単語２ｏ７０２に対しては、単語１は登場せずに単語２のみが登場する文章の数（「１」）（符合７０５）を示している。
【００４０】
このような単語−単語結合頻度は、発生頻度に基づいて生成される。すなわち、図２において、単語１及び単語２をすべて含む文章の数は、文章１、文章２、及び文章４の３つであり、図７の符号７００で示された文章の数（符合７０３）と同一となる。
【００４１】
このように、単語連関度測定システムは、文章集合を用いて発生頻度及び交差頻度を測定（演算）し、これに基づいて単語−文章分類発生頻度、文章頻度、文章分類頻度、単語−単語分類交差頻度、又は単語−単語結合頻度を頻度情報として生成して、発生頻度、交差頻度、又は頻度情報を単語統計情報として取得する。
【００４２】
段階Ｓ１０２で、単語連関度測定システムは、単語統計情報を定形化（標準化）する。これは、複数種類の情報で成される単語統計情報をどのように解釈するかに対するものと、単語連関度測定システムで用いられる形態に定形化するためのものに対する段階であって、単語連関度測定システムは、単語統計情報を多次元ベクトル集合、実数型ランダム変数集合、ランダム変数の結合確率分布、又は離散ランダム変数集合の形態で定形化することができる。
【００４３】
すなわち、単語統計情報を定形化する段階Ｓ１０２は、次の（１）から（４）のうちのいずれか１つの方法を用いる。
【００４４】
（１）多次元ベクトル集合を用いた定形化方法とは、単語、文章、単語分類、又は文章分類を多次元空間の独立した各次元を有する多次元ベクトル集合の列（ｃｏｌｕｍｎ）として設定し、単語をそれぞれ多次元空間のベクトルと対応させて多次元ベクトル集合の行（ｒｏｗ）として設定することで、単語統計情報を定形化する方法である。
【００４５】
例えば、単語４を一例に説明すると、単語４の発生頻度に対する文章ベクトルを（０、０、０、３、５、０、６）、各文章に含まれているか否かを２進で表した２進文章ベクトル（０、０、０、１、１、０、１）、単語４と他の各単語との交差頻度を表した交差頻度ベクトル（１、１、３、３）、又は単語４が各単語と同じ文章に含まれる確率を表した交差確率ベクトル（１／３、１／３、３／３、３／３）のように、定形化することができる。
【００４６】
（２）実数型ランダム変数集合を用いた定形化方法とは、単語、文章、単語分類、又は文章分類を実数型ランダム変数集合の列として設定し、単語をそれぞれ実数値を有するランダム変数と対応させて実数型ランダム変数集合の行として設定することで、単語統計情報を定形化する方法である。
【００４７】
例えば、単語４に対する発生頻度を示す文章変数は、０、０、０、３、５、０、６のランダム変数値を有し、単語３に対する文章変数は、４、６、４、５、８、７、３のランダム変数値を有する。また、単語４に対する交差頻度を示す単語変数は、１、１、３、３のランダム変数値を有する。
【００４８】
（３）結合確率分布を用いた定形化方法とは、単語に対する単語対（Word  Pair）ごとに２つの単語がともに登場した文章の数、２つの単語すべてが登場しない文章の数、及び２つの単語がそれぞれ別に登場する文章の数である単語−単語結合頻度に基づいて、単語対ごとに対応するランダム変数の結合確率分布を生成して単語統計情報を定形化する方法である。このとき、ランダム変数は、単語の発生点又は非発生点のみを含む行と列の事件空間上で定義される。
【００４９】
すなわち、単語対ごとに対応する結合確率分布が存在するようになる。例えば、図７の一例を用いて説明した単語−単語結合頻度に基づき、単語１及び単語２に対して（単語１ｏ、単語２ｏ）＝３／７、（単語１ｏ、単語２×）＝０、（単語１×、単語２ｏ）＝１／７、（単語１×、単語２×）＝３／７のような結合確率分布を有する。または、単語４及び単語２に対しては、（単語４ｏ、単語２ｏ）＝１／７、（単語４ｏ、単語２×）＝２／７、（単語４×、単語２ｏ）＝３／７、（単語４×、単語２×）＝１／７のような結合確率分布を有する。このような結合確率分布の各結合点に対する確率は、単語ごとに単語が登場した文章の数である文章頻度及び単語が異なる単語と共に登場した文章の数である交差頻度に基づいて計算される。
【００５０】
（４）離散ランダム変数集合を用いた定形化方法とは、単語をランダム変数が定義された点空間（Point  Space）の独立した各点を意味するように離散ランダム変数集合の列として設定し、単語を離散ランダム変数を意味するように離散ランダム変数集合の行として設定することで、単語統計情報を定形化する方法である。
【００５１】
このような離散ランダム変数は、単語が異なる単語と共に登場した文章の数である交差頻度を用いて生成され、離散ランダム変数集合の各頻度値は、任意の文章に存在する１つの単語（行）に対して異なる単語（列）が存在する確率と対応する。
【００５２】
例えば、交差情報の一例を示した図３を用いて、任意の文章に単語４が存在する場合、単語１の存在する確率は１／８、単語３の存在する確率は３／８となる。
【００５３】
段階Ｓ１０３で、単語連関度測定システムは、定形化された単語統計情報に基づいて単語連関度を測定（演算）する。このとき、単語連関度測定システムは、多次元ベクトル集合の場合には、多次元ベクトル集合が含むベクトル間の距離又は角度に基づいて単語連関度を測定する。また、実数型ランダム変数集合の場合には、実数型ランダム変数集合が含むランダム変数間の統計的な相関度に基づいて単語連関度を測定する。
【００５４】
また、結合確率分布の場合には、単語統計情報を用いて生成された結合確率分布において、結合確率分布の２つのランダム変数に対する相互情報に基づいて単語連関度を測定する。さらに、離散ランダム変数集合の場合には、単語ごとに単語が登場した文章の数である文章頻度、及び単語が異なる単語と共に登場した文章の数である交差頻度に基づいて単語連関度を測定する。
【００５５】
このように、文章集合が含む単語又は文章を自動的に分類したり、クエリによる文章検索をより効率的に実行するための、単語間の関係を数値化した単語連関度の測定が可能となり、また、文章集合と連関した単語、文章、単語分類、又は文章分類間の多様な特徴による頻度を測定して単語統計情報を生成し、ベクトル、ランダム変数、結合確率分布などを用いて単語統計情報を定形化して解釈することができ、単語間の関係に対して数値化された単語連関度を測定することが可能となる。
【００５６】
図８は、本発明の第２実施形態における文章集合に基づいて単語間の連関度を測定する方法を示したフローチャートである。
【００５７】
段階Ｓ８０１で、単語間の連関度を測定する単語連関度測定システムは、文章集合が含む単語、文章、単語に対する単語分類、又は文章に対する文章分類を用いて単語統計情報を取得する。単語分類及び文章分類は、所定の分類方式を用いて分類された文章集合が含む単語又は文章の集合を意味する。
【００５８】
該段階Ｓ８０１で、単語連関度測定システムは、単語ごとに各単語が登場した回数である発生頻度を測定し、さらに、登場した単語が、他の異なる単語と共に登場した文章の数である交差頻度を単語ごとに測定する。
【００５９】
また、単語連関度測定システムは、このような発生頻度又は交差頻度に基づいて頻度情報を生成し、発生頻度、交差頻度、又は頻度情報を単語統計情報として取得する。単語連関度測定システムは、発生頻度又は交差頻度を用いて単語−文章分類発生頻度、文章頻度、文章分類頻度、単語−単語分類交差頻度、及び単語−単語結合頻度を、頻度情報として生成する。
【００６０】
段階Ｓ８０２で、単語連関度測定システムは、単語統計情報を多次元ベクトル集合として定形化する。このとき、単語連関度測定システムは、単語、文章、単語分類、又は文章分類を多次元空間の独立した各次元を有する多次元ベクトル集合の列として設定し、単語をそれぞれ多次元空間のベクトルと対応させて多次元ベクトル集合の行として設定することで、単語統計情報を定形化する。
【００６１】
段階Ｓ８０３で、単語連関度測定システムは、多次元ベクトル集合を用いて単語間の単語連関度を測定する。当該単語連関度測定システムは、多次元ベクトル集合の２つのベクトルａ、ｂに対して、下記の数式１９のように計算されるインバース（ｉｎｖｅｒｓｅ）Ｌｐ、下記の数式２０のように計算されるコサイン係数（ｃｏｓｉｎｅ  ｃｏｅｆｆｉｃｉｅｎｔ）、下記の数式２１のように計算される拡張したダイス係数（ｅｘｔｅｎｄｅｄ  Ｄｉｃｅ  ｃｏｅｆｆｉｃｉｅｎｔ）、下記の数式２２のように計算される拡張したジャッカード係数（ｅｘｔｅｎｄｅｄ  Ｊａｃｃａｒｄ’ｓ  ｃｏｅｆｆｉｃｉｅｎｔ）、又は下記の数式２３のように計算される相関関係（ｃｏｒｒｅｌａｔｉｏｎ）を用いて単語連関度を測定する。
【００６２】
【数１９】
2008146648.tif 000003
【００６３】
ここで、＜Ｖ＞ｐは、ベクトルＶのｐ−ｎｏｒｍ（ｐ−ノルム）として示される値を意味するものである。
【００６４】
【数２０】
2008146648.tif 000004
【００６５】
【数２１】
2008146648.tif 000005
【００６６】
【数２２】
2008146648.tif 000006
【００６７】
拡張したダイス係数及び拡張したジャッカード係数は、比較しようとする２つの対象を示している属性間の一致程度を測定する係数であって、代表的な連関係数（ａｓｓｏｃｉａｔｉｏｎ  ｃｏｅｆｆｉｃｉｅｎｔ）であるダイス係数（Ｄｉｃｅ  ｃｏｅｆｆｉｃｉｅｎｔ）及びジャッカード係数（Ｊａｃｃａｒｄ’ｓ  ｃｏｅｆｆｉｃｉｅｎｔ）を確張して用いている。
【００６８】
【数２３】
2008146648.tif 000007
【００６９】
ここで、ａ＊ｉ＝ａｉ−＜ａ＞１／ｎで示され、＜ａ＊＞１＝０で示される。
【００７０】
このようなベクトルの次元は極めて大きいため、ベクトルを用いて単語連関度を測定するために、特異値分解（ＳＶＤ：Ｓｉｎｇｕｌａｒ−Ｖａｌｕｅ  Ｄｅｃｏｍｐｏｓｉｔｉｏｎ）を用いることができる。
【００７１】
図９は、本発明の第３実施形態における文章集合に基づいて単語間の連関度を測定する方法を示したフローチャートである。
【００７２】
段階Ｓ９０１で、単語間の連関度を測定する単語連関度測定システムは、文章集合が含む単語、文章、単語に対する単語分類、文章に対する文章分類を用いて単語統計情報を取得する。単語分類及び文章分類は、所定の分類方式を用いて分類された文章集合が含む単語又は文章の集合を意味するものである。
【００７３】
当該段階Ｓ９０１で、単語連関度測定システムは、単語ごとに単語が登場した回数である発生頻度を測定し、さらに、当該単語が他の異なる単語と共に登場した文章の数である交差頻度を単語ごとに測定する。
【００７４】
また、単語連関度測定システムは、このような発生頻度又は交差頻度に基づいて頻度情報を生成し、発生頻度、交差頻度、又は頻度情報を単語統計情報として取得する。このとき、単語連関度測定システムは、発生頻度又は交差頻度を用いて単語−文章分類発生頻度、文章頻度、文章分類頻度、単語−単語分類交差頻度、及び単語−単語結合頻度を頻度情報として生成する。
【００７５】
段階Ｓ９０２で、単語連関度測定システムは、単語統計情報を実数型ランダム変数集合として定形化する。このとき、単語連関度測定システムは、単語、文章、単語分類、又は文章分類を実数型ランダム変数集合の列として設定し、単語をそれぞれ実数値を有するランダム変数と対応させて実数型ランダム変数集合の行として設定することで、単語統計情報を定形化する。
【００７６】
段階Ｓ９０３で、単語連関度測定システムは、実数型ランダム変数集合を用いて単語間の単語連関度を測定する。このとき、単語連関度測定システムは、実数型ランダム変数集合の２つのランダム変数Ｘ、Ｙに対して、下記の数式２４のように計算されるピアソンの相関関係（Ｐｅａｒｓｏｎ’ｓ  ｃｏｒｒｅｌａｔｉｏｎ  ｃｏｅｆｆｉｃｉｅｎｔ）、又は下記の数式２５のように計算されるコヒーレンス（一貫性（ｃｏｈｅｒｅｎｃｅ））を計算して単語連関度として測定する。
【００７７】
【数２４】
2008146648.tif 000008
【００７８】
ここで、σは、標準偏差である。
【００７９】
このとき、ピアソンの相関関係は、第２実施形態における相関関係の値を有することになる。
【００８０】
【数２５】
2008146648.tif 000009
【００８１】
このとき、コヒーレンスは、Ｘ≧０でＹ≧０の場合には、第２実施形態におけるコサイン係数の値を有することになる。
【００８２】
また、ランダム変数に対する抽出を開始した独立した次元として仮定すると、第２実施形態における多次元ベクトルと同じになる。抽出の試みに対する測定値の数が極めて大きいため、実数型ランダム変数集合を用いて測定した単語連関度においても特異値分解を用いている。
【００８３】
また、実数型ランダム変数集合を用いて単語連関度を測定する方法において、ピアソンの相関関係及びコヒーレンス（一貫性）の他にも、スピアマンのｒｈｏ（Ｓｐｅａｒｍａｎ’ｓ  ｒｈｏ）又はケンドールのｔａｕ（Ｋｅｎｄａｌｌ’ｓ  ｔａｕ）なども用いることができる。
【００８４】
図１０は、本発明の第４実施形態における文章集合に基づいて単語間の連関度を測定する方法を示したフローチャートである。
【００８５】
段階Ｓ１００１で、単語間の連関度を測定する単語連関度測定システムは、文章集合が含む単語、文章、単語に対する単語分類、又は文章に対する文章分類を用いて単語統計情報を取得する。このとき、単語分類及び文章分類とは、所定の分類方式を用いて分類された文章集合が含む単語又は文章の集合を意味するものである。
【００８６】
当該段階Ｓ１００１で、単語連関度測定システムは、単語ごとに単語が登場した回数である発生頻度を測定し、さらに、当該単語が他の異なる単語と共に登場した文章の数である交差頻度を、単語ごとに測定する。
【００８７】
また、単語連関度測定システムは、このような発生頻度又は交差頻度に基づいて頻度情報を生成し、発生頻度、交差頻度、又は頻度情報を単語統計情報として取得する。このとき、単語連関度測定システムは、発生頻度又は交差頻度を用いて単語−文章分類発生頻度、文章頻度、文章分類頻度、単語−単語分類交差頻度、及び単語−単語結合頻度を頻度情報として生成する。
【００８８】
段階Ｓ１００２で、単語連関度測定システムは、単語統計情報をランダム変数の結合確率分布として定形化する。単語連関度測定システムは、単語に対する単語対ごとに２つの単語が共に登場した文章の数、２つの単語すべてが登場しない文章の数、及び２つの単語がそれぞれ別に登場する文章の数である単語−単語結合頻度に基づいて、単語対ごとに対応するランダム変数の結合確率分布を生成して単語統計情報を定形化する。
【００８９】
すなわち、単語対ごとに対応する結合確率分布が存在するようになり、ランダム変数は、単語の発生点（appearance  point）又は非発生点（non-appearance  point）のみを含む行と列の点空間（point  space）上で定義される。
【００９０】
段階Ｓ１００３で、単語連関度測定システムは、結合確率分布を用いて単語間の単語連関度を測定する。このとき、単語連関度測定システムは、２つのランダム変数Ａ、Ｂに対して下記の数式２６のように示される結合確率分布を用い、下記の数式２７のように計算されるジャッカード係数、下記の数式２８のように計算されるダイス係数、下記の数式２９のように計算されるオッズ比（ｏｄｄｓ−ｒａｔｉｏ）、相互情報（ｍｕｔｕａｌ  ｉｎｆｏｒｍａｔｉｏｎ）、又は点別相互情報（ｐｏｉｎｔ−ｗｉｓｅ  ｍｕｔｕａｌ  ｉｎｆｏｒｍａｔｉｏｎ）を計算して単語連関度として測定する。
【００９１】
【数２６】
2008146648.tif 000010
【００９２】
【数２７】
2008146648.tif 000011
【００９３】
このとき、ジャッカード係数は、本発明の第２実施形態において２進文章ベクトルに基づいた拡張したジャッカード係数と同一となる。
【００９４】
【数２８】
2008146648.tif 000012
【００９５】
このとき、ダイス係数は、第２実施形態において、２進文章ベクトル基盤の拡張したダイス係数と同一となる。
【００９６】
【数２９】
2008146648.tif 000013
【００９７】
また、相互情報は、下記の数式３０のように示される。
【００９８】
【数３０】
2008146648.tif 000014
【００９９】
ここで、Ｈ（Ｘ）は情報量であって、点空間Ｘ内の各点ｘに対する（−ｐ（ｘ）ｌｏｇｐ（ｘ））の合計を示すものである。このような情報量に基づいた相互情報は、結合点空間（Ｘ、Ｙ）内の各結合点（ｘ、ｙ）に対するｐ（ｘ、ｙ）（ｌｏｇｐ（ｘ、ｙ）−ｌｏｇｐ（ｘ）ｐ（ｙ））の合計を意味するものである。図１１は、相互情報を説明するための一例である。図１１の符号１１０１で示すように、相互情報は、ランダム変数Ｘ、Ｙが共有する情報量の大きさを意味するものであり、このような相互情報自体は、共有される情報量の絶対値となる。
【０１００】
このような相互情報は、下記の数式３１のようにジャッカード係数の形態として正規化されたり、下記の数式３２のようにダイス係数の形態として正規化される。
【０１０１】
【数３１】
2008146648.tif 000015
【０１０２】
【数３２】
2008146648.tif 000016
【０１０３】
また、相互情報は、下記の数式３３又は数式３４のように他の形態で定義してもよい。
【０１０４】
【数３３】
2008146648.tif 000017
【０１０５】
【数３４】
2008146648.tif 000018
【０１０６】
最後に、点別相互情報は、２つのランダム変数Ｘ、Ｙに対して結合点空間（Ｘ、Ｙ）内の特定結合点（ｘ、ｙ）が有する情報量であって、下記の数式３５のように示される。
【０１０７】
【数３５】
2008146648.tif 000019
【０１０８】
図１２は、事件別相互情報を説明するための一例である。文章内において、任意の単語を選択する点をＸ、そのすぐ後へ来る単語を選択する点をＹとするとき、文章が｛ａ、ｂ、ｃ、ａ、ｂ、ｄ｝の場合に、Ｘ及びＹに対する頻度は、図１２の符号１２０１で示される。、また上述したようにｐ（ｘ、ｙ）（ｌｏｇｐ（ｘ、ｙ）−ｌｏｇｐ（ｘ）ｐ（ｙ））の合計として示される相互情報は、図１２の符号１２０２で示されるように計算される。
【０１０９】
また、特定結合点に対する情報量である点別相互情報は、それぞれ図１２の符号１２０３のように計算される。すなわち、点Ｘ及びＹに対して満たす文章の対である（ａ、ｂ）、（ｂ、ｃ）、（ｂ、ｄ）及び（ｃ、ａ）に対する点別の相互情報を示している。
【０１１０】
図１３は、本発明の第５実施形態における文章集合に基づいて単語間の連関度を測定する方法を示したフローチャートである。
【０１１１】
第２実施形態から第４実施形態において測定された単語連関度は、基本的にすべて対称的である。すなわち、文章集合の２つの単語ａ、ｂに対して、単語連関度（ａ、ｂ）と単語連関度（ｂ、ａ）の値が同一となる。
【０１１２】
しかしながら、単語ａに対する単語ｂの連関度と単語ｂに対する単語ａの連関度は、互いに異なる場合がある。例えば、「カークリニック」に対する「ギア自動車」の連関度と「ギア自動車」に対する「カークリニック」の連関度は、互いに異なる場合がある。
【０１１３】
第５実施形態では、このような非対称的な単語連関度測定方法について説明する。
【０１１４】
段階Ｓ１３０１で、単語間の連関度を測定する単語連関度測定システムは、文章集合が含む単語が異なる単語と共に登場した文章の数である交差頻度を単語ごとに測定する。
【０１１５】
段階Ｓ１３０２で、単語連関度測定システムは、交差頻度を離散ランダム変数集合として定形化する。このとき、単語連関度測定システムは、離散ランダム変数集合の列が含む各単語をランダム変数が定義された点空間の独立した各点として設定し、離散ランダム変数集合の行が含む各単語を離散ランダム変数として設定する。このような離散ランダム変数に対する交差頻度値は、行に含まれる単語ｖが存在するときに、列が含む単語ｗが存在する確率と対応する値として下記の数式３６のように示される。
【０１１６】
【数３６】
2008146648.tif 000020
【０１１７】
ここで、交差頻度値は、ｖ及びｗに対する交差頻度のｖ及びｋに対する交差頻度の合計に対する比率を示しており、ｋはすべての単語を示している。例えば、上述した図３を用いて説明すると、ｐ（単語１｜単語４）＝１／８、ｐ（単語３｜単語４）＝３／８、ｐ（単語４｜単語４）＝３／８のように計算されることになる。
【０１１８】
段階Ｓ１３０３で、単語連関度測定システムは、離散ランダム変数集合を用いて単語間の単語連関度を測定する。このとき、単語連関度（ｆ（ｗ｜ｖ））は、下記の数式３７を用いて測定される。
【０１１９】
【数３７】
2008146648.tif 000021
【０１２０】
ここで、単語連関度が０より小さい場合には０として見なす。また、ｐ＊（ｗ）は、すべての単語ｖに対するｐ（ｗ｜ｖ）ｐ（ｖ）の合計である。また、ｐ（ｖ）は、ｖに対する文章頻度のｋに対する文章頻度の合計に対する比率を示し、ｋはすべての単語を示す。
【０１２１】
図１４は、多様な方法で測定された単語連関度についての一例である。図１４に示すように、図２から図７で説明した単語１から単語４において、単語１の異なる単語（単語２から単語４）に対する単語連関度を示している。
【０１２２】
図１４の号１４０１は、単語１に対する文章ベクトルに対してインバースＬｐを用いた単語連関度を示しており、符号１４０２は、文章ベクトルに対してコサイン係数を用いた単語連関度を示しており。また、符号１４０３は、文章ベクトルに対して拡張したダイス係数を用いた単語連関度を示しており、符号１４０４は、文章ベクトルに対して拡張したジャッカード係数を用いた単語連関度を示している。これに加え、符号１４０５は、文章ベクトルに対して相関関係を用いた単語連関度を示している。
【０１２３】
さらに文章ベクトルの他に、単語１に対する頻度ベクトル及び２進文章ベクトルに対しても、インバースＬｐ、コサイン係数、拡張したダイス係数、拡張したジャッカード係数、及び相関関係を用いた単語連関度をそれぞれ示している。
【０１２４】
図１４の符号１４０６は、単語１に対する結合確率分布に対してオッズ比を用いた単語連関度を示しており、符号１４０７は、結合確率分布に対して相互情報を用いた単語連関度を示している。また、符号１４０８は、結合確率分布に対してジャッカード係数の形態として正規化された相互情報を用いた単語連関度を示している。
【０１２５】
図１４の符号１４０９は、単語１に対する離散ランダム変数集合に対して他の単語が存在するとき、単語１が存在する確率を示しており、符号１４１０は、このような確率を用いた単語連関度を示している。
【０１２６】
このように測定された複数の単語連関度は、上述のように、以後、単語又は文章の分類及び文章検索などに用いられる。例えば、単語を分類するために「守備手」、「フォワード」、「ゴールキーパー」、「サッカーボール」、「ミッドフィルダー」、「芝球場」、又は「サッカーシューズ」のように連関した単語を単語連関度を用いてクラスタリングし、「サッカー」などの単語分類名を指定して単語を分類することができる。又は、このような単語連関度を用いて単語と文章間の連関度を生成し、これを用いて文章検索ができ、文章がどのような単語と連関しているのかを把握して文章を分類するために用いることもできる。
【０１２７】
図１５は、本発明の第６実施形態における単語連関度測定システムの内部構成を説明するためのブロック図である。図１５に示すように、単語連関度測定システム１５００は、単語統計情報取得部１５０１と、定形化部１５０２と、単語連関度測定部１５０３とを含む。
【０１２８】
単語統計情報取得部１５０１は、文章集合が含む単語、文章、単語に対する単語分類、又は文章に対する文章分類を用いて単語統計情報を取得する。このとき、単語統計情報取得部１５０１は、単語ごとに単語が登場した回数である発生頻度を測定する発生頻度測定部（図示せず）と、単語が異なる単語とともに登場した文章の数である交差頻度を単語ごとに測定する交差頻度測定部（図示せず）と、発生頻度又は交差頻度に基づいて頻度情報を生成する頻度情報生成部（図示せず）と、前記発生頻度、前記交差頻度、又は頻度情報を単語統計情報として取得する取得部（図示せず）とを含む。
【０１２９】
頻度情報は、発生頻度又は交差頻度を用いて測定される単語−文章分類発生頻度、文章頻度、文章分類頻度、単語−単語分類交差頻度、又は単語−単語結合頻度を含む。
【０１３０】
単語−文章分類発生頻度は、単語ごとに文章分類に属する文章に登場した回数であって、発生頻度に基づいて測定される。
【０１３１】
また、文章頻度は、単語ごとに単語が登場した文章の数であり、文章分類頻度は、単語ごとに単語が登場した単語分類の数である。このような文章頻度及び文章分類頻度も、発生頻度に基づいて測定される。
【０１３２】
単語−単語分類交差頻度は、単語ごとに単語分類に属する単語が共に登場した文章の数であって、交差頻度を用いて測定され、単語−単語結合頻度は、単語に対する単語対ごとに２つの単語が共に登場した文章の数、２つの単語すべてが登場しない文章の数、及び２つの単語がそれぞれ別に登場する文章の数であって、発生頻度に基づいて測定される。
【０１３３】
定形化部１５０２は、単語統計情報を定形化する。なお、定形化部１５０２は、単語統計情報を多次元ベクトル集合、実数型ランダム変数集合、ランダム変数の結合確率分布、又は離散ランダム変数集合に定形化する。
【０１３４】
すなわち、定形化部１５０２は、次の（１）から（４）のうちのいずれか１つの方法を用いて、単語統計情報を定形化する。
【０１３５】
（１）単語、文章、単語分類、又は文章分類を多次元空間の独立した各次元を有する多次元ベクトル集合の列（ｃｏｌｕｍｎ）として設定し、単語をそれぞれ多次元空間のベクトルと対応して多次元ベクトル集合の行（ｒｏｗ）として設定することで、単語統計情報を定形化する。
【０１３６】
（２）単語、文章、単語分類、又は文章分類を実数型ランダム変数集合の列として設定し、単語をそれぞれ実数値を有するランダム変数と対応させて実数型ランダム変数集合の行として設定することで、単語統計情報を定形化する。
【０１３７】
（３）結合確率分布としての定形化方法は、単語に対する単語対ごとに２つの単語がともに登場した文章の数、２つの単語がすべて登場しない文章の数、及び２つの単語がそれぞれ別に登場する文章の数である単語−単語結合頻度に基づいて、単語対ごとに対応されるランダム変数の結合確率分布を生成して単語統計情報を定形化する。このとき、単語対ごとに対応される結合確率分布が存在するようになり、ランダム変数は単語の発生又は非発生点のみを含む行と列の点空間上で定義される。
【０１３８】
（４）離散ランダム変数集合における定形化方法は、単語をランダム変数が定義された点空間の独立した各点を意味するように離散ランダム変数集合の列として設定し、単語を離散ランダム変数を意味するように離散ランダム変数集合の行として設定することで、単語統計情報を定形化する。このような離散ランダム変数は、単語が異なる単語と共に登場した文章の数である交差頻度を用いて生成され、離散ランダム変数集合の各頻度値は、任意の文章に存在する１つの単語（行）に対して異なる単語（列）が存在する確率と対応する。
【０１３９】
単語連関度測定部１５０３は、定形化された単語統計情報に基づいて単語間の単語連関度を測定する。このとき、単語連関度測定部１５０３は、多次元ベクトル集合に定形化した単語統計情報に基づく場合に、多次元ベクトル集合の２つのベクトルに対するインバースＬｐ、コサイン係数、拡張したダイス係数、拡張したジャッカード係数、又は相関関係を計算して単語連関度として測定する。
【０１４０】
また、単語連関度測定部１５０３は、実数型ランダム変数集合に定形化した単語統計情報に基づく場合に、実数型ランダム変数集合の２つのランダム変数に対してピアソンの相関関係又はコヒーレンス（一貫性）を計算して単語連関度として測定する。
【０１４１】
これに加え、単語連関度測定部１５０３は、結合確率分布に定形化された単語統計情報に基づく場合に、２つのランダム変数に対して結合確率分布を用いてジャッカード係数、ダイス係数、オッズ比、相互情報、又は事件別相互情報を計算して単語連関度として測定する。
【０１４２】
最後に、単語連関度測定部１５０３は、離散ランダム変数集合に定形化された単語統計情報に基づく場合に、単語連関度（ｆ（ｗ｜ｖ））を下記の数式３８を用いて測定することができる。
【０１４３】
【数３８】
2008146648.tif 000022
【０１４４】
このとき、単語連関度が０より小さい場合には０として見なし、ｐ＊（ｗ）は、すべての単語ｖに対するｐ（ｗ｜ｖ）ｐ（ｖ）の合計を示す。また、ｐ（ｖ）は、ｖに対する文章頻度のｋに対する文章頻度の合計に対する比率を示し、ｋはすべての単語を示す。
【０１４５】
このように、単語連関度測定システムによって、文章集合が含む単語又は文章を自動で分類したり、クエリを用いた文章検索をより効率的に実行するために単語間の関係を数値化した単語連関度を測定できるようになり、文章集合と連関した単語、文章、単語分類、又は文章分類間の多様な特徴による頻度を測定して単語統計情報を生成し、ベクトル、ランダム変数、結合確率分布などを用いて単語統計情報を定形化して解釈することで、単語間の関係に対して数値化した単語連関度を測定できる。
【０１４６】
さらに、単語間の交差頻度を離散ランダム変数集合として用いることで、単語間の互いに非対称的な単語連関度を測定することが可能となる。
【０１４７】
本発明に係る実施形態は、コンピュータにより具現される多様な動作を実行するためのプログラム命令を含むコンピュータ読取可能な記録媒体を含む。当該記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合わせて含むこともできる。前記媒体及びプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。また、上記記録媒体は、プログラム命令、データ構造などを保存する信号を送信する搬送波を含む光又は金属線、導波管などの送信媒体でもある。プログラム命令の例としては、コンパイラによって生成されるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。また上述したハードウェア要素は、本発明の動作を実行するために一以上のソフトウェアモジュールとして作動するように構成することができ、その逆もできる。
【０１４８】
以上、本発明を好ましい実施形態に則して詳細に説明したが、本発明の属する技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の技術的思想及びその領域から逸脱しない範囲内で、本発明を多様に修正及び変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。
【図面の簡単な説明】
【０１４９】
【図１】本発明の第１実施形態において、文章集合に基づいて単語間の連関度を測定する方法を示したフローチャートである。
【図２】発生頻度を説明するための一例である。
【図３】交差頻度を説明するための一例である。
【図４】単語−文章分類発生頻度を説明するための一例である。
【図５】文章頻度及び文章分類頻度ルを説明するための一例である。
【図６】単語−単語分類交差頻度を説明するための一例である。
【図７】単語−単語結合頻度を説明するための一例である。
【図８】本発明の第２実施形態において、文章集合に基づいて単語間の連関度を測定する方法を示したフローチャートである。
【図９】本発明の第３実施形態において、文章集合に基づいて単語間の連関度を測定する方法を示したフローチャートである。
【図１０】本発明の第４実施形態において、文章集合に基づいて単語間の連関度を測定する方法を示したフローチャートである。
【図１１】相互情報を説明するための一例である。
【図１２】点別相互情報を説明するための一例である。
【図１３】本発明の第５実施形態において、文章集合に基づいて単語間の連関度を測定する方法を示したフローチャートである。
【図１４】多様な方法で測定された単語連関度に対する一例である。
【図１５】本発明の第６実施形態において、単語連関度測定システムの内部構成を説明するためのブロック図である。
【符合の説明】
【０１５０】
１５００：単語連関度測定システム
１５０１：単語統計情報取得部
１５０２：定形化部
１５０３：単語連関度測定部
【図１】
2008146648.tif 000041
【図２】
2008146648.tif 000042
【図３】
2008146648.tif 000043
【図４】
2008146648.tif 000044
【図５】
2008146648.tif 000045
【図６】
2008146648.tif 000046
【図７】
2008146648.tif 000047
【図８】
2008146648.tif 000048
【図９】
2008146648.tif 000049
【図１０】
2008146648.tif 000050
【図１１】
2008146648.tif 000051
【図１２】
2008146648.tif 000052
【図１３】
2008146648.tif 000053
【図１４】
2008146648.tif 000054
【図１５】
2008146648.tif 000055