(57)【要約】      （修正有）【課題】複数の文書をクラスタリングした各クラスタの意味や特徴を分かり易くする。【解決手段】クラスタリングプログラムは、複数の文書に対して潜在意味解析を行い、複数の文書の所定の特徴と相関する複数の軸と、複数の軸それぞれが有する複数の文書の説明力の大きさを示す軸の重要度と、複数の軸夫々に対する複数の単語の重みとを生成し、複数の軸のうち重要度が高いものからＮ個の軸を選択し、複数の文書に含まれる単語の重みとＮ個の軸それぞれに対する複数の単語の重みとに基づいて、前記複数の文書をマッピングして第１のＮ次元マップを生成し、マッピングされた複数の文書のうち、特徴ベクトルによる類似度が高い類似文書どうしを、クラスタとして対応付ける。各クラスタそれぞれの特徴ベクトルと類似度が高いクラスタ所属単語から、少なくとも一部の複数のクラスタに属する単語を広域単語として除外し、各クラスタの意味を示す単語を選択する。【選択図】図２
2019159920.tif 000002
【特許請求の範囲】
【請求項１】
複数の単語をそれぞれ含む複数の文書に対して潜在意味解析を行い、前記複数の文書の所定の特徴と相関する複数の軸と、前記複数の軸それぞれが有する前記複数の文書の説明力の大きさを示す軸の重要度と、前記複数の軸それぞれに対する複数の単語の重みとを生成し、
前記複数の軸のうち前記軸の重要度が高いものからＮ個の軸を選択し、前記複数の文書に含まれる単語の重みと前記Ｎ個の軸それぞれに対する複数の単語の重みとに基づいて、前記Ｎ個の軸の空間に前記複数の文書をマッピングして第１のＮ次元マップを生成し、
前記複数の文書に含まれる複数の単語と前記複数の文書の特徴ベクトルを生成し、
前記第１のＮ次元マップにマッピングされた複数の文書のうち、前記特徴ベクトルによる類似度が高い類似文書どうしを、複数のクラスタそれぞれに対応付け、
前記複数のクラスタそれぞれの特徴ベクトルと類似度が相対的に高いクラスタ所属単語のうち、前記複数のクラスタの少なくとも一部の複数のクラスタに属する単語を、広域単語と特定し、
前記クラスタ所属単語から、前記広域単語を除外して、前記複数のクラスタの意味を示す単語として選択する、
処理をコンピュータに実行させるクラスタリングプログラム。
【請求項２】
前記処理は、更に、
前記第１のＮ次元マップにマッピングされた複数の文書のうち、前記広域単語との類似度が基準値以上の文書を含む領域を、広域単語領域として選択して、前記第１のＮ次元マップに表示することを有する、請求項１に記載のクラスタリングプログラム。
【請求項３】
前記処理は、更に、
前記第１のＮ次元マップに、前記複数のクラスタを、前記クラスタの意味を示す単語を表示するクラスタのラベルと共に、表示することを有する、請求項１または２に記載のクラスタリングプログラム。
【請求項４】
前記潜在意味解析を行うことは、
前記複数の軸は前記複数の文書の分散に対応し、前記軸上における前記複数の文書の分散が大きい順に前記複数の軸を生成し、前記軸の重要度は前記分散が大きいほど大きく、前記単語の重みは前記複数の軸それぞれとの相関が強いほど重い、請求項１に記載のクラスタリングプログラム。
【請求項５】
前記潜在意味解析を行うことは、
前記複数の文書に対して、前記複数の文書における前記複数の単語の出現度合に基づく単語の重みを有する文書ベクトル表を生成し、
前記文書ベクトル表について主成分分析を行って、複数の主成分の固有値を前記軸の重要度に対応付け、前記主成分の単語の重みに主成分負荷量を対応付け、前記軸の重要度が大きいものから順に前記複数の軸を選択する、請求項４に記載のクラスタリングプログラム。
【請求項６】
前記特徴ベクトルを生成することは、
前記複数の文書における単語の出現の共起性が高いほど単語間の類似度が高くなるよう前記特徴ベクトルを生成することを有する、請求項１に記載のクラスタリングプログラム。
【請求項７】
前記処理は、更に、
前記複数のクラスタそれぞれに対応付けられた文書の特徴ベクトルの各成分の平均値を、前記複数のクラスタの特徴ベクトルの各成分として生成することを有する、請求項１に記載のクラスタリングプログラム。
【請求項８】
複数の単語をそれぞれ含む複数の文書に対して潜在意味解析を行い、前記複数の文書の所定の特徴と相関する複数の軸と、前記複数の軸それぞれが有する前記複数の文書の説明力の大きさを示す軸の重要度と、前記複数の軸それぞれに対する複数の単語の重みとを生成し、
前記複数の軸のうち前記軸の重要度が高いものからＮ個の軸を選択し、前記複数の文書に含まれる単語の重みと前記Ｎ個の軸それぞれに対する複数の単語の重みとに基づいて、前記Ｎ個の軸の空間に前記複数の文書をマッピングして第１のＮ次元マップを生成し、
前記複数の文書に含まれる複数の単語と前記複数の文書の特徴ベクトルを生成し、
前記第１のＮ次元マップにマッピングされた複数の文書のうち、前記特徴ベクトルによる類似度が高い類似文書どうしを、複数のクラスタそれぞれに対応付け、
前記複数のクラスタそれぞれの特徴ベクトルと類似度が相対的に高いクラスタ所属単語のうち、前記複数のクラスタの少なくとも一部の複数のクラスタに属する単語を、広域単語と特定し、
前記クラスタ所属単語から、前記広域単語を除外して、前記複数のクラスタの意味を示す単語として選択する、
処理をコンピュータに実行させるクラスタリング方法。
【請求項９】
複数の単語をそれぞれ含む複数の文書に対して潜在意味解析を行い、前記複数の文書の所定の特徴と相関する複数の軸と、前記複数の軸それぞれが有する前記複数の文書の説明力の大きさを示す軸の重要度と、前記複数の軸それぞれに対する複数の単語の重みとを生成する潜在意味解析手段と、
前記複数の軸のうち前記軸の重要度が高いものからＮ個の軸を選択し、前記複数の文書に含まれる単語の重みと前記Ｎ個の軸それぞれに対する複数の単語の重みとに基づいて、前記Ｎ個の軸の空間に前記複数の文書をマッピングして第１のＮ次元マップを生成するＮ次元マップ生成手段と、
前記複数の文書に含まれる複数の単語と前記複数の文書の特徴ベクトルを生成する特徴ベクトル生成手段と、
前記第１のＮ次元マップにマッピングされた複数の文書のうち、前記特徴ベクトルによる類似度が高い類似文書どうしを、複数のクラスタそれぞれに対応付けるクラスタリング手段と、
前記複数のクラスタそれぞれの特徴ベクトルと類似度が相対的に高いクラスタ所属単語のうち、前記複数のクラスタの少なくとも一部の複数のクラスタに属する単語を、広域単語と特定する広域単語特定手段と、
前記クラスタ所属単語から、前記広域単語を除外して、前記複数のクラスタの意味を示す単語として選択するクラスタ単語選択手段と、
を有するクラスタリング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，クラスタリングプログラム、クラスタリング方法及びクラスタリング装置に関する。
【背景技術】
【０００２】
複数の文書について潜在意味を統計的に抽出し、少ない軸の空間に複数の文書をマッピングして可視化する潜在意味解析（ＬＳＡ：Latent Semantic Analysis）が広く普及している。
【０００３】
潜在意味解析は、高次元のデータを低次元に圧縮する技術であり、次元圧縮と呼ばれる。例えば、ＬＳＡを行って、複数の文書を、複数の文書の意味や特徴を良く表す複数の軸、例えば２つの軸の空間内にマッピングし、マッピングされた二次元空間内の位置関係により、複数の文書の意味や特徴を視覚的に見せる。さらに、二次元空間内にマッピングされた複数の文書を複数のクラスタにクラスタリングし、各クラスタの意味や特徴をラベルで表示することが行われる。潜在意味解析については、例えば、以下の特許文献１に記載されている。また、クラスタリングについては、以下の特許文献２−４に記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１３３６８４号公報
【特許文献２】特開２０１３−１４３０６６号公報
【特許文献３】特開２００６−３３１２４５号公報
【特許文献４】特開２００２−１４９９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ＬＳＡによれば、複数の文書をＬＳＡにより解析して複数の文書の分散が大きいものから２つの軸を抽出し、２つの軸空間内に複数の文書をマッピングする。この２つの軸には、複数の文書に含まれている複数の単語のうち、２つの軸の意味や特徴と相関のある単語と、その相関の強さを示す重みとが対応付けられる。したがって、複数の文書がマッピングされた二次元空間において、各軸の意味や特徴、各軸で区分された領域の意味や特徴を、上記の軸に対応付けられた複数の単語とその重みに基づいて人間が判定する必要がある。
【０００６】
さらに、ＬＳＡにより二次元空間内にマッピンングされた複数の文書を複数のクラスタにクラスタリングし、各クラスタの意味や特徴を単語で可視化することで、クラスタリングされた文書の意味や特徴を看者に伝えることが行われる。
【０００７】
しかしながら、看者が各クラスタリングの意味や特徴を各クラスタの単語から把握することが困難な場合がある。例えば、各クラスタに対応付けられた複数の単語が各クラスタで重複する場合、クラスタ間の意味や特徴の違いをそれらの単語から看者が把握することが困難である。
【０００８】
そこで，本実施の形態の目的は，Ｎ次元マップ内の複数の文書をクラスタリングした各クラスタの意味や特徴を分かりやすくするクラスタリングプログラム、クラスタリング方法及びクラスタリング装置を提供することにある。
【課題を解決するための手段】
【０００９】
本実施の形態の第１の側面は，複数の単語をそれぞれ含む複数の文書に対して潜在意味解析を行い、前記複数の文書の所定の特徴と相関する複数の軸と、前記複数の軸それぞれが有する前記複数の文書の説明力の大きさを示す軸の重要度と、前記複数の軸それぞれに対する複数の単語の重みとを生成し、前記複数の軸のうち前記軸の重要度が高いものからＮ個の軸を選択し、前記複数の文書に含まれる単語の重みと前記Ｎ個の軸それぞれに対する複数の単語の重みとに基づいて、前記Ｎ個の軸の空間に前記複数の文書をマッピングして第１のＮ次元マップを生成し、
前記複数の文書に含まれる複数の単語と前記複数の文書の特徴ベクトルを生成し、前記第１のＮ次元マップにマッピングされた複数の文書のうち、前記特徴ベクトルによる類似度が高い類似文書どうしを、複数のクラスタそれぞれに対応付け、前記複数のクラスタそれぞれの特徴ベクトルと類似度が相対的に高いクラスタ所属単語のうち、前記複数のクラスタの少なくとも一部の複数のクラスタに属する単語を、広域単語と特定し、前記クラスタ所属単語から、前記広域単語を除外して、前記複数のクラスタの意味を示す単語として選択する、処理をコンピュータに実行させるクラスタリングプログラムである。
【発明の効果】
【００１０】
本実施の形態によれば，Ｎ次元マップ内の複数の文書をクラスタリングした各クラスタの意味や特徴を分かりやすくする。
【図面の簡単な説明】
【００１１】
【図１】本実施の形態における潜在意味解析装置の構成例を示す図である。
【図２】本実施の形態におけるＬＳＡ分析のフローチャート図である。
【図３】文書の単語抽出工程Ｓ１０の具体例を示す図である。
【図４】文書ベクトル生成工程Ｓ１１のフローチャート図である。
【図５】文書ベクトルの表の一例を示す図である。
【図６】ＬＳＡ工程のフローチャート図である。
【図７】主成分分析結果表の一例を示す図である。
【図８】主成分分析を説明する図である。
【図９】主成分軸の単語の重みを示す軸・重み表２５を示す図である。
【図１０】本実施の形態における単語及び文書の類似度算出工程のフローチャート図である。
【図１１】単語及び文書の特徴ベクトル表の一例を示す図である。
【図１２】Word2Vecのニューロンネットワークの一例を示す図である。
【図１３】単語及び文書の特徴ベクトルに基づく単語、文書間の類似度の算出を説明する図である。
【図１４】単語類似度表２７の一部を示す図である。
【図１５】二次元マッピング工程とクラスタリング工程のフローチャート図である。
【図１６】二次元マッピング工程のフローチャート図である。
【図１７】変換工程S142での文書の２つの軸１，２上の値の計算を説明する図である。
【図１８】軸１，２の二次元空間内に文書をマッピングした二次元マップ（１）の例を示す図である。
【図１９】クラスタリング（１）を行った二次元マップ（２）の一例を示す図である。
【図２０】クラスタリング（２）後の二次元マップ（３）の一例を示す図である。
【図２１】広域単語リスト生成工程S16のフローチャートを示す図である。
【図２２】再クラスタリング工程Ｓ１７のフローチャート図である。
【図２３】図２０の二次元マップ（３）の各クラスタのラベルの単語から広域単語を除外した二次元マップ（４）30_1の例を示す図である。
【図２４】再クラスタリング（２）を行った後の二次元マップ（５）の例を示す図である。
【発明を実施するための形態】
【００１２】
図１は、本実施の形態における潜在意味解析装置の構成例を示す図である。潜在意味解析（ＬＳＡ）装置１は、例えば情報処理装置またはコンピュータである。ＬＳＡ装置１は、プロセッサであるＣＰＵ（Central Processor Unit）１０と、メインメモリ１２と、外部とのインターフェース１４と、ＨＤＤやＳＤＤ等の補助記憶装置２０〜３０と、それらを接続するバス３２とを有する。インターフェース１４は、インターネットやイントラネット、モバイル電話回線などのネットワークＮＷを介して、端末装置３３，３４と通信可能に接続するためのインターフェース装置である。
【００１３】
補助記憶装置には、ＯＳなどの基本ソフトウエアやブラウザなどに加えて、潜在意味解析（ＬＳＡ）プログラム２０が記憶される。ＬＳＡプログラムは、例えば、文書データ２１から文書ベクトル表２３を生成する機能、ＬＳＡを行う機能、単語類似度算出機能、ＬＳＡで生成された２つの軸による二次元空間に文書をマッピングする二次元マッピング機能、二次元マップ内にマッピングされた複数の文書をクラスタリングするクラスタリング機能、複数のクラスタリングで共通する広域単語をリストする広域単語リスト機能、さらに再度クラスタリングする再クラスタリング機能などを有する。補助記憶装置内に記憶されたＬＳＡプログラムは、コンピュータが起動された時に、メインメモリ１２内に展開され、プロセッサ１０により実行される。
【００１４】
ＬＳＡ装置１は、入力された文書データについてＬＳＡプログラムを実行することで、文書ベクトル表２３、主成分分析結果表２４、単語の特徴ベクトル２６、二次元マップ２８、３０、広域単語リスト２９などを生成し、補助記憶装置に記憶する。
【００１５】
図２は、本実施の形態におけるＬＳＡ分析のフローチャート図である。図２のフローチャートを参照して、以下、本実施の形態におけるＬＳＡ分析を説明する。
【００１６】
［文書の単語抽出工程Ｓ１０］
まず、ＬＳＡ装置のプロセッサ（以下単にプロセッサと称する）は、ＬＳＡプログラムを実行して、分析対象の文書データ２１を入力する。文書データは複数の単語をそれぞれ有する複数の文書のデータである。そして、プロセッサは、ＬＳＡプログラムを実行して、文書データの文書の単語を抽出して文書・単語表２２を生成する（Ｓ１０）。
【００１７】
図３は、文書の単語抽出工程Ｓ１０の具体例を示す図である。図３には、入力されるＬＳＡ対象の文書データ２１の具体例が示される。この具体例には、文書Ａ，Ｂ，Ｃの例が示される。各文書は、通常の文章と同様に複数の単語を含む。プロセッサは、ＬＳＡプログラムを実行して、入力された文書データの各文書を、辞書データを用いて形態素解析を行い、例えば名詞を抽出し、文書と文書に含まれる複数の単語との対応を示す文書・単語表２２を生成する。
【００１８】
図３中には、文書・単語表２２の一例が示される。文書・単語表２２は、文書Ａ，Ｂ，Ｃそれぞれに含まれる複数の単語を、文書毎に対応付けている。
【００１９】
［文書ベクトル生成工程Ｓ１１］
次に、プロセッサは、ＬＳＡプログラムを実行して、文書・単語表２２に示される複数の文書それぞれの複数の単語の重みを算出し、複数の単語の重みを成分とする単語ベクトルの表２３を生成する(S11)。単語の重みは、複数の文書それぞれにおける複数の単語の出現度合に基づく重みであり、例えば出現度合が高いほど単語の重みは大きくなる（重くなる）。
【００２０】
本実施の形態では、一例として、単語の重みをＴＦ−ＩＤＦ法（TF: Term Frequency, IDF: Inverse Document Frequency）により算出する。ＴＦ−ＩＤＦ法は、単語の文書内の出現頻度ＴＦと、単語が一般語のように多くの文書に出現する場合に低下し特定の文書にしか出現しない場合に上昇する逆文書頻度ＩＤＦの２つの指標に基づいて計算される。
【００２１】
図４は、文書ベクトル生成工程Ｓ１１のフローチャート図である。プロセッサは、文書・単語表２２を入力する。そして、プロセッサは、文書・単語表２２内の各文書に含まれる単語それぞれについて、単語の出現頻度ＴＦを以下の式により算出する（S110）。
TFi,j = Ni,j/ΣNk,j
ここで、Ni,jは、単語tiの文書diにおける出現回数であり、ΣNk,jは、文書diにおける全ての単語の出現回数の和である。したがって、単語の文書内の出現頻度TFi,jは、ある文書di内で単語tiが出現した回数を、文書di内の全単語の出現回数の和で除算した値である。
【００２２】
次に、プロセッサは、上記と同じ単語の逆文書頻度ＩＤＦを以下の式により算出する(S111)。
IDFi = log{D/(tiを含む文書dの数)}
ここで、Dは全文書の数、単語tiを含む文書ｄの数は単語tiを含む文書の数である。したがって、逆文書頻度IDFiは、ある単語の文書への出現し難さ（レア度）を桁数で表す。例えば、全ての文書に出現する単語の場合、逆文書頻度はIDF＝log(1)＝０となり、ある単語が１００文書中の1文書に出現する場合、IDF＝log(100/1)＝２となる（但し常用対数）。対数の底は１０に限られない。
【００２３】
そして、プロセッサは、単語の文書内の出現頻度TFi,jに逆文書頻度IDFiを以下のとおり乗算して、単語のTF-IDF値を求める（S112）。
TF-IDF = TFi,j＊IDFi
つまり、TF-IDF値は、ある単語がある文書内に高い頻度で出現し、且つ、他の文書にはあまり出現しない場合、大きな値になる。つまり、TF-IDF値が高い単語は、ある文書との相関が強く文書の意味や特徴を良く表す単語と見なすことができる。
【００２４】
最後に、プロセッサは、複数の文書を単語の重みで特徴付けた文書ベクトルの表２３を出力する（S113）。
【００２５】
図５は、文書ベクトルの表の一例を示す図である。この文書ベクトル表は、文書Ａ，Ｂ，Ｃそれぞれについて、各文書に含まれる複数の単語の重みを示す。文書ベクトルは、文書を、複数の変数（複数の単語）の軸の値（単語の重み）を成分とするベクトルである。つまり、各文書は、文書に含まれる複数の単語の軸の値を成分とするベクトルであり、文書の意味や特徴が複数の単語軸の空間内にベクトルにより示される。
【００２６】
重みが大きい単語の意味や特徴は、その文書の意味や特徴との相関性が高いと言える。重みが大きい単語に依存して文書の意味や特徴が大きく異なるが、重みが小さい単語に依存して文書の意味や特徴が異なることは少ない。例えば、文書Ａでは単語「業務」の重みが0.83と高いので、文書Ａのベクトルは、「業界」の軸と相関性が高い。
【００２７】
但し、各文書に含まれる単語の数が大きいので、文書ベクトルは、非常に高い次元の空間内のベクトルである。そのため、文書の意味や特徴は、文書に含まれる多数の単語の意味を文書ベクトルが示す単語の重みで混合した意味や特徴になり、人間が各文書の意味や特徴を直感で把握することは一般に困難である。
【００２８】
そこで、ＬＳＡを実行して、文書の高次元のデータ（文書ベクトル）を、低次元のデータに変換して、低次元の空間内に各文書をマッピングして、可視化することを行う。
【００２９】
なお、文書ベクトルの単語の重みとして、ＴＦ−ＩＤＦ法による計算を説明した。しかし、本実施の形態は、ＴＦ−ＩＤＦ法に限定されず、例えば、単語が文書に含まれているか否か（0/1の値）、単語の文書中の出現回数、単語の文書中の出現頻度(前述のＴＦ)でも代替できる。但し、ＴＦ−ＩＤＦ法による重みが、文書の意味や特徴を示す単語の重みをより高精度に表すといわれている。
【００３０】
［ＬＳＡ工程（主成分分析）Ｓ１２］
次に、プロセッサは、ＬＳＡプログラムを実行して、ＬＳＡ工程を実行する(S12)。
【００３１】
図６は、ＬＳＡ工程のフローチャート図である。プロセッサは、文書ベクトルの表２３を入力し、ＬＳＡの一つである主成分分析を実行して(S12_1)、主成分分析結果表（重みテーブル）２４を生成する。さらに、プロセッサは、主成分分析結果表２４から主成分軸と単語の重みとの対応を示す軸・重み表２５を生成する(S12_2)。
【００３２】
図７は、主成分分析結果表の一例を示す図である。なお、図７に示した主成分分析結果表は、必ずしも図５の文書ベクトルの表を主成分分析して生成したものではなく、各主成分の固有値と単語の主成分負荷量はフェイクの数値である。
【００３３】
主成分分析結果表は、第1主成分（PC: Principal Component）から第ｉ主成分まで全単語数以下のｉ個の主成分それぞれの、固有値と、単語の主成分負荷量の値を有する。
【００３４】
すなわち、プロセッサは、文書ベクトル表２４の複数の文書ベクトルを主成分分析して、図７に示すとおり、複数の文書のある特徴と相関する互いに直交する主成分（複数の軸）と、各主成分（各軸）それぞれの複数の文書を説明する説明力の大きさを示す固有値（軸の重要度）と、各主成分（各軸）がそれぞれ有する複数の変数（単語）の重みを示す主成分負荷量とを生成する。
【００３５】
前述のとおり、ＬＳＡは、高次元（多くの単語の次元）のデータ（文書）を、低次元（少ない軸）のデータ（文書）に圧縮する技術（次元圧縮技術）である。本実施の形態では、ＬＳＡは、主成分分析により行われる。
【００３６】
そして、主成分分析は、相関のある多数の変数（単語の軸）から相関のない（互いに直交する）少数の主成分と呼ばれる変数（軸）に合成する手法である。また、主成分は、データ（文書）全体のばらつき（または分散）を最もよく表す変数（軸）である。そして、データ（文書）の分散を最大化する第1主成分（第1軸）と、次に分散が大きく第1主成分（第1軸）と直交する第２主成分（第２軸）と、さらに、その次に分散が大きく第１、第２主成分と直交する第３主成分（第３軸）というように、各主成分を選択する。
【００３７】
言い換えると、主成分分析は、与えられたデータ（文書）をｎ次元の楕円体にフィッティングするものであり、それぞれの主成分（軸）はその楕円形の長軸に対応する。ここで楕円体は、複数のデータ（複数の文書）の分布で構成され、主成分に対応する楕円体の軸が長い程、データ（文書）の分散が大きく、データ（文書）の情報をより多く有し、データ（文書）を説明する説明力が大きい。
【００３８】
そして、主成分分析では、データ（文書）の分散が大きい長い軸の楕円体の主成分（軸）だけでデータ（文書）を説明し、分散が小さい短い軸の楕円体の主成分を無視することで、小さな情報の損失だけで、データ(文書)をより少ない数の主成分（軸、変数）で表現する。これによりデータ（文書）の多数の単語（変数）の軸を、より少ない主成分の軸に次元圧縮できる。そして、分散が大きいほうから２つの主成分（第1、第２主成分）による二次元空間にデータ(文書)をマッピングすることで、人間がデータ（文書）の意味や特徴を把握しやすいように可視化することができる。
【００３９】
図８は、主成分分析を説明する図である。説明を簡単にするために、文書ベクトルの変数（単語）は「業務」「可視化」の２つとする。文書ベクトルは、文書（文書Ａ）について多数の単語（変数）の軸（Ｘ軸が「業務」、Ｙ軸が「可視化」）の重み（Ｘ軸上の位置ｘ１とＹ軸上の位置ｙ１）を有する。そして、主成分分析により、多数の単語を軸とする多次元空間に複数の文書をマッピングしたときの複数文書の分布に生成される楕円体ＥＬ１，ＥＬ２の長軸に、第１主成分（軸）と第２主成分（軸）とが対応付けられる。この楕円体ＥＬ１，ＥＬ２の長軸は直交関係にある。
【００４０】
そこで、マッピングされた文書（文書Ａ）を各主成分の軸に射影すると、第1主成分の軸上の位置がα１、第２主成分の軸上の位置がβ１となる。複数の文書を主成分の軸に射影したときの位置の分散を見ると、第１主成分の軸上での分散が最大になり、第２主成分の軸上での分散はその次に大きくなる。そして、第１主成分の軸と第２主成分の軸は直交し、第１主成分の軸と第２主成分の軸とは相関がない、つまり相関係数がゼロである。
【００４１】
図７の固有値と主成分負荷量について説明すると、各主成分の固有値は、複数の文書の分散の大きさに対応し、第１主成分が最大の固有値を有し、第２、第３主成分は順次固有値が小さくなる。したがって、固有値は、主成分の軸の複数の文書を説明する説明力の大きさを示す。
【００４２】
また、各単語の主成分負荷量は、文書ベクトルの各単語の軸（Ｘ軸、Ｙ軸）と第１、第２主成分の軸との相関の強さ（具体的には両軸の角度θのcosθ）を示し、文書Ａの各単語のＸ，Ｙ軸の値（ｘ１、ｙ１）を、第１、第２主成分の軸の値（α１、α２）に変換（または合成）するときの係数となる。具体的には、以下が変換式である。
α１＝ａ１×ｘ１＋ｂ１×ｙ１    （式１）
β１＝ａ２×ｘ１＋ｂ２×ｙ１    （式２）
ここで、第１主成分の主成分負荷量が「業務」：ａ１、「可視化」：ｂ１、第２主成分の主成分負荷量が「業務」：ａ２、「可視化」：ｂ２である。
【００４３】
主成分分析では、例えば以下のような演算により第１主成分軸の主成分負荷量ａ１，ｂ１が求められる。まず、全てのデータ(ｎ個の文書)について上記の式１で第１主成分軸の値α１〜αｎを求める。さらに、α１〜αｎの平均値αavを求め、分散（標準偏差の二乗をデータ数で除算した値）を以下のとおり求める。
標準偏差＝√｛Σi=1-n（αi−αav）2｝
分散＝｛Σi=1-n（αi−αav）2｝/ｎ
そして、この分散が最大値となるａ１，ｂ１（未知数）を求めれば、第１主成分の主成分負荷量ａ１，ｂ１が求まる。また、第２以下の主成分の主成分負荷量は、分散の２番以下の極大値をとるａ１，ｂ１である。
【００４４】
図９は、主成分軸の単語の重みを示す軸・重み表２５を示す図である。プロセッサは、図８の主成分分析結果に基づいて、第ｉ主成分をｉ番目の軸とし、第ｉ主成分の固有値をｉ番目の軸の重み（重要度）とする。さらに、第ｉ主成分の単語の主成分負荷量を第ｉ軸での単語の重みとして、主成分軸の単語重み表を生成する。そして、二次元マップに文書をマッピングする場合は、主成分軸のうち固有値が最大のものから２つの軸（第1、第２主成分軸）を選択する。軸・重み表２５では、第１、第２主成分軸それぞれに対する、軸の重み（固有値、重みまたは重要度）と、各単語の重み（主成分負荷量）とが示される。また、単語は単語の重みが大きい順に並べられている。
【００４５】
［単語及び文書の類似度算出工程S13］
本実施の形態では、ＬＳＡにより第１、第２主成分軸の二次元マップ内に複数の文書をマッピングし、その後、複数の文書を類似度に基づいて複数のクラスタにクラスタリング（グルーピング）する。このクラスタリングでは、文書間の類似度、単語間の類似度などをチェックする。そこで、以下、単語及び文書の類似度の算出工程について説明する。
【００４６】
図１０は、本実施の形態における単語及び文書の類似度算出工程のフローチャート図である。プロセッサは、LSAプログラムを実行して、単語類似度算出工程S13（S13_1,S13_2）を実行する。この工程S13では、プロセッサは、LSAの対象の複数の文書データから生成した文書・単語表２２を入力し、単語の特徴ベクトル表の作成を行い、単語の特徴ベクトル表２６を出力する（S13_1）。さらに、プロセッサは、単語の特徴ベクトル表に基づいて、複数の文書内の重複のない単語間の類似度を算出して、単語類似度表２７を出力する（S13_2）。
【００４７】
この単語の特徴ベクトル表２６の生成は、例えば、Word2Vec法により算出される。Word2Vecについては、以下の技術文献に記載されている。
Tomas Mikolovら著  Efficient Estimation of Word Representations in Vector Space",
https://arxiv.org/pdf/1301.3781v3.pdf
また、単語に加えて単語を含む文書の特徴ベクトル表を生成する場合は、例えば、Doc2Vec法により算出される。Doc2Vecについては、以下の技術文献に記載されている。
"Distributed Representations of Sentences and Documents"
https://arxiv.org/abs/1405.4053
図１１は、単語及び文書の特徴ベクトル表の一例を示す図である。単語及び文書の特徴ベクトル表は、全文書に含まれる重複しない単語数と全文書の数を加算した数を行方向に、各単語及び文書の２００次元程度の特徴を列方向に配置し、各単語及び文書について２００次元程度の特徴を要素とする単語及び文書のベクトルを示す。そして、単語間、文書間、単語と文書間の類似度が、各単語、文書のベクトルの角度θの余弦であるcosθ、コサイン類似度で求められる。コサイン類似度は以下の式により求められる。
コサイン類似度＝２つの単語又は文書のベクトルの内積／２つの単語又は文書の長さの乗算値
単語及び文書の特徴ベクトル表の各特徴は、予め任意の数に設定され、各単語及び文書のベクトルが、ベクトルの成分に対応する各特徴の値により定義される。
【００４８】
前述のWord2Vec法は、複数の文書における単語の出現の共起性が高い程単語間の類似度が高くなるように単語の特徴ベクトルを求めるものである。Word2Vec法は、ニューロンネットワークに、教師データの複数の文書内の重複しない複数の単語について、ある単語と文書内での出現の共起性が高い単語ほど、両単語間の内積が大きくなる（つまりcosθが１に近づく）ように図１１の単語の特徴ベクトルを学習させる。
【００４９】
図１２は、Word2Vecのニューロンネットワークの一例を示す図である。このニューロンネットワークの説明は、例えば、以下に記載されている。
「絵で理解するWord2Vecの仕組み−Qiita」
http://qiita.com/Hironsan/items/11b388575a058dc8a46a
上記の文献に基づいて図１２のニューロンネットワークを簡単に説明する。複数の文書内の重複しない単語数が７個と仮定すると、ニューロンネットワークは、７つのノードを有する入力層と、７つのノードを有する出力層と、予め設定された特徴の数、例えば３つのノードを有する隠れ層を有する。そして、単語「システム」と出現の共起性が高い単語が「POS」「アプリ」だったと仮定すると、入力層の「システム」に対応するノードに「１」を、それ以外のノードに「０」を入力し、一方、出力層の「POS」と「アプリ」に対応するノードに、入力層の「システム」と出現が共起する教師データでの確率を、それ以外のノードに「０」をそれぞれ入力する。つまり、入力層のノードには、対応する単語の有無を示す「１」「０」が入力される。
【００５０】
そして、入力層と隠れ層との間で、入力層のノードの値に、重複しない複数の単語の３つの特徴を成分とする単語の特徴ベクトル表２６内の入力層の単語の特徴の重み（X2,Y2,Z2）をそれぞれ乗算し、３つの隠れ層にそれぞれ入力する。隠れ層のノード数は、単語の特徴ベクトルの特徴数である。また、隠れ層の３つのノードには入力層の「システム」の単語ベクトルの３つの成分が入力される。
【００５１】
さらに、隠れ層と出力層との間で、隠れ層の各ノードの値に、その出力層の単語の特徴の重み（「POS」の出力層ならX3,Y3,Z3、「アプリ」の出力層ならX5,Y5,Z5）をそれぞれ乗算し、出力層に入力する。つまり、出力層のノードには、２つの単語の内積が入力される。そして、出力層で、入力された内積に所定の関数を乗算して、入力層の単語に対して出力層の単語の出現が共起する出現確率を生成する。そして、ニューロンネットワークに、この出力層が算出した出現確率と出力層に入力した教師データの出現確率との誤差がなくなるように、入力層と隠れ層との間及び隠れ層と出力層との間の単語の特徴ベクトルを学習させる。つまり、ニューロンネットワークは、入力層の「システム」と出力層の「POS」「アプリ」間について、入力層の単語の特徴ベクトルと出力層の単語の特徴ベクトルとの内積が教師データの出現確率に対応するように学習して、単語の特徴ベクトルの表２６を生成する。
【００５２】
プロセッサは、上記した計算を実行してニューロンネットワークによる学習を実行する。
【００５３】
Word2Vec以外にもGloVe: Global Vectors for Word Representation法によっても単語間の類似度を測定するための特徴ベクトルを生成する方法が提案されている。例えば、以下の文献である。この方法で単語の特徴ベクトルを生成してもよい。
Jeffrey Penningtonら著https://nlp.stanford.edu/projects/glove/
図１１の特徴ベクトル表には、単語に加えて文書の特徴ベクトルも示される。文書の特徴ベクトルは、例えば、文書ベクトル表２３の各文書の単語の重みで、図１１の単語の特徴ベクトルを重み付けし（乗算し）、加重平均することで求めることができる。または、図１２のWord2Vecのニューロンネットワークを利用して文書の特徴ベクトルを学習させることもできる。
【００５４】
図１３は、単語及び文書の特徴ベクトルに基づく単語、文書間の類似度の算出を説明する図である。図１３には、図１２と同様に７単語を３つの特徴の次元で示す単語の特徴ベクトルの表２６が示される。この単語の特徴ベクトルの表２６には、単語「システム」「POS」の特徴の重みX2,Y2,Z2とX3,Y3,Z3とが示されている。
【００５５】
次に、図１３には、単語「システム」「POS」それぞれの特徴ベクトルが示されている。これらの特徴ベクトルの角度はθであり、それぞれの特徴ベクトルの長さｄ２、ｄ３は以下のとおりである。
ｄ２＝√（X22+Y22+Z22）
ｄ３＝√（X32+Y32+Z32）
そこで、単語間の類似度は、図１３に示される計算式によるコサイン類似度で求めることができる。すなわち、コサイン類似度の計算式は以下のとおりである。
コサイン類似度＝（X2*X3+Y2*Y3+Z2*Z3)/√{（X22+Y22+Z22)*(X32+Y32+Z32)} 
＝２つのベクトルの内積／２つのベクトルの長さの乗算値
＝d2*d3*cosθ/d2*d3
＝cosθ                                          （式４）
文書と単語間及び文書間の類似度も単語間と同様に、単語及び文書の特徴ベクトルを使用して式４により算出できる。
【００５６】
図１４は、単語類似度表２７の一部を示す図である。プロセッサは、単語の類似度算出工程で、全ての単語間の類似度を、上記のコサイン類似度を求める式４により算出することができる。図１４には、「業務」に対する「改善」「可視化」「システム」「ＣＲＭ」「ＰＯＳ」等の類似度と、「システム」に対する「ＰＯＳ」「ＣＲＭ」「アプリ」「業務」「改善」等の類似度とが示される。実際には全ての単語間の類似度が算出される。
【００５７】
さらに、単語類似度表２７に、文書と単語の類似度、文書と文書の類似度も同様の方法で算出したものを追加することで、単語及び文書類似度表を生成することができる。
【００５８】
本実施の形態では、プロセッサは、ＬＳＡ対象の複数の文書をニューロンネットワークで学習して、単語及び文書の特徴ベクトルの表を生成する。したがって、生成された単語及び文書の特徴ベクトルの表は、ＬＳＡ対象の複数の文書に特有の単語間の出現の共起性に基づいてその類似度を求めることができるようにカスタマイズされる。したがって、プロセッサは、ＬＳＡの対象が特殊な分野の複数の文書や、新しい分野であるため新しい単語が含まれる複数の文書でも、それぞれに最適な単語間の出現の共起性に基づく単語及び文書の特徴ベクトルの表を生成することができる。
【００５９】
［二次元マッピング工程Ｓ１４及びクラスタリング工程Ｓ１５］
図１５は、二次元マッピング工程とクラスタリング工程のフローチャート図である。まず、プロセッサは、LSAプログラムを実行して、二次元マッピング（S14）とクラスタリング（S151-S153）を行う。
【００６０】
図１６は、二次元マッピング工程のフローチャート図である。プロセッサは、文書ベクトル表２３と新軸・重み表２５を参照して、文書ベクトル表２３内の全ての文書について(S141)、文書ベクトルの単語軸の空間から、第１、第２主成分の軸１，２による二次元空間に変換する(S142)。この変換の計算は、前述した式１，２により行われる。式１，２は、一般化すると以下の式３のとおりである。
文書Ａの軸Ｋでの値＝Σi=1-n（文書Ａの単語iの重み×軸Ｋの単語ｉの重み（負荷量））
（式３）
このように、軸・重み表２５の軸とその単語の重みは、第１、第２主成分の軸１，２の位置を計算する計算式を定義するものである。
【００６１】
さらに、プロセッサは、第１、第２主成分の軸１，２の空間に変換された文書を、軸１，２の二次元空間にマッピングした二次元マップ（１）28_1を生成する(S143)。
【００６２】
図１７は、上記の変換工程S142での文書の２つの軸１，２上の値の計算を説明する図である。図１７には、文書ベクトル表23と、軸・重み表25とが示される。そして、文書Ａのベクトルは、文書ベクトル表23の1列目に示される単語（業務、システム．．．）の重み（業務a、システムａ...）を有する。一方、軸・重み表25では、軸１の単語（業務、可視化…）の重み（業務１、可視化１…）と、軸２の単語（業務、改善、ナレッジ…）の重み（業務２、改善２、ナレッジ２…）とが示される。
【００６３】
そこで、文書Ａについての軸１の値と、軸２の値は、図１７に示されるとおりであり、上記の式３により算出される。その結果、文書Ａについて軸１の値は0.987、軸２の値は0.876がそれぞれ算出される。
【００６４】
図１８は、軸１，２の二次元空間内に文書をマッピングした二次元マップ（１）の例を示す図である。すなわち、横軸が軸１（第１主成分軸）、縦軸が軸２（第２主成分軸）に対応し、文書Ａ，Ｂ，Ｃなどが式３により求めた軸１，２の値に基づいてマッピングされている。そして、軸1、軸２の意味を看者に示すために、軸１、軸２に、それぞれの軸の単語とその重みを示すラベルＬ１，Ｌ２が表示される。
【００６５】
なお、文書の軸上の値が大きいことは、その文書ベクトルが軸と相関性が高く、文書が軸の意味または特徴を強く有していることを意味する。したがって、マッピングされた文書の軸の値が大きい（または小さい）場合は、その軸の意味または特徴を強く（または弱く）持つことを意味する。図１７の例では、文書Ｂは軸１の意味や特徴を強く持ち、文書Ｃは軸１、２の意味や特徴をあまり強く持たず、何か別の主成分軸の特徴を強く持つ可能性があると一般的に言える。
【００６６】
図１５に戻り、二次元マップ内にマッピングされた複数の文書をクラスタリングする処理を説明する。図１８の二次元マップ（１）内には複数の文書がいくつかの領域に近接してマッピングされている。そこで、複数の文書の類似度に基づいてクラスタリングすることで、複数の文書を複数のクラスタ内に示すことで、複数の文書の特徴を看者に更にわかりやすく可視化できる。
【００６７】
そこで、プロセッサは、まず、互いに類似する文書を同じクラスタに属するようにクラスタリング（以下クラスタリング（１）と称する）する(S151)。このクラスタリング（１）は様々な手法が提案されているが、例えば、ｋ平均法により次の手順で行う。
（１）全文書をｋ個のクラスタにランダムに割り当てる。
（２）全文書について、文書と最も近い中心（又は重心）を持つクラスタに割り当てなおす。
（３）前記（２）を繰り返し、クラスタの変更が閾値以下になれば終了する。
【００６８】
上記の（２）におけるクラスタの中心または重心は、クラスタに属する全文書の特徴ベクトルの平均値を利用する。また、文書と最も近い中心または重心を持つクラスタのサーチでは、文書との類似度が最も高い中心または重心を持つクラスタを探す。
【００６９】
図１９は、クラスタリング（１）を行った二次元マップ（２）の一例を示す図である。この二次元マップ（２）では、軸１の正の領域にクラスタ１が、第２象限内にクラスタ３が、そして、第３象限内にクラスタ２が生成されている。
【００７０】
次に、プロセッサは、各クラスタの意味や特徴を表示するために、各クラスタの特徴ベクトルを算出する（S152）。各クラスタの特徴ベクトルは、前述のクラスタの中心または重心の特徴ベクトルの算出と同じである。例えば、クラスタ１に文書Ａ、Ｂが含まれている場合、そのクラスタ１の特徴ベクトルは、文書Ａ，Ｂの特徴ベクトルの各成分の平均値を有するベクトルとなる。
【００７１】
そして、プロセッサは、各クラスタの特徴ベクトルと類似度が高い単語を検索し、各クラスタのラベルに類似度が高い順に単語とその類似度を並べて表示する(S153)。この類似度は、前述のコサイン類似度を利用する。例えば、クラスタ１の特徴ベクトルと類似度が高い単語として、「業務」（類似度0.546）「可視化」(類似度0.467)「CRM」（類似度0.245）が検出されたとすると、クラスタ１のラベルには、これらの単語とその類似度（単語の重み）が表示される。上記の工程S151,S152はクラスタリング（２）と称する。
【００７２】
図２０は、クラスタリング（２）後の二次元マップ（３）の一例を示す図である。各クラスタ１，２，３のラベルL11,L12,L13に、各クラスタの特徴ベクトルに類似する単語とその類似度が、類似度が大きい順に表示されている。また、二次元マップの軸１，２に対するラベルL1,L2も同様に表示されている。これらの軸１，２のラベルと、クラスタ１，２，３のラベルを表示することで、各文書の意味や特徴を看者にわかりやすく伝えることができる。
【００７３】
［広域単語リスト生成工程S16］
図２０に示した二次元マップ（３）の各クラスタのラベルL11,L12,L13に示された単語は、「業務」「可視化」「システム」などが重複している。このように複数のクラスタのラベル内の単語に重複があると、看者は各クラスタの意味や特徴の違いを把握しにくくなる。そこで、本実施の形態では、各クラスタの意味や特徴をよりわかりやすくするために、プロセッサは、複数のクラスタが重複して有する単語を広域単語としてリストアップし（広域単語リスト生成工程）、各クラスタのラベルの単語から広域単語を除外する（再クラスタリング（１））。更に、好ましくは、広域単語リストの単語に類似する文書を包含する広域単語領域を、各クラスタに重ねて表示する（再クラスタリング（２））。
【００７４】
図２１は、広域単語リスト生成工程S16のフローチャートを示す図である。まず、プロセッサは、各クラスタの特徴ベクトル（中心または重心の特徴ベクトル）と類似度が大きい単語を数個、クラスタの意味として選択する（S161）。リスト29_0に示されるように、各クラスタの選択された単語のリストが生成される。このリスト29_0によれば、クラスタ１の単語として「業務」「可視化」「CRM」が選択される。クラスタ２，３も図示されるとおりである。
【００７５】
次にプロセッサは、全クラスタの単語をクラスタ数が多い順に数個、広域単語として選択し、広域単語リスト29_1を生成する。リスト29_0によれば、「業務」が３クラスタで、「可視化」と「システム」が２クラスタで、「改善」「CRM」がそれぞれ１クラスタでそれぞれ選択されている。そこで、クラスタ数が多い３つの単語が選択されて、広域単語リスト29_1が生成される。図２１に示される広域単語リスト29_1は、「業務」「可視化」「システム」を有する。
【００７６】
そして、プロセッサは、広域単語リスト内に特徴が非類似の単語が含まれていればその単語を除外する（S163）。具体的には、プロセッサは、広域単語リストの先頭の単語「業務」に注目し、２番目以降の単語で、先頭の単語に類似していない単語を探し、広域単語リストから除外する。類似度は、単語「業務」と「可視化」の類似度が0.456、「業務」と「システム」の類似度が0.345であり、「可視化」は類似度が閾値0.4以上であるが、「システム」は類似度が閾値未満である。そこで、図２１の広域単語リスト29_2では、「システム」が除外され「業務」「可視化」に減らされている。これにより、広域単語リスト29_2は、類似度が閾値以上の単語だけを有することになり、広域単語領域の意味または特徴を看者にわかりやすく伝えることができる。
【００７７】
［再クラスタリング工程S17］
［再クラスタリング（１）］
次に、プロセッサは、LSAプログラムを実行して、広域単語リストに基づいて再クラスタリング工程S17を行う。
【００７８】
図２２は、再クラスタリング工程Ｓ１７のフローチャート図である。広域単語リストは、各クラスタの特徴ベクトルと類似度が高い単語のうち、多数のクラスタに含まれる単語のリストである。したがって、広域単語は、複数のクラスタで共通する意味または特徴を表している。そこで、プロセッサは、各クラスタから広域単語リストの単語を除外して二次元マップ30_1を生成する（S171）。これにより、複数のクラスタに共通する意味または特徴を各クラスタから除外して、各クラスタに固有の意味または特徴を強調して表示することができ、クラスタの意味や特徴の違いが看者に分かりやすくなる。
【００７９】
ここで、各クラスタの単語から広域単語リストの単語を除外して二次元マップを生成する処理として、
（１）図２０の二次元マップ（３）の各クラスタのラベルから広域単語を除去する処理と、
（２）図３の文書・単語表２２から広域単語を除去し、LSAと二次元マッピングとクラスタリンツを再度行う処理と、
がある。以下の説明では、上記（１）の処理を例にして説明する。
【００８０】
図２３は、図２０の二次元マップ（３）の各クラスタのラベルの単語から広域単語を除外した二次元マップ（４）30_1の例を示す図である。この二次元マップ（４）では、図２０の二次元マップ（３）と比較すると、クラスタ１のラベルL11の単語から広域単語である「業務」「可視化」が除外され、クラスタ２のラベルL12の単語から広域単語の「業務」が除外され、クラスタ３のラベルL13の単語から広域単語の「可視化」が除外されている。
【００８１】
このように、各クラスタのラベルの単語から広域単語を除外することで、複数のクラスタで共通して有する単語が除外されているので、看者にとって、各クラスタのラベルの単語から各クラスタの意味や特徴の区別が容易になる。
【００８２】
［再クラスタリング（２）］
図２３では、各クラスタの単語から複数のクラスタで共通する広域単語が除かれているので、その広域単語の情報が二次元マップから失われている。そこで、変形例として、プロセッサは、再クラスタリング工程（２）（S172, S173）を実行する。再クラスタリング工程（２）では、プロセッサは、広域単語リストの単語に類似する文書を選択し（S172）、選択した文書を含む領域を広域単語領域として二次元マップ（５）30_2に表示する（S173）。
【００８３】
再クラスタリング工程（２）の工程S172では、プロセッサは、単語及び文書の特徴ベクトルに基づいて、広域単語リストの全ての単語と所定の基準値以上の類似度を有する文書を選択する。広域単語リストの単語は「業務」と「可視化」である。そこで、図１１の文書Ａを例にして説明すると、文書Ａと広域単語「業務」及び「可視化」のコサイン類似度を式４により計算すると以下のとおりである。
文書Ａと「業務」のコサイン類似度＝0.456＞0.4
文書Ａと「可視化」のコサイン類似度＝0.467＞0.4
したがって、文書Ａは広域単語リストの全単語それぞれと類似度が基準値0.4以上であるので、文書Ａが選択される。他の文書についても上記と同様のコサイン類似度を計算し、全ての広域単語と類似度が基準値以上であるか否か判定し、判定が真であればその文書が選択される。広域単語領域は、広域単語リストの全単語の特徴を有する領域である。したがって、広域単語領域に含められる文書は、全ての広域単語と類似度が基準値より高い必要がある。
【００８４】
さらに、再クラスタリング工程（２）の工程S173では、プロセッサは、広域単語と類似度が高い文書を含む領域を広域単語領域として二次元マップ（５）に表示する。
【００８５】
図２４は、再クラスタリング（２）を行った後の二次元マップ（５）の例を示す図である。この例では、ラベルL_Wで示される広域単語領域が、二次元平面にマッピングされた複数の文書のうち文書Ａ，Ｂを含む一部の文書を有する。そして、広域単語領域のラベルL_Wには広域単語領域に対応する広域単語「業務」「可視化」が表示される。
【００８６】
図２４の二次元マップ（５）は、各クラスタのラベルL11,L12,L13から広域単語が除外されているが、その広域単語と類似性の高い領域が広域単語領域として表示され、看者は、各クラスタの単語から除外された広域単語の領域を確認することができる。つまり、看者は、各クラスタ１，２，３のうち、広域単語領域と重複する領域には広域単語「業務」「可視化」の意味または特徴が含まれていることを認識することができる。
【００８７】
以上のとおり、本実施の形態によれば、LSAにより複数の文書を二次元平面にマッピングした後、互いに類似する文書をそれぞれ別のクラスタに対応させて二次元平面に表示する。そして、各クラスタの特徴ベクトルと類似度が高い単語を各クラスタの意味または特徴を表す情報として各クラスタのラベルに表示する（図２０の二次元マップ（３））。この場合、複数のクラスタにまたがる共通の単語が各クラスタのラベルに表示すると、各クラスタの意味や特徴を把握する場合、クラスタ間の差が分かりにくくなる。
【００８８】
そこで、第1に、共通の単語を広域単語として各クラスタの単語から除外して、各クラスタの意味付を容易にする。第２に、広域単語は必ずしも全ての文書に影響を与えるわけではないので、広域単語が強く影響する範囲を広域単語と類似度の高い文書を含む領域（広域単語領域）として二次元マップに表示して、広域単語と強く関連する領域を明示する。これにより、各クラスタのどの領域が広域単語と強く関連する領域かを容易に把握することができる。
【００８９】
以上の実施の形態をまとめると，次の付記のとおりである。
【００９０】
（付記１）
複数の単語をそれぞれ含む複数の文書に対して潜在意味解析を行い、前記複数の文書の所定の特徴と相関する複数の軸と、前記複数の軸それぞれが有する前記複数の文書の説明力の大きさを示す軸の重要度と、前記複数の軸それぞれに対する複数の単語の重みとを生成し、
前記複数の軸のうち前記軸の重要度が高いものからＮ個の軸を選択し、前記複数の文書に含まれる単語の重みと前記Ｎ個の軸それぞれに対する複数の単語の重みとに基づいて、前記Ｎ個の軸の空間に前記複数の文書をマッピングして第１のＮ次元マップを生成し、
前記複数の文書に含まれる複数の単語と前記複数の文書の特徴ベクトルを生成し、
前記第１のＮ次元マップにマッピングされた複数の文書のうち、前記特徴ベクトルによる類似度が高い類似文書どうしを、複数のクラスタそれぞれに対応付け、
前記複数のクラスタそれぞれの特徴ベクトルと類似度が相対的に高いクラスタ所属単語のうち、前記複数のクラスタの少なくとも一部の複数のクラスタに属する単語を、広域単語と特定し、
前記クラスタ所属単語から、前記広域単語を除外して、前記複数のクラスタの意味を示す単語として選択する、
処理をコンピュータに実行させるクラスタリングプログラム。
【００９１】
（付記２）
前記処理は、更に、
前記第１のＮ次元マップにマッピングされた複数の文書のうち、前記広域単語との類似度が基準値以上の文書を含む領域を、広域単語領域として選択して、前記第１のＮ次元マップに表示することを有する、付記１に記載のクラスタリングプログラム。
【００９２】
(付記３)
前記処理は、更に、
前記第１のＮ次元マップに、前記複数のクラスタを、前記クラスタの意味を示す単語を表示するクラスタのラベルと共に、表示することを有する、付記１または２に記載のクラスタリングプログラム。
【００９３】
（付記４）
前記潜在意味解析を行うことは、
前記複数の軸は前記複数の文書の分散に対応し、前記軸上における前記複数の文書の分散が大きい順に前記複数の軸を生成し、前記軸の重要度は前記分散が大きいほど大きく、前記単語の重みは前記複数の軸それぞれとの相関が強いほど重い、付記１に記載のクラスタリングプログラム。
【００９４】
（付記５）
前記潜在意味解析を行うことは、
前記複数の文書に対して、前記複数の文書における前記複数の単語の出現度合に基づく単語の重みを有する文書ベクトル表を生成し、
前記文書ベクトル表について主成分分析を行って、複数の主成分の固有値を前記軸の重要度に対応付け、前記主成分の単語の重みに主成分負荷量を対応付け、前記軸の重要度が大きいものから順に前記複数の軸を選択する、付記４に記載のクラスタリングプログラム。
【００９５】
（付記６）
前記特徴ベクトルを生成することは、
前記複数の文書における単語の出現の共起性が高いほど単語間の類似度が高くなるよう前記特徴ベクトルを生成することを有する、付記１に記載のクラスタリングプログラム。
【００９６】
（付記７）
前記特徴ベクトルを生成することは、
前記複数の文書に含まれる重複しない複数の単語の有無を入力層に入力し、
前記入力層に入力された単語と前記文書内で出現が共起する単語の教師データでの出現共起確率を出力層に入力し、
前記入力層と出力層との間の隠れ層が、前記入力層のノードの値に、前記重複しない複数の単語を表記する複数の特徴を成分とする単語の特徴ベクトルの前記入力層の単語の前記特徴の重みを乗算した値を入力し、前記隠れ層は前記単語の特徴ベクトルの特徴数のノードを有し、
前記出力層が、前記隠れ層のノードの値に、前記出力層の単語の前記特徴の重みを乗算した値を入力し、前記入力した値から所定の関数に基づいて前記共起する単語の出現共起確率を生成し、
前記入力層の単語の特徴ベクトルと前記出力層の単語の特徴ベクトルとの内積が前記教師データでの出現共起確率に対応するよう前記単語の特徴ベクトルを学習する、付記６に記載のクラスタリングプログラム。
【００９７】
（付記８）
前記Ｎ個の軸は、２個の軸である、付記１または２に記載の潜在意味解析結果の軸調整プログラム。
【００９８】
（付記９)
前記処理は、更に、
前記複数のクラスタそれぞれに対応付けられた文書の特徴ベクトルの各成分の平均値を、前記複数のクラスタの特徴ベクトルの各成分として生成することを有する、付記１に記載のクラスタリングプログラム。
【００９９】
（付記１０）
複数の単語をそれぞれ含む複数の文書に対して潜在意味解析を行い、前記複数の文書の所定の特徴と相関する複数の軸と、前記複数の軸それぞれが有する前記複数の文書の説明力の大きさを示す軸の重要度と、前記複数の軸それぞれに対する複数の単語の重みとを生成し、
前記複数の軸のうち前記軸の重要度が高いものからＮ個の軸を選択し、前記複数の文書に含まれる単語の重みと前記Ｎ個の軸それぞれに対する複数の単語の重みとに基づいて、前記Ｎ個の軸の空間に前記複数の文書をマッピングして第１のＮ次元マップを生成し、
前記複数の文書に含まれる複数の単語と前記複数の文書の特徴ベクトルを生成し、
前記第１のＮ次元マップにマッピングされた複数の文書のうち、前記特徴ベクトルによる類似度が高い類似文書どうしを、複数のクラスタそれぞれに対応付け、
前記複数のクラスタそれぞれの特徴ベクトルと類似度が相対的に高いクラスタ所属単語のうち、前記複数のクラスタの少なくとも一部の複数のクラスタに属する単語を、広域単語と特定し、
前記クラスタ所属単語から、前記広域単語を除外して、前記複数のクラスタの意味を示す単語として選択する、
処理をコンピュータに実行させるクラスタリング方法。
【０１００】
（付記１１）
複数の単語をそれぞれ含む複数の文書に対して潜在意味解析を行い、前記複数の文書の所定の特徴と相関する複数の軸と、前記複数の軸それぞれが有する前記複数の文書の説明力の大きさを示す軸の重要度と、前記複数の軸それぞれに対する複数の単語の重みとを生成する潜在意味解析手段と、
前記複数の軸のうち前記軸の重要度が高いものからＮ個の軸を選択し、前記複数の文書に含まれる単語の重みと前記Ｎ個の軸それぞれに対する複数の単語の重みとに基づいて、前記Ｎ個の軸の空間に前記複数の文書をマッピングして第１のＮ次元マップを生成するＮ次元マップ生成手段と、
前記複数の文書に含まれる複数の単語と前記複数の文書の特徴ベクトルを生成する特徴ベクトル生成手段と、
前記第１のＮ次元マップにマッピングされた複数の文書のうち、前記特徴ベクトルによる類似度が高い類似文書どうしを、複数のクラスタそれぞれに対応付けるクラスタリング手段と、
前記複数のクラスタそれぞれの特徴ベクトルと類似度が相対的に高いクラスタ所属単語のうち、前記複数のクラスタの少なくとも一部の複数のクラスタに属する単語を、広域単語と特定する広域単語特定手段と、
前記クラスタ所属単語から、前記広域単語を除外して、前記複数のクラスタの意味を示す単語として選択するクラスタ単語選択手段と、
を有するクラスタリング装置。
【符号の説明】
【０１０１】
１：潜在意味解析装置
２０：潜在意味解析プログラム
２１：文書データ
２２：文書・単語表
２３：文書ベクトル表
２４：主成分分析結果表
２５：軸・重み表
２６：単語の特徴ベクトル表
２７：単語類似度表
２８：二次元マップ
２９：広域単語リスト
３０：再クラスタリング後の二次元マップ
【図１】
2019159920.tif 000003
【図２】
2019159920.tif 000004
【図３】
2019159920.tif 000005
【図４】
2019159920.tif 000006
【図５】
2019159920.tif 000007
【図６】
2019159920.tif 000008
【図７】
2019159920.tif 000009
【図８】
2019159920.tif 000010
【図９】
2019159920.tif 000011
【図１０】
2019159920.tif 000012
【図１１】
2019159920.tif 000013
【図１２】
2019159920.tif 000014
【図１３】
2019159920.tif 000015
【図１４】
2019159920.tif 000016
【図１５】
2019159920.tif 000017
【図１６】
2019159920.tif 000018
【図１７】
2019159920.tif 000019
【図１８】
2019159920.tif 000020
【図１９】
2019159920.tif 000021
【図２０】
2019159920.tif 000022
【図２１】
2019159920.tif 000023
【図２２】
2019159920.tif 000024
【図２３】
2019159920.tif 000025
【図２４】
2019159920.tif 000026