(57)【要約】【課題】ツリー構造におけるノード位置を示す文字列データを含む文書データ群の関係を適切に解析できるようにする。【解決手段】解析対象となる文書データ群を取得する文書データ群取得部と、ツリー構造におけるノード位置を示す文字列データを前記各文書データから取得する文字列データ取得部と、前記各文字列データから、その一部を切り出すことにより、該文字列データが示すノード位置よりもルート側のノード位置を示す文字列データを取得する部分文字列データ取得部と、前記文字列データ取得部および前記部分文字列データ取得部により取得される各文字列データの有無を示す値をそれぞれ別個の成分として有する特徴ベクトルを、前記各文書データについて生成する特徴ベクトル生成部と、を含む。【選択図】図３
2009230270.tif 000002
【特許請求の範囲】
【請求項１】
解析対象となる文書データ群を取得する文書データ群取得手段と、
各ノードに語が対応づけられたツリー構造におけるノード位置を示す文字列データであって、該ノード位置と該ノード位置よりもルート側のノード位置との間のノードのそれぞれに対応づけられた語を順に並べてなる文字列データを、前記各文書データから取得する文字列データ取得手段と、
前記各文字列データから、その一部を切り出すことにより、該文字列データが示すノード位置よりもルート側のノード位置を示す文字列データを少なくとも１つ取得する部分文字列データ取得手段と、
前記文字列データ取得手段により取得される各文字列データの有無を示す値、前記部分文字列データ取得手段により取得される各文字列データの有無を示す値、をそれぞれ別個の成分として有する特徴ベクトルを、前記各文書データについて生成する特徴ベクトル生成手段と、
を含むことを特徴とするデータ解析装置。
【請求項２】
請求項１に記載のデータ解析装置において、
前記文字列データ取得手段は、前記各文書データにおける所定書式で記述された部分から前記文字列データを取得する、
ことを特徴とするデータ解析装置。
【請求項３】
請求項１又は２に記載のデータ解析装置において、
前記各文書データについて生成される特徴ベクトルに基づいて、前記各文書データの関係を示す画像を生成し、該画像を出力する関係画像出力手段をさらに含む、
ことを特徴とするデータ解析装置。
【請求項４】
請求項１又は２に記載のデータ解析装置において、
前記各文書データについて生成される特徴ベクトルに基づいて、前記各文書データの関係を評価する評価手段をさらに含む、
ことを特徴とするデータ解析装置。
【請求項５】
解析対象となる文書データ群を取得する文書データ群取得手段、
各ノードに語が対応づけられたツリー構造におけるノード位置を示す文字列データであって、該ノード位置と該ノード位置よりもルート側のノード位置との間のノードのそれぞれに対応づけられた語を順に並べてなる文字列データを、前記各文書データから取得する文字列データ取得手段、
前記各文字列データから、その一部を切り出すことにより、該文字列データが示すノード位置よりもルート側のノード位置を示す文字列データを少なくとも１つ取得する部分文字列データ取得手段、及び
前記文字列データ取得手段により取得される各文字列データの有無を示す値、前記部分文字列データ取得手段により取得される各文字列データの有無を示す値、をそれぞれ別個の成分として有する特徴ベクトルを、前記各文書データについて生成する特徴ベクトル生成手段
としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデータ解析装置及びプログラムに関する。
【背景技術】
【０００２】
近年、情報通信環境の発展に伴い、企業や教育機関といった多くの団体において、紙文書などのドキュメントの電子化が盛んに行われている。その結果、大量の電子ドキュメントがデータベースとしてサーバなどのコンピュータに蓄積されており、このように大量に蓄積された電子ドキュメントの中から価値あるものを見つけ出すことや、それらを体系的に理解することは、従来に比べて益々困難になっている。そこで、このような膨大な量の電子ドキュメントの検索や把握を可能とする技術が求められている。
【０００３】
この点、下記特許文献１及び特許文献２には、電子ドキュメントからキーワードを抽出して、該キーワードの出現頻度を示す値を成分とするベクトルを生成し、該ベクトルを当該電子ドキュメントの特徴ベクトルとする手法が開示されている。このようにして決定された特徴ベクトルは例えば主成分分析などの公知技術により処理されて、これにより電子ドキュメントの相互関係が可視化され、ユーザに提示される。
【特許文献１】特開２００５−１４９３４６号公報
【特許文献２】特開平７−１１４５７２号公報
【特許文献３】特開２００３−１４１１６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、電子ドキュメントから抽出される文字列データ、或いは電子ドキュメントに予め付与される文字列データには、ツリー構造におけるノード位置を示すものがある。例えば、「東京都渋谷区神南Ｘ−Ｙ−Ｚ」のような住所を示す文字列データがそうである。すなわち、「東京都」の下には「渋谷区」の他に「新宿区」や「八王子市」などが属しており、また、「渋谷区」の下には「神南」の他に「松涛」などが属している。さらに、「神南」の下には「Ｘ」丁目の他にも多くの地区が属している。このように、住所体系はツリー構造をなし、また個々の住所は該ツリー構造における１つのノードに対応していると言える。ここで、「東京都」、「渋谷区」、「神南」、「Ｘ」などは、それぞれツリー構造におけるいずれかのノードに対応する語である。そして、住所表記は、各ノードに対応する語を順に並べた構造を有している。住所を示す文字列データと同様に、「Ｇ０６Ｆ  １７／３０」のような国際特許分類など、各種分類を示す文字列データもまた、当該分類体系を示すツリー構造における１つのノード位置を示していると言える。
【０００５】
こうしたツリー構造におけるノード位置を示す文字列データを用いて、電子ドキュメントの特徴ベクトルを決定する場合、当該電子ドキュメントが文字列データ全体を含むか否かを示す値をその一成分とすることが考えられる。しかしながら、そうすると例えば「東京都渋谷区神南Ｘ−Ｙ−Ｚ」と「東京都渋谷区神南Ａ−Ｂ−Ｃ」とは近いにも拘わらず、それらを含む電子ドキュメントは全く別の特徴を有するものとして評価されてしまう。そこで、「東京都」、「渋谷区」、「神南」、「Ｘ」、「Ｙ」、「Ｚ」のように分解して、それらを含むか否かの値をそれぞれ電子ドキュメントの特徴ベクトルの別個独立した成分として扱うことが考えられる。しかしながら、そのようにすると「東京都渋谷区神南Ｘ−Ｙ−Ｚ」を含む電子ドキュメントと「奈良県斑鳩町神南Ｘ−Ｙ−Ｚ」を含む電子ドキュメントとが、いずれも「神南」を含むとして、一定の類似性を有すると評価されてしまうことになる。
【０００６】
本発明は上記課題に鑑みてなされたものであって、その目的は、ツリー構造におけるノード位置を示す文字列データを含む文書データ群の関係を適切に解析することができるデータ解析装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
請求項１の発明はデータ解析装置であって、解析対象となる文書データ群を取得する文書データ群取得手段と、各ノードに語が対応づけられたツリー構造におけるノード位置を示す文字列データであって、該ノード位置と該ノード位置よりもルート側のノード位置との間のノードのそれぞれに対応づけられた語を順に並べてなる文字列データを、前記各文書データから取得する文字列データ取得手段と、前記各文字列データから、その一部を切り出すことにより、該文字列データが示すノード位置よりもルート側のノード位置を示す文字列データを少なくとも１つ取得する部分文字列データ取得手段と、前記文字列データ取得手段により取得される各文字列データの有無を示す値、前記部分文字列データ取得手段により取得される各文字列データの有無を示す値、をそれぞれ別個の成分として有する特徴ベクトルを、前記各文書データについて生成する特徴ベクトル生成手段と、を含むことを特徴とする。
【０００８】
請求項２の発明は請求項１の発明において、前記文字列データ取得手段は、前記各文書データにおける所定書式で記述された部分から前記文字列データを取得する、ことを特徴とする。
【０００９】
請求項３の発明は請求項１又は２の発明において、前記各文書データについて生成される特徴ベクトルに基づいて、前記各文書データの関係を示す画像を生成し、該画像を出力する関係画像出力手段をさらに含む、ことを特徴とする。
【００１０】
請求項４の発明は請求項１又は２の発明において、前記各文書データについて生成される特徴ベクトルに基づいて、前記各文書データの関係を評価する評価手段をさらに含む、ことを特徴とする。
【００１１】
請求項５の発明は、解析対象となる文書データ群を取得する文書データ群取得手段、各ノードに語が対応づけられたツリー構造におけるノード位置を示す文字列データであって、該ノード位置と該ノード位置よりもルート側のノード位置との間のノードのそれぞれに対応づけられた語を順に並べてなる文字列データを、前記各文書データから取得する文字列データ取得手段、前記各文字列データから、その一部を切り出すことにより、該文字列データが示すノード位置よりもルート側のノード位置を示す文字列データを少なくとも１つ取得する部分文字列データ取得手段、及び前記文字列データ取得手段により取得される各文字列データの有無を示す値、前記部分文字列データ取得手段により取得される各文字列データの有無を示す値、をそれぞれ別個の成分として有する特徴ベクトルを、前記各文書データについて生成する特徴ベクトル生成手段としてコンピュータを機能させるためのプログラムである。
【発明の効果】
【００１２】
請求項１，５の発明によれば、ツリー構造におけるノード位置を示す文字列データを含む各文書データの関係を適切に解析することができる。
【００１３】
請求項２の発明によれば、ツリー構造におけるノード位置を示す文字列データとして、文書データにおける所定書式で記述された部分を用いることができる。
【００１４】
請求項３の発明によれば、ツリー構造におけるノード位置を示す文字列データを含む各文書データの関係を適切にあらわす画像として利用者に提示することができる。
【００１５】
請求項４の発明によれば、ツリー構造におけるノード位置を示す文字列データを含む各文書データの関係を適切に評価することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施形態について図面に基づき詳細に説明する。
【００１７】
［第１の実施形態］
本実施形態は、ツリー構造におけるノード位置を示す文字列として住所を用いる例である。図１は、本実施形態にかかるデータ解析装置１の構成図の一例である、同図に示すように、データ解析装置１は、ＣＰＵ１１、記憶部１２、入出力部１３を含んでいる。
【００１８】
ＣＰＵ１１は、記憶部１２に格納されているプログラムに従って動作する。なお、上記プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の情報記録媒体に格納されて提供されるものであってもよいし、インターネット等のネットワークを介して提供されるものであってもよい。
【００１９】
記憶部１２は、ＲＡＭやＲＯＭ等のメモリ素子およびハードディスクドライブ等によって構成されている。記憶部１２は、上記プログラムを格納する。また、記憶部１２は、各部から入力される情報や演算結果を格納する。
【００２０】
入出力部１３は、外部のコンピュータとの通信手段、ＤＶＤ−ＲＯＭ等のリムーバブルメディアや利用者からの指示を受け入れるキーボードやマウス、モニタなどの利用者への表示出力手段等で構成されている。入出力部１３は、ＣＰＵ１１の制御に基づいて、外部の情報をＣＰＵ１１や記憶部１２に入力し、ＣＰＵ１１の処理結果を外部に出力する。
【００２１】
図２は、データ解析装置１が実現する機能を示す機能ブロック図である。データ解析装置１は、機能的に文書データ群取得部２１と、文字列データ取得部２２と、部分文字列データ取得部２３と、特徴ベクトル生成部２４と、関係画像出力部２５と、を含む。これらの機能はＣＰＵ１１が記憶部１２に格納されたプログラムを実行し、入出力部１３を制御することによって実現される。
【００２２】
文書データ群取得部２１は、ＣＰＵ１１、記憶部１２および入出力部１３を中心として実現される。文書データ群取得部２１は、入出力部１３より解析対象となる文書データ群を入力し、その情報を記憶部１２に格納する。
【００２３】
図３は文書データ群およびデータ解析装置で処置した内容の一例を示す図である。表の各行は、それぞれ文書データ群取得部２１で入力される文書データ、後述する文字列データ取得部２２の処理結果の文字列データ、そして後述する部分文字列データ取得部２３の処理過程で認識される抽出ノードおよび部分文字列データ取得部２３の処理結果である部分文字列データを示す。文書データ群取得部２１は、ツリー構造におけるノード位置を示す文字列データ（以下、階層構造文字列データと呼ぶ）を含む文書データを入出力部１３より取得し、そのデータを記憶部１２に格納する。階層構造文字列データは本実施形態では住所であり、その一例は図３の「文書データ」行に記載されている。なお、文書データは、文章などの文字列のみで構成されるとは限らず、ＸＭＬ文書のように書式に関する情報や書誌事項等を付加したものも含まれる。また図３においては、文書データ群に含まれる文書の数は３つであるがその数は複数であればいくつでもよい。また、上記文書データは、ＤＶＤ−ＲＯＭ等の情報記録媒体に格納されているものであってもよいし、インターネット等のネットワーク上に存在するものでもよい。
【００２４】
文字列データ取得部２２は、ＣＰＵ１１を中心として実現される。文字列データ取得部２２は、記憶部１２に格納された文書データより階層構造文字列データを取得し、記憶部１２に格納する。
【００２５】
図４は、本実施形態における文字列データ取得部２２の処理フローの一例を示す図である。はじめに、文字列データ取得部２２は記憶部１２に格納された文書データを取得する（Ｓ３１）。そして文書データから未処理の階層構造文字列データ（本実施形態では文章中の住所）が記載されている箇所を特定しその文字列データを取得する（Ｓ３２）。ここで、文字列データ取得部２２は、例えば文書データ内の文章中に所定書式で記載された文字列（例えば「住所：」という文字列の直後からその行の終わりまで）を取得する。
【００２６】
図５は、住所におけるツリー構造とノードの関係の一例を示す図である。ツリーの階層が浅い側（ルート側）から、「東京都」、「渋谷区」、「神南」、「Ｘ」、「Ｙ」、「Ｚ」といった語に対応するノードがツリー構造の関係を持って存在している。住所はツリー構造におけるノード位置を示す文字列データの一種であり、あるノードとそれよりルート側のノードのそれぞれに対応づけた語を一定の順序で並べることで、そのノード位置を示す文字列が構成されている。図３の表の「文字列データ」行に取得された階層構造文字列データの一例を示している。なお、階層構造文字列データは、ノード階層が解析できる順番で並んでいればよく、例えば各ノードに対応する語を左から右にノード階層が浅い順に並べた文字列であってもよいし、右から左にノード階層が浅い順に並べた文字列であってもよい。
【００２７】
次に、文字列データ取得部２２は文書内で未処理の階層構造文字列データがあるか否か判断し（Ｓ３４）、あればＳ３２から繰り返す。上記階層構造文字列データが無ければ、文書データ群取得部２１で取得した文書データ群の全ての文書データについて処理するまで、残りの文書データのうちの一つについてＳ３１から繰り返す（Ｓ３５）。文字列データ取得部２２は、上記の処理を行うことで、文書データ群から各文書データに存在する全ての階層構造文字列データ（住所）を取得する。
【００２８】
部分文字列データ取得部２３は、ＣＰＵ１１を中心として実現される。部分文字列データ取得部２３は、文字列データ取得部２２によって取得された階層構造文字列データの一部を切り出すことで、それが示すノード位置よりもルート側のノード位置を示す文字列データ（以下、部分文字列データという）を１つ以上取得し、記憶部１２に格納する。
【００２９】
図６は、本実施形態における部分文字列データ取得部２３の処理フローの一例を示す図である。はじめに、部分文字列データ取得部２３は記憶部１２に格納された階層構造文字列データを取得し（Ｓ４１）、変数ｉを１とする（Ｓ４２）。次に、ルート側の最も浅いノードからｉ番目までのノードを示す部分文字列データを階層構造文字列データから切り出す（Ｓ４３）。
【００３０】
部分文字列データを階層構造文字列データから切り出す方法としては、例えば住所の記述ルールに基づいて階層構造文字列データから各階層の各ノードに対応する語をいったん抽出し、それを浅い階層からｉ番目の階層まで順に並べるとよい。ノードを抽出する方法としては、例えば「都」、「道」、「府」、「県」、「市」、「区」、「町」、「村」などのノードに対応する語の終端を示す文字を用いてその語を抽出する方法がある。また、さらに上記終端を示す文字が終端でない位置に含まれるような例外的な語（「四日市市」など）に対応するため予め辞書を作成し、上記の方法と辞書とのマッチングを組み合わせて抽出してもよい。図３の表の「抽出ノード」行にノード分解結果の例を示す。例えば文書１の階層構造文字列データ「東京都渋谷区神南Ｘ−Ｙ−Ｚ」は、「東京都」「渋谷区」「神南」「Ｘ」「Ｙ」「Ｚ」といったノードに分解される。なお、部分文字列データを階層構造文字列データから切り出す方法として、上記のノード抽出の方法を利用し、階層構造文字列データ中でｉ番目までのノード階層に対応する語が存在する箇所を判断し、その部分を階層構造文字列データから直接切り出してもよい。
【００３１】
切り出した部分文字列は、文書と対応づけて記憶部１２に格納する（Ｓ４４）。そして、例えば、全ての階層の一つ手前の階層まで部分文字列データ切り出しを行う、または所定の階層まで部分文字列データ切り出しをするなどの所定の抽出終了条件を満たさなければ（Ｓ４５）、変数ｉの値を１増やし（Ｓ４６）、Ｓ４３から繰り返す。所定の抽出終了条件を満たす場合は（Ｓ４５）、全ての階層構造文字列データについて上述の処理を行うまでＳ４１以降の処理を繰り返す（Ｓ４７）。
【００３２】
部分文字列データ取得部２３で切り出される部分文字列の例を図３の表の「部分文字列データ」行に示す。ここで、表の各要素内の一行が、一つの部分文字列をあらわしている。例えば、住所「東京都渋谷区神南Ｘ−Ｙ−Ｚ」から、「東京都」、「東京都渋谷区」、「東京都渋谷区神南」、「東京都渋谷区神南  Ｘ」、「東京都渋谷区神南  Ｘ−Ｙ」といった複数の部分文字列を生成することができる。なお、部分文字列データは全てのノードに対応する語が定まった順番で並んでいればよく、例えば各ノードに対応する語を左から右にノード階層が浅い順に並べた部分文字列であってもよいし、右から左にノード階層が浅い順に並べた部分文字列であってもよい。
【００３３】
特徴ベクトル生成部２４は、ＣＰＵ１１を中心として実現される。特徴ベクトル生成部２４は、文字列データ取得部２２と部分文字列データ取得部２３により記憶部１２に格納された階層構造文字列データと部分文字列データより特徴ベクトルを生成し、記憶部１２に格納する。
【００３４】
特徴ベクトル生成部２４が生成する特徴ベクトルについて説明する。一つの特徴ベクトルは一つの文書に対応し、その各成分は、文字列データ取得部２２と部分文字列データ取得部２３により記憶部１２に格納された階層構造文字列データと部分文字列データ（以下、この２つをあわせて特徴キーワードという）の種類にそれぞれ対応する。各成分の値は、例えば各成分に対応する特徴キーワードが文書中に出現する回数である。
【００３５】
図７は、特徴キーワードより生成された特徴ベクトルの例である。ここで、特徴キーワードとの対応を見やすくするために、図７では特徴ベクトルが表の形式で記載されている。この表は、例えば文書１の特徴ベクトルが（１，１，１，１，１，１，０，０，０，０，０，０，０，０，０，０）であることを示している。図７の表の各列は、特徴キーワードの種類の数だけ存在する。なお、もし文書１に「東京都渋谷区上原Ｘ-Ｙ」という住所（階層構造文字列データ）も含まれる場合は、文書１の特徴ベクトルの「東京都」および「東京都渋谷区」の成分の値は２となり、新たに特徴キーワード「東京都渋谷区上原」、「東京都渋谷区上原Ｘ」、「東京都渋谷区上原Ｘ-Ｙ」に対応する成分（その値は１である）が増える。
【００３６】
なお、特徴ベクトルの成分の値は、他の方法で求めても良い。例えば特徴キーワードが文書中に出現する回数によって生成したベクトルの長さを１に正規化したものを特徴ベクトルとして生成しても良いし、各文書で特徴キーワードが１回でも出現すれば成分の値を１、特徴キーワードが１回も出現しなければ成分の値を０として特徴ベクトルを生成しても良い。
【００３７】
関係画像出力部２５は、ＣＰＵ１１と入出力部１３を中心として実現される。関係画像出力部２５は、特徴ベクトル生成部２４で生成された複数の特徴ベクトルを基に各文書の関係をあらわす画像を生成し、入出力部１３を通じて画像を出力する。なお、入出力部１３はモニタなど利用者に直接画像を提示する手段に限られず、例えば画像をＪＰＥＧなどの所定のデータフォーマットに変換して、記憶部１２に格納し、外部のコンピュータとの通信手段を通じて利用者に提供してもよい。
【００３８】
図８は、本実施形態において画像出力した結果の一例を示すイメージ図である。特徴ベクトル生成部２４で生成された特徴ベクトルを画像の生成対象である２次元空間に射影している。射影の方法として、公知の主成分分析、主座標分析などの手法を用いればよい。図８に特徴ベクトル間の関係の一例を示す。この例は図７の特徴ベクトルを射影したものであるが、文書１と文書２がより類似していることが画像上にも示される。
【００３９】
［第２の実施形態］
本実施形態は、ツリー構造におけるノード位置を示す文字列として国際特許分類（以下、「特許分類」という）を用いる例である。以下では第１の実施形態との相違点を中心に記述する。本実施形態にかかるデータ解析装置１の構成は第１の実施形態と同様であり、第１の実施形態と同じく図１にその一例を示す。個々の構成要素の説明は省略する。なお当然ながら、特許分類に限らずＦターム分類など階層構造で文字列が記述されるものにも適用できる。
【００４０】
データ解析装置１が実現する機能の機能ブロック構成は第１の実施形態と同様であり、第１の実施形態と同じく図２にその一例を示す。データ解析装置１は機能的に文書データ群取得部２１と、文字列データ取得部２２と、部分文字列データ取得部２３と、特徴ベクトル生成部２４と、関係画像出力部２５と、を含む。
【００４１】
文書データ群取得部２１は、入出力部１３より文書データ群を入力し、その情報を記憶部１２に格納する。図９は文書データ群およびその処理結果の一例を示す図である。記載項目は図３と同様であるが、この例では文書データにおいて、特許分類などの書誌事項の情報が文章とは異なる領域に含まれる点が異なっている。文書データ群取得部２１は、図９の表の「文書データ」行に記述されたような階層構造文字列データ（本実施形態では特許分類）を含む文書データを入出力部１３より取得し、そのデータを記憶部１２に格納する。
【００４２】
文字列データ取得部２２は、記憶部１２に格納された文書データより階層構造文字列データを取得し、記憶部１２に格納する。文字列データ取得部２２の処理フローは第１の実施形態と同様であり、第１の実施形態と同じく図４にその一例を示す。
【００４３】
文字列データ取得部２２は記憶部１２に格納された文書データを取得する。（Ｓ３１）。そして文書データから未処理の階層構造文字列データ（本実施形態では特許分類）が記載されている箇所を特定し抜き出す（Ｓ３２）。
【００４４】
図１０は、特許分類におけるノードのツリー構造の一例を示す図である。ツリーの階層が浅い側から、複数の階層のノードが存在し、階層が深くなるにつれ分類が細分化されている。特許分類もツリー構造におけるノード位置を示す文字列データの一種であり、あるノードとそれよりルート側のノードのそれぞれに対応づけた語を一定の順序で並べてそのノード位置を示す文字列が構成されている。図９の表の「文字列データ」行に階層構造文字列データの一例を示す。
【００４５】
次に、文字列データ取得部２２は文書内で未処理の階層構造文字列データがあるか否か判断し（Ｓ３４）、あればＳ３２から繰り返す。上記文字列データが無ければ、文書データ群取得部２１で取得した文書データ群の全ての文書データについて処理するまで、残りの文書データのうちの一つについてＳ３１から繰り返す（Ｓ３５）。文字列データ取得部２２は、上記の処理を行うことで、文書データ群から各文書データに存在する全ての階層構造文字列データ（特許分類）を取得する。
【００４６】
部分文字列データ取得部２３は、第１の実施形態と同様に記憶部１２に格納された階層構造文字列データよりそれが示すノード位置よりもルート側のノード位置を示す文字列データを１つ以上取得し、記憶部１２に格納する。
【００４７】
本実施形態における部分文字列データ取得部２３の処理フローは第１の実施形態と同様であり、その一例を図６に示す。処理フローの詳細については相違点であるＳ４３の部分文字列の抽出方法の詳細について説明し、他は省略する。
【００４８】
特許分類については、先頭からの文字数やスペースやスラッシュなどの文字により階層構造が解析できるため、例えば１番目の部分文字列は先頭３文字、３番目の部分文字列は先頭からスラッシュの前までなど、予め必要なノード階層の語を抽出するルールを決めておき、そのルールに従って部分文字列を切り出す（Ｓ４３）。
【００４９】
部分文字列データ取得部２３で切り出される部分文字列の例を、図９の表の「部分文字列データ」行に示す。ここで、表の各要素内の一行が、一つの部分文字列をあらわしている。例えば、特許分類「Ｇ０６Ｆ  １７／２１」から、「Ｇ０６」、「Ｇ０６Ｆ」、「Ｇ０６Ｆ  １７」といった複数の部分文字列を生成することができる。
【００５０】
特徴ベクトル生成部２４は、文字列データ取得部２２と部分文字列データ取得部２３により記憶部１２に格納された階層構造文字列データと部分文字列データより各文書データについて特徴ベクトルを生成し、記憶部１２に格納する。特徴ベクトル生成の方法は第１の実施形態と同様である。
【００５１】
図１１は、文字列データ取得部２２と部分文字列データ取得部２３により記憶部１２に格納された階層構造文字列データと部分文字列データより生成された特徴ベクトルの例である。これらの特徴ベクトルは、図９の文字列データおよび部分文字列データ行に記載された文字列によって生成されている。
【００５２】
関係画像出力部２５は、特徴ベクトル生成部２４で生成された複数の特徴ベクトルを記憶部１２から取得し、それを基に各文書の関係をあらわす画像を生成し、入出力部１３を通じて画像を出力する。図１２は、本実施形態にかかる関係画像出力部２５の処理フローの一例である。ここで、本実施形態にかかる関係画像出力部２５は、はじめに特徴ベクトル生成部２４で得られた特徴ベクトル群を取得し（Ｓ５１）、その特徴ベクトル群をクラスタに分類する（Ｓ５２）。次に各クラスタを代表するベクトルを画像出力対象となる座標系の空間（本実施形態では２次元空間であり、以下マップ対象空間と呼ぶ）に射影し（Ｓ５３）、各クラスタに属する特徴ベクトルを代表ベクトルとの距離を保存するようにマップ対象空間に射影する（Ｓ５４）。そして、射影された情報を用いて画像を生成し出力する（Ｓ５５）。
【００５３】
Ｓ５２において、特徴ベクトルをクラスタに分類する手法としては、Ｋ−ｍｅａｎｓ法などの公知のクラスタリング手法を用いればよい。図１３は第２の実施形態において文書を分類した結果の一例を示す図である。これは、図９に示す文書データから生成された図１１の４つの特徴ベクトルを基に２つのクラスタに分類されている。文書に含まれる２つの特許分類の両方が類似している文書どうしが同じクラスタに属していることがわかる。なお従来の場合の参考として、図１４に特許分類の階層構造文字列データのみを用いて特徴ベクトルを生成し、その特徴ベクトルをクラスタリングした場合の例を示す。この場合は同一の特許分類を持つか否かは結果に影響するが、特許分類の類似性は評価されない。なお、この例では文書の数は４でありクラスタの数は２であるが、これらは任意の数であってよい。
【００５４】
Ｓ５３では、各クラスタを代表する代表ベクトルとして、例えばクラスタに属する特徴ベクトルの重心を取得し、主座標分析や主成分分析などの公知の手法を用いてその代表ベクトルをマップ対象空間上の座標値を決定する。これが代表ベクトルの射影である。
【００５５】
Ｓ５４で行う各特徴ベクトルの射影方法の一例として、ある特徴ベクトルと全ての代表ベクトル間の距離の情報に対し多次元尺度構成法を用いマップ対象空間上の座標を算出する公知の方法が存在する（James Wise A, “The Ecological Approach to Text Visualization”,JOURNAL OF THE AMERICAN SOCIETY FOR INFORMATION SCIENCE, November 1999）。この計算を全ての特徴ベクトル（文書データ）について繰り返すことで、全ての特徴ベクトル（文書データ）に対応するマップ対象空間上の座標が生成される。
【００５６】
Ｓ５５では、Ｓ５４で算出した特徴ベクトルに対応するマップ対象空間上の座標から、利用者が認識できるように描画した画像を生成し画像出力する。図１５は、第２の実施形態において画像出力した結果の一例を示す図である。本図では、黒丸がクラスタ１に属する文書を、白丸がクラスタ２に属する文書をあらわしている。画像生成を行うことで、文書データ間の関係が可視化される。本図では説明の容易のためクラスタ数、文書数ともに少ないが、どちらも複数であればよく、文書データの数が千件以上などであっても良い。なお、画像生成の方法としては、例えば図１５のように文書データに対応する座標そのものをプロットしてもよいし、ある領域内に存在する文書データの密度を濃淡で示してもよい。
【００５７】
［第３の実施形態］
本実施形態は、ツリー構造におけるノード位置を示す文字列として国際特許分類を用いるもう一つの例である。以下では第２の実施形態との相違点を中心に記述する。本実施形態にかかるデータ解析装置１の構成は第２の実施形態と同様であり、その説明は省略する。なお本実施形態においても、国際特許分類に限らずＦターム分類など階層構造で文字列が記述されるものにも適用できる。
【００５８】
図１６は、データ解析装置１が実現する機能を示す機能ブロック図である。データ解析装置１は機能的に文書データ群取得部２１と、文字列データ取得部２２と、部分文字列データ取得部２３と、特徴ベクトル生成部２４と、評価部２６と、を含む。
【００５９】
文書データ群取得部２１、文字列データ取得部２２、部分文字列データ取得部２３および特徴ベクトル生成部２４の機能の詳細は、第２の実施形態と同じであり、その説明は省略する。
【００６０】
図１１は、特徴ベクトル生成部２４より生成された特徴ベクトルの例である。この特徴ベクトルは、文書データ群取得部２１が、図９に示す文書データを取得し、文書データ群取得部２１および文字列データ取得部２２の処理を経た上で特徴ベクトル生成部２４が生成した特徴ベクトルである。上記機能は第２の実施形態と同じであるため、第２の実施形態と同じデータである図９に示す文書データが入力された結果として生成される特徴ベクトルも、第２の実施形態と同じものとなる。
【００６１】
評価部２６は、特徴ベクトル生成部２４によって各文書データについて生成された特徴ベクトルに基づいて、その各文書データの関係を評価し、その結果を記憶部１２に格納する。
【００６２】
評価部２６は、例えばクラスタリングの手法を用いて各文書データの関係を評価する。クラスタリング手法においては、各文書データに対応する特徴ベクトル同士の類似性あるいはその文書データの属するクラスタ間の類似性が大きいと判定されれば、同じクラスタに分類される。その分類された結果が評価部２６の評価の結果となる。なお、クラスタリングの手法は公知のＫ−ｍｅａｎｓ法等の公知の方法を用いればよい。どの方法を用いても類似性の大きい特徴ベクトルに対応する文書が同じクラスタに属する傾向がある。
【００６３】
図１３は、評価部２６で文書を分類した結果の一例を示す図である。文書に含まれる２つの特許分類の両方が類似している文書どうしが同じクラスタに属している。つまり、本実施形態では階層構造文字列データである特許分類そのものの類似性が評価されている。
【００６４】
例えば、同じクラスタに属する文書１と文書２とで図１１に示される特徴ベクトルの各成分を比べると、特許分類の階層構造文字列データ「Ｇ０６Ｆ  １７／２１」、「Ｇ０６Ｆ  １７／２２」、「Ｇ０３Ｃ    ９／０２」および「Ｇ０３Ｃ    ９／０８」に対応する成分の値は一致しないが、部分文字列データ「Ｇ０６」、「Ｇ０６Ｆ」、「Ｇ０６Ｆ  １７」、「Ｇ０３」、「Ｇ０３Ｃ」、「Ｇ０３Ｃ    ９」に対応する成分の値はどちらも１となっている。結果文書１と文書２の類似性は階層構造文字列データである「Ｇ０３Ｃ    ９／０２」が一致する文書１と文書３との類似性より大きくなる。例えば類似性の指標としてユークリッド距離の逆数を用いると、文書１と文書２の特徴ベクトル間の上記指標は０．５０、文書１と文書３の特徴ベクトル間の上記指標は０．３５（小数点第３位以下四捨五入）である。
【００６５】
なお図１３に示す結果は、第２の実施形態の関係画像出力部２５のＳ５２で説明したものと同じである。従来の場合の参考として、図１４に特許分類の階層構造文字列データのみを用いて特徴ベクトルを生成し、その特徴ベクトルをクラスタリングした場合の例を示す。この場合は文書に含まれる特許分類が同一か否かは評価されるが、その特許分類の類似性は評価されない。
【００６６】
記憶部１２に格納された評価部２６の評価結果は、テキストファイル形式であっても良いし、評価結果を利用する他のプログラムでの処理が容易なようにＣＳＶ形式などの整形された形式であっても良い。
【００６７】
特徴ベクトルを用いて各文書データの関係を評価する方法は、上記の方法に限られない。例えば、特徴ベクトルに対し、ニューラルネットワークやＳＶＭ（Support vector machine）等の各種学習アルゴリズムを適用して各文書データを分類し、関係を評価しても良い。また、評価部２６が行う評価は分類に限られるわけではなく、例えば各文書データに対応する特徴ベクトル同士やクラスタ間の距離が所定の条件を満たすか判定した結果を各文書データの関係の評価の結果としてもよい。また、本実施形態の説明ではクラスタ数、文書数ともに少ないが、どちらの数もより大きくしてもよい。例えば文書データの数が千件以上などであってもよい。
【図面の簡単な説明】
【００６８】
【図１】本発明の実施形態にかかるデータ解析装置の構成例を示す構成ブロック図である。
【図２】第１および第２の実施形態にかかるデータ解析装置の機能ブロックを示す図である。
【図３】第１の実施形態における文書データ群およびそれをデータ解析装置で処理した内容の一例を示す図である。
【図４】文字列データ取得部の処理フローの一例を示す図である。
【図５】第１の実施形態におけるツリー構造とノードの関係の一例を示す図である。
【図６】部分文字列データ取得部の処理フローの一例を示す図である。
【図７】第１の実施形態において生成された特徴ベクトルの一例を示す図である。
【図８】第１の実施形態において画像出力した結果の一例を示す図である。
【図９】第２および第３の実施形態における文書データ群およびそれをデータ解析装置で処理した内容の一例を示す図である。
【図１０】第２および第３の実施形態におけるツリー構造とノードの関係の一例を示す図である。
【図１１】第２および第３の実施形態において生成された特徴ベクトルの一例を示す図である。
【図１２】第２の実施形態における関係画像出力部の処理フローの一例を示す図である。
【図１３】第２および第３の実施形態において文書を分類した結果の一例を示す図である。
【図１４】従来の手法で生成した特徴ベクトルを用いて文書を分類した結果の一例を示す図である。
【図１５】第２の実施形態において画像出力した結果の一例を示す図である。
【図１６】第３の実施形態にかかるデータ解析装置の機能ブロックを示す図である。
【符号の説明】
【００６９】
１  データ解析装置、１１  ＣＰＵ、１２  記憶部、１３  入出力部、２１  文書データ群取得部、２２  文字列データ取得部、２３  部分文字列データ取得部、２４  特徴ベクトル生成部、２５  関係画像出力部、２６  評価部。
【図１】
2009230270.tif 000003
【図２】
2009230270.tif 000004
【図３】
2009230270.tif 000005
【図４】
2009230270.tif 000006
【図５】
2009230270.tif 000007
【図６】
2009230270.tif 000008
【図７】
2009230270.tif 000009
【図８】
2009230270.tif 000010
【図９】
2009230270.tif 000011
【図１０】
2009230270.tif 000012
【図１１】
2009230270.tif 000013
【図１２】
2009230270.tif 000014
【図１３】
2009230270.tif 000015
【図１４】
2009230270.tif 000016
【図１５】
2009230270.tif 000017
【図１６】
2009230270.tif 000018